Major Topics of Neural Network(NN)

Major Topics of NN

NN or Neuron itself
At its core, a neural network is comprised of nodes or "neurons", which are inspired by the biological neurons found in our brains. These artificial neurons receive inputs, process them (via weights and biases) and produce an output.

Architectures
FNN (Feedforward Neural Network): Data flows in one direction, from input to output. It consists of an input layer, hidden layers, and an output layer.
CNN (Convolutional Neural Network): Primarily used for image processing, CNNs have layers called convolutional layers that automatically and adaptively learn spatial hierarchies from data.
RNN (Recurrent Neural Network): Used for sequences (e.g., time series or natural language). They possess loops to allow information persistence.
There are many more like LSTM (a type of RNN), Transformer architectures, etc.

 

Layers
Layers in a neural network define the complexity and depth of the model. Common layers include:
Dense or Fully Connected layers
Convolutional layers
Pooling layers
Recurrent layers, etc.
Training / Learning (e.g., Backpropagation):

Training a neural network involves feeding it data and adjusting the weights and biases to minimize the difference between its predictions and the actual values (usually using a method called gradient descent).
Backpropagation is an essential algorithm for training many types of neural networks. It calculates the gradient of the loss function concerning each weight by applying the chain rule.

 

Activation Functions
These functions introduce non-linearity into the model, allowing it to capture complex patterns.
Sigmoid: Produces values between 0 and 1.
ReLU (Rectified Linear Unit): Produces values greater than or equal to 0. It's popular due to its simplicity and efficiency.
Others include Tanh, Leaky ReLU, Softmax, etc.

 

Deep Learning
Deep Learning is a subset of machine learning that uses neural networks with many layers (deep neural networks). These models automatically and adaptively learn spatial hierarchies from large datasets. It has been instrumental in achieving state-of-the-art results in various fields.
Neuron (Biological Inspiration of NN):

The concept of the artificial neuron is inspired by the biological neuron. In the brain, neurons receive electrical signals, process them, and send them to other neurons. Similarly, in artificial neural networks, the artificial neuron receives multiple inputs, processes them, and produces an output.

 

Perceptron
Introduced by Frank Rosenblatt in the late 1950s, the perceptron is one of the earliest and simplest artificial neural network architectures.
It consists of a single layer with one or more artificial neurons.
Inputs are multiplied by weights, summed up, and then an activation function (typically a step function) is applied to produce the output.
It's a supervised learning model, typically used for binary classification tasks.
Despite its simplicity, the perceptron can't solve problems that aren't linearly separable, which led to the development of more complex neural network architectures.