单神经元神经网络
fullsizerender.jpg
上面的神经元负责执行如下的运算:
fullsizerender(1).jpg
a即预测结果,我们通过a和真实的标签y就可以构建一个损失函数L来计算损失。同时我们可以从损失函数开始反向传播回到这个神经元来计算w和b相对于损失函数的偏导数/梯度,以便进行梯度下降,然后再次进行前向传播,这样不停地反复来优化w和b
多神经元网络:
fullsizerender(2).jpg
最前面的负责输入特征地称为输入层(统计层数的时候不会统计在内),故上图是一个两层的神经网络。
上图的神经网络的计算过程:
fullsizerender(3).jpg
首先计算第一层的三个神经元的a,然后再将这3个a输入到第二层的神经元中进行计算,