西瓜书第五章神经网络
5.1 M-P神经元
5.2 感知机
5.3 神经网络
1)神经元是神经网络中的基础元件,其接收来自n 个其它神经元传递过来的输入信号,这些输入数据通过加权计算之后,神经元将会判断其是否超过神经元阈值。如果超过阈值,神经元将被激活,并通过“激活函数”(activation function)产生神经元的输出。
2)神经网络的学习过程就是根据训练数据对网络中神经元之间的权重以及每个功能神经元的阈值进行调整的过程。
3)BP算法是多层神经网络进行学习主流算法。
4)神经网络训练过程中要加入适当的“意外”,以避免陷入局部最优。
5)将许多个神经元按一定的层次结构连接起来,就得到了神经网络,而不同的神经元结构、不同的激活函数选择、不同的误差指标选择、不同的学习策略都会导致形成不同的神经网络。
6)深度学习的训练是基于“预训练+微调”的策略进行的。
7)我们可以将深度学习理解为进行“特征学习”的过程。