第三章
- 是每个神经元的计算过程。而不是整体的运算过程。
- 每个神经元的计算过程就是上面一层每个神经元的输出值乘以权重和加上损失函数b
- 这里用了矩阵的运算。所以看起来是一次性的。
- 还讲了一些激活函数。就是2中的结果放入激活函数进行计算。做为本神经元的输出值。而激活函数则是按照不同的方式进行计算。
- 神经元的输出值，如果为0和1表示是否被激活。而介于0到1之间则表示是概率。具体看具体函数。
第四章
介绍了一个最简单的一个模型的训练。
关于梯度的理解：
梯度只是标识函数变小(变化)最大的方向，并不是最大最小值的概念。
所以优化，本质是简化找寻的过程，而不是优化结果。或者说，降低试错成本，提高试错的次数。
而问题完全可以是局部的。是通过反复的重复过程，找到最低点。
而最后一个例子，就是一个训练过程。基本上来说，就是以下过程的迭代。
第一步：随机生成参数
第二步，计算梯度
第三不，根据梯度更新参数。
第五章
这一章是前面的一章的延续，主要是做了两点。
- 抽象成层的概念。把层的代码由以前离散的。变成了现在的抽象成一层一层的。
- backford的目的是求梯度和求导。类似于前一章中的求导。
- 计算图的主要作用还是使得整个过程能够图像化。简单化。
