问题来源：cs231n [Assigment 2 - Batch Normalization]
什么是批量标准化，本篇不再去阐述，这里推荐一篇笔者觉得讲的很详细的博客:https://blog.csdn.net/qq_41853758/article/details/82930944
在实际操作中，通过批量标准化，可以极大的提高神经网络的准确率和训练速度，是提升自己模型的一个重要方法。本篇将对批量标准化进行推导，求得反向传播梯度。
批量标准化公式：
其中的作用是防止分母为0。
输出：
和
都是传入的参数，可以调节输出范围。当
时，就可以将
还原为
。
为了推导的准确性，这里给出更严谨的表达式：
其中：
这里以上是前向传播的过程，比较难以理解的是反向传播过程
即求，我们先尝试着来求第三项
由公式可知，无法直接求解，而是需要进行链式求导
这里，我们假设已知，来求后面两项
由(2)式可以很容易出第二项为，比较复杂的是第三项。
为了简化过程，我们将的分子分母单独拿出来求导，然后进行整合。
令 ,则可以求得
其中
的含义为，当
时，
取值为1。这个好理解，矩阵中转化过去的元素
只有对
求导的时候才不为0，第二项根据均值的公式可以得出。
现在来求分母的导数，令,则
进一步求导：
最难的求导部分已经完成，剩下的就是整合了，整合的步骤这里省略，只给出结果。
令，可得：
将带入
结合第二项为
，整理求得：
求解的过程更加简单，这里给出结果
参考博客：http://cthorey.github.io./backpropagation/
总结
这三篇神经网络部分的知识大部分是自己以前没有去深入了解的，为了不让自己成为一个“调包侠”，理解这种底层的数学知识非常重要。日后如果还又类似的问题，会再发上来。
下篇预告：python爬虫获取电影排行榜
