（之前对神经网络也有过了解，寒假开始了，打算跟着吴教授再学一次回顾回顾基础，并且做好笔记。）
卷积神经网络（Convolutional Neural Networks 简称CNN）常用于图像领域，
序列模型主要应用于自然语言处理（NLP），包括的模型有循环神经网络（Recurrent Neural Networks 简称RNN），长短期记忆网络（Long Short-Term Memory models 简称LSTM）
sigmod 函数--------修正线性单元函数即ReLU (从趋近于零开始，然后变成一条直线。这个函数被称作ReLU激活函数，它的全称是Rectified Linear Unit。rectify（修正）可以理解成max ( 0,x ) .
如今最可靠的方法来在神经网络上获得更好的性能，往往就是要么训练一个更大的神经网络，要么投入更多的数据，这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练，但是仅仅提升规模的的确确地让我们在深度学习的世界中摸索了很多时间。在训练集很小的时候，各种算法的相对排名不是确定的，效果取决于手工设计的组件。只有在大数据领域，非常庞大的训练集，神经网络稳定的领先其他算法。通过改变算法使代码运行的更快。
机器学习迭代图
X轴代表数据量，Y轴代表模型表现
增加训练集的大小通常不会影响算法的性能，而且可能会有很大帮助。
增加神经网络的规模通常不会影响算法的性能，而且可能会有很大帮助。
