这一章主要是讲深度学习，首先介绍了卷积神经网络的概念。在之前的章节中我们的神经网络每一层的每一个神经元都是和前面一层的所有神经元相连，这样的结构叫全连接层，这样也使得我们的网络参数比较多。但实际上，这样的结构可能是有些冗余的。我们人类要识别图片中的一只猫，实际上只需要根据某一个局部的特征就能够识别出来，而不需要关注一张图片的所有像素。因此，如果能提取这样的局部特征，那么应该会提高识别的效率。卷积神经网络就是这样一个提取局部特征的工具。（关于卷积神经网络这个术语的由来，卷积网络的提出者之一Yann LeCun认为卷积网络受神经网络的启发很少，因此它喜欢叫卷积网络而不是卷积神经网络）
卷积神经网络的基本思想有三个，分别是局部接受域，共享权重，和pooling。
局部接受域是指下一层网络中的神经元只与上一层中的局部神经元相连，而不是全连接，如下图所示：
上图中，输入神经元中的5*5的区域我们可以称之为窗，第一隐层的神经元就是由这个窗在输入层上不断滑动得到的。如果滑动是沿着两个方向，如上图所示，就叫做二维卷积，如果滑动是沿着一个方向，则叫一维卷积。
共享权重（和偏差）：上面的每个窗对应着一组权重，而共享权重就是说这些窗的权重都是一样的，这也意味着第一隐层的神经元所检测的都是同一类特征，只是不同位置。共享权重的意义在于，一是减少了参数数量，二是也对应于图片的平移不变性，一张猫的图片，平移几个像素，仍然还是猫，共享权重这种不考虑区域差异的设计，可以满足平移不变性的需求。
上面的窗实际上也可以叫卷积核，而经过卷积核处理得到的新一层神经元可以称之为特征图。如果想检测多个特征，则可以使用多个卷积核，得到多个特征图，在基于这些特征图进行下一层传播的时候，又可以选取新的卷积核，但是卷积核的厚度（除二维卷积核的长宽以外的另一维度）可能就不为1了，但是卷积过程是相似的，对应元素相乘再叠加即可。
在卷积层以外常常要加上Pooling层，这一层的作用是类似于抽样，即在卷积层得到的结果中每一个小区域选出一个代表元素组成一个新的图，其他的元素则不再考虑。这样做的意义是减少需要处理的数据量，同时又能保证一定的效果，毕竟真正有用的元素有可能出现在一个局部区域里的不同位置点中，我们只需要把它们提取出来就行了。常用的pooling方法是max pooling，即选出某一个局部区域中的元素最大值组成新的特征图。
而在设置完了卷积层和pooling层后，在输出层之前，往往会再加上一个全连接层，从而使得输出的结果可以利用尽量多的特征进行判断。
其他深度神经网络方法
除深度卷积神经网络外，还有其他种类的深度网络，包括：
循环神经网络（RNN）：在前馈网络中神经元的激活只取决于一个静态单输入，即神经网络中的所有东西都是静态的。但实际上某一个神经元的激活不一定只取决于它前面层的激活值，也可能取决于时间上更早的激活值（比如两幅图片连续输入，从静态卷积神经网络看来，每一次每个神经元的激活值都只和当前这张图片有关，但实际上有可能与上一张图片的某些激活值有关。）
RNN的一个作用是使得神经网络更像算法传统的思维方式，即从顺序的角度去看待问题，先解决什么，再解决什么，最后得到答案，因此RNN可以用来制造神经图灵机，可以用来推断排序或者复制算法。
长短时记忆网络（LSTM)：RNN面临的一个挑战是非常难训练，甚至比深度前馈网络还难。原因是RNN中梯度不仅在空间上反向传播，而且在时间上反向传播，因此梯度消失或爆炸的现象会更明显。而长短时记忆单元则可以用来解决这个问题。
深度信念网络、生成模型和玻尔兹曼机：当代对于深度学习的兴趣其实起源于2006年关于深度信念网络（DBN）的一些论文。尽管近年来其热度因为前馈网络和循环网络的流行有所降低，但它仍然是一个很有趣的工具。一个原因是它是生成模型的一个例子。在一般前馈网络中，我们有一个输入，然后在不同隐层得到输出。而在DBN中，我们可以设置某些中间神经元的值然后反向传播，生成输入值。即如果我们训练一个用于手写字母识别的DBN，则它也可以用来生成手写字母。这意味着我们的神经网络不但可以“读”图片，也可以“写”图片了。另一个使DBN有趣的原因是它可以做无监督或半监督学习，即可以不需要标签即可理解图像。
另外一篇有趣的论文是利用深度卷积网络+强化学习来玩游戏。想法是用深度卷积网络来简化屏幕中的像素数据，把它们变成简单的特征集，然后用于决定策略。这篇论文被冠名为Playing Atari with Reinforcement Learning，取得了很好的市场效果。
关于神经网络的未来
神经网络（或者说机器学习）的未来是什么样的？作者可能会从这三个方向发展：
Intention-driven user interface：简单地说就是类似搜索引擎可以更准确地知道你想搜什么。
Machine learning，data science，and the virtuous circle of innovation：机器学习也可以用于数据科学，来寻找数据中潜藏的规律。作者认为在未来机器学习的大突破可能不是新概念的产生，而是机器学习技术可以变得可获利，创造新的市场。
The role of neural networks and deep learning：作者做了一个预测，他认为深度学习将始终存在，因为深度学习所代表的学习层级概念，建立多层抽象的方法，似乎是理解这个世界的基本方式。但这并不代表深度学习的方法不会发生根本性改变。也许以后我们不再用神经网络了，但是深度学习始终存在。
Will neural networks and deep learning soon lead to artificial intelligence？或者说，深度学习是否可以帮助解决通用人工智能的问题？这是一个很难回答的问题，作者在这里引用了一个定理来回答这个问题，即Conway's Law：
“设计一个系统的组织，会不可避免地设计一套与自身交流结构相似的系统”
想象波音客机的制造过程，最终我们会发现，波音客机是怎么组成的，那么制造商的结构就应该是怎样的（因为每个制造商负责其中一个部件）。医学的发展也是如此，从最初的零星发现，到如今形成一门庞大的学科，具有多种分支，这反过来也说明了医学本身的复杂性，在这样的复杂性下，医学才能取得今天的成就。反观目前的深度学习研究，似乎还属于一个相对垄断的领域，有零星的几个研究领域，根据Conway‘s Law，这可能意味着我们对深度学习的了解还远远不够。而要怎样才算够了？目前还没人知道。
