深度网络的一个事实：前面几层都学习到的是通用的特征（general feature），后面的网络更偏重于学习特定的特征（specific feature）。
虽然该论文并没有提出一个创新方法，但是通过实验得到了以下几个结论，对以后的深度学习和深度迁移学习都有着非常高的指导意义：
神经网络的前3层基本都是general feature，进行迁移的效果会比较好。
深度迁移网络中加入fine-tune，效果会提升比较大，可能会比原网络效果还好。
Fine-tune可以比较好地克服数据之间的差异性。
深度迁移网络要比随机初始化权重效果好。
网络层数的迁移可以加速网络的学习和优化。
（13）深度迁移学习：例如DaNN、DDC、DAN等，2014-2015
DaNN（Domain Adaptive Neural Network）的结构异常简单，它仅由两层神经元组成：特征层和分类器层。作者的创新工作在于，在特征层后加入了一项MMD适配层，用来计算源域和目标域的距离，并将其加入网络的损失中进行训练。所以，整个网络的优化目标也相应地由两部分构成：在有label的源域数据上的分类误差，以及对两个领域数据的判别误差。
但是，由于网络太浅，表征能力有限，故无法很有效地解决domain adaptation问题（通俗点说就是精度不高）。因此，后续的研究者大多数都基于其思想进行扩充，例如将浅层网络改为更深层的AlexNet、ResNet、VGG等，例如将MMD换为多核的MMD等。
