一 AI 背景 - 深度学习的兴起
1 关键性应用
其实还没有。无人驾驶 （汽车 和 飞机），目前也只是实验阶段。
AI前沿介绍 描述一线公司的主要AI产品 。这里面囊括 了医疗，编辑，翻译 ， 定位技术。这些产品还并没有被大众所熟知。但是这些已经足够显示AI的力量了。
2 AI的身边的应用举例
图像分类 拍立淘
美国计算机协会（ACM）公布了2015年度杰出科学家名单，在上榜的两位亚裔学者中，阿里巴巴图像搜索的领军人物、阿里巴巴搜索事业部研究员华先胜位列其中。
国际电气与电子工程师协会（IEEE）也公布了华先胜当选2016年度IEEE Fellow（IEEE会士）的消息，以嘉奖其“为多媒体内容分析和图像搜索做出的突出贡献”。
广告推荐算法
基于语音的 谷歌的机器翻译
3 艺术文化和 深度学习
二 深度学习 的 科普
2.1 线性分类器， 分类和聚类算法
线性分类器里面最简单的例子是 大学物理里面， 用打点计时器在纸条上打点。实际上拟合的函数 是 v = gt
2.2 DNN - 深度神经网络
假设我们要预测 美国 的 房子 和 总价格 的 关系，这时我们的参数不只一个了
2.3 拟合 和 欠拟合 ， 训练集和测试集（验证集）
3.1欠拟合（Over fittintg） 训练误差比较大
1 参数少，因为过度关注精简计算量引起的。
2 使用的网络不对
3.2 过拟合（） 测试误差 比 训练误差大
1 训练样本少
2 参数过大
解决方法: 解决过拟合的最主要的思想，是先保证参数和问题域相符合。通过增加训练误差 减少测试误差。
1 dropout （随机失活）在同一个模型上训练处不同的参数 2 提前终止迭代次数 3 增大训练样本
2.4 loss 函数和 优化器
4.1 支持向量机 -- 基于核函数的算法
4.2 交叉熵 SoftMax
5 卷积神经网络 CNN 和 图像滤波 （
卷积 核 和 滤波， 使用卷积和对 图像特征进行抽取。
优点 ：1 共享卷积核参数，优化了计算量 2 不需要手动选取图像特征 （相比以前的机器学习算法，使用SVM的分类算法，简化很多） 4 抽取的图像信息丰富，表达效果好
缺点 ： 1依赖GPU硬件 2 需要大量的样本 3 隐层的输出物理意义对人类来说较难理解。
比如说猫，神经网络是怎么理解一只猫的，这跟我们人类大脑怎么理解一只猫是一类的问题，我们用卷积的方式
• LeNet，这是最早用于数字识别的CNN
• AlexNet， 2012 ILSVRC比赛远超第2名的CNN，比
• ZF Net， 2013 ILSVRC比赛冠军
• GoogLeNet， 2014 ILSVRC比赛冠军
• VGGNet， 2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好
• FCN, Fast-RCNN,Faster-RCNN 是目标检测界的领军人物Ross Girshick团队在2015年的又一力作。简单网络目标检测速度达到17fps，在PASCAL VOC上准确率为59.9%；复杂网络达到5fps，准确率78.8%。
6 NN 框架
Caffe 比较高效，一般的训练无需写代码，有python和mathlab的接口
1 需要先把图片转换成LMDB格式
2 定义网结构
3 定义solver
4 一行命令开始训练
比较早期的框架，也是出产品比较多的框架。但是是由C++写的。所以发展比较慢了。
Tensorflow
谷歌开源的一个框架，社区非常活跃。写法相比Face的PyTorch比较繁琐
PyTorch 对于显卡的利用效率比较高的框架。加上Torch本身的简洁的用法。比较受欢迎。
上层框架
Keras ， TFLearn
8 迁移学习
迁移学习其实只是一个工程经验。既然深度学习大部分的工作是在训练和优化神经网络，那么被大型数据集训练过的网络参数就具有良好的泛化误差。在数据集很小的时候，如果存在着相似的被训练良好的网络，那么就可以利用已经训练过的 特征抽取的参数。
https://zhuanlan.zhihu.com/p/21470871
http://blog.csdn.net/qq_26898461/article/details/53557612
