图片分类
判断图片中是否有某个物体：一个图片对应一个标签，性能指标：前一中一或者前五中一。
卷积神经网络（CNN）
基础神经网络：神经元，输入向量x，权重向量w，偏置标量b，激活函数sigmoid。
浅网络：3~5层（只要层数足够深，能够拟合出任意函数），优化：梯度（导数）下降，BP后向传播（链式规则）
梯度下降优化：交叉熵 (a为神经网络的实际输出)
批量梯度下降：基于所有数据集
随机梯度下降：学习率/步长，扰动->动量算法（momentum）
构建CNN的基本层
卷积层 / 激活函数
池化层 / 平均池化 / 最大池化
全连接层
批归一化层
CNN卷积层
3通道（RGB）输入图片->3Dtensor
CNN卷积
3D滤波器/卷积核
以扫描窗的形式，对图像做卷积
每层含有多个核，每个核对应一个输出通道
提取局部特征
权重参数需要自学习
非线性激活函数
sigmoid函数
ReLU函数（分段线性函数，无饱和问题，可以明显减轻梯度消失问题，深度网络能够进行优化的关键）
组合简例
卷积步长大于1，有降维作用。
CNN池化层
作用：特征融合/将维
无参数需要学习
超参数（尺寸/步长/计算类别：最大化池化/平均池化）
CNN全连接层
作用：推理器，分类器（卷积层用来提取数字特征，层数越深，语义越高）
普通神经网络/全局感受野/去除空间信息/需要学习参数/等效于全局卷积。
全连接层整合卷积层的所有特征输出为1*k的矩阵
CNN——Softmax层：
指归一化函数：将一个实数值向量压缩到（0,1）所有元素和为1，最后一个全连接层对接1000-way的softmax层，得出1000类标签的概率值。取log值后，用于构建loss
工程技巧
图像像素中心化：（减去各自通道的均值）
防过拟合，提高泛化能力：数组增强*10，256*256中提取中心和四角的224*224子图片*5,水平翻转*2。
Dropout随机失活，训练中随机让一些神经元的输出设为0，失活率0.5（一般在全连接层使用）。
weight decay权重衰减（L2正则）
AlexNet网络（标志着DNN深度学习革命的开始）
5个卷积层+3个全连接层，60M个参数+650K个神经元，2个分组->2个GPU（训练时长一周，50x加速）。
新技术：ReLU非线性激活，Max pooling池化，Dropout regularization
AlexNet网络
局部响应归一化（LRN）模拟神经元的侧抑制机制，某个位置（x,y）上夸通道方向上的归一化，n为领域值，N为通道数，超参数K=2，n=5，=0.0001，
=0.75
VGG网络：一个大卷积核分解成连续多个小卷积核，核分解：7*7核->3个3*3核（由ReLU连接），参数数量->
,可以减少参数，降低计算，增加深度，继承了AlexNet结构特点：简单，有效。网络改造的首选基础网络。
