科研：
1.softmax层
通常情况下softmax会被用在网络中的最后一层，用来进行最后的分类和归一化。
softmax回归模型是logistic回归模型在多分类问题上的推广，在多分类问题中，待分类的类别数量大于2，且类别之间互斥。比如我们的网络要完成的功能是识别0-9这10个手写数字，若最后一层的输出为[0,1,0, 0, 0, 0, 0, 0, 0, 0]，则表明我们网络的识别结果为数字1。
Softmax的公式为
可以直观看出如果某一个zj大过其他zi,那这个映射的分量就逼近于1,其他就逼近于0，并且对所有输入数据进行归一化。
softmax层的损失函数
通常情况下softmax会被用在网络中的最后一层，用来进行最后的分类和归一化。所以其实上边softmax层的反向传播一般不会用到。
Softmax的损失函数使用的是对数损失函数
，其中k为该样本的label（即该样本对应的正确输出，比如我们要识别的图片是数字7，则k=7，选择softmax的第7个输出值来计算loss）。一般我们进行训练时一批图片有多张，比如batch size = 16，则
在caffe中
关于softmax层有2种实现，一种是SoftmaxWithLoss，可以计算出loss；另一种为softmax，只计算出每个类别的概率似然值。
2.logistic回归模型(也适用于分类问题）
逻辑回归是为了解决分类问题，根据一些已知的训练集训练好模型，再对新的数据进行预测属于哪个类
输出Y=1的对数几率是由输入xx的线性函数表示的模型，即逻辑斯蒂回归模型(李航.《统计机器学习》)。而直接考察公式1可以得到另一种对逻辑回归的定义，线性函数的值越接近正无穷，概率值就越接近1；线性值越接近负无穷，概率值越接近0，这样的模型是逻辑斯蒂回归模型(
