写在前面：
为了对比二分类和多分类对于模型训练结果的影响，首先需要对这两种损失函数有比较清晰的了解。
有空需要做一版整理分析哦。。。
机器学习分类问题中常用到Cross Entropy损失函数（交叉熵损失函数），但为什么它会在分类问题中这么有效呢？我们先从一个简单的分类例子来入手。
1. 预测政治倾向例子
我们希望根据一个人的年龄、性别、年收入等相互独立的特征，来预测一个人的政治倾向，有三种可预测结果：民主党、共和党、其他党。假设我们当前有两个逻辑回归模型（参数不同），这两个模型都是通过softmax的方式得到对于每个预测结果的概率值：
好了，有了模型之后，我们需要通过定义损失函数来判断模型在样本上的表现了，那么我们可以定义哪些损失函数呢？
有了上面的直观分析，我们可以清楚的看到，对于分类问题的损失函数来说，分类错误率和均方误差损失都不是很好的损失函数，下面我们来看一下交叉熵损失函数的表现情况。
3. 学习过程
交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。
我们用神经网络最后一层输出的情况，来看一眼整个模型预测、获得损失和学习的流程：
1、神经网络最后一层得到每个类别的得分scores；
2、该得分经过sigmoid(或softmax)函数获得概率输出；
3、模型预测的类别概率输出与真实类别的one hot形式进行交叉熵损失函数的计算。
学习任务分为二分类和多分类情况，我们分别讨论这两种情况的学习过程。
3.2 多分类情况
4.1 优点
在用梯度下降法做参数更新的时候，模型学习的速度取决于两个值：一、学习率；二、偏导值。其中，学习率是我们需要设置的超参数，所以我们重点关注偏导值。从上面的式子中，我们发现，偏导值的大小取决于 x和 sigmoid(s)-y，我们重点关注后者，后者的大小值反映了我们模型的错误程度，该值越大，说明模型效果越差，但是该值越大同时也会使得偏导值越大，从而模型学习速度更快。所以，使用逻辑函数得到概率，并结合交叉熵当损失函数时，在模型效果差的时候学习速度比较快，在模型效果好的时候学习速度变慢。
4.2 缺点
sigmoid(softmax)+cross-entropy loss 擅长于学习类间的信息，因为它采用了类间竞争机制，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散。基于这个问题的优化有很多，比如对softmax进行改进，如L-Softmax、SM-Softmax、AM-Softmax等。
参考资料：
1、损失函数 - 交叉熵损失函数
https://zhuanlan.zhihu.com/p/35709485
2、详解softmax函数以及相关求导过程
https://zhuanlan.zhihu.com/p/25723112
3、损失函数 - MSE
