个人理解：softamx回归就是分类，给你个东西，告诉我这个是什么
前几节介绍的线性回归模型适用于输出为连续值的情景。在另一类情景中，模型输出可以是一个像图像类别这样的离散值。对于这样的离散值预测问题，我们可以使用诸如softmax回归在内的分类模型。和线性回归不同，softmax回归的输出单元从一个变成了多个，且引入了softmax运算使输出更适合离散值的预测和训练。本节以softmax回归模型为例，介绍神经网络中的分类模型。
3.4.1 分类问题
让我们考虑一个简单的图像分类问题，其输入图像的高和宽均为2像素，且色彩为灰度。这样每个像素值都可以用一个标量表示。我们将图像中的4像素分别记为x1,x2,x3,x4。假设训练数据集中图像的真实标签为狗、猫或鸡（假设可以用4像素表示出这3种动物），这些标签分别对应离散值y1,y2,y3。
我们通常使用离散的数值来表示类别，例如如y1=1,y2=2,y3=3。如此，一张图像的标签为1、2和3这3个数值中的一个。虽然我们仍然可以使用回归模型来进行建模，并将预测值就近定点化到1、2和3这3个离散值之一，但这种连续值到离散值的转化通常会影响到分类质量。因此我们一般使用更加适合离散值输出的模型来解决分类问题。
3.4.2 softmax回归模型
softmax回归跟线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。因为一共有4种特征和3种输出动物类别，所以权重包含12个标量（带下标的w）、偏差包含3个标量（带下标的b），且对每个输入计算o1,o2,o3这3个输出：
图3.2用神经网络图描绘了上面的计算。softmax回归同线性回归一样，也是一个单层神经网络。由于每个输出o1,o2,o3的计算都要依赖于所有的输入入x1,x2,x3,x4。softmax回归的输出层也是一个全连接层。
既然分类问题需要得到离散的预测输出，一个简单的办法是将输出值oi当作预测类别是ii的置信度，并将值最大的输出所对应的类作为预测输出，即输argmax oi 。例如，如果o1,o2,o3别为0.1,10,0.1 由于o2最大，那么预测类别为2，其代表猫。
然而，直接使用输出层的输出有两个问题。一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=10，那么输出值10却又表示图像类别为猫的概率很低。另一方面，由于真实标签是离散值，这些离散值与不确定范围的输出值之间的误差难以衡量。
softmax运算符（softmax operator）解决了以上两个问题。它通过下式将输出值变换成值为正且和为1的概率分布：
容易看出yˆ1+yˆ2+yˆ3=1 且0≤yˆ1,yˆ2,yˆ3≤1，因此yˆ1,yˆ2,yˆ3 是一个合法的概率分布。这时候，如果yˆ2=0.8 。不管yˆ1 和yˆ3 的值是多少，我们都知道图像类别为猫的概率是80%。此外，我们注意到
因此softmax运算不改变预测类别输出。
3.4.3 单样本分类的矢量计算表达式
为了提高计算效率，我们可以将单样本分类通过矢量计算来表达。在上面的图像分类问题中，假设softmax回归的权重和偏差参数分别为
设高和宽分别为2个像素的图像样本i的特征为
输出层的输出为
预测为狗、猫或鸡的概率分布为:
softmax回归对样本ii分类的矢量计算表达式为
3.4.4 小批量样本分类的矢量计算表达式
为了进一步提升计算效率，我们通常对小批量数据做矢量计算。广义上讲，给定一个小批量样本，其批量大小为n，输入个数（特征数）为d，输出个数（类别数）为:q。 设批量特征为X∈Rn×d。假设softmax回归的权重和偏差参数分别为W∈Rd×q 和b∈R1×q。softmax回归的矢量计算表达式为
3.4.5 交叉熵损失函数
前面提到，使用softmax运算后可以更方便地与离散标签计算误差。我们已经知道，softmax运算将输出变换成一个合法的类别预测分布。实际上，真实标签也可以用类别分布表达：对于样本ii，我们构造向量y(i)∈Rq，使其第y(i)（样本ii类别的离散数值）个元素为1，其余为0。这样我们的训练目标可以设为使预测概率分布布yˆ(i) 尽可能接近真实的标签概率分布y(i)。
3.4.5 交叉熵损失函数（看的一知半解）
3.4.6 模型预测及评价
在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。通常，我们把预测概率最大的类别作为输出类别。如果它与真实类别（标签）一致，说明这次预测是正确的。在3.6节的实验中，我们将使用准确率（accuracy）来评价模型的表现。它等于正确预测数量与总预测数量之比。
小结
- softmax回归适用于分类问题。它使用softmax运算输出类别的概率分布。
- softmax回归是一个单层神经网络，输出个数等于分类问题中的类别个数。
- 交叉熵适合衡量两个概率分布的差异。
