和李沐大神一起动手学深度学习笔记2——Softmax 回归

Softmax 回归

  1. Softmax回归是一个多类分类模型，使用Softmax操作子可以得到每个类的预测置信度(概率)，使用交叉熵来衡量预测和标号的区别。

  2. 分类vs回归

    image.png

  1. 从回归到多类分类---均方损失,如下所示。

    image-20210827093003754.png

      举例说明一位有效编码，大意为只有其中一个位的值为1，比如我有猫、狗和猪三类，标号则是长度为3的向量，那么可以分别表示为001， 010, 100。

    均方损失：

    \hat{y} = \underset{i} {argmax} o_i: 最大元素o_i所对应的索引赋值给\hat{y},

    1. 从回归到多类回归


      image-20210827101222523.png

      如果X是一个矩阵，那么softmax的定义式如下所示。

    softmax(X)*{ij}= \frac{exp(X*{ij})}{\sum_kexp(X_{ik})}

  2. Softmax和交叉熵损失

image.png

image.png

  注意对第二个公式的理解，l(y, \hat{y} = - \underset{i}\sum y_ilog\hat{y_i}=-log\hat{y_y})其中对于-log\hat{y_y}的理解，因为y_i里面只有一个元素为1，其余为0，因此即可简写为后面的这个公式。即对于真实类别的预测值求log。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容