3.1 线性回归
- 线性回归输出是一个连续值，因此适用于回归问题。
- 回归问题在实际中很常见，如预测房屋价格、气温、销售额等连续值的问题。
- 与回归问题不同，分类问题中模型的最终输出是一个离散值。
- 所说的图像分类、垃圾邮件识别、疾病检测等输出为离散值的问题都属于分类问题的范畴。softmax回归则适用于分类问题。
- 由于线性回归和softmax回归都是单层神经网络，它们涉及的概念和技术同样适用于大多数的深度学习模型。
3.1.1 神经网络图
- 在深度学习中，可以使用神经网络图直观地表现模型结构
- 为了更清晰地展示线性回归作为神经网络的结构，使用神经网络图表示线性回归模型。
-
神经网络图隐去了模型参数权重和偏差。
- 线性回归是一个单层神经网络
3.1.2 线性分类
3.1.3 得分函数
3.1.3.1 实例
3.1.4 损失函数
3.1.5 正则化
3.2 softmax回归
3.2.1 Softmax分类器
3.2.1.1 Sigmoid函数
- Softmax的输出（归一化的分类概率）
-
损失函数：交叉熵损失（cross-entropy loss）
-
被称作softmax 函数其输入值是一个向量，向量中元素为任意实数的评分值
- 输出一个向量，其中每个元素值在0到1之间，且所有元素之和为1
3.2.2 Softmax
3.2.2.1 Softmax实例
3.2.3 损失函数对比
3.2.4 softmax回归
- softmax回归模型
- softmax回归同线性回归一样，也是一个单层神经网络。
- 由于每个输出o1, o2, o3的计算都要依赖于所有的输入x1, x2, x3, x4，softmax回归的输出层也是一个全连接层。
-
softmax回归是一个单层神经网络
- 模型预测及评价
- 在训练好softmax回归模型后，给定任一样本特征，就可以预测每个输出类别的概率。
-
通常，把预测概率最大的类别作为输出类别。
- 如果它与真实类别（标签）一致，说明这次预测是正确的。
- 它等于正确预测数量与总预测数量之比。
