outline
- 线性回归
- 逻辑回归
- softmax回归
- 神经元模型
- 激活函数
- 多层网络
本文主要简单介绍从线性回归到神经元模型的一些概念性知识。
线性回归
clipboard.png
逻辑回归(Logistic regression)
对数几率回归
clipboard.png
softmax回归
对于k分类问题，我们假设函数针对每一个类别j估算出概率值p(y=j|x),即估计x属于某个类别的概率，则该函数的输出为一个k维的向量来表示k个估计值。
假设函数如下图：
354792223a9d.png
softmax 回归是 logistic 回归的一般形式
Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广
神经元模型
clipboard.png
可以发现：激活函数为Sigmoid函数的神经元模型等价于逻辑回归
激活函数
作用：能使得神经网络的每层输出结果变得非线性化
- 可微性：计算梯度时必须要有此性质。
- 非线性：保证数据非线性可分。
- 单调性：保证凸函数。
- 输出值与输入值相差不会很大：保证神经网络训练和调参高效。
常见的激活函数
-
Sigmoid函数
0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg -
ReLU：为隐含层引入了稀疏性，可以加快模型的收敛速度
clipboard.png -
Softmax
image.png
通常的意义：对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。
-
Tanh激活函数
clipboard.png -
Maxout激活函数
将数据通过线性变换并且按照维度取最大值的向量
clipboard.png
多层网络
只需包含隐层，即可称为多层网络
clipboard.png
神经网络的学习过程就是根据训练数据来调整神经元之间的“连接权重”以及每个功能神经元的阈值
参考资料
<机器学习>第3章线性模型-周志华
<机器学习>第5章神经网络-周志华
Softmax回归
Machine Learning小结(1)：线性回归、逻辑回归和神经网络
