sigmoid 函数

sigmoid 函数也叫S函数，因为它的函数曲线的形状像字母 S，由此得名。其形式为：

$S(x)=\frac{1}{1+e^{-x}}=\frac{e^{x}}{1+e^{x}}$

sigmoid 函数曲线

sigmoid 函数的输入是一个标量，输出也是一个标量，是一个标量到标量的映射。从函数曲线或函数表达式可以看出，sigmoid 函数的定义域为全体实数 $(-{\infty},+{\infty})$ ，值域为 (0,1) 区间，由此可以发现，sigmoid 函数能够起到将任意数值放缩到 (0,1) 区间内部。sigmoid 函数过去经常作为神经网络的激活函数，这是因为一方面 sigmoid 函数能够将那些过大或过小的数值缩放到 (0,1) 区间内部，同时还可以保持其相对大小；另一方面 sigmoid 函数的导数 $S'(x)=\frac{e^{-x}}{1+e^{-x}}\frac{1}{1+e^{-x}}=S(x)(1-S(x))$ ，可以发现 sigmoid 函数的导数可以由 sigmoid 本身直接得到，这个特性使得 sigmoid 函数在神经网络的反向传播过程中的求导十分容易。然而现在更常用的激活函数是形式更为简单的 ReLU 函数。

值得一提的是，sigmoid 函数的原函数叫做 softplus 函数，其形式为：

${\zeta}(x)={\log}(1+e^x)$

softplus 函数曲线（绿色）

softplus 函数的值域为 $(0,+\infty)$ ，可用来产生正态分布的均值 $\mu$ 和标准差 $\sigma$ ，softplus 函数的名字来源于 $x^{+}={\max}(0,x)$ 函数的平滑形式。

softplus 函数的导数是 sigmoid 函数 ${\zeta}'(x)=S(x)$ 。

softmax 函数

softmax 函数，顾名思义是一种 max 函数，max 函数的作用是从一组数据中取最大值作为结果，而 softmax 也起到类似的作用，只是将这组数据进行一些处理，使得计算结果放缩到 (0,1) 区间内。

softmax 函数首先将这组数据中的每一个值 $x_i$ 都转换为自然对数 $e$ 的指数，即 $e^{x_i}$ ，随后将每个转换后的数据 $e^{x_i}$ 都除以所有转换后数据的和 $\sum_{i}e^{x_i}$ ，即 $\frac{e^{x_i}}{\sum_{j}e^{x_j}}$ ，就是 softmax 对数据 $x_i$ 的输出结果。这里需要注意的是，softmax 的作用是将一组数据的每一个都转换到 (0,1) 区间内，输入是一个向量，输出也是一个向量，是一个从向量到向量的映射；而 max 函数是将一组数据中的最大值作为输出，输入是一个向量，输出则是一个标量（一个数），是一个从向量到标量的映射，max 函数将输入数据的维度进行了压缩。

$softmax(x_i)=\frac{e^{x_i}}{\sum_{j}e^{x_j}}$

softmax 函数与 sigmoid 函数

softmax 函数可视作 sigmoid 函数在向量上的扩展形式。sigmoid 函数的输入为一个标量，作用是将其放缩到 (0,1) 区间内，而 softmax 的输入为一个向量，输出也是一个向量，作用与 sigmoid 相同，只是 softmax 函数会保持这个向量内每个分量互相之间的相对大小（分量小的在 softmax 后依然小，分量大的在 softmax 后依然大）。考虑一个 2 维向量 $[x_1,x_2]^T$ ， $softmax(x_1)=\frac{e^{x_1}}{e^{x_1}+e^{x_2}}$ ， $softmax(x_2)=\frac{e^{x_{2}}}{e^{x_1}+e^{x_2}}$ ，当 $x_2=0$ 时， $softmax(x_1)=\frac{e^{x_1}}{1+e^{x_1}}$ ，其形式与 sigmoid 函数一致。

交叉熵（cross-entropy）

交叉熵函数是用于计算两个概率分布之间的差异，其输入为两个分布，输出为一个标量，该标量表示两个分布之间的差异程度。交叉熵的形式为：

$H(p,q)=-\sum_{x}p(x)\log q(x)$

这里需要注意的是，在交叉熵函数中，交换分布 p 和 q 的顺序会影响交叉熵函数的输出结果，因为交叉熵函数 $H(p,q)$ 的作用是以分布 p 为基准，对分布 q 进行评估，将其交换顺序会导致评估的基准不一致， $H(p,q)$ 与 $H(q,p)$ 的意义并不相同。

交叉熵函数与 softmax 函数

在深度学习中，经常将交叉熵函数与 softmax 函数相关联，这是因为 softmax 函数对一组数据的每个数据进行计算后，可以将这组数据中的每一个都映射到 (0,1) 区间上，并且其和为 1，符合概率的定义，而交叉熵恰恰是对概率分布进行计算，因此通常将 softmax 函数的输出结果作为交叉熵函数的输入，将二者构造为复合函数。

在深度学习的训练过程中，通常将每个输入的真实标签值设置为分布 p，预测值设置为分布 q，利用交叉熵函数计算出的值作为损失值，将其用于后续的反向传播计算梯度并更新权重。在这里，设 softmax 函数对输入数据 $x$ 预测为第 $i$ 类的概率为 $p_i$ ，输入数据 $x$ 属于第 $i$ 类的真实概率为 $y_i$ ，那么交叉熵函数的形式为：

$H(y_i,p_i)=-\sum_{i}y_i\log p_i$

根据以上公式，对模型预测的第 $i$ 类的导数为：

$\frac{\partial H(y_i,p_i)}{\partial p_i}=-\frac{y_i}{p_i}$

softmax 函数对输入的导数的形式可由 softmax 本身得到，其形式十分简单（由于自然对数 $e$ 的存在）：

$\frac{\partial softmax(x_i)}{\partial x_i}=softmax(x_i)(1-softmax(x_i))$

将 softmax 函数的输出作为交叉熵函数中的概率 $p_i$ ，即 $H(y_i,softmax(x_i))=-\sum_{i}y_i\log softmax(x_i)$ ，那么交叉熵函数对 softmax 函数的输入 $x_i$ 的导数为：

$\frac{\partial H(y_i,x_i)}{\partial x_i}=\frac{\partial H(y_i,p_i)}{\partial p_i}\frac{\partial p_i}{\partial x_i}$

由于这里将 softmax 函数视作 p，即：

$softmax(x_i)=p_i$

将 softmax 用 p 代替，也就是将 $softmax(x_i)$ 替换为 $p_i$ ：

$\frac{\partial p_i}{\partial x_i}=p_i(1-p_i)$

最后将上式代入到交叉熵函数的导数 ${\frac{\partial H(y_i,x_i)}{\partial x_i}}$ 中，即可得到交叉熵函数对输入 $x_i$ 的导数：

${\frac{\partial H(y_i,x_i)}{\partial x_i}}={\frac{\partial H(y_i,p_i)}{\partial p_i}}{\frac{\partial p_i}{\partial x_i}}=-{\frac{y_i}{p_i}p_i(1-p_i)}=y_{i}(p_{i}-1)$

可以看到交叉熵函数与 softmax 函数结合使用，可以得到十分简洁的导数形式，只需将 softmax 的输出结果减 1 再与对应的标签值 $y_i$ 相乘即可得到在第 $i$ 类上的导数，对每个类别分别计算相应的导数，即可得到我们需要的梯度。在许多任务中，标签值往往用 one-hot 形式表示， $y_i$ 一般为 1，那么只需将 softmax 函数的计算结果减 1 即可得到本次传播的第 $i$ 类的导数值，这使得反向传播中梯度的计算变得十分简单和方便。

彻底理解 softmax、sigmoid、交叉熵（cross-entropy）