逻辑斯底回归是对概率做建模的二分类模型。它选用了类似于双曲正切函数的sigmod函数:
f(x) = \frac{1}{1+e^{-x}}
这个函数看似简单,实际有着很深的道理,笔者认为它有以下三个美妙的特点:
- 值域为(0,1)。这个性质满足了对概率建模的要求。
- 无穷阶连续可导。这个特征为理论分析提供了很大的方便,当我们想推导相关结论时(如收敛性),一阶或二阶导数连续是一个非常好用的性质。
3.f^{'}(x) = f(x) \cdot (1-f(x))。这个性质为计算梯度提供了方便,可以利用已经计算好的f(x)值直接通过四则运算计算出梯度,从而减少了取指数、取对数等高复杂度指令的计算次数。
(未完待续)