应用场景

算法服务于业务，有必要了解其商业应用背景。目前了解到的应用场景有信用卡反欺诈（是否敢给这个人办信用卡）、医学、制药业等。尽管可以进行多选项的分类，但是逻辑回归一般用于二分类。

前提知识

有必要了解矩阵的求导，参考：https://www.jianshu.com/p/d1d932e7fe1f

模型公式

逻辑回归的假设函数：
$h_\theta(x)=\sigma(\textbf{w}^T\cdot \textbf{x})$
其中， $\textbf{w}$ 表示参数向量， $\textbf{x}$ 表示一行训练集构成的列向量， $\sigma$ 表示 sigmoid 函数，即 $\sigma(t)=\dfrac{1}{1+e^{-t}}$ ,这个函数的图像是一个输出值在开区间 $(0,1)$ 内的曲线。

sigmoid函数

也就说，我拿到一组特征数据，代入假设函数后，最终输出的是介于0和1的一个值，这个值我们视为概率，当它大于、小于0.5时，该模型计算的预测值分别属于不同的类别。等于0.5时属于哪一类？我姑且认为这是不可能发生的，因为计算过程都是精确到小数后很多位的。如果真的碰上了，那么归为任何一类都可以。

损失函数

训练集的所有label均为 0,1 两个值。如果label=0，那么预测结果越接近0，损失函数应该越小，反之越大。当label=1时，预测结果越接近1，损失函数应该越小，反之越大。当label=1，预测结果也是1，那么损失函数值为0，当label=0，预测结果是0，那么损失函数值也是0。什么样的函数才能达到这种效果，精挑细选之后，大佬们确定用对数函数来作为损失函数，也就是 $cost=-\log(h), cost=-\log(1-h)$ ，这里 $h$ 表示预测值。你会看到:

cost function

为了把两种情况都考虑进去，我们的损失函数就变成：

它的好处是，当时，，而当时，。这个设计是相当巧妙的。
我们要的只是函数的这种特性，所以这个对数函数的底只要大于1就可以，这里为了方便求导，我们取底数为e。
我们来对假设函数求导：

$\begin{aligned}h'&=((1+e^{-z})^{-1})'=-(1+e^{-z})^{-2}(1+e^{-z})'\\ &=-(1+e^{-z})^{-2}(-e^{-z})\\ &=\dfrac{e^{-z}}{(1+e^{-z})^2}\\ &=(\dfrac{1}{1+e^{-z}})(\dfrac{1+e^{-z}-1}{1+e^{-z}})\\ &=(\dfrac{1}{1+e^{-z}})(1-\dfrac{1}{1+e^{-z}})\\ &=h(1-h)\end{aligned}$

也就是假设函数的导数可以用假设函数本身直接表示，后面会用到这个结论。

矩阵运算

这里的 $h$ 只是一个实数，现在我们用向量 $\textbf{h}$ 来表示整个训练集的预测值组成的列向量， $\textbf{h}=\sigma(\textbf{Xw})$ ，其中 $\textbf{X}$ 表示整个训练集， $\textbf{w}$ 表示参数向量。
于是我们损失函数也改写成一个向量到向量的函数：
$\textbf{c}=-\textbf{y}\ln(\textbf{h})-(1-\textbf{y})\ln(1-\textbf{h})$
其中 $\textbf{c,h,y}$ 的维度都是(训练集的行数x1)。不过我们关注的是 $\textbf{c}$ 与 $\textbf{w}$ 的关系，记 $\textbf{z}=\textbf{X}\textbf{w}$ 因此根据链式法则：
$\dfrac{\partial{\textbf{c}}}{\partial{\textbf{w}}}= \dfrac{\partial{\textbf{c}}}{\partial{\textbf{h}}}\cdot \dfrac{\partial{\textbf{h}}}{\partial{\textbf{z}}}\cdot \dfrac{\partial{\textbf{z}}}{\partial{\textbf{w}}}$

分开来看：
$\dfrac{\partial{\textbf{c}}}{\partial{\textbf{h}}}= \dfrac{-\textbf{y}}{\textbf{h}} +\dfrac{1-\textbf{y}}{1-\textbf{h}}= \dfrac{-\textbf{y}(1-\textbf{h})+\textbf{h}(1-\textbf{y})}{\textbf{h}(1-\textbf{h})}= \dfrac{\textbf{h}-\textbf{y}}{\textbf{h}(1-\textbf{h})}……(1)$

$\dfrac{\partial{\textbf{h}}}{\partial{\textbf{z}}}= \dfrac{\partial{\sigma({\textbf{z})}}}{\textbf{z}} =\textbf{h}(1-\textbf{h})……(2)$

$\dfrac{\partial{\textbf{z}}}{\partial{\textbf{w}}}= \dfrac{\partial{\textbf{Xw}}}{\partial{\textbf{w}}}=\textbf{X}^T……(3)$

式子(2)前面已经对sigmoid函数求过导，这里相当于把这一列的每一个值做相同处理而已。式子(3)在前提知识中已经证明。三式子相乘得到：
$\dfrac{\partial{\textbf{c}}}{\partial{\textbf{w}}}=\textbf{X}^T (\textbf{h}-\textbf{y})$
最后的结果是简洁优雅的。这个也就是损失函数的梯度。

类似的，如果只考虑一个点 $\textbf{x}$ ，那么有 $\dfrac{\partial{c}}{\partial{\textbf{w}}}=(h-y)\textbf{x}^T$ 。
我们一般把数据点写成行，特征写成列。于是 $\textbf{x}$ 很自然当做行向量处理，而梯度我们一般写成列向量，因此这里用了转置。这种比较常用一点，每一个数据点更新一次 $\textbf{w}$ 比较实际一点，如果是整个训练集，则太占内存。

梯度下降法

也就是利用下面的算法进行迭代，直到 $\textbf{w}$ 收敛。
$\textbf{w}=\textbf{w}-\alpha \cdot \dfrac{\partial{\textbf{c}}}{\partial{\textbf{w}}}$

逻辑回归算法