Logistic 回归
在Logistic回归中比较重要的有两个公式，一个是阶跃函数：
gif.gif
另一个是对应的损失函数:
gif.gif
对于确定回归系数这样的问题
gif.gif
不存在多峰，也就是说不存在除最优值之外的局部最优值。其次，这样的问题是可求导的，所以基于梯度的方法是可以用来求解回归系数的问题.的。
Sigmoid函数的公式为：
gif.gif
20140512105006234.jpg
最终，Logistic回归需要求出的是两个概率:
图片.png
Logistic回归的推广——Softmax Regression
在Logistic回归需要求解的是两个概率：
图片.png
而在Softmax Regression中将不是两个概率，而是表示的是分类的个数。我们需要求出以下的概率值：
图片.png
此时的损失函数为:
图片.png
其中I是一个指示性函数，意思是大括号里的值为真时，该函数的结果为1，否则为0。
