几句话之逻辑回归和Softmax回归

逻辑回归

用sigmoid函数，把线性回归的结果进行压缩，压缩到0~1之间。
然后，把压缩结果和分类输出y（假设是0和1）对应起来：压缩结果>0.5，y为1；压缩结果<0.5，y为0。
这样就相当于得到了概率函数，有了概率函数，就能写出似然函数。
当然了，为了得到模型的一般形式，必然要引入一些模型参数。

求这些模型参数，就用老办法：

1. 写出似然函数
2. 把似然函数加负号，转为损失函数
3. 梯度下降求参数
   PS：
   似然函数求极值是求最大值，只能用求导方式求，不好算。
   所以加上符号，用梯度下降或牛顿法求（梯度下降是求最小值的）。

Softmax回归

Softmax回归是处理多分类问题的，逻辑回归是处理二分类的。
Softmax回归也是一样的套路，压缩==》得到概率函数==》写出似然函数==》转为损失函数==》梯度下降求参数