六、逻辑回归(Logistic Regression)
6.1 分类问题
本节介绍了分类问题最流行的一种算法——逻辑回归 (Logistic Regression)算法。逻辑回归的本质：输出在（0，1）内的连续值。
“回归”体现在输出连续值，但因为逻辑回归解决的是分类问题，将输出值限定在（0，1）之间。对于二分类问题来说，问题有两种结果：1代表正向类，0代表负向类。逻辑回归算法设定一个阈值（如0.5），则输出[ 0.5, 1)代表正向类，(0, 0.5)代表负向类。
注，逻辑回归输出的值表示概率（和输出范围在（0,1）结合理解），e.g.输出为0.7代表结果为1的概率为70%，结果为0的概率为30%。
6.2 假说表示
本节解决如何让输出为在（0，1）上的连续值。
引入逻辑函数（logistic function)，将input放入逻辑函数中，使得其输出限定在(0,1)。常用的逻辑函数有：Sigmoid函数——
因此逻辑回归模型为
python代码实现：
import numpy as np
def sigmoid(z):
return 1 / (1 + np.exp(-z))
表示对于input，其output =1的概率，即
6.3 判定边界
本节介绍了决策边界(decision boundary)的概念。
看上图，我们可以看到，当z >= 0时，hθ (x) >= 0.5, 预测 y=1。z < 0时，hθ (x) < 0.5, 预测 y=0。其中，z=θT x= θ0+θ1 x1+θ2 x2+... ，
假设现有参数θ 是向量[-3,1,1]。则z=θT x=-3+x1+x2 。
则z >= 0 表示x1+x2 >= 3的区域（预测 y=1），z < 0表示x1+x2<3的区域（预测 y=0）。
我们同样可以用非常复杂的模型来适应非常复杂形状的判定边界。比如用二次模型hθ (x)=g(θ0+θ1 x1+θ2 x2+θ3 x12 +θ4 x22 )，θ=[-1 0 0 1 1]表示下图的分布情况。
6.4 代价函数
和之前一样，要训练参数θ，需要求代价函数。若用线性回归模型的代价函数（所有模型误差的平方和），得到的代价函数将是一个非凸函数（non-convexfunction），这意味会受许多局部最小值的干扰。
为此我们必须重新定义代价函数：
其中
hθ (x)与 Cost(hθ (x),y)之间的关系如下图所示：
如果真实值y=1，则hθ (x)离1越近 cost越小，且当hθ (x)=1时，-log1=0，代表无误差，若y=0，则hθ (x)离0越近 cost越小，且当hθ (x)=0时，-log(1-0)=0，代表无误差。
将Cost函数合并：
，
则代价函数J为：
如此得到的代价函数J(θ)会是一个凸函数，并且没有局部最优值。
Python代码实现：
import numpy as np
def cost(theta, X, y):
theta = np.matrix(theta)
X = np.matrix(X)
y = np.matrix(y)
first = np.multiply(-y, np.log(sigmoid(X* theta.T)))
second = np.multiply((1 - y), np.log(1 - sigmoid(X* theta.T)))
return np.sum(first - second) / (len(X))
上图看出，得到的梯度下降算法形式上与线性回归的一样，但由于这里给input套了一层Sigmoid函数，所以实际上是不一样的。另，依然要重视在梯度下降前进行特征缩放。
6.5 简化的成本函数和梯度下降
逻辑回归的代价函数：
即：
再次复习，在逻辑回归里 比以前多学了两个概念，(1)逻辑函数(Sigmoid)是在hypothesis里用到的；(2)改变过的Cost是用来算误差的，在训练θ时用到。
目的-->
梯度下降法，就是利用下面的模板，反复更新θ
形式上，与求线性回归时一样，每一步 θ都减去 预测误差乘以
6.6 高级优化
本节介绍一些高级优化算法（e.g.共轭梯度法 BFGS (变尺度法) 、L-BFGS (限制变尺度法) ），来提高逻辑回归的效率。
由于这些算法比较复杂，暂时能学会用就行，不要求搞明白原理。（打代码要用到时在查用法吧，这里有个印象就好了）。
6.7 多类别分类：一对多
本节讨论用逻辑回归解决多分类问题。
我们已经知道如何使用逻辑回归进行二元分类。如，用直线可以将数据集分为正、负两类。
处理多分类问题：
假设有一个训练集，有3个类别。我们可以将一个训练集分成3个二元分类问题：
类1为正类，类2类3为负类；
类2为正类，类1类3为负类；
类3为正类，类1类2为负类.
得到一系列的模型简记为：
这样我们就有了3个逻辑回归分类器
七、正则化(Regularization)
7.1 过拟合的问题
本节讨论了过拟合(over-fitting)的问题。
左图：线性模型，欠拟合，不能很好地适应我们的训练集；
右图：四次方模型，过拟合，能非常好地拟合训练集，但预测新input时，效果可能很差；
中图：最合适。
分类中也如此：
模型x的次数越高，拟合的越好，但越可能过拟合。
如何处理过拟合？
1.丢弃一些不重要的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）。
7.2 代价函数
假设有模型：
该模型的过拟合是由高此项产生的，因此，我们要想办法让高次项的系数θ-->0，这样就能很好的拟合了。这就是正则化的基本方法。
为了减少的大小，我们给
设置一点惩罚，操作如下：
这样选择出的
假如我们有非常多的特征，且不知道该惩罚哪些特征，我们可以惩罚所有特征，并让优化代价函数的程序自动选择惩罚程度，操作如下：
其中λ又称为正则化参数（Regularization Parameter）。
注：根据惯例，我们不对θ_0 进行惩罚。
经过正则化处理的模型与原模型的可能对比如下图所示：
若λ过大，会使所有θ过小，导致模型
7.3 正则化线性回归
正则化线性回归的代价函数为：
梯度下降算法变为：
对上面的算法中时的更新式子进行调整可得：
可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。
我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：
图中的矩阵尺寸为 (n+1)*(n+1)。(其实正规方程这块我也没搞太懂，先留个坑)
7.4 正则化的逻辑回归模型
正则化的逻辑回归代价函数：
梯度下降算法
注：
(1)依旧是，炒冷饭一样的提醒，逻辑回归和线性回归的正则化代价函数“形式一样，概念不同”。
(2)不参与其中的任何一个正则化。
