假设函数
对于分类问题，如果使用线性回归预测，当样本分布比较复杂时，无法做到准确的分类
例如：
通常我们可以用Logistic回归解决分类问题
特点：算法的输出（预测值）一直介于0到1之间
Logistic函数（也称作Sigmoid函数）
函数图像
令，
，则满足
，有假设函数：
的输出表示对于一个输入x，y=1的概率估计
决策界限
从函数图像看，当时，
，即
时，
，此时预测
，同理，当
时，预测
决策边界就是当参数确定后，的函数，将
和
的变量区域分离
决策边界是假设函数的一个属性，不是训练集的属性，一旦假设函数的参数经过训练集拟合确定了，决策边界就确定了
代价函数
在线性回归中使用的代价函数,这是单个样本的情况，在线性回归里很好用，但不适合logistic回归，因为logistic回归的假设函数代入到代价函数里是一个非凸函数，如果用梯度下降算法，不能保证会收敛到局部最优，如下左图所示
我们希望得右图这样的凸函数，可以保证梯度下降会收敛到该函数的全局最小值
在Logistic回归中我们使用另一个代价函数，这个式子得自统计学中的极大似然法
Logistic回归的代价函数：
当y=1时代价函数图像如下，表明当假设函数趋近于1时，即接近y=1时，代价函数趋近于0，如果假设函数趋近0，代价将无穷大
当y=0时代价函数图像如下
简化代价函数与梯度下降
因为Logistic回归中，y取值只有0和1两种，所以可以想办法将这两种情况写成一个式子，即简化代价函数，可以写成：
多样本时的代价函数：
应用梯度下降算法求参数θ，同线性回归一样
repeat until convergence{
}
看起来同线性回归的偏导结果一样，但是不同
线性回归中的特征缩放在Logstic回归的梯度下降中同样适用，它可以让梯度下降更快
多元分类：一对多
思想：假设有下面三个类别需要分类，我们可以将这个训练集转化为三个独立的二元分类问题，这样可以拟合出三个分类器，当我们输入时，取三个分类器中概率最高的
的类别
