logistic回归算法

logistic回归算法是一种分类方法，主要用于两分问题（结果是0/1）
假设函数： $h_\theta(x)=g(\theta^Tx)$ logistic/sigmoid function: $g(z)=\frac{1}{1+e^{-z}}$

logistic/sigmoid function.png

分类预测函数：

h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}

在x确定的情况下，类别y = 1的概率

P(y=1|x;\theta)=h_\theta(x)

在x确定的情况下，类别y = 0的概率

P(y=0|x;\theta)=1-h_\theta(x)

备注：

P(y=0|x;\theta)+P(y=1|x;\theta)=1

假设函数预测 $y=1$ 和 $y=0$
预测

y=1

当

h_\theta(x)≥0.5

\theta^Tx≥0

预测

y=0

当

h_\theta(x)<0.5

\theta^Tx<0

确定 $\theta$ 值
代价函数：

$J(θ)=\frac{1}{2m}\sum_{i=1}^m (h_θ( x^{(i)})-y^{(i)})^2=\frac{1}{m}\sum_{i=1}^m Cost(h_θ( x^{(i)},y^{(i)})$
$Cost(h_θ( x),y)=\frac{1}{2}(h_θ( x)-y)^2$
$Cost(h_θ( x),y)=\left\{\begin{array}\\-log (h_\theta(x)) (y=1)\\-log (1-h_\theta(x)) (y=0) \end{array}\right.$
===>>>简化公式：

$Cost(h_θ( x),y)=-y log (h_\theta(x)) -(1-y)log (1-h_\theta(x))$
$J(θ)=\frac{1}{m}\sum_{i=1}^m Cost(h_θ( x^{(i)},y^{(i)})$
$=-\frac{1}{m}[\sum_{i=1}^m y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$ (from 统计学-极大似然法)

梯度下降法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减小。梯度其实就是函数的偏导数。

用梯度下降法对 $J(θ)$ 求最小值：
$\theta_j:=\theta_j-α\frac{∂}{∂\theta_j}J(θ)$
$\theta_j:=\theta_j-α\sum_{i=1}^m (h_θ( x^{(i)})-y^{(i)})x^{(i)}_j$ 优化算法：
共轭BFGS
L-BFGS

不需要学习率 $\alpha$
收敛比梯度下降快
缺点：
更加复杂