一、理论篇
LR回归包括两个：Linear
Regression(线性回归)，Logistic Regression（逻辑回归）。对回归来说，梯度下降法是最基础的算法了：
选定损失函数（衡量回归效果的好坏，值越小归回的越好），求偏导，梯度下降，迭代求得损失函数的极小值，就完成了回归。
梯度下降有个局限，只有凸函数才可以使用。
线性回归和逻辑回归的区别便是损失函数的选取不同，但它们的损失函数都是凸函数。
当然有个值得注意的地方，如果参数过多，可能会出现过拟合的情况，需要在损失函数后面加上一个正则项，控制参数的个数，然后回归曲线尽量光滑。
1.线性回归
线性回归比较简单，高中就学过用最小二乘法求解。
现在有工具了，可以利用计算机，当然不再像高中那般用笔算了。
线性回归的损失函数在这不做讨论，太简单。
对它求偏导J’，选定一个步长a
这样不断迭代，自然就走到最低点了。
2.逻辑回归
为什么要逻辑回归？
现实中有很多数据是只有两种情况的,要么0要么1.比如得还是不得癌症，比如淘宝上某个商品点击还是不点击。那这个时候我们要预测它是0还是1，就不能使用线性回归。我们需要的只是一个边界，边界的这边是0，那边是1.比如下图：
那么，怎样判定边界呢？
也可以像线性回归那样找一个损失函数，求损失函数的极小值就好了。
上上周看到的是这个版本，由于没有推到过程，虽然对它求导、梯度下降，结果也是一样的，但我必须要知道它是怎么来的！
于是又花了一周的时间去折腾。
以下是逻辑回归理论推导过程：
二、实现篇
'''
Created on 2017年6月18日
@author:fujianfei
'''
fromnumpyimport*
importmatplotlib.pyplotasplt
fromos.pathimportos
frommatplotlib.pyplotimportscatter,legend,show
fromsympy.solvers.solversimportsolve
#定义sigmoid函数
defsigmoid(inX):
return1.0/ (1+ exp(-inX))
#计算L的偏导
defLogDerivative(X,y,theta):
logD=sum((y-sigmoid(X.dot(theta)))*X,axis=0)#对列求和
logD=reshape(logD,(len(theta),1))
returnlogD
#梯度下降
defLogGradientDesc(X,y,theta=ones((3,1)),alpha=.001,iterations=200):
fornumberinrange(iterations):
theta = theta +alpha*LogDerivative(X,y,theta)
returntheta
#拟合效果，你拟合精度
deftestLogRegres(weights, test_x, test_y):
numSamples,numFeatures=shape(test_x)
matchCount =0
foriinrange(numSamples):
predict = sigmoid(test_x[i,:].dot(weights)) >0.5
ifpredict == bool(test_y[i,0]):
matchCount +=1
accuracy = float(matchCount) /numSamples
returnaccuracy
#画图
defshowLogRegres(weights, train_x, train_y):
numSamples, numFeatures =shape(train_x)
ifnumFeatures !=3:
print('Sorry! I can not draw because the dimension of your data is not 2!')
return1
foriinrange(numSamples):
ifint(train_y[i,0]) ==0:
plt.plot(train_x[i,1], train_x[i,2],'or')
elifint(train_y[i,0]) ==1:
plt.plot(train_x[i,1], train_x[i,2],'ob')
min_x = min(train_x[:,1])
max_x = max(train_x[:,1])
y_min_x = float(-weights[0] - weights[1] * min_x) / weights[2]
y_max_x = float(-weights[0] - weights[1] * max_x) / weights[2]
plt.plot([min_x, max_x], [y_min_x,y_max_x],'-g')
plt.xlabel('X1'); plt.ylabel('X2')
plt.show()
#实现
if__name__ =='__main__':
data_path = os.getcwd()+'\\data\\'
'''
逻辑斯特回归，线性决策边界
'''
#读取数据
print("step 1:
loading the data...")
logisticDate = loadtxt(data_path+'data1.txt',delimiter=',')
X=logisticDate[:,0:2]
mapped_fea=map_feature(X[:,0],X[:,1])
m,n=mapped_fea.shape
#meanVal=mean(X,axis=0)
#X=X-meanVal
xone=ones((len(X),1))
X=column_stack([xone,X])#在X上加一列常数，数值为1 theta0
y=logisticDate[:,2]
y=reshape(y,(len(y),1))
print("step 2:
training the data...")
theta=LogGradientDesc(X,y)
print(theta)
print("step 3:
testing the result...")
accuracy = testLogRegres(theta, X, y)
print(accuracy)
print("step 4:
show the result...")
showLogRegres(theta, X, y)
图1是一组原本就是零均值的数据的结果，也是我第一次做出来的效果,初始值1,步长0.01，迭代次数200：
换了一组不是零均值化的数据后，初始值1,步长0.01，迭代次数200,明显效果不对,初始值和步长都选错了:
然后我换了初始值和步长,初始值为10,步长0.00001,迭代20000:
最后我懒得猜初始值和步长了.直接零均值化,初始值1,步长0.01，迭代次数200：
三、问题篇
1.选步长和初始值很重要，为了好选，是否可以将数据进行零均值化？
2.以上分析都是线性决策边界，我试图做出非线性决策边界，将x1,x2以多项式组合起来，然后再加上不同的参数，结果并不理想，精度只有0.53，加上python技术有限，画不来这个多项式组合后的图形，看不见具体的效果，这个问题先留着，下次看到相关资料再细究。
#多项式特征组合
defmap_feature(x1,x2):
x1.shape = (x1.size,1)
x2.shape = (x2.size,1)
degree=6
mapped_fea = ones(shape=(x1[:,0].size,1))
foriinrange(degree +1):
forjinrange (i+1):
r=(x1 ** (i - j))*(x2 ** j)
mapped_fea = append(mapped_fea, r,axis=1)
returnmapped_fea
3.如果结束迭代的条件不是迭代次数，而是偏导值小于某个下限，是否也可以？为什么在网上没看见有人这样做过.
4.我用的是最笨的迭代方式，梯度下降，还有一些优化的迭代方式。
四、总结
逻辑回归原理:通过最大似然求出L，再对L求偏导，最后迭代。
真正开始搞逻辑回归是上周天，认真搞了一天，本周一到周五白天上班，晚上回来也就查个漏补个缺，本篇文章肯定漏洞百出，加之昨晚几乎没睡，如今没有精力去深究了，先往前看看，看的风景多了，自然就知道以前缺什么了。
参考：
http://blog.csdn.net/zouxy09/article/details/20319673
P`��?��
