- 优点：计算代价不高，易于理解和实现。
- 缺点：容易欠拟合，分类精度可能不高。
- 适用数据类型：数值型和标称型数据。
主要思想： 根据现有数据对分类边界建立回归公式，以此进行分类。
一般过程：
(1)收集数据：采用任意方法收集数据。
(2)准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。
(3)分析数据：采用任意方法对数据进行分析。
(4)训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5)测试算法：一旦训练步驟完成，分类将会很快。
(6)使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类别.，在这之后，我们就可以夺输出的类别上做一些其他分析工作。
基于logisitc回归和sigmoid函数的分类
为了实现logistic回归分类器，我们可以在每个特征上都乘以一个回归系数（即下节的最佳回归系数的确定），然后把所有的结果值相加，将这个总和代人sigmoid函数中，进而得到一个范围在0〜1之间的数值。任何大于0.5的数据被分为1类，小于0.5即被归为0类。所以，logistic回归也可以被看成是一种概率估计。
最佳回归系数的确定
sigmoid函数的输入为z，表示将这两个数值向量对应元素相乘然后全部加起来。
其中，x向量是分类器的输入数据，向量w就是我们要找到的最佳参数( 回归系数)。
最优化方法1：梯度上升法
基本思想： 要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。
梯度算子总是指向函数值增长最快的方向，走步长 .
梯度算法的迭代公式如下：
该公式将一直被迭代执行，直至达到某个停止条件为止.
梯度上升算法用来求函数的最大值，而梯度下降算法用来求函数的最小值。
训练算法：使用梯度上升找到最佳参数
伪代码：
每个回归系数初始化为1
重复R次：
计算整个数据集的梯度
使用alpha × gradient 更新回归系数的向量
返回回归系数
代码实现：
logRegres.py
from numpy import *
def loadDataSet():
dataMat = []; labelMat = []
fr = open('E:/电子书/机器学习实战代码/机器学习实战代码/Ch05/testSet.txt')
for line in fr.readlines():
lineArr = line.strip().split() #每行前2个值为两个特征x1,x2，第三个值是数据对应的类别标签
dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])]) #x0 = 1,两个特征x1,x2
labelMat.append(int(lineArr[2])) #数据对应的类别标签
return dataMat,labelMat
def sigmoid(inX):
return 1.0/(1+exp(-inX))
#梯度上升
#参数一：一个2维numpy数组，列分别代表每个不同的特征，每行则代表每个训练样本。
#参数二：类别标签。（这里是一个行向量，需要做转置）
def gradAscent(dataMatIn, classLabels):
dataMatrix = mat(dataMatIn) #转化为NumPy矩阵
labelMat = mat(classLabels).transpose() #转化为NumPy矩阵
m,n = shape(dataMatrix)
alpha = 0.001 #步长
maxCycles = 500 #迭代次数
weights = ones((n,1))
for k in range(maxCycles): #重矩阵运算
h = sigmoid(dataMatrix*weights) #矩阵相乘，得到一个列向量
error = (labelMat - h) #矢量相减
weights = weights + alpha * dataMatrix.transpose()* error
return weights
main.py
import logRegres
dataArr, labelMat = logRegres.loadDataSet()
print(logRegres.gradAscent(dataArr, labelMat)) #打印回归系数
output:
[[ 4.12414349]
[ 0.48007329]
[-0.6168482 ]]
训练算法：随机梯度上升
- 梯度上升算法在每次更新回归系数时都需要遍历整个数据集，复杂度较高。一种改进方法是一次仅用一个样本点来更新回归系数，该方法称为随机梯度上升算法。
- 由于可以在新样本到来时对分类器进行增量式更新，因而随机梯度上升算法是一个在线学习算法。与“在线学习”相对应，一次处理所有数据被称作是“批处理”。
伪代码：
所有回归系数初始化为1
对数据集中的每个样本
计算该样本的梯度
使用alpha × gradient更新回归系数值
返回回归系数值
实现代码：
def stocGradAscent0(dataMatrix, classLabels):
m,n = shape(dataMatrix)
alpha = 0.01
weights = ones(n) #initialize to all ones
for i in range(m):
h = sigmoid(sum(dataMatrix[i]*weights))
error = classLabels[i] - h
weights = weights + alpha * error * dataMatrix[i]
return weights
与随机梯度上升的区别：
1、随机梯度上升中 h 和 error 均为向量，此处为数值。
2、没有矩阵转化过程，全部变量的数据类型均为numpy数组。
改进的随机梯度上升法：
由于存在一些不能正确分类的样本点（数据集并非线性可分)，在每次迭代时会引发系数的剧烈改变。我们期望算法能避免来回波动，从而收敛到某个值。另外，收敛速度也需要加快。因此要改进随机梯度上升法。
改进一： alpha每次迭代时调整。目的是为了缓解数据波动或者高频波动。
- 由于常数项的存在，alpha会随着迭代次数不断减小，但永远不会减小到0。目的是为了保证在多次迭代后新数据仍然有一定影响。若处理的问题是动态变化的，可以加大常数项，来确保新的值获得更大的回归系数
- alpha 每次减少
, 其中 j 是迭代次数， i 是样本的下标。 当
时，alpha 就不是严格下降。
改进二： 随机选取样本来更新回归系数。
- 每次随机从列表中选出一个值，然后从列表中删掉该值（再进行下一次迭代)。
- 可减少周期性波动。
改进三： 增加了一个迭代次数作为第三个参数，默认150次。
#改进的随机梯度上升
def stocGradAscent1(dataMatrix, classLabels, numIter=150): #改进3
m,n = shape(dataMatrix)
weights = ones(n) #initialize to all ones
for j in range(numIter):
dataIndex = list(range(m)) #原书为： dataIndex = range(m)
for i in range(m):
#改进一
alpha = 4/(1.0+j+i)+0.0001 #alpha每次迭代时调整
#改进二
randIndex = int(random.uniform(0,len(dataIndex)))#随机选取更新
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights
main.py
import logRegres
dataArr, labelMat = logRegres.loadDataSet()
print(logRegres.gradAscent(dataArr, labelMat)) #打印回归系数
#打印随机梯度上升法拟合的回归系数
print(logRegres.stocGradAscent0(array(dataArr), labelMat))
#打印改进的随机梯度上升法拟合的回归系数
print(logRegres.stocGradAscent1(array(dataArr), labelMat))
outputs:
[[ 4.12414349]
[ 0.48007329]
[-0.6168482 ]]
[ 1.01702007 0.85914348 -0.36579921]
[15.23483369 1.13306178 -2.12471834]
