线性回归
# 加载数据分析常用库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
% matplotlib inline
机器学习是一个很复杂又很广阔的概念，可以说是包罗万象的。从数据分析到机器学习再到深度学习，这是一个不断进步和发展的过程。这里就通过一个很基础的入门项目，来演练一下机器学习的过程。
机器学习的本质其实就是通过训练集建立一个模型，而后可以通过这个模型实现对于特征的识别，得出结果标签，而这个模型可以是多种多样的，简单线性回归模型只是其中的最基础最简单的一种模型。
1 建立一个数据集（如果不规整的数据集，需要按照数据分析的流程进行一遍数据清洗，这里仅仅举个例子，就跳过数据分析这一步了）
#首先我们先建立一个数据集，这也是之后用来训练和测试的数据
#导入包，创建数据集
from collections import OrderedDict
import pandas as pd
examDict={
'学习时间':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,
2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],
'分数': [10, 22, 13, 43, 20, 22, 33, 50, 62,
48, 55, 75, 62, 73, 81, 76, 64, 82, 90, 93]
}
examOrderDict=OrderedDict(examDict)
exam=pd.DataFrame(examOrderDict)
#看看数据集长什么样
exam.head()
2 看看适不适合用线性回归的模型（通过画图）
#接下来我们先大致看一下特征和标签之间的关系
#然后来判断是否适合使用简单线性回归模型
#如果不适合，就换用其他模型
#这里是举例，肯定可以用的
#特征是学习时间，标签是分数
#用散点图看一下大致情况
#从dataframe中把标签和特征导出来
exam_X = exam['学习时间']
exam_Y = exam['分数']
#绘制散点图
#导入包
import matplotlib.pyplot as plt
#绘制散点图
plt.scatter(exam_X, exam_Y, color = 'green')
#设定X,Y轴标签和title
plt.ylabel('scores')
plt.xlabel('times')
plt.title('exam data')
plt.show()
3 分割数据
这里不能把这个数据集都作为训练数据集，那样的话就没有数据来测试一下我们的模型好坏了，所以需要把数据集分割一下，要用到一个函数。
#train_test_split函数可以在样本数据集中随机的选取测试集与训练集
#比例可以自己指定
#第一个参数为特征，第二个参数为标签
from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split(exam_X,
exam_Y,
train_size = 0.8)
#这里可以简单的看一下分割后的结果
X_train.head()
X_train.shape
#可以发现训练集是16行一列的数据，测试集是四行一列，符合切分比例
4 导入模型
#首先，改变一下数组的形状
X_train = X_train.values.reshape(-1, 1)
X_test = X_test.values.reshape(-1, 1)
#从skl中导入线性回归的模型
from sklearn.linear_model import LinearRegression
#创建一个模型
model = LinearRegression()
#训练一下
model.fit(X_train, Y_train)
#因为线性回归一般方程为y = a+bx
#b为斜率，a为截距
#截距用intercept_方法获得
#斜率用model.coef_方法获得
a = model.intercept_
b = model.coef_
a = float(a)
b = float(b)
print('该模型的简单线性回归方程为y = {} + {} * x'.format(a, b))
5 评估模型
我们得到的方程是这些点的最佳拟合曲线，那么我们首先看一下这个曲线的具体位置。
import matplotlib.pyplot as plt
#绘制散点图
plt.scatter(exam_X, exam_Y, color = 'green', label = 'train data')
#设定X,Y轴标签和title
plt.ylabel('scores')
plt.xlabel('times')
#绘制最佳拟合曲线
Y_train_pred = model.predict(X_train)
plt.plot(X_train, Y_train_pred, color = 'black', label = 'best line')
#来个图例
plt.legend(loc = 2)
plt.show()
但是仅仅通过拟合曲线我们是无法准确判断模型的拟合程度的，我们还需要更加具体的评判方式。
在线性回归中，我们通过决定系数 R^{2} 来判别，这个数值越接近于1，说明模型的拟合度越好
，通过测试数据来判断一下模型的拟合程度。
model.score(X_test, Y_test)
逻辑回归
# 加载数据分析常用库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
% matplotlib inline
逻辑回归其实并不是一个回归类的模型，而是用于处理分类问题的。即结果的标签是一个二分类的问题。举个例子吧，页面上弹出一个广告，你只有点进去看或者不看这两种结果，就像每次考试，只有通过和未通过两种结果，空难，只有幸存和非幸存两种结果，我们一般用0和1来把这些结果分为两类。逻辑回归就是通过一些特征来预测其标签是0还是1，评估模型算法的正确率的方法就是用预测正确的测试数目除以总的测试数目。下面就通过一个简单的案例来展示一下机器学习的入门。
1创建数据集
因为只是一个小案例，所以就仅仅简单的创建了一个微小的数据集进行演示
#导入包
from collections import OrderedDict
import pandas as pd
#创见数据集
examDict={
'学习时间':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,2.00,2.25,
2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],
'考试结果': [0, 0, 0, 0, 0, 0, 0, 0, 1,
0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1]
}
examOrderDict=OrderedDict(examDict)
exam=pd.DataFrame(examOrderDict)
exam.head()
继续看看数据长啥样，是不是二分类数据，适不适合用逻辑回归。从图中可以看出，显然适合用逻辑回归分类
exam_X = exam['学习时间']
exam_Y = exam['考试结果']
#导入包
import matplotlib.pyplot as plt
#绘制散点图
plt.scatter(exam_X, exam_Y, color = 'green')
#设定X,Y轴标签和title
plt.ylabel('scores')
plt.xlabel('times')
plt.title('exam data')
plt.show()
2 拆分
我们把这样的一个数据集分别拆分为测试集和训练集，用以接下来的训练和测试。
#导入包
from sklearn.cross_validation import train_test_split
#把数据分类
X_train, X_test, Y_train, Y_test = train_test_split(exam_X,
exam_Y,
train_size = 0.8)
#因为特征只有一个，所以要改变一下数据形状
X_train = X_train.values.reshape(-1, 1)
X_test = X_test.values.reshape(-1, 1)
#导入
from sklearn.linear_model import LogisticRegression
#创建模型
model = LogisticRegression()
#训练
y_score = model.fit(X_train, Y_train).decision_function(X_test)
from sklearn.metrics import roc_curve, auc
fpr,tpr,threshold = roc_curve(Y_test, y_score)
roc_auc = auc(fpr,tpr)
plt.figure()
lw = 2
plt.figure(figsize=(10,10))
plt.plot(fpr, tpr, color='darkorange',
lw=lw, label='ROC curve (area = %0.2f)' % roc_auc)
###假正率为横坐标，真正率为纵坐标做曲线
plt.plot([0, 1], [0, 1], color='navy', lw=lw, linestyle='--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()
model.score(X_test, Y_test)
model.predict_proba(3)
当我们给定输入一个特征的时候，可以返回其概率值，返回的第一个是其为0的概率值，第二个是为1的概率值。根据我们的决策面的结果，也就是x=3时候我们的logistic的函数值就是其为1的概率值。当这个值大于0.5的时候，我们做出决策，认为它的值为1，当这个概率值小于0.5的时候，我们做出决策，认为它的值为0。
在这里，我们发现，这个值为0.715，所以在此模型下，我们做出决策，认为值为1，通过上文我们定义的字典数据，可以发现，我们的决策是正确的。
当然，这只是最初级的入门级的逻辑回归的应用，还有许多更精深的内容等着我们去学习呢。
