在掌握 Logistic 回归的基本原理之后，下面我们通过实战来感受一下这个模型。由于模型的求解过程（如梯度下降法、牛顿法）和正则化流程都被封装在机器学习框架（如 sklearn）之中，所以我们无须为这些底层优化算法费心，这就是利用框架的便利所在。
前面关于 Logistic 回归的理论推导，主要是基于二分类的。下面我们就使用 sklearn 进行二分类的实战。实战使用的数据集是皮马印第安人糖尿病数据集（Pima Indians Diabetes Data Set），
该数据集中包括 442 个患者的生理数据及一年以后的病情发展情况数据。数据集中的特征包括： Pregnancies（怀孕次数）、Glucose（葡萄糖，单位mmol/L）、BloodPressure（血压，单位 mm Hg）、SkinThickness（皮层厚度，单位 mm）、Insulin（胰岛素，餐后2小时血清胰岛素，单位 mu U / ml）、BMI（体重指数，计算公式为（体重/身高）2）、Diabetes Pedigree Function（糖尿病谱系功能）、Age（年龄）。
我们的要预测的目标是，一年后该患者还有没有糖尿病，有（标识为 1）或者没有（标识为 0）显然是一个分类问题。由于用于训练的数据集略有不同，所以我们并不能直接使用 sklearn 提供的内置数据集。比较便捷的方法是，在 Kaggle（一个数据竞赛网站）上下载预处理好的数据集。为了演示方便，我们还是用 Jupyter 来分开解读例 1 的运行流程。
【例 1】Logistic 回归实战（LogisticRegression.py）
1) 导入数据集
首先我们要获取数据，即导入数据集，方法如下。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
-
导入Pandas
- import pandas as pd
-
构建属性名称列表
- col_names = ['pregnant', 'glucose'; 'bp', 'skin', 'insulin', 'bmi', 'pedigree', 'age', 'label']
-
导入数据集
- pima = pd.read_csv("diabetes.csv", header=None, names=col_names)
</pre>
如果我们想对数据集有一个直观的认识，不妨使用 head( ) 显示前 5 行（非必需步骤）。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
- pima.head()
</pre>
显示结果如下:
2) 选择特征和目标
由于前 8 个特征（即 data 部分）和第 9 个标签（即 target 部分）同处一个数据集，而 sklearn 需要将它们分开处理，所以下面的工作就是将这二者分割开。在 Pandas 的帮助下，这也是很容易做到的。
https://docs.qq.com/pdf/DR1doYmNBYUZ3RVNX
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
-
分割特征和标签
- feature_cols = ['pregnant', 'insulin', 'bmi', 'age', 'glucose', 'bp', 'pedigree']
- X = pima[feature_cols] #提取特征
- y = pima.label #提取标签
</pre>
3) 拆分训练集合和测试集合
下面我们使用 sklearn 中的 train_test_split( ) 函数把数据集一分为二，一部分为测试集，剩余部分为训练集。默认分割比例为一比三，其中 25% 为测试集，75% 为训练集，即 test_size=0.25（这个参数是默认值，如果不需要修改，则可不提供此参数）。
如果设置为其他比例，如 20%，可显式在该函数中设置参数 test_size=0.2。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
- from sklearn.model_selection import train_test_split
- X_train, X_test, y_train, y_test=train_test_split(X, y, test_size=0.2, random_state=0)
</pre>
4) 模型选择和训练
诸如 Logistic 回归这类经典算法，sklearn 已经帮我们设计好了，一般情况下可拿来即用。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
-
导入Logistic回归模型
- from sklearn.linear_model import LogisticRegression
-
创建模型实例
- logreg = LogisticRegression(solver= 'newton-cg')
-
用数据拟合模型，即训练
- logreg.fit(X_train, y_train)
-
模型预测
- y_pred=logreg.predict(X_test)
</pre>
这里需要说明的是第 17 行。Logistic 回归对应的目标函数（损失函数）是凸函数，也就是说理论上是有最优解的。这好比，我们攀登一座山峰，峰顶是我们的目标（最优解），但登上峰顶却不止一条道路。快速登上峰顶的方法，就对应机器学习的“优化算法”。
对于如何获得 Logistic 回归的最优解，也是有不同方法的，在 LogisticRegression( ) 函数参数中，对应的 solver（解决方案）共有四个：newton-cg、lbfgs、liblinear、sag。
不同方案适用范围不一样，效率和准确度都有差别，下面简单介绍：
- liblinear：使用开源的liblinear库（一种经典的线性分类器）实现，适用于小数据集。
- lbfgs：采用拟准牛顿法（quasi-Newton method）实现，利用损失函数二阶导数矩阵，即海森（Hessian）矩阵来迭代优化损失函数。
- newton-cg：牛顿迭代法家族中一个变种，采用非线性共轭梯度（conjugate gradient）算法实现，它需要通过事先预处理让各个特征处于同一个尺度之下。
- sag：随机平均梯度下降法（stochastic average gradient），属于梯度下降法的变种，和普通梯度下降法的区别是，每次迭代仅用一部分样本来计算梯度，适合用于样本数据多的场景。
5) 评估模型
对于二分类算法，我们可以很容易地用混淆矩阵来评估算法的性能。其中正对角线（TP+TN）是分类正确的样本数。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
-
import the metrics class
- from sklearn import metrics
- cnf_matrix = metrics.confusion_mat:rix(y_test, y_pred)
- print(cnf_matrix)
</pre>
程序执行结果为：
[[98 9]
[18 29]
从运行结果可以看出，共 127 个样本（98+29）被正确分类。
当然，我们也可以使用传统的性能指标（如准确率、查准率和查全率）来衡量分类结果。
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
- print ("准确率：{: . 2f}".format(metries.accuracy_score (y_test, y_pred)))
- print ("查准率：{: . 2f}".format(metrics.precision_score (y_test, y_pred)))
- print ("查全率：{: . 2f}".format(metries.recall_score (y_test, y_pred)))
</pre>
程序执行结果为：
准确率：0.82
查准率：0.76
查全率：0.62
6) ROC曲线
通过之前的讨论得知，相比于准确率、查准率和查全率而言，ROC曲线有很多优点，经常作为二值分类器性能评估的重要指标之一。AUC 就是 ROC 曲线下的面积总和，该值能够量化反映模型的性能。这两个指标在 sklearn 中也很容易实现。
https://docs.qq.com/pdf/DR1doYmNBYUZ3RVNX
<pre class="python sh_python snippet-formatted sh_sourceCode" style="margin: 0px; display: block; padding: 0px; font-size: 14px; line-height: 1.6em; color: rgb(102, 102, 102); white-space: pre-wrap; overflow-wrap: break-word; background: none; border: none; border-radius: 0px;">
- import matplotlib.pyplot as plt
-
为在 Matplotlib 中显示中文，设置特殊字体
- plt.reParams['font.sans-serif'] = ['SimHei']
- fig = plt.figure(figsize=(9, 6), dpi=100)
- ax = fig.add_subplot(111)
- y_pred_proba = logreg.predict_proba(X_test) [::, 1]
- fpr, tpr, _ = metrics.roc_curve(y_test, y_pred_proba)
- auc = metrics.roc_auc_score(y_test, y_pred_proba)
- plt.plot(fpr, tpr, label="pima糖尿病, AUC={: . 2f}" .format (auc))
- plt.legend(shadow=True, fontsize=13, loc = 4)
- plt.show()
</pre>
程序执行结果为：
图 1：ROC曲线和AUC
从运行结果可以看出，AUC=0.87，这个分类性能还可以接受。
