一文彻底搞懂二分类最简单算法之逻辑回归

逻辑回归模型可是说是机器学习中最简单的模型之一，但同时它具有极强的解释性，广泛的应用于各个领域，同时也可以作为很多分类算法的基础组件。例如使用GBDT + LR用于信用卡交易的反欺诈等。另外，在很多实际用用中，由于逻辑回归易于实现，可以作为很多问题baseline。
逻辑回归虽然名字中带有‘回归’，但是他是一个实实在在的分类算法，主要用于二分类。之所以叫回归，是因为该算法利用了Logistic函数（又称为sigmoid函数），将预测值映射到（0，1）之间的区间。函数形式为：
$log_i(z) = \frac{1}{1+e^{-z}}$
对应的函数图像如下：

image.png

下面我们就用sklearn中的鸢尾花数据集来实现该算法。

1. 导入数据集并进行基本的数据参看分析

from sklearn import datasets
iris = datasets.load_iris()
y = iris.target
iris_features = pd.DataFrame(data = iris.data, columns = iris.feature_names)
iris_features.head()

结果如下：

捕获.JPG

一般除了使用head以外，pandas中常用的还有describe/shape/info等进行基本数据查看。读者可以自行尝试。

2. 数据图形化展示

一图胜千言！我们经常使用可视化的方法，将数据更加形象的展示出来，便于观察数据之间的相关性，为后期的数据挖掘提供更多思路。下面使用三种图形来展示

2.1 pairplot-两两之间的相关性查看

iris_new = iris_features.copy() # 进行浅拷贝，防止原始数据修改
iris_new['target'] = y
sns.pairplot(data = iris_new, diag_kind='hist', hue = 'target')

untitled.png

通过上面这张图，我们也可以大概的知道那个特征的区分度比较好。

2.2 单个特征的箱线图

f, ax = plt.subplots(2,2, figsize = (20,10))

for i, col in enumerate(iris_features.columns):
    sns.boxplot(x = 'target', y = col, saturation=0.5, palette='pastel', data = iris_new, ax = ax[i//2][i%2])

untitled1.png

可以看到和上面的pairplot又类似的效果。从上面的4张箱线图，也可以很容易的发现类别0可以很容易的和1/2区分开。但是类别1/2之间的特征值有重叠的区域，只从一个特征区分难度较大。

2.3 3D散点图

from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure(figsize=(18,10))
ax = fig.add_subplot(111, projection = '3d')

iris_nww_class0 = iris_new[iris_new['target']==0].values # 将0类筛选出来
iris_nww_class1 = iris_new[iris_new['target']==1].values
iris_nww_class2 = iris_new[iris_new['target']==2].values
# 0-setosa， 1-versicolor， 2-virginica

ax.scatter(iris_nww_class0[:,0],iris_nww_class0[:,1],iris_nww_class0[:,2],label = 'setosa')
ax.scatter(iris_nww_class1[:,0],iris_nww_class1[:,1],iris_nww_class1[:,2],label = 'versicolr')
ax.scatter(iris_nww_class2[:,0],iris_nww_class2[:,1],iris_nww_class2[:,2],label = 'svirginica')
plt.legend()

效果如下：

3.png

3. 使用Logistic Regression进行分类

3.1 二分类

from sklearn.model_selection import train_test_split

# 选择其中类别为0和1的样本（不包括2），先进行二分类
iris_part = iris_features.iloc[:100]
iris_part_target = iris.target[:100]

# 分割测试集（20%）和训练集（80%）
X_train, X_test, y_train,y_test = train_test_split(iris_part, iris_part_target, 
                                                   test_size = 0.2, random_state = 2020)
# 创建并训练模型
clf = LogisticRegression(random_state=0, solver='lbfgs')
clf.fit(X_train, y_train)

>>> LogisticRegression(C=1.0, class_weight=None, dual=False, fit_intercept=True,
          intercept_scaling=1, max_iter=100, multi_class='warn',
          n_jobs=None, penalty='l2', random_state=0, solver='lbfgs',
          tol=0.0001, verbose=0, warm_start=False)

查看训练后的模型参数：

# 查看对应的w
print('The weight of Logistic_Regression: ', clf.coef_)
#查看对应的w0
print( 'The intercept(w0) of Logistic_Regression: ', clf.intercept_)
>>> The weight of Logistic_Regression:  [[ 0.45181973 -0.81743611  2.14470304  0.89838607]]
>>> The intercept(w0) of Logistic_Regression:  [-6.53367714]

在计算模型精度

from sklearn.metrics import accuracy_score, confusion_matrix
train_predict = clf.predict(X_train)
test_predict = clf.predict(X_test)

train_res = accuracy_score(y_train, train_predict)
test_res = accuracy_score(y_test, test_predict)

print('The accuracy of Logistic_Regression on train set is : ', train_res)
print('The accuracy of Logistic_Regression on test set is : ', test_res)
>>> The accuracy of Logistic_Regression on train set is :  1.0
>>> The accuracy of Logistic_Regression on test set is :  1.0

可以看到在训练集和测试集上模型都获得了100% 的正确度。这个从之前的数据可视化中也能看到一丝端倪，因为类别0和类别1很容易区分，即区分的边界比较明显。

下面查看混淆矩阵，并用热力图进行可视化

confusion_matrix_res = confusion_matrix(test_predict, y_test)
print('The confusion matrix result: \n', confusion_matrix_res)

#利用热力图进行可视化,
plt.figure(figsize=(8,6))
sns.heatmap(confusion_matrix_res, annot=True, cmap='Blues')
plt.xlabel('Predict lables')
plt.ylabel('True labels')

效果如下：

捕获.JPG

至此，本次的任务结束！