KNN参数说明

weights: 样本权重，可选参数：uniform(等权重)、distance(权重和距离成反比，越近影响越强)、默认uniform。

n_neighbors: 邻近数目，默认5。

algorithm: 计算方式，默认为auto，可选参数：auto、ball_tree、kd_tree、brute；推荐kd_tree。

leaf_size: 在使用KD_TREE时，叶子的数量，默认为30。

metric: 样本之间的距离度量公式，默认minkowski（闵可夫斯基）；参数p=2时，欧几里得距离。

p: 给定的minkowski距离中p值，默认为2。

了解KD树的构建过程，了解KD树的搜索过程即可。

数据来源：
《05 分类算法 - Logistic回归 - 鸢尾花分类》

##### KNN算法实现
# a. 模型构建
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, Y_train)

# b. 模型效果输出
## 将正确的数据转换为矩阵形式
y_test_hot = label_binarize(Y_test,classes=(1,2,3))
## 得到预测的损失值
knn_y_score = knn.predict_proba(X_test)
## 计算roc的值
knn_fpr, knn_tpr, knn_threasholds = metrics.roc_curve(y_test_hot.ravel(),
  knn_y_score.ravel())
## 计算auc的值
knn_auc = metrics.auc(knn_fpr, knn_tpr)
print ("KNN算法R值：", knn.score(X_train, Y_train))
print ("KNN算法AUC值：", knn_auc)

# c. 模型预测
knn_y_predict = knn.predict(X_test)
knn_y_score

KNN算法R值： 0.977777777778
KNN算法AUC值： 0.969444444444
array([[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 0. , 0. , 1. ],
[ 1. , 0. , 0. ],
[ 1. , 0. , 0. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 0. , 1. ],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 1. , 0. ],
[ 0. , 0. , 1. ],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 0.66666667, 0.33333333],
[ 0. , 0.33333333, 0.66666667],
[ 0. , 1. , 0. ],
[ 0. , 0.33333333, 0.66666667]])

画图1：ROC曲线画图

plt.figure(figsize=(8, 6), facecolor='w')
plt.plot(lr_fpr,lr_tpr,c='r',lw=2,label=u'Logistic算法,AUC=%.3f' % lr_auc)
plt.plot(knn_fpr,knn_tpr,c='g',lw=2,label=u'KNN算法,AUC=%.3f' % knn_auc)
plt.plot((0,1),(0,1),c='#a0a0a0',lw=2,ls='--')
plt.xlim(-0.01, 1.02)#设置X轴的最大和最小值
plt.ylim(-0.01, 1.02)#设置y轴的最大和最小值
plt.xticks(np.arange(0, 1.1, 0.1))
plt.yticks(np.arange(0, 1.1, 0.1))
plt.xlabel('False Positive Rate(FPR)', fontsize=16)
plt.ylabel('True Positive Rate(TPR)', fontsize=16)
plt.grid(b=True, ls=':')
plt.legend(loc='lower right', fancybox=True, framealpha=0.8, fontsize=12)
plt.title(u'鸢尾花数据Logistic和KNN算法的ROC/AUC', fontsize=18)
plt.show()

画图2：预测结果画图

x_test_len = range(len(X_test))
plt.figure(figsize=(12, 9), facecolor='w')
plt.ylim(0.5,3.5)
plt.plot(x_test_len, Y_test, 'ro',markersize = 6, zorder=3, label=u'真实值')
plt.plot(x_test_len, lr_y_predict, 'go', markersize = 10, zorder=2, label=u'Logis算法预测值,$R^2$=%.3f' % lr.score(X_test, Y_test))
plt.plot(x_test_len, knn_y_predict, 'yo', markersize = 16, zorder=1, label=u'KNN算法预测值,$R^2$=%.3f' % knn.score(X_test, Y_test))
plt.legend(loc = 'lower right')
plt.xlabel(u'数据编号', fontsize=18)
plt.ylabel(u'种类', fontsize=18)
plt.title(u'鸢尾花数据分类', fontsize=20)
plt.show()