一.什么叫KNN
KNN，K-NearestNeighbor，即K个最近的邻居的意思。对于一个输入样本，用特征上最接近它的K个临近值大多数属于的标签来对它进行分类。KNN是最简单的机器学习算法之一，可以用于分类和回归，是一种监督学习算法。
二.KNN的过程介绍
具体实现过程如下：
①准备数据，对数据进行预处理
预处理
在已经分好类的情况下，我们需要对没有分类的物品进行分类 。
②计算测试样本点（也就是待分类点）到其他每个样本点的距离。
距离计算
要度量空间中点距离的话，有好几种度量方式，比如常见的曼哈顿距离计算，欧式距离计算等等。不过通常KNN算法中使用的是欧式距离，这里只是简单说一下，拿二维平面为例，，二维空间两个点的欧式距离计算公式如下：
二维空间欧式距离
其实就是计算（x1,y1）和（x2,y2）的距离。拓展到多维空间，则公式变成这样：
多维空间欧式距离
这样我们就明白了如何计算距离，KNN算法最简单粗暴的就是将预测点与所有点距离进行计算
③对每个距离进行排序，然后选择出距离最小的K个点 。
距离排序
④对K个点所属的类别进行比较，根据少数服从多数的原则，将测试样本点归入在K个点中占比最高的那一类
我们将K值取3，可以看出，距离其最近的三个点的投票结果是：
A类物品 2
B类物品 1
所以我们可以将需要识别物品归类于A类物品
三.K值的选择
k值是KNN算法的一个参数，K的含义即参考”邻居“标签值的个数。
如果当K的取值过小时，一旦有噪声得成分存在们将会对预测产生比较大影响，例如取K值为1时，一旦最近的一个点是噪声，那么就会出现偏差，K值的减小就意味着整体模型变得复杂，容易发生过拟合；
如果K的值取的过大时，就相当于用较大邻域中的训练实例进行预测，学习的近似误差会增大。这时与输入目标点较远实例也会对预测起作用，使预测发生错误。K值的增大就意味着整体的模型变得简单；
如果K==N的时候，那么就是取全部的实例，即为取实例中某分类下最多的点，就对预测没有什么实际的意义了
在划分好数据集后，我们可以通过交叉验证法来得到最佳的K值
四.KNN算法的优缺点
优点：
1.无数据输入假定，在分类完的情况下进行测试
2.预测精度高
3.对异常值不敏感
缺点：
1.时间复杂度和空间复杂度高，计算到每一个点的距离，计算量较大
2.当样本不平衡的时候，比如一个类的样本容量大，另一个类的样本容量很小，对于测试识别的样本来说，投票结果更容易靠近样本容量大的类，从而导致分类错误
五.KNN算法简单代码实现
#---------------------------------------引用库-----------------------------------#
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import math
#---------------------------------------测试集-----------------------------------#
train_x=[12,15,24,56,68,90]
train_y=[50,59,67,101,115,123]
#---------------------------------------训练集-----------------------------------#
test_x=[40]
test_y=[72]
#--------------------------------------分类标签----------------------------------#
labels=['A','A','A','B','B','B']
#--------------------------------------绘制图像----------------------------------#
def runplt():
plt.figure()
plt.title("train data ")
plt.xlabel('x data')
plt.ylabel('y data')
plt.grid(True)
plt.xlim(0, 100)
plt.ylim(0, 150)
return plt
dia = train_x
price = train_y
print(dia)
print(price)
plt = runplt()
plt.plot(dia, price, 'k.')
plt.scatter(test_x,test_y,color='b')
plt.show()
#-------------------------------------距离计算------------------------------------#
distance=[]
len1=len(test_x)
len2=len(train_x)
for i in range(len1):
for j in range(len2):
derta_x=abs(train_x[j]-test_x[i])
derta_y=abs(train_y[j]-test_y[i])
distance.append(pow(pow(derta_x,2)+pow(derta_y,2),0.5))
#-------------------------------- 输出排序结果------------------------------------#
print (np.argsort(distance)) # 正序输出索引，从小到大
for i in range(len(labels)):
print(labels[np.argsort(distance)[i]])
#--------------------------------进行投票表决-------------------------------------#
A=0
B=0
for i in range(int(len(labels)/2)):
if labels[np.argsort(distance)[i]] == 'A':
A+=1
if labels[np.argsort(distance)[i]] == 'B':
B+=1
print(A)
print(B)
if A>B:
test_data_label='A'
if A<B:
test_data_label='B'
#--------------------------------输出分类结果-------------------------------------#
test_data_label
