KNN算法定义：
KNN全称k-NearestNeighbor，意思是寻找K个最近的邻居。例如目前待分类的住户为A，根据住户A的K个最近的邻居的类型来判断A可能会是哪一类型的用户。判断的标准是K个最近邻居中类型最多的那个类就是A可能的属性。
KNN是一个分类算法，分类算法也就是通过对已知的类别训练数据集的分析，从中发现分类规则，从而预测新数据的类别，分类算法属于监督学习范畴。
流程：
定义三项基本要素：K值（K值最好为奇数），距离度量（一般情况选择欧式距离），分类决策
1计算测试对象到训练集中每个对象的距离
2 对距离进行排序
3 提取距离最近的K个训练对象，为最近的K个邻居
4 统计最近的这K个邻居的类别频次，频次最高的类型就是测试对象的类别
交叉验证（分类方法的验证方法 ）
K值的选择是KNN算法的关键，如何选取K值，可以通过交叉验证去检测。
交叉验证是将训练集细分为训练数据和验证数据。
训练数据：是指用来训练模型或确定模型参数的数据。
验证数据：又称测试集，用来验证模型的准确性的数据
一般采用K折交叉验证
具体做法是：
1.设置K=10，那么将原数据集随机分为10分，分比标记为D1到D10.
2使用D1作为测试集，D2-D10作为训练集，计算得分S1，依次再用D2,D3直到D1作为测试集，剩余数据作为训练集，计算得分S2-S10。
3.求取S1,S2…S10的平均值，作为模型的综合得分。
