k近邻法(k-nearest neighbor, k-NN)
原理：
存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。 最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
优缺点：
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用范围：数值型和标称型。
Python实践案例：约会网站
已知： 1000个/行约会对象的特征数据及标签包括：
每年获得的飞行常客里程数；
玩视频游戏所耗时间百分比；
每周消费的冰淇淋公升数；
魅力值标签：不喜欢的人 、 魅力一般的人 、极具魅力的人。
求： 将未来约会对象划分到以下魅力值分类：
不喜欢的人 魅力一般的人 极具魅力的人
步骤：
(1) 收集数据：提供文本文件。
(2) 准备数据：使用Python解析文本文件。
(3) 分析数据：使用Matplotlib画二维扩散图。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：使用海伦提供的部分数据作为测试样本。测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
(6) 使用算法：产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否为自己喜欢的类型。
代码：
1）准备数据：从文本文件中解析数据
将待处理数据的格式改变为分类器可以接受的格式。
当前数据是txt格式，需要分成两部分：特征矩阵+分类标签向量。
datingTestSet.txt与XXXX.py文件在同一目录下
代码如下：
2）分析数据：数据可视化
·简易散点图
·优化后散点图
3）准备数据：数据归一化
本例中，每年获得的飞行常客里程数 玩视频游戏所耗时间百分比 每周消费的冰淇淋公升数 这3个特征之间的权重是同等的。但不同特征之间的值范围相差很大（比如飞行里程数数值上十万，游戏耗时百分比甚至才0.8），会影响到最终的计算结果。
处理这种不同取值范围的特征值时，通常会先将数值归一化，统一将取值范围处理到比如０-１之间。
公式：
newValue = (oldValue - min) / (max - min)
其中min和max分别是数据集中的最小特征值和最大特征值。
代码如下：
4）算法训练测试：用kNN分类器 训练+验证
经过以上准备分析过程后，才进入算法阶段。在本例中留 90%数据训练，10%数据测试。
完整代码如下：
5）使用算法：构建完整可用系统
由上面结果可以看出，训练且测试后错误率8%。若认为此结果达到预期，可进入此步，进入实际预测使用。
在这个例子中，场景就是输入某个人的相应3个特征信息
（比如：
玩视频游戏所耗时间百分比：20
每年获得的飞行常客里程数:55555
每周消费的冰激淋公升数:0.3
）
即可得到对男方喜欢程度的预测值。
（ 如图：不喜欢）
在上一步增加的代码如下：
输入的特征值和之后得到的结果：
学习来源：
《机器学习实战》 [美] Peter Harrington
Jack Cui 博文https://cuijiahua.com/
