1.背景
今后博主会每周定时更新机器学习算法及其python的简单实现。今天学习的算法是KNN近邻算法。KNN算法是一个监督学习分类器类别的算法。
什么是监督学习，什么又是无监督学习呢。监督学习就是我们知道目标向量的情况下所使用的算法，无监督学习就是当我们不知道具体的目标变量的情况下所使用的。而监督学习又根据目标变量的类别（离散或连续）分为分类器算法和回归算法。
k-Nearest Neighbor。k是算法中的一个约束变量，整个算法的总体思想是比较简单的，就是将数据集的特征值看作是一个个向量。我们给程序一组特征值，假设有三组特征值，就可以看做是（x1，x2，x3）。系统原有的特征值就可以看做是一组组的（y1，y2，y3）向量。通过求两向量间的距离，我们找出前k个距离最短的y的特征值对。这些y值所对应的目标变量就是这个x特征值的分类。
