kNN

from numpy import *
import operator

def createDateSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistancesIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistancesIndicies[i]]
        classCount[voteLabel] = classCount.get(voteLabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

createDateSet 用来产生已知类别数据集，group是二维数组，是属性（特征）；labels是标签，行与行对应，如[1.0, 1.1] 对应着 'A'。

classify0函数接收四个参数，inX是待测试数据，dataSet是已知数据属性，labels是已知数据对应的标签，k是用于选择最近邻居的数目。
shape函数是得到矩阵的尺寸，第0维代表矩阵的行，即我们这边已知数据的组数。
tile函数是把一个一维数组扩展，这里扩三行，列数不变，这里经过扩展之后大小和已知数据集大小一样，都是4×2的矩阵，相减得到差矩阵。
差矩阵平方，**2
平方之后再求和，sum函数的参数axis=1表示按行相加得到一列数。
开根号，**0.5
argsort函数是得到排序序号，最小的序号为0.
定义一个classCount字典。
保留距离最小的k个标签，遍历字典，在字典中保存标签出现的次数。get函数在字典中查找关键字，没找到则返回0，找到关键字（已有的次数）则+1。

把字典排序，sorted接收3个参数，第一个为迭代器，第二个为排序依据，operator.itemgetter函数 是得到迭代器维数的作用，第一维表示得到值，第三个reverse=True表示按照降序排列。返回值为元组类型。

>>> l = {'B': 2, 'A': 1}
>>> ll = sorted(l.items(), key=operator.itemgetter(1), reverse=False)
>>> ll
[('A', 1), ('B', 2)]

>>> fun = operator.itemgetter(1)
>>> fun(ll)
('B', 2)

>>> l.items()
dict_items([('B', 2), ('A', 1)])

返回出现次数最多的标签。