k-近邻算法学习笔记：
from numpy import *
import operator
def create_data_set():
"""
生成数据
"""
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify0(inX, dataSet, labels, k):
"""
k-相邻算法：
---------
labels的元素数目必须和矩阵dataSet的行数相等
使用欧氏距离公式：
--------------
d = 」(xA0 - xB0 )**2 + (xA1 - xB1 )**2
:param inX: 用于分类的输出向量
:param dataSet: 输入的训练样本集
:param labels: 标签向量
:param k: 选择最近邻居的数量
:return:
"""
# >>> a = np.array([0, 1, 2])
# >>> b = np.tile(a, (2, 1))
# >>> b = array([[0,1,2],[0,1,2]])
# >>> b.shape[0]
# >>> 2
data_set_size = dataSet.shape[0]
# 距离计算
# -------
# **为幂运算，优先级为右结合
# 2**2**3 --> 2**(2**3) --> 2**8 --> 256
# >>> a = np.array([0, 1, 2])
# >>> np.tile(a, 2)
# >>> array([0,1,2,0,1,2]) 一维数组
# >>> np.tile(a, (1, 2))
# >>> array([[0,1,2,0,1,2]])
# >>> np.tile(a, (2, 1))
# >>> array([[0,1,2],[0,1,2]]) 二维数组
# >>> np.tile(a, (2, 1, 2))
# >>> array([[[0,1,2,0,1,2]],[0,1,2,0,1,2]]) 三维数组
# diff_mat得到的结果为 [(xA0 - xB0 ) , (xA1 - xB1 )]
diff_mat = tile(inX, (data_set_size, 1)) - dataSet
# sq_diff_mat得到的结果为 [(xA0 - xB0 )**2 , (xA1 - xB1 )**2]
sq_diff_mat = diff_mat**2
# sq_distances 得到的结果为 [(xA0 - xB0 )**2 + (xA1 - xB1 )**2, ...]
sq_distances = sq_diff_mat.sum(axis=1)
# distances 得到的结果为 sq_distances 开根
distances = sq_distances**0.5
# argsort()返回的是数组值从小到大的索引值
# 得到的是距离给定点由近到远其他点的排序。
# >>> [ 1.48660687 , 1.41421356 , 0. , 0.1 ]
# >>> [2 3 1 0]
sorted_dist_indicties = distances.argsort()
class_count = {}
# 选择距离最小的k个点
for i in range(k):
# vote_i_label 得到的是距离该点最近的点的所属分类
vote_i_label = labels[sorted_dist_indicties[i]]
# 统计分类的出现次数
class_count[vote_i_label] = class_count.get(vote_i_label, 0) + 1
sorted_class_count = sorted(class_count.items(), key=operator.itemgetter(1), reverse=True)
return sorted_class_count[0][0]
