最近开始学习《机器学习实战》这本书，以下是在学习过程中学到的一些python基础知识以及算法思想。
python版本：3.6
1、算法核心思想概述
算法思想：k-近邻算法采用测量不同特征值之间的距离方法进行分类。
优点：精度高、对异常值不敏感、无数据输入假定
缺点：计算复杂度高、空间复杂度高
适用数据范围：数值型、标称型
一个样本在特征空间里k个距离最短的样本中，大多数样本属于A类，则这个样本也属于A类。
1.1 k-近邻算法的一般流程
(1)收集数据：可以使用任何方法
(2)准备数据：距离计算所需的数值，最好是结构化的数据格式
(3)分析数据：可以使用任何方法
(4)测试数据：计算错误率
(5)使用算法：首先需要输入样本数据和结构化的输出结果，然后运行kNN算法判定输入数据属于哪个分类，最后应用对计算出的分类执行后续的处理。
1.2 分类函数
本函数的功能为：使用kNN算法将每组数据划分到某个类别中。首先计算出特征向量间的距离，然后选取与当前距离最小的k个点，并通过这k个点类别出现的频率来确定当前点的预测分类。
在最初的学习中遇到以下几个python相关的基础知识：
（1）shape函数
a.shape[0]计算行数
a.shape[1]计算列数
（2）title函数
>>>a = array([1,2])
>>>title(a, (3,2))
array([[1, 2, 1, 2],
[1, 2, 1, 2],
[1, 2, 1, 2]])
（3）axis=0 矩阵每一列相加， axis=1矩阵每一行相加
（4）argsort函数：返回数组的索引值
（5）dict.get(key, default=None)
key:要查找的键；default:指定键的值不存在则返回默认值。
以下是算法详细代码：
from numpy import *
import operator
def createDataSet():
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['A', 'A', 'B', 'B']
return group, labels
def classify0(inK, dataSet, labels, k):
# 计算训练样本的行数，也就是有几组训练样本
dataSetSize = dataSet.shape[0]
# 将新样本与每一个训练样本相减
diffMat = tile(inK, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
# 将结果每一行相加，平方和
sqDistances = sqDiffMat.sum(axis=1)
# 求距离
distances = sqDistances ** 0.5
# 将距离按照从小到大顺序排列
sortedDistIndicies = distances.argsort() # argsort返回的是索引值
classCount = {}
# 选取与当前点距离最小的K个点，确定前K个点所在类别的出现频率
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
# 将前K个值按照出现频率最高的类别进行逆序排序
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
执行代码如下
import kNN
input = [3, 0]
group, labels = kNN.createDataSet()
output = kNN.classify0(input, group, labels, 3)
print("分类结果为：", output)
2、改进约会网站配对效果
示例内容：产生简单的命令行程序，用户可以输入一些特征数据来判断对方是否为自己喜欢的类型。
2.1准备数据：从文本文件中解析数据
此时数据已经存放在文本文件中，在将数据输入到分类器之前，需要将待处理的数据变成分类器可以接受的格式。（数据为看数据所占时间数、每年的飞行里程数、每周消耗的冰淇淋公升数）
创建一个file2matrix的函数，用来解析数据。函数的输入为文件名称字符，输出为训练样本矩阵和类标签向量。
以下是学到的一些小知识：
（1）readlines()函数
使用方法：fileObject.readlines( );
返回值：返回列表，包含所有的行
（2）numpy高维数组操作
本部分主要是想提一下以slice的方式来获取数据
下图来自博客园
以下是算法详细代码：
def file2matrix(filename):
# 得到文件的行数
fr = open(filename)
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines)
# 创建返回的numpy矩阵,矩阵使用0填充，numberOfLines行，3列
returnMat = zeros((numberOfLines, 3))
classLabelVector = []
index = 0
# 解析文件数据到列表，循环处理文件中的每行数据
for line in arrayOLines:
# 去掉每行回车字符
line = line.strip()
# 将上一步得到的整行数据分割成一个元素列表
listFromLine = line.split('\t')
# 选取列表的前3个元素并存储到特征向量中
returnMat[index, :] = listFromLine[0:3]
# 将列表的最后一列存储到向量中
classLabelVector.append(int(listFromLine[-1]))
index += 1
return returnMat, classLabelVector
在测试结果时，需要重载kNN模块，需要导入模块importlib
然后输入如下命令：
importlib.reload(kNN)
datingDataMat, datingLabels = kNN.file2matrix('datingTestSet2.txt')
2.2分析数据：使用Matplotlib创建散点图
本部分主要采用直观的图表来分析数据结构。
以下是算法详细代码：
import kNN
import numpy
import matplotlib
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,0], datingDataMat[:,1], 15.0*numpy.array(datingLabels), 15.0*numpy.array(datingLabels))
plt.show()
2.3准备数据：归一化数值
由于kNN算法就是在求方差，数值偏大的属性值的影响远远大于数值偏小的属性值。故需要将数据进行归一化处理，通常将取值范围处理为0到1或-1到1之间。
以下是算法详细代码
def autoNorm(dataSet):
# 参数0指取列的最值
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
ranges = maxVals - minVals
normDataSet = zeros(shape(dataSet))
m = dataSet.shape[0]
normDataSet = dataSet - tile(minVals, (m, 1))
normDataSet = normDataSet / tile(ranges, (m, 1))
return normDataSet, ranges, minVals
2.4测试算法：作为完整程序验证分类器
机器学习一个非常重要的工作就是评估算法的正确率，通常使用已有数据的90%作为训练样本来训练分类器，剩余10%的数据用于测试分类器。可以使用错误率来检测分类器的性能。对于分类器而言，错误率就是分类器给出错误结果的次数除以测试数据的总数。
算法过程
此算法首先使用file2matrix和autoNorm函数从文件读取数据并将数据归一化处理。接着确定哪些数据用于测试，哪些数据用做训练样本，然后将这两部分数据输入到分类器函数classify0，最后输出错误率。
以下是算法详细代码
def datingClassTest() -> object:
# 选取多少数据测试分类器
hoRatio = 0.10
# 得到数据矩阵和标签向量
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
# 归一化处理矩阵
normMat, ranges, minVals = autoNorm(datingDataMat)
# 获取矩阵的行数
m = normMat.shape[0]
# 设置测试个数（10%）
numTestVecs = int(m * hoRatio)
errorCount = 0.0
for i in range(numTestVecs):
#第一个参数：前10%的数据用于inX;第二个参数：后90%用户dataSet;第三个参数：后90%的数据的标签；k=3
classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
print("分类后的结果为:,", classifierResult, "原结果为：", datingLabels[i])
if (classifierResult != datingLabels[i]):
errorCount += 1.0
print("错误率是：", (errorCount / float(numTestVecs)))
2.5使用算法：构建完整可用系统
现在通过输入看数据所占时间数、每年的飞行里程数、每周消耗的冰淇淋公升数这些数据来给出喜欢对方程度的预测值。
以下是算法详细代码
def classifyPerson():
resultList = ['一点也不喜欢', '有一点喜欢', '非常喜欢']
percentTats = float(input("看视频所占的时间比："))
miles = float(input("每年的飞行里程数："))
iceCream = float(input("每周消耗的冰淇淋公升数："))
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = array([miles, percentTats, iceCream])
classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
print("你对这个人的喜欢程度：", resultList[classifierResult - 1])
