前几日男神说，要自学编程，?小姐姐经历了无数次从入门到放弃，最终还是没能拿编程作为吃饭的本领，能轻易带别人入坑？不过，2周一个算法，机器学习算法带python和R，数据结构算法带C、C++，一年下来也能拿出去跟非码农岗面试官吹牛了吧。
一、基本原理
问题：确定绿色圆是属于红色三角形、还是蓝色正方形？
微信图片_20180907184017.png
KNN的思想：k=3，看实线圆圈，红色三角形占比2/3，故将绿色圆分给红色三角形；K=5，看虚线圆圈，蓝色正方形占比3/5，故将绿色圆分给蓝色正方形。即如果一个样本在特征空间中的k个最相邻的样本中，大多数属于某一个类别，则该样本也属于这个类别
二、算法步骤
1）计算测试数据与各个训练数据之间的距离；
2）按照距离的递增关系进行排序；
3）选取距离最小的K个点；
4）确定前K个点所在类别的出现频率；
5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。
三、三种距离
三种距离公式
||r||=a时
四、鸢尾花数据
鸢尾花数据百度百科：
https://baike.baidu.com/item/IRIS/4061453
简介与可视化：
https://www.cnblogs.com/Belter/p/8831216.html
另一种导入数据的方式与可视化与其他算法https://blog.csdn.net/Eastmount/article/details/78692227
亲测无BUG
五、安装Anaconda
如果对着小黑框编程，能坚持学下去，若不是内心强大，就是真爱了……为了不放弃的那么快，还是用Anaconda上手吧，安装很简单，官网下载一路next，然后在程序里找到Anaconda，打开Jupyter Notebook，就会自动跳转，基本操作参照这个视频吧，十多分钟……
链接：https://pan.baidu.com/s/1k3IalyufbKMcMcnDK52xcg 密码：7yw2
六、用Python自带的KNN算法分类
from sklearn import neighbors
from sklearn import datasets
#获取KNN分类器
knn = neighbors.KNeighborsClassifier()
#加载数据
iris = datasets.load_iris()
print(iris)
#建立模型
knn.fit(iris.data,iris.target)
#输入预测模型进行预测
predictedLabel = knn.predict([[0.1,0.2,0.3,0.4]])
#输出预测结果
print(predictedLabel)
七、算法的python实现
import csv
import random
import math
import operator
#加载数据集
def loadDataset(filename,split,traingSet,testSet):
with open(filename,"r") as csvfile:
lines = csv.reader(csvfile)
#将读入数据转换为列表进行处理
dataset = list(lines)
#print(dataset)
#x取：0-149
for x in range(len(dataset)-1):
#y取：0-3
for y in range(4):
#将数据浮点化
dataset[x][y] = float(dataset[x][y])
#随机函数产生0-1的值，将数据集分为训练集和测试集
if random.random()<split:
traingSet.append(dataset[x])
else:
testSet.append(dataset[x])
#计算最近距离
def euclideanDistance(instance1,instance2,length):
distance = 0
for x in range(length):
distance += pow((instance1[x]-instance2[x]),2)
return math.sqrt(distance)
#获取最近的K个邻居
def getNeighbors(trainingSet,testInstance,k):
distances = []
length = len(testInstance)-1
for x in range(len(trainingSet)):
dist = euclideanDistance(testInstance,trainingSet[x],length)
distances.append((trainingSet[x],dist))
distances.sort(key=operator.itemgetter(1))
neighbors = []
for x in range(k):
neighbors.append(distances[x][0])
return neighbors
#根据返回的邻居，将其分类
def getResponse(neighbors):
classVotes = {}
for x in range(len(neighbors)):
response = neighbors[x][-1]
if response in classVotes:
classVotes[response]+=1
else:
classVotes[response] = 1
sortedNotes = sorted(classVotes.items(),key=operator.itemgetter(1),reverse=True)
return sortedNotes[0][0]
#计算准确率
def getAccuracy(testSet,predictions):
correct = 0
for x in range(len(testSet)):
if(testSet[x][-1]==predictions[x]):
correct+=1
return (correct/float(len(testSet)))*100.0
#主函数
def main():
trainingSet = []
testSet = []
#三分之二为训练集，三分之一为测试集
split = 0.67
#加入r代表忽略地址中的特殊符号的影响
#########################################
#C:\Users\Elise\Desktop\iris.data.txt是我下载到的鸢尾花数据的保存路径
#需要改成自己的
loadDataset(r"C:\Users\Elise\Desktop\iris.data.txt",split,trainingSet,testSet)
print("Train set:",repr(len(trainingSet)))
print("Test set:", repr(len(testSet)))
predictions = []
k = 3
for x in range(len(testSet)):
neighbors = getNeighbors(trainingSet,testSet[x],k)
result = getResponse(neighbors)
predictions.append(result)
print(">predicted="+repr(result)+", actual="+repr(testSet[x][-1]))
accuracy = getAccuracy(testSet,predictions)
print("Accuracy:"+repr(accuracy)+"%")
main()
八、算法的MATLAB实现
%% KNN
clear all
clc
%% data
trainData = [1.0,2.0;1.2,0.1;0.1,1.4;0.3,3.5];
trainClass = [1,1,2,2];
testData = [0.5,2.3];
k = 3;
%% distance
row = size(trainData,1);
col = size(trainData,2);
test = repmat(testData,row,1);
dis = zeros(1,row);
for i = 1:row
diff = 0;
for j = 1:col
diff = diff + (test(i,j) - trainData(i,j)).^2;
end
dis(1,i) = diff.^0.5;
end
%% sort
jointDis = [dis;trainClass];
sortDis= sortrows(jointDis');
sortDisClass = sortDis';
%% find
class = sort(2:1:k);
member = unique(class);
num = size(member);
max = 0;
for i = 1:num
count = find(class == member(i));
if count > max
max = count;
label = member(i);
end
end
disp('最终的分类结果为：');
fprintf('%d\n',label)
OMG
小女不才……
还有好多想做但未能实现……
那你还是靠自己吧，看来还是不能去当程序员，怕是会饿死……
