# coding:utf-8
from collections import defaultdict
import numpy as np
from numpy import *
class knn:
def __init__(self):
pass
##给出训练数据以及对应的类别
def createDataSet(self):
group = array([[1.0, 2.0], [1.2, 0.1], [0.1, 1.4], [0.3, 3.5]])
labels = ['A', 'A', 'B', 'B']
return group, labels
###通过KNN进行分类
def classify(self, input, data_set, labels, k):
# 将input扩展成 n行的举证
in_matrix = tile(input, (len(data_set), 1))
# 输入举证和数据集做差 (x1-x2)
diff = in_matrix - data_set
# (x1-x2)**2
diff = diff ** 2
# (x1-x2)** 2 +(y1-y2)**2
sm = np.sum(diff, axis=1)
sm = np.sqrt(sm)
# 将距离排序
si = np.argsort(sm)
label_dict = defaultdict(int)
max_num = 0
target_lb = None
for i in range(k):
index = si[i]
lb = labels[index]
label_dict[lb] += 1
if label_dict[lb] > max_num:
max_num = label_dict[lb]
target_lb = lb
return target_lb
def norm_data_set(self, data_set):
'''
将数据集归一化
:param data_set:
:return:
'''
# 最大和最小的行向量
val_min = np.min(data_set, 0)
val_max = np.max(data_set, 0)
# 数据变动范围向量
val_range = val_max - val_min
row_num = data_set.shape[0]
matrix_range = tile(val_range, (row_num, 1))
matrix_sp = data_set - tile(val_min, (row_num, 1))
matrix_normal = matrix_sp / matrix_range
return matrix_normal
def norm_vec(self, vec, data_set):
'''
将被分类的向量归一化
:param vec:
:param data_set:
:return:
'''
data_set = np.vstack((data_set, vec))
# 最大和最小的行向量
val_min = np.min(data_set, 0)
val_max = np.max(data_set, 0)
# 数据变动范围向量
val_range = val_max - val_min
span = vec - val_min
return span / val_range
if __name__ == '__main__':
k = knn()
g, l = k.createDataSet()
ng = k.norm_data_set(g)
vec = [0.3, 3.2]
n_vec = k.norm_vec(vec, g)
b = k.classify(n_vec, ng, l, 4)
knn分类算法底层实现(python)
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 分类算法之K最近邻算法(KNN)的Python实现 KNN的定义 所谓K近邻算法,即是给定一个训练数据集,对新的输...
- 做一组假数据 k临近算法 整体思路: 获取样本行数将输入的测试样本扩展成格式、数量一样的矩阵矩阵做差、平方、求平方...
- 1.背景 今后博主会每周定时更新机器学习算法及其python的简单实现。今天学习的算法是KNN近邻算法。KNN算法...
- 1.KNN算法简介及其两种分类器KNN,即K近邻法(k-nearst neighbors),所谓的k最近邻,就是指...