- KNN算法是有监督的学习,数据必须带有目标值
- 要求数据的样本要平衡
- 要清楚k值的作用:找周围离自己最近的几个数据
原理：
- 优点：精度高、对异常值不敏感、无数据输入假定。
- 缺点：时间复杂度高、空间复杂度高。
- 适用数据范围：数值型和标称型。
代码实现：
#导入常用库
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import seaborn as sns
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
#获取数据集
iris = load_iris()
#提取数据
data = iris.data
#提取目标值
target = iris.target
#提取特征名
feature_name = iris.feature_names
#数据转化
data = DataFrame(data=data,columns=feature_name)
#数据切割为训练集和测试集，切割比例0.2
X_train,X_test,y_train,y_test = train_test_split(data,target,test_size=0.2)
#实例化KNN
knn = KNeighborsClassifier()
#训练
knn.fit(X_train,y_train)
#测试评估
knn.score(X_train,y_train) #0.975
knn.score(X_test,y_test) #0.9666666666666667
#预测
knn.predict(X_test) #array([2, 0, 2, 1, 1, 0, 0, 1, 2, 1, 0, 0, 1, 1, 1, 1, 1, 1, 2, 2, 1, 2,1, 0, 2, 0, 1, 1, 1, 0])
模拟封装KNN：
- 体会KNN内部原理，个人理解
- 数据与上部分代码共享
#导入常用库
import numpy as np
import pandas as pd
from pandas import Series,DataFrame
import seaborn as sns
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
#KNN类
class MyKNN():
def __init__(self,n_neighbors=5):
self.k = n_neighbors #K值，提取数据个数
#训练
def fit(self,X_train,y_train):
self.X_train = np.array(X_train)
self.y_train = np.array(y_train)
#预测
def predict(self,X):
X_test = np.array(X)
#零矩阵，填充就按后的欧几里得距离值，长度与测试集相同
pred = np.zeros(len(X_test))
#求距离，获得距离矩阵
long_arr = self.get_long(X_test)
#排序取值，算出最相近分类，循环测试集
for i in range(len(X_test)):
#从距离矩阵中循环每个样本行
#argsort排序病获得排序后的索引
#取前K个值得索引
#使用索引列表从训练目标值中获取对应数据
y = self.y_train[np.argsort(long_arr[i])[:self.k]]
#bincount 测算每个目标值出现的次数
#取出出现最多的目标值，填充
pred[i] = np.argmax(np.bincount(y))
return pred.astype(np.int)
#获取两点间距离 欧几里得距离
def get_long(self,X_test):
#测试样本数量
sample_num = X_test.shape[0] #30 行
#训练样本数量
feature_num = self.X_train.shape[0] #120 列
#零矩阵
arr = np.zeros((sample_num,feature_num))
for i in range(sample_num):
#欧几里得距离公式求距离(勾股定理原理)
arr[i] = (np.sum((self.X_train - X_test[i])**2,axis=1))**0.5
return arr
#测试
def score(self,X,y):
X = np.array(X)
y = np.array(y)
#调用预测方法
pred = self.predict(X)
#预测结果集与目标值比对，返回布尔值
res = (pred == y).sum()
#返回正确的概率
return res/len(y)
