01-sklearn中的KNN

前言

因为是用sklearn来实现KNN算法，所以基本上只需要调用API就可以了，但是可以理解一个算法的基本流程。

基本内容

加载sklearn库中的数据
切分数据集
训练并评估
网格搜索
数据标准化

准备数据

sklearn中自带了一些数据集，可以使用这些数据集来进行练习，下面导入手写数字识别的数据集

from sklearn import datasets

digits = datasets.load_digits()
print(digits.keys())
#output:dict_keys(['data', 'DESCR', 'images', 'target', 'target_names'])

导入数据集后，数据集类似于字典，可以通过“点”操作符获得它相应的值，一般用到的也就是“data”和“target”两个键来获得数据的特征矩阵和标签向量：

X = digits.data
y = digits.target

切分

一般为了更好的泛化能力，都将数据集切分为训练集和测试集，训练集用来训练得到模型，然后用测试集来测试这个模型的性能

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)

不成文规定，矩阵大写，向量小写

训练并评估

在sklearn中这一部分十分简单，只需要将对应的模型实例化，然后fit训练集上的数据，再在测试集上调用score方法就可以进行评估了

from sklearn.neighbors import KNeighborsClassifier

knn_clf = KNeighborsClassifier()
knn_clf.fit(X_train, y_train)

knn_clf.score(X_test, y_test) #得分0.975

网格搜索超参数

在实例化模型的时候，不指定参数的话，使用的是默认的值，其实K近邻模型中有几个参数值得注意：

n_neighbors：整数，默认为5，决定考虑几个点来投票
weights：投票时是否考虑距离的远近，越近的权重越大
p：整数，考虑使用哪种距离考量，默认值为2，即欧式距离

其实不只是这些参数，具体有哪些参数可以到官网去查看api，这些参数的值为多少时模型的表现最好呢？我们可以用网格搜索来查找参数最好的值

param_grid = [
    {
        'n_neighbors':[i for i in range(1, 10)],
        'weights':['uniform', 'distance'],
        'p':[i for i in range(1, 6)]
    }
]

knn = KNeighborsClassifier()
from sklearn.model_selection import GridSearchCV
grid_search = GridSearchCV(knn, param_grid)

grid_search.fit(X_train, y_train)

搜索的时间比较长，自己的垃圾电脑用了差不多7分钟==

fit完之后，可以通过下面两个属性查看结果和分数：

grid.best_estimator_
# output:
'''
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=7, p=3,
           weights='uniform')
'''
grid.best_score_ #会输出最好的分数是多少

使用网格搜索的到参数的值，更新模型后评估得到果然提高了一点

数据标准化

stand = StandardScaler()
stand.fit(X_train)
X_train = stand.transform(X_train)
X_test_stand = stand.transform(X_test)

不知道为何标准化之后的数据的评分还降低了……