Python机器学习基础教程学习笔记（2）——KNN处理Iris数据集
1 常规引用
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
2 加载数据集
from sklearn.datasets import load_iris
iris_dataset = load_iris()
# Bunch对象，和字典相似
print("keys of iris_dataset: \n{}".format(iris_dataset.keys()))
keys of iris_dataset:
dict_keys(['data', 'target', 'target_names', 'DESCR', 'feature_names', 'filename'])
print('target names:{}'.format(iris_dataset['target_names']))# 要预测的花的品种
print('feature names:{}'.format(iris_dataset['feature_names']))# 特征
target names:['setosa' 'versicolor' 'virginica']
feature names:['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
print("type of data :{}".format(type(iris_dataset['data'])))# 数据的类型
print("shape of data :{}".format(iris_dataset['data'].shape))# 数据形状，150条记录，每条记录4个特征值，（样本数，特征数）
type of data :<class 'numpy.ndarray'>
shape of data :(150, 4)
print("first five rows of data:\n{}".format(iris_dataset['data'][:5]))
first five rows of data:
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]]
print("type of target:{}".format(type(iris_dataset['target'])))
print("shape of target:{}".format(iris_dataset['target'].shape))
type of target:<class 'numpy.ndarray'>
shape of target:(150,)
print("target:\n{}".format(iris_dataset['target']))
target:
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]
3 拆分训练集和测试集
# train_test_split 打乱数据集并进行拆分，75%的数据作为训练集，剩下的25作为测试集
from sklearn.model_selection import train_test_split
# random_state参数指定了随机数生成器的种子
X_train, X_test, y_train, y_test = train_test_split(iris_dataset['data'],iris_dataset['target'],random_state=0)
# train的数据是112个，为150的75%
print("X_train shape :{}".format(X_train.shape))
print("y_train shape :{}".format(y_train.shape))
X_train shape :(112, 4)
y_train shape :(112,)
# train的数据是112个，为150的75%
print("X_test shape :{}".format(X_test.shape))
print("y_test shape :{}".format(y_test.shape))
X_test shape :(38, 4)
y_test shape :(38,)
4 构建dataframe并可视化
观察数据：
- 看看如果不用机器学习能不能轻松完成任务
- 需要的信息有没有包含在数据中
- 检查数据也是发现异常值和特殊值的好办法
- 检查数据的最佳方法之一就是将其可视化
- 散点图（sactter plot）能做二个特征的可视化，多个特征时，可以做散点图矩阵（pair plot）
# 利用X_train中的数据创建DataFrame
# 利用iris_dataset.feature_names中的字符串对数据列进行标记
iris_dataframe = pd.DataFrame(X_train,columns=iris_dataset.feature_names)
# 通过pd.plotting.scatter_matrix绘制散点图矩阵，从图中，看出可以通过四个特征将三种花区分开
grr = pd.plotting.scatter_matrix(
iris_dataframe, # 数据集
c=y_train, # c是指color，设置点的颜色，这里没指定颜色，通过下面的cmap来设置颜色，这个参数是由scatter_matrix方法传到scatter方法的
figsize=(15,15), # 大小（宽，高）
marker='o', # 标注点的样式，我所知道的'.'是小圆点，'o'是大圆点，'^'是上三角，'v'是下三角
hist_kwds={'bins':20}, # other plotting keyword arguments To be passed to hist function ? 目测和柱型图的宽有关
s=60, # The size of each point. 这个参数是由scatter_matrix方法传到scatter方法的
alpha=.8, # 透明度
cmap=mglearn.cm3 # 这个参数是由scatter_matrix方法传到scatter方法的，然后scatter方法里，把传给plotting方法
)
output_17_0
5 用knn分类算法进行分类
knn算法
- k近邻分类器
- 只保存训练集的数据
- 对新数据点进行预测，算法会在训练集中寻找与这个新数据点距离最近的数据点，然后将找到的数据点的标签赋值给这个新数据点
- k的含义是，训练集中与新数据点最近的任意的k个邻居（比如3个或者5个），用这些邻居中数量最多的类别做出预测。
5.1 训练
from sklearn.neighbors import KNeighborsClassifier
# n_neighbors=1，设置knn算法中的k值为1，只考虑最近的一个邻居数据点。
knn = KNeighborsClassifier(n_neighbors=1)
# 调用knn对象的fit方法进行训练，输入参数为X_train（训练数据）和y_train（训练标签）。
knn.fit(X_train,y_train)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=1, p=2,
weights='uniform')
5.2 预测
X_new = np.array([[5,2.9,1,0.2]])#必须是二维数组，才能传入到predict方法中
print("X_new.shape:{}".format(X_new.shape))
X_new.shape:(1, 4)
prediction = knn.predict(X_new)
print("Prediction:{}".format(prediction))
print("Predicted target name:{}".format(iris_dataset["target_names"][prediction]))
Prediction:[0]
Predicted target name:['setosa']
6 评价模型
6.1 方法1
y_pred = knn.predict(X_test)
print("Test set predictions\n{}".format(y_pred))
Test set predictions
[2 1 0 2 0 2 0 1 1 1 2 1 1 1 1 0 1 1 0 0 2 1 0 0 2 0 0 1 1 0 2 1 0 2 2 1 0
2]
print("Test set score:{:.2f}".format(np.mean(y_pred==y_test)))
Test set score:0.97
6.2 直接调用knn.score
print("Test set score:{:.2f}".format(knn.score(X_test,y_test)))
Test set score:0.97
7 小结
fit、predict、score方法是scikit-learn监督学习模型中最常用的接口。
