2.封装kNN算法之数据分割

训练数据集与测试数据集

当我们拿到一组数据之后，通常我们需要把数据分割成两部分，即训练数据集和测试数据集。
训练数据集被用于建立数学模型，而测试数据集被用于检验我们建立的模型的准确度。
要封装一个我们的kNN算法，我们先要实现对数据的自动分割。代码实现如下：

import numpy as np


def train_test_split(X, y, test_ratio=0.2, seed=None):
    """将数据 X 和 y 按照test_ratio分割成X_train, X_test, y_train, y_test"""
    assert X.shape[0] == y.shape[0], \
        "the size of X must be equal to the size of y"
    assert 0.0 <= test_ratio <= 1.0, \
        "test_ration must be valid"

    if seed:
        np.random.seed(seed)

    shuffled_indexes = np.random.permutation(len(X))

    test_size = int(len(X) * test_ratio)
    test_indexes = shuffled_indexes[:test_size]
    train_indexes = shuffled_indexes[test_size:]

    X_train = X[train_indexes]
    y_train = y[train_indexes]

    X_test = X[test_indexes]
    y_test = y[test_indexes]

    return X_train, X_test, y_train, y_test

我们来讲解一下这个代码。
第一步，导入我们需要用到的numpy库。
第二步，定义train_test_split函数。函数有四个返回值：

X和y是我们的原数据（这里提一点，大写X是指这是一个矩阵，小写y是指这是一个向量）；
test_radio是我们的分割比例，我这里给的是0.2，即80%的训练数据，20%的测试数据；
seed种子的引入是应为我们需要使用随机数，计算机并不能产生真正的随机数，如果你不设种子，计算机会用系统时钟来作为种子，如果你要模拟什么的话，每次的随机数都是不一样的，这样就不方便你研究，如果你事先设置了种子，这样每次的随机数都是一样的，便于重现你的研究，也便于其他人检验你的分析结果。

第三步是添加断言。应为我们传入的数据X和y实际上都是经过处理的数据。其中：

X是一个m*n的矩阵，其中m是指总共有m条数据（矩阵的行），n则是指每条数据有n个特征数据（矩阵的列）；
而y则是一个有m个元素的向量，记录了X中每一条数据的状态。
例如在上一篇引入kNN概念的简书中我们提到的乳腺癌数据，X是一个10*2的矩阵，代表它有10条数据，每条数据有2个记录特征的元素，分别是发现肿瘤的时间和肿瘤的大小。y中元素（10个元素）则与X的每一条数据（10条数据）一一对应，表示前五条数据状态为0（良性），后五条数据状态为1（恶性）。

raw_data_X = [[2.393533211, 2.331273381],
              [3.110073483, 1.781539638],
              [1.343808831, 3.368360954],
              [3.882294042, 2.979179110],
              [2.280362439, 2.866990263],
              [7.423436942, 4.696522875],
              [5.745051997, 3.033989803],
              [9.172168622, 2.511101045],
              [7.792783481, 3.424088941],
              [5.839820817, 2.791637231]
             ]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]

理解了我们传入的数据之后再来说这两句断言，第一句断言要求传入的X的行数与y中元素个数相同，保证传入的数据是有效的。
第二句断言要求test_radio在0-1之间。

第四步，我们要打乱传入的数据。应为经过处理的数据送到我们手中，数据中的y通常是按照一定的规律进行了排序。比如上一节使用的乳腺癌数据，前5个为0，后5个为1。我们使用的是numpy中的permutation函数，打乱索引。

第五步就是实现分割，这一部分代码简单明了，就不解释了。最后我们来看下效果。为了能直观感受到效果，我们引入sklearn中一个经典的鸢尾花数据集。

整个代码实现如下：

from sklearn import datasets
from playKNN import model_selection

iris = datasets.load_iris()  # 从sklearn中导入鸢尾花数据集
X = iris.data
y = iris.target
print(X.shape)  
print(y.shape)  
print(y[:10])

X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y)

print(X_train.shape)
print(y_train.shape)
print(X_test.shape)
print(y_test.shape)
print(y_test[:10])

# 输出结果
(150, 4)
(150,)
[0 0 0 0 0 0 0 0 0 0]
(120, 4)
(120,)
(30, 4)
(30,)
[2 1 2 2 1 0 0 1 2 1]

首先从sklearn中导入datasets，我们的鸢尾花数据集就保存在里面。
然后我把我们的数据分割放在一个叫playKNN的包里面，我们从其中引入我们封装的model_selection。
导入datasets中的数据库使用的是load，然后pycharm会跳出提示你需要导入哪些库，选择load_iris。
用numpy的shape查看我们的数据，可以知道鸢尾花数据集中X的150*4的矩阵，y是有150个元素的向量。
我们看下y的前十个10据，[0 0 0 0 0 0 0 0 0 0]，印证了我们的猜测，处理好的数据通常会按照一定的规律进行排序！
之后使用我们封装的model_selection，得到X_train,y_train,X_test,y_test。分别用shape方法查看，(120, 4)，(120,)，(30, 4)，(30,)。
最后查看下y_test的前10条信息，[2 1 2 2 1 0 0 1 2 1]，鸢尾花数据集共有0，1，2三种状态值，代表三个品种的鸢尾花，都出现在了y_test的前10条信息中，说明我们的数据分割是有效的。