相对于编译型语言，python是解释执行的，每次在循环调用时都会先将代码解释执行，此处的消耗非常之大，而使用底层是C实现的numpy编写高度向量化的代码，可以大大提高程序执行效率。
所以我们在编写程序时，尽可能地减少for循环，可以让我们的代码变得更快。这里以k-NearestNeighbor（KNN）算法为例分享一种将代码向量化的方法。

假设我们有个维度为P的测试数据，个维度为的且具有类别标记的训练数据，根目标是据训练数据使用KNN将每一个测试数据分别划分到合适的类别。那么怎么实现呢？
首先想到的一种方法是对于每一个测试数据，我们分别计算与个训练数据的距离，这样对于可以得到长度为的距离数组，将其从小到大排序，取距离较小的前个训练数据，然后我们根据这个数据中最多的类别来确定的类别。实现如下：

import numpy as np
import scipy.stats

def knn(x, x_train, y_train, k):
    '''
    KNN k-Nearest Neighbors Algorithm.
        INPUT:  x:         testing sample features, (N_test, P) matrix.
                x_train:   training sample features, (N, P) matrix.
                y_train:   training sample labels, (N, ) column vector.
                k:         the k in k-Nearest Neighbors

        OUTPUT: y    : predicted labels, (N_test, ) column vector.
    '''
    y = np.zeros(x.shape[0])
    for i in range(x.shape[0]):
        dis = np.linalg.norm(x_train - x[i, :], ord=2, axis=1, keepdims=True).flatten() # 耗时
        top_k = y_train[np.argsort(dis)[:k]]
        y[i] = scipy.stats.mode(top_k).mode

    return y

之前我们提到在编写程序时，尽可能地减少for循环，上面程序中出现了一层循环，那么我们有没有办法把这一层循环也去掉呢，从而将我们的程序完全向量化。当然是可以的，仅仅将测试数据和训练数据的维度进行一个简单的变换即可。测试数据的原来维度为，我们将其扩展一维变成，而对于训练数据原来维度为，我们也将其扩展一维变成。这样当我们计算测试数据与训练数据距离的时候，由于numpy的广播机制，的维度就变成了，对其第3个维度求和，得到距离矩阵，维度为，代表每一个测试数据点与个训练数据的距离，对于每个测试数据点根据其与训练数据的距离进行排序，取前个，然后我们根据这个数据中最多的类别来确定的类别。实现如下：

import numpy as np
import scipy.stats

def knn(x, x_train, y_train, k):
    x_ = x.reshape((x.shape[0], 1, x.shape[1]))
    x_train_ = x_train.reshape((1, x_train.shape[0],x_train.shape[1]))
    dis = np.sum(np.square(x_train_ - x_), axis = 2)
    top_k = y_train[np.argsort(dis, axis=1)[:, :k]]
    y = scipy.stats.mode(top_k, axis=1).mode  

    return y

使用一些数据进行测试，在我的计算机上，完全向量化的第二种方法相较于第一种含有for循环的实现，达到了4倍的加速比，第二种方法的实现也体现了一种空间换时间的思想。由此可见向量化对于提高程序运行效率是非常有效的一种方法！