交叉验证Cross Validation
前面我们学习了可以用测试数据集修正模型的过拟合现象，但是这样做其实是有一点问题的。每次我们用测试数据集来看模型的好坏，如果发现模型表现不好则取调整模型参数优化模型，我们相当于在针对这组测试数据集进行调参，这样最终得到的模型极有可能针对测试数据集过拟合的。
测试集非常非常珍贵，它相当于模型遇到的全新数据，一个真正好的机器学习模型应该对全新数据拥有很好的预测能力，因此测试数据集一般不参与模型的创建和训练过程，只在模型训练完成后做最终评价时使用。
于是之前学习中只划分训练集和测试集的方式就不合适了，解决的办法，就是将数据集划分为训练集、验证集和测试集。现在由验证集完成之前学习中测试集做的事情——调整超参数，最后用测试集来评价模型最终性能的好坏。当然验证集上也可能由于个别极端数据而导致验证集过拟合现象，为此我们有交叉验证。
这里是一个3折交叉验证，将训练数据等分为3份，其中2份做训练1份做验证来调参。这样可以得到3个模型，将这3个模型结果的均值作为调参的最终结果，这样做比只有一个验证集要优秀很多。下面将在手写数字数据集上用knn算法交叉验证看一下效果，首先看一下不用交叉验证的情况：
import numpy as np
from sklearn import datasets
digits = datasets.load_digits()
X = digits.data
y = digits.target
'''测试train_test_split方式'''
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=666)
from sklearn.neighbors import KNeighborsClassifier
'''搜索最优参数'''
best_score,best_p,best_k = 0,0,0
for k in range(2,11):
for p in range(1,6):
knn_clf = KNeighborsClassifier(weights="distance",n_neighbors=k,p=p)
knn_clf.fit(X_train,y_train)
score = knn_clf.score(X_test,y_test)
if score > best_score:
best_score,best_p,best_k = score,p,k
print("best k = ",best_k)
print("best p = ",best_p)
print("best score = ",best_score)
搜索结果：
不用交叉验证的情况，最优参数是k=2，p=2时，准确率达到99.2%。
使用交叉验证：
'''交叉验证方式'''
from sklearn.model_selection import cross_val_score
knn_clf = KNeighborsClassifier()
cross_val_score(knn_clf,X_train,y_train,cv=3)
使用交叉验证搜索最优参数：
best_score = 0
best_score,best_p,best_k = 0,0,0
for k in range(2,11):
for p in range(1,6):
knn_clf = KNeighborsClassifier(weights="distance",n_neighbors=k,p=p)
scores = cross_val_score(knn_clf,X_train,y_train)
score = np.mean(scores)
if score > best_score:
best_score,best_p,best_k = score,p,k
print("best k = ",best_k)
print("best p = ",best_p)
print("best score = ",best_score)
交叉验证最优参数：
交叉验证最优模型在测试集准确率：
best_knn_clf = KNeighborsClassifier(weights="distance",n_neighbors=2,p=2)
best_knn_clf.fit(X_train,y_train)
best_knn_clf.score(X_test,y_test)
交叉验证得到最优模型的最好的准确率一般相对于不使用交叉验证准确率都会略低，这是因为不使用交叉验证的情况下出现了过拟合现象。
交叉验证实际中不一定只分为3份，也可能更多，这里只是一个例子，相应有k折交叉验证（k-folds cross validation）。k折交叉验证相当于训练k个模型，故整体性能也会慢k倍。不过这样训练的参数会更加值得信赖，它有一个极端的情况是留一法LOO-CV（Leave-One-Out-Cross-Validation），就是k等于训练集样本个数，这样做将完全不受随机的影响，最接近模型真正的性能指标，但是计算量也将是巨大的。
偏差方差权衡Bias Variance Trade Off
模型误差=偏差（Bias）+方差（Variance）+不可避免的误差
不可避免的误差是客观存在的如数据本身有噪音，这样的误差算法无能为力。但是偏差和方差却可以通过一些手段进行优化。偏差产生的原因往往是对问题本身的假设不正确，如非线性数据使用线性回归，偏差一般和欠拟合是联系在一起的。方差是指数据的一点点扰动都会较大地影响模型，通常原因是使用的模型太过复杂，如高次幂多项式回归，方差一般和过拟合联系在一起，过拟合会极大引入方差。
有一些算法天生是高方差算法，如knn，非参数学习通常都是高方差算法，因为不对数据进行任何假设。有一些算法天生是高偏差算法，如线性回归，参数学习通常都是高偏差算法，因为对数据有很强的假设。偏差和方差通常是矛盾的，降低偏差会提高方差，降低方差会提高偏差。不过算法一般都可以通过调参来适当平衡偏差和方差。机器学习的主要挑战来自于方差（解决过拟合问题）！，解决高方差的手段一般有以下几种：
- 降低模型复杂度
- 减少数据维度；降噪
- 增加样本数
- 使用验证集
- 模型正则化
其中模型正则化是机器学习中非常常用且非常重要的降低过拟合的手段，将在下篇介绍。
