Day02 p23-p51
第二章 模型评估与选择
2.1 经验误差与过拟合
错误率 E = a/m
精度 1-E
训练误差/经验误差：学习器在训练集的误差
泛化误差：在新样本的误差
过拟合：训练误差小，泛化误差大。
只要相信P ≠ NP，过拟合便不可避免。
2.2 评估方法
如何从m个样例的数据集中选出训练集和测试集？
2.2.1 留出法
直接将D划分为两个互斥的集合。
划分尽可能保持一致性——分层采样。（保持正反比例）
常见做法是大约2/3~4/5的样本用于训练
2.2.2 交叉验证法
将D划分为k个大小相思的互斥子集。
每次用k-1个的并集作为训练，1个作为测试。
这样可获得k组训练/测试集，进行K次训练与测试，最终返回均值。
称为k折交叉验证
k常用10,5,20。
p次k折：随机使用不同的划分重复p次。
k=m（样本数量）：留一法，只留一个做测试。
缺点：计算开销大。
2.2.3 自助法
每次从D中采样（随机挑选一个）放入D1，再放回D。重复执行m次。
计算得到 某个样本始终不被得到的概率为1/e=0.368。
2.2.4 调参与最终模型
选完模型，最后是要用m个样本重新训练一次才提交给用户的。
2.3 性能度量
回归任务 最常用的性能度量：均方误差
一般描述：积分形式
2.3.1 错误率与精度
一般描述：积分形式
2.3.2 查准率 查全率 与 F1
查准率（precision）：准确率——挑出的瓜有多少是好的
查全率（recall）：召回率——所有好瓜中有多少被挑选出来了
分类结果混淆矩阵
两者往往是矛盾的
P-R曲线：可以用来比较算法优劣
F1度量法 p32
多个混淆矩阵时
macro-F1 vs micro-F1
2.3.3 ROC与AUC
阈值(threshold)：大于阈值为正类，小于阈值为负类。
更重视准确率：阈值高，截断点高
更重视召回率：阈值低，截断点低。
ROC图：
TPR(Y)：好瓜中有多少被选出来
FPR(X)：坏瓜中有多少被选出来
AUC：ROC下的面积。
2.3.4 代价敏感错误率与代价曲线
代价矩阵 cij：把第i类样本判别为第j类的代价。
将ROC图转化为代价曲线
2.4 比较检验
学习器的测试错误率与泛化错误率是否接近？
