2.1 经验误差与过拟合
-
基础概念
机器学习就是通过寻找已有数据集中潜藏的一般性规律，然后通过已有数据去对新的数据进行预测的过程- 错误率（erroer rate）：分类错误的样本占样本总数的比例。如果在m个样本中有a个样本分类错误，则错误率
- 精度（accuracy）：分类正确的样本占样本总数的比例。
- 误差（error）：模型预测的输出和样本真实输出的差距。在训练集叫训练误差（经验误差），新样本上叫测试误差（泛化误差）。
- 错误率（erroer rate）：分类错误的样本占样本总数的比例。如果在m个样本中有a个样本分类错误，则错误率
-
目的
机器学习希望得到的是在新样本上预测效果优秀的模型。
我们希望模型获得训练集的一般性规律，不希望模型受训练集的“特殊性”影响，追求的是模型的泛化能力过拟合：训练误差很小，模型和训练数据拟合太好，受到训练集的“特殊性”影响，导致其泛化能力很弱
欠拟合：没能学好训练集的一般性规律，泛化能力也很弱
2.2 评估方法
-
评估方法的含义
机器学习中，评估方法帮助我们确定模型在新样本上的预测效果从而帮助我们选择合适的模型，即通过模型的泛化误差对模型预测效果进行评估。但新样本是无穷尽的，实际应用中，我们用模型在测试数据集上的误差 - 测试误差，来作为泛化误差的近似
通常测试集也是从样本数据分离出来的，测试集最好与训练集互斥，即测试集数据最好不要在训练集中出现，不在训练过程中使用
-
以下为几种常见的分离测试集合训练集的方法
- 留出法
- 直接将样本集划分为两个互斥的数据集，其中一个作为训练集，另一个作为测试集。
- 划分过程中要保持数据分布的一致性，比如分类任务中保证样本的类别比例相似
- 拆分过程中可能还有其他因划分而对模型产生的影响，相应的模型评估的效果也不尽相同，因此要多次进行随机划分，然后用评估结果的平均值用作评估结果
- 划分过程中，训练集占比过多可能会导致模型效果更接近样本集本身，过少可能会导致模型与样本集有较大差别，降低了模型准确性，所以一般按照 2/3 ~ 4/5 的比划分
- 交叉验证法
- 留出法
2.3 性能度量
2.4 比较检验
2.5 偏差及方差
2.6 阅读材料
施工中
