学习目标

模型的判断标准

• 训练误差
• 泛化误差
• 拟合程度

模型的评估方法

• 模型训练之后，对泛化误差进行评估，选择最小的为最优

• 留出法：数据集分为互斥的两部分-训练模型+测试模型，一般取 7：3或8：2，此时测试误差近似为泛化误差

• 交叉验证法，将数据集划分为k个大小相似的互斥的数据子集，每次从中选取一个作为测试集，其余作为训练集，进行k次训练，得到评估均值。

  
  
  交叉验证法

• 留一法，每次留一份数据作为测试集，其余作为训练集，近似交叉验证，得到均值评估

• 自助法，有放回的随机抽样

  
  
  自助法
• 几种方法的适用场景
• 几种方法的适用场景

性能度量

即评价模型泛化能力的标准，不同的模型有不同的评价标准

• 回归算法的性能度量

• 分类算法常用的性能度量
• 聚类算法的性能度量

比较检验

即在统计学意义上的比较

假设检验

• 统计学假设检验

假设检验步骤

• 假设检验的结果和直觉并不尽相同
• 假设检验的例子：二项式检验
  
  
  假设检验的例子：T检验
  
  
  假设检验在模型比较中的应用
  
  以上了解即可，重点注意：
• 原假设如何设定
• 原假设是需要收集证据去推翻的

偏差、方差与噪声

• 泛化误差组成推导
• 偏差与方差
• 偏差与方差

模拟，

• 模拟
• 模拟