第1章 统计学习方法概论

1.1 统计学习

统计学习（statistical learning）：关于计算机基于数据构建统计模型并运用统计对数据进行预测与分析的一门学科。统计学习也成统计机器学习（statistical machine learning）
统计学习由监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi-supervised learning）和强化学习（reinforcement learning）等组成。
实现统计学习方法的步骤
（1）得到一个有限的训练数据（training data）集合；
（2）确定包含所有可能的模型的假设空间（hypothesis space），即学习模型（model）的集合；
（3）确定模型选择的准则（evaluation criterion），即学习策略（strategy）；
（4）实现求解最优模型的算法，即学习的算法（algorithm）；
（5）通过学习方法选择最优模型；
（6）利用学习的最优模型最新数据进行预测或分析。

• 损失函数和风险函数：
  1.常用的损失函数（loss function）或代价函数（cost function）：0-1损失函数；平方损失函数；绝对损失函数；对数损失函数.
  2.关于训练数据集的平均损失成为经验风险（empirical risk）。

• 经验风险最小化和结构风险最小化：

• 过拟合：学习时选择的模型所包含的参数过多，以至于出现模型对已知数据预测得很好，但对未知数据预测得很差的现象。

• 感知机（perceptron）是二分类的线性分类模型，属于判别模型，只在求出将训练数据进行线性划分的分离超平面。