参考来源：
https://zhuanlan.zhihu.com/p/428297409
一、统计学习方法由三要素
统计学习方法之间的不同，主要来自其模型、策略、算法的不同。确定了模型、策略、算法，统计学习的方法也就确定了，这也就是将其称为统计学习三要素的原因。
二、实现统计学习方法的步骤
(1) 获取数据集合：有限数据集合，用于训练
(2) 确定假设空间：包含所有可能的模型，即学习模型的集合
(3) 确定学习策略：模型选择的准则
(4) 实现求解算法：最优化模型的算法
(5) 寻优求解：使用求解算法选择最优模型
(6) 预测或分析：利用学习的最优模型对新数据进行预测或分析
三、 模型
假设空间用可以定义为决策函数的集合，通常是由一个参数向量决定的条件概率分布族，由决策函数表示的模型为非概率模型，由条件概率表示的模型为概率模型。
四、 策略
统计学习的目标在于从假设空间中选取最优模型。
1、描述模型优劣的评价指标：
(1) 损失函数：度量模型一次预测的好坏；
(2) 风险函数：度量平均意义下模型预测的好坏，即损失函数的期望；
(3) 经验风险：关于训练数据集的平均损失估计，也称为 经验损失，可实际用于寻优的目标函数。
2、监督学习的两个基本策略：经验风险最小化和结构风险最小化.
2.1 、经验风险最小化(empirical risk minimization,ERM)策略：经验风险最小的模型是最优的模型；
当样本容量足够大时，经验风险最小化能保证有很好的学习效果，在现实中被广泛采用，比如，极大似然估计就是经验风险最小化的一个例子。当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。
当样本容量很小时，经验风险最小化学习的效果就未必很好，会产生"过拟合"现象。
2.2、结构风险最小化(structural risk minimization,SRM)：在经验风险上加上表示模型复杂度的正则化项或罚项；
正则化项防止过拟合的原因：结构风险小需要经验风险与模型复杂度同时小，模型复杂度较小则假设空间较小就不易过拟合，因此结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测；
模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化就等价于最大后验概率估计。这样，监督学习问题就变成了经验风险或结构风险函数的最优化问题。这时经验或结构风险函数是最优化的目标函数
五、寻优算法
寻优算法就是寻找根据上述策略评价最优模型的算法，通常该问题不存在解析解，这就需要用数值计算的方法求解。
设计寻优算法的目标：保证找到全局最优解，并使求解的过程更高效。
接下来计划：
常见的模型、策略、寻优方法原理和使用方法、使用场景。
