5.1 学习算法
概念：对于某类任务 T 和性能度量P，一个计算机程序被认为可以从经验 E 中学习是指，通过经验 E 改进后，它在任务 T 上由性能度量 P 衡量的性能有所提升。
5.1.1 任务T
常见机器学习任务
5.1.2 性能度量 P
准确率，错误率
5.1.3 经验 E
根据不同经验，分为无监督和监督学习算法
5.1.4 线性回归
简单实例
5.2 容量、过拟合和欠拟合
- 在先前未观测到的输入上表现良好的能力被称为泛化 (generalization)。
- 训练误差，测试误差（泛化误差）
- 在我们的线性回归实例中，我们通过最小化训练误差来训练模型
- 通俗地，模型的容量是指其拟合各种函数的能力。
5.2.1 没有免费午餐定理
没有通用的学习算法或是绝对好的学习算法，没有最优的正则化形式
5.2.2 正则化
权重衰减（w为权重）：修改线性回归的训练标准，MSE+正则项(λ控制)=J(w)
正则化是指我们对学习算法所做的降低泛化误差而非训练误差的修改
5.3 超参数和验证集
多项式回归实例中，有一个超参数：多项式的次数，作为容量超参数。控制权重衰减程度的 λ 是另一个超参数。
训练数据分为：验证集和训练集
测试数据
5.3.1 交叉验证
基于在原始数据上随机采样或分离出的不同数据集上重复训练和测试的想法
5.4 估计、偏差和方差
5.4.1 点估计
线性回归实例（第5.1.4节中讨论的）和多项式回归实例（第5.2节中讨论的）都既可以解释为估计参数 w，又可以解释为估计从 x 到 y 的函数映射 f^。
5.4.2 偏差
距离真实函数或参数的误差估计
期望-真实
例子：伯努利分布：0,1分布
例子：均值的高斯分布：均值参数
例子：方差的高斯分布：方差参数，对期望的估计
5.4.3 方差和标准误差
数据上任意特定采样可能导致的估计期望和偏差
伯努利分布
5.4.4 权衡偏差和方差以最小化均方误差
估计MSE（Mean Squared Error）均方误差，包含方差偏差
5.4.5 一致性
有时它是指弱一致性
一致性保证了估计量的偏差会随数据样本数目的增多而减少。然而，反过来是不正确的——渐近无偏并不意味着一致性。
5.5 最大似然估计
一种可以让我们从不同模型中得到特定函数作为好的估计的准则
所有观测样本的联合概率最大
最小化训练集上的经验分布 p^data 和 模型分布之的间差异，两者之间的差异程度可以通过 KL 散度度量。
5.5.1 条件对数似然和均方误差
实例对比：线性回归最大似然和均方误差
5.5.2 最大似然的性质
在合适的条件下， 最大似然估计具有一致性，意味着训练样本数目趋向于无限大时，参数的最大似然估计收敛到参数的真实值。
5.6 贝叶斯统计
相对于极大似然，贝叶斯的区别在两点：
- 极大似然使用θ 的点估计，贝叶斯预测θ 的全分布
- 贝叶斯先验分布
实例：贝叶斯线性回归，实数值参数通常使用高斯作为先验分布
5.6.1 最大后验（MAP）估计
点估计因为后验计算非常棘手，点估计提供了可行的近似解
5.7 监督学习算法
5.7.1 概率监督学习
二分类逻辑回归，sigmoid函数
5.7.2 SVM 支持向量机
基于线性函数
核函数是重点：
核策略十分强大有两个原因。
首先，它使我们能够使用保证有效收敛的凸优化技术来学习作为 x 的函数的非线性模型。这是可能的，因为我们可以认为 ϕ 是固定 的，仅优化 α，即优化算法可以将决策函数视为不同空间中的线性函数。
其二，核函数 k 的实现方法通常有比直接构建 ϕ(x) 再算点积高效很多。
核机器的缺点：随着样本的增多成本升高
所以支持向量机才有优势
5.7.3 其他简单的监督学习算法
- k-临近：
- 泛用性好，容量高
- 缺点：计算成本高，无法区分极端特征
- 决策树
- 决策树通常使用坐标轴相关的拆分，并且每个子节点关联到常数输出，因此有时解决一些对于逻辑回归很简单的问题很费力
5.8 无监督学习
寻找数据的最佳表示，在深度学习中是核心之一
常见表示又： 低维表示，独立表示
5.8.1 主成分分析PCA
降维
特征工程：https://flystarhe.github.io/2016/09/05/feature-engineering/
