最近阅读了李航教授的统计学习，因此简单做个笔记，全当是对自己知识体系的差漏补缺。
什么是统计学习？
统计学习是计算机利用模型，对数据进行分析和预测的学科。统计学习有监督学习，半监督学习，非监督学习，还有强化学习。
统计学习三要素是什么？
- 模型
- 策略
- 算法
学习方法
统计学习有一个大的前提，就是数据独立同分布，楼主之前主要做迁移学习方面。考虑的问题大都是训练集和测试集不服从独立同分布假设。这里简单的介绍下：
- 监督学习
从有限个已知标记的数据出发，在某个空间内，根据某个规则选出一个最优的模型。 - 非监督学习
根据上述的定义可以推广以下，半监督就是有的数据已知标签，有的还是未知。 - 半监督学习
故名思议，已知的数据都没有标签。
学习目的
模型的学习最终是让模型的训练误差减小，同时保持有较高的泛化能力。
什么是模型的误差？
- 训练误差 在训练集上数据通过模型获得的预测值与真实标签的误差
- 测试误差 在测试集上数据通过模型获得的预测值与真实标签的误差
什么是泛化能力？
可以理解为模型的适应能力，有时候在训练数据上误差特别低，但是用到测试集上，误差突然增大，这就是出现了有名的过拟合现象，泛化能力差，训练的模型并不可用。
如何减小过拟合？
使用正则化方法，或者交叉验证法。
正则化方法一般使用L1或者L2正则。L1主要是用来稀疏化数据的， L2主要是压缩权值的。可以根据实际情况进行选择
