前前言
也是用pages记录的，粘贴后排版也很不尽如人意。
沦为记录。
大概都只是梳理一遍所有的概念。
7.14 大概看到了 2.4
前言
（写于“前前言”之前）
旁听了自己学校暑校的深度学习的课，一门用六天时间速成的课，基本边听课边记了笔记（但里面很大一部分是没有推导过程的公式和没有弄懂的公式理论，毕竟速成课），边通读了一下《深度学习》的中文版，因为没有完全理解和清晰的内容实在太多，再加上对于老师的chinglish略头疼，现在只不过是和这个领域的好些概念混了个眼熟，并掌握了一些最最基础的专业知识。
打算等高年级重新读，那时候再写《深度学习》的学习笔记。粗浅地读完《深度学习》，继续拾起以前只读了个开篇的《机器学习》，你可以把它看做是前者的低配版，因为到目前为止，阅读和公式理解基本还没有出现障碍。
会随着阅读进度陆续更新。主要阅读受众是——自己。写作主要目的——监督自己认真读完。
《机器学习》 周志华
第1章 绪论
第2章 模型评估与选择
第3章 线性模型
第4章 决策树
第5章 神经网络
第6章 支持向量机
第7章 贝叶斯分类器
第8章 集成学习
第9章 聚类
第1章
数据集
示例（instance)/样本(sample)
标记（label)
学习任务分类：分类（输出离散值）与回归（输出连续值）
簇(cluster)
学习任务分类：监督学习和无监督学习
泛化（generalization)能力
假设空间
归纳偏好（简写为“偏好”）
奥卡姆剃刀（Occam’s razor)
没有免费的午餐定理（No Free Lunch Theorem) (NFL ) 前提：所有问题同等重要
第2章
错误率 精度（1-错误率）
训练误差或经验误差（在训练集上的误差）
泛化误差（在新样本上的误差）
欠拟合
过拟合 （只能缓解）
Q:包含m个样例的数据集，既要训练，又要测试，如何做到?
1.留出法(hold-out) :直接将数据集D划分为两个互斥的集合
2.交叉验证法：划分为k个子集，每次从中取k-1个子集作为训练集，剩下的那个作为测试集，重复p次 “p次k折交叉验证”
3.自助法：有放回地产生数据集D’:每次随机从D中挑选一个样本，将其拷贝放入D’,然后再将样本放回初始数据集D中，使得这个样本在下次采集是时还是有可能被采集到。重复m次。将D’作为训练集，D\D’作为测试集。
误差与“包外估计”：见书P27
适用情景：数据集较小，难以有效划分训练/测试集时很有用
调参
验证集
性能度量 包括： 错误率，精度
均方误差
查准率 查全率
P-R曲线 平衡点：考察学习器的优劣
F1度量：F1=公式……
Q:在n个二分类混淆矩阵上怎么考察查准率和查全率？
法一：每个上分别计算，再取平均值，得到“宏查准率”，“宏~”、“宏~”
法二：先将混淆矩阵的对应元素进行平均，再基于平均值得到“微~”、“微~”、“微~”
（具体公式定义见书P32）
分类阈值 正类 反类 截断点
ROC曲线：横轴是“真 正例率” TPR，纵轴是“假 正例率”FPR 现实中给出有限点时的绘制！
AUC（area under ROC curve)：ROC曲线下的面积，用于比较学习器的优劣
排序损失 l rank=1-AUC
非均等代价
代价矩阵
希望最小化“总体代价” 代价敏感错误率
代价曲线 绘制！ 得到期望总体代价
