目标函数和损失函数的区别
- 损失函数：模型拟合的越好，损失应该越小；
- 目标函数：优化的目标，可以是“损失函数”或者“损失函数+正则项”，分为经验风险最小化，结构风险最小化。
1. 感知机
误分类点集M到超平面S的总距离：
所以感知机的损失函数定义为：
2. 线性回归
线性回归的目标函数，一般使用均方误差：
3. K近邻（KNN）
分类决策采用多数表决：
I()为指示函数，括号内成立输出1，否则输出0；
实际是的误分类率最小，等价于经验风险最小化：
4. Logistic回归
目标y=1与x的函数为：
对数似然函数作为损失函数：
最后加入正则项极为目标函数。
5. Softmax
学习的模型变为：
损失函数变为：
目标函数一般为损失函数+正则项；
6. SVM
SVM的目标函数为：
其中第一项称为合页损失函数(hinge loss)，下标“＋”表示以下取正值的函数，即分类正确切距离超平面有一定距离时损失为０，否则损失为[1-y(wx+b)]。
决策树
- 生成过程：（从局部出发）递归地选择最佳特征构建决策树，相当于用 极大似然法 进行概率模型的选择；
-
剪枝过程：（从整体出发）相当于极小化决策树的目标函数（损失函数）。
设树T的叶结点个数为|T|, t是树T的叶结点，该叶结点有Nt个样本点，其中k类的样本点有Ntk
个，k=1,2,...,K，Ht(T)为叶结点t上的经验嫡，a>=0为参数，则决策树学习的损失函数可以定义为
C(T)表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，|T|表示模型复杂度，参数a>=0控制两者之间的影响。剪枝，就是当a确定时，选择损失函数最小的模型，即损失函数最小的子树。损失函数正好表示了对模型的复杂度和训练数据的拟合两者的平衡。
GBDT
博客园：梯度提升树(GBDT)原理小结
XGBOOST
陈天奇的slide：https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf
附录：常见损失函数对比
附录：统计学习方法特点概括 — 李航《统计学习方法》
