习题一
说明伯努利模型的极大似然估计以及贝叶斯估计中的统计学习方法三要素。
统计学习方法的三要素：
- 模型
- 策略
- 算法
| 模型 | 策略 | 算法 | |
|---|---|---|---|
| 极大似然估计 | 条件概率 | 经验风险最小化 | 求解析解 |
| 贝叶斯估计 | 条件概率 | 结构风险最小化 | 求数值解 |
伯努利模型是定义在取值为上的随机变量上的概率分布：
当Y取值为1时：
当Y取值为0时：
极大似然估计为
去似然函数的对数为：
- n是实验的次数
- k为n次实验中结果为1的次数
-
表示第i次实验的结果
令似然函数的导数为0，可以求出解析解
贝叶斯估计：
根据先验概率和估计后验概率，使得后验概率最大化，所以贝叶斯估计得到的概率取决于所选择的先验分布。
习题二
通过经验风险化最小化推导极大似然估计。证明模型是条件概率分布，当损失函数是对数损失函数时，经验风险最小化等价于极大似然估计。
几个重要概念：
-
模型是条件概率分布，说明预测值：
image.png
