7.3.6 实例讲解
最优化问题：就是让熵最大化/-熵最小化
将目标函数和约束条件写入拉氏函数中：
约束条件中的先后顺序无所谓的，
对每个yi都求偏导得到如下公式并让他们都=0：
不难看出,p(y1/2)/p(y3/4/5)是相等的：
将上面的解带入到拉氏函数中就得到了ψ(w):
上面这个就是 内部极小化 问题的解，接下来要求 外部极大化 问题：
这样就解得了w0和w1，再带回到之前的p(yi)就可以得到条件概率分布了
直接开摆
统计学习方法7.3笔记—22.7.31
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 7.3.4 最大熵模型的学习（书上P98） 学习有三件事: 1.哪些是已/未知的信息； 2.目的是什么； 3.如何...
- 六、逻辑斯蒂回归与最大熵模型 逻辑斯蒂是个啥：以人口增长为例： 其中，Ω代表了最大值（此处为最大人口容量），所得图...
