今天复习了信息论与最大熵那一块，信息熵作为一个信息的度量，表示事件的不确定性；人类在生产实践的时候就是不断地降低目标事件的不确定性，通过先验概率求后验概率，我们需要寻找降低不确定线性的最大信息熵，同时增加目标事件发生的确定性。
需要理解的概念有：
1.条件熵 2.互信息 3. 相对熵 4. 交叉熵
理解这一块要好好复习概率分布那块的知识，对于后面的决策树的学习有帮助。
《机器学习实战》看到的关于机器学习的理解：
机器学习即把无序的数据转换成有用的信息。
2017.10.26
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 各位爸爸妈妈，您知道教育的目的是什么吗？ 当然不仅仅是成绩那么简单。 教育就是培养习惯，尤其是孩子处在3-15岁这...
