信息量和信息熵

信息量的定义：

信息量度量的是一个具体事件发生所带来的信息，衡量信息量大小就看这个信息消除不确定性的程度；

信息量的大小和事件发生的概率成反比。

信息熵的定义：


信息量度量的是一个具体事件发生所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。

信息熵是用来衡量事物不确定性的。信息熵越大，事物越具不确定性，事物越复杂。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容