信息的度量
克服不确定性(混乱状态)的多少。
应用
克服的不确定性越多,信息量越大。反过来讲,状态越混乱,需要的信息量越大。
信源熵:
H(X) ={x1, x2, x3
- p(x1),p(x2),p(x3)
- }
遇到任何问题,先进行模型抽象。
x1 的自信息量是 I(x1)=log p(x1)
H(X) = p(x1)logp(x1) + p(x2)logp(x2) + p(x3)logp(x3)
应用:
为什么刘强东在美国嫖娼被捕这条消息的信息量会很大?
正常来讲,刘强东在人们的眼中是优秀企业家形象,嫖娼被捕的概率极低。
H(刘强东的状态){ 正常,嫖娼被捕
- p(正常)=90%,p(嫖娼被捕)=10%
- }
虽然H(刘强东的状态)的信源熵很小,但是I(嫖娼被捕)这个事件的自信息量巨大,所以一旦发生给接受者的信息量就越大。
这也是新闻从业者或者自媒体喜欢报道 新奇独立小概率新闻的原因。
给我们工作生活有哪些启发?
我们要做的工作,应该倾向于做哪些难而正确的事情,这也是链家网左晖先生在生前创业的理念。
从信息论的角度来讲,难而正确的事情,发生的概率比较低,但是一旦发生,带来的信息量很大。
我们和人交流,以及做演讲,一定要讲对听众来说是信息增量的事情,讲听众已知的事情,信息量为0。