课堂内容总结
(1)信息的定义。
信息奠基人香农(Shannon)认为“信息是用来消除随机不确定性的东西”。
控制论创始人维纳(Norbert Wiener)认为“信息是人们在适应外部世界,并使这种适应反作用于外部世界的过程中,同外部世界进行互相交换的内容和名称”。
中国学者钟义信提出了本体论和认识论,认为“信息是被反映的物质属性”。
(2)信息量与熵。
假设我们听到了两件事:
事件A:巴西队进入了2018世界杯决赛。
事件B:中国队进入了2018世界杯决赛。
仅凭直觉来说,显而易见事件B的信息量比事件A的信息量要大。因为事件A发生的概率很大,事件B发生的概率很小。所以当越不可能的事件发生了,我们获取到的信息量就越大。越可能发生的事件发生了,我们获取到的信息量就越小。信息量应该和事件发生的概率有关。
对于某个事件,有n种可能性,每一种可能性都有一个概率p(i) ,我们可以计算出某一种可能性的信息量。而熵用来表示所有信息量的期望。
(3)关于信息的例子。
盲人摸象:盲人摸大象不同的部位,所得出的大象的信息是不同的,也是不全面不具体的,只有把大象都覆盖到,尽可能获取更多的数据和信息,才能得到很好的模型。