熵用来衡量不确定性,也就是随机性的高低
什么可以称为高随机性?
抽奖,参与的人越多,可能出现的结果越多,结果越难确定,随机性就越高。
十个人参与,机会均等,那么有十个人可能中奖
一百个人参与,机会均等,就有一百个人可能中奖
比较起来,直观的就感觉后者很难猜测到谁是中奖者。
随机性不仅体现在结果数上,还与概率有关
假如说规矩改一下,就两个人参与。
其中甲买了九张抽奖券,乙只买了一张。
与甲乙都只买了一张相比较。
很明显,按第一种做法,甲中奖是有很大可能的,所以事前猜测甲中奖赢面很大。而第二种做法就说不准了,甲乙都有可能中奖,而且这个可能性还差不多,所以事前猜测就很难猜对。
这就是熵的神奇之处了
他可以把不确定性这个含糊的概念给精确化,从而可以比较和评价,从而说出个好坏来。
至于为什么会引入这个概念
那是因为工程上的问题都要求一个可靠性,足够可靠是使用的前提。
信息传输过程中会出现干扰,干扰是随机的,如何来评价一个通信系统的抗干扰能力呢?就需要一个标准,于是就引入了熵这个东西。