首先，信息熵是什么？信息熵是信息的定量。但科学定量不是拍脑袋定，它要遵徇信息的基本规律。
我们先看一个问题。假如现在A在考场考试，一共8个题，有a/b/c/d四个选项，你要以二进制的方式将答案传递给A，请问至少要传多少个bit？如果你们提前知道考试的答案是a/b/c/d四个选项的占比分别为1/8, 1/8, 1/4, 1/2的情况下，又需要传多少bit了？
第一问，简单，其实就是4个选项可以用2bit表示，那么8个题就是16bit可以准确传完。
第二问，是不是也是 2 * 8 要用 16 个bit才能传完了 ？不是的，答案如下：
0 ：d
10 ：c
110 ：b
111 ：a
那么ACDDBCDD的答案流就可以表示为11110001101000的bit流，只要14个bit就可以表示。
我们看到需要传递的bit变少，换而言之可以认为是信息的量变少了，或者说是信息熵小了。
