【通识课学习日志】
本训练营：林超所长的通识课
今日主题：第十五课 信息论重要模型
学习日期：2022年10月2日
本课能量金句：组成你人生每一刻的所有人事物，都是通过你给出去的想法和感受吸引回来的，你生命中的一切都不是偶发的，你接收到的所有事物都是以你给出去的为基础。
——朗达·拜恩《力量》
1. 三个重要公式
1.1E=MC^2
其中E是指能量，M值物质，C是指光速。这个公式把能量和物质通过一个抽象的公式联系了起来。
1.2ΔxΔp≥h/4π
这个公式是海森堡测不准原理，其指出：不可能同时精确确定一个基本粒子的位置和动量，在微观世界中粒子会因为人类的观察而改变运动轨迹。这个原理告诉我们，我们真正观察到的东西是客观世界和主观想象的结合。
1.3信息熵
1.3.1定义：信息熵（information entropy）是信息论的基本概念。描述信息源各可能事件发生的不确定性。20世纪40年代，香农（C.E.Shannon）借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式，信息熵的提出解决了对信息的量化度量问题。
1.3.2解读1：能量守恒定律告诉我们能量不会凭空产生，也不会凭空消失，只会由一种形式转换为另一种形式。但信息是不守恒的，意味着人类之间分享知识可以为这个世界创造纯粹增量的事情。
解读2：由于信息熵是对信息平均信息量的度量，因此一种信息出现的可能性越平均，信息熵越大。比如在一个盒子里面各种一半蓝色的皮卡丘和黄色的皮卡丘，这样的话盒子里的信息熵是最大的，但如果只装黄色或只装蓝色的皮卡丘则信息熵几乎为0.再比如有一场饭局，别人问你吃什么，这个时候回答“随便”的信息熵大于回答“不吃辣”的信息熵，大于直接回答“吃这家店”的信息熵。
2. 霍夫曼编码&奥卡姆提刀
2.1定义
①霍夫曼编码（英语：Huffman Coding），又译为哈夫曼编码、赫夫曼编码，是一种用于无损数据压缩的熵编码（权编码）算法。由大卫·霍夫曼在1952年发明。
在计算机数据处理中，霍夫曼编码使用变长编码表对源符号（如文件中的一个字母）进行编码，其中变长编码表是通过一种评估来源符号出现机率的方法得到的，出现机率高的字母使用较短的编码，反之出现机率低的则使用较长的编码，这便使编码之后的字符串的平均长度、期望值降低，从而达到无损压缩数据的目的。
例如，在英文中，e的出现机率最高，而z的出现概率则最低。当利用霍夫曼编码对一篇英文进行压缩时，e极有可能用一个比特来表示，而z则可能花去25个比特。用普通的表示方法时，每个英文字母均占用一个字节，即8个比特。二者相比，e使用了一般编码的1/8的长度，z则使用了3倍多。倘若我们能实现对于英文中各个字母出现概率的较准确的估算，就可以大幅度提高无损压缩的比例。
②奥卡姆剃刀：如无必要，勿增实体。
2.2启发1：为了提高效率，我们应该把生活中最重要的资源，分配给人生中最高频出现的场景。比如所长举得例子，生活中电脑和手机的适用频率很高，所以这两样东西要尽量买最好的。反例是衣服，一些衣服可能只穿一两次，但是还是有人花大价钱去买，这个做法很不符合霍夫曼编码的原理。
启发2：大刀阔斧做减法，同时围绕关键领域饱和配置资源。比如所长举得例子，一般的出租屋会把客厅看电视的地方做的很大，而没有书桌的区域，由于所长几乎不花时间在看电视上，反而会话很多时间看书，因此会把看电视的区域改造成读书的地方，然后配置书桌等资源。
3. 帧间压缩算法
3.1定义
帧间压缩是通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。
一场两个小时的电影在没有压缩的前提下信息量高达一千多GB，占用很大的存储空间因此必须要进行压缩。而帧间压缩算法通过关注差异量或者增量而实现无损压缩的效果。
3.2启发：通过关注信息增量而不是关注信息存量，来极大地提升效率。即是关注变化，忽略重复，可以使我们的学习效率提升N倍。
4. 互信息
4.1定义
互信息是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量。如果一段信息当中的互信息太多，意味着等价信息太多，就是所谓的废话太多。互信息的多少可以用冗余度来衡量。冗余的信息会使传信料率降低，但能提高通讯的抗干扰能力。
4.2启发
①冗余并不一定是坏东西，在工程领域，它可以保证系统运作的安全，在表达上，它能更好地服务于人类的认知习惯。比如正常的逗号或者句号传递的信息量很少，几乎不传递什么信息，但是人脑对一篇没有任何标点符号的文章是很难接受的，这个就是人类的认知习惯决定的。
②时代在进步，人类习惯接受的冗余度也在减少，所以我们越来越需要掌握去除冗余的方法。
③以阅读为例，去除冗余的方法：
第一步，先把在一本书里读到的关键概念零散地列出来。第二步，寻找卡片之间的连接，同时拿掉那些信息等价的卡片；③套用和矫正。即是运用已经掌握的分析框架对新的框架进行套用或者进行矫正。
