含义 置信度：信息的可靠程度 规律 能重复，且多次重复检验，置信度才高 延伸 大量重复发生的事情，背后常常有它固有的规律 复盘，就是在区分无用经...

含义 条件熵：在一定附加条件下的信息熵 信息增益：衡量信息价值 规律 标新立异才有可能提供信息增量 延伸 第一个发表与众不同的意见，对提高影响力...

互信息即是信息的相关程度。 因果关系的信息即是等价信息。 相关关系是多元素中的一对元素的关系，因果关系是一对元素之间的单关系，与其他无关。 相关...

信息正交性越强，消除不确定性的效果越好 怎样找正交：不同的信息源；避免嵌套、包含信息；可以改变观察角度 在使用中，要用正交信息，这也是为什么我们...

全信息的压缩量很小，大量的压缩需要靠抛弃无用或作用很小的信息 关系 全信息的压缩极限，即是信息熵 超过信息熵，压缩比与失真率呈正相关 关键 压缩...

信息增量的含义：用信息的前后相关性，对后信息做增量编码，以压缩前后冗余 比如：视频压缩压缩量远大于图片压缩就是运用了信息增量编码 延伸，保守主义...

信息的等价性 医院的大部分检测(例如核磁共振、CT、B超、各种血象检查)、考古、历史推理、数据恢复等等都利用的是等价信息原则 主要应用在压缩数据...

冗余度不难理解，但好处和问题一般的外行没有考虑过，好处是易理解、消歧义、容错，问题是存储和传输浪费、有噪音是容易混淆 汉语就是在人的语言编码中最...

矢量化——就是把立体图形变成坐标系的多个方向的数值表示 象形文字和拼音文字都是从复杂图形向表音、表意两个维度进行矢量化的 矢量化会大量的简化问题...