需要基础：概率论，数学基础
谈到通信中的两个问题：
- 数据临界压缩的值：熵 H
- 临界通信传输速率的值：信道容量 C
1. 如何计算熵
单个随机变量的熵为该随机变量的不确定度。（编码中多少位bit可以完整表述随机变量X）
- 知道随机变量X的概率密度函数，熵用于度量随机变量的平均不确定度。
H-1.png
- 两个例子：
a. 均匀分布，编码方式为最简单的，一种编码对应一种可能。
H-2.png
公式可以学成 H(X) = log N
b. 概率非均匀分布，概率大的编码比特数越小。ps：用于决策树定根节点。
H-3.png
2. 条件熵
公式跟以上一样，概率换为联合概率
条件熵.png
3. 互信息
定义两个随机变量的条件熵H(X|Y)，即一个随机变量在给定另一个随机变量的条件下的熵。 由另一随机变量导致的原随机变量不确定度的缩减量称为互信息。（是不是很难记，其实我从没记过，看图..）
I(X;Y).png
毕业后才发现学习速度要比读书时更快...
以上截图来源网络，但是我有正版教科书（纸质版），衷心希望所有文件都能出电子版。
上课又用到了 2018.8.1
