新定义【信息熵】练习题

2020年新高考全国卷Ⅰ数学试题12

信息熵是信息论中的一个重要概念。设随机变量X所有可能的取值为1,2,…,n，且
$P(X=i)=p_i>0(i=1,2,\cdots,n), \sum_{i=1}^{n}p_i=1$ 定义X的信息熵为 $H(X)=-\sum_{i=1}^{n}p_i\log_2 p_i$ 则 $( )$

$A.$ 若 $n=1$ ，则 $H(X)=0$
$B.$ 若 $n=2$ ，则 $H(X)$ 随着 $p_1$ 的增大而增大
$C.$ 若 $p_i=\frac{1}{n}(i=1,2,\cdots,n)$ ，则 $H(X)$ 随着n的增大而增大
$D.$ 若 $n=2m$ ，随机变量Y所有可能的取值为 $1,2,…,m$ ，且 $P(Y=j)=p_j+p_{2m+1-j}(j=1,2,\cdots,m)$ ，则 $H(X)≤H(Y)$

解析
$A:$ 当 $n=1$ 时，由题意知 $P(X=1)=p_1=1$ ，所以 $H(X)=-p_1 \log_2 p_1 = 0$
[这就是我们之前提到的，概率为 $1$ 的时间，必定发生，包含的信息量为0]

$B:$ 当 $n=2$ 时， $P(X=1)=p_1$ ， $P(X=2)=p_2$ 满足 $p_1+p_2=1$ ，所以 $H(X)=-p_1 \log_2 p_1 - p_2 \log_2 p_2 = -p_1 \log_2 p_1 - (1-p_1) \log_2 (1-p_1)$ ，所以 $H'(X) = \log_2 (1-p_1) - \log_2 p_1 = \log_2 \left(\frac{1}{p_1} - 1\right)$ ，当 $\frac{1}{p_1} - 1 < 1$ ，即 $\frac{1}{2} < p_1 < 1$ 时， $H'(X) < 0$ ，此时 $H(X)$ 单调递减，B 项错误；

$C:$ 当 $p_i = \frac{1}{n} (i=1,2,\cdots,n)$ 时， $H(X) = n\left(-\frac{1}{n} \log_2 \frac{1}{n}\right) = -\log_2 \frac{1}{n} = \log_2 n$ ，所以 $H(X)$ 单调递增，C 项正确；

$D:$ $H(X) = -(p_1 \log_2 p_1 + p_{2m} \log_2 p_{2m}) - (p_2 \log_2 p_2 + p_2m \log_2 p_{2m-1}) - \cdots - (p_m \log_2 p_m + p_{m+1} \log_2 p_{m+1})$ $H(Y) = -(p_1 + p_{2m}) \cdot \log_2 (p_1 + p_{2m}) - (p_2 + p_{2m-1}) \log_2 (p_2 + p_{2m-1}) - \cdots - (p_m + p_{m+1}) \cdot \log_2 (p_m + p_{m+1})$
因为 $(p_1 \log_2 p_1 + p_{2m} \log_2 p_{2m}) - (p_1 + p_{2m}) \cdot \log_2 (p_1 + p_{2m}) = \log_2 \left(\frac{p_1^{p_1} p_{2m}^{p_{2m}}}{(p_1 + p_{2m})^{p_1 + p_{2m}}}\right) < 0$ ，所以 $-(p_1 \log_2 p_1 + p_{2m} \log_2 p_{2m}) > -(p_1 + p_{2m}) \log_2 (p_1 + p_{2m})$ ，同理可得 $-(p_i \log_2 p_i + p_{2m+1-i} \log_2 p_{2m+1-i}) > -(p_i + p_{2m+1-i}) \log_2 (p_i + p_{2m+1-i}) (i=1,2,\cdots,m)$ 成立，所以 $H(X) \geq H(Y)$ ，D 项错误。故选 AC。

偷懒做法

当 $n=1$ 时， $P(X=1)=p_1=1$ ， $H(X)=0$ ，A 项正确；
当 $n=2$ 时， $p_1+p_2=1$ ， $H(X)=-(p_1 \log_2 p_1 + p_2 \log_2 p_2)$ ，根据对称性，可以知道，当 $p_1=\frac{1}{4}$ 时， $H(X)$ 的值与 $p_1=\frac{3}{4}$ 时 $H(X)$ 的值相等，因此 B 项错误；
或者可以利用共轭的换元令 $p_1=\frac{1}{2}+t,p_2=\frac{1}{2}-t$ ,带入后可以发现是个偶函数，也可以说明。
$H(X) = -n\left(\frac{1}{n} \log_2 \frac{1}{n}\right) = \log_2 n$ ，因此 C 项正确；
最后对于 $D$ 用反证法，举例子，不妨设 $n=2, m=1$ ，则 $p_1=p_2=\frac{1}{2}$ ， $H(X)=1, H(Y)=0$ ，因此 D 项错误。故选 AC。

2025届杭州一模17

假设随机变量 $X$ 所有可能的取值为 $x_1, x_2, \cdots, x_n$ ， $P(X = x_i) = p_i > 0 (i = 1, 2, \cdots, n)$ ，且 $p_1 + p_2 \cdots + p_n = 1$ 。定义事件 $X = x_i$ 的信息量为 $H_i = -\ln p_i$ ，称 $X$ 的平均信息量

$H(X) = -(p_1 \ln p_1 + p_2 \ln p_2 + \cdots + p_n \ln p_n)$

为信息熵。

(1) 若 $n = 3$ ， $p_{k+1} = 2p_k (k = 1, 2)$ ，求此时的信息熵；

$\begin{align*} &\text{由题意知，} p_2 = 2p_1, p_3 = 2p_2 = 4p_1, \text{且} \\ &p_1 + p_2 + p_3 = 1, \text{解得，} p_1 = \frac{1}{7}, p_2 = \frac{2}{7}, p_3 = \frac{4}{7}. \end{align*}$

则

$\begin{align*} H(X) &= -\left(\frac{1}{7}\ln\frac{1}{7} + \frac{2}{7}\ln\frac{2}{7} + \frac{4}{7}\ln\frac{4}{7}\right) \\ &= -\frac{1}{7}\ln\frac{1}{7} - \frac{2}{7}\ln\frac{2}{7} - \frac{4}{7}\ln\frac{4}{7} \\ &= -\frac{1}{7}(\ln 1 - \ln 7) - \frac{2}{7}(\ln 2 - \ln 7) - \frac{4}{7}(\ln 4 - \ln 7) \\ &= \ln 7 - \frac{2}{7}\ln 2 - \frac{4}{7}\ln 2^2 \\ &= \ln 7 - \frac{10}{7}\ln 2 \end{align*}$

(2) 最大熵原理：对一个随机事件的概率分布进行预测时，要使得信息熵最大。信息熵最大就是事物可能的状态数最多，复杂程度最大，概率分布最均匀，这才是风险最小（最合理）的决定。证明： $H(X) \leq \ln n$ ，并解释等号成立时的实际意义。

（参考不等式jensen不等式：若 $f(x) = \ln x$ ，则 $\sum_{i=1}^{n} p_i f(x_i) \leq f\left(\sum_{i=1}^{n} p_i x_i\right)$ ）

解答：根据参考不等式
$\sum_{i=1}^{n} p_i f(x_i) \leq f\left(\sum_{i=1}^{n} p_i x_i\right),$

$\begin{align*} H(X) &= -(p_1 \ln p_1 + p_2 \ln p_2 + \cdots + p_n \ln p_n) \\ &= -\sum_{i=1}^n p_i \ln p_i = \sum_{i=1}^n p_i \ln \frac{1}{p_i} \leq \ln\left(\sum_{i=1}^n \left(p_i \cdot \frac{1}{p_i}\right)\right) = \ln n \end{align*}$

等号成立的实际意义：

从数学角度理解，当 $p_1 = p_2 = \cdots = p_n = \frac{1}{n}$ 时， $H(X)$ 取得最大值；

三、广东省2025届高三8月份阶段适应性测试数学试题19

信息熵是信息论中的一个重要概念。设随机变量 $X$ 和 $Y$ 的分布列分别为： $P(X = x_i) = p_i$ ， $P(Y = x_i) = q_i$ ，其中 $i = 1, 2, \ldots, n$ 。定义 $X$ 的信息熵： $H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i$ ， $X$ 和 $Y$ 的“距离”： $KL(X \parallel Y) = \sum_{i=1}^{n} p_i \log_2 \frac{p_i}{q_i}$ 。

(1) 若 $X \sim B(4, \frac{1}{2})$ ，求 $H(X)$ ；

(2) 已知发报台只发出信号 $0$ 和 $1$ ，接收台只收到信号 $0$ 和 $1$ 。现发报台发出信号0的概率为 $m$ ，由于通信信号受到干扰，发出信号0接收台收到信号0的概率为 $n$ ，发出信号1接收台收到信号1的概率也为 $n$ 。

(i) 若接收台收到信号为0，求发报台发出信号为0的概率；

(ii) 记 $X$ 和 $Y$ 分别为发出信号和收到信号，证明： $KL(X \parallel Y) \geq 0$ 。

解答：

(1) 因为 $X \sim B(4, \frac{1}{2})$ ，所以

$P(X = k) = C_4^k \left(\frac{1}{2}\right)^k \left(1 - \frac{1}{2}\right)^{4-k} = C_4^k \left(\frac{1}{2}\right)^4,$

所以 $X$ 的分布列为：

$X$	0	1	2	3	4
$P$	$\frac{1}{16}$	$\frac{1}{4}$	$\frac{3}{8}$	$\frac{1}{4}$	$\frac{1}{16}$

$\therefore H(X) = -\left[\frac{1}{16} \log_2 \frac{1}{16} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{3}{8} \log_2 \frac{3}{8} + \frac{1}{4} \log_2 \frac{1}{4} + \frac{1}{16} \log_2 \frac{1}{16}\right] = \frac{3}{2} - \frac{3}{8}(\log_2 3 - 3) = \frac{21}{8} - \frac{3}{8} \log_2 3$

(2) (i) 记发出信号0和1分别为事件 $A_i (i=0,1)$ ，收到信号0和1分别为事件 $B_i (i=0,1)$ ，

则 $P(A_0) = m$ ， $P(A_1) = 1-m$ ，

$P(B_0 | A_0) = P(B_1 | A_1) = n,$

$P(B_1 | A_0) = P(B_0 | A_1) = 1-n,$

所以

$P(B_0) = P(A_0)P(B_0 | A_0) + P(A_1)P(B_0 | A_1) = mn + (1-m)(1-n) = 1 - m - n + 2mn$

(i) 所以

$P(A_0 | B_0) = \frac{P(A_0) P(B_0 | A_0)}{P(B_0)} = \frac{mn}{1 - m - n + 2mn}$

(ii) 由 (i) 知 $P(B_0) = 1 - m - n + 2mn$ ，则

$P(B_1) = 1 - P(B_0) = m + n - 2mn,$

则

$\begin{align*} KL(X \parallel Y) &= m \log_2 \frac{m}{1 - m - n + 2mn} + (1 - m) \log_2 \frac{1 - m}{m + n - 2mn} \end{align*}$

设 $f(x) = 1 - \frac{1}{x} - \ln x$ ，则

$f'(x) = \frac{1}{x^2} - \frac{1}{x} = \frac{1 - x}{x^2},$

所以当 $0 < x < 1$ 时 $f'(x) > 0$ ， $f(x)$ 单调递增，当 $x > 1$ 时 $f'(x) < 0$ ， $f(x)$ 单调递减；

所以 $f(x) \leq f(1) = 0$ ，即 $\ln x \geq 1 - \frac{1}{x}$ （当且仅当 $x = 1$ 时取等号），

所以 $\log_2 x = \frac{\ln x}{\ln 2} \geq \frac{1}{\ln 2}(1 - \frac{1}{x})$ ，

所以

$\begin{align*} KL(X \parallel Y) &= m \log_2 \frac{m}{1 - m - n + 2mn} + (1 - m) \log_2 \frac{1 - m}{m + n - 2mn} \\ &\geq \frac{m}{\ln 2} \left(1 - \frac{1 - m - n + 2mn}{m}\right) + \frac{1 - m}{\ln 2} \left(1 - \frac{m + n - 2mn}{1 - m}\right) = 0 \end{align*}$

当且仅当 $\frac{m}{1 - m - n + 2mn} = \frac{1 - m}{m + n - 2mn} = 1$ ，即 $m = \frac{1}{2}$ ， $0 < n < 1$ 时等号成立，

所以 $KL(X \parallel Y) \geq 0$ 。

最后编辑于：2025.02.25 15:08:47

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 221,576评论 6赞 515
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,515评论 3赞 399
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 168,017评论 0赞 360
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,626评论 1赞 296
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,625评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,255评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,825评论 3赞 421
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,729评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,271评论 1赞 320
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,363评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,498评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 36,183评论 5赞 350
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,867评论 3赞 333
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,338评论 0赞 24
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,458评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,906评论 3赞 376
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,507评论 2赞 359

新定义【信息熵】练习题

2020年新高考全国卷Ⅰ数学试题12

偷懒做法

2025届杭州一模17

解答：

推荐阅读更多精彩内容