互信息=公平+明确

令 $\mathbf {x}$ 表示输入数据， $c$ 表示类别标签， $\mathbf { y} =p ( c \mid \mathbf { x } )$ 表示模型输出，输入与其类别间的互信息为：
$\begin{aligned} \mathcal { I } ( c ; \mathbf { x } ) & = \iint d c d \mathbf { x } p ( c , \mathbf { x } ) \log \frac { p ( c , \mathbf { x } ) } { p ( c ) p ( \mathbf { x } ) } \\ & = \int d \mathbf { x } p ( \mathbf { x } ) \int d c p ( c \mid \mathbf { x } ) \log \frac { p ( c \mid \mathbf { x } ) } { p ( c ) } \\ & = \int d \mathbf { x } p ( \mathbf { x } ) \int d c p ( c \mid \mathbf { x } ) \log \frac { p ( c \mid \mathbf { x } ) } { \int d \mathbf { x } p ( \mathbf { x } ) p ( c \mid \mathbf { x } ) } \end{aligned}$
上面的公式分项解释如下：

$\int d \mathbf {x} p ( \mathbf { x } )(\cdot)$ 表示对于输入取期望，在训练集中等价于 $\frac { 1 } { N _ { t s } } \sum _ { t s } ( \cdot )$ ，其中 $N _ { t s }$ 表示训练集的数据量；
$p(c \mid \mathbf {x} )$ 表示模型输出， $\int dc p(c \mid \mathbf { x } ) (\cdot)$ 表示各类输出的均值，在实际训练中体现为 $\sum _ { i = 1 } ^ { N _ { c } } ( \cdot )$ ；

于是上式在训练时可表示为：
$\begin{aligned} \mathcal {I } ( c ; \mathbf { x } ) &= \frac { 1 } { N _ { t s } } \sum _ { t s } \sum _ { i = 1 } ^ { N _ { c } } y _ { i } \log \frac { y _ { i } } { \overline{y_ { i }} } \\ &= \sum _ { i = 1 } ^ { N _ { c } }( -\overline{y _{ i } } \log \overline{ y } _ { i })+\frac { 1 } { N _ { t s } } \sum _ { t s } \sum _ { i = 1 } ^ { N _ { c } } y _ { i } \log y _ { i } \newline &= \mathcal { H } ( \overline { \mathbf { y } } ) - \overline { \mathcal { H } ( \mathbf { y } ) } \end{aligned}$

$\mathcal{H} ( \overline { \mathbf { y } } )$ 表示类别分布均值的熵，体现分类器的“平均性”或“公平性”（fairness）；
$\overline{ \mathcal{H} ( \mathbf { y } ) }$ 表示数据样本类别的熵的平均值，最小化该值体现分类器的“明确性”或“坚定性”（firmness）。

参考文献：
Bridle J, Heading A, MacKay D. Unsupervised classifiers, mutual information and'Phantom targets[J]. Advances in neural information processing systems, 1991, 4.

最后编辑于：2022.04.12 22:06:20

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,233评论 6赞 495
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,357评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,831评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,313评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,417评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,470评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,482评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,265评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,708评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,997评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,176评论 1赞 342
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,827评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,503评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,150评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,391评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,034评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,063评论 2赞 352

互信息=公平+明确

推荐阅读更多精彩内容