信息论：

交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。

信息量：

首先是信息量。假设我们听到了两件事，分别如下：
事件A：巴西队进入了2018世界杯决赛圈。
事件B：中国队进入了2018世界杯决赛圈。
仅凭直觉来说，显而易见事件B的信息量比事件A的信息量要大。究其原因，是因为事件A发生的概率很大，事件B发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。
假设是一个离散型随机变量，取值集合为R，概率分布函数为；则定义事件 的信息量为

熵：

考虑另一个问题，对于某个事件，有n种可能性，每一种可能性都有一个概率这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量

相对熵（KL散度）:

• 相对熵又称KL散度,如果我们对于同一个随机变量 x 有两个单独的概率分布 和 ，我们可以使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异
• 相对熵：如果用P来描述目标问题，而不是用Q来描述目标问题，得到的信息增量。
• 在机器学习中，P往往用来表示样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.7,0.2,0.1]
  直观的理解就是如果用P来描述样本，那么就非常完美。而用Q来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些“信息增量”才能达到和P一样完美的描述。如果我们的Q通过反复训练，也能完美的描述样本，那么就不再需要额外的“信息增量”，Q等价于P。

• KL散度的计算公式：

  
  
  
  

  n为事件的所有可能性。DKL的值越小，表示q分布和p分布越接近

• 对上面的式子变形可以得到：

  
  
  
  
  等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：
• 在机器学习中，我们需要评估label和predicts之间的差距，使用KL散度刚刚好，即，由于KL散度中的前一部分不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做loss，评估模型。
  下面具体介绍在神经网络中使用交叉熵的基本概念要求：

1. CrossEntropyLoss

• 也叫交叉熵损失函数：熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度。交叉熵越小，表示数据越接近真实样本；
  如果一个随机变量X ~ p (x)，q(x)为用于近似p(x)的概率分布，那么随机变量X和模型q之间的交叉熵定义为：

  
  
  
  

  交叉熵的概念是用来衡量估计模型与真实概率分布之间差异情况的。

• 常用的是在 计算 模型预测值 和 样本真实值标签 之间的误差
  -下面看例子：

import torch
import torch.nn as nn
criterion = nn.CrossEntropyLoss()
loss += criterion(logits, tags)
>>
logits.shape()=torch.Size([16, 260, 4])
tags.shape()=torch.Size([16, 260])

这里表示的意思就是，真实值是16个样本一个batch里面,每个样本是长度为260的真实标签id
预测值是16个同样长度为260的标签，但是预测标签没有给出，只给出了在4种可能标签的概率值
此时传入交叉熵损失函数，这个函数会自动计算每个样本的对应标签位置的误差，最后返回

有时候会看到不直接使用CrossEntropyLoss，而是使用的NLLLoss，两者的关系如下例子：

1. 准备输入input：

import torch
input = torch.tensor([[ 1.1879,  1.0780,  0.5312],
        [-0.3499, -1.9253, -1.5725],
        [-0.6578, -0.0987,  1.1570]])
print(input)

tensor([[ 1.1879,  1.0780,  0.5312],
        [-0.3499, -1.9253, -1.5725],
        [-0.6578, -0.0987,  1.1570]])

2. input 取softmax：

soft_input = torch.nn.Softmax(dim=1)
soft_input=soft_input(input)
print(soft_input)#0/1之间

tensor([[0.4142, 0.3711, 0.2148],
        [0.6661, 0.1378, 0.1961],
        [0.1125, 0.1968, 0.6907]])

3. 对softmax结果取log：

log_input=torch.log(soft_input)
print(log_input)

tensor([[-0.8815, -0.9914, -1.5382],
        [-0.4064, -1.9818, -1.6290],
        [-2.1848, -1.6257, -0.3700]])

4. 2/3 两步softmax+log等价于log_softmax：

log_softmax=nn.LogSoftmax(dim=1)
log_input=log_softmax(input)
print(log_input)

tensor([[-0.8815, -0.9914, -1.5382],
        [-0.4064, -1.9818, -1.6290],
        [-2.1848, -1.6257, -0.3700]])

5. nn.NLLLoss() 将对应id的值取出来 :相加/取均值/加负号：

loss=torch.nn.NLLLoss()
target=torch.tensor([0,1,2])
loss=loss(log_input,target)
print(loss)
print((-0.8815+(-1.9818)+(-0.3700))/3)=-1.0777666666666665

tensor(1.0778)

6. nn.CrossEntropyLoss相当于 softmax + log + nllloss，将预测概率值选取softmax之后取对数值，然后通过nllloss将对应概率值取出相加取均值再添加一个负号输出出来就是最后的交叉熵的值：

loss =torch.nn.CrossEntropyLoss()
out=loss(input,target)
print(out)

tensor(1.0778)

nn.NLLLoss:

import torch
import torch.nn
 
a = torch.Tensor([[1,2,3]])
nll = nn.NLLLoss()
target1 = torch.Tensor([0]).long()
target2 = torch.Tensor([1]).long()
target3 = torch.Tensor([2]).long()
 
#测试
n1 = nll(a,target1)
#输出：tensor(-1.)
n2 = nll(a,target2)
#输出：tensor(-2.)
n3 = nll(a,target3)
#输出：tensor(-3.)

nn.NLLLoss做的事情是取出a中对应target位置的值并取负号，比如target1=0，就取a中index=0位置上的值再取负号为-1，那这样做有什么意义呢，要结合nn.CrossEntropy往下看。

nn.CrossEntropy：

看来直接用nn.CrossEntropy和nn.LogSoftmax+nn.NLLLoss是一样的结果，交叉熵的表达式为：

总结：

• nn.LogSoftmax是在softmax的基础上取自然对数
• nn.NLLLoss是负的似然对数损失，但Pytorch的实现就是把对应target上的数取出来再加个负号，要在CrossEntropy中结合LogSoftmax来用

参数详解

• 在做bert MLM任务的时候接触到，使用CrossEntropyLoss()计算损失的时候，label值里面为 -100 的位置，交叉熵损失函数默认不计算该位置上的loss，也就是上图的ignore_index
• 同时交叉熵损失函数默认计算所有位置loss 取平均，也就是上图参数中的：size_average=True
• 如下例子中，target=2的时候loss=0.4076，target=1的时候loss=1.4076，中间target=-100默认不计算loss，取平均于是=0.9076

import torch
import torch.nn as nn
a = torch.Tensor([[1,2,3],[1,2,3],[1,2,3]])
target = torch.Tensor([2,-100,1]).long()
logsoftmax = nn.LogSoftmax()
ce = nn.CrossEntropyLoss()
nll = nn.NLLLoss()
cel = ce(a,target)
print(cel)

tensor(0.9076)

weight 参数：

对于样本均衡的分类任务我们可以直接使用交叉熵。但当我们面对样本类别失衡的情况时，导致训练过程中的损失被数据量最多的类别的主导，从而导致模型不能被有效的训练。我们需要通过为不同的样本损失赋予不同的权重以平衡不同类别间数据量的差异，这个通常是通过 交叉熵函数中的 weight 参数实现的：

weight = torch.tensor([1.0, 1.0,2.0])
loss =torch.nn.CrossEntropyLoss(weight=weight)
out=loss(input,target)
print(out)
print((-0.8815+(-1.9818)+2*(-0.3700))/(1*1+1*1+1*2))

tensor(0.9008)
-0.900825

• 可以看到，交叉熵损失中为每个类值赋予了不同的权重，最后除以每个类别的个数*对应的权重

参考:
https://blog.csdn.net/Jeremy_lf/article/details/102725285
Pytorch踩坑记之交叉熵（nn.CrossEntropy，nn.NLLLoss，nn.BCELoss的区别和使用）
损失函数｜交叉熵损失函数 - 知乎 (zhihu.com)