TRL是一个专门用于训练Transformer模型的强化学习框架。它支持一系列微调技术，例如：SFT、PPO、DPO和基于它们衍生的各种学习方法。
SFT 可以说是 LLM 的基本操作了，如果只是想把 SFT 跑起来是非常简单的，只需要按照demo改改就可以开始训练。但是如果深入研究其源码，就会发现TRL的 SFTTrainer还有少许不完善之处。
1.prompt 未做loss_mask
https://github.com/huggingface/trl/blob/main/trl/trainer/sft_trainer.py
SFTTrainer默认采用了DataCollatorForLanguageModeling
if not args.packing:
if data_collator is None:
data_collator = DataCollatorForLanguageModeling(tokenizer=processing_class, mlm=False)
这意味着其训练模式跟pretrain是一样的。当然这不代表有什么问题，但是因为prompt同质化很严重，同样的语句会被翻来覆去地学，所以现在SFT主流的训练方法是，忽略prompt部分的loss。基于此，如果要忽略prompt_loss的话，把prompt部分的label变成-100就行了。
2.packing模式下的loss问题
构造SFT数据的方式有两种：padding(填充)和packing(打包)
样本构造示意图
如果以一个样本作为训练单位，那么剩余空间需要用pad占位，而在指令数据当中短文本是占比很大的，这样会造成浪费，导致训练效率低下，于是就有将若干sample打包在一起的训练的做法。
TRL SFT提供了packing的方式，但是它默认的loss计算是基于token mean的而不是基于sample mean的，也就是说长样本学到的权重更多一些，显然这对短样本不公平，最终会影响短句生成的效果。
要纠正这一点，需要自定义loss重构compute_loss函数（大意如此，不可直接使用此代码）
def compute_loss(self, model, inputs, return_outputs=False):
labels = inputs.pop("labels")
# label: [-100, -100, a, a, a, -100, b, b, -100, -100, c, c, c, -100, -100]
label_mask = labels.eq(self.ignore_index)
#label_mask: [True, True, False, False, False, True, False, False, True, True, False, False, False, True, True]
loss_token_num = inputs.pop("loss_token_num") # 每组对应的token有多少个
# loss_token_num: [3, 3, 3, 3, 3, 2, 2, 2, 3, 3, 3, 3, 3, 1, 1]
turn_num = inputs.pop("turn_num") # packing了多少组example，此处为3
outputs = model(**inputs)
logits = outputs["logits"]
log_probs = -nn.functional.log_softmax(logits, dim=-1)
#log_probs: [a0, a1, a2, a3, a4, b0, b1, b2, c0, c1, c2, c3, c4, d0, d1]
losses = log_probs.gather(dim=-1, index=labels)
losses.masked_fill_(label_mask, 0.0)
# losses:[0, 0, a2, a3, a4, 0, b1, b2, 0, 0, c2, c3, c4, 0, 0]
losses = losses / loss_token_num
# 先做样本内的token mean loss
# [0, 0, a2/3, a3/3, a4/3, 0, b1/2, b2/2, 0, 0, c2/3, c3/3, c4/3, 0, 0]
loss = torch.sum(losses) / turn_num
# sum: 1/3 (a2 + a3 + a4) + 1/2 (b1 + b2) + 1/3 (c2 + c3 + c4)
# 最后做sample mean loss
# loss = sum / turn_num : 1/9 (a2 + a3 + a4) + 1/6 (b1 + b2) + 1/9 (c2 + c3 + c4)
return (loss, outputs) if return_outputs else loss
