Encoder-only结构能适合于生成式任务吗？
更多实时面试题总结请关注我的公众号"算法狗"
目前基于Enodee-only的结构主要用于编码信息，而不太适合于生成式的任务。但是Enodee-only结构也是可以进行生成式任务的，其做法很简单，就是将最后一个token进行mask即可。但这么做会存在一些问题：
- 模型很少有针对性的在训练阶段进行最后一个token的mask，因此在inference的时候会出现和训练时候不一致的情况，导致泛化能力不好。
- 采用Encoder-only结构的模型难以用自回归的形式进行解码导致无法复用kv-cache，因为使用双向attention导致后面的token会影响到前面token的表征。
本文由mdnice多平台发布
