1、挑战总结
如:会议总结等
(1)构造一个新的数据集
(2)需要设计一些新的评价标准以及指标
(3)需要一些新的模型架构设计
2、多语言、低资源场景
预训练模型的出现过拟合了英语
多语言预训练模型给多语言学习过程提供了新的机遇
任务:多语言跨语言翻译、摘要
评价:多语言的评价问题
模型:预训练模型的推广,fine-tune
3、非典型“文本生成任务”
蛋白质生成(生命语言模型):借鉴nlp生成思想
非文本生成任务,看成文本生成任务
4、基于seq2seq(如BART,T5)的预训练语言模型成为生成任务的标配
5、非端到端系统(多步生成)表现出更好
6、通过显示引入提示信息,实现更加可控的文本生成
7、最大似然Loss和对比学习Loss联合但不同阶段使用
对生成文本进行多角度评估:鲁棒性、事实准确性、公平性(文本偏见)
9、系统的全面可靠性评估
对生成文本进行多角度评估
设计指标“通才”
10、评价的平台化、一体化、可理解化
核心思想:nlp任务评价统一化、平台化、可理解化
ExplainBoard: