Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations
方向:对话,槽填充,多轮信息抽取
问题:在少数据情况下的槽填充系统,实现对话代理的快速和广泛的可移植性。
方法:Span-ConveRT,轻量级独立组件模型,CNN+CRF,有效利用大型预训练模型中的知识。
Zero-Shot Transfer Learning with Synthesized Data for Multi-Domain Dialogue State Tracking
方向:多领域对话,对话状态追踪,迁移学习
问题:在新的领域获取数据往往需要高昂成本。
方法:数据合成,使用抽象对话模型。
Few-Shot NLG with Pre-Trained Language Model
方向:自然语言生成,端到端,表格 to 文本
问题:是否可以显著减少人工注释的工作量,使用神经NLG模型获得合理的性能?能否充分利用生成性预训练作为先验知识,从结构化数据生成文本?
方法:从表格中选择并复制事实内容,利用先验知识组成语义连贯的句子。
Unknown Intent Detection Using Gaussian Mixture Model with an Application to Zero-shot Intent Classification
方向:对话系统,未知意图检测
问题:在许多现实场景中,用户意图可能随着时间的推移而频繁变化,未知意图检测已成为一个重要问题。
方法:语义增强高斯混合模型。
Dynamic Memory Induction Networks for Few-Shot Text Classification
方向:文本分类
问题:从 Support Set 归纳类级表示,在元任务之间切换时关键信息经常丢失;实例级别的多样性,导致很难找到类的固定原型。
方法:动态记忆归纳网络DMIN,包含信息查询的模型。
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
方向:对话,槽填充,序列标注
问题:和分类问题相比,需要对标签间的依赖关系建模。但是由于标签集的不确定性,很难将预先学习到的标签依赖关系应用到未知领域。
方法:CRF,可折叠依赖关系转移机制+标签增强的任务自适应投影网络。
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
方向:多语言机器翻译
问题:神经机器翻译的大量多语种模型往往性能不如双语模型,并难以支持零样本翻译。
方法:语言感知层标准化+线性变换,深层次NMT架构。对于偏离目标的翻译问题,随机在线反译算法。
Zero-shot Text Classification via Reinforced Self-training
方向:文本分类
问题:在训练时,没有标记数据可用于未知类别,尤其是低相似度的类,从可见类到未知类的转换非常困难。
方法:强化自训练,自动学习从未标记数据中选择的策略。
Shaping Visual Representations with Language for Few-Shot Classification
方向:视觉分类
问题:用语言指导视觉表示学习,当训练时自然语言任务描述可用,当测试时对于新任务没有语言可用,怎样才能最好地使用语言?
方法:语言形成模型,规范化视觉表示来预测语言的端到端模型。
Learning to Customize Model Structures for Few-shot Dialogue Generation Tasks
方向:开放域对话,对话生成
问题:元学习+微调从参数的角度区分任务,而忽略了模型结构的角度,导致不同任务的对话模型相似。
方法:为每个任务定制独特的对话模型,每个对话模型由共享模块、门控模块和私有模块组成。
ZeroShotCeres: Zero-Shot Relation Extraction from Semi-Structured Webpages
方向:关系抽取,半结构化网页
问题:现有方法只能基于站点的种子知识来学习网站的特定模型,而不能推广到具有新垂直领域知识、长尾专家知识和不同语言的大多数网站。
方法:基于图神经网络的方法来构建网页上文本字段及其相互关系的丰富表示,从而泛化为新模板。