某机构NAACL论文快速指南:45余篇论文全景解析
某机构在北美计算语言学协会年会(NAACL)上展示了其自然语言处理研究的广度与原创性。会议于下周开始,某机构贡献了45余篇论文,按研究领域分类如下。
持续学习
终身预训练:持续适应新兴语料库的语言模型
Xisen Jin, Dejiao Zhang, Henghui Zhu, Wei Xiao, Shang-Wen Li, Xiaokai Wei, Andrew O. Arnold, Xiang Ren基于局部到全局的学习:针对新特征的生产式口语语言理解模型的迭代训练
Yulia Grishina, Daniil Sorokin克服序列到序列语言生成在领域自适应过程中的灾难性遗忘
Dingcheng Li, Zheng Chen, Eunah Cho, Jie Hao, Xiaohu Liu, Xing Fan, Chenlei (Edward) Guo, Yang Liu
在《克服序列到序列语言生成在领域自适应过程中的灾难性遗忘》一文中,某机构研究人员提出了一种方法,用于估计当现有模型在新任务上训练时数据表示的变化程度。口语语言理解的时间泛化
Judith Gaspers, Anoop Kumar, Greg Ver Steeg, Aram Galstyan
数据增强
基于后验正则化的词对齐约束用于标签迁移
Kevin Martin Jose, Thomas Gueudré
示例展示了使用词对齐将文本标签从一种语言迁移到另一种语言的困难。在英语中,冠词“the”被标记为“o”(代表“其他”);在法语中,缩合冠词与其名词合并,两者获得相同的标签(“type”)。摘自《基于后验正则化的词对齐约束用于标签迁移》。基于插入操作的自然语言理解可控数据生成
Manoj Kumar, Haidar Khan, Yuval Merhav, Wael Hamza, Anna Rumshisky, Rahul Gupta面向自然语言理解的高效半监督一致性训练
George Leung, Joshua Tan为语义处理任务学习生成示例
Danilo Croce, Simone Filice, Giuseppe Castellucci, Roberto Basili
对话系统
从连续话语中学习对话表示
Zhihan Zhou, Dejiao Zhang, Wei Xiao, Nicholas Dingwall, Xiaofei Ma, Andrew O. Arnold, Bing Xiang基于格的大规模文本生成解码
Jiacheng Xu, Siddhartha Reddy Jonnalagadda, Greg Durrett
实体链接、消歧与类型识别
事件与实体的跨文档共指消解的对比表示学习
Benjamin Hsu, Graham Horwood基于知识库推理的实体消歧改进
Tom Ayoola, Joseph Fisher, Andrea PierleoniReFinED:一种高效、具备零样本能力的端到端实体链接方法
Tom Ayoola, Shubhi Tyagi, Joseph Fisher, Christos Christodoulopoulos, Andrea Pierleoni通过多任务问答向语言模型中灌输类型知识
Shuyang Li, Mukund Sridhar, Chandana Satya Prakash, Jin Cao, Wael Hamza, Julian McAuley
可解释人工智能
基于迭代检索-生成推理器的蕴含树解释
Danilo Neves Ribeiro, Shen Wang, Xiaofei Ma, Rui Dong, Xiaokai Wei, Henry Zhu, Xinchi Chen, Zhiheng Huang, Peng Xu, Andrew O. Arnold, Dan Roth
在《基于迭代检索-生成推理器的蕴含树解释》一文中,某机构研究人员提出了一种方法,通过逻辑重组从支持性文本证据中提取的前提,来解释大型语言模型的输出。自然语言模型理解的局部聚合特征归因
Sheng Zhang, Jin Wang, Haitao Jiang, Rui Song
极端多标签分类
低流量电商商店中大规模语义匹配模型的训练数据增强
Ashutosh Joshi, Shankar Vishwanath, Choon Hui Teo, Vaclav Petricek, Vishy Vishwanathan, Rahul Bhagat, Jonathan May面向极端文本分类的极端零样本学习
Yuanhao Xiong, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Inderjit S. Dhillon
联邦学习
-
带噪声用户反馈的联邦学习
Rahul Sharma, Anil Ramakrishna, Ansel MacLaughlin, Anna Rumshisky, Jimit Majmudar, Clement Chung, Salman Avestimehr, Rahul Gupta
关键词检出
-
AB/BA分析:在维护音频隐私的同时评估关键词检出召回率提升的框架
Raphael Petegrosso, Vasistakrishna Baderdinni, Thibaud Senechal, Benjamin L. Bullough
机器翻译
CoCoA-MT:面向形式化对比可控机器翻译的数据集与基准
Maria Nadejde, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu细节中的魔鬼:神经机器翻译中词汇选择的陷阱
Tobias Domhan, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne, Felix Hieber基于联邦学习的混合领域翻译模型训练
Peyman Passban, Tanya G. Roosta, Rahul Gupta, Ankit Chadha, Clement Chung
在联邦学习中,神经网络的分布式副本在本地训练,仅将其更新(红色)发送到中央模型。《基于联邦学习的混合领域翻译模型训练》引入了一种称为“动态拉取”的技术,其中训练轮次间参数值变化较大的分布式模型(左下)的参数与变化较小的模型分开拉入中央模型。
多任务学习
基于收敛任务知识蒸馏的多任务学习异步收敛
Weiyi Lu, Sunny Rajagopalan, Priyanka Nigam, Jaspreet Singh, Xiaodi Sun, Yi Xu, Belinda Zeng, Trishul Chilimbi探索任务可迁移性在大规模多任务学习中的作用
Vishakh Padmakumar, Leonard Lausen, Miguel Ballesteros, Sheng Zha, He He, George Karypis
命名实体识别
多语言模型中用于跨语言和跨领域命名实体识别的动态地名词典集成
Besnik Fetahu, Anjie Fang, Oleg Rokhlenko, Shervin MalmasiNER-MQMRC:将命名实体识别形式化为多问题机器阅读理解
Anubhav Shrimal, Avi Jain, Kartik Mehta, Promod Yenigalla
问答系统
答案整合:形式化与基准测试
Wenxuan Zhou, Qiang Ning, Heba Elfardy, Kevin Small, Muhao Chen基于段落的变换器预训练用于多句推理
Luca Di Liello, Siddhant Garg, Luca Soldaini, Alessandro MoschittiPerKGQA:基于个性化知识图谱的问答
Ritam Dutt, Kasturi Bhattacharjee, Rashmi Gangadharaiah, Dan Roth, Carolyn Penstein Rosé来自异构源的产品答案生成:新基准与最佳实践
Xiaoyu Shen, Gianni Barlacchi, Marco Del Tredici, Weiwei Cheng, Adria de Gispert, Bill Byrne
推荐系统
-
CERES:面向半结构化会话数据的图条件变换器预训练
Rui Feng, Chen Luo, Qingyu Yin, Bing Yin, Tuo Zhao, Chao Zhang
自学习
FPI:大规模对话助手中的故障点隔离
Rinat Khaziev, Usman Shahid, Tobias Röding, Rakesh Chada, Emir Kapanci, Pradeep Natarajan
在《FPI:大规模对话助手中的故障点隔离》一文中,某机构研究人员提出了一种方法,用于推断对话代理处理流程中发生错误的位置。大规模对话AI系统中技能路由的可扩展且鲁棒的自学习
Mohammad Kachuee, Jinseok Nam, Sarthak Ahuja, Jin-Myung Won, Sungjin Lee大规模对话AI中基于自我感知反馈的自学习
Pragaash Ponnusamy, Clint Solomon Mathialagan, Gustavo Aguilar, Chengyuan Ma, Chenlei (Edward) Guo
语义解析
作为抽象问答的合成式任务导向解析
Wenting Zhao, Konstantine Arkoudas, Weiqi Sun, Claire Cardie
任务导向语义解析示例,将自然语言转换为AI代理可执行的形式化表示。摘自《作为抽象问答的合成式任务导向解析》。SeqZero:基于序列提示和零样本模型的少样本合成式语义解析
Jingfeng Yang, Haoming Jiang, Qingyu Yin, Danqing Zhang, Bing Yin, Diyi Yang
任务自适应
注意力融合:面向自然语言理解任务自适应的轻量高效后期融合机制
Jin Cao, Chandana Satya Prakash, Wael Hamza通过识别注意力中的核结构赋能参数高效迁移学习
Yifan Chen, Devamanyu Hazarika, Mahdi Namazifar, Yang Liu, Di Jin, Dilek Hakkani-Tür
文本挖掘
电商评论的远程监督方面聚类与命名
Prateek Sircar, Aniket Chakrabarti, Deepak Gupta, Anirban Majumdar面向意见总结的高效少样本微调
Arthur Bražinskas, Ramesh Nallapati, Mohit Bansal, Markus DreyerFactGraph:基于语义图表示的摘要事实性评估
Leonardo F. R. Ribeiro, Mengwen Liu, Iryna Gurevych, Markus Dreyer, Mohit Bansal基于文档语义图的接地对话增强知识选择
Sha Li, Madhi Namazifar, Di Jin, Mohit Bansal, Heng Ji, Yang Liu, Dilek Hakkani-Tür
对话代理如何将从在线来源(白框)收集的事实整合到其对话回复(蓝框)中的示例。摘自《基于文档语义图的接地对话增强知识选择》。基于检索器-生成器迭代训练的检索增强多语言关键词生成
Yifan Gao, Qingyu Yin, Zheng Li, Rui Meng, Tong Zhao, Bing Yin, Irwin King, Michael R. Lyu用户关心什么?从用户反馈中检测可操作的见解
Kasturi Bhattacharjee, Rashmi Gangadharaiah, Kathleen McKeown, Dan Roth
文本转语音
-
共情机器:使用中间特征作为杠杆在文本转语音系统中模拟情感
Saiteja Kosgi, Sarath Sivaprasad, Niranjan Pedanekar, Anil Nelakanti, Vineet GandhiFINISHED