论文笔记

Compositional Semantic Parsing on Semi-Structured Tables

用于回答问题的语义解析的两个重要方面是知识来源的广度和逻辑组合性的深度。 尽管现有工作在一个方面与另一个方面之间进行了折衷，但本文通过一项新任务同时在两个方面取得了进展：使用问题-答案对作为监督，在半结构化表格上回答复杂问题。 中心挑战来自两个复合因素：领域越广，关系就越开放；组合性越深，逻辑形式空间就越发组合爆炸。 作者提出了一种以强类型约束为指导的逻辑形式驱动的解析算法，并表明该算法比自然基线获得了显着改进。 为了进行评估，作者在Wikipedia表上创建了一个包含22,033个复杂问题的新数据集，该数据集已公开发布，为WIKI TABLE question dataset

QA任务示例

作者给出了一个用于这个任务的模型

模型

NEURAL PROGRAMMER: INDUCING LATENT PROGRAMS WITH GRADIENT DESCENT

深度神经网络在许多任务中都实现了令人印象深刻的监督分类性能，包括图像识别，语音识别和从序列到序列的学习。但是，这种成功尚未转化为可能涉及复杂算术和逻辑推理的应用程序，例如问题解答。这些模型的主要局限性在于它们甚至无法学习简单的算术和逻辑运算。例如，已经表明神经网络无法学习可靠地将两个二进制数相加。在这项工作中，我们提出了神经编程器（Neural Programmer），这是一个神经网络，其中增加了少量的基本算术和逻辑运算，可以使用反向传播对它们进行端到端训练。神经程序员可以通过几个步骤调用这些增强操作，从而生成比内置操作更复杂的合成程序。该模型从弱监督信号中学习，该监督信号是正确程序执行的结果，因此它不需要正确程序本身的昂贵注释。由Neural Programmer推断要调用的操作以及要应用的数据段的决定。在训练过程中，此类决定是以可区分的方式完成的，因此可以通过梯度下降联合训练整个网络。作者发现训练模型很困难，但是可以通过将随机噪声添加到梯度来极大地改善模型。在相当复杂的综合表综合数据集上，传统的递归网络和注意力模型的性能较差，而神经程序员通常可获得近乎完美的准确性

Neural Programmer架构

神经编程器的体系结构，这是一个用算术和逻辑运算增强的神经网络。 控制器选择操作和数据段。 存储器存储应用于数据段的操作的输出以及控制器之前执行的操作。 控制器运行多个步骤，从而生成比内置操作更复杂的合成程序。 虚线表示控制器使用存储器中的信息在下一个步骤中做出决定.
总的来说，作者开发了神经编程器（Neural Programmer），这是一个神经网络模型，其中增加了少量的算术和逻辑运算，以执行复杂的算术和逻辑推理。 可以使用反向传播以端到端的方式训练模型，以诱导程序比以前的工作需要更少的复杂的人工监督。 它是程序归纳的通用模型，广泛适用于不同领域，数据源和语言。 实验表明，该模型能够在延迟的监督下进行学习，并具有强大的组合性。

Neural Semantic Parsing with Type Constraints for Semi-Structured Tables

作者提出了一种新的语义解析模型，用于回答半结构化Wikipedia表上的构成问题。 该解析器是具有两个关键技术创新的编解码器神经网络：
（1）仅用于生成类型正确的逻辑形式的解码器语法；（2）实体嵌入和链接模块，用于在跨表概括时标识实体提及。 本文还介绍了一种在问答管理下训练神经模型的新颖方法。 在WIKITABLEQUESTIONS数据集上，该解析器对单个模型的最新精确度达到43.3％，对于5模型的合奏达到了45.9％，相比于15模型的合集，最佳先验得分为38.7％。 这些结果表明类型约束和实体链接是合并到神经语义解析器中的有价值的组件

架构

同样用的是将表格转换为知识图谱，之后在使用EncoderDecoder模型进行处理。
总结来说，作者提出了一种新的语义解析模型，用于针对半结构化的Wikipedia表回答组成问题。 该语义解析器通过在逻辑形式生成过程中强制类型约束，并包括一个显式的实体嵌入和链接模块来扩展最近的神经语义解析器，该模块使它能够识别实体提及的内容，同时跨表进行泛化。 对WIKITABLEQUESTIONS的评估表明，解析器获得了最先进的结果，此外，类型约束和实体链接都对准确性做出了重大贡献。 分析本文的解析器所犯的错误表明，改进实体链接和使用表结构是未来工作的两个方向

An Encoder-Decoder Framework Translating Natural Language to Database Queries

在使用卷积神经网络（CNN）和递归神经网络（RNN）的深度学习技术的爆炸性发展的推动下，机器翻译正在经历一场彻底的革命。在本文中，我们考虑了机器翻译问题中的一种特殊情况，目标是将自然语言转换为结构化查询语言（SQL），以便通过关系数据库进行数据检索。尽管通用CNN和RNN在使用足够的样本进行训练时会学习SQL的语法结构，但是当翻译模型与SQL的语法规则深度集成时，可以大大提高模型的准确性和训练效率。我们提出了一个新的编码器-解码器框架，以及一系列新方法，包括将新的语义特征输入到编码器中，将语法感知状态注入到解码器的内存中以及对子查询的递归状态管理。这些技术帮助神经网络更好地专注于理解自然语言中的操作的语义，并节省了SQL语法学习的工作量。对现实世界数据库和查询的实证评估表明，我们的方法明显优于最新解决方案

架构

在本文中，作者提出了一个新的编码器-解码框架，旨在将自然语言转换为结构化查询语言（SQL）。 核心思想是将SQL的已知语法结构深入集成到编码器和解码器使用的神经网络结构中。 本文的实验结果表明，与标准机器翻译的基准方法相比，有了显着的改进，尤其是通过在实际数据库上执行SQL查询，在结果的准确性上。 尽管我们的技术是为SQL输出而设计的，但所提出的技术通常适用于具有BNF语法结构的其他语言。 在未来的工作中，作者将把使用范围扩展到自动编程，使机器学习系统能够基于自然语言输入来编写例如C语言的程序

Natural Language to Structured Query Generation via Meta-Learning

在常规的有监督训练中，训练模型以适合所有训练示例。 但是，具有整体模型可能并不总是最好的策略，因为示例可能千差万别。 在这项工作中，作者探索了一种不同的学习协议，该方法将每个学习示例视为一个独特的伪任务，方法是借助域相关性函数将原始学习问题简化为几次元学习场景。 当在WikiSQL数据集上进行评估时，作者的方法可以更快地收敛，并且与非元数据学习方法相比，可以实现1.1％–5.4％的绝对准确度。
在本文中，我们提出了一种新的学习协议，该协议将常规的有监督的学习问题简化为几次元学习场景。 这是通过在相关功能的帮助下有效创建伪任务来完成的。 当对新发布的大型语义解析数据集WikiSQL进行评估时，我们的方法可以加快收敛速度，并且与非元学习方法相比，其绝对准确度提高了1.1％–5.4％，从而获得了最新的最新结果 。 尽管最初的发现令人鼓舞，但我们认为这种元学习框架的潜力尚未完全实现。 将来，我们计划探索元学习设置的更多变体，例如使用不同的相关性函数，包括共同学习的相关性函数。 我们还希望通过在更自然的语言处理任务上进行测试来更好地理解这种方法