哈工大&微软提出用于视觉语言理解的蒸馏双编码器模型

<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-3c682ef99b59a62d.jpeg" img-data="{"format":"jpeg","size":80477,"height":668,"width":982}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
<h1>
</h1><h1>本篇分享论文『Distilled Dual-Encoder Model for Vision-Language Understanding』，用双流网络也能学的又快又好？哈工大&微软提出用于视觉语言理解的蒸馏双编码器模型，在多个多模态任务上实现又快又好的效果！</h1>
详细信息如下：<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-72543fe4abf178c4.jpeg" img-data="{"format":"jpeg","size":40642,"height":260,"width":944}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
<ol><li>论文地址：https://arxiv.org/abs/2112.08723</li><li>代码地址：https://github.com/kugwzk/Distilled-DualEncoder</li></ol><h1>
</h1>
 01 <h1>摘要</h1>
本文提出了一个跨模态注意力蒸馏框架来训练用于视觉语言理解任务的双编码器模型，例如视觉推理和视觉问答。双编码器模型比融合编码器模型具有更快的推理速度，并且能够在推理过程中对图像和文本进行预计算。然而，双编码器模型中使用的浅交互模块不足以处理复杂的视觉语言理解任务。
为了学习图像和文本的深度交互，作者提出了跨模态注意力蒸馏，它使用融合编码器模型的图像到文本和文本到图像的注意力分布来指导双编码器的训练模型。此外，作者表明，在预训练和微调阶段应用跨模态注意力蒸馏可以实现进一步的改进。实验结果表明，蒸馏后的双编码器模型在视觉推理、视觉entailment和视觉问答任务方面取得了有竞争力的性能，同时比融合编码器模型具有更快的推理速度。


 02 Motivation
视觉语言（VL）预训练模型学习了大规模图像-文本对的跨模态表示，并且可以直接微调以适应到各种下游 VL 任务，例如视觉语言理解/分类（视觉推理、视觉问答等）和图像文本检索。基于跨模态交互的方法，这些模型可以分为两类。
第一类是融合编码器模型，它采用有效但较少高效的Transformer编码器，用于捕获具有跨模态注意力的图像和文本交互。该类别的大多数模型依赖于现成的目标检测器来提取图像区域特征，这进一步阻碍了它们的效率。最近，ViLT放弃了检测器，并使用 Vision Transformer 直接对图像patch进行编码。
它在提高效率的同时，在 VL 理解和检索任务上取得了有竞争力的表现。然而，由于需要同时编码图像和文本，基于 Transformer 的跨模态交互仍然是效率瓶颈，限制了其在具有大量图像或文本候选的任务中的应用。
第二类作品，包括 CLIP和 ALIGN，采用双编码器架构分别编码图像和文本。跨模态交互通过浅层融合模块建模，通常是多层感知器 (MLP) 网络或点积，与融合编码器模型中的 Transformer 编码器相比，它非常轻。此外，分开的编码支持离线计算和缓存图像和文本候选，这可以很好地扩展到大量候选。

这些变化在理解和检索任务中降低了更快的推理速度，使模型在现实生活中变得实用。双编码器模型在图像文本检索任务上取得了可喜的性能。双编码器模型在图像文本检索任务上取得了可喜的性能。然而，它们在需要复杂的跨模态推理的视觉语言理解任务上远远落后于融合编码器模型，例如 NLVR2。
在这项工作中，作者提出了一个跨模态注意力蒸馏框架来训练双编码器视觉语言模型。蒸馏后的双编码器模型在视觉语言理解任务中实现了具有竞争力的性能，其推理速度比融合编码器模型快得多。
除了软标签蒸馏，作者还引入了跨模态注意力蒸馏作为双编码器模型（学生）的细粒度监督，以更好地学习跨模态推理。具体来说，使用来自融合编码器模型（教师）的图像到文本和文本到图像的注意力分布进行蒸馏。
本文的蒸馏框架可以应用于预训练和微调阶段。在预训练期间，将蒸馏目标应用于图文对比学习和图文匹配任务。在微调阶段，将微调后的教师模型的特定任务知识转移到学生模型中。
作者在视觉语言理解任务和图像文本检索任务上评估本文的模型。实验结果表明，蒸馏的双编码器模型在视觉entailment、视觉推理和视觉问答方面具有竞争力，同时推理速度比融合算法快 3 倍以上。编码器教师模型。
此外，本文提出的跨模态注意力蒸馏还提高了检索任务的性能，甚至在图像检索方面优于教师模型。与其他潜在特征相比，跨模态注意力有助于双编码器模型学习更好的跨模态推理能力，在 VL 理解任务中取得显着收益。此外，两级蒸馏的模型比单级蒸馏的模型具有更好的性能。

 03 方法

<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-13ae5afd7da7f2dc.jpeg" img-data="{"format":"jpeg","size":89781,"height":498,"width":988}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
上图展示了本文的用于训练双编码器模型的跨模态注意力蒸馏框架。作者采用融合编码器模型作为教师，并引入跨模态注意力知识和软标签来训练双编码器学生模型。蒸馏目标适用于预训练和微调阶段，并帮助双编码器模型学习不同模态的交互。<h2>3.1 Model Overview</h2>本文的蒸馏框架可以使用不同的融合编码器模型作为教师。在这项工作中，本文采用 ViLT作为教师模型进行实验，因为它简单高效。<h3>Input Representations</h3>给定一个图像-文本对 (v, t) 作为输入，将图像 分割成patch，其中 是patch的数量， (H, W) 是输入图像分辨率，(P, P) 是每个patch的分辨率，C 是通道数。
输入文本 t 被 WordPiece标记为 M 个子词token的序列，就像在 BERT 中一样。然后，将特殊token 和分别添加到图像patch和文本子词token序列中。
线性投影图像patch以获得patch嵌入，最终的视觉输入嵌入通过以下方式计算：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-e4fb6831d1106ff4.jpeg" img-data="{"format":"jpeg","size":4679,"height":41,"width":480}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中 是线性投影，是可学习的 1D 位置嵌入，是视觉类型嵌入，是文本输入嵌入。文本输入嵌入 是通过将词嵌入、文本位置嵌入和文本类型嵌入相加得到的：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-d8f97fc499958c4e.jpeg" img-data="{"format":"jpeg","size":3946,"height":45,"width":457}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
将作为教师和学生模型的视觉和文本输入。<h3>Teacher: Fusion-Encoder Model</h3>输入表示和concat为，然后将向量馈送到 L 层跨模态 Transformer 编码器以获得上下文表示：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-cbb2e12c58e9baa1.jpeg" img-data="{"format":"jpeg","size":3327,"height":45,"width":290}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中。跨模态 Transformer 编码器通过多头注意力机制融合不同模态的表示。具体来说，对于第 l 层的每个头a, ，注意力分布 通过以下方式计算：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-e31aa22d6c3b1749.jpeg" img-data="{"format":"jpeg","size":3923,"height":65,"width":278}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中查询 和键是通过分别使用参数线性投影上一层的隐藏状态来获得的。是注意力头大小。最后一层的 token的输出向量被馈送到特定于任务的层以获得预测。<h3>Student: Dual-Encoder Model</h3>双模型通过基于视觉和文本 Transformer 的编码器分别对视觉嵌入 () 和文本嵌入 () 进行编码：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-d15607ac65dde0fc.jpeg" img-data="{"format":"jpeg","size":5897,"height":80,"width":280}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
最后一层的 token的输出向量被用作图像和文本的最终表示。作者采用浅层模块 f 来融合这两种表示。对于 VQA 等视觉语言理解任务，模块 f 是一个 MLP 网络。对于图文检索，使用点积函数来获得图文对的相似度分数。<h2>3.2 Distillation Objectives</h2><h3>Cross-Modal Attention Distillation</h3>为了改进双编码器模型以捕获图像和文本的更深层次的交互，作者利用融合编码器模型的跨模态注意力知识来指导双编码器模型的训练。具体来说，作者使用图像到文本和文本到图像的注意力分布来训练双编码器模型。
融合编码器教师模型通过多头注意力机制捕获跨模态交。整个注意力分布可以分为两部分。作者使用 N 和 M 来表示图像和文本输入的长度。第一部分是单模态注意力（），它对相同模态的token内的交互进行建模。
第二部分是跨模态注意力，包括图像到文本的注意力分布（）和文本到图像的注意力分布（）。跨模态注意力分布捕获视觉和文本特征向量的交互。
由于双编码器的单独编码仅模拟相同模态token的交互，因此作者引入跨模态注意力蒸馏以鼓励双编码器模型模仿融合编码器模型的图像和文本对齐。双编码器模型 的交叉模态（图像到文本和文本到图像）注意力分布计算如下：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-5b88e6b94758c106.jpeg" img-data="{"format":"jpeg","size":7578,"height":127,"width":276}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中是 selfattention 模块的视觉查询和键。是文本输入的查询和键。以相同的方式重新计算教师的跨模态注意力分布，而不是直接拆分原始的注意力分布。跨模态注意力蒸馏损失通过以下方式计算：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-a3ff4ea578b104c8.jpeg" img-data="{"format":"jpeg","size":5057,"height":40,"width":461}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中是 Kullback-Leibler 散度。本文只迁移了教师模型最后一层的跨模态注意力知识。<h3>Soft Label Distillation</h3>除了模仿跨模态注意力分布之外，作者还使用教师模型的预测作为软标签来改进学生。软标签损失计算如下：
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-20d578181e52ac89.jpeg" img-data="{"format":"jpeg","size":2379,"height":47,"width":224}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
其中分别是学生和老师的预测logits<h2>3.3 Two-Stage Distillation Framework</h2>本文使用提出的知识蒸馏目标在两阶段框架下训练双编码器学生模型，包括预训练蒸馏和微调蒸馏。在这两个阶段，融合编码器模型帮助双编码器模型学习跨模态交互。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-f3103f29559f2f12.jpeg" img-data="{"format":"jpeg","size":26878,"height":290,"width":515}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
如上表所示，作者根据任务的特点对模型进行不同目标的训练。<h3>3.3.1 Pre-Training Distillation</h3>在预训练期间，双编码器学生模型在大规模图像-文本对上进行训练，以学习具有图像-文本匹配、图像-文本对比和掩码语言建模任务的通用跨模态表示。预训练的融合编码器模型 ViLT用作教师模型。<h4>Image-Text Matching (ITM)</h4>图文匹配的目标是预测输入的图文是否匹配。在 ViLT之后，作者用 0.5 的概率替换匹配的图像来构建负对。作者在 ITM 输入对上使用跨模态注意力蒸馏损失和软标签损失来训练双编码器模型。<h4>Image-Text Contrastive Learning (ITC)</h4>作者通过batch内负采样引入对比损失，以优化视觉和文本表示的共享空间。给定一个batch的 N 个图像-文本对，可以获得 N 个匹配对和 个负对。图像-文本对比学习旨在从所有可能的配对中预测匹配的配对。
融合编码器模型需要对每一对进行联合编码以获得软标签，这导致了二次时间复杂度。因此，作者只考虑在 N 个匹配对上计算的跨模态注意力分布。<h4>Masked Language Modeling (MLM)</h4>Masked Language Modeling的目标是从所有其他未mask的token中恢复mask token。作者使用 BERT 中 15% 的mask概率。为了提高训练速度，作者使用ground truth标签来训练 MLM 任务的模型。<h3>3.3.2 Fine-Tuning Distillation</h3>在微调过程中，作者使用微调后的 ViLT 作为教师模型，并对下游任务数据进行跨模态注意力蒸馏。<h4>Vision-Language Understanding</h4>对于视觉语言理解任务，例如视觉推理和 VQA，作者使用跨模态注意力蒸馏和软标签损失来微调学生模型。<h4>Image-Text Retrieval</h4>对于检索任务，作者在教师模型和ground truth标签的交叉模态注意力分布的监督下训练学生，以进行有效的训练。<h1>
</h1><h1>
</h1> 04 <h1>实验</h1>
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-025149f87c7e97b5.jpeg" img-data="{"format":"jpeg","size":17372,"height":168,"width":489}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
上表展示了本文方法中所用到的一些数据集。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-7b0331b0c962af6d.jpeg" img-data="{"format":"jpeg","size":140342,"height":581,"width":989}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
上表展示了三个任务的微调结果。与以前的双编码器模型（如 CLIP）相比，本文的模型在三个视觉语言理解任务中取得了更好的性能，将平均得分从 57.83 提高到 73.85。从上表可以看出，在预训练和微调阶段执行蒸馏都对双编码器模型做出了积极贡献。与 ViLT 初始化的双编码器模型的直接微调相比，在微调期间使用跨模态注意力蒸馏带来了显着的改进。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-8bf793e5683381c2.jpeg" img-data="{"format":"jpeg","size":59303,"height":286,"width":990}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
除了视觉语言理解任务外，作者还在图像文本检索任务上评估了本文的方法。本文的双编码器学生模型经过跨模态注意力蒸馏和对比损失的训练。上表报告了在 Flickr30K 上微调的模型的结果。
本文的双编码器模型以更快的推理速度实现了具有竞争力的性能。该模型在图像检索方面甚至优于融合编码器教师模型 (ViLT)。此外，实验结果表明，跨模态注意力蒸馏也改进了检索任务的模型。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-0721c7268994d4ac.jpeg" img-data="{"format":"jpeg","size":31870,"height":315,"width":494}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
作者评估了本文的双编码器模型和 ViLT 在视觉语言理解任务上的推理延迟。这两个模型都在具有相同超参数的单个 P100 GPU 上进行评估。由于双编码器架构，作者的模型可以缓存图像表示以减少冗余计算。不同任务的平均推理时间和缓存时间如上表所示。
本文的双编码器模型在三个任务中实现了更快的推理速度。预计算图像表示进一步提高了推理速度，这对于现实生活中的大量图像和文本非常有效。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-2227955e7951291a.jpeg" img-data="{"format":"jpeg","size":45605,"height":360,"width":509}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
作者研究了蒸馏中使用的不同知识的影响。在微调期间对具有不同蒸馏损失的视觉语言理解任务进行了实验。双编码器学生模型由 ViLT 直接初始化。上表说明了跨任务的结果。
首先，可以发现使用软标签蒸馏比真实标签获得更好的性能。然而，使用软标签训练的模型在 NLVR2 任务上的准确率仍然相对较低。作者进一步结合了融合编码器模型的中间表示，以提高双编码器模型的性能。本文使用隐藏状态和不同的注意力分布进行比较。
在三个任务中，使用注意力分布比隐藏状态带来更多的改进。作者进一步探讨了注意力分布的哪一部分更为关键，包括跨模态注意力和单模态注意力。模仿教师的跨模态注意力分布比单模态部分取得了更多的改进，这验证了跨模态交互对于视觉语言理解任务更为重要。
作者还发现，仅使用跨模态注意力分布比使用整个注意力分布（跨模态 + 单模态）表现更好。
<div class="image-package"><img src="https://upload-images.jianshu.io/upload_images/11486041-3a20bdabb91bfa1a.jpeg" img-data="{"format":"jpeg","size":24905,"height":221,"width":471}" class="uploaded-img" style="min-height:200px;min-width:200px;" width="auto" height="auto"/>
</div>
作者在教师和学生的最后一层执行所提出的知识蒸馏方法。为了验证仅在最后一层提取的有效性，将其与逐层策略进行比较。结果如上表所示。最后一层蒸馏策略在 NLVR2 和 SNLI-VE 任务上获得了更好的性能。此外，仅使用最后一层的注意力知识需要较少的计算。因此，仅使用最后一层是执行本文的跨模态注意力蒸馏的更实用的方法。<h1>
</h1>
 05 <h1>总结</h1>
在这项工作中，作者引入了一个跨模态注意力蒸馏框架来提高双编码器模型在视觉语言理解任务上的性能。采用融合编码器模型的跨模态注意力知识，包括图像到文本和文本到图像的注意力分布，来指导双编码器模型的训练。
实验结果表明，蒸馏后的双编码器模型在 NLVR2、SNLI-VE 和 VQA 上实现了具有竞争力的性能，同时具有比融合编码器模型快得多的推理速度。
<h3>参考资料</h3>[1]https://arxiv.org/abs/2112.08723
[2]https://github.com/kugwzk/Distilled-DualEncoder
已建立深度学习公众号——FightingCV，欢迎大家关注！！！
ICCV、CVPR、NeurIPS、ICML论文解析汇总：https://github.com/xmu-xiaoma666/FightingCV-Paper-Reading
面向小白的Attention、重参数、MLP、卷积核心代码学习：https://github.com/xmu-xiaoma666/External-Attention-pytorch

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 205,386评论 6赞 479
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,939评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,851评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,953评论 1赞 278
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,971评论 5赞 369
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,784评论 1赞 283
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,126评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,765评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,148评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,744评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,858评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,479评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,080评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,053评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,278评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,245评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,590评论 2赞 343

哈工大&微软提出用于视觉语言理解的蒸馏双编码器模型

推荐阅读更多精彩内容