引用格式：Zhang J, Kalantidis Y, Rohrbach M, et al. Large-scale visual relationship understanding[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2019, 33: 9185-9194.
摘要翻译
大规模的视觉理解具有挑战性，因为它需要一个模型来处理对象，关系，对象三元组的广泛分布和不平衡分布。 在具有大量对象和关系的现实场景中，有些情况很常见，而几乎看不到。 我们开发了一种新的关系检测模型，该模型将对象和关系嵌入两个可保留判别能力和语义亲和力的向量空间中。 我们学习了一个视觉和语义模块，该模块将特征从这两种模态映射到一个共享空间，在该空间中，匹配的特征对必须区别于那些不匹配的特征，但也要保持与语义相似的特征的接近距离。 得益于此，即使视觉实体类别扩展到超过80000个且类别分布极为偏斜，我们的模型也可以实现出色的性能。
论文的关注点在于：图片中主客体及关系的识别 视觉模块 语义模块
模型描述
模型的重点在于抽取图片中实体与实体之间的关系，与nlp任务中的关系抽取类似。如上图中的描述，整个模型分为视觉模块和语义模块，模型的loss则是由两个模块间的匹配度来连接的。相对应任务中的主体和客体及两者之间的关系，论文的loss也被分为了
视觉模块
视觉模块的设计逻辑是，当对象和对象存在时关系就存在，但反过来则不成立。即，关系识别以主体和客体为条件，但是对象（主体和客体）识别独立于关系。主要原因是我们希望在与关系空间不同的语义空间中学习主语和宾语的嵌入。也就是说，作者想要学习从视觉特征空间（在/
和
之间共享）到两个单独的语义嵌入空间（用于对象（
或
）和关系（
））的映射。 因此，涉及用于主语
/宾语
嵌入的关系特征将具有纠缠两个空间的风险。为了避免混淆两个空间，在本文的模型中，并没有将关系的视觉特征传递给物体（仅将物体特征传递给了关系）。
conv(receptive field size)-(number of channels) 即：conv(卷积核大小)-(feature map)
模型结构：将图像馈入CNN（conv1_1 to conv5_3 of VGG16）以获取图像的全局特征图，然后将主语，关系
和宾语
在相应区域
，
，
进行ROI-pooling得到特征
，
，
，每个分支后跟两个全连接层，这些层输出三个中间隐藏特征
，
，
。对于主语/宾语的分支，作者添加另一个全连接层
以获得视觉嵌入
，类似地，对于宾语分支得到
。 对于关系分支，我们应用two-level特征融合：首先将三个隐藏特征
，
，
串联起来，并将其馈送到全连接层
以获得更高级别的隐藏特征
， 然后我们将主语的嵌入表示
和宾语的嵌入表示
与
连接起来，并将其馈送到两个全连接层
和
以获得嵌入
的关系。
语义模块
在语义方面，我们将主语，关系和宾语标签的单词向量馈送到一两个全连接层的小MLP中，该MLP输出嵌入。 与视觉模块一样，主题和对象分支共享权重，而关系分支是独立的。 该模块的目的是将单词向量映射到比原始单词向量空间更具区分性的嵌入空间，同时保留语义相似性。
在训练过程中，我们将每个关系三元组的基本标签以及否定类的标签输入到语义模块中；在测试过程中，我们将整个对象和关系标签集输入其中，以供最近邻居在所有标签中搜索以获取前k个作为预测。
词向量初始化的方式可以多选。
损失函数
损失函数的介绍在Loss解析。此处不进行赘述。
以上，只进行对模型的了解。
