DSGN: Deep Stereo Geometry Network for 3D Object Detection

论文DSGN: Deep Stereo Geometry Network for 3D Object Detection发表在CVPR 2020上。论文提出了一个基于双目图像（stereo-based）的端到端的三维物体检测管线——Deep Stereo Geometry Network (DSGN)。其核心在构建于通过空间变换将2D特征转换成有效的3D结构，作者称之为3D geometric volume (3DGV)。3DGV的核心思想在于构建编码了三维几何信息的3D几何体。它由在相机视锥体中构建的平面扫描体（plane-sweep volume，PSV）转换到真实三维世界空间坐标中而成。像素对应的约束可以在PSV中很好地学习，而现实世界物体的三维特征可以在3DGV中学习。PSV的构造是完全可导的，因此可以共同优化立体匹配和物体检测的学习。
论文主要贡献如下：

• 通过在PSV中构建立体照片之间的关系，再将其转换成能够同时编码进三维几何信息和语义信息的3DGV，使得2D照片与3D空间之间建起了桥梁。
• 设计了一个端到端的框架，提取像素级特征用于立体匹配和高级特征用于目标识别。网络能同时估计场景深度和进行3D目标检测，从而实现多种实际应用。
• 无需额外的技巧，此简单且完全可导的网络在KITTI数据集上的表现超越所有其他基于双目图像的3D目标检测器（AP高出10个点）。（插句题外话，作者原文使用了Without bells and whistles…我一开始还以为是什么相关的技术，查了才知道是英语中的一句习语，指那些额外的、不必要的但通常令人愉快的东西。可以简单理解为“花里胡哨的东西”🤣）

2D Feature Extraction

图片特征提取部分沿用了PSMNet（Pyramid Stereo Matching Network）的主要设计，输入的双目图像通过一个孪生网络——其中包含了了何恺明大神提出的空间金字塔池化（SPP Module）（Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition）——分别得到左右两幅图像的特征。不过这一块内容在论文中并不是重点，原文中也一带而过了。

Constructing PSV and 3DGV

首先将左图像的特征和重投影到左图像坐标系下的右图像特征在等深度间隔处进行拼接（concatenating），从而构建了PSV。PSV的坐标表示在相机视锥体网格空间(grid camera frustum space)中，其中是图片中的像素位置，是间隔为的离散网格中的一个距离取值。
计算得到的PSV在一条分支上用于计算cost volume，另一条分支上用于计算3DGV。

Depth Estimation

与其他方法不同，此网络通过使用上一个步骤计算得到的PSV来计算cost volume。对PSV进行2次3D卷积，得到一个1D的cost volume，作者称之为plane-sweep cost volume。然后通过soft max对每个像素计算深度值，其中是之前预定义的空间网格中间隔为的离散采样。

3D Object Detection

对于形状为的3DGV，在上逐步下采样最终得到的鸟瞰图特征。（论文原文这里写成了，应该是笔误。）对于每个，多个anchor被用于计算回归。

DSGN++: Exploiting Visual-Spatial Relation for Stereo-Based 3D Detectors

作者团队在后续又提出了改进版的网络：DSGN++: Exploiting Visual-Spatial Relation for Stereo-Based 3D Detectors发表在IEEE Transactions on Pattern Analysis and Machine Intelligence 2023上。
作者首先指出从2D语义到3D体素的信息流质量决定了后续的3D几何表征的质量。而当前构建有效的立体特征体积有三个重要挑战（valid information flow from 2D semantics to stereo volume determines the efficacy of the following 3D geometric representation for both geometric and semantic cues. However, current 3D modeling remains as an approximation of realistic 3D representation and poses three vital challenges for creating effective stereo feature volumes）：

• 由于3D volume 的计算成本大，原始的2D features被限制在较小的channel数量，这限制了后续的3D表征的能力。
• 通过平面扫描（plane sweeping），可以获得两个视图的几何体：相机视锥体（camera frustum）内的平面扫描体（Plane-sweep volume, PSV）和常规3D空间中的三维几何体 （3D-geometry volume, 3DGV）。然而，现实中的3D物体是非刚性的和不规则的。例如，一些类别像行人在鸟瞰图中占用的体素较少，但在前视图中却很清晰可见。这两种单视图几何体表现出不同的特性。
• 对于室外场景，鸟瞰图中前景物体的比例通常很小，这会限制数据的有效性。其次，不平衡的类别分布也会导致梯度流偏向出现频率较高的物体，从而抑制立体建模的泛化能力。这两个困难限制了模型生成无偏估计的能力。

对于这三个问题，作者分别给出了解决方案。

Depth-wise Plane Sweeping

从2D features构建3D volume，产生的tensor增加了一个维度。并且。从一个3维的tensor凭空增加了一个维度到4维，原始3维tensor的信息又不够，必然会导致所构建的3D volume表征能力有限。而一般来说，是一个比较大的值，例如192。和一般至少保持原始图片分辨率的。这几项的数值基本是固定的，所以构建出的3D volume的表征能力主要受限于的大小。因此增加的大小是一个理想的方法。但是增大的数量会导致计算量的增大。（原文这里的从到的逻辑我没搞懂，如果同步增大，由于维度增加带来的信息gap不是还是没解决吗，当然不能直接增大啊。还是说作者想强调常规的方法的大小总是跟保持一致的，所以不能简单的这么做？）因此作者提出了Depth-wise (Disparity-wise) Plane Sweeping (D-PS)方法，保持一个相对较大的，例如96，然后使用滑动窗口（sliding window）在上滑动取值，窗口的长度就是。滑动的步长取决于pixel disparity的大小。
作者又说，如果直接滑动窗口对feature进行切片，会导致获取到的特征通道顺序是固定的，而这种顺序可能会影响到特征的表示能力。因此，作者提出Cyclic Slicing来对切片特征的通道进行重新排序以保持通道的一致性，使得相邻物体之间的局部特征具有相似性（to ensure local feature similarity for adjacent objects）。具体操作看图更清晰。

Dual-View Stereo Volume

作者首先对两种体素表示方式（Front-View Representation和Top-View Representation）进行对比。Front-View(FV)方式使用PSV在相机视锥空间中进行前视图的深度信息学习。Top-View(TV)方式则在常规的3D空间中构建3DGV。这使得两种方式在本质上具有不同的感受野（receptive fields）和体素占用密度(voxel occupancy)。作者在KITTI数据集上对三种类型的目标在不同距离上的体素占用密度进行了统计和比较，如下图所示。

Stereo-LiDAR Copy-Paste

作者还提出了对前景对象进行数据增强以平衡分布的方法，此处暂略。

结论

此论文提出了一个端到端的双目视觉3D目标检测模型，在KITTI数据集所有类别上的表现优于当前所有纯视觉的3D目标检测方法，甚至由于一些基于LiDAR的方法。