摘要

计算机视觉和摄影测量中的一个众所周知的问题是周围景物的精确实时绘图。 由于具有固有7自由度的单个投射传感器的性质，误差累积和尺度漂移仍然是基于视觉的系统的问题。 这对于复杂的运动轨迹尤其重要。 然而，希望使用廉价的小型系统，例如具有单个摄像机设置的小型无人机。
我们提出了一种简单有效的基于外观的方法，通过使用LiDAR数据在单目视觉建图系统中进行位姿图优化。 如果激光扫描可用，我们的系统允许使用单个电光传感器进行鲁棒的建图和定位。 我们使用大量合成生成的2-D LiDAR强度图(intensity views)来全局记录相机图像。我们特别提供了生成合成强度图像和从这些数据中提取特征的见解。 这使得基于全局外观的2-D相机图像的2-D / 3-D信息成为3-D点云数据。 因此，我们能够校正相机轨迹并估计来自单目相机图像的地理参考度量结构。
可能的应用很多，包括自主导航，实时地图更新/扩展或基于视觉的室内地图。

1.简介

遥感和计算机视觉的一项基本任务是绘制周围的景观。 LiDAR（光探测和测距）扫描仪是常见的传感器系统，用于快速精确地采集场景几何信息[8]。 不幸的是，LiDAR扫描仪仍然很昂贵，并且通常需要庞大的操作平台。 对于现代或实时更新，人们更喜欢非常小而轻的单目传感器系统，例如具有单个相机的迷你/纳米无人机（无人驾驶飞行器）。
最近在同步定位和建图（SLAM）和运动结构（SfM）领域的工作使得大规模建图系统即使对于基于视觉困难的单目传感器情况也是如此。 然而，单个投射传感器的固有7自由度导致仅基于视觉的单目建图系统的额外问题。
在这项工作中，我们提出了一种使用基于视觉的利用LiDAR扫描点进行建图的系统。 我们特别关注利用多个LiDAR扫描环境的相机图像的全局定位方法。 全局定位是指没有初始化的相机图像的6自由度配准。 我们使用反向散射的激光强度信息来生成合成图，这使得能够基于多模态外观的相机图像配准全局扫描坐标系。 然后，生成的图像对基于视觉的重建施加约束，并允许单目视觉数据的度量和全局参考的3-D重建。

跳过一段相关工作

2. 方法

我们专注于在基于图像的定位和相机轨迹优化模块（图1中的红框）中的LiDAR数据表示和集成，因为跟踪前端和状态优化后端类似于[22]。 建图系统可以分解为以下子组件：
#######a. 跟踪前端：
用本地特征(local feature approach)方法处理初始化、短期相机跟踪和特征轨迹生成。 特征追踪用作状态优化模块的输入。
#######b. 状态优化后端
状态优化后端基于窗口束调整（windowed bundle adjustment，BA）框架，以同时确定运动轨迹和3D建图。
#######c. 多模态相机校准(Multi-Modal Camera Calibration)
校准模块基于LiDAR数据确定固有的相机参数和失真系数。
#######d. 回环检测和轨迹优化
基于来自配准框架(registration framework)的位姿信息，我们使用图优化结合BA框架来校正建图和相机轨迹。
拟议的方法如下：
（A）首先，我们预处理原始LiDAR点云数据以生成局部特征图（LiDAR特征DB）。 这涉及多个地面和空中激光扫描的三维配准。 基于该数据，生成一致的特征图。
（B）然后，该特征图使得能够基于外观(appearance)的单个相机图像的全局定位。 这是通过首先从地图中选择特征子集，然后使用基于Ransac的2-D / 3-D PnP [11]求解器来记录相机图像来实现的。 然后可选地通过使用基于强度的配准来细化配准。

2.1 特征图生成(A)

标准地面扫描仪在距离200米的情况下实现几毫米的测距精度。 我们的数据集基于多个地面和一个航空LiDAR扫描。 为了处理巨大数据集的可视化和特征生成，我们使用八叉树数据结构对数据进行下采样。 在使用统计异常值过滤器去除小扫描伪像后，我们使用以下过程生成特征地图：

2.1.1 雷达扫描预处理

为了启用基于局部特征的位置识别系统，我们使用基于点的渲染从3D LiDAR数据生成合成强度图像。 合成图基于反向散射激光脉冲的强度。 我们在原始激光扫描仪位置周围生成合成图像。 我们仅使用非常小的位移（例如1-2米）扫描仪位置来避免合成视图中的阴影区域。 然而，我们密集地采样整个视图半球并使用大视场（例如，80度）以便有效地生成投影失真的图像块。
基于这些图像，我们使用Surf [1]或Sift [14]等局部图像描述符提取特征。 还使用来自渲染图的特征检测器位置处的GPU深度缓冲信息来确定特征位置的3D坐标。 然后将扫描仪位置周围的所有特征描述符L = {d1，d2，...，dm}合并在扫描仪位置L特征数据集中。 然后我们计算KD树并对所有激光扫描仪位置重复此过程。

2.1.2 3-D雷达扫描配准

具有来自多个原始LiDAR数据集的特征图的查询图像的全局定位需要公共坐标系，因此需要配准局部激光扫描坐标系。我们选择中心LiDAR数据集的局部坐标系作为参考系。我们使用虚拟视图中提取的局部特征在扫描位置之间的渲染图中自动找到基于2-D / 2-D外观的对应关系。在对特征位置进行反投影之后，我们最终得到3-D / 3-D对应关系，用于估计刚性3D变换。基于对应关系，我们（RANSAC）通过使用Horns方法来求解连接局部激光扫描坐标系的最小二乘近似解来估计变换。对于基于机载和地面激光器的困难的初始外观匹配，我们从地面和航空数据集生成了纳迪尔视图。然后，我们使用最近提出的自相似性描述符[21]结合广义霍夫变换[2]来找到基于强度信息的2-D / 2-D对应关系。然后使用ICP进一步细化初始配准。

2.1.3 强度标准化（正则化？）

为了基于多个原始LiDAR数据集计算一致的特征描述符，必须考虑在不同位置，角度和距离处获得的变化的反向散射激光强度。 因此，我们实现了基于能量平衡和朗伯反射模型的强度归一化[8,5]。 在该模型中，接收能量I_r取决于透射能量I_t，物体表面距离R和入射角θ，其表示表面法线和激光束方向之间的倾斜角。 使用局部体积单元的协方差矩阵（包括约30个点）计算表面角度。 然后，最小特征值的特征向量用作表面法线的近似值（图2）。 为此，我们使用以下近似模型方程：

2.2 基于外观的全局定位(Appearance Based Global Localization，B )

给定与来自扫描表面的3D信息相结合的局部特征图，我们现在能够使用基于Ransac的PnP求解器方法估计查询给定相机图像的6-DoF姿势。

2.2.1 Feature Set Selection

所提出的基于图像的位置识别系统中的重要步骤是参考扫描仪位置L = {d1，d2，...，dm}和相机查询图像Q来选择图像特征的子集。还对图像进行建模。 作为一组iid 特征描述符Q = {d1，d2，...，dn}。 通过简单的MAP方法实现选择，该方法关于在查询中发现的图像特征的分布以及在假设均匀激光扫描先验p(L)的情况下在扫描位置L周围合成生成的激光扫描图像。

2.2.2 基于强度的位姿细化(Intensity Based Pose Refinement)

基于强度的细化在计算上非常昂贵（每个图像大约15-25s）。 为此，我们仅将该步骤用于联合确定外部和内部参数或失真系数。 在这种情况下，我们联合配准多个帧（例如，5-10）并且在假设恒定的内部参数的情况下一次优化所有参数的相似性度量。

2.3 运动和结构优化（C）

SfM方法的最新进展导致了非常强大的算法，它充分利用了潜在问题的稀疏性结构[13,10]。 像[9,22]这样的现代建图系统现在也使用SfM技术，与FASTSlam [23]等基于滤波器的现有解决方案形成对比。 这些关键帧BA方法现在也可以在给定合理大小的关键帧集（例如，20-30帧）的现代“搁置”硬件上实时工作。

2.3.1 关键帧BA

2.3.2 相机轨迹优化

摄像机轨迹优化被视为位姿图优化问题[17,22]。 该方法通过使用连续摄像机位置Ti和Tj之间的相对姿势约束来encodes摄像机轨迹优化：

3. 实验和结果

我们使用来自无人机系统的地面（720x576px）和低空航空视频流。 使用MD4-200 Microdrones mini-UAV获得飞行器序列（1280×720px，68度视角）。

3.1 Evaluation Procedure

为了评估，我们将多个视频序列帧配准到共同的激光扫描坐标系，并通过目视检查仔细检查注册结果。 我们还通过使用LiDAR扫描作为校准体来确定相机的固有参数。 通过这种方式，我们确定了多个摄像机图像的地面实况投影矩阵（外部和内部参数）。 这允许准确评估局部特征对应，因为我们现在已经了解了相机图像的基础场景几何。 我们使用与[16]中描述的相同的评估程序，基于ROC曲线通过改变匹配阈值。 真/假 - 阳性/阴性的自动确定基于3-D和2-D局部特征坐标（3.0px内部阈值）的重投影误差。 通过这种方式，我们还确定了所有可能的正确对应关系，以确定召回值。

3.2 Multi Modal Correspondences