Post-processing of UAV-captured images for enhanced mapping by image stitching
- 作者：Jacques F. Nel
- 机构：悉尼大学
- 年份：2015
- 期刊/会议：2015 IEEE 5th International Conference on Consumer Electronics - Berlin (ICCE-Berlin)
- 原文地址：Post-processing of UAV-captured images for enhanced mapping by image stitching
本报告介绍了 3 种后处理技术，可用于从无人机 (UAV) 捕获的图像上扭曲图像，使所有图像看起来好像是从统一的高度、俯仰角、滚动和偏航以及来自直线镜头，这意味着当图像拼接在一起时，生成的地图是准确的。最近市场上对无人机技术需求的增加已经通过大公司的大量新产品得到了说明。本报告中的工作增加了无人机成像领域 - 例如，创建航空地图。当前的技术限制是无人机捕获的图像失真。这种扭曲是由湍流以及水平移动所需的必要俯仰和滚转旋转引起的。本报告介绍了使从鱼眼镜头拍摄的图像呈现直线的技术；使所有图像都具有统一的比例，无论它们被捕获的高度如何；并纠正由无人机的俯仰、滚转和偏航引起的任何歪斜失真。所有算法均在 Matlab 中开发并在实际无人机图像上进行测试。本报告侧重于旋翼无人机，如四轴飞行器和六轴飞行器，尽管所讨论的一些原理也适用于固定翼飞机。
Ⅰ 介绍
本文描述了对图像进行适当更改所需的数学图像处理概念。这些算法共同构成了本文所描述的“后处理”过程。实际上，只有在高度、俯仰、滚转和偏航已知的情况下才能使用这些算法。有多种方法可用于确定此信息。一种这样的方法是使用带有飞行信息传感器的集成电路，例如安装在 UAV 上的高度计和陀螺仪。然后可以将记录的飞行数据与视频数据同步，以便视频中的每一帧都伴随着已知的摄像机视角。
A. 动机
在 UAV 图像拼接中，由于从相机到地面的快速变化的视角，问题之一仍然是校正图像中的扭曲。相机相对于地面目标的角度在 6 个维度上变化。相机可以沿着 x、y 和 z 坐标移动，对应于纬度、经度和高度，但它也可以在俯仰滚转和偏航方面变化。由于在图像拼接过程中校正了纬度和经度，因此该报告侧重于俯仰、滚转、偏航和高度误差。湍流问题与六轴飞行器等旋转叶片无人机特别相关，因为与固定翼飞机相比，滚转、俯仰和偏航更受重视。图1，2图 3 和图 4 显示了在短距离飞行期间从小型六轴飞行器上的遥测芯片捕获的俯仰、滚转、偏航和高度数据。这些结果表明 UAV 上相机视角变化的随机性，并表明需要一种在将图像拼接在一起之前纠正这些错误的方法。
B. 校正鱼眼镜头失真
已经确定使用鱼眼镜头的好处大于坏处。
可以通过对失真图像的像素应用失真函数来实现鱼眼失真的校正，该函数实质上会将它们扭曲回正常的正确量。从这个意义上说，原始图像将被扭曲两次，一次被鱼眼镜头扭曲，一次使其看起来“正常”。这个过程的第一部分是确定初始图像有什么样的失真，第二部分是确定它已经失真了多少。
虽然失真可能是不规则的，但大多数失真是所谓的径向对称，这意味着在远离图像中心的给定长度内，所有方向的失真都是相等的（假设相机有一个完美的镜头）。我们已经知道，基于项目中使用的相机类型，畸变是径向对称畸变，其中放大率随着距光轴的距离而减小。这种失真称为桶形失真。
为了纠正这种失真，我们必须增加图像边缘的放大倍数。放大率是光学系统中初级和次级透镜之间距离的函数，但是在这种情况下，我们将通过应用下面描述的图像处理技术来模拟虚拟放大率。在图像处理方面，图像的放大倍数可以称为像素之间的相对距离。
图 5显示了通过鱼眼镜头拍摄的完美网格图像（A 和 B）以及校正后的相同图像（C 和 D）。
本项目中用于校正鱼眼失真的失真模型为：，其中
是像素的极坐标，
是比例因子，
是变换后像素的新极坐标。
准确校正失真所涉及的第二个因素是根据原始图像的焦距选择正确的缩放因子。根据 GoPro 摄像机产生的失真量，需要的缩放系数。这是通过反复试验确定的。
负比例因子意味着更远的像素被绘制得更靠近图像的中心，这与将增加
相同. 随着像素与中心的距离增加，它向图像中心扭曲的量也增加。比例因子为负，因为极平面上最远的像素的幅度应减小但角度保持不变。所需的精确缩放量是通过反复试验确定的。缩放因子与 GoPro 相机中主镜头的曲率量直接相关。
图 6显示了上述技术的有效性。
C. 使用旋转矩阵校正俯仰、滚转和偏航失真
使用 UAV 捕获图像的一个主要问题（如果不是主要问题）是由六轴飞行器快速变化的俯仰、滚转和偏航值引起的问题。不同的高度也是一个问题，但将在下一章中介绍。由于湍流，六轴飞行器将在三个维度上旋转。六轴飞行器也会倾斜，因为为了移动某个方向，控制系统必须引入倾斜以产生大于零的净水平力。当相机从某个角度拍摄地面图像时，相同的地面区域从不同的角度看起来会有所不同。这意味着当地面同一区域的两张图像拼接在一起时，
相机的视角对物体的成像方式起着非常重要的作用。为了拼接两个相邻的图像，计算机必须能够找到每个图像像素之间的视觉相关性。通常，如果从不同的角度观察相同的兴趣区域 (AOI)，那么它看起来根本不一样。透视可以通过三种方式在同一对象的图像之间产生差异：
倾斜（也称为剪切）是由于俯仰和滚转值不为零而发生的，并且可能发生在两个方向。俯仰引起垂直剪切，而滚动引起水平剪切。剪切是一种失真，其中图像中的每个像素在固定方向上位移（或移动）的量与其远离平行于该方向的线的带符号距离成正比。
相机视角的变化在同一对象的图像之间产生差异的另一种方式是旋转。当相机围绕轴旋转时，会出现两个问题：第一个很容易，图像旋转，可以通过将其向后旋转与最初旋转的量相同的量来纠正。然而，第二个问题更难解决：由于 GoPro 产生的图像不是方形的，当镜头旋转时，最大 AOI 尺寸会根据偏航角和自上一张图像以来移动的水平距离而减少和增加。换句话说，随着无人机旋转和侧向移动，图像的最大可用部分会增加和减少，这取决于偏航角。
要解决此问题，不仅必须旋转图像，而且必须将图像裁剪为最大可能的尺寸，以保证在任何旋转时都适合图像。
可以通过应用正确剪切变换和旋转的变换矩阵来校正各种俯仰、滚转和偏航值。校正俯仰、滚转和偏航本质上是一个旋转操作，其中图像平面上的每个像素都围绕x、y或z轴。俯仰是绕 x 轴逆时针旋转，滚转：绕 y 轴和偏航：绕 z 轴。保持像素之间的相对距离以保持原始图像所表示的结构。可以将三个旋转矩阵相乘以生成单个旋转矩阵，该矩阵在一个步骤中执行所有三个旋转。
重要的是，矩阵乘法不是可交换的，因此运算顺序非常重要。这个最终的旋转矩阵可以转换为变换矩阵并应用于图像。图7和图8显示了在校正前后以 10 度俯仰和 30 度滚动拍摄的完美正方形图像。
D. 校正高度失真
除了俯仰、滚转和偏航之外，飞机还根据高度改变其相对于物体的位置。高度通常作为气压的函数来测量，实际上并不是高度的真实表示。有可能使用昂贵且重型的设备来更好地表示绝对高度。然而，事实证明，这是没有必要的。如果命令六轴飞行器在某个高度飞行，比如 5 米，它通常会在大约那个高度飞行。然后使用该高度（或该气压读数，变成高度测量值）作为参考，所有高度值与该高度不同的帧都可以缩放以匹配在参考缩放下拍摄的图像。
相机高度与图像比例尺之间的关系在“镜头方程”中给出。图 9显示了镜头方程随高度变化（x 轴）以及对镜头到图像的距离或“缩放因子”（y 轴）的影响的图。
为了校正在与预期高度不同的高度捕获的图像的比例，开发了一种算法。算法如公式所示，其中
是指用于缩放图像的缩放因子。这个比例因子在 Matlab 代码中用于正确缩放每个图像帧。
图 10显示了实际在 5m 处拍摄的图像与在 15m 处拍摄但经过校正后看起来好像是从 5m 处拍摄的图像的比较。
Ⅱ 结论
本报告解决的基本问题有两个：从无人机捕获的视频中的每一帧都必然会受到 5 种失真（鱼眼镜头失真、相机俯仰失真、相机滚动失真、相机偏航失真和相机高度失真）的扭曲。为了校正这些失真，必须以相对准确度了解每一帧的相关测量值。通常，硬件在某种程度上限制了这些信息的准确同步，因此报告的大部分内容讨论了这些失真的校正，同时提供了应用于实际图像的原理的演示（而不是提供同步的方法）具有相关俯仰、滚转、偏航和高度数据的每个图像帧）。
鱼眼镜头以径向对称的方式导致图像失真，这意味着可以在任何情况下预测并准确校正失真，因为鱼眼镜头的失真始终相同。论文介绍了一种可以校正畸变的方法。对结果进行了论证和评估，最终分析表明，在实施纠正软件后，有明显的改善。
第二组失真采用俯仰、滚转和偏航失真的形式，通过使用 3D 旋转矩阵的数学原理对其进行校正。由于虚拟图像（平面）在扭曲（或看起来好像是）时围绕 x 和 y 轴旋转，因此在相等和相反方向上的类似变换能够以这样的方式操纵图像似乎是正确的。事实证明，这种校正方法与前一种方法一样成功——以分别以 10 度、30 度和 90 度的俯仰角、横滚角和偏航角成像的正方形（视为矩形）几乎完全恢复为其实际的正方形形状。
最后的校正是针对同一图像的不同尺寸表示，这是由六轴飞行器的不同高度引起的。结果表明，图像的大小与六轴飞行器的高度呈衰减指数关系，因此创建了倒数函数，为图像提供适当的缩放函数以进行适当校正。此次修正成功。作为演示，对从 15 米处拍摄的图像进行校正以匹配在 5 米处拍摄的参考图像，实际上，除了质量损失（这是预测的、不可避免且可接受的）之外，这些图像在以下方面非常匹配规模。
本报告没有提供任何关于图像拼接的信息，因为这是一个现有工作广泛的领域。本报告中介绍的后处理原则旨在与图像拼接结合使用，以创建准确的地面地图（图像）。
