注：OpenCV视频稳化模块引用文献之二：https://docs.opencv.org/4.1.0/d5/d50/group__videostab.html
原文地址：[81] https://docs.opencv.org/4.1.0/d0/de3/citelist.html#CITEREF_G11
摘要：
我们提出了一个新的算法，可自动应用约束，L1-优化摄像机路径，以通过消除不希望的运动来产生稳定的视频。我们的目标是计算由常量、线性和抛物线段组成的摄像机路径，模拟专业摄影师使用的摄像机运动。为此，我们的算法基于线性规划框架，以最小化由此产生的摄像机路径的一阶、二阶和三阶导数。我们的方法使得视频稳定过程超出了传统的只抑制高频抖动的摄像机路径滤波。我们在算法中直接加入了对摄像机路径的额外限制，允许稳定和重定目标的视频。我们的方法可以在不需要用户交互或昂贵的场景三维重建的情况下实现这一点，并且可以作为来自任何摄像头或在线源的视频的后期处理。
1.引言
视频稳化的目的是对随意拍摄的视频创造其稳定的版本，其理想地依赖于摄影原理。一个随意拍摄的视频通常是在一个手持设备上拍摄的，例如一部移动电话或一台带有极少稳定设备的便携式摄像机。相比之下，专业的电影摄影师使用各种各样的稳定工具，如三脚架、摄影推车和稳定的摄像机。大多数光学稳定系统只能抑制高频抖动，无法消除手持全景拍摄或步行者拍摄的视频中出现的低频失真。为了克服这一限制，我们提出了一种算法，通过消除不需要的运动来产生稳定的视频版本。我们的算法作为一个后期处理，可以应用于任何摄像头或在线来源的视频，且不需要了解摄像设备或场景。
一般来说，后处理视频稳定[10]包括以下三个主要步骤：（1）估计原始（可能不稳定的）摄像机路径；（2）估计新的平滑摄像机路径；（3）使用估计的平滑摄像机路径合成稳定的视频。
我们在工作中解决了上述所有步骤。我们的主要贡献是一个新的算法来计算最佳稳定摄像机路径。我们建议沿着这条路径移动一个固定长宽比的裁剪窗口；一条优化的路径，包括特征点和区域，同时根据摄影原理最小化L1平滑度约束。我们的技术通过将平滑路径分割为常量、线性或抛物线运动段来找到最佳分割。它避免了这三种类型的叠加，例如，导致一条路径在一个恒定段内真正静止，而不是有小的残余运动。此外，它还可以消除低频反弹，例如，那些源自携带相机行走的人的反弹。我们将优化设置为受各种约束的线性程序（LP），例如始终在框架矩形中包含裁剪窗口。因此，我们不会执行额外的运动，在[10，3]中，这可能受到人工痕迹的影响。
相关工作：
目前的稳定方法采用关键点特征跟踪和二维变换形式的线性运动估计，或者采用运动结构（SfM）来估计原始的摄像机路径。从这个原始不稳定的摄像机路径，通过平滑线性运动模型[10]来抑制高频抖动，或者通过拟合线性摄像机路径[3]来增加平滑的速度变化以避免突然的抖动，从而估计出一个新的平滑摄像机路径。如果使用SFM来估计相机的三维路径，则可以使用更复杂的平滑和线性拟合来进行三维运动[8]。
要将原始视频重新发送，就好像它是从平滑的摄影机路径拍摄的一样，最简单和最可靠的方法之一是指定一个预先定义比例的虚拟裁剪窗口。原始摄影机路径和平滑摄影机路径之间的更新的转换将应用于裁剪窗口，将视频投射为从平滑摄影机路径拍摄的视频。如果裁剪窗口不在原始帧范围内，则可以看到未定义的超出边界的区域，需要进行运动修补（motion-inpainting）[3，10]。此外，可以使用基于图像的渲染技术[1]或光场渲染（如果视频是由摄像机阵列[13]捕获的）来重铸原始视频。
虽然最近已经提出了复杂的3D相机稳定方法[8]，但如何计算最佳相机路径的问题被推迟给用户，要么是通过手工设计最佳路径，要么是为整个视频选择一个单一的运动模型（固定、线性或二次），然后与原始路径匹配。Gleicher和Liu[3]的工作是我们所知的第一个使用电影启发优化标准的工作。出于良好的动机，作者提出了一个系统，利用贪婪的关键帧插入（基于惩罚项），在两者之间进行线性插值来创建相机路径。他们的系统支持后处理特征约束。我们的算法在一个统一的优化框架中通过多个稀疏运动模型来近似输入路径，包括显著性、模糊和裁剪窗口约束。最近，Liu等人[9]介绍了一种在特征上施加子空间约束的技术，来计算平滑路径时的轨迹。然而，他们的方法需要在多帧上进行长特征跟踪。
我们提出的优化与L1趋势滤波[6]有关，后者获得最小二乘拟合，同时最小化L1范数中的二次导数，因此用线性路径段逼近一组点。但是，我们的算法更为一般，因为我们也考虑了常数和抛物线路径（通过最小化一阶和二阶导数）。图8显示，我们可以通过特定的加权来实现L1趋势滤波。
2. L1最佳摄像机路径
从电影的角度来看，最愉快的观看体验是通过使用静态摄像机、安装在三角架上的平移摄像机或放置在推车上的摄像机来传达的。通过引入剪切或无抖动过渡（即避免加速度的突然变化），可以获得这些视频之间的变化。
我们希望我们计算的相机路径坚持这些电影特征，但是不引入额外的已包含在原始视频的剪切。为了模拟专业镜头，我们将路径优化为由以下路径段组成：
（1）一个恒定的路径，代表一个静态的摄像机，也就是说，，
是微分运算符。
（2）一个恒定速度的路径，代表一个平移或安装在推车上的相机，也就是说，。
（3）一个恒定加速度的路径，代表一个游离在静态和平移之间的相机（此处翻译存疑），也就是说，。
为了得到由不同的常数段、线性段和抛物线段组成的最优路径，而不是它们的叠加，我们将优化问题转化为约束的L1最小化问题。L1优化具有使得结果稀疏的特性，即它将尝试完全满足路径上的许多上述特性。因此，对于大多数段，计算出的路径具有精确为零的导数。另一方面，L2最小化可以平均地满足上述属性（最小平方意义上），从而导致较小但非零梯度。定性地说，L2优化的相机路径总是有一些小的非零运动（最有可能是在相机震动的方向），而我们的L1优化的路径只是由类似于静态的、（均匀）线性运动的和恒定加速度的相机的段组成。
我们的目标是找到一个相机路径能最小化上述目标，同时满足特定的限制。我们探讨了各种约束：
包含约束：由路径转换得到的裁剪窗口应始终包含在由原始相机路径
转换得到的帧的矩形内。当建模为硬约束时，这允许我们执行视频稳定和重定目标时保证裁剪窗口中的所有像素都包含有效信息。
接近约束：新的相机路径应该保留电影的原始意图。例如，如果原始路径包含摄影机放大的段，则最佳路径也应遵循此运动，但应以平滑的方式。
特征约束：特征点（例如，通过人脸检测器或通用特征提取方法找到的特征点）应包括在通过转换的裁剪窗口的全部或特定部分中。将其建模为软约束有利于防止特征点跟踪，这通常会导致非特征区域的非平滑运动。
2.1 线性规划求解
对于以下讨论，我们假设已计算出原始视频片段的相机路径（例如，从特征跟踪），并通过参数化线性运动模型在每个时间实例中进行描述。具体来说，将视频看成为一个图像序列
，其中，每一对帧
由线性运动模型
相关联，
是根据
到
上的特征点
来建模的。
从现在开始，我们将考虑在每个帧上确定的离散化的相机路径
。
是通过矩阵乘法迭代计算的：
我们将讨论的重点放在二维参数化运动模型上，虽然我们的系统在理论上也适用于高维线性运动，但我们在本文中不对其进行探讨。
给定原始路径，我们将想要的平滑路径表示为
其中是应用于原始相机路径
时产生最佳路径
的更新变换。它可以解释为“稳化和重定目标变换”（或裁剪变换），应用于以每帧为中心的裁剪窗口，以获得最终稳定的视频。优化的目的是找到最佳稳定的摄像机路径p（t），使目标最小化：
受制于前面提到的多个约束条件。如果没有约束，最优路径为常数：。
1.最小化：使用前向差分；根据公式（2）
；再根据公式（1）中对
的分解：
，其中，
已知，因此，我们要最小化对所有
的残差项：
在图2中，我们可视化了这个残差项背后的直觉。在将更新变换和特征变换
接连地应用于帧
时，获得与将
应用于帧
相同的结果，即
=0。
2.最小化：当前向差分给定为
，要注意啦，因为我们将误差建模为加法式而不是复合式，所以我们应该直接最小化残差项的差分：
正如图2所示。
3.最小化：类似的，
4.Minimizing over ：如前所述，已知的帧对（frame-pair）之间的变换
未知的更新变换
由线性运动模型表示。例如
可以表示为6自由度仿射变换：
令是其参数向量，即
。如果令
，可以得到一个4自由度的线性相似变换。
我们的目的是要最小化在公式（4）至（6）中推导的遍及所有的更新变换（被他们对应的向量
给参数化）的残差项的加权L1范数。然后，公式（4）中的恒定路径段中的残差项变为以下形式：
其中，是一个线性计算，其以参数化的形式表示矩阵相乘
。
5. The LP 最小化公式（4）至公式（6）的残差项的参数化形式的L1范数，可以通过引入松弛变量（slack variables）来实现。每个残差项需要引入个松弛变量，
是构成的参数向量的维度，例如，对于仿射变换，
等于6。对于
帧图像，则要引入大概
个松弛变量。具体实现是，令
为
个正松弛变量的向量，我们从上边和下边来绑定每个残差项，例如，对于
：
其中，。
目标是最小化，（译者注：
是个向量），如果
是1向量，则对应于L1范数的最小化。通过调整
的权值，我们可以使最小化指向特定的参数，例如，我们可以使严格仿射部分的权值高于平移部分的权值。这也是必要的，因为平动部分和仿射部分有不同的比例，因此我们将仿射部分和平移部分的权值设定为100:1。
利用该问题的线性规划（LP formulation）公式，可以很容易地对摄像机的最佳路径进行约束。回想一下，代表更新变换
的参数化，
转换一个最初位于图像矩形中心的剪裁窗口。通常，我们希望限制
能够偏离原始路径的程度，以保留原始视频的意图（原文注释：另外，对于视频稳化，使用极大的缩放和旋转可能会更好地最小化残差项，但是会丢弃大量信息）。因此，我们在参数向量
的仿射部分上放置严格的边界：
以及
。
前两个约束限制了缩放和旋转的变化范围，后两个约束通过限制倾斜量和不均匀比例使仿射变换具有更高的刚度。因此，在每种情况下，我们都有一个上限（ub）和一个下限（lb），可以写为
其目的是为了在上实现合适的线性组合，由
指定。
为了满足包含约束，我们要求裁剪矩形的4个角经过线性变换
后位于图像矩形的内部，如图3所示。通常，在我们的方法中，对“凸形的转换点”建立硬约束模型是可行的，例如，对于仿射变换参数向量
，我们要求：
其中，和
是图像帧矩形的尺度。
算法1总结了约束条件下摄像机最佳路径的完整L1最小化LP。我们在图4中给出了从原始摄像机路径计算出的最佳路径的示例。请注意，在拍摄过程中，y中的低频反弹（由一个边走边拍摄的行人引起）是如何被一个静态摄像机模型所取代的。
2.2.增加特征约束
虽然上述公式足以进行视频稳定，但我们可以使用改进的基于特征的公式，执行定向视频稳化，由硬、软特征点约束自动控制。优化特征度量会对更新变换施加额外的约束。具体来说，我们要求特征点位于裁剪窗口中，这本质上是包含约束的逆（译者注：原文为inverse）。因此，我们考虑优化更新变换的逆变换，即应用于每个帧中的一组特征的扭曲变换
，如图5所示。我们用
来表示
的逆。我们不通过
变换裁剪窗口，而是寻求当前特征的变换
，这样它们在固定裁剪窗口内的运动仅由静态、线性或抛物线运动组成。实际更新或稳定变换由
给出。根据图5，我们简要推导了相应的优化目标
这种特征路径公式的优点在于它允许灵活地处理特征约束。假设我们想要在裁剪窗口中包含一个特定的点（例如特征图的模式）或凸区域（例如来自人脸检测器）。我们用表示帧
中的一组特征点。在估计特征扭曲变换而不是裁剪窗口变换时，我们可以在被
变换的
上引入一个单边边界（原文注释：和公式（8）中包含约束的双边边界对比下）
其中，边界
表示特征点离左上角的距离（至少），如图6所示。对右下角引入了类似的约束。令
和
可以确保特征点位于剪裁窗口内。对于
，特征点可以移动到裁剪矩形的特定区域，例如图1所示的中心。令
，将使其成为一个硬约束，但其缺点是可能与框架矩形的包含约束冲突，并牺牲路径平滑度。因此，我们选择将
作为新的松弛变量，添加到LP的目标中。关联的权重控制平滑路径和重定目标约束之间的权衡。我们在实验将重定目标的权重设定为10。
很明显，特征路径公式比相机路径公式更强大，因为它允许在邻近和包含约束之外的重定目标约束。然而，需要调整包含约束，因为裁剪窗口点现在由优化的特征扭曲变换的逆矩阵来变换，使其成为非线性约束。解决方案是要求转换后的框架角位于裁剪矩形周围的矩形区域内，如图7所示，有效地替换了包含和邻近约束。
一个有趣的观察是，最佳特征路径的估计可以直接从帧的特征点
来实现，也就是说，不需要计算
。这样，我们不最小化参数向量的残差项
的L1范数，而是直接最小化特征距离的l1范数。
变成
当计算以满足
（在某些度量下）时，我们注意到前面描述的从特征变换
对特征扭曲
的优化实质上平均了所有特征的误差，而不是从L1意义上选择最佳。我们直接从特征中实现了最优路径的估计，但发现它没有什么好处，而且由于其复杂性，计算太慢，无法在实践中使用。
3 视频稳化
我们实现视频稳化是通过：（1）估计每帧运动变换；（2）计算第2节中描述的最佳摄像机路径
；（3）根据
通过扭曲来稳化视频。
对于运动估计，我们使用金字塔Lucas Kanade[12]跟踪特征。然而，鲁棒性要求很好的异常值剔除。对于动态视频分析，全局异常抑制是不够的，而相邻视频帧之间的短基线使得基于异常值抑制的基本矩阵不稳定。以前的工作是通过SfM[8]对场景进行三维重建来解决这一问题，这种方法除了自身存在稳定性问题外，计算成本也很高。
我们通过将特征离散到50个50像素的网格中，在每个网格单元中应用RANSAC来估计平移模型，并且只保留与估计模型一致（在阈值距离范围内，<2个像素）的匹配点。我们还实现了一个基于图的分割的实时版本[2]，以便将RANSAC应用于分割区域内的所有特征（而不是网格单元），结果证明这个方法要好一丢丢。但是，我们对所有结果都使用基于网格的方法，因为它大约快40%。
然后，我们将几个二维线性运动模型（平移、相似和仿射）拟合到跟踪特征。在大多数情况下，通过标准化前的正态方程进行的L2最小化效果很好，但我们注意到，在突然接近完全闭塞（sudden near-total occlusions）的情况下，其出现不稳定的情况。
稳定性很好。在此之前，我们通过LP解法（原文注释：我们使用可免费获得的COIN CLP单纯形解法）执行在L1范数中的拟合，在这些情况下，通过自动执行特征选择来提高稳定性。据我们所知，这是L1最小化在摄像机运动估计中的一个新应用，并给出了惊人的鲁棒结果。
一旦摄像机路径被计算为一组线性运动模型，我们根据第2节所述的邻近和包含约束，根据我们的L1优化框架来拟合最佳摄像机路径。一个关键问题是如何在目标方程（3）中选择权重?我们在图8中探讨了合成路径的不同权重。如果只有三个导数约束中的一个被最小化，那么很明显，原始路径是由非连续的恒定路径（图8a）、带有急动的线性路径（图8b）或平滑抛物线（但永远在非零运动）来近似的（图8c）。通过同时最小化所有三个目标，可以获得更愉快的观看体验。虽然权重的绝对值并不太重要，但我们发现消除脉动是最重要的，当
设定为比
和
都大一个数量级时，就可以实现这一点。
基础运动模型的选择对稳定视频有一定的影响。使用仿射变换代替相似度有两个增加的自由度的好处，但在倾斜中会出现错误（errors in skew），从而导致非刚性的影响（如[8]所观察到的）。因此，我们利用相似性来构建我们的最佳路径。然而，相似性（如仿射变换）无法模拟非线性帧间运动或卷帘效应，导致明显的残余抖动，我们接下来将讨论。
残余运动（摇摆和卷帘）抑制：为了精确地模拟帧间运动，需要完全消除震动，需要具有比相似性更高的自由度的运动模型，例如单应变换。然而，更高的自由度往往过拟合，即使采用离群值剔除。结果就是，可以对一些帧实现良好的配准，但它们的合成开始迅速变得不稳定，例如，单应变换开始遭受过度的倾斜和透视。我们建议采用一种稳健的混合方法，最初使用相似变换（用于帧变换）来构造最佳的相机路径，从而确保所有帧的刚性。然而，根据计算，我们只对每k=30个关键帧应用刚性相机路径。对于中间帧，我们使用更高维度的同构图
来计算错位（misalignments）。如图9所示，我们将两个最佳（且刚性的）相邻相机变换之间的difference，
，,分解为已知的估计相似部分
和平滑剩余运动项
，也就是说，
，（
意味着是静态相机）。然后，将低维度的相似变换
替换成高维的单应性变换
，结果就是，
。对于每个中间帧，我们从其前一个和下一个关键帧开始连接这些替换。对于每个像素，这将有效地产生两个样本位置
（图9中用红色和绿色表示），在我们的实验中平均误差约为2到5个像素。我们在这两个位置之间使用线性混合来确定当前帧的每个像素的扭曲。
4. 视频重定目标
视频重定目标的目的是改变视频的纵横比，同时保留突出的区域。最近，很多关注点都集中在“内容感知”方法上，这些方法要么基于显著性图[14]扭曲帧，要么删除和复制非显著性接缝[11，4]，两者都是以一种临时的相关的方式。
在第2.2节中，我们展示了如何在不牺牲结果路径的平滑性和稳定性的情况下，引导剪裁窗口包括特征点。另一方面，如果输入视频已经是稳定的，即是平滑的，我们可以直接对这个属性进行建模，而不必估计每个帧的变换
，并且将其强制变成恒等变换
。这样我们就可以仅仅根据特征约束和包含约束来控制裁剪窗口，通过自动平移和扫描实现视频重定目标。简单地说，在假定输入视频稳定的情况下，视频重定目标是我们基于特征的优化的一个特例。与Liu和Gleicher[7]的作品不同，我们的相机路径不会局限于一个镜头，允许更多的自由度（例如细微的变焦）和适应复杂的运动模式。
虽然存在几种特征（译注：原文中多次出现的saliency，译为“特征”还是“显著”？）的计算，但我们主要关注运动驱动的特征。我们的动机是假设观众将注意力集中在移动的前景物体上，这是限制内的一个合理假设。使用基本矩阵约束和对KLT特征跟踪的聚类，我们得到如图12所示的前景显著性特征，然后将其用作约束，如第2.2节所述。
5 结果
图11所示是我们在YouTube的“Fan Cam”视频上使用我们的优化摄像路径方法做视频稳化的结果。我们的优化提供了非常接近专业镜头的观看体验。在图1中，我们演示了在不牺牲平滑度的情况下，包含特征约束（saliencyconstraints）（由人脸检测器得出）的能力，可以将舞蹈女孩置于视频的中心。在附带的视频中，读者会注意到原始视频中由高运动峰值（high motion peaks）引起的偶尔模糊。稳定技术会将模糊表现出来，因为稳定的结果与感知到的（模糊的）运动并不协调。（原文是“Stabilization techniques pronounce blur, as the stabilized result does not agree with the perceived (blurred) motion.”）在视频中，我们展示了Matsushita等人[10]的模糊消除技术的实现；但是，模糊太明显，而且这种技术在时间上存在不一致，每种形式都很差。然而，我们的框架允许引入运动约束，即在确定哪些帧是模糊的之后，我们可以强制最佳的相机路径与模糊的运动一致。这有效地减少了感知到的模糊，同时仍然保持平滑（但加速）的相机运动。
我们在图10中演示了减少卷帘的能力；注意如何消除房屋的倾斜。基于运动的特征约束（saliency constraints），我们可以在我们的框架中使用自动平移和扫描的形式执行视频重定目标；有关示例，请参见图12。当我们有效地裁剪框架时，我们的技术非常强大，避免了由其他方法引起的时间上和空间上的人工痕迹。
由于动态过程是不可能从图像中判断的，我们鼓励读者观看附带的视频。我们评估了我们在各种视频上的方法，并将我们的视频稳定与Liu等人的现有方法进行了比较。[8，9]。我们还比较了一个比较布兰登等人的光场方法的例子。〔13〕。对于视频重新定位，我们展示了更多示例并与[11，14]进行比较。
我们的技术仅基于每帧特征跟踪，无需对场景进行昂贵的三维重建。我们对运动模型（从低维到高维）使用稳健的迭代估计，只使用前一阶段的内点（非奇异值，非离群值，与outlier相对）。我们的技术很快；我们在低分辨率视频上达到20帧每秒，而晃动抑制需要基于网格的扭曲，并增加了一点计算开销。我们未优化的运动特征（unoptimized motion saliency）运行在10帧左右。
6. 结论、局限性和未来工作
我们提出了一种新的视频稳定和重定目标的解决方案，通过根据各种自动算出的约束关系计算的相机路径。我们在视频稳定方面取得了最先进的成果，同时计算成本更低，适用于更广泛的视频。我们基于L1优化的方法允许多个同时约束，允许在统一框架中处理稳定和重定目标。我们在这个网址上（原文并没有有效的网址，找过的小伙伴可分享下）提供了一个基于我们算法、可免费使用、可实时预览的稳定器。
我们的技术可能无法稳定所有视频，例如，低的特征计数、在极快的运动过程中过多的模糊，或者场景中缺少刚性物体可能会使相机路径估计不可靠。利用启发式方法检测这些不可靠的片段，我们将相应的线性运动模型重置为恒等变换，有效地返回到不稳定的视频。此外，裁切丢弃信息的使用，可能是观众不喜欢的。我们的计算路径对于给定剪裁窗口大小（这是我们算法所需的唯一输入）的情况下是最佳的。在未来的工作中，我们希望解决最佳剪裁窗口大小的自动计算问题，因为目前我们将此作为用户的选择。
感谢塔克·赫尔曼讲述了这段视频，Kihwan Kim选择了Fan Cam视频。我们特别感谢YouTube编辑团队（Rushabh Doshi、Tom Bridgwater、Gavan Kwan、Alan de Lespinasse、John Gregg、Eron Steger、John Skidgel和Bob Glickstein）在部署期间做出的关键贡献，包括实时预览的分布式处理、前端UI D设计和后端支持。
