论文阅读笔记 (CVPR 2019) Gait Recognition via Disentangled Representation Learning

一．论文摘要
步态是个体的行走方式，是最重要的生物特征识别手段之一。现有的步态识别方法大多以轮廓或关节体模型为步态特征。这些方法在处理诸如服装、携带和视角等混杂变量时会导致识别性能下降。为了解决这个问题，我们提出了一个新的自动编码器框架，明确地从RGB图像中分离出姿态和外观特征，并且基于LSTM的姿态特征随时间的融合产生了步态特征。此外，我们还收集了一个正面视场步态(Fvg)数据集，集中于从正面视角行走中的步态识别，这是一个具有挑战性的问题，因为它包含的步态线索比其他的视角少。FVG还包括其他重要的变化，如步行速度、携带和衣服。通过对casia-b、usf和fvg数据集的广泛实验，我们的方法比从定量的角度看表现出卓越的性能相对于目前最好的方法，计算效率有很大的提高。
二．核心方法
　　假设有三个视频，视频１和视频２中的目标对象是同一个人Ａ，在视频１中Ａ穿着体恤，视频２中Ａ穿着长羽绒服；视频３的目标对象是Ｂ，穿着长羽绒服。视频１和视频２中的步态特征是相同的，视频２和视频３的步态特征不相同。这将导致一个问题，长羽绒服能够轻易地主导行人特征提取，从而导致视频２与视频３比视频１和视频２更相似。
　　步态识别的核心挑战和目标是提取步态特征，这些特征在目标对象之间是有区别的，但不受不同混杂因素(如角度，行走速度和外观)的影响。
　　我们实现这一目标的方法是通过特征分离将步态特征与给定的步行视频的外观信息分离开来。

网络结构

２.１分离外观和姿势特征（姿势是静态的步态特征）

本文提出使用编码器-解码器网络来分离外观和姿势特征。将图像分解后再通过解码器进行重构
$f_a,f_g=\varepsilon(I)$
其中 $f_a$ 代表外观， $f_g$ 代表姿势特征， $I$ 表示视频的一帧图像， $\varepsilon$ 表示编码器。
$\widetilde{I}=D(f_a,f_g)$
其中 $\widetilde{I}$ 为重构图像， $D$ 为解码器。

2.1.1交叉重构损失

重构的 $\widetilde{I}$ 图像应该接近原始输入图像 $I$ ，但是对同一帧图像 $f_a$ 和 $f_g$ 进行重构不能确保编码器学习到准确的外观特征和姿势特征。因此本文采用使用不同帧图像的 $f_{a}^{t_1}$ 和 $f_{g}^{t_2}$ 进行重构（仍然不能保证学习到准确的对应特征）,旨在防止 $f_a$ 包含了姿势特征信息。

使用L2距离度量交叉重构损失，即：
$L_{xrecon}=||D(f_{a}^{t_1},f_{g}^{t_2})-I_{t2}||_2^2$
如公式所示，如果 $f_a$ 包含了 $t_1$ 时的姿势信息，与 $t_2$ 时的一帧图像做距离度量，损失值会较大

2.1.2步态相似度损失

交叉重构损失预防了外观特征 $f_a$ 被过度表示，包含了姿势特征。然而姿态信息 $f_g$ 可能包含外观信息。

为了使 $f_g$ 尽可能的只包含姿势特征信息，本文使用了在两个不同条件 $c_1$ 和 $c_2$ （ $c_1$ 和 $c_2$ 表示不同的外观信息，如衣服）下的具有相同目标人的视频，将两个视频中的步态信息进行距离度量。如下式所示：
$L_{gait-sim}=||\frac{1}{n_1}\sum\limits_{t=1}^{n_1}f_g^{(t,c_1)}-\frac{1}{n_2}\sum\limits_{t=1}^{n_2}f_g^{t,c_2}||_2^2$
２.2通过聚合学习步态特征

通过前文的方法，仅仅将姿势特征和外观特征分离，姿势特征组合在一起才是运动的步态特征。因此，本节中，采用了LSTM结构来学习步态特征，LSTM连接一个分类器 $C$ ,对该视频目标人的身份进行预测。将从视频中提取的姿势特征送进该网络。

让 $h^t$ 为LSTM在t时刻的输出：
$h^t=LSTM(f_g^1,f_g^2,...,f_g^t)$
分类器 $C$ 采用交叉熵作为损失函数：
$L_{id-single}=-log(C_k（h^n）)$
其中，k表示身份标签。

2.2.1用平均特征识别

由于LSTM特性，最后一个输入 $f_g^t$ 会对输出 $h^t$ 产生极大的影响，导致LSTM的输出变化随着时间t。因此采用了平均LSTM输出作为分类的步态特征。如下式：
$f_{gait}^t=\frac{1}{t}\sum\limits_{s=1}^{t}h^s$
分类器的损失被重写为：
$\begin{aligned} L_{id_avg} &=-log(C_k(f_{gait}^n))\\ &=-log(C_k(\frac{1}{n}\sum\limits_{s=1}^{n}h^s)) \end{aligned}$
2.2.2增量身份损失

将t=1到t=n的每个时刻的交叉熵损失加权相加：
$L_{id-inc-avg}=\frac{1}{n}\sum\limits_{t=1}{n}-w_tlog(C_k(\frac{1}{t}\sum\limits_{s=1}^{t}h^s))$
整个训练过程的损失函数为：
$L=L_{id-inc-avg}+\lambda_rL_{xrecon}+\lambda_sL_{gait-sim}$