【论文阅读】“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

论文阅读：“Attention-Based Two-Stream Convolutional Networks for Face Spoofing Detection”

论文地址：https://ieeexplore.ieee.org/document/8737949

2020 期刊TIFS发的论文

本文针对的问题：对不同拍摄设备、光照下的数据集，face anti-spoofing的性能差距较大

目的：提出一个CNN，能适应不同环境的光照即一个光照不变的face anti-spoofing method

本文的创新点：

1、提出了一个two-stream CNN（TSCNN）二通道的CNN网络，其中两种互补的信息 RGB和MSR 作为输入

2、为了有效的融合这两种信息，提出用 attention-based的融合方式

3、在3个流行的数据集上进行了实验，并做了跨数据集的实验，并得到了很好的实验结果

II RELATED WORKS

A.活体检测

简要介绍近几年face anti-spoofing 的一些方法

1）基于纹理的方法：纹理主要是寻找不同的纹理信息特征这些特征分为传统的手工特征和深度学习的特征

2）基于图像质量的方法：

3）基于动作的方法：如眨眼、嘴唇动、头晃动等

4）基于反射

5）基于多特征融合的方法：[29]提出融合视频动态信息和纹理，[9]提出一个三个的多尺度滤波方式，并对其融合

6）其它：3d深度信息[30]-[32]

以上这些方法对统一数据库内都能获得较好的性能，但是在不同数据集间性能降低很大

由于不同数据库：不同的获取设备、不同的图片环境、不同的光照、不同的人脸姿态等

对此，本文提出一种对光照鲁棒的，对强光照环境和没有光照环境都泛化性强的face anti-spoofing的方法，并在几个数据集上获得很好的性能

B.Multi-Scale Retinex (MSR)

一种在图像增强领域常用的方法

本文应用MSR是因为：1）MSR能够将图片的光照成分和反射成分分离，将光照成分去除利用反射信息做活体检测；2）MSR可以作为一个高通滤波，保留 real和fake faces 之间有分辨力的高频信息

附MSR参考链接：

https://blog.csdn.net/bluecol/article/details/45675615

https://blog.csdn.net/ajianyingxiaoqinghan/article/details/71435098

D. Visual Attention Model （AM）

一种常用在文本处理自然语言处理的AM模型

用这个方法对RGB和MSR进行特征融合

https://blog.csdn.net/cicisensy/article/details/82670191

III. METHODOLOGY 本文的方法

RGB对光照很敏感但是拥有详细的脸部纹理信息，MSR与关照无关但是缺少微小的脸部纹理

因此本文提出一个二通道的CNN，将RGB图像和MSR图像各自单独输入，再进行AM融合

A.The Retinex Theory

B. Two Stream Convolutional Neural Network (TSCNN)

如图是整个网络框架一个二通道输入网络

TSCNN包含两个单独的输入 RGB图片和MSR图片，并从两个子网络的最后一层卷积层获取特征，

给定一张输入的照片或是一帧视频，先用MTCNN对人脸进行和关键点进行检测，利用放射变换对检测到的人脸进行对齐

对RGB通道：从视频序列获取一帧帧RGB图

对MSR通道：对每一帧RGB图像先预处理成灰度图，然后想 fig2.B那样处理

作者用了两个网络 MobileNet 和 ResNet-18 并在 ImageNet 上预处理

最后为了有效的融合特征如图fig2.C 用attention model进行融合

公式化：

F函数将RGB特征和MSR特征融合

TSCNN的优化函数如下：

其中C是分类器，l是损失还是，N是样本数量，y是标签

骨干深度网络

为了防止数据不足带来的过拟合，将 MobileNet 和 ResNet-18 并在 ImageNet 上预训练，在face spoofing database上微调，二分类函数cross-entropy loss 用来处理（real vs fake）

其中i是第i个训练样本，N是训练样本的数量，

\hat{y}

是第i个样本的预测，y是第i个样本的标签

C.Attention Based Feature Fusion

给定特征{ fi , i = 1, ..., N}，我们学习每个特征的权重{wi , i = 1, ..., N}，并得到融合的特征v

关键的地方就在与权重的学习，在这里，我们的N为2，即fRGB和fMSR

除了学习权重还要学习和特征保持一样维度的核函数q，用来过滤特征向量

过滤产生的向量di表示特征的重要性

我们把重要性转化成权重

利用反向传播和随机梯度下降学习权重

IV. EXPERIMENTS

三个数据库：

CASIA Face Anti-Spoofing Database：

REPLAYATTACK database：

OULU database：

最后编辑于：2019.11.26 10:42:27