聊聊行人重识别(Person Re-identification)

行人重识别的背景:

随着科技的发展,监控视频已被广泛应用于商业、安防、搜寻等领域,在人们的日常生活中占据着非常重要的作用。如何识别、定位出监控视频中的特定行人,对于刑事侦查、搜寻救援等具有很重要的意义。因此,行人重识别在近几年受到了学术界的广泛关注。行人重识别被认为是一个图像检索的子问题,它需要在给定一个监控行人图像后,检索出其他摄像头中存在的该行人图像。

行人重识别的国内外研究现状:

早期的传统行人重识别方法是集中在手工提取特征(如纹理空间、颜色空间)、学习更好的相似度度量(如欧式距离、余弦距离)上,但是传统方法有一定的局限性,很难处理不同摄像头拍摄的行人存在的姿态、背景、光线、尺度不同等问题。行人重识别面临着许多挑战。

近年来,能够自动学习鲁棒性特征的深度学习方法逐渐被广泛使用。构建一个基于深度学习的行人重识别系统基本分为五大步骤:采集原始数据、生成标注框,标注训练数据、训练行人重识别模型、检索行人。其中,核心步骤是对模型的训练。众多方法都是针对行人重识别的模型进行了改进、优化。行人重识别的模型由卷积神经网络构成,它可以从原始的图像中提取丰富的语义特征。

目前,基于深度学习的行人重识别算法可按照提取图像特征方法的不同,大致分为基于全局特征、基于辅助特征、基于局部特征三种方法。基于全局特征的方法是提取每一张行人图片的全局特征信息,早期有很多方法都是通过全局最大池化或者全局平均池化来提取特征。Wu等人提出的PersonNet可以提取全局信息(Person re-identification with deep convolutional neural networks)。但是,这种方法无法解决背景区域造成的干扰,很有局限性。因此,有学者开始研究基于辅助特征的方法。Chang等人于2018年提出的MLFN是以视角点为辅助特征的多层语义结构(Multi-level factorisation net for person re-identification)。Zheng等人首次将生成对抗网络(GAN, Generative Adversarial Networks )应用到行人重识别中(Unlabeled samples generated by gan improve the person re-identification baseline in vitro),但是GAN网络生成的图片缺乏真实性,并且存在冗余的噪声信息,不利于网络的训练。

当前,对局部特征的研究越来越多。Varior等人将行人图像进行水平切块处理,再将分割后的图像按照从头部到身体的顺序送入长短期记忆人工神经网络(LSTM,Long Short-Term Memory)中进行训练,特征融合了局部特征(A siamese long short-term memory architecture for human re-identification)。DeepReID采用网格分块的方法,提取图像对相同网格区域的相似和差异特征,融合所有区域的特征信息进行二分类,判断是否是同一个ID(Deep filter pairing neural network for person re-identification)。采用基于局部特征的方法,行人重识别的识别准确率得到了显著的提高。

目前比较新的行人重识别方法是特定共享特征变换的跨模态行人重识别(cm-SSFT),依据不同模态特征示例内容,在不同模态之间转换共享和特定特征。这个算法在主流数据集上将Rank-1和mAP分别提高了22.5% 和 19.3%。

image.png

上图所示是与传统做法的对比。主要思路是利用近邻信息,给定一红外线query。当搜索彩色target时,可以先找到一些简单的置信度高的彩色样本,把这些彩色样本的颜色特异特征给红外线query,红外线query样本可以利用这些彩色信息再去搜索更难的彩色样本。

行人重识别的常用数据集

公开数据集包含Market1501、DukeMTMC-reID和CUHK03这三个数据集。 Market1501数据集采集于清华大学,训练集有751个行人,共12936张图像,测试集有750人,共19732张图像。DukeMTMC-reID采集于杜克大学,训练集含有16522张图像,702个行人,测试集有702人,共16522张图像。CUHK03采集于香港中文大学,是以MATLAB MAT file的格式来存储的,该数据集包含1467个行人,共14097张图像,平均每人有9.6张训练数据。这三个数据集都是目前较大规模的数据集。因此,硬件方面需要计算速度高的NVIDIA显卡训练卷积神经网络。

未来可研究的方向

无遮挡场景下姿态不对齐会造成匹配错误问题:目前存在的主要挑战有姿态、光线、相机等变化。光线和相机的变化通常会给行人图像带来颜色、明亮以及对比度上的差异,很少会造成形变或者姿态上的变化,因此可以通过简单地对训练样本进行对应的数据增广来解决。但是姿态变化主要由两种情况产生,第一种是人体不规则的、非刚性的形变,第二种是拍摄视角变换,这两种情况都会造成行人的体态发生规则的形变,很难简单地进行对应的图像样本生成,因此姿态变化是标准行人重识别任务里非常重要的一个待解决问题,可以深入研究如何解决姿态变化的问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容