[论文阅读] 2018-BMVC-Robust Adversarial Perturbation on Deep Proposal-based Models

2018-BMVC-Robust Adversarial Perturbation on Deep Proposal-based Models

[toc]

摘要

  • 对抗噪音对于探索那些基于计算机视觉算法的深度学习脆弱性很有帮助
  • 本文描述了一种鲁棒性干扰(RAP),来攻击目标检测框架
    • 攻击目标检测与语义分割共同的组成部分RPN(Region Proposal Network)
    • 黑盒攻击
    • 设计了一种损失函数,包含标签损失和轮廓损失
    • 在MS COCO 2014数据集上测试
    • 6中目标检测算法,2中语义分割算法

1. Introduction

  • 基于深度学习的算法,在计算机视觉领域,获得了非常不错的表现
    • 包括图片分类,目标检测,语义分割
  • 然而,最近研究表明,基于CNN的算法容易受到对抗样本的攻击
    • 人类无法分辨,但可以欺骗分类器
  • 与图片分类不同,语义分割和目标检测上的对抗攻击更加困难
    • 不仅需要影响类别标签,还需要影响目标位置及大小
    • 已有工作(ICCV-17)主要通过设计特定的损失函数,来影响最终类别
    • 而且,这些工作是建立在白盒攻击的前提下
  • 本文提出了RAP(Robust Adversarial Perturbation)方法,来攻击基于选区的目标检测与语义分割算法
    • 算法基础:多数目标检测以及语义分割算法均是基于RPN来提取目标候选框,即Proposals
    • 攻击原理:如果RPN被攻击成功,那么就会生成错误的候选框,随后的目标检测和语义分割都会受影响
  • RAP原理图
    • image-20191124211556609.png
    • 两个损失函数

      • Label loss(ICCV-17工作)
      • Shape loss(本文工作):攻击RPN网络中的shape regression环节
    • RAP专注于攻击RPN网络,而不是整个神经网络

2. Related Work

  • Deep proposal-based models
    • 遵循两步框架:候选框生成与候选框优化
  • Region Proposal Network(RPN)
    • 是一种基于CNN的目标候选框生成算法
    • 开始由人工为特征图上的每个格子指定固定大小多尺寸的anchor boxes
    • 训练阶段,用这些anchor boxes与真实位置进行匹配,大于给定阈值的被设置为positive example,否则negative example
    • 测试阶段,生成所有anchor boxes的label和offset
    • 与selective search方法相比,RPN更加有效和准确
  • Adversarial perturbation
    • 用于生成噪音,来欺骗神经网络分类器
    • Lu尝试生成对抗样本来干扰stop,欺骗识别器
    • Xie提出了稠密对抗生成DAG算法,迭代欺骗分类器

3. Method

  • 原理图

    • image-20191124214707928.png
  • 原理

    • 给定输入图片、预训练好的RPN
    • 设计目标函数:Label loss + Shape loss
    • 使用梯度迭代算法,计算扰动

3.1 Notation and Problem Formulation

  • Notation

    • \mathcal{I}:输入图片,包含n个真实bounding boxes
    • \{\bar b_i=(\bar x_i, \bar y_, \bar w_i, \bar h_i)\}^n_{i=1}:bounding boxes集合
    • \mathcal{F}_{\theta}:模型参数为\theta的RPN网络
      • \mathcal{F}_{\theta}(\mathcal{I})=\{(s_j,b_j\}^m_{j=1}:输入图像生成的m个候选区域
        • s_j:第j个候选区域的置信度
        • b_j:第j个候选区域的bounding box
          • b_j=(x_j,y_j,w_j,h_j)
    • L_{label}:标签损失函数
      • L_{label}(\mathcal{I};\mathcal{F}_\theta)=\sum^m_{j=1}z_j\log(s_j)
        • z_j=1, if\exist i,IoU(\bar b_i, b_j)\gt u_1 and s_j\gt u_2
    • L_{shape}:轮廓损失函数
      • L_{shape}(\mathcal{I};\mathcal{F}_\theta)=\sum^m_{j=1}z_j((\Delta x_j-\tau_x)^2+(\Delta y_j-\tau_y)^2+(\Delta w_j-\tau_w)^2+(\Delta h_j-\tau_h)^2)
  • 目标Goal

    • 找到一个扰动量,叠加到输入图片上,让RPN失效
    • 该问题可以看作对于特定设计的损失函数上的优化问题
    • PSNR(Peak Signal-to-Noise Ratio),越小的扰动导致越高的PSNR
    • \min_{\mathcal{I}}L_{label}(\mathcal{I};\mathcal{F}_\theta)+L_{shape}(\mathcal{I};\mathcal{F}_\theta):目标函数
    • PSNR(\mathcal{I})\ge\epsilon:约束条件
  • 假设与前提

    • RPN模型参数\theta是固定的

4. Experimental Results

4.1 Dataset

  • MS COCO 2014数据集
    • 包含80两个目标类别
    • 实验采用随机选取3000张图片
    • 使用mAP指标,IoU设置为0.5与0.7

4.2 R-AP Settings

  • 五种不同RPN架构
    • VGG16, mn(mobilenet), ResNet50, ResNet101, ResNet152
  • Adversarial Perturbations
    • p1, p2, p3, p4, p5
  • 目标检测网络
    • Faster-RCNN
  • Baseline
    • Gaussian noise

4.3 Object Detection

  • 检测网络
    • FR-v16, FR-mn, FR-rn50, FR-rn101, FR-rn152, RFCN
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,258评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,335评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,225评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,126评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,140评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,098评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,018评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,857评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,298评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,518评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,400评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,993评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,638评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,661评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352