2019CVPR 深度估计相关论文简述

2019CVPR用depth做关键字共索引出31篇文章,根据任务和方法分为7分部分。分别为多任务,更准确,深度补全,深度图辅助任务,新的数据集,知识蒸馏,其他。

1. 更准确

1. Neural RGB->D Sensing:

主张:深度估计不仅预测深度值,应该同时预测深度的分布并且随着时间的推移对分布做积分。
数学性质太强

2.Recurrent MVSNet:

多视角立体估计中,将最后的concat用RNN替代以减少参数。
想法很直接

3.Bilateral Cyclic Constraint and Adaptive Regularization

训练中,用模型的表现来驱动正则项的权值,而不是之前根据时间来调整权值。
双边循环一致性:把左右一致性进一步升级,左目视差转为右目视差后再转回左目。
提出了一个双分支decoder结构做refine。
cycle 大法好

4.Geometry-Aware Symmetric Domain Adaptation

在网络中加入了GAN,将真实图像转为为合成图像(去掉一些无关紧要的细节)。对合成图像和真实图像做深度预测后平均。
网络结构是对称的。
GAN可以这么用!!不如在分割和检测中用用。

5.CAM-Convs:

提出一个新的卷积层,考虑了相机内参。用于不同的相机配准下,模型中用于跳层。
模型输出了置信度。
很好奇,在不同的相机配准下预测深度图,深度图之间的差异会不会很小。从实验结果看,相机配准确实会影响结果。

6.Learning monocular depth estimation infusing traditional stereo knowledge。

新颖的框架(三步):特征提取-》初始深度-》refine
损失函数用了无监督和有监督——标签用传统方法生成。
额......无话可说。可能是看了太多遍,就感觉没那么NB。如果在缺少标签的情况下,代理标签确实是一个很好地选择,总比没有标签的无监督要强

7.Learning the Depth of Moving People by watching Frozen People

对静止的人构建数据集。
构建一个网络去预测深度。
更我的研究方向联系不大,但是应用很有创新性

8.Towards scene understanding:Semantic-aware

利用语义信息辅助深度估计。左右语义一致性和语义指导平滑——同一语义的物体深度的变化应该是连续的。

9.Learning Non-volumetric Depth Fusion using Successive Reprojections

重投影,利用多视角信息refine中心视角的深度。可以多次迭代。

10.Single Image Depth Estimation

利用散焦现象设计了一个损失函数。散焦利用PSF层(在函数g中)

11.Monocular depth estimation using relative depth map

同时预测绝对深度和相对深度。相对深度的预测中用了很多传统机器学习算法,Lloyd,ALS。
相比于修改网络结构,这篇文章用了很多数学证明,使得相对深度的预测有理有据

2. 多任务

1.Unsupervised Event-based Learning of optical flow,depth,and egomotion

输入将时间维度作为二维图像的channel。egomotion 用来deblur。
网络结构图看的很迷

2. Veritatem Dies Apetrit

前一帧的输出结果作为后一帧的预测输入。
用了光流提供时间域上的信息。

3.RNN for supervised learning of monocular video visual odometry and depth

LSTM双向学习
用了光流设计损失

4.student becoming the master

将深度网络和分割网络的信息融合,构建了一个新的网络可以同时执行两个任务。
迁移学习?两个网络分别训练好,将encoder信息融合再decode

5.bridging stereo matching and optical flow

左右目估计视差,前后帧估计光流,构建损失函数。闭环。

6.pattern-affinitive propagation across depth,surface normal and semantic segmentation

PAP 交叉任务传播和特定任务传播。affinity layer学习任务间关系。

7.unos

深度光流和移动同时输出,在损失函数上做了很多改变。使用刚体变换和测距(odometry)构建损失函数

3.深度补全

这部分我们没有明白补全后的深度图是什么标准,或者说ground truth怎么来的

1.Dense Depth Posterior from single image and sparse range

数学符号太多不想看,就是估计了一个后验概率,也没看懂是怎么估计的。

2.Deep reinforcement learning of volume-guided

3d云点图补全,强化学习找到下一次补全的最优视角,积累上一次补全的结果。

3.depth coefficients for depth completion

提出深度检验表。深度检验表将深度离散化,网络预测对应的离散域的深度,最后重建。

4.DeepLiDAR:

表面法向量作为中间量,加入了attention map

4.深度图辅助任务

1.Depth-aware video frame interpolate

深度图和光流辅助中间帧图像的估计
这篇文章今年在CVPR好像挺NB

2.Depth-attention Feature for single-image rain removal

利用深度图去雨。构建了一个新的去雨数据集
去雨这个问题已经好多年了吧,还是收到一部分人的关注

3.pseudo-lidar from visual depth estimation:

作者发现了一个很重要结论:雷达和深度图在目标检测上的差距主要来自于表现形式的不同。
在目标检测时将depth转换成3D检测可以提高精度。

5.数据集

1.利用MVF和SFM产生新的数据集,利用语义信息增强。

2.sfm生成深度图,设计了一个QAnet评价生成结果。

6.蒸馏

refine and distill: exploiting cycle-inconsistency

1.右目转左目(teache)
2.左目转回右目。再右目转回左目(teacher,学习不一致性)

7.其他

1.connecting the dots:

结构光相机,非双目

2.FiFF

特征提取算法,重建任务比SIFT表现好

3.privacy protection in street-view

利用深度和多张图片对物体分割后填充,实现隐私保护。深度信息来自雷达
4.Depth from a polarisation + RGB stereo pair
使用了偏振相机


哪天不懒了把图片和文章全名补上。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,591评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,448评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,823评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,204评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,228评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,190评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,078评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,923评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,334评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,550评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,727评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,428评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,022评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,672评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,826评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,734评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,619评论 2 354

推荐阅读更多精彩内容