[原创]Panoramix算法笔记

论文名称:Efficient 3D Room Shape Recovery From a Single Panorama

Github地址:https://github.com/YANG-H/Panoramix


算法核心笔记


一、约束图中的五种顶点

Graph G=(V,E) 将所有线和超像素编码为顶点 V。

如图一所示,两种类型的线和三种超像素被认为对应于预处理中施加的不同自由度(DOF)。

        DOF = 1 的线条只能在固定方向的两条固定光线上滑动,

        DOF = 2 的线条是自由的。

        DOF = 1 的超像素具有已知的平面法线,它只能在其视锥内滑动;例如,水平(地板/天花板)超像素的法线固定为垂直。

        DOF = 2 的超像素被限制为与已知方向平行;例如,垂直(墙)超像素的平面必须与垂直方向平行。

        DOF = 3 的超像素不施加方向限制。


图1. 约束图中的五种顶点。

二、约束图

两种约束:连接性(connectivity)约束Econ 和共面性(coplanarity)约束Ecop。

连接性约束在顶点之间表现出四种连接方式,如图二。

       共享相同边界的相邻超像素之间的连接;

       具有不同方向的线的交点;

       具有相同方向的线的共线性;

       相邻线与超像素之间的连接。

共面性约束只关注可能位于同一平面上的超像素面。 


图2. 连接性约束。四种图例说明了四种连接方式。


三、顶点参数化

       文章的目标是预测观察点所有可见表面的深度,通过假设每个超像素内的表面平面度,可以简化任务以推断超像素的平面方程。

       将 Xi 表示为对顶点 i ∈V 的未知参数进行编码的向量,并使用 Ci 表示 i 的已知值的集合。令 dfi 为 i 的自由度。表1列出了拟议的超像素参数化,其中 i 代表每个超像素。

       (1)如果 dfi=1,则令 ni 为其平面和 Ci 的单位法线向量。定义 Xi=(1/di),其中 di 表示从平面到视点的距离。

       (2)如果 dfi=2,则 Ci={ui},其中 ui 为表面平面必须平行的单位方向向量。定义 Xi=(ai,bi)⊺,它对应于平面方程 aix+biy+ciz=1 的 (ai,bi,ci) 中的两个参数。

       (3)如果 dfi=3,则Ci为空,因为对其方向没有限制。Xi 直接定义为与平面参数相对应的 (ai,bi,ci)⊺。


表1. 参数化顶点。

       许多参数化方法可用于这些超像素。例如,我们可以简单地定义 Xi=(di) 如果 dfi=1,或者定义 Xi=(θi,di)⊺,如果 dfi=2,其中 θi 表示沿 ui 方向的旋转角度,di是其平面到视点的距离。

       如表1所示,文章对超像素进行参数化处理因为从提出的超像素参数 Xi 到其平面系数 Πi=(ai,bi,ci)⊺ 可以进行线性变换。转换矩阵 Pi 列在表1的第四栏中。所有这些矩阵都满足 Πi=(ai,bi,ci)⊺=PiXi。

       对于线段,文章建议使用其支撑平面来编码其空间布置。线的支撑平面由两个要求定义:

       (1)它必须在空间中包含该线,

       (2)它必须正交于穿过视点并包含线的平面。

       例如,图3中的线(P1i,P2i)的支撑平面应始终包含相应的3D线,并且应正交于包含射线 OP1i 和 OP2i 的平面。

        3D中的提升线与其支撑平面之间存在一对一的对应关系,并且它们共享相同的DOF值。 因此,我们可以将线视为超像素的退化形式,并使用表1所示的相同方法对其进行参数化。

       特别地,如图3所示,对于 DOF=1 的线 i=(P1i,P2i),表1中的 ni 表示其支撑平面的法线。 对于 DOF=2 的线 i,表1中的 ui 表示包含线 i 并通过视点 O 的平面的法线。


图3:线的支撑平面。


四、约束求解CLLS

       Econ下的所有类型的连接约束都具有相同的目标:使某些连接点上两个顶点的深度相等。

       如图4所示,如果约束是两个相邻超像素之间或一条线与一个超像素之间的连接,则其连接点对应于全景图中边界或线上的公共像素。

       如果约束是两条线之间的交点或共线关系,则其连接点对应于全景图中这两条(延伸)线共享的点。


图4:连接点以红色显示。全景图中的每个连接点都代表一个空间上的视图方向,沿着该方向,两个相关顶点的深度应相等。


五、遮挡识别

       由于约束因素,确定限制因素Econ和Ecop仍然具有挑战性。 房间遮挡可能被检测到的线段覆盖,并且倾向于遵循相干规则。 例如图5,如果在 li 上存在任何遮挡,则遮挡的侧面可能会沿 li保持连贯。


图5:遮挡的连贯性。(a)线 li 附近的分段超像素。(b)和(c)说明了相邻超像素的可能遮挡状态,其中F表示前面的表面,B表示后面遮挡的表面。基于逻辑,(b)中所示的情况比(c)中的情况更合理。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,997评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,603评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,359评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,309评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,346评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,258评论 1 300
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,122评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,970评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,403评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,596评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,769评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,464评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,075评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,705评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,848评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,831评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,678评论 2 354

推荐阅读更多精彩内容