SLAM前端 - 特征检测与匹配

参考:
高翔——《视觉SLAM十四讲》第7讲 视觉里程计1
知乎zhixin yan——Visual SLAM前端技术 - 特征检测与匹配


  • 目录:
    1 特征检测
    1.1 FAST
    1.2 SIFT
    1.3 SUFT
    1.4 ORB
    1.5 总结
    2 特征匹配
    2.1 暴力匹配 Brute-Force Matcher
    2.2 快速近似最近邻 FLANN

  • 引入:
      要做SLAM就得知道位置;绝对位置不知道也得知道相对位置;相对位置得通过看到的图像来得到;人是以物品为单位看待世界,在这里计算机要通过世界中的特征。不光要知道特征在哪(关键点),还得知道特征长什么样(描述子),才能保证下次再见的时候还能认出它(特征匹配)。


1 特征检测

  • 先总结一下书中的部分内容,作为特征检测部分的综述:
    (1)提取“特征”是为了稳定性,即各种不变性,比如旋转不变性、光照不变性。
    (2)“特征点”是图像中特别的地方,而相对于边缘、区块,选择角点作为“特征点”更合适。
    (3)但是角点也并不是那么稳定的特征,所以人们设计出一系列比角点更稳定的特征描述方式,比如SIFT、SUFT、ORB。
    (4)特征点 = 关键点(特征点在图像中的位置,可能还具有朝向、大小等信息)+ 描述子(描述关键点周围像素信息)。
  • 简单对比:
特征 是否有描述子 速度如何(同一幅图提取1000特征点)
FAST ×
SIFT 太慢(5228.7ms)
SUFT 慢(217.3ms)
ORB 快(15.3ms)
1.1 FAST

Faster and better: a machine learning approach to corner detection

  • 主要思想:
    如果一个像素与它邻域的像素差别较大(过亮或过暗),那它更可能是角点。FAST其实单纯就是一种角点检测方法。
  • 检测过程:对每个像素做以下操作
    (1)在图像中选取像素p,亮度为Ip
    (2)设置一个阈值T(如Ip的20%);
    (3)以像素p为中心,选取半径为3的圆上的16个像素;
    (4)如果圆上有连续N个点的亮度在 Ip+T ~ Ip-T 之间,则认为像素p是特征点。称为FAST-N,常用9、12。
    (注1)用trick加速,快速排除绝大多数不是角点的像素:对于FAST-12,只有圆上1、5、9、13号像素的亮度满足在 Ip+T ~ Ip-T 之间时,这个点才有可能是角点,否则直接排除。
    (注2)用NMS避免重复:简单来说就是用候选角点之间的交并比(IOU)判断哪些该去掉。非极大值抑制(Non-Maximum Suppression,NMS)
  • FAST存在的问题:
    (1)FAST特征点数量大且不确定:取前N个Harris响应值大的。
    (2)FAST角点不具有尺度不变性、旋转不变性:构建图像金字塔(对不同尺度上的图像做FAST角点检测);灰度质心法(方向由几何中心指向亮度重心)。
1.2 SIFT
1.3 SUFT
1.4 ORB
  • ORB概览:
    ORB = FAST + BRIEF
    (1)FAST提供关键点;
    (2)BRIEF对于关键点提供描述子。
  • BRIEF的思路:
    (1)对于关键点附近的两个像素p和q,p>q取1,反之取0;
    (2)至于p和q的选取和顺序,有若干种挑选方法,大体都是按照某种概率分布随机挑选(我不太懂,但是无所谓),速度快(不懂为什么随机选点比较,速度就快);
    (3)最后得到一个0和1组成的128维二进制向量,存储方便。
  • 对ORB的总结:
    (1)首先,FAST和BRIEF都很快,所以ORB很高效;
    (2)改进后的FAST加入了对缩放和旋转的考虑,使得ORB在平移、旋转、缩放下仍具有良好表现;
    (3)总的来说,ORB在实时SLAM中很受欢迎。
1.5 特征检测总结

2 特征匹配

  • 主要从重要性和难点上做一下综述:
    (1)做好特征匹配很重要:可想而知,特征匹配正确为以后的优化等减轻很大负担,匹配错了不就失之毫厘了嘛;
    (2)但是经常出现误匹配:比如场景中存在大量重复纹理。
2.1 暴力匹配 Brute-Force Matcher
  • 其实没啥好说的:
    (1)就是对于两张图片的所有关键点,两个for循环嵌套,循环内部计算两两关键点的描述子距离。
    (2)按正常的思路,描述子的“距离”取欧氏距离;而对于BRIEF这种二进制的描述子,取不同位数的个数作为距离。
2.2 快速近似最近邻 FLANN
  • 这个就更没啥好说的了:
    因为书上说已经整合进OpenCV里了,那就想起来再看看吧。
  • 适用情况:
    尤其适用于特征点数量很大的时候做匹配。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,692评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,482评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,995评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,223评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,245评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,208评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,091评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,929评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,346评论 1 311
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,570评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,739评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,437评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,037评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,677评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,833评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,760评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,647评论 2 354

推荐阅读更多精彩内容

  • 角点与目标检测(Corners and Object Detection) 已经可以从图像中提取基于形状的特征,如...
    徐凯_xp阅读 19,235评论 1 40
  • 一、什么是特征? 图像的特征(Feature),是图像上最具代表性的一些点。所谓最具代表性,就是说这些点包含了图像...
    金戈大王阅读 34,138评论 11 9
  • 知乎上看到一个话题——目前火热的 Deep Learning 会灭绝传统的 SIFT / SURF 特征提取方法吗...
    牛奶芝麻阅读 100,826评论 4 81
  • 个人为了看的方便没有广告,转载自泡泡机器人:https://www.sohu.com/a/161346283_71...
    Maxsium阅读 38,977评论 0 8
  • 现在随着自我意识的提升,很多家长都对孩子的隐私意识有了较高的提升,但每次涉及具体行为的时候却又往往忘了,而父母们也...
    燕燕细语阅读 272评论 0 0