小觅智能开学季 | 学习 SLAM 该如何入门?(持续更新)

开学季,又有一批学 SLAM 的童鞋们要入坑了😂,为了方便大家愉快地学习,小觅智能整理了下知乎上 SLAM 领域的活跃问答者  @半闲居士 @毛曙源 @立党 @bobin @太一吾鱼水 @极智嘉科技 的高质量答案供大家参考哟~

0)SLAM 是什么?

SLAM 是同步定位与地图构建 (Simultaneous Localization And Mapping) 的缩写,最早由 Hugh Durrant-Whyte 和 John J.Leonard 提出。SLAM 主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题。

SLAM 实际上是一个典型的军转民用的技术,探测器登陆未知环境的星球进行科研研究时,面对复杂的大规模环境,而无法对其进行实时遥控时,必须通过实现同步定位与地图创建才能完成导航任务,例如美国“机遇号”、“勇气号”以及“好奇号”等火星探测器。如果放在当今社会消费级市场来理解的话,扫地机器人没有 SLAM 技术,就无法实现自主移动。

图 | 美国“好奇号”火星探测器


1)这个领域的知识是什么样的?

整个 SLAM 大概可以分为前端和后端,前端的功能是根据相邻两帧图像(视觉 SLAM )或者两片点云(激光 SLAM )的匹配与比对,计算出传感器相邻时刻的位置和姿态变化,进而对机器人或者无热车进行定位;根据传感器不一样,分为激光点云、图像、RGB-D 拼接几种,其中图像配准中又分基于稀疏特征 (Sparse) 的和稠密 (Dense) 的两种。后端则主要是对前端出结果进行优化,利用滤波理论或者优化理论,最终得到最优的位姿估计。

2)确定学习方向

SLAM 是一个包含技术点范围很广的应用方向,涉及到计算机视觉,优化方法,3D ….,每项之内又会分成更多的点,如果没有目标去学习很容易迷失其中,因此确定目标是非常重要的!

图 | 日常学习 SLAM 状态

3)SLAM 基础理论

一、数学方面

建议阅读 Thrun 的《Probabilistic Robotics》,了解下概率学是如何解决机器人中的问题的。

学习贝叶斯滤波以及贝叶斯公式在各个问题 (定位,SLAM) 中的应用。

针对优化的话,建议学透最小二乘优化和数学推导,因为最后很多问题都归结到最小二乘优化,然后就是梯度下降、求 Jacobian 等。

二、编程方面

优质的 SLAM 框架要兼顾速度和精确度

国外做 SLAM 教学的时候会使用 Matlab 做实验,Python 语言也很不错,Python 3 支持SciPy ,OpenCV,ROS 等重要工具,不过依然有大量的诸如 g2o 等基础性库在 Python下无法使用。目前大部分 Vision 或者 RGBD 的 SLAM 框架都是用 C++ 来时实现完成的以确保运算速度。如果有志于在这个领域做深入研究,夯实的 C++ 基础必不可少。 Introduction to Algorithms,以及 C++ Primer 等,都是不错的书籍。

4)硬件和实验上的知识储备

SLAM 开源资源

SLAM 相关的开源代码,里面包括了视觉 SLAM 和激光 SLAM 的多种 SLAM 方法,大多还附带论文

ROS 系统,目前在机器人领域非常常用,很多研究会在这个社区上公开源代码,这套系统基本是机器人入门必学的系统

KITTI 数据库,涵盖量比较全,数据采集自汽车平台,包含了物体检测、车道检测、SLAM 等相关内容

RGB-D Camera 选择

目前的主流视觉深度传感器方案主要分结构光,Time-of-Flight 和纯双目三类。双目跟结构光一样,都是使用三角测量法根据物体匹配点的视差反算物体距离,只是双目是用自然光,而结构光是用主动光发射特定图案的条纹或散斑。ToF 是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。

曾经红极一时的 Kinect 1,2 代(现已停产)采用的是结构光和 ToF,ToF 和结构光都属于主动光,容易受可见光和物体表面干扰,所以更适合室内和短距离的应用场景。

图 | 「视觉+结构光+惯性导航」融合的双目方案效果更好

将双目和结构光的优点结合起来,用双目的相差计算方法加上红外的结构光对黑暗和无纹理的情况作辅助,小觅智能采用了「视觉+结构光+惯性导航」融合的双目结构光深度惯导相机方案,可在无纹理的物体(像是白墙)和全黑情况及室内外条件下使用。


5)推荐阅读的书籍

[Multiple View Geometry in Computer Vision] 这本书基本涵盖了 Vision-based SLAM这个领域的全部理论基础,另外建议配合 Berkeley 的课件学习。(更新:这本书书后附录也可以一并读完,包括附带 bundle adjustment 最基本的 levenberg marquardt 方法,newton 方法等)

[Probabilistic Robotics] 了解概率学是如何解决机器人中的问题的

[state estimation for Robotics] 这本书能够帮你很快建立整套关于状态估计理论的框架,同时在三维运动方面,提供了充分但不那么困难的学习途径

[视觉 SLAM 十四讲] 高翔博士大大深入浅出地将 SLAM 数学模型讲解得生动有趣又条理清晰,实在是 SLAM 入门不二之选(引自豆瓣书评)

[Quaternion kinematics for the error-state KF

[Convex Optimization 凸优化]

[线性系统理论] Chi-Tsong Chen: 9780199959570: Amazon.com: Books7.

[An Invitation to 3-D Vision]

[Rigid Body Dynamics]

6)推荐的视频

Tim Davis 可以参考他的课件及视频,讲述 Sparse Matrix — 大型稀疏矩阵处理的一般办法。

激光 SLAM 入门视频,by Cyrill Stachniss(链接:https://pan.baidu.com/s/17U9Fr0u31gIKpQfehnnvEw 密码: u5au)

Google 开源的 Cartographer,目前来看还是非常成熟和完善的激光 SLAM 系统,可以作为重点进行学习

深蓝学院最近推出了一系列的 SLAM 课程,如果经济条件允许可以购买观看

ROS入门:ROS机器人操作系统入门-中国大学MOOC

7)欢迎点赞和分享👏👏👏

据说知乎有个不成文的规定:只收藏不点赞和分享就是耍流氓!

随手转发到微信朋友圈,让更多的人入坑吧~(不对 ❌ ,应该是高效学习 SLAM ✔️)

关注微信公众号 MYNTAI小觅智能,回复「小觅」,一键保存文中提到的完整资料哦✌🏻~

Ps:全宇宙最可爱的我们在招人,详情可见:小觅智能招聘 | 站在人工智能的风口,迎接机器人的未来

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,293评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,604评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,958评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,729评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,719评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,630评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,000评论 3 397
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,665评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,909评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,646评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,726评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,400评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,986评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,959评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,996评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,481评论 2 342

推荐阅读更多精彩内容