文献阅读《Road Mapping and Localization Using Sparse Semantic Visual Features》
文章解决的主要问题
应该怎么抽象到用数学的角度对各类语义建模？
-
对路灯等竖直的物体建模
- 提取FREAK描述子
-
对道路标志（例如转弯、直行箭头）
- 检测角点
-
对车道线建模
-
实心车道线提供单向运动约束
- 利用centernet识别，同时记录左右和上下的边界点，利用laneNet对这几个位置的特征进行降维再用dbscan进行分类
- 三次样条曲线表示车道线
-
虚线车道线在拐角点可以视为索引点地表，即类似于关键帧，方便快速查找
- 给定64*64图像块检测角点生成线段，保存时加入H10和H11计算角度查和长度差
-
当输入图像时如何从语义模型地图中实现定位？
-
混合的深度学习语义特征和GFTT特征结合
GPS粗定位搜索附近的语义信息
求解pnp得到相对语义的位姿
-
跟踪loose和tight
- 将所有提取的地图中的点投影到当前需要定位的帧上，再用匈牙利匹配接收投影关联
建立视觉里程计
-
对语义的特征跟踪
-
车道线
利用IMU计算平移T
重投影
-
匈牙利匹配策略
- 位姿关联，计算5*5像素车道线的IOU
- 像素关联
-
垂直对象
- 关键点+光流法
-
将语义特征引入姿态估计，设计五个优化变量
- 语义特征点对应3D空间点
- ground objects地面参数
- 垂直语义的竖直平面参数
- 车道线的样条曲线Ck
- 样条曲线初始化的数据关联
相关概念
centerNet
- CenterNet不仅可以用于目标检测，还可以用于其他的一些任务，如肢体识别或者3D目标检测等等，。
- 网络实现的过程主要是使用boundingbox中心点代表物体，将图像输入到全卷积网络得到热图（heatmap），根据热图分布来决定定位中心。
LaneNet
- LanNet提取车道线实例
- HNet输出转化矩阵H将测到仙女点坐标经过矩阵H转化后用最小二乘拟合反转换回原图。
FREAK描述子
- 本文主要被用于进行光流追踪，其中描述子是从竖直类的语义中（诸如路灯和交通灯等）。
GFTT特征提取器
读后感
- 相比于orb-slam建图和定位，本文最大的优点就在于改变传统的各类特征点匹配计算位姿，对道路上的各类语义信息进行不同类别的建模，从而降低了建图所占用的存储大小，并且也减轻了匹配的计算复杂度。然而，存在的问题也很明显：
1.建立的地图是稀疏的，在一些开阔且没有道路标志的地方，可能并不会存在语义特征，此时依然只能使用GPS定位，对于环境的适用性没有传统的orb-slam高。
2.在建图阶段，还是依赖于高精度的RTK惯导作为地图的标准位置。
