Fusion++ 是一篇重建物体tracking和relocalization.
图片来自论文
1. 首先利用的mask rnn检测物体(instance), 然后对检测出的用TSDF进行重建,这里不仅重建了物体,还重建了物体周围的背景;
图片来自论文
2. 新来一帧,先做local tracking. Local tracking 是将世界坐标系下的点render到当前当前相机下,计算point-to-plane error, 得到absolute pose,然后更新tsdf model. 将建立的tsdf, 反投影到当前帧,找出与该model Iou匹配最高的mask, 然后利用该mask上的深度值和rgb来更新此tsdf.
3.optimization. 以物体的tsdf为中心建立物体坐标系,然后利用transformation之间(相机坐标系,物体坐标系,世界坐标系)的关系建立约束,进行优化。
4.relocalization. BRISK feature + 3D-3D RANSAC + OpenGV
########################################################
最近为了做论文对比,复现了fusion++, 放几个图
第一行是48帧同一物体建立的tsdf的椅子,然后用marching cube提出来,第二个是我们实验的结果