image
论文解决什么问题:
深度学习用于点云,难度在于局部几何结构特征的提取
相比于传统在CNN上应用的二维图像,三维点云并不规则。所以通常的做法是先把点云体素化,再去应用三维卷积神经网络。但是通常体素化后的点云分辨率低,并且在训练过程中,需要的计算量和存储会更大。
PointNet提出了直接在点云上进行卷积操作的方法,通过per-point MLP计算点的特征,并最终聚合其所有点的特征,用来代表这个点云。
但这个方法丢失了点云的局部信息,它只包含了,这个地方是否有点的信息,但是并不能包含,“什么样的一个点”在这个地方。
PointNet++解决上面的问题,通过一个比较复杂的方法。它把点云分割成一个个小的点云,递归地,让每个小点云通过小的pointnet,从而提取出它们的高维特征,也就是点云的局部高维特征。这个架构复杂且很慢。
这篇文章也就是要解决这个问题:是否有有效的可学习的局部操作,具有明确的几何解释,以直接增强和改进原始的PointNet,同时保持其简单的架构。
如何构建几何的卷积来捕捉点云的几何拓扑。
如何解决这个问题:
Covariance Matrix
A second-order description of a local neighborhood is through data covariance matrix, which has also been widely used in cases such as plane extraction, curvature estimation
Kernel Correlation
Another widely used description is the similarity