CMRNet++:一种相机在激光雷达构建地图中的定位方案
标题:CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps
作者:Daniele Cattaneo, Domenico Giorgio Sorrenti, Abhinav Valada
来源:分享者
欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
摘要
定位是实现自主机器人的关键。虽然深度学习在许多计算机视觉任务中取得了很大的进展,仍有待于提高视觉定位的能力。最近推出的CMRNet通过在LiDAR地图中实现单目视觉定位,有效地解决了这一局限性。在本文中,我们进一步引入了CMRNet++,这是一个非常健壮的模型,它不仅可以有效地推广到新的场景,而且与摄像机参数无关。将深度学习与几何技术相结合,并将度量推理转移到学习过程之外,从而实现这种能力。这样,网络的权重就不会绑定到特定的相机。对CMRNet++在三个具有挑战性的自主驾驶数据集KITTI、Argoverse和Lyft5进行了大量的评估,结果表明CMRNet++在很大程度上优于CMRNet以及其他基准。更重要的是,这也展示了一种深度学习方法的能力,在一个全新的环境中,无需任何训练或调试,并且不受摄像机参数的影响,能够精确定位。
主要内容
在这篇文章中,提出的CMRNet++方法来实现相机到激光雷达地图的配准。建立了在之前提出的CMRNet模型的基础上,该模型的灵感来自camerato LiDAR姿态校准技术。CMRNet独立于地图进行定位,现在我们进一步改进它,使其也独立于摄影机的内部特性。与现有的基于CNN的姿态回归方法不同,CMRNet不学习地图,而是学习将图像与预先存在的地图进行匹配。因此,CMRNet可用于任何有激光雷达地图的环境中。
将CMRNet扩展为两个步骤:像素到3D点匹配,然后进行姿态回归。在第一步中,CNN只关注像素级的匹配,而不是基于度量的匹配,这使得网络与摄像机的固有参数无关。第二步采用传统的计算机视觉方法,在第一步匹配的情况下估计摄像机的姿态。因此,经过训练后,CMRNet++还可以与训练时使用的不同的摄像机和地图一起使用。图1描述了我们提出的CMRNet++流程
方法概述。(a) 输入的RGB图像和(b)激光雷达图像被输入到我们的CMRNet++,它预测(c)两个输入之间的像素位移。(d) 预测的匹配用于使用PnP+RANSAC相机定位
实验
为了评估CMRNet++的定位性能并评估其泛化能力,我们使用了三个不同的自动驾驶数据集,这些数据集涵盖了不同的区域、不同的传感器和不同的交通状况。
1,KITTI
2, Argoverse
3, Lyft5
初始姿势是从[-2m,+2m],[-10,+10]的均匀分布中随机抽取的,第一行显示了相应的中值。CMRNet++是在KITTI和Argoverse上训练的,并且只在Lyft5上进行评估,以评估泛化能力,而不需要任何再训练。
KITTI 00数据集的定位误差比较
总结
本文提出了一种新的基于CNN的LiDAR地图单目定位方法CMRNet++。将CMRNet++设计为独立于地图和相机的内部函数。就我们所知,CMRNet++是第一个基于深度神经网络(DNN)的位姿回归方法,该方法无需任何再训练就可推广到新环境。在KITTI、Agroverse和Lyft5数据集上展示了我们的方法的性能,其中CMRNet++将单个RGB图像定位在未知的地方,中值误差较低低,优于其他最先进的方法。此外,在训练中排除的Lyft5数据集上的结果表明,CMRNet++能够有效地推广到以前未知的环境以及不同的传感器上。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享