具有在线外参校准的多激光雷达系统的里程计和地图绘制系统
文章：Robust Odometry and Mapping for Multi-LiDAR Systems with Online Extrinsic Calibration
作者：Jianhao Jiao, Haoyang Ye, Yilong Zhu, and Ming Liu
代码：https://ram-lab.com/file/site/m-loam
编译：点云PCL
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
多个激光雷达的组合使得机器人能够最大限度地感知周围环境并获得足够的测量信息，这对于同时定位和建图（SLAM）是很有帮助的。本文提出了一个系统，以实现鲁棒性和同时外参校准，实现里程计，绘制地图的多个激光雷达方法。我们的方法从测量预处理开始，从原始测量中提取边缘和平面特征。在运动和外部初始化过程之后，基于滑动窗口的多激光雷达里程计通过在线校准细化和收敛识别来估计姿态。进一步发展了一个建图算法来构造一个全局地图，并用足够的特征来优化姿态，以及一种捕获和减少数据不确定性的方法。通过对10个序列（全长4.60km）的标定和SLAM实验，验证了该方法的有效性，并与现有技术进行了比较。证明了所提出的工作是一个完整的，稳健的，可扩展的系统，为各种多激光雷达设置。源代码、数据集和演示可从以下网址获得：https://ram-lab.com/file/site/m-loam.
介绍
尽管激光雷达在环境感知方面有很大的优势，但许多问题影响了使用多激光雷达装置的SLAM的发展。
1） 精确灵活的外参校准：为一个新的机器人平台恢复多个激光雷达变换是复杂的。在许多情况下，专业用户必须在人造环境中仔细标定传感器。这一要求增加了为野外机器人部署和维护多激光雷达系统的成本。
2） 低位姿漂移：为了实时提供精确的姿态，基于最先进（SOTA）激光雷达的方法通常通过两种算法来解决SLAM：里程计和地图。这些算法被设计成从粗到细的方式来估计姿态。在原有里程计算法的基础上，提出了一种在局部窗口内充分利用多个激光雷达测量数据的方法。增加约束有助于防止帧间配准的退化或失败。后续的建图算法运行的频率相对较低，为了获得更好的结果，需要给出大量的特征点和多次迭代。
为了应对这些挑战，我们提出了M-LOAM，这是一个用于多激光雷达外部校准、实时里程计和地图绘制的强大系统。无需人工干预，我们的系统可以从几个外参未校准的激光雷达开始，自动校准它们的外参，并提供精确的姿态以及全局一致的地图。
我们的M-LOAM设计提供了以下贡献：
1）自动初始化，计算所有临界状态，包括连续帧之间的运动以及后续阶段的外部。它可以从任意位置开始，而无需事先了解机械配置或校准对象
2） 在线自标定与里程计同时进行，具有一般收敛准则。它有能力以完全无监督的方式监控收敛和触发终止。
3） 基于滑动窗口的里程计，充分利用来自多个激光雷达的信息。这种实现可以解释为小比例尺帧到地图的配准，这进一步减少了由连续帧到帧里程计累积的漂移。
4） 采用两阶段方法进行建图，获取来自传感器噪声、退化姿态估计和外部扰动的不确定量。这种方法使地图绘制过程具有不确定性意识，有助于我们保持全局地图的一致性，并提高系统对长时间导航任务的鲁棒性。
据我们所知，M-LOAM是第一个完整的解决方案，多激光雷达校准和SLAM。该系统在手持设备和自动驾驶车辆上进行了广泛的实验，涵盖了从室内办公室到室外城市道路的各种场景，其性能优于基于SOTA激光雷达的方法。关于在不同平台上的校准，我们的方法在平移时达到厘米的外在精度，在旋转时达到分贝度。对于不同比例尺的SLAM，M-LOAM已成功应用于提供精确的姿态和地图结果。
图1。我们直观地看到了M-LOAM建图的结果。对不同激光雷达探测到的原始点云进行去噪处理，提取边缘（蓝点）和平面（红点）特征，这些特征显示在右上角。建议进行在线校准，以获得准确的外部信息。之后，里程计和建图算法使用这些特征来估计姿势。地图的轨迹（绿色）比里程计的轨迹（红色）更精确。
主要内容
本文做了三个假设来简化系统设计：
·激光雷达是同步的，这意味着不同激光雷达之间的时间延迟几乎为零。
·在校准初始化期间，平台经历充分的旋转和平移运动。
*主激光雷达的局部地图应与辅助激光雷达共享一个重叠的视场，以便在精细化过程中进行特征匹配，以缩短标定阶段。这可以通过移动机器人来实现。
图2显示了M-LOAM的流程。
图2所示为提出M-LOAM系统的完整流程的框图。系统从测量预处理开始。初始化模块为随后基于非线性优化的多激光雷达里程计初始化值，并进行校准优化。根据标定的收敛性，将优化分为在线标定和纯里程计两个子任务。如果校准收敛，我们可以跳过外部初始化和细化步骤，进入纯里程计和建图阶段。不确定性感知的多激光雷达地图保持了一个全局一致的地图，以减少里程计漂移和去除噪声点。
数据预处理
将点云分割成多个簇，去除噪声，然后提取边缘和平面特征。
A.对噪声进行分割
在已知激光雷达垂直扫描角度的情况下，可以将原始点云投影到距离图像上，而不需要数据丢失。在图像中，每个有效点由一个像素表示。像素值记录从一点到原点的欧氏距离。我们应用分割方法将像素分成多个簇。假设水平或垂直方向上的两个相邻点与激光束大致垂直（>60度）时，它们是同一物体的。我们采用广度优先搜索算法遍历所有像素，确保时间复杂度不变。我们放弃小集群，因为它们在优化中可能提供不可靠的约束。
B.特征提取与匹配
从测量值中根据曲率选择一组特征点。
系统初始化
多个激光雷达的优化状态是高度非线性的，需要进行初始预测。根据运动和外部初始化方法，它不需要传感器套件的任何事先机械配置。它也不需要任何人工操作，因此对自主机器人特别有用。
A.基于扫描的运动估计
在每个激光雷达的两个连续帧之间找到对应关系的基础上，我们通过最小化所有特征的残差来估计帧到帧的变换。如图3所示，残差由边缘和平面对应表示。
图3.平面和边缘残差。红点表示参考点，绿点表示其对应点
B.多激光雷达系统的标定
通过对准两个传感器的运动序列得到初始的外参信息。这被称为解决handeye校准问题AX=XB，其中A和B是两个传感器的转换关系，X是它们的外部变量。
带校准细化的紧耦合多激光雷达里程计
以初始预测为输入，提出一个紧耦合的M-LOAM来优化滑动窗口内的所有状态。这一过程的灵感来自最近在多传感器系统BA调整、基于图形的形成和边缘化研究的成功。
图4 显示了基于图形的公式。我们使用p来索引窗口的枢轴状态，并将xp设置为局部点图的原点。
在线校准优化
我们利用基于地图的测量来细化粗略的初始化结果。在这里，我们将外参标定视为一个配准问题。标定算法的伪代码如下
实验
我们在三个平台上进行模拟和真实实验，以测试中M-LOAM的性能。首先，我们在所有的平台上标定多个激光雷达系统。将该算法与SOTA方法进行了比较，介绍了两种评价指标。其次，我们展示了在室内环境和室外城市道路的各种情况下M-LOAM的SLAM性能。此外，为了评估M-LOAM对外参误差的敏感性，我们在手持设备和车辆上测试了不同程度的外部扰动。最后，对不同激光雷达组合下的M-LOAM性能和计算时间进行了综合评价
A.实现细节
我们使用PCL库来处理点云，使用Ceres解算器来解决非线性最小二乘问题。在未指定的实验中，我们的算法运行在 i7 CPU@4.20 GHz 和 32 GB RAM系统上。三个不同的多激光雷达系统平台进行了测试：一个模拟机器人，一个手持设备，和一辆车。真实平台上的激光雷达与以ns级精度触发的外部GPS时钟。
*模拟机器人（SR）建立在Gazebo上。两个16束激光雷达安装在移动机器人上进行测试。建造了一个封闭的模拟矩形房间。设置激光雷达配置，以最大化传感覆盖范围。在房间里以平均0.5米/秒的速度移动机器人。提供了基本事实的外在因素和姿态。
*真正的手持设备（RHD）用于手持测试，如图6所示。其配置与SR类似。除了两个VLP-16s4外，我们还安装了一台用于数据采集的微型计算机（Intel NUC）和一台用于记录测试场景的相机（mvBlueFOX-MLC200w）。用这个设备在校园里收集数据，平均速度为2米/秒。
图6.（a）用于室内测试的真实手持设备。两个VLP-16分别安装在左侧和右侧。附带的摄像机用于记录测试场景(b） 校准点云由左（红色）和右（粉色）激光雷达的点组成。
*真正的车辆（RV）是用于自主物流运输的车辆。在这个平台上进行了实验，以证明系统在大规模的、具有挑战性的户外环境中也有很好的表现。如图7所示，四个RS-LiDAR-16s5分别刚性安装在顶部、前部、左侧和右侧位置。我们以3米/秒的平均速度在城市道路上行驶。
图7.（a）用于大规模室外实验的真实车辆。四个RS-16分别安装在顶部、前部、左侧和右侧位置(b） 校准点云由顶部（红色）、前部（绿色）、左侧（蓝色）和右侧（粉色）激光雷达的点云组成。
标定结果
用本文方法对所有平台的多激光雷达系统进行了标定。为了初始化外参系统，通过足够的旋转和平移来手动移动这些平台。表三报告了由此产生的外参因素，其中测试了两个模拟案例（相同的外部因素，不同的运动）和两个真实案例。由于空间有限，我们只演示了车辆顶部激光雷达和前部激光雷达之间的校准。
我们将M-LOAM与两种基于SOTA的开源LiDARbased算法进行了比较：A-LOAM6和LEGO-LOAM7。这两种方法都直接将标定后的合并点云作为输入。相比之下，我们的方法将滑动窗口估计公式化为融合点云。我们的系统是更完整的在线校准，不确定度估计和概率地图。LEGO-LOAM是一个地面优化系统，需要水平安装激光雷达。它很容易在SR和RV上失效。为了满足实时性要求，我们在10Hz下运行了里程计，在5Hz下运行了地图。
1） 模拟实验：将SR移动到5条相同起始点的路径上，验证了该方法的有效性。每个序列进行10次试验SLAM测试，每次试验时，在点云上加入标准差为0.05m的零均值高斯噪声。M-LOAM的地面真值和估计轨迹如图11所示。
室内实验
第一个实验是在一条又长又窄的走廊里进行的。这是一个典型的约束条件较差的环境。在图14中，我们展示了M-LOAM的样本姿势RHD01corridor上生成的地图。
图14.（a）通过MLOAM估计协方差并在RHD01corridor上生成地图的样本姿势侧视图。下面的蓝色地图由M-LOAM-wo-ua创建。上面的红色地图是用M-LOAM创建的。由M-LOAM计算的姿态协方差被可视化为蓝色椭圆。大半径表示姿势的高度不确定性。在x，z方向的姿态估计是退化和不确定的，使得天花板和地面上的地图点有噪声。M-LOAM通过平滑噪声点来保持地图质量(b） 场景图像。
室外实验
M-LOAM的轨迹与真值情况和构建的地图与图18中的谷歌地图一致。我们在图19中展示了M-LOAM、M-LOAM-wo-ua、A-LOAM和LEGOLOAM的RPE。其中A-LOAM的误差最大。M-LOAM-wo-ua和M-LOAM与LEGO-LOAM具有竞争性。此外，M-LOAM的离群项也比其它方法少。
图18.根据RV序列（总长度为3.23km）上的真值绘制城市道路和估计轨迹的结果。这些点的颜色从蓝色到红色不等，表示海拔高度的变化(−5米至105米）
总结
在本文中，我们提出了一个完整和稳健的解决方案，多激光雷达外部校准和SLAM。该方法具有快速分割去噪、运动和外部初始化、在线外部校准和收敛识别、紧耦合M-LO和不确定性感知的多激光雷达成像等特点。进行了广泛的实验，包括从室内办公室到室外城市道路的场景进行评估。我们的方法为不同的平台校准了多种激光雷达系统。它的平移精度为厘米，旋转精度为分贝，可与基于SOTA目标的方法相媲美。对于SLAM，该系统在中尺度（>150m）场景下的定位精度一般在40cm以下，在大型城市道路（>3.2km）场景下的定位精度一般在几米以下。为了社区的利益，我们将实现开源。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。