SA-LOAM:具有语义辅助的回环检测LOAM系统

文章:SA-LOAM: Semantic-aided LiDAR SLAM with Loop Closure

作者:Lin Li1 , Xin Kong1 , Xiangrui Zhao1 , Wanlong Li2 , Feng Wen2 , Hongbo Zhang2 and Yong Liu

编译:点云PCL

代码:暂未开源(有希望开源)

本文仅做学术分享,如有侵权,请联系删除。欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈。内容如有错误欢迎评论留言,未经允许请勿转载!

公众号致力于分享点云处理,SLAM,三维视觉,高精地图相关的文章与技术,欢迎各位加入我们,一起每交流一起进步,有兴趣的可联系微信:920177957。本文来自点云PCL博主的分享,未经作者允许请勿转载,欢迎各位同学积极分享和交流。

摘要

基于激光雷达的SLAM系统是一种更精确和稳定的系统,但其闭环检测仍然是一个悬而未决的问题。随着点云三维语义分割技术的发展,可以方便、鲁邦地获取点云的语义信息,是实现高水平智能化的关键,有利于SLAM的实现。在这篇文章中,作者提出了一种新的基于LOAM的语义辅助lidar-slam,称为SA-LOAM,它充分利用里程计和回环检测中的语义信息,具体来说,提出了一个语义辅助的ICP方案,包括语义匹配、下采样和平面约束,并在回环检测模块中集成了基于语义图的位置识别方法,借助于语义信息,可以提高定位精度,有效地进行闭环检测,甚至在大规模场景中也可以构造一个全局一致的语义地图。在KITTI和Ford校园数据集上的大量实验表明,该系统显著提高了LOAM性能,对未知数据具有泛化能力,取得了与现有方法相比较有竞争力的结果。

图1:语义辅助LOAM在KITTI数据集01上构建的语义图,不同的颜色代表不同的语义信息,放大的点是图的节点。上图给出了一个基于语义图的回环检测实例。

介绍

论文的回环检测模块是基于之前的工作,它将3D场景转换为语义图,并通过图匹配深度学习网络获得场景相似度,我们将其与回环候选生成、几何验证相结合,并维护一个轻量级的语义图,以实现高效、稳定的回环闭合检测。图1展示了结果。我们的贡献如下:

·提出了一个完整的基于LiDAR的语义SLAM系统,即使在大规模场景中也能构建一个全局一致的语义地图。

·提出了一种基于LOAM的语义辅助ICP方法,充分利用了语义信息,提高了里程计的精度。

·在系统中集成了一种基于语义的回环检测方法,并维护了一个图形地图,以便有效地进行回环检测并消除累积的错误。

·在KITTI和Ford Campus数据集上的实验表明,与最先进的方法相比,该系统实现了具有竞争力的性能。

主要内容

A.系统概述

在这一部分,我们对所提出的语义信息辅助激光雷达SLAM系统进行了全面的介绍。图2是我们的方法的流程。首先将原始点云P送入现成的语义分割方法中,得到具有逐点类标签的语义点云S、 L是语义范畴的个数,然后语义点云S被发送到里程估计模块以提取平坦的平面特征和梯度明显的边缘特征,这些特征随后被用于通过与局部地图配准的方法来估计里程信息,同时,将语义点云S转换为语义图表示为G,并进一步输入到回环检测模块,当检测到一个闭环时,我们将更新姿态图并优化姿态,因此可以逐步提高全局语义地图的质量。

图2 方法的流程图

B 语义信息辅助ICP

LOAM利用边缘和平面特征来配准点云,实现准确快速的建图和定位,我们利用语义信息对该方法进行了扩展,具体改进如下:

·首先,受SE-NDT文章的启发,我们将特征分别按语义标签和配准进行划分,降低了误匹配的概率。

·其次,根据点云的语义标签分别对点云进行降采样,同时为了提高效率,现有的方法大多通过体素网格滤波对点云进行降采样。然而,一些包含有用信息的小对象将不可避免地被过滤掉。我们是基于语义的下采样对不同类型的对象使用不同的采样率,并且可以有效地维护小对象的信息,如图3所示。

·第三,我们利用语义来约束平面拟合,基于地平面应平行于水平面且垂直于建筑表面的假设,可以去除拟合不良的平面。

图3:提出的基于语义信息的下采样后可视化结果。大多数方法采用体素网格下采样,造成小目标的信息丢失,而我们的方法有效地保留了有价值的小目标点

C 基于语义信息的回环检测

回环检测模块主要包括回环候选生成、相似性评分、几何验证和位姿图优化,候选生成部分根据里程计提出潜在的环路候选,相似性评分是基于我们之前的工作,它通过一个图相似性网络快速估计成对语义图的相似性,对遮挡和视点变化具有鲁棒性,然后,利用ICP进行几何验证,排除可能的错误方案,避免灾难性的误报闭环,最后,通过位姿图优化来更新更精确的位姿。

实验

在这一部分,设计了实验来证明:

(1)我们的语义辅助ICP可以有效地提高里程计的精度;(2)我们的基于语义的环路闭合检测模块可以有效地减少累积误差,帮助建立一个全局一致的地图;

(3)我们的系统具有对不可见数据的泛化能力。

为了评估每一个提出方案是如何有助于提高性能,这里分别提出了基于语义信息辅助里程计和通过回环检测闭合进一步优化后的里程信息进行比较,此外,将我们的方法与几种最先进的基于纯激光雷达的SLAM方法进行了比较,如LOAM、FLOAM、SUMA、SUMA++和ISC-LOAM。

为了验证方案泛化能力,在Ford Campus数据集上进行了实验,评估了RTE和ATE。方法中使用的所有模型都是在KITTI上预先训练的,在训练阶段从未见过Ford 的数据。

图5显示Ford数据集的序列01上的相对平移误差。由于所有方法的参数都在KITTI上进行了调整,因此它们在Ford上的性能通常较差。然而,基于SUMA的方法受到的影响更为严重,因为我们发现由于传感器设置的不同,投影图像比KITTI上的投影图像稀疏。在所有方法中,我们的算法相对误差最小。

表IV显示了ATE,我们的循环在两个序列上都优于其他循环,此外,在所有的方法中,只有我们的LOOP成功地纠正了图6所示的LOOP闭包,注意Ford上的语义切分比KITTI上的要差得多,如图7所示,这将不可避免地影响后续的性能,SUMA++和我们的方法使用相同的语义,而我们的方法执行得更一致,受益于语义图表示。

总结

本文提出了一种具有回环检测的语义信息辅助激光雷达SLAM系统,利用语义信息来提高点云配准的精度,并设计了基于语义图的回环检测模块来消除累积误差,在KITTI基准数据集上的评估结果表明,基于语义的ICP能够有效地提高里程计的精度,基于语义的循环闭合检测对于构建大规模场景下的全局一致性地图至关重要,在Ford校园数据集上的实验表明,该方法可以推广到更多的三维场景,达到了最先进的性能。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测:MV3D-Net

三维点云分割综述(上)

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)

win下使用QT添加VTK插件实现点云可视化GUI

JSNet:3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看:点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦!

【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔:非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

(0)

相关推荐

  • ICRA2021| Intensity-SLAM:基于强度辅助的大规模环境定位和建图

    计算机视觉工坊 128篇原创内容 公众号 论文.代码地址:在公众号「3D视觉工坊」,后台回复「Intensity-SLAM」,即可直接下载. 摘要:SLAM是一项基于传感器感知(如LiDAR和相机)可 ...

  • ​最全综述 | SLAM中回环检测方法

    快速获得最新干货 在视觉SLAM问题中,位姿的估计往往是一个递推的过程,即由上一帧位姿解算当前帧位姿,因此其中的误差便这样一帧一帧的传递下去,也就是我们所说的累积误差.一个消除误差有效的办法是进行回环 ...

  • 收藏 | SLAM快速入门

    仅做学术分享,如有侵权,联系删除 转载于 :作者 | Channon@CSDN https://blog.csdn.net/Cai_deLong/article/details/108465850 0 ...

  • SLAM优秀开源工程大汇总

    整理了三次方AIRX团队平时学习SLAM的一些开源工程.书籍.论文项目等. 1.Cartographer Cartographer是一个系统,可跨多个平台和传感器配置以2D和3D形式提供实时同时定位和 ...

  • SC-A-LOAM:在A-LOAM中加入回环检测

    Thanks to LOAM, A-LOAM, and LIO-SAM code authors. The major codes in this repository are borrowed fr ...

  • 清代女词人写给闺蜜的一首词,巧用叠字回环咏叹,才情不输李清照

    自古巾帼不让须眉,提起宋词首先进入我们脑海的可能是苏轼,辛弃疾等:但是除此之外千古第一女词人李清照也是宋词的第一梯队.本文小编要给大家分享的这首词作者完全不输李清照,特别是今天分享的这首词甚至有些地方 ...

  • 苏东坡的回文诗词:回环往复,意味无穷

    回文诗词可谓中国文坛上的奇观.翻阅东坡集,发现苏轼也曾是这类诗作的身体力行者.他一生多才多艺,琴棋书画.诗文词赋.药膳养生等样样精通,尤工诗文字艺,善吟风花雪月山水古迹.特别在他宦海沉浮,遭谗外放之后 ...

  • 苏东坡巧赋回文诗:首尾回环,意趣盎然

    回文诗词可谓中国文坛上的奇观.翻阅东坡集,发现苏轼也曾是这类诗作的身体力行者.他一生多才多艺,琴棋书画.诗文词赋.药膳养生等样样精通,尤工诗文字艺,善吟风花雪月山水古迹.特别在他宦海沉浮,遭谗外放之后 ...

  • NBA史上5大逆天拉杆,J博士空中大回环,穆雷欲与乔丹试比高

    NBA史上5大逆天拉杆上篮,J博士空中大回环,穆雷欲与乔丹试比高

  • 小说测评《马戏团离镇》|回环变奏的习作

    作者:Ansel 校对:LITCAVE工作室 配图:online 卧斧的这篇其实是和先前的<雨狗空间>一同再版的,这篇中篇相对成熟一些.讲述了一个孩子进入一个即将离镇的奇幻马戏团后的故事. ...

  • 本地回环地址

    本地回环地址 127.0.0.1,通常被称为本地回环地址(Loopback Address),不属于任何一个有类别地址类.它代表设备的本地虚拟接口,所以默认被看作是永远不会宕掉的接口.在Windows ...

  • 玩转“大回环”!侦察班长手把手演示“单杠1到8练习”动作要领!

    作者|陈凯.张向阳 单杠是部队最常见的训练器材 相信小伙伴们都在单杠场挥洒过汗水 作为军队器械体操的重要内容 "单杠一到八练习"的训练 可以增强人体协调性 增加上肢和背部肌肉群力量 ...