AR Mapping:高效快速的AR建图方案
文章：AR Mapping: Accurate and Efficient Mapping for Augmented Reality
作者：Rui Huang1 , Chuan Fang, Kejie Qiu, Le Cui, Zilong Dong, Siyu Zhu, Ping Tan
编译：点云PCL
来源：arXiv 2021
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起每交流一起进步,有兴趣的可联系微信：920177957。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
摘要
虚拟增强现实技术越来越受到研究界和工业界的重视。通过将数字信息和内容叠加到物理世界上，AR使用户能够以更信息化、更高效的方式体验世界。定位作为AR系统的一个重要组成部分，定位的目的是在已知的环境中从预先构建的由视觉和深度信息组成的“地图”中确定设备的姿态。虽然定位问题在文献中得到了广泛的研究，但AR系统的“map”却很少被讨论。
在本文中，我们介绍了一种特殊场景的AR建图，它由具有6个自由度姿态的RGB图像组成，每个图像有稠密深度图和完整的点云图。这里提出了一个有效的端到端的解决方案来生成和评估AR地图，首先，为了有效地获取数据，提出了一种背包扫描装置，该装置具有统一的校准流程。其次，提出了一个AR建图流程，它接收扫描设备的输入，生成精确的AR地图。最后，我们提出了一种利用高端激光扫描仪的高精度重建结果来评估AR地图精度的方法。据我们所知，这是第一次提出一个端到端的解决方案，以高效和准确地建立AR地图的应用。
图1：两个大场景的AR地图：西城（第一排）和EFC购物中心（第二排）。从左到右依次显示捕获的彩色图像、对应的深度图和由点云图重建的三维模型。
介绍
本文介绍了可用于任何AR系统的AR建图方案，为确保AR地图满足AR应用的要求，需要考虑以下问题。
如何有效地获取场景的视觉和深度信息，以便AR地图能够以低成本频繁更新。
如何设计绘图系统来处理原始数据并生成精确的AR地图，局部区域的深度和几何精度对于某些任务至关重要，例如AR系统中的遮挡检测和真实感渲染。
如何评估AR地图以确保其精度满足AR应用的要求。
本文提出了一个端到端的解决方案来生成和评估AR地图。首先，我们提出了一种背包式的扫描装置，装有2个多束激光雷达、4个鱼眼镜头的全景相机和一个惯性测量单元（IMU）。激光雷达是一种主动传感器，通过向目标发射激光直接测量距离，与RGB相机相比，它们不受光照条件或环境纹理丰富性的影响，利用多光束激光雷达获取密集深度，利用全景相机获取彩色图像，为了校准具有多个型号传感器的设备，通常需要所有传感器之间有重叠的FOV时手动放置校准板，并且我们这里进一步提出一个统一的外参校准方法，只需要一次安装和数据采集，随后的校准过程是完全自动化的。
其次，我们提出了一个基于激光雷达的雷达地图系统来构建精确的点云地图，传统的激光雷达里程计和地图系统侧重于运动估计，建图过程通常通过将点云转换为全局帧来完成，为了确保有效且准确的地图绘制流程，我们首先在经典的LOAM系统的基础上引入了一个改进的lidar里程计模块，这些改进包括增强的特征选择模型和去除异常值的过滤策略。为了修正大规模场景中里程计的累积误差，进一步提出了一种基于子地图的全局优化模块，该模块利用回环检测和相邻子地图之间的一致性约束对全局轨迹进行优化，该模块在保持局部地图一致性的同时，消除了漂移误差，最后由稳定的地图融合模块生成最终的点云地图。通过使用足够的观测值强制地图点，此模块确保即使在高度动态的环境中也能获得干净的地图，一旦获得优化的全局轨迹和点云图，就可以从lidar姿态中插值彩色图像的相机姿态，并从重建的三维网格中绘制相应的深度图，得到的AR地图。
最后，我们给出了一种基于高端激光扫描仪高精度点云重建的AR地图精度评估方法，根据局部一致性评价了稠密深度图和彩色图像6自由度姿态的精度。实验表明，该系统能够有效地生成精确的AR地图。
主要内容
背包扫描系统
A.硬件设计
背包扫描系统是为AR建图而设计的，如图3所示，它由两个16束RoboSense激光雷达、一个MTi-3 AHRS IMU和一个带有4个鱼眼镜头的Tech360 Anywhere全景相机组成，所有传感器都由时间服务器同步。两个激光雷达扫描面之间的夹角约为25度。当激光雷达连续旋转时，它在0.1秒内旋转360度，产生75个数据包。每个包的时间戳也与时间服务器同步，时间服务器发送100hz的脉冲信号触发IMU的测量。在扫描环境时，操作员携带背包系统和用于控制的触摸板。当需要拍摄彩色图像时，操作员停止行走，按下平板上的“拍摄”按钮，从全景相机的镜头中拍摄4张图像。激光雷达的数据与IMU的测量数据进行融合，生成点云图和每次扫描的6自由度姿态。根据点云图、lidar姿态以及lidar与相机镜头之间的外参，生成每幅彩色图像的稠密深度图。
图3：我们的背包系统的硬件设计和组件（左）以及一个携带背包的操作员和一个用于数据采集的触摸板（右）。
B .统一高效的多传感器标定
我们使用Furgale等人提出的方法来标定全景相机和IMU的固有参数，然后，我们提出了一种有效的背包扫描系统的外部校准方法。首先，如图4所示，我们通过在墙上密集放置CCTag标记，建立了一个标定环境（在我们的例子中是一个4.8 m×3.4 m×3 m的房间）。对标记的位置没有严格要求，但相邻标记之间的距离一般小于20cm，然后，我们使用高精度激光扫描仪Leica BLK360重建标定室的彩色密集点云。所有标记位置都可以通过检测房间渲染图像中的CCtags或手动标记来确定，这样，我们就可以对房间进行稀疏重建，包括所有标记的三维位置，注意，校准环境只需设置一次，以标定室为共同参考系R，估计每个lidar和相机镜头到参考系R的变换，从而得到不同传感器之间的相对姿态。
图4：（a）安装在三脚架上的高精度旋转激光扫描仪徕卡BLK 360(b） 用徕卡BLK360在一个点上捕捉到的彩色密集点云。地面上的空白区域是由三脚架的遮挡造成的。
AR建图系统
A.系统概述
从背包扫描设备生成的原始数据包括激光雷达每次扫描的点云、IMU测量值和4个鱼眼镜头的图像，然后将原始数据输入AR建图系统以生成AR地图，首先，激光雷达里程计系统为每次扫描数据输出不倾斜的点云和6自由度姿态，为了修正里程计中积累的漂移误差，激光雷达里程计的结果在全局优化模块中进行优化，该模块旨在保证点云地图的全局一致性和局部一致性。在此基础上，采用基于离群点滤波的地图融合策略，进行稳定的lidar地图绘制。最后，利用lidar姿态插值彩色图像的姿态，由点云图绘制稠密深度图。AR建图系统的流程如图2所示。
图2：使用背包扫描系统和AR鉴于与系统生成AR地图的端到端解决方案。
B .基于改进特征的激光里程计系统
对于每一次扫描数据，边缘和平面特征提取的基础上，“曲率”分数计算从相邻点之间的距离，然后通过求解点对线或点对平面迭代最近点（ICP）问题估计扫描点云帧到点云帧的运动，在线的构建由特征组成的地图，并将每次扫描进一步配准到特征地图以进行姿态优化，利用IMU的测量数据进行运动预测，消除激光雷达运动引起的点云数据畸变。
图8显示了位姿图和全局优化之间的比较，全局优化后的地图更加一致。
C .全局优化
在大尺度场景下，由激光雷达里程计生成的点云地图通常存在累积漂移误差，这会导致背包扫描两次的循环点的地图不一致，在保证地图一致性的同时，采用了基于子系统的闭环和全局优化策略来优化轨迹，传统的激光雷达里程计系统利用姿态图来优化激光雷达的轨迹，但是，这种方法只在循环点处强制位姿的一致性，而全局忽略贴图一致性，为了解决这个问题，我们采用了类似于稀疏曲面调整的方法，并在姿态和地图点的约束下优化最终轨迹。
图9：这里展示了在一个繁忙的办公室里构建的点云地图，人们经常走动。左侧显示简单拼接后所有点云的结果，右侧显示稳定的建图的结果。
D .稳定地图构建
一旦完成了全局优化，就可以通过使用所有扫描点云的位姿来拼接所有扫描点云来构建完整的点云地图。在原始LOAM系统中，仅由稀疏特征点组成的地图被在线维护，将特征图划分为大小为dc×dc×dc（实现中dc=50m）的立方体，将扫描点添加到特征图中后，通过体素网格过滤器对相应立方体中的点云进行下采样。
E .图像位姿插值与深度图绘制
到目前为止，我们已经为每次扫描优化了位姿和一个完整的点云地图，然后根据时间戳对彩色图像的相机姿态进行插值, 使用泊松曲面重建从点云地图生成3D模型，并用于渲染稠密的深度地图。
实验
A.点云地图精度评估
为了评估我们背包系统的绘图精度，使用高精度激光扫描仪Leica BLK360捕捉不同环境下的点云地图作为地面实况，将背包的地图结果与3个不同场景下的地面真值地图进行了比较：（a）45m×23m的办公楼层(b） 100m×50m校园楼地面(c）100m×60m室外空地。
图10显示了徕卡BLK360的点云地图和AR地图，通过手动选择相应的点并进行ICP配准来对齐两幅地图
表一显示，室内环境的测绘精度低于0.05m，室外环境的测绘精度低于0.10m。
表二显示了地图捕获的时间，与高成本的工业激光扫描仪相比，背包扫描系统产生的地图具有相当的精度和更高的效率
B .位姿和深度图精度评估
这里进一步评估了在西城和西湖两个大型购物中心拍摄的AR地图上6自由度姿态和深度图的精度。每个商场有5层，每层面积约2000平方米。
图11：（a）来自徕卡BLK360的高精度地图，（b）来自AR建图的结果，（c）和（d）显示了AR建图系统和LIO-SAM的地图质量之间的比较。
C .AR地图在定位中的应用
我们进一步验证了AR-Map在实际AR应用中的有效性，用iphone11手机采集了一组分辨率为3024×4032像素的图像，对于每个图像，首先使用deep image retrieval在AR-Map中搜索场景图像，然后手动标注图像与场景图像之间的特征对应关系，最后，在已知深度信息的情况下，通过求解3D-2D PnP问题，可以很容易地计算出手机图像的6自由度姿态。如图所示，示例查询和检索的场景图像与它们在地图中的姿势一起呈现，如果PnP得到的内联线数大于8，则可以将这些图像成功地定位。110幅查询图像中有97幅（88.2%）可以定位，表明AR地图能够支持大场景下的定位任务。
图14：西城商城AR地图中（a）场景图像和（b）手机采集图像的示例和相机姿态。
表三：数据集WestCity和WestLake中e1和e2的定量评估。在每个单元中，我们在第一行显示欧氏像素误差，在第二行显示归一化角度误差。
总结
在本文中，我们提出一个端到端架构来建立和评估AR地图，设计了一个背包扫描系统，采用统一的校准方法进行有效的数据采集，并通过AR建图系统对原始数据进行进一步处理，生成精确的AR地图，特征滤波策略和基于子地图的全局优化模块保证了轨迹估计的准确性，稳定的地图模块能够融合激光雷达扫描数据，即使在高度动态的环境也能产生高质量的点云地图，最后，我们提出了对AR地图进行系统评价的方法。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享