OmniSLAM：多鱼眼相机的SLAM系统 / 开普饭

文章：OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems

作者：Changhee Won, Hochang Seok , Zhaopeng Cui , Marc Pollefeys , and Jongwoo Lim

翻译：分享者

本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。

论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。

●论文摘要

本文提出了多鱼眼相机的定位和稠密SLAM系统，该系统使用超大视角（FOV）鱼眼相机，可以360°覆盖环境的立体环境。为了更实用、更精确的重建，首先引入改进的、轻量的深度神经网络来进行全方位深度估计，它比现有的网络更快、更精确。其次，将鱼眼相机深度估计整合到视觉里程表（VO）中，并添加一个循环闭合模块以实现地图全局一致性。利用估计的深度图，我们将关键点重新投影到另一个视图上，从而得到一个更好、更有效的特征匹配过程。最后，我们将鱼眼相机深度图和估计的姿态融合到TSDF中，得到三维地图。评估了方法在具有真值和数据集上的性能，大量的实验表明，该系统在合成和真实环境中都能产生良好的重建效果。

上图：输入具有挑战性的室内环境的示例图像。下图：一栋复式建筑的稠密重建图，带有估计的轨迹。轨迹的颜色代表高度值。

● 相关工作与介绍

主要贡献总结如下：

（i）提出了一种轻量化和改进的网络鱼眼相机的深度估计。网络的精度、参数个数、运行时间等都比以前的版本有了很大的提高，使本系统更加实用。

（ii）通过将深度图集成到ROVO（鲁棒的视觉里程计）中，并增加回环闭合模块，构建了一个鲁棒的全向视觉SLAM系统。在具有挑战性的室内和大型室外环境中，估算的轨迹精度比以前的版本有所提高。

（iii）提出了一个完整的全方位定位和稠密地图系统，并在合成环境和真实的室内外环境中进行了大量的实验，结果表明我们的系统能够为各种场景生成重建良好的三维稠密地图

系统的流程图。首先使用给定的鱼眼图像估计深度图和位姿。如果可用，深度图将集成到视觉里程计中。将输出深度图和位姿融合到TSDF中，以构建3D地图。在后处理过程中，利用回环模块修正后的姿态建立全局一致的地图。

● 内容精华

A、全深度估计

采用端到端网络OmniMVS，并在此基础上提出了Light-weighted OmniMVS。

B、视觉SLAM

定位也是三维稠密SLAM的重要组成部分，根据提出的ROVO[14]对全向立体鱼眼相机系统的姿态进行了稳健估计。在文章中，ROVO有四个步骤：鱼眼相机的投影、跟踪和匹配、姿态估计和联合优化。首先，将输入的鱼眼图像进行视觉矫正，在投影图像中检测到球的特征。其次，利用KLT对检测到的球体特征进行光流跟踪，并在相邻摄像机之间进行特征匹配。然后，跟踪上的特征被三角化到每个对应的3D点。第三，利用2D-3D特征对应关系，利用多视点P3P-RANSAC初始化姿态，并通过pose only bundle平差（BA）进行优化。最后，利用局部光束平差（LBA）同时对估计的姿态和观测到的三维点进行优化。

C. 基于TSDF稠密地图

为了获得全局的3D地图，将估计的全深度图和姿态融合到TSDF中。