基于消失点的相机自标定（2）
标题：Camera calibration using two or three vanishing points
作者：Radu Orghidan∗, Joaquim Salvi†, Mihaela Gordan∗ and Bogdan Orza∗
来源：分享者
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
摘要
本文分两个篇幅，第一篇查看：基于消失点的相机自标定（1）
相机是通过透视投影变换来将3D场景转换为2D图像。在射影变换中，平行线相交于一点称之为消失点。本文详细介绍了两种利用消失点特性的标定方法。目的是为根据实际应用和初始条件选择合适的标定方法提供一个实用的工具。这里详细介绍了两种不同消失点的方法进行相机标定，并进行了比较。首先，利用合成数据对这两个模型进行了分析。最后，对每种方法进行了实际标定结果进行测试，结果证明了标定的质量。
主要内容
用两个VPs进行合成相机标定
使用两个VPs进行校准的合成设置如图3所示。放置在世界参考系中的共面点，使用理想相机模型进行投影。从得到的图像中，提取两个VP，如图4所示。当噪声级增加时，VPs开始从原来的位置移动。图5示出V1比V2更受噪声的影响，因为它位于距离图像中心更大的距离处
图3 实验装置 使用两个VPs校准相机机
图4 两个正交方向的VPs。
图5 噪声导致的VPs偏差。
用三个VPs进行合成相机标定
使用指向三维点云的虚拟相机形成的设置分析了三个VP的摄像机校准，如图6所示。三维点属于世界参考系中的两个正交平面，由模型相机成像后这三个VP是从图像中提取的，如图7所示。图像中心的位置也表示为由三个vp构成的三角形的正中心。由于平行线方程的变化和交点的变化，噪声水平会影响VPs。当处理三个VP时，它们的位置随距图像中心的距离成比例地变化，如图8所示。
图6 实验装置 使用两个VPs校准相机机
图7 三个正交方向的VPs和图像中心
图8 噪声导致的VPs偏差。
噪声鲁棒性分析
对两种校准方法的校准过程的输出进行了评估，并比较了误差随噪声的变化情况。图9示出了使用从噪声图像校准的两个照相机模型获得的投影误差。图10示出了内在参数的演变。外部参数也越来越偏离理想值，如图11所示。正如预期的那样，在所有情况下，误差都会随着噪声级的增大而增大。在一定的噪声水平下，两种校准方法都有相似的行为。然而，使用两个VPs的方法在高噪声下表现出更好的性能。这是因为校准平面之前已被选为12种可能配置中的最佳初始解决方案
图9 利用由噪声图像标定的相机模型的投影误差。
图10 基于噪声图像标定的摄像机模型的内参数估计误差。
图11 利用由噪声图像标定的摄像机模型估计外部参数的误差。
使用两个真实的VPs进行相机校准
2个VPs校准用一个真实的相机进行测试。根据图像分三步计算VPs的位置。首先，使用Bouguet[3]的相机校准工具箱的功能检测到图案的点，见图12。然后，将平行线拟合到VP方向上的点上。最后，利用奇异值分解法求解超定线性方程组，得到其最佳交点，如图13所示。相机使用标定板标定作为结构光重建手部实验的一部分，图14是重建后的手部模型证明结果是正确的。
图12 根据标定棋盘格提取的角点
图13 平面标定板中的VPs检测
图14 使用结构光系统进行手部重建。
使用三个真实的VPs进行相机校准
使用三个VPs进行相机校准被应用于使用Google SketchUp重建三维立方体。拍摄了两张立方体的图像，见图15，使用立方体产生的三个消失点计算相机的参数和相对于世界的位置。利用对应关系和摄像机模型，对两幅图像进行物体重建，并对纹理进行相应的映射，如图16所示
一个立方体的两个图像，呈现三个消失点
用三个VPs标定相机并从两幅图像重建立方体
总结
本文详细介绍了两种基于消失点的摄像机标定方法，并对它们进行了标准化的数学形式化描述。我们的目标是分析这些方法的性能，并强调它们的优缺点。就校准设置的复杂性而言，仅使用两个VP的方法显然更易于使用，因为我们只需要一个能够在正交方向上产生两个VP的简单平面图案。但是，相机必须小心地相对于校准模式定向，以避免在无穷远处获得VPs。此外，在定义世界参考系时必须特别小心，因为两个VP可以沿任意两个轴放置。因此，这种校准方法更适用于控制配置，在这种配置中，可以对摄像机相对于世界的方向有很好的初始估计。关于对噪声的鲁棒性，在完全控制的仿真条件下，这两种方法具有相似的性能，达到了合理的噪声水平，由于更严格的初始约束，两种VPs方法的性能稍好一些。选择一种方法而不是另一种方法的一个原因是从可能的应用程序的角度出发。有时在场景中不可能有一个完全确定的三维结构，二维平面可以更容易地找到。另一方面，如果可以确定一个三维结构，我们可以受益于更稳健的校准，因此，结果模型更准确。
参考文献
向上滑动阅览
[1] Paul Beardsley and David Murray. Camera calibration using vanishing points. The British Machine Vision Conference (BMVC), pages 416–425, 1992.
[2] Michael Bosse, Richard Rikoski, John Leonard, and Seth Teller. Vanishing points and three-dimensional lines from omni-directional video. The Visual Computer, 19:417–430, 2003.
[3] J. Bouguet. Camera calibration toolbox for matlab, 2004.
[4] B. Caprile and V. Torre. Using vanishing points for camera calibration. Int. J. Computer Vision, 4(2):127–140, 1990.
[5] X. Chen, J. Davis, and P. Slusallek. Wide area camera calibration using virtual calibration object. Proc. CVPR 00, pages 2520–2527, 2000.
[6] R. Cipolla, T. Drummond, and D. Robertson. Camera calibration from vanishing points in images of architectural scenes. BMVC99, pages 382–391, 1999.
[7] Guillou E., Meneveaux D., Maisel E., and Bouatouch K. Using vanishing points for camera calibration and coarse 3d reconstruction from a single image. The Visual Computer, 16:396–410, 2000. [8] Hall E.L., Tio J.B.K., McPherson C.A., and F.A. Sadjadi. Measuring curved surfaces for robot vision,. Computer, 15:42, 1982.
[9] O. D. Faugeras and G. Toscani. The calibration problem for stereo. Proceedings of IEEE Computer Vision and Pattern Recognition, pages 15–20, 1986.
[10] L. Grammatikopoulos, G. Karras, and E. Petsa. Camera calibration combining images with two vanishing points. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences., 35(5):99–104, 2004.
[11] R. Hartley and R. Kaucic. Sensitivity of calibration to principal point position. pages 433–446, 2002.
[12] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision – 2nd Edition. Cambridge University Press, 2004.
[13] B.W. He and Y.F. Li. A novel method for camera calibration using vanishing points. 14th International Conference on Mechatronics and Machine Vision in Practice, pages 44 – 47, 2007.
[14] J. Heikkila and O. Silven. A four-step camera calibration procedure with implicit image correction. CVPR, page 1106ij1112, 1997.
[15] J. Kogecka and W. Zhang. Effcient computation of vanishing points. IEEE International Conference on Robotics and Automation, 1:223–228, 2002.
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享