基于点云强度的3D激光雷达与相机的外参标定

本文提出一种新颖的方法，可以对3D lidar和带有标定板的相机进行全自动的外参标定，提出的方法能够从lidar的每一帧点云数据中利用强度信息提取标定板的角点。通过激光的反射强度和棋盘格颜色之间的相关性的约束来优化将棋盘格分割的模型，所以一旦我们知道了3D 点云中棋盘的角点，那么两个传感器之间的外部校准就转换成了3D-2D的匹配问题。相应的3D-2D点计算两个传感器之间的绝对姿态一般使用的方法是UPnP，此外，将计算出来的参数作为初始值，并且使用LM优化方法进行完善，使用了仿真的方法评估了3D 点云中提取角点的性能，在论文 中使用了Velodyne HDL 32雷达和Ladybug3相机进行了实验，并最终证明了外参计算的准确性和稳定性。

github:https://github.com/icameling/lidar_camera_calibration

主要功能介绍

该方案外参数的计算是根据激光雷达的强度和相机进行的全自动的外部参数的标定，这个代码用pathon实现了，同时也出现了C++的延伸版本，算法的主要功能：

（1）velodyne 3D LIDAR采集点云的自动分割。

（2）标定板的自动检测。

（3）标定板点云数据的角点的检测。

（4）外部标定参数的优化。

（5）使用了VTK对点云做了可视化的功能。

该功能是可以适配在VLP-16. HDL-32 HDL-64，论文中使用32线的激光雷达做了数据的测试。

论文图集

总体流程

由激光雷达传感器和全景相机拍摄的同一场景中的数据。（a） 点由反射强度着色（蓝色表示低强度，红色表示高强度）；（b）缩放的棋盘。我们可以看到点云在黑白模式之间反射强度的变化；（c）同一场景的全景图像。

用于估计点云的角点的原理。（a） 棋盘模型；（b）棋盘扫描点云。颜色表示强度（蓝色表示低反射强度，红色表示高反射强度）；（c）找到一个矩阵，该矩阵可以转换对应图案上的大多数三维点。绿点是估计的角点；（d）将棋盘模型的角点看作点云的角点。

20个棋盘位置的分布。棋盘被激光雷达从不同的高度和角度捕获。坐标轴的长度为1米。四组颜色代表每个水平摄像机棋盘的四个位置。（a） 棋盘点云俯视图；（b）棋盘点云侧视图。

总结

将从LiDAR获得的点云数据进行棋盘的分割。基于分割的方法从分段内识别棋盘的点云。通过最小化定义的成本函数来估算点云中棋盘的角点。另一方面，使用现有方法检测图像中棋盘的角点。角点的对应关系是基于预定义的计数顺序构建的。然后，通过解决绝对姿势问题，使用相应的对来估计变换矩阵的初始值。最后，通过LM 的非线性优化的方法来优化结果。