在自动驾驶车辆中，传感器融合是融合来自多个传感器的数据的过程。这一步骤在机器人技术中是必须的，因为它提供了更多的可靠性、冗余度，并最终保证了安全。为了更好地理解，考虑一个简单的例子：一个LiDAR和一个Camera都在看一个行人。如果两个传感器中的一个没有看到行人，将使用另一个作为辅助，以增加检测到行人的机会。如果两个传感器都检测到行人，传感器融合将对行人的位置有一个更准确和自信的了解，使用两个传感器的噪声值，从而可以判断哪个数据更准确。由于传感器是有噪音的，所以创建传感器融合算法是为了考虑噪音，并尽可能做出最精确的估计。当融合传感器时，实际上是在融合传感器数据，或做所谓的数据融合。有几种方法来构建数据融合算法。事实上，有9种。这9种方法被分成3个系列。在这篇文章中，将专注于3种类型的传感器融合分类，以及9种类型的传感器融合算法。最常见的融合类型是按抽象级别。在这种情况下，要问的问题是 " 应该什么时候做融合？"在关于LiDAR和相机融合有人分为早期融合和晚期融合。在行业内，人们对此有其他名称：低级、中级和高级传感器融合。低级传感器融合是指融合来自多个传感器的原始数据。例如，融合来自LiDAR的点云和来自相机的像素。这种类型的融合在未来几年有很大的潜力，因为它考虑了所有的数据。早期的融合（低级）直到几年前还很难做到，因为需要的处理量很大。在每一毫秒，我们可以将几十万个点与几十万个像素融合。
在这个过程中使用了物体检测，但真正在做的是将三维点云投射到图像中，然后将其与像素联系起来。
中层融合 - 融合检测结果
中级传感器融合是指融合独立于传感器数据的检测对象。
如果照相机探测到一个障碍物，而雷达也探测到它，将融合这些结果，以获得对障碍物的位置、等级和速度的最佳估计。卡尔曼滤波（贝叶斯算法）通常是使用的方法.
这个过程很容易理解，并包含几个现有的实现方法。
它在很大程度上依赖于检测器。如果一个失败了，整个融合就会失败。卡尔曼滤波器来拯救!
这里是中级传感器的融合，与之前的例子相同。
在这个例子中，将来自LiDAR的3D边界框与来自物体检测算法的2D边界框相融合。这个过程是有效的；但也可以反过来。可以将3D LiDAR的结果投射到2D中，从而在2D中进行数据融合。最后，高水平的传感器融合是关于融合物体和它们的运动轨迹。不仅要依靠探测，还要依靠预测和跟踪。这个过程要高一个层次，因此受益于同样的简单性优势。一个主要问题是，可能会失去太多的信息。如果跟踪是错误的，那么整个物体的运动状态就是错误的。RADAR和CAMERA之间的数据融合的抽象级别图。
二、按集中化程度分类的传感器融合
对融合算法进行分类的第二种方式是通过集中化水平。在这里，要问的是 "融合在哪里发生？"。主计算机可以做到这一点，或者每个传感器可以做自己的检测和融合。有些方法甚至使用一种叫做卫星架构的东西来做。分散式 - 每个传感器融合数据并将其转发给下一个传感器。分布式--每个传感器在本地处理数据并将其发送到下一个单元（后期融合）。举一个例子，一个经典的自驾车辆，在这种情况下，每个传感器都有自己的计算机。所有这些计算机都与一个中央计算单元相连。与此相反，Aptiv开发了一种架构，他们称之为卫星架构。这个想法是这样的。插入许多传感器，并将它们融合到一个中央单位，处理被称为主动安全域控制器的情报。
在这个过程中，合理的匹配传感器的位置，以及传输信息的类型，可以帮助减少车辆的总重量，并随着传感器的数量而更好地扩展。
下面是左图的情况。
传感器只是 "卫星"。它们在这里只是为了收集原始数据。
360度融合发生在主计算机中：不必安装非常好的传感器，因为不会发生个别检测。
检测是在360°的图片上进行的。
这些是 "集中融合 "的两个例子。当拥有经典的架构时，其他两种类型的融合可以发生。
雷达和摄像机之间的数据融合图，按抽象级别划分。
III - 按竞争程度分类的传感器融合
对传感器融合算法进行分类的最后一种方式是通过竞争水平。竞争性融合是指传感器的目的是相同的。例如，当同时使用雷达和激光雷达来检测行人的存在。在这里，发生的数据融合过程被称为冗余，因此有 "竞争 "一词。互补融合是指使用不同的传感器观察不同的场景，以获得无法获得的东西。例如，在用多个相机构建全景图时。由于这些传感器相互补充，使用 "互补 "一词。最后，协调融合是指使用两个或更多的传感器来产生一个新的场景，但这次是在观察同一个物体。例如，在使用二维传感器进行三维重建或三维扫描时。
