车载立体视觉应用的六大趋势
非常荣幸与各位专家探讨车载立体视觉的发展方向，以及未来中科慧眼产品路线。
通常前视车载立体视觉的主要任务是要在1米到150米之内，实现车辆行驶环境中成像视野范围内的3D信息重建。它能够涵盖目前单目相机感知的任务，同时也能承担一些像毫米波雷达和激光雷达的三维信息重建任务。所以，车载立体双目相机更像是一个单目相机和多线束激光雷达的综合体。
行业内的很多专家也提出，如果单纯靠视觉是无法达到尽善尽美的自动驾驶功能的，所以最终的智能驾驶车辆应该是一个多传感器融合的方案，像激光雷达、毫米波雷达包括视觉都不可或缺。
从全球范围来看，装备了立体相机的前装车辆，2020年接近500万辆，占了整个市场6%-7%的份额。从近几年的趋势来看，车载立体视觉相机的装车率基本上是一个缓慢上升的状态，装配立体相机的汽车品牌分布呈现出哪些特点呢？像奔驰、斯巴鲁、宝马三个品牌占据了前三名，他们属于偏豪华的汽车品牌。
此外，像大发这类微型车厂商也代表了一类对立体相机的需求，这类车型追求极致性价比，仅使用立体相机就满足NCAP测试要求，替代了常见的IR1V方案，解决方案从总成本上降下来了。同时，今年我们还可以看到国产品牌吉利会有大概两款车型装备前视立体相机。
所以我们觉得车载立体相机的应用现状是：豪华车型用于追求更高的性能需求，普通车型用于追求更高性价比需求。
从国外的供应商来看，传统的Tier1在车载立体视觉方案的升级比较保守，今年4月份的上海车展上，日立展示的立体相机还是在200万以下的分别率，同时计算单元和模组依然是一体化的产品，算力和分辨率都比较保守。
那么我们推测的车载立体相机的趋势是什么样的？
趋势一：使用内嵌立体相机匹配模块及CNN加速器的车载域控制器、SoC，融合深度视觉与深度学习的产品将成为趋势
我们可以看到从TI、东芝、海思还有瑞萨等，很多的近期量产的车载算力芯片里面，既有深度学习CNN加速模块，同时也内嵌了立体视觉匹配运算的硬件加速模块。
从大的域控平台来看，大算力也成为了趋势，包括华为的MDC810，地平线的J5，英伟达的ORION都是这样的。传统的分布式传感器布局会向中央域控制器算力集中式布局发展。我们要从传统的嵌入式解决方案提供商，向软硬件解耦的、灵活配置的视觉感知方案供应商方向去发展。
趋势二：广角镜头 + 高分辨率感光器件 + 深度学习网络 + 相机与计算单元分体设计
从去年开始，像大疆、华为，也推出了自己的车载立体相机解决方案。像华为的8.3Mega双目相机是基于MDC平台的方案，22cm基线。大疆展示了两个车载立体相机方案，一个是7.4Mega立体相机，一个是2Mega立体相机，两个方案都是18cm基线，基于TDA4或其他算力平台。
中科慧眼是国内一直在坚持做车载立体视觉解决方案的供应商，我们的第三代车载立体相机平台的模组形式、分辨率、基线、FOV都可以灵活配置，同时立体视觉IP可以配置不同的算力平台，这样可以有效地降低OEM的硬件采购成本和软件使用成本，同时支持设备的OTA升级。
趋势三：立体视觉+深度学习实现单双目功能融合
下面讨论一下立体视觉怎么去迎合自动驾驶的发展。首先立体相机可以与深度学习融合，将立体点云与图像的RGB信息以及纹理信息融合，有利于进行远距离目标的识别及3D测量。
很多时候单目视觉对于颠簸的路况、明暗对比非常强烈的路况、一些破损的路况中的远距离的物体，可以完成检测，但是三维恢复会存在很多不确定性。
复杂光线与颠簸路段
仅基于深度视觉的障碍物检测与测距
深度学习可以更精细更稳定地检测常见的道路参与者，综合多种特征，有利于更远地发现道路参与者。而立体视觉则可以同时实现3D测量与基于点云检测全道路参与者，不受物体类型限制，不受安装位置与姿态限制，动态测距更加稳定，泛化能力更好。
我们将立体视觉和深度学习结合起来，可以在更远的距离发现目标，同时能够利用立体视觉进行三维刻画。
很多厂商都展示过基于深度学习的全场景分析的功能，其实我们很多算法的友商和供应商，他们是用激光雷达或者是工业相机组成的立体相机进行RGBD数据真值采集以及训练，在产品中再利用单目成像的RGB的信息来进行深度学习的结果输出。而我们的深度学习模型是基于立体相机的RGBD数据去学习训练的，在产品中再利用立体相机的RGBD的信息做为输入，得到深度学习的结果输出。
利用立体相机的RGBD做为输入信息的深度视觉深度学习融合感知方案有更多的优点，因为模型训练的时候是RGBD输入，实施的也是用RGBD做为输入，所以它的抗干扰能力更加优良。
趋势四：小障碍物检测
小障碍检测与3D信息获取
同时，车载立体视觉的方向要向小障碍物和3D信息的获取方向发展。很多业内专家提出，为什么激光雷达或者是视觉要向800万象素发展? 可能有的目的不是要看500米以外的车辆或者是300米以外的行人，而是希望在100米的距离看到一些小的物体，这样就可以让车辆在快速行驶时避开路面小型抛洒物。
其实这样的需求，我们用一个500万像素的立体相机就可以实现超过800万象素单目相机的检测能力，这样在既能够提高小障碍物检测准确率的同时，又能够进行一个非常精准的三维刻画，成像中的每一个点都是有三维信息输出。
趋势五：毫米级路面起伏状态感知与像素级路面类型识别
毫米级路面起伏状态感知与像素级路面类型识别
除了路面的小型障碍物检测，我们还可以利用立体相机进行毫米级的路面起伏感知，和像素级的路面信息分割。智能驾驶发展到一定阶段以后，一定兼顾安全需求和舒适需求不断的发展。
目前的自动驾驶系统车辆，如果遇到了井盖等凹凸路面，首先判断的是能不能通过，而不是能不能平稳地通过，还未考虑乘客的舒适性体验。这一点是目前自动驾驶功能的欠缺点之一。如果我们能够将车辆行驶的一定距离范围之内路面进行三维地图重建，或者说用一个高程曲线来表示的话，就可以引导车辆进行行驶路线规划或主动悬架调整，将行驶安全性和舒适性相结合。
趋势六：限高限宽等通过性检测
近期，中科慧眼推出的限高限宽检测系统也获得了广泛的应用。因为立体视觉有实时的三维刻画的能力，可以实时的探测出来一定高度范围内和一定宽度范围内，是否存在遮挡物体，这样可以判断某个高度和宽度的车辆是否能够安全通过。限高限宽的通过性检测是立体视觉系统给客户提供的特色功能，而且立体相机对限高限宽障碍物的检测不受形态与类型的限制。
限高限宽等通过性检测
最后简单介绍一下中科慧眼。中科慧眼成立于2014年10月份，目前已经申请了国内外专利接近200项，已经获得的专利数超过70项。
从我们的产品来看，我们的第二代产品从测量范围，测量精度上已经可以跟大陆、博世和日立的量产产品比肩。从第三代产品开始，我们开始在深度视觉+深度学习融合、小障碍检测与3D信息获取、毫米级路面起伏状态感知与像素级路面类型识别、限高限宽等通过性检测等方面进行了大量创新，以适应快速增长的国内市场需求。
从乘用车到商用车，从工程机械到特种车辆，在国内市场多样性需求的带动下，中科慧眼正在研发和制造世界一流的车载立体视觉产品，服务于国内外数百家客户。