能识别驾驶员状态行为的监控系统,其实还不够精准可靠
驾驶员监控系统(DMS)作为一位后起之秀,在近年来的汽车市场上引起了不小的反响。
人们意识到,DMS的出现确实能够改善汽车安全性,也由此推动了新的法规条款与新的汽车安全评级方式。欧洲议会已经更新了其《通用安全法规(GSR)》以推动DMS类型认证,欧洲CNAP(新车评估计划)也在着手制定DMS测试协议。顺带一提,NCAP五星碰撞评级计划的测试工作已经推迟了两年,预计相关工作将在2024年正式启动。
但这并不是全部。
目前汽车行业发现了一项可怕的事实:驾驶员使用部分自动化功能的时间越长,其对于驾驶本身就变得越是漫不经心。
诚然,汽车制造商希望自己的高级驾驶员辅助系统(ADAS)能够给用户带来更强大的安全保障,但对此类系统的过度依赖反而造成了不少事故。而这种极不稳定的人机关系中间,正是DMS发挥作用的舞台。
这就带来了新的问题:DMS能不能在人机操控之间,找到新的平衡点。
在最近一次采访中,麻省理工学院AgeLab研究科学家Bryan Reimer再次提出了他的一贯主张:“必须将DMS数据与主动安全系统融合起来。”作为公路安全保险协会(IIHS)中的研究员,他在一项研究中发现L1与L2级别自动驾驶系统反而会降低行驶安全水平。
Reimer提到,其目标是“以一种更理想的方式将自动化与人工操纵优势结合起来,最大化提升安全水平。”为了保证人车联合系统在安全表现方面真正超越纯人工驾驶,“必须有强大的数据作为支撑。”
Semicast Research首席分析师Colin Barnden强调,“必须将ADAS与DMS对接起来。”Barnden还指出,DMS在驾驶者身上检测到的结果,应该被转化为ADAS中的制动或者转向等响应性操作。
Seeing Machines人为因素与今后解决方案高级副总裁Mike Lenné坦言,“内部与外部传感系统的集成,确实为增强安全性带来了新的机会。”他还列举了ADAS与DMS相对接有望带来的“两大核心价值,即:1)理解现实世界中的安全风险,确保正确检测出人类状态;2)使用DMS限制ADAS功能。”
例如,现在的ADAS只要求驾驶员把手放在方向盘上,但他或她能及时操作方向盘吗?
Lenné指出,目前一大核心挑战在于“判断如何针对不同的驾驶场景/环境以调整DMS功能。例如,应该如何调整市区驾驶与乡村驾驶条件下的干扰信号?”
除此之外,汽车制造商还“有必要将人机界面(HMI)/车辆响应与风险严重程度匹配起来。换言之,应该根据安全风险的严重程度决定HMI与车辆响应方式。”
DMS的“基础版本”
好高骛远显然不可取。例如,欧洲NCAP技术主管Richard Schram在关于“超越驾驶员监控的更高级别安全性”网络会议上提到,欧洲NCAP“正在采取务实且快速推进的方法解决问题。”Schram强调称,欧洲NCAP首先应“在每辆车上使用DMS的基础版本,而后根据技术路线图逐步推进。如果希望一步到位追求完美的DMS,那我们将永远找不到答案。”
那么这会是什么样的基础版本?会是基于摄像头的,还是基于视觉识别的?
根据目前欧洲NCAP正在起草的DNS测试协议,可以看到其重点完全放在基于视觉识别的系统身上。
Smart Eye公司CEO Martin Krantz打趣道,“特斯拉等品牌使用的方向盘扭矩传感器有时候也会被归类为DMS……但很明显,这类方案已经过时了。”
在采访当中,Jungo Connectivity公司CEO Ophir Herbst坦言“DMS与乘员监控系统(OMS)技术都以2D摄像机为基础……实际上,已经有部分企业与我们合作,使用我们的系统衡量驾驶员的「认知状态」或者说「心态」。OEM厂商也在积极寻求其他传感器解决方案,但他们承认摄像机在实现各类功能方面仍然具有最好的投资回报。成本很重要,选择视觉检测的合理性也正在于此。”
最近刚刚更名为Cipia的Eyesight Technologies公司也坚持认为,视觉识别将是实现驾驶员监控的主要方法。
该公司产品副总裁Tal Krzypow在采访中表示,视觉分析“能够检测到眼睛的闭合、凝视与面部表情(及其他特征),这些都是驾驶员感到疲倦或注意力分散的直接指标。”
他补充道,“注意力分散特别重要,这也是造成安全事故的主要原因之一。除了视觉分析之外,没有其他方法能够准确跟踪驾驶员的视线。”
Krzypow并没有贬低其他传感器,例如用于监测呼吸的雷达;但他强调称“目前市场的发展在很大程度上由法规要求所驱动,而视觉分析确实能够更好地解决这方面要求。”
下一代DMS传感器会是什么样子?
虽然大部分OEM厂商都把基于视觉识别的DMS作为优先方向,但DMS开发商也不会停止探索其他传感器方案的脚步。
Smart Eye公司CEO Krantz描述了更广阔的发展前景。“2020年的CES上,我们展示了一种基于雷达的呼吸探测器。”与其他DMS技术供应商一样,他们也在寻求新的乘员监控解决方案。Krantz提到,“我们还追求全面的车内感知方案,包括使用一到两台连接摄像机跟踪整个乘员舱,测量其身体姿态、是否有儿童、是否正确系上安全带等。”他还补充道,“我们还将提取所有乘客的面部表情,并将其与基本情绪映射起来。”在他看来,汽车内部未来将“采用多模传感器套件实时监控。”Smart Eye公司也计划“继续开发我们的软件,使其能够对接多种传感器形式。”
根据报道,Valeo等一流厂商也在探索雷达解决方案,及时发现被意外留在后座上的婴儿或宠物。
行驶时间(ToF)传感器也有望在DMS中发挥作用。ADI与Jungo就在今年年初宣布开展合作,Jugo公司CEO Herbst解释称,ToF传感器能够提高人脸识别、手势与姿态/姿势等识别算法的准确率。他提到,“在某些情况下,ToF传感器可以提供冗余功能——例如检测手是否离开了方向盘。”他表示ToF传感器将在“来年”首次登陆DMS方案。
但也有一派观点认为,在DMS中添加感知模式未必能够解决驾驶员疲劳度等棘手难题。Seeing Machines公司的Lenné提出,“困倦是最难啃的硬骨头。我们研究了大脑活动、心律活动以及呼吸等因素。”目前,澳大利亚与英国学术机构都在开发相应的生理传感器,“但我们发现这些传感器会产生令人难以置信的噪音。而且导致心率或呼吸率变化的原因多达101种。”
随着DMS的要求越来越贴近现实,Seeing Machines重申了其基本思路:“眼睛不会说谎,眼睛能够体现一切。”Lenné强调广泛的研发活动发现,“要想准确把握某人的注意力与认知状态,就必须研究他们的面部表情、特别是眼睛。”
欧洲NCAP应该测试哪些方案?又该如何测试?
Smart Eye公司的Krantz指出,DMS测试的首要任务是“将系统安装在汽车内。目前很多在实验室环境下可以正常起效的系统,根本无法适应真实汽车行驶所处的恶劣环境。”
Semicast公司的Barden则强调,“阳光直射、路灯产生的频闪效果”都可能干扰DMS的判断。此外,佩戴口罩和太阳镜的驾驶员也会令DMS无所适从。
那么,DMS“必须关注”的特征有哪些?参加了欧洲NCAP开发测试的供应商表示无法透露相关信息,但从根本上讲,Smart Eye认为“信号的可用性”才是最核心的要求。
“最重要的就是同时跟踪基础信号的准确性与可用性,例如头部姿势、眼睑是否张开、注视的方向等等。如果这些信号的完整性不高,则无法以此为基础构建警告应用。总而言之,理想的DMS系统必须既灵敏、又能把误报概率控制在极低的水平。”
Karntz还补充称,“例如,DMS必须能够把扫视与打瞌睡区分开来。”
目前欧洲NCAP测试协议仍在进行当中,Krantz强调“我们相信这项协议能够反映出对先进技术的需求,确保未来的DMS系统能够切实衡量最重要的基本特征。”
Jungo公司CEO Herbst则列出了以下潜在要求:
识别头部姿势以分析注意力分布情况,例如瞥向手机、调整车载娱乐信息等;
识别出打瞌睡及其他疲劳情况;
通过多种信号(眼睛、哈欠、脑电图、不动方向盘)识别出陷入稳定睡眠的指标;
支持各种光照条件(白天、夜晚、阳光直射);
各类常见佩戴物(眼镜、太阳镜、帽子、口罩)。
最后,OEM厂商希望NCAP的要求不要太过严苛,保证相关DMS系统仍然具备成本效益。Herbst提到,“应该确保DMS能够运行在现有车载计算平台之上(例如车载信息娱乐系统)。”汽车制造商还需要考虑其他功能的可行性,例如软件更新。再有,一线厂商还需要一种能够与当前首选芯片组相适应的解决方案。当然,监管机构并不会在技术方案层面设限,他们只重视使用效果及能否适应极端案例。
相对于碰撞安全假人,会出现“瞌睡测试假人”吗?
这是个奇怪的问题,但又特别真实。换言之,欧洲NCAP是怎么测试车载DMS效果的?使用“瞌睡测试假人”吗?
Seeing Machines的Lenné表示,“我们的观点是,人/驾驶员需要在模拟器或测试赛道中主动对接被测系统。目前还不清楚这个目标要如何实现,但各方可能需要在睡意程度方面达成共识。”
关于打瞌睡,Smart Eye公司的Krantz认为“除了在意识出打瞌睡时发出警告外,DMS还需要注意到严重疲倦状态,这同样会导致驾驶能力急剧下降。因此在模拟与实际驾驶中,应该以相同的时间间隔不断评估驾驶员的实际睡意。区别在于,我们可以在模拟器中继续推进,准许测试对象彻底入睡。”
实际上,真正的测试似乎要比Krantz与Lenné的设想复杂得多。正如Cipia公司的Krzypow所提出,“睡意衡量中包含着双重挑战:难以衡量,而且难以模拟。”目前欧洲NCAP并未解释要如何应对这些挑战。
DMS如何避免引发驾驶员的反感?
相信很多人都有体会,当前DMS技术中的薄弱环节在于,一旦误报频率过高,驾驶员会直接关闭DMS并导致其彻底失效。
Jungo公司CEO坦言,“确实,过多的误报实在令人讨厌。在Jungo,我们会优先除非种种干扰性事件,例如不看路、接电话、吸烟等。目前,我们还不会主动评估驾驶员的「认知」状态,例如眼睛盯着路面但注意力早已涣散。这太容易引发误报了,还没有实用意义。”
Smart Eye公司CEO Krantz指出,“要尽可能降低错误率,关键是在基础信号中保持极高的精度。这就要求构建起一套设计精良且经过全面测试的应用程序,由其将基础信号转换为有价值的驾驶员状态信息,并最终据此采取全面的警告策略,在不引发反感的前提下向驾驶员发布提醒。”
Seeing Machines的Lenné对此表示赞同。“以人为本的设计非常重要,我们必须了解行为与相关风险,将其解释为特征,这样才能真正支撑起「实际意义」。误报的数量还取决于其他因素,包括信号的可用性与可靠性,这些同样需要高度关注。”
麻省理工学院的Reimer以通用汽车公司为例,强调过度活跃的驾驶员警报系统有可能带来糟糕的体验。
“通用汽车目前已经与Super Cruise合作开发出一套多段式警报方法,能够通过增强(无声提示)及逐步升级警报的组合形式解决问题。”
从理论上讲,准确识别驾驶员状态并对接DMS警报系统,即可有效缓解这些恼人的感受。
但Reimer也提出,“我们不知道有哪些系统能够切实解决认知衰退或注意力涣散的问题。我们整个集团以及多家OEM与供应商合作伙伴正在积极研究这方面议题。”
目前的DMS方案
目前的DMS方案显然无法解决前文中提出的种种现实问题。Semicast Research公司的Barnden提到,“现有方案的驾驶员监控效果非常差劲。”根据现代集团发布的Forward Attention Warning (FAW)系统宣传片段,可以看到旁白警告称“在某些情况下,FAW可能无法正常工作……例如当驾驶员佩戴偏光镜、化有浓密眼妆,或者面部被头发或帽子遮挡,或视频被方向盘所遮挡时。”
请注意,FAW系统无法替代安全的驾驶习惯与方式。驾驶员有责任始终监督车辆与前方车辆间的速度差异与距离。
所以……事实就是这样,DMS还不够可靠,而汽车制造商仍然在成本的权衡之下推出可用性糟糕的方案,并将其作为重要卖点。