【热点剖析】TOF成为智能手机摄像头下一个风口,增强现实撬动产业起点
近日,智能手机摄像头高端cmos第一大厂索尼高调宣布将于2019年夏季末大规模量产TOF 3D sensor预计将应用于合作伙伴旗舰产品。各大智能手机品牌均对TOF 3D 传感器的应用具有极为浓厚的兴趣,并已经陆续推出相关机型。半导体大厂索尼的大规模扩产或许预示着TOF 时代真正的起点的来临,这距离其2015年收购拥有TOF核心技术的比利时SoftKinetic(2017年更名为Sony Depthsensing Solutions)已经过去了4年。
TOF(光飞时间)技术根据发射光与反射光的时间差,计算前方物体距离得出深度信息。通过多颗TOF sensor pixel 深度信息的拼接形成深度图也就是我们所说的3D图像。对比于现在苹果已经大规模量产的结构光方案,TOF方案在模组大小、抗环境光干扰性与识别距离上具有极大优势。由于TOF senor 制造工艺复杂,pixel 均一性与尺寸大小等问题一直难以解决。同时TOF技术目前采用的相位差反射时间计算法导致了 TOF sensor深度图像分辨率及近距离精度较低, 多年来一直难以大规模进入智能手机领域。
TOF 原理示意
Data Source:TI 官网
TOF时代的先行者与失意者-联想PHAB2 PRO
Data Source:联想
2016年12月20日,联想在联想武汉产业园发布了一款主打AR(增强现实)的手机平板——大范儿PHAB2 Pro。这是全球第一款采用Google Tango技术的消费级设备也是第一款TOF手机,除联想与谷歌外参与者还有安卓阵营第一IC大厂高通。虽然现在的各家手机大厂都在抢占TOF商用首发的荣誉,但实际上真真正正商用首发TOF手机的厂商却是在今天已经跌落二线的联想。
当时的谷歌对其Project Tango 项目给予厚望,作为系统厂商的谷歌甚至为此开发了数代Demo 硬件,并联合联想与华硕开发消费级电子终端。Project Tango 项目是数年前谷歌增强现实的集大成者,包括运动跟踪、深度感知、环境学习这三大核心技术。最终目的是实现智能终端对于三维世界的探测与自身位移的感知,解决了增强现实中我(终端)在哪里与我(终端)在干什么两大问题。当时的深度感知部分就是使用了英飞凌的TOF 3D 摄像头技术。
Tango 原理解析
Data Source:官网
然而,据笔者与英飞凌技术人员了解得知,这颗深度摄像头芯片图像分辨率仅为224x172并且芯片不包含数模转换部分,工作时极大的占用了高通晓龙652芯片的运算资源且功耗问题突出,输出深度图像帧率仅为个位数。笔者也曾经深度体验过此款产品,其AR体验只能用糟糕形容。谷歌曾宣称会在一年内有超过百款AR 应用发布,并逐步改善其体验。然而一切都随着谷歌2018年3月正式关闭Project Tango项目戛然而止,PHAB2 Pro的总销量也只能用惨淡形容。一代先行者倒在了内容与性能两大高墙之下。
TOF时代的继任者-OPPO R17 PRO&荣耀V20&VIVO NEX 双屏版
人们对于TOF技术再一次的大规模认知,来源于iPhone X 发布前Face ID 技术之争。当时在已经确认苹果会使用Face ID 作为其全面屏时代生物识别方案的情况下,各方对于苹果究竟会使用TOF还是结构光方案争论不休。直到2017年6月,业界才真正确认苹果会使用结构光方案的Face ID,安卓阵营随后纷纷效仿。然而结构光方案Face ID也限制了智能手机只能使用刘海或者滑盖方案。
Notch Face ID
Data Source:奥维云网(AVC)整理
滑盖Face ID
Data Source:奥维云网(AVC)整理
当时的TOF 方案之所以败下阵来,主要的问题还是量产工艺的不成熟。同时在Face ID这种短距离应用场景下,其精度也确实不如结构光方案。时间走到了2018年,TOF技术也逐渐走向成熟。截止2018年底,除联想与华硕的Tango手机外共有3款TOF 手机发布出售。他们分别是OPPO R17 PRO,VIVO NEX 双屏版,荣耀V20。在这其中,OPPO R17 PRO与荣耀V20 都是使用了索尼IMX 316 TOF传感器。据悉,此款传感器的实际大规模量产时间为2018年9月,传感器尺寸为1/6英寸,有效像素则只有4.32万。这是索尼之前高调发布的IMX 456(VGA分辨率)的低阶版本,最终的整机输出帧率未知。目前这两款手机的TOF 功能更多的处于实验性阶段。TOF 镜头可以作为体感控制器,体验某些体感游戏。其他的部分AR功能,目前的双摄手机甚至单摄手机都可以实现。在内容生态上,尚不如当年谷歌的Project Tango时代。这不免让人感到有几分尴尬。
索尼TOF sensor机型
Data Source:奥维云网(AVC)整理
与之相比,VIVO NEX 双屏版的TOF 镜头使用了松下的CCD 方案。由松下提供CCD sensor搭配ADI的控制芯片实现3D感测功能,并可实现Face ID功能。其sensor的图像分辨率可以达到640X480 VGA级别约30.72W有效像素。苹果在宣传其结构光方案时宣称是超过3W深度点。这也就是为什么VIVO 会宣传NEX双屏版深度信息点10倍于友商结构光方案。但是实际上,苹果与华为的Mate 20 PRO 结构光模组接收sensor 像素数都在100W 以上,最终输出深度图预计可以达到HD级别。不同于索尼通过收购切入TOF 领域,松下TOF CCD的开发已有多年的历史,多年前就曾经在YouTube出现过其宣传视频。可惜当年尚未处于衰落期的松下主要开发方向并非消费电子。而今天CCD senor在智能手机中几乎没有使用,松下自身的半导体产业也日薄西山,对比于索尼这个世界级image sensor巨头,其供应问题将更加严峻。
松下TOF sensor机型
Data Source:奥维云网(AVC)整理
TOF时代的未来-AR撬动TOF产业腾飞起点
谷歌Project Tango项目的结束,在于天时(手机芯片运算能力)、地利(TOF产品量产技术)、人和(TOF内容生态)皆无。就像早期的人工神经网络一样,是当时过于超前的概念。而现在天时已至,人工神经网络芯片算力爆发增长;地利已近,TOF产品大规模量产近在眼前;唯一缺的就是人和。AR将是解决TOF内容生态的最佳内容模式。谷歌AR Core继承了Project Tango项目的遗产,成为了安卓阵营第一大增强现实平台。而苹果也将其AR平台更新到了第二代,ARIit2。除此之外国内的商汤科技也发布了其AR绘制平台SenseAR,并称其硬件要求更低并可同时适配安卓与IOS两大阵营。其他如Facebook、微软等巨头都早早的推出了其AR平台。
增强现实已经成为了远超虚拟现实的巨量蓝海市场。据奥维云网(AVC)预计,2020年,全球增强现实市场将达到363亿美元。对比于虚拟现实技术,增强现实最大的优点在于将内容融入现实环境中从而不需要完全独立的活动空间。但融入环境的代价就是会受到复杂的环境干扰。在这方面TOF 3D 摄像头对比于其他3D摄像头不仅从技术原理上同时在光学镜头设计上也更为优秀。随着增强现实内容市场的蓬勃发展,越来越多的爆款应用的出现,必然会推动TOF产业的发展。或许10年之后我们会见到专用的增强现实终端在现实生活中逐渐普及。但在可预见的5年之内,智能手机一定会是增强现实爆发的第一终端。智能手机的下一个风口是增强现实,TOF是智能手机摄像头的下一个风口。
全球增强现实市场容量
Data Source:奥维云网(AVC)显示器件与系统大数据 unit:亿美元