智能手机中的3D ToF技术

传感器技术编辑整理作为智能手机的三大创新之一,3D ToF深度传感技术依靠体积小、误差低、直接输出深度数据与抗干扰性强等优势,成为近年来智能手机上的关键创新亮点之一。ToF技术解码ToF是Time of Flight的缩写,又称飞行时间法3D成像。这种成像技术通过向目标发射连续的特定波长的红外光线脉冲,通过特定传感器接收待测物体传回的光信号,计算光线往返的飞行时间或相位差得到待测物体的3D深度信息,ToF相机的亮度图像可以通过模型迅速连接起来。

相比3D深度视觉其它两种方案(结构光与双目立体成像技术)而言, ToF方案在实际应用中的优势显著。例如:在画面拍摄后计算景深时不需要进行后处理,既可避免延迟又可节省采用强大后处理系统带来的相关成本;ToF测距规模弹性大,大多数情况下只需改变光源强度、光学视野以及发射器脉冲频率即可完成;由于具有不易受外界光干扰、体积小巧、响应速度快以及识别精度高等多重优势,使得ToF无论是在移动端还是车载等应用领域日渐成为3D视觉的首选技术方案。目前,ToF技术应用领域广泛,包括:消费电子:虚拟现实、人脸识别、体感交互等新零售:手势识别、客流统计、行为识别等智能安防:人脸识别、行为分析等工业级自动化:自动避障、测量测距、感知定位等医疗电子:增强现实、远程交互等汽车电子:辅助驾驶、人脸识别、手势识别等TOF测量原理TOF飞行时间,即传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。

发射的红外光线被被测物体反射后回到传感器,内置的计时器记录其来回时间,然后即可计算出其距离。听起来好像和大家玩烂了的超声波测距没啥不同。但其实不然,超声波测距对反射物体要求比较高,面积小的物体,如线、锥形物体就基本测不到,而TOF红外测距完全可克服此问题,同时TOF测距精度高,测距远,响应快。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。

ToF的原理是通过光子的反射测距。传统上是红外测距,但红外测距没有计算时间差的能力,主要靠测光强,但打在黑色、白色等颜色物体上,由于材料本身的吸收度不同,也会影响测距效果,因此ST的FlightSense采用计算发射和返回的光子时间差,即计算飞行时间(ToF)方案。另外在集成度上,ST的方案是发射和接收都做在一起,而红外测距往往是分立方案。

第一代VL6180X第二代VL53L0X第三代VL53L1X测距40cm2m4m激光器850nm940nm940nm视场角25°25°27°环境光感测有无无测距精度±10mm±3%±1%市面上有多家公司采用ToF方法,但主要采用相位测距法,主要用于工业,原理是脉冲计算法,但在波谷的能量就不测量了,会造成能量损失。为何ST方案的测距角度都是25°?因手机镜头弧度是25°左右,所以市面上的产品往往是25~30°视角。FlightSense二代之所以是2米测距,因手机拍摄的理想距离是1.2~1.5米。市面上有多家公司采用ToF方法,但主要采用相位测距法,主要用于工业,原理是脉冲计算法,但在波谷的能量就不测量了,会造成能量损失。飞行时间(ToF)传感系统是最有盈利空间的创新成像技术之一。市场上的主要消费类产品制造商都希望在各种智能硬件中集成飞行时间(ToF)测距,以提供3D成像、接近感应、环境光感测、手势识别等功能。意法半导体在飞行时间(ToF)传感方面潜心研究,而iPhone 7 Plus中的飞行时间(ToF)测距传感器是意法半导体为苹果公司定制的产品。这款为苹果定制的产品位于iPhone手机前面、主扬声器上方,采用光学栅格阵列(LGA)封装形式,尺寸为2.8mm x 2.40mm,小于意法半导体对外公开销售的任一款ToF传感器。

苹果iPhone 7 Plus拆解ToF究竟是未来趋势还是厂商套路既然 TOF 的历史已经如此悠久,为啥近一年才成为消费电子的热词呢?因为概念出现了混淆,如今热议的 TOF 技术其实应该叫 TOF 3D 技术,属于 3D 视觉技术的一种,目标是和 2D 相机配合建立物体和空间的立体模型,而之前的 TOF 只是点光源,只是用于测量前方物体距离有多远而已,无论从实现目标还是复杂度来说都不能相提并论。

此外,有关 TOF 3D 的基本原理还是要再简单讲一下,首先通过红外光源,打出超短的脉冲信号,形态是面光,要求覆盖整个视场范围,然后通过红外相机接收反射信号,在成像的同时也获得了空间内每个点收发信号的时间差,最后通过光速计算出距离,就能搞定视场内整个空间的 3D 轮廓。当然,理论都是很美好的,否则没人会愿意推进它们的实用化,尤其对大家伙们来说,如今的产品做到了什么程度才是关键。好在这件事分析起来不难,因为目前主流市场上用 TOF 3D 的产品也就三款,一个“前置”是 vivo NEX双屏版,两个后置,OPPO R17 Pro 和华为荣耀 V20。接下来我们逐个分析。

vivo NEX 双屏版官方说的很明确,TOF 就是拿来搞面部识别用的,和结构光一个玩法。模组上的合作伙伴是艾德诺半导体(ADI),型号是 ADDI9036,镜头光圈 f/1.3,再就没有其他的公开资料。不过从 ADI 以往展出的产品来看,最近的是 ADDI9033,用于工业机械臂,sensor 分辨率是 VGA(640*480) 水准,这样可以推知 9036 应该是 9033 的衍生版本。

其中值得一提的是,对于前置面部识别来说,行业内主流的选择是结构光,原因各家有多次科普,这里就简单提一下,即在正常使用距离(0.2-1.2m),结构光的深度精度明显比 TOF 更有优势,TOF 则需要更远一些才能发挥。这很好理解,毕竟距离太近的话,精度需求也更细微,信号来回时间太短,甚至接近于信号本身的脉冲长度,算起来误差就会很大,而距离变长的话,结构光实际有效的采集点会变少,单个斑点面积会变大,精度当然也会有明显的损失。不过从实际产品来看,vivo NEX 至少接入了支付宝的面容支付,说明安全性上用起来并没啥问题。

而在构造上,从实际产品来看,TOF 面部和结构光都是 3 个必需元器件,但不同在于,结构光需要点阵投影器和红外相机拉开一定的距离,因此它们在所有产品上都是分居左右两侧的,而 TOF 没这种需求,因而相对来说堆叠比较简单。

至于 vivo 官方所宣称的“TOF 精度是结构光的 10 倍”,则应该是指其 sensor 的 VGA 分辨率,640*480=307200 正好 30 万像素,是结构光 3 万个点阵的“10 倍”。不过这很显然是偷换概念,毕竟结构光的点阵和 sensor 的分辨率并不能混为一谈,真要论起来,结构光阵营最低端的 OV9282 都有 100 万像素,数量碾压 TOF,而高端 TOF sensor 用的 IMX456QL,单像素尺寸 10μm,反过来又碾压了结构光普遍的 3μm,你说这事该咋整?🤷‍♂️ 况且,作为 3D 视觉技术,更重要的还是在于深度的精度,无论 TOF 的分辨率还是结构光的点阵数量,都属于 2D 平面的概念,比来比去也没啥意思。

综上,“前置”用于面部识别的 TOF,实际用起来不会好于结构光。该轮到后置这两位,R17 Pro 和 V20 其实没有本质区别,sensor 都是同款,索尼 IMX316,公开资料也很少,索尼对此一言不发。

找遍全网,只有一个国外设备商有所提及 http://www.dynaoptics.com/time-of-flight.html ,具体见下,IMX316 被称为“轻 TOF”,也就是入(最)门(低)级(端)。

需要补充的是,上面的表格数据有些偏差,比如索尼已经公布的 IMX456QL,是 1/2 英寸 10μm,30 万像素,和表格上 1/3 英寸不同。不过 IMX316 的参数还是和网络上流传的吻合,1/6 英寸,像素只有一种传说是 4.32 万,好吧,是挺惨的。

那么这玩意到底有啥用呢?一是拿来当景深摄像头用,荣耀 V20 就是这么干的,众所周知这活是个摄像头就能干,所以意义不大;R17 Pro 早期有个 TOF 3D 建模功能,围物体转一圈就能建立一个 3D 模型,和华为的小物建模用途差不多,但可能是因为效果过于感人,当初到手试了一下从来没建出过像样的东西,在某次更新之后,OPPO 取消了这个功能,目前只有内置的 AR 测量功能依赖了 TOF 模组,其实现效果和 iPhone 的测距仪大同小异,功能上全面一点点。

因此简单说,就是目前的 IMX316 其实没什么用,或者说很容易替代,没啥存在的必要。考虑到 sensor 的规格,以及这些产品的上市时间,它们的应该也没什么使用潜力,故而可以说后置的 TOF 目前来看没啥存在的必要。总结一下,目前的 TOF 3D 技术,“前置”体验不超过结构光,后置的存在意义暂时为 0,或许过个半年一年,后置 TOF 会找到用武之地,但也很可能轮不到目前已经上市的 IMX316 们,毕竟规格偏弱。

(0)

相关推荐

  • 索尼讲述首款偏振图像传感器的研发历程

    据麦姆斯咨询介绍,偏振图像传感器(Polarization Image Sensor),或称为偏光图像传感器,能够将人眼无法察觉的光的偏振特性可视化.这项成像技术不仅为制造业和智能交通提供了一个很有前 ...

  • 大家都在用的ToF,为何只有苹果敢叫“激光雷达”

    虽然9月16日凌晨苹果的新品发布会中并未带来iPhone 12系列,但对于神通广大的众多消息源来说,iPhone 12系列亮相的推迟似乎并不会影响到他们曝光新品的"本领".比如说日 ...

  • 这就是碾压 iPhone X 的黑科技?!

    俗话说,"你有张良计,我有过墙梯".智能手机市场竞争这么激烈,手机厂商没有一些拿手绝招还真的没法和对手竞争.比如苹果去年发布的手机 iPhone X,虽然在诞生之初贬低的声音不绝于 ...

  • Vivo NEX对比OPPO Find X:相似的升降式摄像头,但我们不一样!

    前段时间,Vivo和OPPO先后发布了两款在设计和配置方面都不亚于目前国产手机的顶级旗舰机--Vivo NEX和OPPO Find X. 这两款手机是当下最受欢迎.最亮眼的智能手机,二者都依赖于电动滑 ...

  • 没有这枚镜头加持,新机都不好意思自称年度旗舰

    将「雷科技Lite」收藏为我的小程序,不再错过精彩内容 旗舰手机,顾名思义是手机厂商产品线中地位最高.配置最强的产品,是品牌的门面和招牌,是大多数消费者渴望拥有的顶尖产品.时间来到2020年,我们见到 ...

  • 三星A8s首发挖孔屏又如何, 配置和颜值都比不过这两款, 炮灰稳了

    挖孔屏还是被三星抢了首发,12月10日,挖孔屏三星A8s率先登场,后置2400万+1000万+500万三摄,12月21日开始预售,参照三星A9s的售价3499元(6+128G),三星A6s是2199元 ...

  • 三种主流深度相机介绍

    深度相机    01 深度相机又称之为3D相机,顾名思义,就是通过该相机能检测出拍摄空间的景深距离,这也是与普通摄像头最大的区别. 普通的彩色相机拍摄到的图片能看到相机视角内的所有物体并记录下来,但是 ...

  • 是个拍照王者,但不是没槽点:详解华为P30系列

    "50倍数码变焦.我买了个华为望远镜.再度刷新DXOMARK最高分.起售价和最高价均破新高"--说实在的,2019年3月27日,也就是在华为海外首发P30.P30Pro的第二天早上 ...

  • ToF传感器又被苹果“玩”了一番,未来前景究竟如何?

    本文来源:物联传媒 本文作者:Vior.Liu 早在今年1月份,笔者就预测光电传感器在2020年将会成为一大重点发展趋势.很巧合的,本次疫情期间恰巧印证了这一点,我们可以看到红外传感器用于测温的大火. ...

  • 机器人视觉—三维成像技术综述

    引言 3D视觉成像是工业机器人信息感知的一种最重要的方法,可分为光学和非光学成像方法.目前应用最多的还是光学方法,包括:飞行时间法.结构光法.激光扫描法.莫尔条纹法.激光散斑法.干涉法.照相测量法.激 ...