Pixel Visual Core只是Google第一步,将会联合Intel共同开发
不知道大家发现没有,今年的旗舰手机很多都搭载了AI芯片,例如华为麒麟970的NPU神经网络处理单元、苹果A11 Bionic的ISP神经引擎单元,都在内部集成了该类AI单元,证明机器学习不再是大型机的专属,已经开始向移动端渗透。不过作为出货量最大的高通骁龙835 SoC并未搭载同类型单元,因此Google自行研发了Pixel Visual Core独立芯片,率先应用于在今年的Google Pixel 2手机上,主要用于提升HDR+拍照体验。而外媒CNBC通过Google发言人确认,Google曾经和Intel联合开发Pixel Visual Core芯片,未来可能会有进一步的合作。
来自iFixit
Google很大方地在博客中公布了Pixel Visual Core机构图,因为里面集成了8个IPU核心,还有一颗A53核心,以及MIPI/LPDDR4/PCIe控制器,大家应该注意到每一个IPU核心都要比ARM A53内核大,可想而知它为什么能够提供3T浮点性能,而华为的寒武纪稍弱点为1.9T,苹果仅为0.6T(但苹果应用看起来最装X)。Google开发Pixel Visual Core的目的就是将其当做一个超强、可学习的ISP使用,可以加速HDR+算法的运算速度。
拍照已经成为手机最重要的功能,能不能拍出清晰、动人的照片俨然成为大家选购手机的重要标志。而HDR技术的诞生,让手机的拍照体验有了明显的提升,但是目前的大部分手机的HDR算法都是老古董,苹果也不例外,依靠曝光时间长短的多张照片合成一张,让照片的明部、暗部细节都可以展现出来。而Google的HDR+算法则是委托斯坦福一位成像大牛开发的,它却是通过一系列曝光时间相同的照片合成,同样可以达到清晰展示画面明暗部细节。
HDR+早在第一代Pixel手机上就有所应用,但是由于硬件限制,只能运行在高通骁龙处理器的Hexagon DSP上,效率不高。但是Pixel 2手机上的IPU上运行HDR+算只需要原本1/5的时间以及1/10的功耗,实现了第三方软件调用相机拍照即拍即有,用户体验提升明显,而且照片明亮清晰,人物脸部不再暗淡。
目前PVC芯片还在休眠当中,需要等待升级至Android 8.1唤醒
我们看到目前大部分手机的AI芯片都是应用在图像处理上,毕竟这个比较容易入门,又有宣传噱头。Google Pixel 2手机也不例外,但是Pixel Visual Core潜力可不止这样,因为它的8个IPU并不是FPGA,而是可编程,图像处理器只是Google其中一个切入点,未来还有很多可能性。毕竟花了大力气开发的芯片,总不能浪费吧,机器学习可是可以处理很多方面的事情。
虽然我们目前不清楚Google在研发Pixel Visual Core与Intel有哪一方面的合作,但是Intel在收购了Movidius以后,也同样发力于视觉处理芯片,未来两者强强联手,我们的手机该会有多智能?