AI摄影标杆仍在,AI摄像的新宇宙又被HUAWEI Mate20悄悄打开了
如果把手机比作一颗星球,那么我们对于AI芯片的期待,来自于它打破手机产品近三五年来近乎一成不变的“平稳自转”。芯片技术本身是星球的自转轴,只要自转轴毫无变化,星球表面往往只有风雨带来的剥蚀与沉积,比如把手机后壳换成红色蓝色绿色、或是一水儿的全面屏。这些浮于表面的改变,很难真正触及到手机带给我们的体验,更遑论移动应用的整体生态了。
但AI芯片的改变就不同了,当自转轴发生变化时,才能真正从整体触动星球的形态,沧海桑田的转移在瞬间完成,接连气候与生态都会随之改变。去年麒麟970带来的,正是这种变化,算力提升对拍照的改变、HiAI开放能力搭建起的移动AI应用生态,这些剧烈的地壳运动都在改变着我们与手机之间的关系。
今年的苹果发布会上,大家可以看到绝大多数镜头都投向了AI和芯片,这对于苹果来说是非常反常态的。作为行业标杆,苹果的动向显然能够说明全球手机市场的战略重心已经聚集到了AI领域。此后我们可以看到,谷歌手机继续在AI上发力,而Mate20则在AI上完成了突破性探索。
从中可以看出,从麒麟970时期就找准了方向的华为,已经开始了全力冲刺AI赛道。换句话说,移动AI盛宴又将到来。而今年的麒麟980会如何更进一步对移动星球产生影响,或许我们可以从HUAWEI Mate20系列中窥见踪迹。
当AI成为共有命题时,
用双脑合璧改变自转
除了还没有喘过气来的三星,以及大概率继续剑走偏锋的谷歌,移动AI的主要玩家还有几大国产手机品牌。今年国产手机无处不AI,可以说AI是国产手机的共有命题,但是这条赛道上国产们真的留下了什么技术探索吗?恐怕有点牵强。对移动芯片缺乏把控力、缺乏底层技术投入,让国产手机基本丧失了移动AI的先发优势。基本只能等骁龙855的AI能力进一步拓展,然后以生态合作的方式与算法公司合作尝试AI创新。
目前的国产手机AI,小米还在探索识图拍照功能,vivo则打造了软件层面的智慧引擎,在美图拍照、场景智能等领域进行探索。而打通了从AI芯片、生态开发平台、产品协调度与软件AI应用的全栈AI通道后,华为似乎更加贴近AI硬核玩家,在终端AI技术领域具有自主性。
相比上一代产品,麒麟980这次在7nm芯片、GPU和CPU上的性能提升都很引人瞩目,但从移动AI角度出发,我们更关心的还是双NPU带来的变化。
NPU带来的,一方面是爆炸式的算力提升,另一方面则是第二颗NPU的引入和对任务的合理分配,进而带来的计算能效比提升。而硬件方面的能力提升,最显著的体现就是在游戏方面。
在HUAWEI Mate20系列中,双NPU对于高效8bit计算资源的有效分配,与游戏场景中存在的短时间爆发算力需求可以完美契合,加上GPU Turbo在软件层面的优化,可以给游戏体验带来一些意想不到的改变。像是AI融合调度技术进行智能负载预测,从而及时响应渲染压力带来资源需求、包括触控显示优化和智能控温技术。简单来说就是不卡顿、不掉帧、不烫手。加之从前几代产品开始,华为就已经通过对用户日常应用使用频次的深度学习,实现对用户习惯的预测,从而对GPU、CPU等等硬件资源实现智能调度,预先加载用户经常使用的应用,进一步提升手机应用整体的流畅度。
这些改变带来的不仅仅是更好的游戏体验,还给手游开发者打开了更广阔的空间,让他们可以在游戏中加入更多的图形计算来提升游戏效果。这样一来,游戏开发者的创作空间完全被打开,给星球一个全新的自转方式。
从湖泊到河流,
距离移动AI体验升级还差一个NPU
用过上一代麒麟970的用户,一定对AI对于手机摄影的提升印象深刻。一时间尽管实现的方式不同,AI摄影也成了2017年手机行业的重要关键词之一。移动AI之所以能持续发展,是因为产品的消费体验不断升级。手机想要带给消费者更加丰富震撼的体验,自然也要依靠AI这门技术作为核心。
其实AI摄影,就是移动AI处理图像、以图像为单位进行计算的最好体现。随之而来的还有智能识物、图片翻译等等建立于图像计算上的功能。当这些功能已经普遍化,如何进行下一步体验升级,成为了移动AI的统考。可惜今年我们看到的大部分AI手机,都还聚焦在提升百分之零点几的物体识别准确度,或是更讨人喜欢的美颜算法。不夸张的说,几乎是在麒麟970时代原地踏步。而今年双NPU的出现,也几乎注定了移动AI的体验升级要从算力的爆炸式提升开始。
如果说AI摄影和智能识物等等功能来自于NPU对图像识别、图像处理能力的提升,那么双NPU带来的算力大爆炸则开始把图片勾连成影像,进行“视频计算”。
在HUAWEI Mate20系列中,已经通过AI 4D预测追焦等技术再次优化AI摄影,再通过实时渲染、精准图像分割等等技术实现对视频的实时智能处理,赋能了AI摄像。
在视频中我们可以看到,AI对于画面的理解分成了两个部分,第一部分是对拍摄对象整体轮廓的识别,在整体画面中辨识出移动的肢体,对于奔跑着的运动轨迹进行实时追踪。另一部分是基于机器学习对画面细节精准分割,实时分析出每一个像素点应该属于天空、房屋还是是人体。
在以往的硬件条件下,移动AI往往只能完成其中一项任务,整体对象的实时捕捉和对画面细节的分割往往不能两全。这也是为什么我们在抖音、快手等视频处理产品中常常会发现特效丢帧,或吞没了手指、头发等等细节部位。
但当麒麟980的双NPU开始双脑协作,就可以各自处理画面中的整体识别和细节识别,在两个不同的神经网络模型上分别完成计算。
有了全新的计算方式和强大的算力,很多以往难以想象的视频处理方式也成为可能。比如上一个视频中以假乱真的背景更换,就是通过对动态运动和静态细节分别的精准认知,加上实时渲染实现的。而这段视频中我们看到的智能色彩保留技术,对飘扬裙摆的准确捕捉和对发丝细节的识别处理,完全突破了以往图像色彩保留处理的高度,在视频上更是难以想象的应用。
但有了麒麟980,这一切都可以在双NPU强大算力的分工合作下轻易完成。
当“图像计算”升级为“视频”,如同在地壳运动下湖泊变为河流,用流动的力量创造更多价值。文明往往由河流孕育,华为带来的率先突破,其实在某种程度上已经确定了后续国产手机的技术研究方向,相信距离AI摄像的普及,也不远了。
平地耸起高山,
3D仿生成像所代表的AI创新空间
以往移动AI的效用,都是在原有的基础上进行改动,例如让拍照效果更好、提升资源调用效率等等。但我们更加期待的,是手机能否出现一些以前从未见过的功能,能否像曾经苹果率先推出触摸交互游戏一样,打开一种全新的应用形态。
而这种期盼,或许很快就要实现了。通过对算力的进一步开放,HUAWEI Mate20系列率先推出了3D仿生成像功能,建立在强大的图像数据处理能力上,AI引擎支持用户自行建模、制作3D格式的动态图像、利用自己的表情驱动平面等等。在发布会的展示中,我们可以看到身边的一个玩偶都可以通过摄像头实现建模,变成虚拟世界的对象。以往我们应用AR时,只能看到现实世界与虚拟对象的叠加。而3D仿生成像的出现,则是第一次出现了虚拟世界与现实对象的融合。
而在3D仿生成像上,最困难的两个技术分别就是环境贴合计算和光照预处理。现实物体转化为3D建模图像,首先要认识到不同光照条件下光源对物体色彩的干扰,将其进行还原。建模完成后,想让图像与现实世界更有贴合感,要通过环境贴合算法结合陀螺仪状态、3D结构光数据和画面中物体识别的多种数据进行计算,实时通过手机本身的移动来调整3D贴图的位置和大小,使其更有真实感。
这样跨越式的改变有如平地变为高山,在用户和开发者两端都打开了无尽的想象空间。一方面微博、脸书等等社交媒体可以承接全新的图像介质,另一方面开发者可以打开更广阔的空间,给市场带来更多具有创作性的应用。
相信3D仿生成像显然不是强大算力赋能下唯一的创新功能,它更多的是为我们打开了想象空间,让我们意识到,原来手机已经做好了改变的准备,一切才刚刚开始。我们可以看到在HUAWEI Mate20系列中,建立在AI更强大的识别功能上,创新性地出现了AI识别卡路里功能。对食物拍照后,可以通过数据库匹配识别不同食物卡路里的多少,甚至当食物被吃了一半时,还能识别出卡路里的减少。除了物体识别,结合对网络信号状况深度学习,HUAWEI Mate20系列还可以对通信模式进行智能识别,对电梯、高铁等等不同空间进行认知和相应配适,更主动地调整和搜寻网络信号,减少信号问题带来的不便。
这些建立在强大算力上的AI创新功能,正在无形间改变手机之于我们的角色定位。从以往的通信工具,变成今天的主动服务助手。
华为连续两年在移动AI领域激进探索,本质上是在为手机行业摸索整体上升通道。今年已经可以看到苹果大规模跟进AI命题,甚至重复华为的创新,这对于国产手机来说是从未有过的现象,也给中国手机行业打开了整体性新机遇。Mate系列在AI命题的持续前进,很大概率将影响2019的手机市场赛道规则,消费者期待已久的差异化竞争或许将来临。而移动AI技术与软硬件协同技术、云端一体化技术,甚至5G的融合,让手机产业的未来充满了想象力。未来是最贵的资源,而今天移动AI正是终端产业未来的钥匙。