被激发的智能交互之力,鸿蒙如何实现飞鸿踏雪
在今年的华为开发者大会2021(Together)上,华为基于面向万物互联时代的分布式操作系统HarmonyOS给出了新的答案。当时代走向融合,人与设备的关系和交互方式自然需要被重新定义,而这其中绕不开的关键依然在于AI。当基于HarmonyOS构建的鸿蒙生态开始成为“万物智联”的蓝图底版,新的交互模式就可以充满无尽的想象。
人与设备的关系重构,新的交互模式开始成形
万物互联的名字已经被叫响多年,但其价值却一直被低估。物联网并非只是物与物之间的交互,人与物的交互模式也亟需升级和改变。
人物互动的场景有很多,健身便是其中之一。在跑步场景中,我们的身边不仅要有人作为教练,华为还给我们提供了新的选择和交互模式,在智能手表、智能跑步机、手机等多设备的联动下,用户在设备矩阵之中可以获得不亚于专业私人健身教练的体验。
华为消费者业务AI与智慧全场景业务部总裁王成录介绍,设备矩阵打造的“私人教练”可以根据用户的身体状态,制定最恰当的锻炼方案,在锻炼过程中会实时提醒用户其锻炼方式是否正确,会不会对身体某个部分造成伤害,锻炼结束之后该如何放松,根据锻炼状态的结果恰当的放松方案等等。
人工智能发展的基础是数据,而由诸多设备所构建起来的环境对于数据获取的精准度甚至比专业教练更加可靠。用户在运动前的体脂率、心率区间、饮食和睡眠状况,运动中的呼吸、心率,在跑步时的配速、坡度和跑姿,这些数据都可以随心所欲由设备自动获取。当然,数据如果不流通,将会毫无意义,当用户所使用的设备越多,围绕用户的“传感器”也就越多,用户的行为数据不断产生,这套由大量设备所构建起来的“超级终端”就能更准确地捕获用户的意图。
这样的过程里,再多的设备也无需额外的操作,随手一指便能获取服务,轻轻一碰就能查找服务,人与设备的关系开始改变,设备将能够主动来理解用户并推荐相应的服务,新的交互模式由此开始逐渐成型。
王成录博士表示,“我相信在鸿蒙系统的加持下,我们会有非常多的机会去构建各种各样场景化的超级终端。”这也就意味着,这种新的交互模式有望推向更远的方向。
让数据流动,真正实现万物互联
如果说多个设备获取数据是让设备拥有进入IoT时代的门票,那么真正的上场参赛进入万物互联,就意味着需要数据的流动和互通。我们身边的海量设备均有获取数据的能力,其可以被视为是一个个的传感器,可以获取如地理位置、空间信息,生理指标、行为活动等,但是单设备和单维度无法准确捕获消费者意图,更不能形成智慧互联。
因此,多设备传感器信号的同步、多模态数据的标注和多模态自适应,就成为必须要解决的问题。
多设备协同的第一个挑战是复杂的设备异构性。要把传感信号利用好,第一步是保障所有传感器上报信号的时序对齐。而由于设备大小不同、传感器不同、上报信号的特征不同等问题,要把信号之间的时序对齐挑战很大。
鸿蒙生态的软总线技术软总线拥有无限逼近硬总线的能力,其工作原理中包含了一个连接利器——软时钟。当工作设备组成一个超级终端,软时钟可以从最强的设备的晶振上去捕获时钟信号,一旦时钟信号捕获,后续所有业务处理的时钟将以软时钟为准。软时钟当前的精度已经可以做到误差小于1毫秒,王成录表示,HarmonyOS 3.0的Beta版本目标是做到500微秒,这样的精度已经能完全满足传感器信号同步的需求。
数据标注一直是AI样本数据方向很大的挑战,而华为则提出了一个创新性的互助标注方法多模态数据的标注,在时钟同步和时间对齐的基础上,有标注模态的数据对无标注模态的数据进行自动标注。当传感设备越多,标注的设备越多,关联的模态会越来越多,自动标注的效率也会大幅度提升。
小样本实时训练模型相比偏传统的大规模语义训练,其传感信号的样本数据很少,传感器不够稳定,一旦发生波动就会对模型带来较大的影响。因此,端侧不能用现有的传统AI模型来做训练,华为专门为此研发出端侧的小样本实时训练模型,以解决小样本数据波动和不稳定带来的冲击性问题。
三大技术的最终归一,模型的核心算法是无监督学习算法稀疏编码,在找到一个完备的基础向量机后,向量信号可以利用基础向量机的线性组合来表征输入信号。这种算法的优势在于能够避免由数据不稳定、样本空间不稳定带来的模型波动问题。
理解用户需求,入口万剑归一
在HarmonyOS之中,分久必合合久必分的道理也一样适用。当传感器的联邦数据实时、准确地捕获消费者的意图,接下来就要要根据意图去找对应的服务,把匹配的动作都交由机器解决。想要实现这一步并不容易,永不需要不断增强隐式向量化意图,从海量服务和应用里找到数十个候选集,再加上显式结构化的意图,对候选集做进一步筛选和逻辑组装,增强消费者意图的精准反馈。
在过去的一年里, “小艺建议”服务了无数用户,这背后的无名英雄便是以上技术。与HarmonyOS的设计理念一样,小艺也采用了完整的解耦化的架构设计,支持弹性化部署。这意味着所有的生态设备,所有的HarmonyOS和 OpenHarmony的小设备,都可以安装小艺,让用户拥有统一的入口。
王成录指出,当前“小艺建议”的使用率已经很高,并且小艺能够深入理解用户意图,并根据用户的时间、地点、场景把可能需要的服务都放到小艺建议里。这样一来,用户主动搜索的频率就越来越低。频率越低,代表“小艺建议”越智能,未来有望基于此打造成为一个面向万物互联的人机交互的统一入口,通过小艺就可以屏蔽各种各样的硬件差异。王成录也将小艺称作“未来万物互联的里程碑和出发点”。
当小艺这样的部署,有了鸿蒙生态的互联和融合,在任何一个场景下,无论用户在哪一刻使用哪个设备触达,小艺都能感知到。小艺也会根据此刻触达的方式把信息反馈给你,省去了在不同设备之间不断配来配去、查找服务做逻辑组装的过程。王成录也希望,华为希望通过重重赋能,让真正的万物互联、万物智联时代加速到来。
像获取服务一样,简单开发
开发者,是所有这些技术落地的核心驱动力。而此次HarmonyOS Connect软件服务包3.0便针对开发者提供了海量的开发帮助,新增支持垂类应用的带屏设备,并升级了基础服务包、增强服务包,以及包含小艺、服务中心、畅连等应用在内的应用服务包,开发者直接调用即可快速开发出具备智慧AI能力的设备,预计到2022年将全面适配支持丰富应用的带屏设备。
王成录表示,未来将不断增强能力、增强工具,给开发者留出更多的时间和便利去做业务的创新,“把复杂交给我们,把简便留给开发者。”
面向硬件开发者,华为提供了一站式设备集成开发环境,支持远程开发、按需定制、一键编译和烧录、一键集成服务包和设备仿真器,降低了开发者的接入门槛和开发周期,提升了开发效率,无屏设备开发周期已由2个月减少至2周,带屏设备预计2023年将缩减到2个月以内。