爱奇艺背后的AI雷达密码
大数据产业创新服务媒体
——聚焦数据 · 改变商业
打开爱奇艺APP，各种清爽的剧集、电影、综艺等扑面而来。当我们随意点开一部，跳过广告，你就会发现爱奇艺AI雷达的踪迹。你可能只知道它可以用来人脸识别、身份识别，但却不知道它还能用来“监测民意”，甚至还会弹幕造梗。不仅如此， AI雷达还可以全链路助力用户传播行为，达成企业营销的目的。
“聪明”的AI雷达时时刻刻保持对你的关注。当观众选择剧集，并为此花费时间时，AI雷达就已经在工作状态中了，它会时刻捕捉用户关注点、智能监测预估爆点、弹幕造梗引爆话题，让你情不自禁被引导，并产生分享、购买行为。
AI 雷达能够实时定位、识别和搜索视频中的角色人物以及各种物品，用户通过链接功能，去了解信息，去购物，还可以快速进入“泡泡圈”,对角色进行交流讨论和与明星互动。其实，笔者觉得AI雷达像商店里的导购，为的是让你更多了解你所看到的一切，基于此，与你展开更多有价值的互动。不过，这个导购，更加隐蔽，并对你观察更为细致了。
AI雷达可以通过AI技术识别人脸及物体，同时打通爱奇艺百科、爱奇艺泡泡，从而帮助内容营销调取数据及策略，分析指导营销团队加大对热门演员、热门商品的推广，提升相关内容关注度。在观剧过程中，观众通过点击屏幕左侧的扫一扫按钮，既方便观众自动识别出感兴趣演员的人物百科、弹幕百科和专题百科，又方便爱奇艺平台监测观众的兴趣点和关注点，从而抓取新的营销“素材”，一举两得。
爱奇艺AI雷达，可在《奇葩说》中扫一扫李诞直接看百科
智能AI舆情监测系统具备有效预判、迅速抓取和捕捉用户爱看的片段和话题的“能力”，为内容营销预估话题爆点，从而为营销方向提供有效建议。与此同时，借助智能AI舆情监测系统还可以进行弹幕有效关键词的抓取，基于大数据提取的用户兴趣点，通过筛选出全剧点赞量靠前的弹幕，在界面显示为“梗”，从而实现弹幕造梗效果。这类花样互动玩法成为剧集热度的重要贡献者。由弹幕造梗延伸而来的“造梗运动”“热搜话题”等社交互动方式，也是内容热度值的一大重要体现。
营销造梗在近期热播的《哈哈哈哈哈》《流金岁月》《奇葩说7》等作品中均有体现，俨然成为爱奇艺众多营销项目中的常青款。例如，在《哈哈哈哈哈》中曾诞生了“鹿晗的笑容治愈我”等话题，将弹幕热点话题输出打造为“爆梗”形成互动热潮。这些直接来自用户的“梗”经加工后再次反输给大众，自然能准确击中网友high点。随着剧集的热播而频繁出圈，这些话题也屡次登上热搜，带动一轮又一轮的社交传播。
AI雷达的目的在于充分调动用户参与互动的主观能动性，最大化提升内容观看的用户黏性，以保证内容热度的稳定发酵及持续增长。用户互动的素材来源，往往来自于用户观看的实时反馈。这些素材往往又产生于弹幕、评论区等交互地带。
AI雷达是爱奇艺实施科技赋能策略时通盘考虑下的杰作。互联网时代，每一个爆款背后都有着自身独特的营销理念。AI雷达作为爱奇艺AI战略的一部分，发挥了显而易见的拼图作用，它与AI人脸识别“只看TA”个性化推荐，爱奇艺一键制作、一键分享的智能剪辑，一脉相承，前两者拉动用户观看、激发用户分享，并在中间提升用户互动，相互嵌套，线性组合。
AI雷达是爱奇艺奇异果TV独有的一款创新应用，具有强大的AI视频能力。它的诞生离不开两位年轻爱奇艺90后Elliote和Youm的奇思妙想。为了表达他们对这款产品的突出贡献，爱奇艺将他俩分别称之为“AI雷达之父”“AI雷达之母”。
2018年，在爱奇艺智能电视团队的创新分享会上，负责UE设计的Elliote基于生活中的智能电视应用洞察，提出了手机与智能电视之间互动的创意，后经内部讨论，创意最终定义出AI雷达产品，即通过电视遥控器实现视频信息的识别和搜索。
随后，AI雷达项目立项。热衷AI功能应用的产品经理Youm承担起了这份挑战性的工作。AI雷达在上线前要经过三重关口，第一是准确定义Al雷达功能，细化产品的需求。这是从0到1的想像，内部成员势必面临轮番“烧脑”碰撞和反复讨论修订的艰难过程，以期产品通关。第二是要过用户体验关，功能应用既要简单易用，又要解决识别框如何出现、如何展现、停留多久、如何消失等UI/UE问题，以尽量减少对用户观看视频的影响。第三是内外资源的整合。因此，他们要整合AI技术、产品开发测试等内部力量，在3个月内实现产品上线。
另外，团队还要高效整合AI雷达链接的外部信息、商品资源、广告资源等，以更好创造用户价值和公司商业价值。
经过一番攻坚克难的挑战，AI雷达终于上线。对于电视用户的覆盖率预估大约为千分之一，但用户的热情明显超过了爱奇艺团队预期，每天百万级的用户会使用这一功能去查阅信息。后在团队的努力策划与实践下，又大大提高了AI雷达功能应用的活跃度，用户使用率大幅提升。
AI雷达，绕不过去的是多模态算法。其背后的大数据人脸库存与随机识别能力，体现了爱奇艺机器学习能力的深度与广度。最终，AI雷达成为助力爱奇艺品牌营销的重要抓手。
多模态技术是对视频中，人物服饰、发型、声纹和虹膜等生物特征的识别。它既可以识别虚拟人物，也可以对真人进行识别。
爱奇艺科学家路香菊博士介绍，虚拟人物识别技术遇到的第一个挑战是数据源问题，无论是图片数量还是人物身份信息数量，对应用到实际业务中来说都是远远不够的，同时这些数据的标注信息质量也参差不齐。这让他们前期花费大量的时间进行数据清洗与标注。目前他们已经积累了大约四万多个角色，近50万张训练图片，标注精度达98%，标注信息包括位置检测框、姿态、性别、颜色等。
路香菊
路香菊的团队，还在虚拟人物识别中借鉴了真人识别中的一些损失函数，如 Softmax、SphereFace、CasFace、ARCFace等，不断使类内分布更紧密，类间分布差异更大，提高实践应用中判别的准确性。此外，也利用真人数据与卡通数据进行融合来弥补虚拟人物数据不足的现状。
就真人识别来讲，爱奇艺人脸识别相关算法使用的人脸数据库 ID已达到了550万，可直接识别名字的名人数量达到30万左右。面对这么多人脸数据，如何处理噪声是一项非常艰巨的任务。他们以算法为主，人工为辅将人脸数据集的噪声比例降到了非常低的水平，使模型精度有了大幅度的提升。通过模型量化、剪枝、蒸馏等处理优化模型速度，同时对CPU版本进行定制优化，节省了大量资源。
为了支持这么大规模的人物数据训练，爱奇艺还自研了定制化分布式框架。虽然有一些开源的框架，但是更多情况下适合一些简单任务。针对有定制化需求任务难以满足的情况，他们的自研框架，无论是整体训练的精度，还是训练速度，都有非常大的提升空间。
在识别精度方面，爱奇艺在他们的数据集上进行评测：第一个数据集是中学生库，数据分布主要集中在证件照或证件照相匹配的实际应用场景；二是爱奇艺员工数据库，里面包含了大量的人脸、姿态、表情等变化；三是爱奇艺在多模态人物识别竞赛中发布的数据集，里面主要是针对明星的视频数据进行身份识别。
爱奇艺不仅做简单的人脸识别，而且在人脸信息不足或不清晰的情况下，选择其他信息来辅助进行人物定位。在所有的信息中，首先是声音信息；其次，在无声情境中，要结合场景（如打斗、行走中、监控），利用人物的一些动作、背影等姿态以及服饰等信息来进行人物身份判断。
经过两年的积累，爱奇艺基于真实场景中视频任务的多模态数据库已经成为业内首个多模态数据，并且标签清晰，规模最大。
文：华笙 / 数据猿
—— / END / ——
●《看过大佬们发的朋友圈之后，我相信：明天会更好，明年定会春暖花开》条漫