【金猿案例展】故宫文化：“金榜题名”互动项目展
商汤科技案例
大数据产业创新服务媒体
——聚焦数据 · 改变商业
承载着数百年历史的故宫在时代演进中不断更新着自身定位和社会责任。拥有跨越600年的历史建筑，凝聚了中华上下几千年的文化精髓，故宫博物院始终肩负着教育责任，希望将厚重的历史和文化基因传递给年轻一代。与此同时，互联网技术的蓬勃发展所带来的丰硕成果正逐渐改变着人们社交，阅读和生活方式。如何让互联网时代下成长起来的新一代年轻人通过故宫博物院更了解中国的历史和传统文化，是值得思考的问题。值得一提的是，故宫博物院与时俱进，近年来不仅上线 “故宫文创” 系列文创商品，也推出了一系列主题性综合文化创意项目。
其中 “金榜题名” 是故宫三大主题性综合文创项目之一，是故宫在培育新型文化业态道路上的全新尝试。它将历史文化与科技、艺术相结合，以沉浸式、互动式的方式向人们展示古今修身文化，让人们了解求学奋进创新的核心意义。通过“金榜题名” 展，希望让更多中国文化走进大众，让“知识改变命运” 、“行行出状元”、“教育公平性”这些具有正能量及积极引导作用的教育理念思想得以弘扬。
此次与故宫文化的合作，商汤科技创造性地将SenseAR平台的核心AI+AR技术和SenseMoji表情模拟技术与“金榜题名”文化创意和展览场景结合，用沉浸式的互动游戏体验让参观者可以贴身感受历史气韵，了解中国传统教育考试制度。
“金榜题名”互动式展览在2019年12月6号的北京王府中环正式首展。商汤科技提供技术支持的互动项目“孔庙祭孔”与“号舍考生相”在展览中亮相。而在9月上海举办的2019世界人工智能大会（WAIC）上，在商汤科技的AI+文化艺术展示区，这两个展项也已亮相，面向全球参会人员互动展示。
“孔庙祭孔”与“号舍考生相”两个展项从2019年7月开始正式开发，于2019年8月开发完毕。
WAIC现场体验图
WAIC现场体验图
应用场景
商汤科技此次将SenseAR平台的AI+AR核心技术和SenseMoji应用到故宫 “金榜题名”展览的两个展项中，分别是“孔庙祭孔”和“号舍考生相”。用AI和AR技术让参观者可以沉浸式体验古代教育礼仪，了解古代科举制度与文化。
孔庙祭孔-AR合影：明清时期，新科进士在传胪大典后会参与一系列仪式和活动，如赴恩荣宴、上表谢恩、赴孔庙行礼，并刻进士题名碑等。商汤科技用SenseAR平台的核心AI技术对其中新科进士谒先圣先师这一环节进行了还原和演绎。展项还原孔庙大成殿的祭孔案台，当观众走到展区时，孔子的AI虚拟人像将出现。当观众模仿孔子的动作，摆出标准的 “拜礼” 手势回礼时，商汤科技的手势识别技术将捕捉到此特定手势，并触发拍照合影，观众能拿到与孔夫子合影的珍贵照片，感受一次穿越古今的祭孔之旅。
史书记载: 孔子长九尺有六寸,人皆谓之“长人”而异之。根据不同时代的度量衡计算，孔子的身高约是196.8cm或221.7cm，绝对称得上巨人。
号舍考生相-人脸互动：“号舍”即古代科举考试时考生的考位，每个考生都能分到一个独立隔间，条件恶劣且空间狭小。在前后三场，共九天六夜的考试中，考生的“考睡吃喝”尽在于此。商汤运用SenseMoji表情模拟技术将现场观众与古代寒窗苦读进京赶考的秀才形象连接在一起, 还原考生在号舍中的考试生活，让游客体验到古代考生艰苦的学习环境。SenseMoji可以捕捉观众的表情信息，将其表情转移到号舍考生的形象上，模仿观众张嘴闭眼等动作，做出各类面部表情，具有极强的趣味性。
展项实景图
面临挑战
商汤科技与故宫文化“金榜题名”展览的合作面临的挑战可以说是双重的。首先技术上，如何将商汤科技的AI和AR技术与展览内容紧密结合，不是单纯的技术支持，而要考虑互动形式与内容，要严谨考证相关史实，要形成真实的感染力，有效传播文化内涵。此外，故宫文化展览期间人流量大，如何保证互动及时顺畅以及观众的良好参观体验，这对技术和设备的稳定性提出了严格要求。
另外，已经成为超级IP的故宫文化承载着很多人的期待和关注，对于其中各类展览的质量要求非常高。因此商汤科技在实施和落实技术的过程中需要极大的耐心和细心，保证万无一失的完成预期目标。
数据支持
孔庙祭孔-AR合影展项包含人像照片、手势、姿体感知、场景三维信息的多维数据。
号舍考生相人脸互动展项包含人脸表情数据，包括为多达52种基表情，如眼睛相关的表情共14个，嘴唇相关的表情共23个；SenseMoji支持106或240个人脸关键点，在主流手机上数毫秒/10ms处理速度。
应用技术／实施过程
商汤科技与故宫文化的合作运用了商汤科技SenseAR平台的核心AI+AR技术，包括人脸和手势识别感知技术以及表情模拟技术。人脸识别，手势互动和姿体感知AI技术主要运作在孔庙祭孔-AR合影展项。SenseMoji表情模拟技术则运用在“金榜题名”展中的号舍考生相展项。
孔庙祭孔AR合影体验展项通过人脸识别、手势互动和姿体感知等 AI 技术，让观众可以和孔子虚拟人像进行合影，提升用户与虚拟内容的互动体验，兼具趣味性和科创体验。号舍考生相人脸互动展项通过应用商汤科技提供的SenseMoji技术，用视频捕捉人物表情信息将其表情变化转移到3D 虚拟形象上。
孔庙祭孔属于AR合影互动游戏。利用AI/AR技术，商汤科技首先对祭孔案台和孔子形象进行了高度的历史还原，使其和周围的展馆、文物进行虚实融合，增强观众感官体验的真实感。其次，商汤科技增加人脸和手势识别感知技术，使观众可以进入到此3D虚实融合的场景中，一旦观众进入场景，触发“拜礼”动作，就会产生和孔子AI人像的合影，给观众惊喜，增加展览现场的互动性和趣味感。
号舍考生相所采用的商汤科技SenseMoji表情模拟解决方案，是商汤科技智能手机产品服务模块下的主要解决方案。SenseMoji解决方案基于深度学习算法与大量的数据积累，为智能终端实现人脸解锁、人脸支付、AR 特效、双摄虚化、智能相册、人像光效、手势识别等功能。号舍考生相主要基于商汤人脸图像的应用技术，包括人脸检测、关键点定位、表情识别等功能，借由多模块结合，通过视频捕捉人物表情信息，将其表情变化转移到号舍考生形象上，驱动该形象完成相应的表情动画，支持106或240个人脸关键点，多达52多种运动表情，让观众感受一次在号舍中参与古代科举考试的体验。
人脸检测跟踪、人脸关键点定位和表情识别统属于商汤人脸与人体识别技术。人脸监测跟踪适用于任意常见场景，可以在嵌入式设备、移动设备和个人电脑上实现毫秒级的人脸检测。该技术可适应侧脸、遮挡、模糊、暗光、逆光、表情变化、平面内 360° 旋转等各种实际环境，支持彩色、灰度、近红外等各种图像视频类型。人脸关键点定位可满足毫秒级别眼、口、鼻轮廓等人脸 21、106、240 个关键点定位，支持不同精度的人脸关键点定位，该技术可适应大角度侧脸、大表情变化、遮挡、模糊、明暗变化等各种实际环境。同时商汤科技的表情识别技术可支持多达52种基表情，如眼睛相关的表情共14个，嘴唇相关的表情共23个，可较稳定捕捉的表情包括：张闭嘴、微笑、左右咧嘴、睁闭眼，眯眼、眼球跟踪、挑眉、皱眉、摇头、点头等运动表情，以及以上混合表情。这样的技术完全可以满足参展观众沉浸式体验需求。此外，SenseMoji解决方案可以对表情效果优化，拥有稳定的微表情表现力。
在项目执行过程中，在不到一个月的有限时间内完成了软件开发和测试工作。期间，故宫文化给了很多专业化的建议和指导，包括两个展项中孔子、考生的形象和动作等细节方面，如衣服样式是否符合古代的制式、孔子行礼的手势是否标准等，要求细节和考究上严谨还原中国传统文化。因此，团队不断的调整和优化模型，在细节上抠到了极致。技术方面，商汤科技也陆续克服和解决了手势识别距离、识别精度、算法与Android开发板兼容性，AR合影虚拟内容与环境融合等多项问题。
故宫文化在展项内容IP、文化表现细节、应用场景融合等方面，均提供了细致而专业的指导。
商业变化
本次商汤科技与故宫文化的联合，通过互动式展览体验，用年轻人喜闻乐见的形式让参展观众亲身感受一次中国传统文化的洗礼。这是AI和传统文化展览结合的成功尝试。本展览不仅在艺术展现形式上更加丰富，也用AI技术吸引了年轻人群，使让传统文化焕发新的生机活力。未来，商汤科技与故宫文化还将有更深更广泛的合作，共同创造出更为多样更具特色的文化项目。
商汤科技与故宫文化的合作是对商汤科技AI技术的肯定。商汤科技专为文旅行业设计的一套智慧文旅解决方案通过这个项目得到实操。作为计算机视觉和深度学习原创技术的领导企业，商汤科技一直在探索AI与人类生活、社会文化、城市建设结合的方式，希望用AI让生活、社会、文化更加美好。
作为全球领先的人工智能平台公司，商汤科技SenseTime是中国科技部指定的第一个“智能视觉”国家新一代人工智能开放创新平台。同时，商汤科技也是全球总融资额及估值最高的人工智能创新企业。
商汤科技以“坚持原创，让AI引领人类进步”为使命和愿景。公司自主研发并建立了全球顶级的深度学习平台和超算中心，推出了一系列领先的人工智能技术，包括：人脸识别、图像识别、文本识别、医疗影像识别、视频分析、无人驾驶和遥感等。商汤科技已成为亚洲最大的AI算法提供商。
商汤科技在多个垂直领域的市场占有率位居首位，业务涵盖智能手机、互联网娱乐、汽车、智慧城市、以及教育、医疗、零售、广告、金融、地产等多个行业。目前，商汤科技已与国内外700多家世界知名的企业和机构建立合作，包括本田、SNOW、阿里巴巴、苏宁、中国移动、OPPO、vivo、小米、微博、万科、融创等。
商汤科技现已在香港、上海、北京、深圳、成都、杭州、京都、东京、新加坡设立办公室。