英伟达发布会“造假”！用3D建模 AI算法做出来的！
来源:CG世界
本文已经获得CG世界转载授权
今天我们来说说那场在今年4月份举办的NVIDIA GTC 2021大会中，黄仁勋在厨房里做的那一个主题演讲。
相信大家这几天一定发现了微博热搜上有着这样一个话题：#英伟达发布会的黄仁勋是假的#。因为这个太火了，有人提出了质疑，说有些过度解读。但从官方发布的Making of视频介绍来看，确实让人大为惊叹。不得不说，这个脑洞确实太大了，能如此成功的实践出来也是让人大受震撼，格局一下子就打开了。
顺着视频我们扒了扒其中的技术点，来带大家看看这场发布会是如何造假的。
视频的前半段为大家介绍了使用GTC的Omniverse生成的训练数据，足以彰显英伟达将自己不断推向极限的热情。但这些还不够，其实在发布会举办之前，黄仁勋就叫团队做一个他以及他的厨房的数字替身，并在主题演讲的关键时刻出现在大家面前。
首先我们来说说厨房。
在疫情还没爆发之前，英伟达就一直在筹备这场大型活动和主题演讲，想办法能让黄仁勋站在舞台上为更多观众进行展示。但是突如其来的疫情只能叫英伟达重新想办法，于是就有了这个厨房里的演讲。为了能使这个第一次在厨房里的演讲的水平得到提升，团队想尽了一切办法来让这个厨房焕发生机。他们开始创建厨房的3D数字替身，并找到了可以让这个厨房栩栩如生的独特方式。
团队先是从厨房的各个角度拍摄了数百张的照片，然后通过一个摄影测量软件创建了一个粗略的模型用来进行缩放等处理，这些是建模人员为模型添加更多细节和准确性的起点。
当我们知道厨房里的一切都是通过合成制成的以后，想必就能意识到这到底有多复杂了吧。如果仔细观察，就像构成现实生活中厨房的数千颗螺丝一样，在这个场景中我们是可以看到许多隐藏的物体的，这些都是厨房的制造组件，一个场景中可能会有6000到8000个物体，以及数亿个多边形。
在这里插入一个有趣的小细节，团队在这里藏了一些小小的彩蛋，比如一个带有NVIDIA标志的咖啡研磨机，还有一个以英伟达的软件“Tao”命名的橄榄油瓶，你都发现了吗？
作为主题演讲的一部分，英伟达不仅对厨房进行了虚拟化，也对黄仁勋进行了虚拟化。接下来我们就来说说最主要的人。我们可以看到厨房被一点一点拆除后，黄仁勋再次出现在了全息甲板中，这就是他的虚拟版本，并为我们继续介绍新的CPU，最后通过传送离开。
与电影制作不同，这次厨房演讲中所创建的真实人物的数字替身，需要尽可能多的捕捉关于老黄的数据，团队有一个非常小的集合，其他的一切都必须通过人工智能才能合成它们。英伟达已经开发了许多基于人工智能的生成动画渲染技术，这个演讲正是可以证明这些技术究竟可以用最少的数据能做多少事情的最好机会。
团队首先需要对老黄进行一些3D扫描，他们找到了一个有着数百台单反相机的卡车设备，并把这个设备开到了老黄家，让老黄走进去，通过一系列的姿势，为他拍摄了数千张照片，这些就是团队创建3D模型的基础。
模型有了之后，就该想办法要怎么使这个模型看起来栩栩如生，也就是该怎么使这个模型“活”起来了。这一过程主要由两个部分组成，一个是面部表现，另一个则是身体动作。
面部动作是通过NVIDIA的Audio2Face技术驱动完成的。Audio2Face是一种使用音频剪辑来创建任何类似角色面部动作的自动化方式，虽然通过它可以得到一种还不错的面部效果，但是还是有些地方不太完美，比如皮肤看起来不太现实。于是在这里他们就联系了视频研究团队，这个团队正在研究一项名为Face Video to Video的技术，通过这项技术就可以将拍摄好的老黄的脸映射到他自己的动画CG版本上了，更值得一提的是，通过这项技术，还能够填补CG模型的带来的恐怖谷效应，从而就可以创建一个全屏拍摄的真实老黄的镜头了。而且在这里还有专门的AI化妆师，可以为CG老黄化上更逼真的妆容。
在这种全息甲板的环境中，老黄额头上的高光便成了渲染阶段的难点之一。如果想要获得逼真的渲染效果，就必须得使这些镜面高光保持在正确的位置，也就是说，当老黄做出一些旋转的动作时，这些高光可不能跟着一起旋转。于是在这里团队使用了深度学习方法，不通过物理效果来控制它的外观。他们创建了一个房间，房间的灯光类似于最终CG世界中的全息甲板，然后让老黄站在那里。团队在主题演讲考试的前3、4天拍摄了几个视频，用来快速利用这些数据来对老黄的模型进行微调，并实现更好的灯光控制。
让面部“活”起来只是成功的一半，身体表现也是很重要的部分。
这里还有另一项叫做Audio2Gesture的技术，通过它可以把音频输入和输出的行为特征体现在实际说话中。团队找了专门的动作捕捉人员，并且通过8个小时来研究老黄过去的主题演讲，以及了解老黄的身体特征，然后让他穿上动作捕捉套装，记录下他模仿老黄的这一过程，从而形成了一个训练集。团队计划好了所有的镜头和场景，以及老黄应该在哪个位置，然后通过创建好的模型，以及老黄提前录制好的音频，就可以传输驱动表演和谈话等动作了。也就是说，只要发出一个声音，就可以产生一个身体动作。这里有21个不同版本，每次更新都可以在21个版本和几个不同的行为之间进行选择，就像真的在选演员一样，然后选出来最适合的那一个。
这些动作被加载到CG老黄的模型中以创建CG镜头，并将面部替换成十分逼真的老黄的脸，然后用CG镜头合成脸部、包括头部还有身体的部分，并把这个最终版本的老黄放入到厨房的场景中，这一整个以数字替身完成的主题演讲就完成了，英伟达就是这样子“造假”的。
以上就是为大家简单的介绍了一下视频中为大家展示的制作这一主题演讲的过程，大家现在能看出来这个演讲是假的了吗？最后还是不得不感叹一句，可恶，真的被英伟达给装到了，他们真的完美的骗过了我们所有人！
创建数字人类一直都是一个不小的难题，如何创建出使这一过程变得更加容易工具也是行业内的人员一直在研究的。虚拟厨房和虚拟老黄的演示都是在Omniverse中完成的，当然还有许多帮助创建纹理和建模的工具，比如ZBrush、Maya等等，还有一些基于AI的技术。相信这些技术未来一定还会在这个领域大放光彩的。