《赛博朋克2077》是如何将人物表情和口型本地化的？
在开发《赛博朋克2077》期间，“巫师”系列开发商CD Projekt Red与许多名人进行了合作。例如，让著名影星基努·里维斯扮演角色强尼银手，而瑞典朋克乐队Refused和加拿大流行歌手Grimes则参与了游戏里的音乐表演。
但你很可能从未听说过Jali Research的名字。这是一家来自加拿大的面部动画公司，在《赛博朋克2077》的本地化过程中为CDPR提供了协助。
Jali成立于多伦多大学内部，由博士生波夫·爱德华兹（Pif Edwards）、曾获得奥斯卡奖的动画师兼总监克里斯·兰德雷斯（Chris Landreth），以及尤金·富梅（Eugene Fiume）和卡兰·辛格（Karan Singh）两位教授联合创办。
Jali Research的部分成员
一些基本方法
起初爱德华兹的主要研究方向是面部动画，不过后来转移到了语言表达上，因为他认为当人们在表达想法时，几乎总是在说话。他对当时用来处理语音和动画的那些工具感到不满，决定自己构建新工具。
2016年，Jali向计算机图形学会议SIGGRAPH提交了一篇将程序性讲话作为主题的论文，CDPR在读过那篇文章后与他们取得联系。
在2015年发售的《巫师3》中，CDPR使用算法来处理8种不同语言角色配音的面部动画，并在一定程度上取得了成功。不过，《赛博朋克2077》还有更远大的目标，希望对10种语言的角色配音进行口型同步，包括英语、德语、西班牙语、法语、意大利语、波兰语、巴西葡萄牙语、俄语、中文普通话和日语。
CDPR将机器学习和基于规则的人工智能进行了结合使用。其中，机器学习被用于“校准”阶段，目标是让机器弄清楚当某个人说话时，究竟会发出哪些声音。
“假设我们有一份音频文件，里边有人正在说‘Hello’。”Jali联合创始人兼首席技术官爱德华兹解释道，“H音是从哪里开始，在哪里结束的？e、l和o的声音又在哪里？我们会标记特定语言的信息，然后训练一个机器学习过程，让它使用数据来识别声音。”
“之后你可以扔给它一句此前从未见过的新对话，而它将会预测声音之间的界线，以及每个音素的持续时间。”
我们可能从未注意到表情和口型的本地化，但这也许就是成功？
Jali接下来会进入工作的第二阶段，即动画制作。他使用老式基于规则的AI，以确定哪些面部动作与角色正在发出的声音相对应。这套系统会对特定的输入做出响应，执行操作。
“借助这种基于规则的方法，我们可以根据角色发音来判断应该采用哪种嘴型。”爱德华兹说，“例如，你在说‘dude’和‘you’时嘴型看上去很像，但它们是两个完全不同的词……当你念出某些特定字母或声音时，嘴型未必一成不变。你不能说这是个en音，所以我发音时嘴型就像这样。你得考虑很多变量，包括字母前后有哪些其他音节等。”
“我们对语音做过大量研究，积累了各方面的很多不同知识，并制定了一系列规则。无论你正在发出什么声音，无论不同语言在发音上有哪些区别，我们都知道需要配备怎样的面部表情。”爱德华兹说。
这种技术结合的美妙之处在于，在机器学习过程的支持下，同一套基于规则的AI可以被运用于多种不同方言。“我们必须针对每种语言专门训练机器学习过程，但动画的组成部分是相同的。我们没有针对日语的特定动画模型，只有语言模型。”
在游戏里，玩家最直观的感受还是配音
“令我惊讶的是，语言学的一般规则适用于所有语言，但这很难……人们之所以不愿意进行这类基于规则的工作，是因为你不得不了解这些规则，需要耗费很长时间。”
Jali帮助开发团队节省了大量时间。平均而言，一位动画师需要花大约7小时才能做完单个角色在游戏里说1分钟话的动画，而《赛博朋克2077》不但是一款含有巨量对话的大型RPG，还得支持10种不同语言配音的口型同步，显然需要CDPR付出巨大的人力和时间成本。
除了口型，还能做什么
从某种意义上讲，借助这种本地化技术，《赛博朋克2077》还将世界各地的更多语言视为“一等语言”。很多时候，游戏发行商只会在作品中针对英语同步角色口型，在为其他语言做本地化时会进行额外的配音，效果却往往不尽人意。
“举个例子，假设你想将一句对话从英语翻译成法语。”爱德华兹解释说，“翻译后的版本可能比原句长得多。许多游戏的做法仅仅是加长动画，但看上去可能非常蠢。工作室不得不这么做，因为他们不能重做口型同步了。”
“面部动画也很重要，Jali的技术让所有元素显得协调。当你玩这款游戏时，会发现说普通话的角色确实就像在说普通话。”
在这个技术下，当切换一种语言后，除了嘴型之外，他们的动作和其他面部表情也能做到跟这种语言比较搭配
有趣的是，CDPR在创办初期就是以面向波兰本土市场引进海外游戏起家的。在过去，大多数波兰人愿意玩盗版游戏，部分原因在于海外发行商不想花工夫将游戏翻译成波兰语。随着CDPR将更多精力放在翻译和本地化上，越来越多的波兰玩家愿意花钱购买正版游戏。
这种理念似乎一直延续至今。今年夏天，CDPR中国公关和市场总监Darren Ding曾在社交媒体上透露，中国是《赛博朋克2077》预购玩家数量最多的国家。这既是因为中国人口众多，也与《赛博朋克2077》在中文本地化方面的出色表现不无关系。
“我和一位俄罗斯同事聊过我们正在做些什么。”爱德华兹说，“他是《巫师3》的忠实粉丝，但只玩过英语版本，因为那是《巫师3》最受关注的版本。当那位俄罗斯同事玩到《赛博朋克2077》时，他特别兴奋，因为他将获得与那些说英语的人完全一样的体验。”
“这是让玩家进一步沉浸于游戏的方式，能够帮助他们不再出戏，真正深入体验故事。”
本文编译自：http://www.gamesindustry.biz/articles/2020-12-10-why-cd-projekt-used-ai-to-localise-cyberpunk-2077
原文标题：《Why CD Projekt used AI to localise Cyberpunk 2077》
原作者：Alex Calvin