一键秒变迪丽热巴!DeepFaceLive直播换脸真假难辨

Python入门与进阶 2021-08-13

新智元报道  ,来源:Github

AI换脸技术「船新」升级,DeepFaceLive推出实时换脸软件,一键安装,新手友好,换脸后丝毫看不出破绽。

欢迎光临「DeepFace整容所」!

无需开刀!无需微创!

双眼皮、开眼角、瘦脸统统都不在话下!

让你秒变帅哥美女!

给你看看现在已经非常成熟的「整容技术」:

一个软件就能直接将Angela Baby整成迪丽热巴!
只要迪丽热巴的泪痣和嘴?没问题!
还能让发福的沈腾换成马爸爸的脸:
而这次,「整容技术」有了全新的升级!
给直播间的网红「实时整容」!
换上范冰冰的脸,毫无维和感。
没错,这就是DeepFaceLive的实时换脸软件。
DeepFaceLive项目地址:https://github.com/iperov/DeepFaceLive
只要打开软件,就能够实时处理直播中的视频,给主播换脸。
此处祭出一个大杀器:刘亦菲模型!
放大看一下,五官完美替换。
不同性别换脸,DeepFaceLive也能够完全驾驭。
团队这次推出的软件除了能够给直播视频实时换脸,还能在视频通话的时候换脸。
当然了,人脸替换的模型要先经过DeepFaceLab算法训练。
论文地址:https://arxiv.org/pdf/2005.05535.pdf
现在网络上95%以上的Deep Fake视频都是用DeepFaceLab制作的。
例如下面这些流行的YouTube频道:
DeepFaceLab项目地址:https://github.com/iperov/DeepFaceLab
这次DeepFaceLive的推出,肯定会有更多好玩的视频甚至是直播了。
软件运行起来也非常简单,只需要有64位的Win 10系统和NV的显卡就可以了。
That s it!就这么简单!

DeepFaceLive

点击就「换」!
(记得更新显卡驱动)
人脸检测
人脸检测器集成了YoloV5、S3FD以及CenterFace。
此外,也可以选择使用用CPU进行处理。
人脸对齐
可以修改简单的参数,调整人脸对齐的效果。
人脸标记器
人脸标记器提供了基于CPU加速的OpenCV LBF和基于GPU加速的Google FaceMesh。
人脸交换器
在人脸交换器中,需要载入用户提前用DeepFaceLab训练好的模型。
详细教程可以访问:https://github.com/iperov/DeepFaceLive/blob/master/doc/setup_tutorial_windows/index.md

DeepFaceLab

Lab不需要手工挑选特征就可以实现流畅和逼真的换脸效果。
只需要两个视频:源视频(src)和目标视频(dst)。
不仅如此,两个视频之间还不需要匹配相同的面部表情。
Part 1 提取人脸
Lab的第一个阶段是从src和dst数据中提取人脸。
人脸检测 
在Lab中,S3FD被用作默认的人脸检测器。
人脸对齐
Lab提供了两种典型的面部坐标提取算法来解决这个问题:
  1. 基于热图的面部坐标算法2DFAN(适用于具有标准姿势的人脸)
  2. 具有三维面部先验信息的PRNet(适用于具有大欧拉角的人脸,例如其中的一侧不在视线之内)。
在检索出面部坐标后,Lab提供了一个可配置时间步长的可选函数,以平滑单次拍摄中连续帧的面部坐标,进一步确保稳定性。
然后,利用经典的点模式映射和转换方法来计算用于面部对齐的相似性转换矩阵。
由于在计算相似性转换矩阵时需要标准的面部坐标模板,因此Lab提供了一个规范的对齐的面部坐标模板。
此外,Lab可以利用获得的面部坐标自动预测欧拉角。
面部分割 
在对齐之后,得到了一个带有标准正面或侧面视图的脸部数据文件夹。
我们在此基础上采用精细的人脸分割网络(TernausNet),准确地分割出有头发、手指或眼镜遮挡的人脸,同时也可以移除不规则的遮挡物。
由于一些SOTA人脸分割模型在某些特定的镜头中无法生成细粒度的掩码,因此Lab将XSeg引入。
XSeg允许用户使用多张照片来训练模型,从而分割特定的人脸。

在XSeg的帮助下,用户可以用它来消除手、眼镜和任何其他可能覆盖面部的物体的遮挡,并控制特定的区域进行交换。

Part 2 模型训练
由于作者希望不用对src和dst的面部表情进行严格的匹配,因此Lab提出了两种结构来解决这个问题。
DF结构
LIAE结构
DF结构包括一个编码器以及src和dst之间共享权重的Inter,两个分别属于src和dst的解码器。
src和dst的泛化是通过共享的Encoder和Inter实现的。
DF结构可以完成换脸的任务,但不能从dst继承足够的信息,而LIAE结构则可以用来解决光线的一致性问题。
LIAE的结构要更复杂,有一个共享权重的编码器,一个解码器和两个独立的输入器。
此外,Lab默认使用混合损失(DSSIM+MSE)。DSSIM可以更快生成人脸,而MSE可以提供更好的清晰度。
此外,作者采用了一种真实面孔模式TrueFace,它可以在转换阶段使生成的面孔与dst有更好的相似性。
从结果来看,最终生成的脸的质量有着明显的提升。
Part 3 人脸交换
以前的方法往往忽略了转换阶段的重要性。
而Lab可以让用户将src的脸换到dst,也可以逆向操作。
为了保持人脸肤色一致,Lab又提供了五种颜色转移算法(Reinhard颜色转移、迭代分布转移等)。
Lab的liae架构模型自带光影学习,在处理不同的肤色、脸型和光照条件的混合时,只要边缘羽化一下两张脸的结合处就不会显得突兀。
最后则是对人脸进行锐化。
由于SOTA模型所生成的脸部,或多或少都是平滑的,缺乏微小的细节(例如,痣,皱纹)。
因此,Lab集成了一个预先训练好的脸部超分辨率神经网络用作混合后脸部的锐化。
结果比较
作者采用来自FaceForensics++数据集的开源项目来测试换脸结果。
不同表情和脸型的换脸例子
为了公平起见,作者将训练时间限制在3小时内,并采用了一个具有DF结构的轻量级的模型:Quick96,其输出分辨率为96×96。
此外,作者使用Adam优化器(lr=0.00005,β1=0.5,β2=0.999)对模型进行优化。
这些模型的训练都是在NVIDIA GeForce GTX 1080Ti GPU和Intel Core i7-8700 CPU上训练的。
FaceForensics++人脸图像的定性换脸结果
与DeepFakes和Nirkin的模型相比,Lab可以保留更多的姿势和表情。
此外,转换阶段加入了超分辨率网络,Lab可以输出更有灵气的眼睛和线条明显的牙齿。
不过这种效果无法在SSIM的分数上体现出来。

实时换脸,是喜是忧?

研究人员不断追求效果自然,AI换脸技术也变得越来越「无懈可击」。
如今直播带货行业乘着技术发展的翅膀,让商家们能够获利更多。
软件的开发者「不愿透露姓名的滚石」表示,如果直播带货行业能够使用这个换脸软件,灵魂有趣但颜值不够的带货主播就能拥有高颜值,提高直播间吸引力。
大大降低了商家开直播间成本的同时,还能够提高直播间的吸引力。
这位开发者同时也表达了他的担忧:一但软件得到广泛应用,心怀不轨的人可能会利用实时换脸技术进行诈骗勒索。
以往的换脸技术最多只能对视频换脸,如果要诈骗,只要保持警惕,视频很快就会露馅儿。
但如果实时换脸技术被用于诈骗,在这个真真假假的虚拟世界中,可能大部分人都没有办法分辨屏幕那端是不是「本尊」。
如果诈骗的是我们的父母这样年纪大一点的人,对方能够和父母互动,原本辨别力就不高的他们可能很容易就会被骗转账。
在这个AI世界里,人与人之间还能保有最后一份真诚吗?

参考资料:

DeepFaceLive项目地址:https://github.com/iperov/DeepFaceLive

DeepFaceLab项目地址:https://github.com/iperov/DeepFaceLab

DeepFaceLab论文地址:https://arxiv.org/pdf/2005.05535.pdf

中文论坛地址:https://dfldata.xyz

- EOF -
(0)

相关推荐

  • 10个预训练模型开始你的深度学习(计算机视觉部分)

    重磅干货,第一时间送达 作者:PRANAV DAR编译:ronghuaiyang导读对于希望学习算法或尝试现有框架的人来说,预训练的模型是一个很好的帮助.由于时间限制或计算资源的限制,不可能总是从头构 ...

  • 情人节「告白生成器」来了!这个AI能让偶像对你说情话,过于真实!

    重磅干货,第一时间送达 情人节将至,当其他人还在苦思冥想如何准备情人节礼物时,我却已经收到了我最喜欢的idol说给我的情话视频-不仅如此,我还用自己的照片说出了亲爱的ta最喜欢的告白台词,究竟是什么技 ...

  • 综述:目标检测二十年(2001-2021)

    作者丨派派星 来源丨CVHub 编辑丨极市平台 极市导读 目标检测领域发展至今已有二十余载,本文将对目标检测领域近20年的发展做一次系统性的介绍,并为目标检测构建一个完整的知识体系架构. 引言 目标检 ...

  • 大开眼界,Pythoner必看的7个Github项目!

    Python之所以大受欢迎,其中一个重要原因是有大量的开源项目.很多看似极其困难的事情,可能一个开源项目加上几行代码就搞定了. 低头学习Python基础很重要,抬头看世界.了解神一样的开源项目能解救你 ...

  • ECCV18|人脸对齐与跟踪如何克服遮挡、姿态变化带来的特征点跳变?

    人脸对齐与特征点跟踪的过程中,遮挡和大的姿态变化是无可避免的,在跟踪过程中这往往带来特征点的跳变,影响用户体验. 来自ECCV2018的论文<A Deeply-initialized Coars ...

  • 精品收藏:GitHub人工智能AI开源项目

    精品收藏:GitHub人工智能AI开源项目 绝对精品!!!花了点时间,鄙人把这几年收藏的开源精品项目,整理一下,方面以后查找.其中涵盖了姿态检测,图像分割,图像分类,美学评价.人脸识别.多尺度训练,移 ...

  • PFLD:简单、快速、超高精度人脸特征点检测算法

    什么样的算法才是好算法? 真正能实用的算法才是最好的算法! 这需要实现三个目标:精度高.速度快.模型小! 今天arXiv新发布的文章<PFLD: A Practical Facial Landm ...

  • DeepFaceLab2.0 :超详细入门教程!

    在这出门慌得一B,在家闲的D疼的日子,静下心来玩玩换脸黑科技也是一个不错的选择.新年新气象,DFL也迎来了2.0版本,虽然当前作者还在不断的修bug, 但是很多小伙伴肯定已经迫不及待的要去尝试新版本了 ...

  • 冠军方案解读|世界人工智能创新大赛-口罩识别方向

    2020年世界人工智能创新大赛菁英挑战赛已经圆满落幕,获奖名单已于前日公布,我们邀请到了口罩识别赛题的冠军来做竞赛方案解读. 首先感谢比赛方举办这个比赛,Openvino在CPU上的加速效果很明显,非 ...

  • 开源机器学习库清单

    重磅干货,第一时间送达 最近我们发现了一些非常有趣的开源机器学习库并把它们列成了一个清单,今天就一起来分享以下吧. 01.DeOldify 这个开源项目主要是将灰度图像转换成色彩图像,它所采用的深度学 ...