【每周CV论文推荐】换脸算法都有哪些经典的思路？
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
人脸伪造/换脸算法目前在一定程度上已经达到了以假乱真的效果，这个课题的研究也是由来已久，本次我们来介绍其中的几种重要思路。
作者&编辑 | 言有三
1 基于3D模型和光流的方法
早期的换脸算法其实不是我们这里要说的换脸算法，而应该称之为面部表情迁移算法，其中基于多张图像/视频序列的方法非常流行，以华盛顿大学的Suwajanakorn等人的研究为代表，主要是基于3D模型和稠密光流变换，我们公众号4年前有过简单的解读，可以参考三维人脸重建入门。
文章引用量：40+
推荐指数：✦✦✦✦✧
[1] Suwajanakorn S, Seitz S M, Kemelmacher-Shlizerman I. What makes tom hanks look like tom hanks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015: 3952-3960.
[2] Thies J, Zollhofer M, Stamminger M, et al. Face2face: Real-time face capture and reenactment of rgb videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 2387-2395.
2 基于形状拟合的算法
基于形状拟合的方法是最直观的换脸算法，即检测到的关键点然后计算两个人脸形状之间的变形，再添加图像融合等后处理技术，目前在天天P图等应用中的换脸算法如此。
[3] https://github.com/hrastnik/FaceSwap
3 基于风格迁移的算法
换脸算法保留了被换脸的表情，姿态，形状，同时使用了新脸的纹理，要实现的就是纹理的迁移，这可以使用已经较为成熟的风格迁移算法。
文章引用量：60+
推荐指数：✦✦✦✦✧
[4] Korshunova I, Shi W, Dambre J, et al. Fast face-swap using convolutional neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3677-3685.
4 基于图像翻译的算法
换脸算法是一个人脸到人脸的图像翻译问题，所以Pix2Pix，CycleGAN等模型自然可以直接被应用，在添加了人脸掩膜，姿态，光照等信息的监督下可以获得非常逼真的换脸结果。
推荐指数：✦✦✦✦✦
[5] Jin X, Qi Y, Wu S. Cyclegan face-off[J]. arXiv preprint arXiv:1712.03451, 2017.
5 基于自编解码模型的算法
GAN等生成模型已经被广泛应用于人脸的编辑，我们在上期文章中给大家做过不少的相关介绍，可以参考【杂谈】GAN对人脸图像算法产生了哪些影响？。
当前最流行的Deepfakes就是在使用同样的编码器的约束下，分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸，感兴趣的可以参考开源代码[7]进行尝试。
推荐指数：✦✦✦✦✦
[6] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.
[7] https://github.com/deepfakes/faceswap
6 如何获取文章与交流
找到有三AI开源项目即可获取。
https://github.com/longpeng2008/yousan.ai
文章细节众多，相关的人脸数据集在以及论文阅读交流在有三AI知识星球中进行，感兴趣可以加入。
总结
本次我们简单介绍了换脸的几种思路，随着条件GAN等生成式模型的发展，编辑后的人脸精度越来越高，技术虽好，不要使坏噢。
有三AI秋季划
有三AI秋季划已经正式启动报名，模型优化，人脸算法，图像质量共24个项目，助力提升深度学习计算机视觉算法和工程项目能力。
转载文章请后台联系
侵权必究