PRNet:人脸3D重建与密集对齐

随着直播视频的兴起,人脸动画贴纸成为一项必备的视频技术,而其后的核心技术人脸对齐和人脸跟踪在学术界也越来越火,本文介绍的PRNet就可以使你快速开发有趣的人脸应用。

PRNet来自于论文“Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network”

其主要特点:

1.End-to-End 计算方式 可以直接从单幅人脸图像同时回归出3D人脸结构和密集对齐点;

2.多任务 通过回归位置图,可以直接获得3D几何以及语义信息。因此,我们可以毫不费力地完成密集对齐,单目三维人脸重建,姿态估计等任务;

3.比实时还要快的速度 该方法可以以超过100fps(使用GTX 1080)运行以回归位置图;

4.鲁棒 在开放场景下测试面部图像,该方法对姿态变化,光照变化和遮挡都具有良好鲁棒性。

应用场景

1.人脸对齐

人脸可见和不可见点的密集对齐(包括68个关键点)。

2.三维人脸重建

从单个图像中获取3D顶点和相应的颜色。将结果保存为网格数据(.obj),可以使用Meshlab或Microsoft 3D Builder打开。请注意,由于自遮挡,非可见区域的纹理会扭曲。

您可以选择使用其原始姿态(默认)或前视图输出网格(这意味着所有输出网格都已对齐)

obj文件现在也可以用纹理贴图编写,并且可以将不可见纹理设置为0。

3.3D人脸姿态估计

使用所有顶点(超过40K)来计算更准确的姿态,而不是仅使用68个关键点来计算姿态矩阵(容易受表情和姿态影响)。

4.通过人脸图像获取深度信息

5.人脸纹理编辑

修改输入面的特殊部位,例如:

6.换脸

https://github.com/YadiraF/PRNet

欢迎访问www.52cv.net,获取更多计算机视觉与机器学习技术信息。

长按关注我爱计算机视觉公众号:

(0)

相关推荐