PRNet:人脸3D重建与密集对齐
随着直播视频的兴起,人脸动画贴纸成为一项必备的视频技术,而其后的核心技术人脸对齐和人脸跟踪在学术界也越来越火,本文介绍的PRNet就可以使你快速开发有趣的人脸应用。
PRNet来自于论文“Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network”
其主要特点:
1.End-to-End 计算方式 可以直接从单幅人脸图像同时回归出3D人脸结构和密集对齐点;
2.多任务 通过回归位置图,可以直接获得3D几何以及语义信息。因此,我们可以毫不费力地完成密集对齐,单目三维人脸重建,姿态估计等任务;
3.比实时还要快的速度 该方法可以以超过100fps(使用GTX 1080)运行以回归位置图;
4.鲁棒 在开放场景下测试面部图像,该方法对姿态变化,光照变化和遮挡都具有良好鲁棒性。
应用场景
1.人脸对齐
人脸可见和不可见点的密集对齐(包括68个关键点)。
2.三维人脸重建
从单个图像中获取3D顶点和相应的颜色。将结果保存为网格数据(.obj),可以使用Meshlab或Microsoft 3D Builder打开。请注意,由于自遮挡,非可见区域的纹理会扭曲。
您可以选择使用其原始姿态(默认)或前视图输出网格(这意味着所有输出网格都已对齐)
obj文件现在也可以用纹理贴图编写,并且可以将不可见纹理设置为0。
3.3D人脸姿态估计
使用所有顶点(超过40K)来计算更准确的姿态,而不是仅使用68个关键点来计算姿态矩阵(容易受表情和姿态影响)。
4.通过人脸图像获取深度信息
5.人脸纹理编辑
修改输入面的特殊部位,例如:
6.换脸
https://github.com/YadiraF/PRNet
欢迎访问www.52cv.net,获取更多计算机视觉与机器学习技术信息。
长按关注我爱计算机视觉公众号: