ECCV18|人脸对齐与跟踪如何克服遮挡、姿态变化带来的特征点跳变?

人脸对齐与特征点跟踪的过程中,遮挡和大的姿态变化是无可避免的,在跟踪过程中这往往带来特征点的跳变,影响用户体验。

来自ECCV2018的论文《A Deeply-initialized Coarse-to-fine Ensemble of Regression Trees for Face Alignment》试图去解决这样的问题。

作者认为,出现人脸特征点距离真实位置偏移过大,是因为算法初始化时的特征点不够鲁棒,于是提出一种使用深度卷积网络粗略估计特征点位置,结合3D人脸姿态估计与重投影确定特征点初始位置,然后使用经典的回归树集成(Ensemble of Regression Trees,ERT)方法提精位置。
通过深度学习+几何重投影方法初始化,结合传统特征点定位的回归模型ERT,在各个数据集上几乎都达到了最好的性能。
请看官方视频,在突然有遮挡的时候,特征点跳变明显减小。

算法思想

下图展示了算法的基本流程:

其主要可以分解为三大步骤:
1.CNN模型计算每个特征点概率图,取最大相应的位置为特征点位置;

2.计算3D人脸模型,通过POSIT计算人脸3D姿态,并将3D特征点使用计算得到的姿态矩阵重投影到人脸图像中,作为下一步的特征点提精的初始位置;

3.ERT非刚体形状估计,改进传统回归树模型由粗到细(Coarse-to-fine)迭代计算特征点位置,直至算法收敛。ERT的特征提取使用快速的FREAK像素比较二值特征。

实验结果

在各个常用数据集都达到了最好的性能。
算法得到的一些结果图示例:

通过比较52CV君之前发的文章重磅!清华&商汤开源CVPR2018超高精度人脸对齐算法LAB,LAB比该文的精度要高。可能LAB发表的时候,该文作者没有看到。
速度上,该文在NVidia GeForce GTX 1080 (8GB) GPU 与 Intel Xeon E5-1650 3.50GHz (6 cores/12 threads, 32 GB of RAM)机器上可以达到实时(32fps),比LAB要快。

比较有意思的是,该文结合深度学习方法与传统方法,将深度学习方法得到的结果用于传统方法的特征点初始化,作者认为深度学习方法得到的特征点位置更加鲁棒(不会出现错的太离谱的幺蛾子),但传统ERT方法得到的特征点位置比较精确。不知各位读者看到后有什么启发?

作者称代码将开源,工程主页:
https://bobetocalo.github.io/publication/eccv18/

(0)

相关推荐