CVPR 2019 Oral | 华科开源效果超群的人体姿态迁移算法 / 开普饭

今天跟大家重磅介绍华中科技大学刚刚开源的一款人体姿态迁移算法，其基于GAN思想构建，效果好到简直令人不可思议，论文《Progressive Pose Attention Transfer for Person Image Generation》已中 CVPR 2019 Oral，非常值得一读～

作者信息：

论文出自华科白翔老师组，作者单位分别为华中科技大学、微软Redmond，中兴集团。

什么是姿态迁移？

简单点说，就是给定一幅含有人物的图片和一个目标姿态，将图片内人物转换成目标姿态的样子。当然目标姿态可以是从其他图片人物中计算得来的。（所以也可以将一幅图片的人物转成另一图片内人物的姿态）

这听起来就是一项黑科技。

很显然这是一个很有趣的应用，比如给定一幅人物图像，可以将里面人物按照另一段视频里的人物变换姿态。只需要一幅你的图片，就能让你跳出优美的舞蹈～

不过，毕竟一幅图片信息有限，转换后不会惨不忍睹吧。

下图是该论文算法实现的效果（请务必点击查看大图！）。这里的目标姿态使用线段连线表示。

难以置信，图片下面6幅生成的结果图片是靠左边的一幅图生成出来的！点击大图查看，你会发现细节很清晰！

尽管只有侧颜侧身照，但不耽误我们360度看美女^_^

是不是很神奇～

算法原理

首先我们先看看作者在这个过程中使用的数据，首先是一幅图片Condition image Pc，与该图片中使用姿态估计算法提取的姿态Condition Pose Sc，还有目标姿态Target Pose St。

作者提出了一种称之为Progressive Pose Attention Transfer（渐进的姿态注意力迁移）模型。

作者基于GAN思想构建算法。对于输入的人物图片和姿态，生成新的人体姿态图片和姿态，并有两个判别器，一个纹理判别器一个形状判别器，判断生成器生成的人物图片和姿态是不是真实的。

姿态迁移是由生成器完成。下图表达了作者设计的生成器的算法架构。

在Pose-Attentional Transfer Network中含有多个Pose Attentional Block，其作用是对输入的image pathway和pose pathway按照Pose Mask进行更新，图中Mt即为Pose Mask，它引导网络将图片中人物的不同的部分按照目标姿态进行像素块迁移。

将最后一个Block中Image Pathway的数据经过解码网络，即得到了最终的生成图像。

实验结果

作者在DeepFashion与Martket-1501数据集上进行了实验。

在训练阶段，分别在这两个数据集上构建了263632和101966样本对。

文中评价指标不再细述。

下表是该文算法与已有算法的量化比较：