Image inpainting 图像修补最新综述

---

前几天52CV发布了一篇图像修补（Image Inpainting）的文章：AI魔法手！用算法修复老照片，引起了不少朋友关注，有位朋友问有没有图像修补的最新进展，今天就跟大家分享一篇前天新出的图像修补论文：Image inpainting: A review。

论文作者信息：

作者均来自卡塔尔大学。

图像失真与图像修补应用

图像修补是在图像被各种类型内容影响失真后的恢复，作者列出了常见的图像失真类型，如下图：

包括块状遮挡、文本遮挡、噪声、目标遮挡、图像掩膜、照片划痕等。

不仅有开篇提到的修复老照片应用，图像修补的应用包括：

图像恢复（针对照片划痕和文本遮挡的去除）、照片编辑（去除不想要的目标，感觉这个很好玩）、图像编码和传输（在图像传输过程中网络丢包带来的图像块状内容丢失）都需要用到。

图像修补算法分类

作者将图像修补的算法分成三类：

1、 基于序列的方法；

2、基于CNN的方法；

3、基于GAN的方法；

基于序列的方法

包括 1） 基于图像块（Patch）的方法和 2）基于扩散（diffusion）的方法。

基于图像块的方法基本思想是在原图上寻找相似图像块，将其填充到要修补的位置。

基于扩散的方法是修补位置边缘的像素按照与正常图像区域的性质向内生长，扩散填充整个待修补区域。

上述方法近几年的工作汇总表：

可见基于图像块的算法更多一些。

基于CNN的方法

基于序列的方法对于修补图像的纹理损坏等局部失真是可行的，但应对某些全局信息失真则显得力不足心。

基于CNN的方法则可以很好的弥补这一不足。

基于CNN的方法中，编码器-解码器结构的网络是该领域的主流。（好像对于涉及到图像到图像的任务，都是这一结构居多）

基于CNN的图像修补方法一览：

可见一半的方法都是编码器-解码器结构。

文献中报告的一些基于CNN的方法修补结果精度一览：

基于GAN的图像修补方法

生成对抗网络在图像生成任务中正越来越被重视，当然也被用于图像修补。

下图为GAN的示意图，包含生成网络和鉴别网络。

这部分的工作还不是很多，可以查到的工作PEPSI++、FiNet等。

文献中报告的一些基于GAN的方法修补结果精度一览：

图像修补数据集

任何计算机视觉方向的发展都离不开数据的支撑，在深度学习时代更是这样。

一些常见的不同场景图像修补数据集示例如下：

常用数据集比较及汇总：

可见除了一些含有常见通用的目标的图像，还有人脸、街道、汽车、文本等的专门的图像修补数据集。

该论文是图像修补方向的最新综述，非常值得从事相关研究开发的朋友参考。

论文地址：

http://arxiv.org/abs/1909.06399v1

论文下载：