【技术综述】深度学习中的数据增强（下）

言有三

毕业于中国科学院，计算机视觉方向从业者，有三工作室等创始人

作者 | 言有三（微信号Longlongtogo）

编辑 | 言有三

今天带来深度学习中的数据增强方法的下篇。我们将从以下几个方向入手。1，介绍一下什么是无监督的数据增强方法。2，简单介绍一下GAN生成数据的应用。3，介绍一下AutoAugment为代表的网络自动学习数据增强策略的方法。4，总结。

00

什么是无监督数据增强方法

我们先看看什么是有监督的数据增强方法。它指的是生成的图片，是在已有的图片上直接做简单的几何变换，像素变化，或者简单的图片融合，如下。

上面的增强方法，都是由使用者完全定义的。然而，不是所有的任务都适合所有的数据增强方法。

比如数字识别，就不适合做旋转。不然，9和6就分不开了。

人脸姿态，就不适合做翻转，不然左右分不清。

那什么是无监督的方法呢？

包括两类：

(1)通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法，GAN【1】。

(2)通过模型，学习出适合当前任务的数据增强方法，代表方法，AutoAugment【2】。

下面分别讲述。

01

GAN

1.1 什么是Gan

generative adversarial networks，译名生成对抗网络 ，它包含两个网络，一个是生成网络，一个是对抗网络，基本原理如下：

(1)G是一个生成图片的网络，它接收随机的噪声z，通过噪声生成图片，记做G(z) 。

(2)D是一个判别网络，判别一张图片是不是“真实的”，即是真实的图片，还是由G生成的图片。

如上图，原理非常简单，至于更多的数学，训练等细节，留待以后专题，毕竟这里主要介绍数据增强方法的使用。

1.2 Gan应用

DCGAN【3】作为第一个比较实用的Gan，生成手写数字的效果还是不错的。

它的生成器的网络结构也比较简单，如下。

关于更多细节，以后再专门讲。我们看看生成的一些嘴唇的数据，这是真实项目中使用的。

现在生成效果最惊艳的来自于nvidia【4】，利用从小分辨率到大分辨率逐步提升的办法，看看结果吧。

Gan学习的是数据分布，下面我们讲讲另一种思路。

02

AutoAugment

虽然这是一篇论文，但是也可以看作一个研究方向。

它的基本思路：使用增强学习从数据本身寻找最佳图像变换策略，对于不同的任务学习不同的增强方法。

1.1 原理

我们直截了当，流程如下。

1：准备16个数据增强操作。

2 : 从16个中选择5个操作，随机产生使用该操作的概率和幅度，将其称为一个sub-policy，一共产生5个sub-polices。

3：每一个batch中的图片，随机采用5个sub-polices操作中的一种。

4：通过childmodel在验证集上的泛化能力来反馈，使用增强学习方法。

5：经过80~100个epoch后开始有效果，能学习到sub-policies。

6：串接这5个sub-policies，然后再进行最后的训练。

文章中用到的16个操作如下：

大致原理就是这样，数据增强都是已有的操作，学习到的就是组合的策略，更多训练细节可以看原文。

1.2 实际效果

我们看两个例子。

第一个是SVHN门牌图像识别，下面是学习到的图像增强操作。

从上面可以知道，AutoAugment学到了侧重于剪切和平移等几何变换，同时学会了颜色反转。

再看一个imagenet的分类任务。

从上面可以看出，AutoAugment不使用剪切，也不完全反转颜色，因为这些变换会导致图像失真。相反，AutoAugment 侧重于微调颜色和色相分布。

效果还不错对吧。还有没有其他的一些方法呢？有的，我们再举一个例子吧。

Smart Augmentation【5】，它学习到的就是组合多张图片的策略，框架如下：

下面是一个具体的例子，第一张图是后面两张图的组合。

针对具体任务进行自适应数据增强，这是一个很好的研究方向，期待后续的研究。

03

总结

下面对数据增强这两次的分享做一个总结，数据增强是为了增强模型的泛化能力，那它与dropout，weight decay有什么区别？

• weight decay，dropout，stochastic depth等方法，是专门设计来限制模型的有效容量的，用于减少过拟合，它们是显式的规整化方法。研究表明这一类方法可以提高泛化能力，但并非必要，且能力有限，而且参数高度依赖于网络结构等因素。

• 数据增强则没有降低网络的容量，也不增加计算复杂度和调参工程量，是隐式的规整化方法。实际应用中更有意义，所以我们常说，数据大于天。