【小结】除了网络搜索(NAS)，AutoML对深度学习模型优化还有哪些贡献？ / 开普饭

自从Google提出AutoML技术以来，已经过去了好几年了，如今在学术界和工业界都是热点。AutoML在网络结构的搜索上已经取得了非常多的突破，相关的文章，技术博客都已经广为流传，那么除了在网络结构本身的搜索上，AutoML技术对于深度学习模型的优化还有哪些贡献呢？本文就来简要总结这个问题。

1 数据增强

数据增强是深度学习模型训练的必备良药，写论文刷比赛提指标的大杀器。传统的数据增强方法以各类通过参数控制的预设几何变换和颜色变换为主，如果让模型针对具体的任务自动学习数据增强，理论上会更加智能，这便是基于AutoML的数据增强技术，它主要是用于自动学习数据增强策略，包括选择哪一个操作，什么时候应用该操作。

AutoML与数据增强

【AutoML】如何选择最合适的数据增强操作

2 激活函数

激活机制是一个网络非线性表达能力的来源，早期研究人员已经设计出了不少的激活函数，从sigmoid到relu系列，随着AutoML技术的发展，现在研究人员开始使用搜索技术来进行设计，提出了Swish及更多的变种。

AutoML与激活函数

【AutoML】激活函数如何进行自动学习和配置

3 归一化方法

数据经过归一化和标准化后可以加快梯度下降的求解速度，这是Batch Normalization等技术非常流行的原因，它使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力。当前归一化方法非常多，那怎么选择呢？每一个网络层中都使用同样的归一化，这是最优的配置吗？不如交给AutoML来自动配置。

AutoML与归一化

【AutoML】归一化(Normalization)方法如何进行自动学习和配置

4 优化方法

要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，然而要熟练使用，需要大量的工程经验和深厚的理论基础，那么能不能使用AutoML来减轻这个负担呢？

AutoML与优化方法

【AutoML】优化方法可以进行自动搜索学习吗？

5 优化目标

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也往往只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。

AutoML与优化目标

【AutoML】损失函数也可以进行自动搜索学习吗？

6 模型剪枝

我们给大家介绍过各种各样的模型压缩技巧，其中模型剪枝是一个研究已久，也非常考验工程素质的方向，那能否使用AutoML技术来进行剪枝呢？

AutoML与模型剪枝

【AutoML】如何使用强化学习进行模型剪枝？

7 模型量化

模型量化是深度学习模型压缩的大杀器，当前大部分框架对整个模型采用同样的位宽进行量化，以HAQ(Hardware-Aware Automated Quantization with Mixed Precision)为代表的方法则是一个自动化的混合精度量化框架，使用AutoML技术让每一层都学习到了适合该层的量化位宽，又有什么优势呢？