【星球知识卡片】AutoML都有哪些核心技术,如何对其进行长期深入学习

1 AutoML与数据增强

大家都知道数据增强很重要,是深度学习必备良药,写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强,理论上会更加智能,这便是基于AutoML的数据增强技术,它主要是用于自动学习数据增强策略。

2 AutoML与网络优化参数

随着深度学习技术的发展,激活函数,归一化方法,最大池化方法等都发展出了不少的变种,而最新的研究则集中于如何使用AutoML技术去进行设计。

3 AutoML与模型结构搜索

一直以来,网络结构的设计是一个非常需要经验且具有挑战性的工作,研究人员从设计功能更加强大和更加高效的模型两个方向进行研究,随着各类经典网络设计思想的完善,如今要手工设计出更优秀的模型已经很难,而以AutoML为代表的自动化机器学习技术就成为了大家关注的热点,其中用于搜索的方法包括强化学习,进化算法,贝叶斯优化,而需要优化的包括已有结构的参数搜索,子单元的搜索,整个网络架构的搜索等。

4 AutoML与模型压缩

虽然NAS本身具有模型优化的功能,但是当前也有许多成熟的模型优化方法,比如模型剪枝,量化,蒸馏,AutoML技术也在其中大展宏图。

5 AutoML与模型目标与方法设计

一个有效的损失函数在深度学习任务中起了关键作用,然而损失函数都是人为设定,不仅需要有经验的人员进行反复尝试,也只能获得次优的方案,如果可以让模型自动对优化目标进行学习,将有望以更低的成本学习到更优的模型。另一方面,要成功训练一个深度学习模型,正确的优化策略是非常重要的,如果使用不当结果会产生很大的差异,AutoML也可以在其中进行探索。

6 其他

总的来说,AutoML有非常多的研究方向,包括:

(1) 特征工程。

(2) 数据使用。

(3) 网络参数优化。

(4) 强化学习与网络结构搜索。

(5) 进化算法与网络结构搜索。

(6) 贝叶斯优化等方法与网络结构搜索。

(7) 网络搜索的加速方法。

(8) 其他等等。

以上内容,如果你不想自己学习,可以去我们知识星球的网络结构1000变板块—AutoML板块阅读。

有三AI知识星球

知识星球是有三AI的付费内容社区,里面包括各领域的模型学习,数据集下载,公众号的付费图文原稿,技术总结PPT和视频,知识问答,书籍下载,项目推荐,线下活动等资源,了解详细请阅读以下文章:

【杂谈】有三AI知识星球一周年了!为什么公众号+星球才是完整的?

【杂谈】万万没想到,有三还有个保密的‘朋友圈’,那里面都在弄啥!

转载文章请后台联系

侵权必究

(0)

相关推荐