【总结】有三AI秋季划模型优化组3月直播讲了哪些内容,为什么每一个从事深度学习的同学都应该掌握模型优化的内容
大家知道,有三AI有计算机视觉的人才培养体系,分为三个等级,分别是春季划,夏季划,秋季划,如果不熟悉可以查看下面介绍。
【杂谈】2020年有三AI计算机视觉培养计划详解,该不该学&怎么学CV的简单讨论
(1) 春季划的目标,是为了培养新人熟悉深度学习和计算机视觉的核心领域,达到一般岗位项目研发的水平。
(2) 夏季划的目标,是为了让大家更深层次掌握框架的使用,同时熟悉更多的计算机视觉领域。
(3) 秋季划的目标,则是专精于某一个方向,目前包括模型优化,人脸算法,图像质量,GAN。
过去的3月份,我们给模型优化小组进行了突击直播,包括4期内容。直播并没有录制视频,但是文件有留存,那么这4期直播都包括了哪些内容呢?
第一期:数据使用
第一期的内容为数据使用,数据的使用是被大部分新人所忽略的内容,因为理论体系并不完善,然而它却在很多情况下是项目能否真正成功的关键。一直以来,我们都很重视数据相关的内容,在这次直播中,关于数据的使用讲述了以下内容:
(1) 爬虫。我们不仅讲了小型的图片和视频爬虫,更剖析了如何构建ImageNet这样的大型数据集爬虫,甚至包括'扒光'一些网站的好资源,当然这不是值得提倡的,但确实很有用,笔者就这样存了上千万的未公开高质量数据,以后有机会陆续发布。
(2) 数据整理。数据整理看似很简单,但是习惯和流程往往会反映出工程人员和公司的素质,学会数据的整理,挑选,去重,分级,往后做项目会少走很多弯路,有三也写了一个基于C++的去重项目供参考使用。
(3) 数据增强。数据增强无处不在,说它是大部分项目成功的关键一点都不过分,我们总结了平常项目以及比赛中分类与检测任务中的数据增强方法。
(4) 任务实践和开源项目推荐。最后,当然是实践出真知,我们以图像分类和GAN的任务来展示了数据增强的重要性,同时给大家推荐了一些干货项目。
第二期:模型优化核心技术
接着是第二期,模型的优化核心技术,在这次直播中,我们重点讲述了以下内容:
(1) 模型的设计思想汇总。这一期主要是回顾一下我们在天池做过的直播,各种设计思想望大家熟记于心,使用起来才能如鱼得水。
(2) 模型的性能分析。对模型的理解是非常重要的,我们不能期待一个模型总是以最正确的方式运行,优化模型也是我们常常要做的,因此我们要学会定量,定性地评估好模型。
(3) 模型调参。经常会遇到人问我为什么我的模型不收敛,怎样让我的模型更好更快,这个问题回答起来一言难尽。从网络的优化方法,基本单元设置,拓扑结构等各方面都需要掌握,这些都可以归入模型调参,我们对相关的技术进行了总结和实践。
(4) 工业界秘笈。模型从训练到部署,中间有很多工作,甚至对模型本身还会做出一些修改,包括格式,结构等,你是否掌握了正确的姿势呢。
第三期:模型精简前沿技术
接着是第三期,模型精简前沿技术,在这次直播中,我们重点讲述了以下内容:
(1) 模型剪枝设计。我们对当前各种粒度的剪枝算法进行了系统性的总结。
(2) 模型量化设计。我们对当前不同位宽以及对称和非对称,离线与在线的量化算法进行了系统性的总结。
(3) 模型蒸馏设计。我们对当前的知识蒸馏和迁移学习算法进行了系统性的总结。
(4) AutoML设计。我们对当前的AutoML的主要思路进行了分析,往后会单独增加AutoML的内容直播。
第四期:模型精简实践
接着是第四期,模型精简实践,在这次直播中,我们对模型剪枝,量化以及知识蒸馏进行了实践:
(1) 模型剪枝实践。我们在PPT和图文资料中对细粒度和粗粒度的模型剪枝算法分别进行了实践,剖析代码和实验结果。
(2) 模型量化实践。我们对最主流的8bit量化算法的思想和代码实现进行了分析,并对比了实验结果。
(3) 模型蒸馏实践。我们对最主流的模型蒸馏算法的思想和代码实现进行了分析,并展示了实验结果。
接下来的直播安排
在4月份,大概率我们不会有直播安排,因为要让大家消化已有的内容。到了5月份,我们还会安排有AutoML以及移动端模型部署的相关内容,接下来敬请期待吧。
小提示:直播的地点就在微信群内,并且所有资料发放也在微信群内,为防止资源外泄不会再更新云盘,这都是为了保护模型优化小组成员的权益。
如何学习以及报名
模型优化小组的学习路线如下:
学习的资料包括:
(1) 一些相关的视频讲解,不定期增加。
(2) 图文课件和实践代码,数据集。
当然了,更重要的是多讨论,相互进步,毕竟内容很多。