自监督、半监督、无监督学习,傻傻分不清楚?最新综述来帮你!


推荐给大家一篇昨天arXiv新出的论文 :

A survey on Semi-, Self- and Unsupervised Techniques in Image Classification (Similarities, Differences & Combinations)。

自监督、半监督、无监督,傻傻分不清楚?那来看看这篇论文吧!

来自德国的研究人员为你详解他们的相似性、不同点和可以结合的地方。

作者单位:德国基尔大学

作者们比较了21个最先进的模型,指出该领域的三个趋势:

1. 最先进的方法已经可以应用于真实世界场景;

2. 与使用所有标签的监督学习相比,所需要的监督程度正在下降;

3. 三种学习方法使用了相同的技术,但很少有文献讨论如何把他们结合起来。

探索无标签数据成为最近一年来机器学习领域的热点,下图展示了在深度学习图像分类问题中无标签数据的作用。

红色和蓝点圆点代表不同的类别,灰色圆点代表没有标签的数据。

如果我们仅使用有标签的数据,则他们风分界线是途中虚线。

如果考虑到无标签数据,那黑色的曲线是则应该是比较好的选择。

监督学习、半监督学习、非监督学习、自监督学习的示意图:

部分半监督学习方法图例:

部分自监督学习方法图例:

作者总结的半监督、自监督、无监督学习使用的一些关键技术:

可见三类学习方法中很多不同类型的算法使用了相同的组件。(具体缩写代表技术详情,请查阅原论文)

作者报告了在该领域常使用的数据集,图例:

作者汇总的一些结果:

可见,尽管监督学习仍然在图像分类中仍占统治地位,但半监督和自监督学习的算法已经表现出喜人的成绩,2019年出现的半监督学习方法fast-SWA和自监督学习方法AMDIM在四个常用数据集上的精度已经接近监督学习的结果!

总之,黎明已现,前途光明,方法之间的结合很值得研究。

(0)

相关推荐

  • 一文速览ICML2020高引论文与华人作者

    首次以线上形式的第 37 届国际机器学习会议将于 7 月 12 日到 7 月 18 日召开,早在一个月前,ICML 官方就以经放出了论文统计结果: 据官方统计,ICML 2020 共提交 4990 篇 ...

  • 什么是自编码网络

    一.引言 深度学习是人工智能的基石,正飞速的改变着我们的生活,也是现在最热的研究方向之一.深度学习的传统方法是监督学习,需要提供大量人工标注的样本标签.但像很多时候很难提供准确的样本标签,比如真实地震 ...

  • 自监督学习: 人工智能的未来

    导读 什么是自监督学习?为什么自监督学习是AI的未来?自监督学习如何实现? 本文将回顾下自监督学习的前世今生,介绍它在CV.NLP.Graph.RecSys.RL等领域已经取得的令人惊叹的效果! 1. ...

  • SIGIR 2020 最佳论文放榜!清华大学成绩亮眼

    从大会词云可以看出,本次会议的热点在推荐,网络,对话,强化学习,搜索等. 而就在昨日,大会公布了各项奖项,包括: 最佳论文奖 1 最佳论文荣誉提名奖 1 最佳短论文奖 1 最佳短论文荣誉提名奖 1 时 ...

  • 科普 | 自监督视觉特征学习

    从此不迷路 计算机视觉研究院 计算机视觉研究院 主要由来自于大学的研究生组成的团队,本平台从事机器学习与深度学习领域,主要在人脸检测与识别,多目标检测研究方向.本团队想通过计算机视觉战队平台打造属于自 ...

  • SiT:自我监督的视觉transformer

    点击上方"深度学习爱好者",选择加"星标"或"置顶" 重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为 ...

  • 半监督学习入门基础(二):最基础的3个概念

    半监督学习 (SSL) 是一种非常有趣的方法,用来解决机器学习中缺少标签数据的问题.SSL利用未标记的数据和标记的数据集来学习任务.SSL的目标是得到比单独使用标记数据训练的监督学习模型更好的结果.这 ...

  • 2021最新对比学习(Contrastive Learning)在各大顶会上的经典必读论文解读

    NewBeeNLP 永远有料,永远有趣 212篇原创内容 公众号 我为大家整理了对比学习在最新各大顶会上的论文合集及相应代码,所列举的论文涉及领域包括但不限于CV, NLP, Audio, Video ...

  • DeepfakeUCL:基于无监督对比学习的深度假检测

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • AAAI 2021:基于对比自监督学习的图分类

    本文转自 MIND Laboratory微信公众号,原文地址 https://mp.weixin.qq.com/s/nB-hUPeiRcDiSd6uja6rUQ Contrastive Self-su ...

  • 博士全面解析:如何有效地使用图表来让论文添光增彩?

    本文系募格课堂原创,转载开白请后台联系 作者:晨星   老话说得好:"A picture paints a thousand words./A table is worth a thousa ...

  • DetCo:用于目标检测的无监督对比学习

    重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...