介绍一种新的激活函数族ACON

1 引言
该论文是旷视科技收录于CVPR2021的一篇理论性的文章,作者提出了一个简单、有效的激活函数,该激活函数可以决定是否要激活神经元,在此基础上作者进一步提出了激活函数,它通过引入开关因子去学习非线性(激活)和线性(非激活)之间的参数切换。实验结果表明,在图像分类,目标检测以及语义分割的任务上,该激活函数都可以使得深度模型有显著的提升效果。
论文链接:https://arxiv.org/abs/2009.04759
代码链接:https://github.com/nmaac/acon
2 ACON

2.1 光滑最大值函数

考虑标准最大函数的个值,它的光滑性的和可微的性近似为:
其中表示连接系数。当时,则有最大值;当时,则有。在神经网络中,许多常见的激活函数是函数的形式,其中和表示线性函数。作者的目标是用这个公式来近似激活函数。考虑时的情况,将表示为Sigmoid函数,近似值为:
2.2 ACON-A
当,时,则有:
以上公式即是激活函数,也是激活函数。函数是最近被提出的一个新的激活函数。尽管它最近被广泛使用,但对于它为什么提高性能缺乏合理的解释。作者给我们提供了一个新的解释即是的平滑近似。

2.3 ACON-B

作者将族中的最大值的激活,转换为族中。作者展示了的近似,它的原始形式为:
其中是一个可学习的参数,初始化的数值为。在大多数情况下,作者将其改写为如下形式:
考虑,,则可获得新的激活函数:
2.4 ACON-C
遵循的原理,采用了相同的双自变量函数,带有一个额外的超参数,只是在功能上使用超参数缩放。设
则有:
与一样,令,。如下图所示作者对的定义是一个非常简单和普遍的情况。
2.5 一阶导数的上下界
的一阶导数计算公式如下所示:

令,则可以得到:

其中,解以上的方程可知,可以得到最小和最大值
这与一阶导数中有固定上界和下界的激活函数不同。在中,超参数仅决定一阶导数渐近上界和下界的速度,并且这些界是可学习的,并且由中的和决定。可学习的边界对于简化优化是必不可少的,这些可学习的上界和下届是改善结果的关键。
2.6  Meta-ACON
当切换因子控制激活为非线性或线性时,将激活切换为激活或不激活。当时,;当,。
因此,不同于传统的激活如,允许每个神经元自适应地激活或不激活。这种激活行为有助于提高泛化和传输性能。
学习开关因子明确地以输入样本为条件。目的不是提出一个具体的结构,而是在生成函数中提供一个设计空间。作者使用一个路由函数来计算以输入特征为条件的,其结构可以是分层的,这意味着一层中的元素共享相同的开关因子,计算公式为:
通道中的元素共享相同的开关因子
其中,,且像素级的开关因子为。
3 实验结果
如下图和下表可以发现:
1)、和与它们的最大基函数相比,精度都有显著提高,这显示了可微和平滑转换的好处;
2)的表现优于和,受益于一阶导数的自适应的上限和下限;
3)随着模型网络深度的越来越深,获得了持续的精度提高。
如下表的结果表明,本文提出的方法在所有网络结构中都获得了显著的性能提升。在模型中提高了。对于更深的玩网络模型中,仍然显示出显著的改进,如在和上分别在精度上分别提高了和。
下表显示了本论文提出激活函数与,,,和这些激活函数的比较。与之前的激活相比,和准确率分别提高了和。
作者在中,由于开关因子决定了激活过程中的非线性,在不同级别上为每个样本生成值,这些级别可以是像素级、通道级和层级。如下表结果表明,三个水平都能显著提高准确率。
如下表显示,在所有的网络结构中,的性能明显优于SENet。即使在极深的中,仍然提高了的精度,与相比提高了。

END

备注:CV

计算机视觉交流群

图像分割、姿态估计、智能驾驶、超分辨率、自监督、无监督、等最新资讯,若已为CV君其他账号好友请直接私信。

在看,让更多人看到

(0)

相关推荐

  • 函数与导数

    需要可以私信:资料

  • 介绍一种新的消毒方法——覆盖消毒

    今天介绍这种方法,其实在许多猪场使用过:我曾使用碱石灰覆盖墙壁和地面的办法,解决了一个猪场保育猪发病的问题. 当时问题发生在冬季,这个猪场是在水泥地面饲养保育猪,但他们为了保温安装了地暖,本来条件是不 ...

  • 不复习也能考好申论,介绍一种新的学习方法,让你化腐朽为神奇

    学习从来都是一件很痛苦的事情,所以,学校老师们想尽办法,去激发孩子的学习兴趣.而考公务员的,大多是成年人,我们虽然自制力,目标性,比小学生强很多,但惰性这种人类最大的天性,却依然是学习路上的拦路虎. ...

  • 介绍一种新物种:汉子婊,隐藏得非常深,甚至连女生都看不出来!

    凡事都有解 导语:这个时代,除了各种类型的"渣男"让人眼花缭乱外,不少类型的"渣女",也吸引了众人的眼光,绿茶婊,拜金女等等,都是一些对女性的负面标签,今天,我 ...

  • 中医介绍速效救心丸的三种新用途

    治疗小儿肺炎合并心衰,降低血脂,治疗心血管神经官能症.肺心病.尿路结石.痛经.癔症.血管神经性头痛.速效救心丸是治疗冠心病.心绞痛.心肌梗塞的滴丸型中成药,速效救心丸主要成分为川芎.冰片,具有服用剂量 ...

  • 介绍rsi的一种新用法

    在不同的行情之中当然是要有不同的思路的,rsi指标作为一个强弱指标,它在下跌行情中的反弹判断上反而有一种独特的用法,那就是超跌撞轨.那究竟这种超跌撞轨是怎样的?今天赢家江恩的主编老师将为大家详细的讲解 ...

  • 介绍一种高效的增肌减脂新方法 I 「蓝友力的N种打开方式」

    介绍一种高效的增肌减脂新方法 I 「蓝友力的N种打开方式」

  • 比特币到底是什么?一种新的交易机制!

    编者按 比特币到底是什么?我们该如何认识和监管比特币及类似的各种币?它们能否承担货币的职能?在4月初的博鳌论坛上,人民银行副行长李波表示,比特币和稳定币是加密资产.加密资产是投资的选项,它本身绝不是货 ...

  • 一种新病正在席卷中老年,可致瘫痪!快看化解招数!

    微信脖已经成为一种病. <山东商报>报道:近日,欧洲脊柱协会发表声明称:"短信脖"是新一代人全球性疾病!其实,或许这个问题在中国更为严重. 大家可能不知道:一个人的头部 ...

  • 人才发展的5种新方法?

    根据统计局的最新数据,7月份英国经济增长了6.6%,但仍远低于疫情前的水平,英国的失业率也上升到两年来的最高水平.但是,尽管经济受到Covid-19的深刻影响,但企业领导者现在应该从生存模式转变为新常 ...