新型大脑启发式学习方法来了，可帮助人工神经网络节省内存和能量
基于此思路，奥地利格拉茨工业大学的研究人员 Wolfgang Maass 和 Robert Legenstein 领导的工作组开发了一种称为 e-propagation (简称 e-prop) 的新型机器学习算法。该算法可根据人脑模型进行学习，适应不断变化的需求，其在线学习的特性也极大节省了能量。
大脑的神经网络比人工神经网络更节能
通常我们将大脑中的神经元网络与人工智能的深度神经网络进行类比，然而人工智能的运作原理与人脑完全不同，其中最大的区别是神经元相互交流的方式。深度神经网络的每一层以同步方式生成数字，而大脑通过异步发射的尖峰进行通信。
现代深度学习最早受生物学启发，以神经元的单个计算单元的大型网络之间的连接强度来编码信息。人工神经网络被组织成层，每个神经元通常连接到下一层中的每个神经元。信息以高度同步的方式在层之间传递，对数据进行预测，再与目标值进行比较，计算损失，之后再反向传播，经过多次迭代调整网络，得到准确的预测为止。
而对于大脑来说，生物神经元通过发射尖峰的电脉冲进行交流，每个神经元都按照自己的时间表进行交流。连接并没有整齐地分成几层，并具有许多反馈回路，这意味着神经元的输出通常最终会影响其输入。
大脑这种基于峰值的方法在能源效率方面要比人工神经网络高得多，一般训练最强大的 AI 需要几千瓦的电能，而大脑只需要 20 瓦。因此人们对人工神经网络以及神经形态硬件（一种可以模仿大脑的物理组织和原理的计算机芯片）的兴趣日益浓厚。
既然大脑传递信息能极大节能，那如果将人工神经网络的思想应用到大脑中会发生什么呢？我们可以看到，这里存在一个问题，在大脑中的神经元进行反向传播，相当于将信号在时间和空间上通过神经元之间的突触向后发送，这显然是不可能的。
奥地利的这支团队利用了这两种特征进行最佳组合，创建了一种称为 e-prop 的新学习算法，该算法无需对信号进行时间反向传播。它的学习速度虽然比反向传播慢，但趋近于反向传播的性能。此外，e-prop 还适用于具有更复杂神经元模型的 RSNN。
更重要的是，该方法允许在线学习。这意味着，无需立即处理大量数据，而只是在数据可用时就从数据中学习。这极大地减少了所需的内存和能量，这使得在较小的移动设备中进行片上学习变得更加实用。
在大脑中，一般尖峰仅在网络中的信息处理需要它们时才会变得活跃，而对于不那么活跃的网络，学习则是一种特殊挑战，因为需要更长的观察时间才能确定哪些神经元连接可以改善网络性能，因此学习率很低。
而 e-prop 算法的出现解决这一问题。在该方法中，首先将自上而下的信号标记为学习信号，而每个神经元在所谓的资格跟踪信号中记录何时使用连接。利用这两种信号以及突触可塑性提供一个规范模型，由此产生的学习模型表明，许多生物神经元的一个特征方面（即缓慢变化的隐藏变量的存在）为 RSNN 如何学习而没有错误信号向后传播的问题提供了一种可能的解决方案，即神经元导致合格性迹线在更长的时间跨度内向前传播，因此能够与后来出现的瞬时错误信号重合。
除此外，e-prop 理论为实验发现的多巴胺信号多样性对不同神经元群体的功能作用提供了一个假设。以前的基于奖励的学习理论要求将相同的学习信号发送给所有神经元，而对于 e-prop 来说，它是针对特定目标来发送的，因为神经元群的自上而下的学习信号取决于其对网络性能的影响（即损失函数）。
要使这项技术与当今领先的 AI 的能力相提并论，还有很长的路要走。但是，如果它可以帮助我们开始接近我们在生物大脑中看到的效率，那么不久，人工智能无处不在。
资料来源：
https://www.nature.com/articles/s41467-020-17236-y
https://singularityhub-com.cdn.ampproject.org/c/s/singularityhub.com/2020/07/27/a-new-brain-inspired-learning-method-for-ai-saves-memory-and-energy/amp/
https://www.azorobotics.com/News.aspx?newsID=11478