撰文:XT编审:寇建超众所周知,人脑信息处理系统的复杂程度是当前最先进的超级计算机也无法媲美的。大脑中数百亿个神经元通过神经突触进行连接,构成复杂的神经网络。在神经突触非线性元素和循环网络拓扑结构复杂的相互作用下,大脑得以实现独特的自适应实时学习。近年来,受大脑神经系统的启发,神经形态计算成为人工智能领域的一个重要研究方向,科学家们希望可以研发出像人类大脑一样能够处理信息、拥有记忆、可自主学习的计算机。其中,神经形态计算网络的一个重要发展方向就是基于忆阻突触器件的硬件神经网络,而近几年发展起来的纳米线网络(Nanowire networks,NWNs)就是一类独特的代表。近日,来自悉尼大学(University of Sydney)、日本国立材料科学研究所(NIMS)的科学家们及其合作者,在这一领域实现了新的突破。他们提出了一种人造纳米线网络的神经形态动力学,通过模拟发现,当受到电刺激时,这种纳米线网络会以类似大脑的方式进行调整。该研究团队还发现,通过将纳米线网络保持在类似大脑处于 “混沌边缘”(edge-of-chaos)的状态,证明系统能以最佳水平执行任务,这一发现为人工智能的发展开辟了一条令人兴奋的新路径。该研究以 “Avalanches and edge-of-chaos learning in neuromorphic nanowire networks” 为题,于 6 月 29 日发表在《自然通讯》(Nature Communications)上。
该研究的作者之一、悉尼大学纳米研究所和物理学院的博士生 Joel Hochstetter 说:“在一个二维平面上,我们将 10 微米长、不超过 500 纳米粗的导线随机排列。在导线重叠的地方,会形成一个电化学结点,就像神经元之间的突触。我们发现,通过这个网络的电信号会自动找到传输信息的最佳路径,而且这种架构允许网络 '记住’ 以前通过该系统的路径。”
“混沌边缘” 为人工智能开辟新道路近几年,悉尼大学(University of Sydney)Zdenka Kuncic 教授及其博士生 Joel Hochstetter 和日本国立材料科学研究所(Japan's National Institute for Material Science,NIMS)的 Tomonobu Nakayama 教授等科学家组成的国际研究团队在纳米线网络的研究领域进行了大量的研究,包括纳米线网络的动力学行为、网络拓扑结构等的内容。混沌边缘一词是由数学家 Doyne Farmer 提出,用于描述计算机科学家 Christopher Langton 发现的过渡现象。混沌边缘最初是指变量 λ 的区间,在该区间内观察元胞自动机(CA)的行为发生变化。随着 λ 变化,元胞自动机的行为发生了相变。人们普遍认为,在非线性动态系统中,最优信息处理可以在接近相变(即所谓的临界点)时实现。不同的相变与临界性有关,特别是 “雪崩临界性” 和 “混沌边缘临界性”。在雪崩临界状态下,系统处于活动 - 传播过渡的临界点,系统的扰动可能会在一定的规模和持续时间范围内引发级联,以无标度幂律分布为特征;在混沌边缘临界状态下,系统的动力学状态处于有序和无序之间,系统对扰动保持无限的记忆。混沌边缘动力学已经在皮层网络中被观察到,且似乎优化了循环神经网络、回声状态网络和随机布尔网络的计算性能。纳米线网络嵌入了自上而下的纳米制造方法,这种自组装方式为其网络电路赋予了复杂的结构,可以实现电阻开关存储器(忆阻)交叉点结的更高互连性。无论从结构还是功能关系方面,纳米线网络与自下而上的自组装形成的真实(生物)神经网络,都具有很强的相似性。神经形态的纳米线网络可以被用于一系列的信息处理任务,信息可以存储在记忆性结点通路中,用于静态任务,如联想记忆和图像分类。为了更深入地了解纳米线网络的神经形态动力学,在该研究中,Hochstetter 及其团队设计了一种物理驱动的 Ag-PVP 纳米线网络计算模型。
纳米线网络的发展前景事实上,在今年发表在 Advances in Physics: X 上的一篇题为 “Neuromorphic nanowire networks: principles, progress and future prospects for neuro-inspired information processing” 的综述中,Kuncic、Hochstetter 等人已经对纳米线网络的未来发展方向进行了刻画。他们表示,金属核纳米线网络的记忆特性已被广泛描述,但还需要更多的研究来阐明其复杂、无序的网络结构所发挥的关键作用,这对其出现的非线性动力学有很大影响。Kuncic 认为,从复杂物理系统、统计物理学、非线性动力学和网络神经科学以及水库计算等领域拓展知识和技术,或许可以在新兴人工神经网络模型的研究领域取得重大进展。论文指出,通过自下而上自组装生长的具有导电性能的有机纳米线或纳米纤维也值得进一步研究,比较有机和无机纳米线网络的信息处理能力,可能会揭示出对神经形态系统中生物模仿和生物可信性的重要性的新见解。此外,纳米线系统的另一个未来研究方向是其在神经形态量子信息处理方面的潜力。到目前为止,关于神经形态量子计算的研究都集中在将人工神经网络编码到量子计算硬件系统中。然而,神经网络可以使用超导纳米线被夹在量子硬件中,以实现能够进行量子信息处理的神经形态系统。那么,如何超越现有的机器学习基准任务,用纳米线网络进行神经形态信息处理?研究人员指出,未来的努力方向应该集中在复杂的信号处理任务以及在保留因果关系的约束下对流式空间和背景信息进行分类。想要实现真正的神经形态智能,还有很长的一段路要走。参考资料:https://www.nature.com/articles/s41467-021-24260-zhttps://www.eurekalert.org/pub_releases/2021-06/uos-oc062721.phphttps://www.tandfonline.com/doi/full/10.1080/23746149.2021.1894234https://ieeexplore.ieee.org/document/9181034https://www.taoxue.com/gaokao/gaokaozixun/54056.html学术分享:具有局部和全局结构的自监督图表征学习