以结构化神经信息解码技术重建自然及人脸图像
近日，我所类脑智能研究中心神经计算与脑机交互团队提出一种结构化神经解码模型，实现了根据脑活动模式进行自然图像、人脸等复杂视觉刺激的高质量重建。相关成果已发表于国际期刊IEEE Transactions on Neural Networks and Learning Systems。
几个世纪以来，哲学家和科学家一直在试图揣测、观察、理解和破译大脑是如何运作的，使得人们能够感知和探索复杂的自然世界。其中，作为人类感知世界最重要的信息通道，人脑视觉系统的加工机制得到了研究者最广泛的关注。很多研究尝试利用神经信息编解码的方法，即通过构建外部刺激与神经活动间的定量关系，来揭示大脑视觉信息加工的机制。课题组前期(TNNLS 2018)曾提出了一种基于贝叶斯深度学习的视觉神经信息解码方法，并能够根据记录到的脑活动信号重建被试所感知到的简单视觉刺激内容（如手写数字、字母等图案）。然而复杂的自然视觉刺激重建仍然是一个难题，针对这一问题，团队提出了结构化神经信息解码方法（如图1）。该方法通过多任务特征解码的方式揭示了多个典型计算机视觉模型（如VGG、ResNet）与人脑腹侧视觉通路在层次化特征表达方面的联系。通过高效结构化地利用这种层次化特征与人脑视觉皮层信号表达之间的关系，新方法能够根据采集到的少量人脑fMRI数据清晰地重建出被试所感知到的复杂自然图像和人脸刺激内容。该研究为理解大脑解码过程提供了新的视角, 也有力地促进了非侵入式脑-机接口技术的进步。
神经信息编解码是脑机接口领域的核心研究问题，也是探索人脑复杂功能背后的原理从而促进类脑智能发展的有效途径。自动化所何晖光研究团队已在该领域持续深耕多年，做出了一系列研究工作。相关工作发表在TNNLS 2018，ICME 2019, AAAI 2020，PR 2020，TCDS 2020, Information Sciences 2020等，其前期工作被MIT Technology Review头条报道，并获得ICME 2019 Best Paper Runner-up。
该论文第一作者为杜长德博士，通讯作者为何晖光研究员。为了促进该领域的持续发展，团队已将项目代码以及新采集的脑活动数据集开源。
该研究得到了国家基金委重点项目以及中科院先导项目等的支持。 （来源：中国科学院自动化研究所）
相关论文信息：https://ieeexplore.ieee.org/document/9229132
图1：本文提出的多任务结构化视觉神经信息编解码框架，包含Voxel2Unit和Unit2Pixel两个阶段。