斯坦福团队「读心术」成功 Nature：意念打字不用手，准确率超99%

【导读】

“尽管还有很多工作要做， 这项研究是一个里程碑，拓宽了侵入式脑机接口应用的视野。“

脑机接口又一突破性进展——意念打字实现了，还一举登上Nature最新封面。

「读心术」照进了现实。

马斯克的Neuralink把「脑机接口」（BCI）的热度一拔再拔，让公众对这项科幻感十足的技术有了期待。不过，取得此项突破的是斯坦福团队：5月13日，美国斯坦福大学研究人员首次破译了与手写书信相关的大脑活动，并结合人工智能（AI）算法，实现“意念”写字。

论文链接：
https://doi.org/10.1038/d41586-021-00776-8

此前，脑机接口领域的一大研究焦点是恢复患者 “运动技能”，比如通过脑机接口操控机械臂抓取物品，或通过脑机接口移动电脑光标、点击字母输入等。

而在本次的研究中，斯坦福团队成员将人工智能技术融入其中，将AI与脑机接口技术融合：

研究团队成功开发出一套全新的皮质内脑机接口系统，该系统利用大脑运动皮层的神经活动可解码 “手写” 笔迹，并使用循环神经网络（RNN）解码方法将笔迹实时翻译成文本，快速将患者对手写的想法转换为电脑屏幕上的文本。

效果如何？依靠这套设备与系统，患者每分钟可键入90个字符，这是以前用这类脑机接口（BCI）研究打字记录的2倍多，而准确率更是高达99％以上。

国国立卫生研究院脑科学计划（NIH BRAIN Initiative）主任约翰·恩盖（John Ngai）博士表示：“这项研究代表了 BCI 和机器学习技术发展的重要里程碑，相关研究正在揭示人脑如何控制像通讯这样复杂的过程，为改善神经损伤和瘫痪者的生活提供了重要基础。

来自斯坦福大学霍华德・休斯医学研究所（HHMI）研究员克里希纳・谢诺伊教授（Krishna Shenoy）与科学家弗兰克・威利特（Frank Willett）是本次研究的核心人员。斯坦福神经外科医生杰米・亨德森（Jaimie Henderson）也参与了这项研究。

他们表示，此次研究的最大创新是首次破译了与手写笔记有关的大脑信号。

受试患者：T5

图中的受试患者T52007 年由于脊髓损伤几乎失去了颈部以下的所有活动能力，手部动作仅限于抽搐和微动。

T5老爷爷在运动皮层植入了两个脑机接口芯片，他被要求全神贯注将光标从电脑屏幕上的一个键移动到另一个键，然后集中精力点击那个键。

每一个芯片都有 100 个电极，负责接收运动皮层（大脑最外层的一个区域）神经元发出的信号，运动皮层是控制手部运动的区域，这些神经信号通过电线发送到计算机，由人工智能算法解码信号并推测 T5 的手和手指的预期运动。

这所以可以被称作是「读心术」是因为，这一过程的突破口在于需要一种新的分类算法，能够预测瘫痪用户试图书写的26个字母或5个标点符号，这是具有挑战性的技术，因为科学家们无法观察到这些意图。

为克服这一挑战，Willett等人基于一种最初为语音识别开发的机器学习算法，重新设计了另一种算法。

这使得他们能够仅根据神经活动来估计参与者何时开始尝试书写一个字符。根据这些信息，研究团队生成了一个带有标签的数据集，其中包含每个字符对应的神经活动模式。他们用这个数据集来训练分类算法。

除此之外，分类算法还使用了现有的机器学习方法，以及一种递归神经网络(RNN)——也是一种人工神经网络，这种神经网络特别擅长预测顺序数据。

不过RNN也有短板，利用RNN的能力前提是需要大量的训练数据，但很少有用户愿意想象连续写作数小时。

研究团队则用一种被称为数据增强的方法解决了该问题。在这种方法中，参与者先前产生的神经活动模式被用来产生句子，在这些句子上训练RNN。他们还通过在神经活动模式中引入人为的变化来扩展他们的训练数据，以模仿人类大脑中自然发生的变化。

尽管这项实验目前仍不完整，离成为一个可以临床应用的商用系统还有一定距离，它目前还不是一个完整的、临床上的商用系统，但正如《自然》同期刊发的对该项研究的观点文章所说：“尽管还有很多工作要做， 这项研究是一个里程碑，拓宽了侵入式脑机接口应用的视野。”

我们离科幻更近了吗？不，科技的终极立意是被人类所用，所以应该是：研究人员让科幻更接近现实了。

参考文章：

澎湃新闻-《专访｜斯坦福团队：“心理手写”转文字，脑机接口如何快又准》

学术头条-《Nature封面：脑机接口重磅突破！可将脑中“笔迹”转为屏幕字句，速度创纪录，准确率超99%》

智东西-《“意念手写”登Nature封面！码字不用手，准确率99%》