我们的大脑是如何编码有关世界的各种各样知识？我们与日益强大的AI有着怎样的不同？又与我们的灵长类近亲有着怎样的不同？

长久以来，人类知识的认知神经模型一直被感知觉的具身理论所主导，即知识来自于感觉/运动经验，并被高级的感觉/运动以及联合皮层所加工；而非具身符号系统的神经基础则一直难以确立。

直到近年，一系列关于盲人视觉知识的行为及脑科学研究发现，除了感知觉获得的知识外，在背侧颞叶前部（ATL）存在非感知觉的、语言获得的知识表征。

近期，北京师范大学毕彦超教授在Trends in Cognitive Sciences上发表了封面综述，系统回顾了该团队以及国内外其他课题组近年来的相关研究，并由此提出了知识的双重编码理论（Dual-coding knowledge neural representation framework）。

欢迎加入

全国心理学学术讨论群

全国语言与大脑 学术讨论群

添加小编微信

brainnews_11

-留言：心理学、语言与大脑 讨论群-

在进一步探索大脑如何存储知识之前，让我们先来看这样一个片段：

有一个著名的思想实验叫“黑白房间的玛丽”。

玛丽是一名视觉领域的科学家，专门研究颜色。她沉醉于此，了解了颜色的方方面面......

然而她住在一个黑色和白色相间的房子里，她生于此，长于此......

直到有一天，她走出了这个房间，她轻轻抬头，看到了湛蓝的天空。那一刻，她第一次学到了她所有的研究都无法告诉她的事情。那一刻，她学到了看到颜色的感觉是什么样的。

这个思想实验是为了给学生们展示机器人和人脑的差异，在黑白房间里，玛丽是一个机器人，当她走出这个房间，她成了你和我。

—— Ex Machina (电影《机器姬》，2014)

唯有感受过才能“知道”？

—认知神经模型认为对客体知识的表征源自感知觉获得

“知之为知之”，那么何以为“知”？是通过符号关系所获得，还是通过感觉经验——正如电影中机器人与人相比所缺少的。人类大脑中储存了大量的知识，如玫瑰花的颜色、地球的形状等等。各种各样的知识指导着广泛的行为，从识别物体到理解文字，从推理到决策等等。理解知识表征，是所有对思维和脑感兴趣的学科最古老，又最具争议的问题之一。

在覆盖哲学、心理学、认知科学等各个领域对知识表征的讨论中，最核心的观点是：符号化理论和具身理论。正如电影片段中的玛丽，符号化表征是人工智能中最主要的表征知识方式，这种理论也被很多哲学家所提及。但是当前知识表征的认知神经模型还受到了具身理论的影响。

知识被认为通过感知觉经验获得，并在高级感觉运动皮层和联合区进行表征。显然有些知识不一定需要直接感知觉经验才能获得，我们拥有语言，可以通过语言学习到“玫瑰是红色的”。然而对于不依赖感知觉的知识的分离是困难的,因为很多时候多种感知觉信息会直接参与其中。

即使是像“地震”、“公平”这样的词语，也可以引发我们的很多感知觉经验。即便是先天盲人没有办法看到苹果，也可以通过触觉感知苹果。幸运的是，研究者们想到了颜色。

对于人类来说，颜色只能通过视觉这种感知觉来获得，而对先天盲人来说，颜色就像电影中在黑色和白色相间房子里的玛丽，他们是如何表征物体颜色的？回答这个问题，为分离非感知觉获得的知识提供了机会。

先天盲人的视觉知识是怎样的？

—来自行为学的证据

让我们来首先看一下，先天盲人的颜色知识是怎样的？这个问题由来已久。

早期的研究表明先天盲人的确有各种关于颜色以及客体颜色的知识。近年来，更系统的研究发现：先天盲人对颜色词的评定与视力正常被试呈现出高度的相似性，但是盲人被试内部的个体差异化程度更大（图1）。与动作词相比，颜色词在视力正常被试与盲人被试间的相似性更低。

图1. 先天盲人被试与正常视力被试颜色词的相似性

先天盲人对于常见果蔬颜色的颜色知识也与视力正常被试高度相似，但是先天盲人被试内部的差异性更大（图2）。

颜色知识与蔬菜水果其它感知觉知识以及一般语义知识的关系在先天盲人被试和正常视力被试中是一样的，表明盲人并不额外依赖其他感知觉特征来对颜色进行推断。

图2. 先天盲人被试与正常视力被试客体颜色知识相似性

除了颜色之外，其它视觉概念也可以被先天盲人以非视觉的方式获得（图3）。

图3. 先天盲人被试与正常视力被试对于光学与声音词有相似的表征

总体来说，使用不同实验范式、不同语言被试的行为研究结果都表明，先天盲人可以获得与正常视力群体极其相似的颜色知识。

这表明人类能够在缺少某一感知觉经验的情况下，形成相应的知识空间，就像图灵测试里设想的那样，通过语言不断地问和答。

先天盲人大脑如何表征视觉知识及知识双重编码模型的确立

那么先天盲人获得视觉知识的脑机制是什么？最近的功能磁共振成像研究对此进行了一些回答。

—“视觉主导”词语VS“非视觉专属”词语

通过比较先天盲人被试与正常视力被试对视觉属性主导的词汇（比如“红色”、“彩虹”），其他非视觉通道可感知的词汇（比如“方形”、“雨”），发现背侧ATL在盲人被试中“彩虹”类的词语比“雨”类的词语更强，而在正常视力被试里面，二者是没有差异的；另一个独立研究组使用适应范式，也发现了盲人在做颜色相似性判断任务时，在类似脑区有重复抑制效应。这两个研究都表现出了背侧ATL对非感觉获得的知识敏感（图4）。

—客体颜色知识

研究者在核磁扫描过程中给被试呈现各种蔬菜水果的名称并要求被试提取其典型颜色，之后进行表征相似性分析。结果发现，盲人组和正常视力被试组的左侧背侧ATL对客体颜色进行表征；然而正常视力被试组在梭状回后部，对色觉敏感的一个脑区存在对客体颜色进行表征，但盲人组中没有类似的效应。而且在正常视力被试组而非在盲人组，这两个区域存在功能连接。此外，在相对较松的阈限下，还发现正常视力被试的腹内侧ATL也对物体颜色进行表征。

图4. 视觉知识的大脑基础

总结而言，使用不同范式，在不同语言条件下，都发现了背侧ATL对非感觉知识进行表征，而在正常视力群体中，感觉知识在视觉皮层表征。

同时，不仅盲人，正常视力群体的背侧ATL也对颜色知识进行表征，表明即使是感觉获得的特征也会有感知觉获得和非感知觉获得两种表征。

那么，背侧ATL是专门负责加工颜色和其他视觉知识概念，还是更普遍地对非感知觉获取的知识进行编码？例如，对抽象概念“公正”、“合理性”。

脑成像的研究表明，与具体词汇（如“杯子”）相比，这些抽象概念同样能够在左背外侧ATL产生显著的激活。这表明该区域对于非感知觉获得，而是语言获得的知识表征敏感，且不局限于视觉知识。

图5. 知识表征的认知神经模型

因此，结合当前实证研究，我们初步形成了知识双重编码模型（Dual-coding knowledge neural representation framework）。

以往的感知觉获得（具身）知识表征被进一步验证，这类知识表征涉及高级感觉运动及联合区域。另一种在盲人和正常视力被试中支持颜色以及其它视觉知识，同时进一步支持正常视力人群非感知觉获得，抽象知识的表征也被确立。

考虑到盲人只能靠语言获得这些知识，因而这一类知识是语言获得的，其涉及到复杂的符号关系，被ATL及其相关的语言网络所表征。这两类区域相互连接，支持具身表征和符号，语言获得的表征的整合。

语言获得知识系统

—计算、算法和实现

在确定了背侧ATL存在语言获得的知识系统后，进一步的问题是这个系统的信息内容，算法以及实现是怎样的？来自语言获得的信息内容与来自感知觉经验的信息内容，它们之间是什么关系呢？

语言被用来交流内外部感觉信息，也会影响到知觉分类。因而感知觉获得和语言获得的信息模式是相关的，一些方面也表现出了二者可能的差异。

一方面，语言对各种感觉（颜色、形状、声音、味觉、触觉和嗅觉）的编码能力不同：对颜色的编码能力最强，对嗅觉的编码能力最弱；另一方面得益于语言自身的建构机制及相应的符号系统，不受感知觉/运动的限制，语言允许通过现有的符号关系创建新的关系，进而产生感知觉经验无法获取的知识表征，包括那些对人类抽象推理和现代科学进步至关重要的知识（如：关于磁场、语言规则等）。

那么，语言获得的神经系统是如何表征语言信息的呢？从一些计算模型中我们可以得到线索：自然语言处理便是利用各种算法，从语言中获得语义表征，包括早期的计数模型、近年来的神经网络模型和混合模型，一些研究比较了使用各种NLP模型构建的词汇关系空间与使用fMRI反映的词语或图片，发现全脑的活动模式、语言处理区域/网络、颞叶下部之间的显著相关性。

尽管这些结果为大脑对语言获取信息的表征提供了证据，考虑到语言和感知觉获得结构之间的相关性、不同NLP模型之间的相关性以及不同算法与输入的关系等，对神经机制进行解释与预测时仍要谨慎。

什么样的神经特性使得ATL能够支持不依赖于感觉输入的，并且由语言获得的知识系统呢？背侧的ATL在与ATL其它部分表现出了不同的细胞结构，功能反应以及功能结构连接，特别是它的一个子区域TG是人和猕猴ATL最不像的地方，这也和语言获得表征可能是人类特有的所一致。

在利用静息态功能连接进行网络拓扑分析时，发现了三个语义网络。其中的外侧裂周语言网络和多感觉经验网络与现在的语言获得系统以及感觉获得系统所对应。

相关补充

—语言如何影响感知觉获得知识表征？

语言如何塑造思想与知觉是一个被大家广泛讨论的问题。最近的实证和理论研究表明，语言不仅（如本文中讨论的那样）作为知识形成的抽象方法，而且也对感知觉知识表征起到塑造作用。

研究者们对语言在客体、数字、以及空间表征中起到的脚手架和提高的作用作了进一步的阐释。婴儿在最开始的两年，会从按照知觉特征分类转变为按照命名分类，有相同命名的客体被分为一类，有不同命名的类似物体会分为不同类。把语音颠倒后就不会有同样的组织功能。

这些机制的变化最终形成了成年期的知觉组织。而有证据表明颜色词语会在很早的时候（100ms）对颜色分类产生影响，表明这种影响发生在早期的知觉阶段。

语言也被认为对情绪发展起到重要作用，这主要是因为语言发展和情绪加工的几个关键节点之间有耦合。词汇能力的发展与面孔区分能力，对别人情绪感知能力发展相一致。所以有理由认为，与语言塑造客体分类相类似，对情绪词的理解也可以作用于婴儿对于面孔的分类。

—知识表征与与数学的关系？

与客体知识表征存在具身与非具身的形式框架类似，数字系统也有通过感知觉获得与非感知觉符号获得的表征。尽管数字表征之前一直被认为是从多个感觉输入的数量系统获得，但是最近的证据表明存在一个对整数表征的符号系统。

这个系统是基于语言的，在不对近似数量进行表征的情况下，首先获得精确的数词含义，进而理解口头数字的含义。除了来自发展和成人行为证据，神经证据表明顶内沟同时表征符号化数字（词汇、数字符号）和非符号化数字（视觉集合），同时没有证据表明这二者之间有共享的表征基础。

那么是否存在一个语义表征和数字表征共享的符号系统？现在的回答并没有那么的直接。许多比较数字和一般语义加工的研究发现二者有不同的神经模式。

具体而言，一般语义加工（理解客体知识）激活了包括腹侧和外侧颞叶、颞顶联合区、以及腹侧额叶区（主要是左脑），而数字加工则激活了双侧前额叶，顶内以及腹外侧颞叶区域。这些数字加工区域在数学家处理数学论断的时候也会进行激活。

然而，之前不论是对一般语义还是数字加工的研究，大多对感知觉获得知识和语言获得知识进行区分。因而，现在观察到的差异可能反应的是感知觉系统的差异。

我们只能根据少量对不同类似知识进行区分的研究做出推断：对于客体颜色知识，语言获得的符号系统是在背侧颞叶前部，而对于数字知识，则是顶内沟。

尽管这些发现初步的表明对于一般语义知识和数字知识，语言获得的表征神经基础可能是不一样的，但仍需要有进一步的研究对二者进行详细比较。

总结

知识是人类认知的核心，是人类理解各种信息输入、推理以及决策的基础。过去的几十年中，认知神经科学一直侧重于探索知识表征的具身机制，识别来自感知觉经验知识的神经关联，而对“磁场”、“进化”、“理性”等抽象的、超越感官获取知识的神经机制却知之甚少。

通过利用独特的自然实验，一系列研究聚焦于探索先天盲人的视觉知识表征特点，证明了存在来自背侧ATL及其相关语言网络的语言获得的、非具身知识，以及来自高级感知觉皮层的感知觉知识。

这些结果表明，人类大脑中存在着两种认识——基于符号关系的认识和基于经验的认识，共同构成了人类的认知体系。

这个框架为符号表证知识和感知经验表证知识的多种经典挑战（中文屋问题、常识问题、抽象问题等）提供了自然的解决方案、提出了一系列新的研究问题（两种编码的关系？人类与动物的相应异同？）、为“颜色科学家玛丽”思维实验提供了实证答案：当离开黑白房间的时候，玛丽会在外侧梭状回区域发展出额外的对颜色知识的感知觉表征，为其背侧ATL已有的语言获取颜色符号知识表征提供补充。

参考文献

Bi Y. Dual coding of knowledge in the human brain. Trends Cogn Sci. 2021 Oct;25(10):883-895. doi: 10.1016/j.tics.2021.07.006. Epub 2021 Sep 8. PMID: 34509366.

编译作者：（嗯铃、洛文 brainnews创作团队）

校审：（洛文、Freya brainnews编辑部）

特别致谢：毕彦超、梁爽和温浩杰对本文的修改

往