清华大学心理学系张丹课题组在神经科学国际期刊Cerebral Cortex发表题为EEG-based speaker-listener neural coupling reflects speech-selective attentional mechanisms beyond the speech stimulus的论文。该论文对比了言语-神经活动耦合（speaker-listener coupling）与讲话者-听者神经活动耦合（speech-listener coupling）的异同，阐释了脑际神经耦合在言语信息传递过中“超越刺激”的独特作用。
在嘈杂喧闹的鸡尾酒会中，人们总能在觥筹交错中，跟随所希望交谈的目标，并忽略其他声音。在这个过程中，选择性注意起到了关键的作用（Cherry, 1953）。在这个过程中，听者仅在注意讲话者发出的声音与信息的字面意义（即刺激本身），还是更进一步地与所注意的对象形成了共同的心灵空间？一直以来引发了来自不同领域的研究者持续探讨（Gadamer 1975; Gadamer 1975; Searle 1980; Hartley& Poeppel, 2020）。在神经科学的研究中，相关的实证证据较为匮乏。
图1 实验范式及分析方法
A)讲话者-听者的神经耦合与言语刺激-听者的神经耦合示意；
B)声学、语义与脑际特征的表征方式与计算模型（时间响应函数Temporal Response Function, TRF）
本研究采用了自然、生动、连续的言语信息作为刺激材料，拓展了之前研究中对于言语信息的表征，并创新性地区分出了讲话者-听者神经耦合与言语刺激-听者神经耦合两种不同的信息加工模式（如图1A所示）。同时，本研究采用了时间响应函数的建模方法，在同一框架下对两种耦合（讲话者-听者 vs. 言语信息-听者）三类特征（声学、语义、脑际）进行建模，用于对比注意特征与非注意特征的神经活动响应差异（如图1B所示）。
图2 讲话者-听者的神经耦合与言语信息-听者神经耦合的不同注意效应
本研究的核心发现为：讲话者-听者的神经耦合与言语信息-听者神经耦合具有不同的神经响应模式（如图2所示）。讲话者-听者神经耦合的注意效应出现在声音刺激出现前的5秒，区域为左侧前额区，频段为delta频段。同时，该神经活动与听者的理解表现呈负相关，与自我报告的任务难度呈正相关。与此不同的是，言语信息-听者神经耦合仅出现在声音刺激出现后，声学特征的注意效应出现在theta频段的200-350毫秒，而语义特征的注意效应出现在delta频段的200-600毫秒，两者的区域均为中央区。讲话者-听者的神经耦合与言语信息-听者神经耦合在时间、频域及空间分布上均有不同，且仅有讲话者-听者的神经耦合与行为学结果呈现相关。该结果凸显了讲话者-听者神经耦合“超越刺激”的独特性，说明人们日常的言语沟通中，不仅仅是被动地接受对方发出的信息信息，更是预测性地主动与沟通对象形成共识。
本研究的第一作者为我系博士毕业生李佳蔚（现为洪堡学者，于德国柏林自由大学从事研究工作），通讯作者为张丹副教授。本研究的合作者包括清华大学医学院生物医学工程系洪波教授，德国汉堡大学医学院Andreas Engel教授和Guido Nolte博士。
本研究承蒙国家自然科学基金委（NSFC）和德国科学基金会（DFG）重大国际合作项目“跨模态学习的自适应、预测和交互”(NSFC 62061136001/DFG TRR-169/C1, B1），国家自然科学基金委面上项目“基于群体脑扫描的课堂教学效果关键认知神经指标研究”（61977041）和德国洪堡基金会博后奖学金资助，在此一并致谢。
论文信息：
Li, J., Hong, B., Nolte, G., Engel, A.K., Zhang, D. (2023). EEG-based speaker-listener neural coupling reflects speech-selective attentional mechanisms beyond the speech stimulus. Cerebral Cortex, DOI: 10.1093/cercor/bhad347.
论文链接：
https://doi.org/10.1093/cercor/bhad347
参考文献：
Cherry EC. 1953. Some experiments on the recognition of speech, with one and with two ears. J Acoust Soc Am. 25:975–979.
Gadamer HG. 1975. Truth and Method, A Continuum book. Seabury Press.
Hartley CA, Poeppel D. 2020. Beyond the Stimulus: A Neurohumanities Approach to Language, Music, and Emotion. Neuron. 108:597–599.
Searle JR. 1980. Minds, brains, and programs, the MIT press.
Skinner BF. 1957. Verbal behavior. Appleton-Century-Crofts.
