动态新闻

通知公告 更多…
张丹课题组在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》发表视觉脑-机接口新方法

2021-05-18

   清华大学心理学系张丹课题组提出一种可实现灵活视觉空间信息解码的脑-机接口方法,研究成果《A Spatially-coded Visual Brain-Computer Interface for Flexible Visual Spatial Information Decoding》被《IEEE Transactions on Neural Systems and Rehabilitation Engineering》国际期刊(影响因子3.34JCR Q1)正式录用并在线发表。论文的第一作者为清华大学心理学系博士后陈菁菁,通信作者为清华大学心理学系张丹副教授,论文合作者包括中科院半导体所王毅军研究员,清华大学医学院生物医学工程系高小榕教授、洪波研究员,德国汉堡大学医学院Andreas Engel教授、Alexandre Maye博士。


近年来,基于头皮脑电的视觉脑-机接口系统在以高信息传输率为代表的性能指标上取得了一系列突破性进展,展示了很强的实用潜力,得到学界和产业界的广泛关注。然而,主流视觉脑机接口系统大多基于通信系统编解码原理进行设计,需要用户直接注视按特定时间序列闪烁的视觉虚拟按钮以实现信息传输。这一设计容易造成视觉疲劳,也不符合人们的一般交互习惯。设计面向真实应用场景需求、用户体验更好的视觉脑-机接口系统,正在成为当前脑-机接口领域的重要议题。本论文基于大脑的空间信息加工原理,通过建立神经响应和空间信息的映射关系,提出一种可实现灵活视觉空间信息解码的脑-机接口方法,提升视觉脑-机接口的用户体验,使脑机接口应用从能用走向好用


注视位于不同空间位置的手写字符时,所诱发的大脑响应模式存在差异,为后续机器学习分类器的分类提供了生理支持。

基于这一思想,本研究首次提出了基于多频视觉刺激的视觉信息均匀解码策略,并通过一个“纸上拨号”脑-机接口系统进行了展示。用户只需注视印刷在纸上,不闪烁的字符,即可实现对字符输入意图的可靠识别。在一个自由拼写的测试任务中,用户的平均正确率达到92.3±3.1%。相较于传统视觉脑-机接口,这一设计无需直接注视快速时变的视觉刺激,视觉负荷小;用少量视觉刺激即可编码多个目标,界面设计灵活;面向不同应用情境可采用统一的编解码设计方案,无需对待选择目标本身进行编码,可将日常物品纳入到编码范围。本研究的脑-机接口设计方案是一种更加自然的脑机交互方式,有助于推动视觉脑-机接口走向日常生活应用。


纸上拨号”系统示意,用户只需注视手写字符,即可实现拼写

本研究得到国家自然科学基金委(NSFC)和德国科学基金会(DFG)重大国际合作项目跨模态学习的自适应、预测和交互”(NSFC 62061136001 DFG TRR-169/C1, B1, B4)资助,特此致谢。


文章在线发表链接:https://ieeexplore.ieee.org/document/9430520



联系我们

电话:010-62773687

邮箱:psych@tsinghua.edu.cn

地址:北京市海淀区清华园1号

邮编:100084

Copyright© 2002 - 2020 清华大学社会科学学院