脑机接口 / BCI

Towards unified brain-to-text decoding across speech production and perception

迈向跨语音生成与感知的统一脑-文本解码

Zhizhang Yuan, Yang Yang, Gaorui Zhang, Baowen Cheng, Zehan Wu, Yuhao Xu, Xiaoying Liu, Liang Chen, Ying Mao, Meng Li

机构 * Computer Science and Technology（计算机科学与技术） ； Zhejiang University（浙江大学） ； Shanghai Institute of Microsystem and Information Technology（上海微系统与信息工程研究所） ； Chinese Academy of Sciences（中国科学院） ； Department of Neurosurgery（神经外科部门） ； Huashan Hospital, Fudan University（复旦大学华山医院） 纠错

专题命中 神经信号处理 ：neural signal(abstract)；cortical(abstract)；分类 q-bio.NC、eess.SP

AI总结 本文提出一种统一的脑-句子解码框架，用于 Mandarin Chinese 的语音生成与感知，通过单字符数据训练实现句子级解码，并通过多模态神经动态比较提升解码性能。

Comments 37 pages, 9 figures