让失语者重新说话!西湖大学创「中国脑」计划里程碑!

更新时间:2024-08-30

AEIC官网-版头.gif


脑机接口(Brain-Computer Interface, BCI)技术,是指是在人或动物脑与外部设备间创建信息交换的连接通路。


被公认为是未来生命科学和信息技术交叉融合的主战场,在科研和应用领域的进展在近期屡屡获得广泛的关注,大家通常对它应用前景有着各种畅想。


比如,对因神经系统缺陷造成的失语症患者,可以通过脑机接口将思维和机器连接起来,打开沟通的大门;又比如,对中风或帕金森病患者,脑机接口可以辅助恢复或增强运动控制能力,帮助他们重新获得行动自由...


而西湖大学先进神经芯片中心默罕默德·萨万教授团队,在脑机接口技术研究方面就有着众多突破性进展!

汉语言脑机接口实现重要突破


去年底,先进神经芯片中心默罕默德·萨万教授团队,自然语言处理实验室张岳教授团队和朱君明教授团队联合发布了他们最新的研究结果。


实现了脑机接口全谱汉语解码,弥补了国际上汉语解码脑机接口技术的空白。


640 (8).png


此项研究通过立体定向脑电技术(SEEG)采集所有普通话汉字发音过程对应的大脑内神经活动信号,结合深度学习算法和语言模型,实现了对全谱汉字发音的解码,建立起覆盖所有汉语普通话字符发音的汉语脑机接口系统,实现了大脑活动到完整普通话句子的端到端输出。


640 (9).png

图源 | SaWan实验室官网


汉语作为一种象形和音节结合的语言,具有超过50000个字符,与由26个字母组合而成的英语具有显著不同,因此这对于现有的语言脑机接口系统来说是一个巨大的挑战。


为了解决这一问题,在过去三年时间里,默罕默德·萨万教授团队深入分析汉语本身的发音规则和特点。从汉语发音音节的声母、声调和韵母三个要素出发,结合拼音输入系统的特点,设计了一种全新的适用于汉语的语言脑机接口系统。


研究团队通过设计覆盖所有407个汉语拼音音节以及汉语发音特点的语音库并同步收集脑电信号,构建了超过100小时的汉语语音-SEEG数据库


通过人工智能模型训练,该系统构建了针对汉字发音音节三要素的预测模型,并最终通过一个语言模型对所有预测得到的元素进行整合,结合语义信息生成最可能的完整汉语句子。


这项研究为汉语这种意音文字语言的BCI解码研究提供了全新视角,也证明通过强大的语言模型可显著提高语言脑机接口系统的性能,为未来的意音文字语言神经假肢研究提供了新的方向。


该项工作也预示着神经系统疾病患者很快就能通过意念来控制计算机生成汉语句子,重获交流能力!


对脑疾病进行诊断和治疗


各种脑疾病会贯穿人的整个生命周期。自闭症、抑郁症、癫痫、帕金森、阿尔茨海默病……很多无法完全靠药物治疗。脑机接口最重要的一个应用,就是对脑疾病的诊断和治疗。


这也是为什么默罕默德·萨万教授特别关注神经退行性疾病以及与大脑相关的各种疾病的诊断、预测和治疗,并涉足脑机界面和人工智能等新兴领域的原因。


以典型的大脑机能紊乱型的病症——癫痫为例。默罕默德·萨万教授团队曾提出“通过概率预测模型缩短实时癫痫发作检测时延”的办法,该文章被发表在中科院AI一区期刊Expert Systems with Applications。


640 (4).jpg


该研究首次提出,通过引入跨越时段(Crossing Period),加上通过利用多尺度STFT特征、3D卷积、概率回归模型、概率修正函数、函数累积决策等方案,有效实现了降低癫痫发作检测时延。

640 (10).png

中国政府友谊奖专家
加拿大工程院院士,IEEE Fellow
西湖大学讲席教授,首席科学家
国际生物电路与系统领域重要代表人物之一
生物医学领域微电子技术应用的开拓者
2001年当选为加拿大工程院院士
2007年当选为加拿大工程研究院院士
2022年当选为加拿大皇家学会院士

默罕默德·萨万已发表1000 多篇同行评审论文、5 本书、15 本书章节
15 项已授予专利和 25 项正在申请的专利

同时,作为艾思科蓝学术委员会主席团成员的萨万教授曾言:

自主制造生产芯片上,中国还有很长一段路要走,但我会尽我所能攻克难关,推动生物医疗电子领域再进一步,以提供更智慧的诊疗服务。


AEIC官网-版尾.bmp


X