你是否曾想过,仅凭“想象书写”的动作,就能在屏幕上输出清晰可辨的文字?
原创 2025年10月01日 09:21 江苏

实验室建立了一种新的脑机接口解码框架,成功从大脑运动皮层的神经信号中重建出清晰可识别的手写轨迹,将当前的脑控书写能力从离散字母构成的字符文字系统(如英语)扩展至等多笔画、多字符集构成的复杂系统(如中文),为严重运动功能障碍患者提供了一种全新的沟通途径,向实现自由的“脑波到文字”的转换跨出了重要一步。

近日,2025年国际脑机接口大奖(BCI-Award)正式公布全球12项提名名单。浙江大学脑机智能全国重点实验室王跃明教授、郝耀耀研究员团队在《Advanced Science》期刊上发表的研究“Decoding handwriting trajectories from intracortical brain signals for brain-to-text communication”对应的主要成果,从来自全球40个国家的近90个顶尖项目中脱颖而出,成为12个入围项目之一。

国际BCI奖每年评选一次,旨在表彰全球范围内具有创新性和影响力的脑机接口研究。这一提名不仅是对该团队科研实力的认可,也标志着我国在临床侵入式脑机接口解码技术领域又取得了新的进展。

本研究由由实验室脑机接口团队和临床神经外科团队合作完成,首次将结合形状与时间对齐机制的损失函数(DILATE)引入临床脑机接口的解码框架中,有效解决了因患者运动功能丧失导致的“神经信号-运动标签间不对齐”这一长期难题。通过在一位脊髓损伤患者大脑中植入微电极阵列,记录其尝试书写中文字符时的高分辨率神经信号,并利用长短期记忆网络(LSTM)结合DILATE进行解码,成功实现了单 trial 水平上的手写轨迹重建,并通过机器学习的方式进行识别,识别率在1000汉字库中突破90%大关。

本研究招募一名C4级脊髓损伤、双手完全瘫痪的患者,在其左脑运动皮层手部区植入两枚Utah阵列电极。实验过程中,患者观看显示书写过程的视频,并尝试用右手以粉笔书写180个常用中文字符(每字符重复3次)。我们记录了多频段神经信号,并提取包括局部场电位(LFP)、单单元活动(SUA)、多单元活动(MUA)以及整体 Spike 活动(ESA)等多种特征。

研究核心创新在于引入DILATE损失函数,该函数包含两部分:(1)形状损失(Shape Loss):基于可微分的软动态时间规整(soft-DTW),优化预测与真实序列之间的整体形态匹配;(2)时间损失(Time Loss):约束对齐路径,避免过度扭曲时序关系。使用LSTM网络进行速度解码,并通过积分重建轨迹。解码结果分别通过通用手写识别软件和基于动态时间规整(DTW)的自建模板匹配系统进行字符识别。

研究发现:
    (1)基于DILATE的新的解码框架显著提升单日解码性能:与MSE相比,DILATE解码轨迹的DTW距离显著降低(5.35 vs. 5.73),形状保真度更高;使用通用识别软件的正确识别率从27.2%提升至37.2%;在180字符库中,DTW模板识别率达到81.7%,扩展至1000字符库仍保持70.6%。
    (2)多日数据融合进一步改善解码效果:融合6天数据后,DILATE解码的DTW距离进一步降至4.35;通用软件识别率提升至52.2%;在1000字符库中识别率高达91.1%,显著优于单日解码。
    (3)跨语言与跨数据集验证:在公开英文手写数据集上应用DILATE,单 trial 轨迹重建识别率达到36.47%(MSE仅为22.93%);聚类分析显示DILATE解码结果在结构一致性指标(FMI、ARI、AMI)上全面优于MSE。
    (4)实时性及噪声鲁棒性验证:伪在线实验表明系统解码速率可达≥250 Hz,满足实时BCI需求;DILATE对噪声具有较强的鲁棒性,适用于临床环境中的信号波动。

本研究实现了在单 trial 水平上从脑内信号解码复杂手写轨迹,并成功转化为可识别文本,解决了BCI领域长期存在的“信号-标签错位”问题。新型解码框架的引入不仅推动了对运动想象神经机制的深入理解,也为多日、多会话BCI数据融合提供了新思路。该研究为瘫痪患者提供自然、高效、个性化的脑控书写沟通系统,同时支持多语言书写,尤其适用于表意文字使用者。未来的应用可扩展至绘图、签名等精细运动输出场景,为未来植入式BCI系统的临床转化提供解码方法基础。

值得一提的是,埃隆·马斯克旗下脑机接口公司Neuralink近日公布了最新的临床案例:其首位女性患者奥黛丽·克鲁斯(Audrey Crews)通过植入N1芯片成功实现了“心灵感应”书写——用意念在屏幕上写下自己的名字。该研究进展与本研究的科学目标高度吻合:奥黛丽能够通过对鼠标的操控,在屏幕上写字自己任意想要表达的内容,包括自己的名字,包括绘制心形、花朵、彩虹甚至人脸涂鸦,并能滚动页面、操作键盘。更重要的是,她开始重拾表达的自由。“我从16岁起就四肢瘫痪,现在终于可以亲手写字了——哪怕只是通过脑电波,”她表示,“我有很多话想说,也许我会写一本书。”她向网友们征集灵感,把每一次意念操控当作练习,也当作自我重建的仪式。

这一临床突破与我们的研究成果共同表明:基于神经解码的书写与绘图功能正在迅速走向现实,下一代BCI系统将不仅恢复基本交互,更将重建表达与创造的能力。