免手术AI读心术新突破！Meta脑机接口研究惊呆网友：能边睡边玩手机发帖了？？

K1qDZ7VzZ

新年伊始，Meta脑机接口研究传来新进展——
语言模型加持下，无需动脑部手术，脑机接口实现了当前非侵入式方式（MEG）最准确的结果。
简单来说，仅利用AI模型Brain2Qwerty，他们实现了对脑电图（EEG）或脑磁图（MEG）电信号的高度解析。
具体效果如何呢？？
据论文介绍，使用MEG，Brain2Qwerty的平均字符错误率（CER）为32%。按照Meta的说法，这是当前使用全字母键盘和头骨外收集的信号进行大脑打字最准确的结果。
最好的例子中，该模型还实现了19%的CER，并能完美解码训练集之外的多种句子。

想要直观理解这项技术，请看下图：

谷歌前员工还顺带调侃，这不妥妥的新雷朋眼镜!（doge）
更有人脑洞大开，这下即使睡觉也能自动发帖了~

不需要动脑部手术的“非侵入性”脑机接口

按照当前理解，脑机接口是一种在人类大脑和计算机或其他设备之间建立直接通信的技术。
这种通信可以是双向的，既允许人类通过思维活动控制外部设备，也允许外部设备解读大脑信号并与之交互。
从类型上看，它有侵入式和非侵入式两种。
前者典型代表就是马斯克旗下的Neuralink，这类接口通过在大脑内植入传感器或电极来实现，一般主要用于医疗领域，如治疗帕金森病、癫痫或进行深度脑刺激。
而后者通常使用外部设备来监测大脑活动，比如将脑电图传感器贴在头皮上，由于风险较小且易于使用，这种方式往往在应用中更加常见。
接下来，我们重点说说Meta如何将AI与非侵入式脑机接口做结合，相关答案可以从Meta此次公布的两篇论文中寻找。
在第一篇论文中，Meta详细介绍了Brain2Qwerty系统架构和实验过程。

他们找来了35名志愿者，均为右撇子且熟练打字的西班牙语母语者，无神经或精神疾病史。其中23%为男性，77%为女性，平均年龄31.6±5.2岁。
这群人接到的任务是，在键盘上打出简短记住的句子，同时其大脑活动将被EEG或MEG记录。

每个试验包含读、等待、打字三个步骤。句子（例如el procesador ejecuta la instrucción）逐词显示，每个单词显示465-665ms，读完后停顿1.5秒，之后开始“盲打”。

与此同时，志愿者的大脑电信号被输入到Brain2Qwerty系统中。
这一系统主要包含三个模块：

• 卷积模块：以500毫秒窗口的M/EEG信号作为输入，对大脑信号进行初步处理和特征提取；
  
• Transformer模块：在句子层面进行训练，能够捕捉句子整体的语义和结构信息，进一步处理卷积模块输出的特征；
  
• 语言模块：采用预训练的语言模型，对Transformer模块的输出进行纠正，利用语言的先验知识和语法规则，提升文本输出的准确性。
  

最终， 他们使用句子层面的字符错误率（Character Error Rate，CER）来评估模型性能。即计算预测文本与目标文本之间的字符差异，并以百分比形式呈现错误率。
结果显示，使用脑磁图时，Brain2Qwerty的字符错误率达到32±0.6%，使用脑电图时为67±1.5%。这种性能反映出不同记录设备之间存在显著差异。
最好的例子中，该模型还实现了19%的CER。（可以解码最高80%的新句子）

在第二篇论文中，Meta探究了大脑中语言产生的神经机制，由此进一步证实了语言产生遵循层级化处理过程的理论预测。

目前有这样一种被广泛接受的理论，即语言产生是一个层级化的过程。也就是说，人们在生成语言时，大脑会按照一定的层次顺序对语言信息进行处理。
通过观察上述35名志愿者的神经活动，研究得出如下发现：

在每个单词产生之前，神经活动呈现出特定的规律，具体表现为按上下文、单词、音节和字母的顺序生成语言表征，且呈现出上升和下降的变化。

这无疑印证了前述理论。
另外，研究还发现每个层次的神经表征在大脑中维持的时间不同。一般来说，高层次的上下文表征持续时间较长，而低层次的字母表征持续时间相对较短。
同时，这些不同层次的表征在时间上存在重叠，即多个连续的语言表征会同时存在于大脑活动中，但它们通过动态神经编码机制在不同的神经子空间中进行表示，从而避免了相互干扰。
这不仅进一步支持了语言理论中的层级预测，而且说明语言产生过程中的各个层次表征之间存在着复杂而有序的时间关系和神经机制。

相关研究始于2016年

事实上，早在2016年，还是Facebook的Meta就开始了脑机接口研究。
不过这一消息是官方到2017年才透露的。
当时声称，一年前Facebook启动了一个名为Building 8的特别团队，专注于开发非侵入性脑机接口，并稍稍分享了正在进行中的六个项目当中的两个。
比如大脑读取帽子这项计划，使用者只需思考就可以用它来发短信；又或者开发一种可穿戴设备（比如一条臂带），让人们能够通过皮肤“听到”词语。
然而，根据国外相关报道，由于遇到技术障碍，上述项目在进行四年后以失败告终。
而现在，通过与西班牙的一个研究中心展开合作，Meta终于在这上面取得新进展。
此外，根据Meta公告，他们还将向一家法国知名医疗机构Rothschild Foundation Hospital（在神经介入领域有丰富经验）捐赠220万美元，继续相关研究。
而且不难看出，他们和欧洲多个研究机构均展开了广泛合作。

回到研究本身，整体而言，按Meta自己的话来说：

最新结果缩小了侵入性和非侵入性方法之间的差距，从而为开发安全的脑机接口开辟了道路，以帮助无法沟通的患者。

不过，提高准确性仍是未来关键。

论文：
https://ai.meta.com/research/publications/brain-to-text-decoding-a-non-invasive-approach-via-typing/https://ai.meta.com/research/publications/from-thought-to-action-how-a-hierarchy-of-neural-dynamics-supports-language-production/