Meta全新脑机接口模型，挑战Neuralink！无需植入芯片实现「心灵感应」
[新的Zhiyuan简介]脑部计算机界面技术非常受欢迎，Musk的Neuralink引起了全球关注。但是，其侵入性解决方案的风险不可忽视。 Meta AI采用了另一种方法，最近启动了非侵入性Brain2Qwerty深学习模型，该模型可以通过分析脑电图或磁性图来“读取”人们在键盘上输入的文本。
脑部计算机界面一直是全球关注的新技术。特别是在马斯克的光环支持下的神经晶体引起了很多关注。
几天前，Neuralink发表了一篇文章，称三名瘫痪的患者在过去一年中接受了Neuralink植入。
通过植入物，这些患者只能以他们的思想来控制手机和计算机，这是Neuralink称为“心灵感应”的能力。
参与者已经使用了“心灵感应”超过4900小时，其中大多数是独立使用的，这表明该技术在现实生活中具有潜力。
一位名叫布拉德（Brad）的参与者成功地逃脱出了通过这项技术依靠眼睛跟踪器，他能够与各种环境中的人们进行交流，甚至可以参加活动（如下图）。
尽管这些病例清楚地表明了近年来脑部计算机界面取得的重大进展，但Neuralink的解决方案也不是完美的。
主要问题在于它使用的侵入性方法，例如电极植入，它带来了医疗风险，包括感染和长期维护问题。
几天前，Meta AI团队发布的名为“ Brain2Qwerty”的新的深度学习架构是解决这一挑战！
纸张地址：
实验表明结果非常好。
这种新的体系结构可以解码参与者的脑电图（EEG）或磁脑电图（MEG）信号。对于表现最佳的参与者，该模型达到了19％的字符错误率，并且在训练集之外完美地解码了各种句子。
最重要的是，Brain2QWerty是非侵入性的，它通过侵入性方法极大地缩小了差距，并为开发更安全的脑部计算机界面技术开辟了道路！
元团队是如何做到的？
首先，研究人员要求35名参与者在键盘上简短记住他们的句子，同时通过脑电图（EEG）（EEG）或Magnetephatographicing（MEG）记录他们的大脑活动。
然后，研究人员开始培训三阶段的深神经网络Brain2Qwerty，以解码这些大脑信号的文本并评估效果。
首先，第一阶段卷积模块接收500毫秒的脑电图（EEG）或磁脑电图（MEG）信号，作为提取这些信号特征的输入。
然后，变压器模块使用自我发挥的机制在句子级别捕获上下文信息，优化关键预测并输出每个字符的逻辑。最后，验证的语言模型使用统计规则来纠正转换器的输出，从而进一步提高了解码的准确性。
特定过程如下：图1。Brain2QWerty模型使用脑电图或磁图信号通过三个阶段在键盘上输入的文本解码：卷积，转换器和语言模型。
实验结果
研究人员首先关注左手按钮引起的诱发响应的差异。结果表明，就手分类的准确性而言，磁脑电图（MEG）比脑电图（EEG）好。 MEG的峰精度为74％（标准误差平均值±1.3％），而脑电图的峰准确度为64％（±0.8％）。
这些结果验证了当前的实验方法确实可以在大脑中产生预期的关键反应。
Brain2QWerty在磁脑电图（MEG）数据上的表现明显好于脑电图（EEG）。具体而言，MEG的平均字符错误率（CER）为32％（±0.6％），EEG的平均字符错误率（CER）为67％（±1.5％）。
这种性能差异在统计上很重要。
尽管平均表现有显着差异，但研究人员还注意到个人之间的差异。 EEG表现最差的受试者的CER分别为61％（±2.0％）和71％（±2.3％）。 MEG表现最差的受试者的CER分别为45％（±1.2％）和19％（±1.1％）。这也很明显。
比较不同的模型
为了评估Brain2QWerty模型的性能，研究人员选择了两个经典的基线模型进行比较：线性模型和EEGNETkaiyun全站app登录入口，这是一种紧凑型卷积神经网络，通常用于脑部计算机接口领域。
结果表明，EEGNET在MEG数据中比线性模型好，但是它在EEG数据中的优势并不明显。 Brain2QWerty模型的性能明显优于EEGNET和EEGNET和脑电图数据上的线性模型。
该优势表明，Brain2Qwerty模型（卷积模块，转换器模块和语言模型）的三阶段体系结构在解码大脑活动中的文本中起着重要作用。
下面的图A和B显示，左右键将在大脑皮层中产生不同的神经活动模式，而EEG和MEG可以检测到。 C和D验证分类器可以有效地区分左和右手和不同特征之间的大脑活动。
EH比较了手动错误率（HER）和字符错误率（CER），比较了不同体系结构（包括线性模型，EEGNET和Brain2Qwerty模型的不同变体）的性能。每个点代表一个受试者的平均得分。
消融实验
研究人员对模型的以下两个消融版本进行了重新训练并评估：（i）仅卷积模块（cons）：删除了转换器模块和语言模型，仅使用卷积模块进行解码； （ii）卷积模块 +conv +trans：使用卷积模块和转换器模块删除和解码语言模型。
然后，研究人员使用相同的数据集和超参数训练并评估了这些消融模型，并使用手部错误率（HER）和字符错误率（CER）来测量性能。
结果表明，在EEG和MEG数据上，卷积模块（CORS）的性能比EEGNET的性能要好。添加转换器模块后，改进了脑电图和MEG数据上的卷积模块 +转换器模块（Cons + Trans）的CER，这表明转换器模块在利用上下文信息中起关键作用。
使用语言模型后，EEG中完整的Brain2QWerty CER进一步提高了4％，MEG的CER进一步提高了6％。语言模型通过利用自然语言的统计规律来有效提高解码精度。
解码句子显示
研究人员指出，梅格可以完美地解码一些句子。这表明Brain2QWerty模型在MEG数据上具有很高的解码精度。例如，“ la silla ocasiona las病变”一词是完美解码的。
更有趣的是，Brain2Qwerty的语言模型可以纠正受试者的输入错误。例如，即使该主题进入“ EK Headucui Syoera Kis Ruesgis”，“ El Benefitio Supera Los Riesgos”仍然得到了完美的解码。
相比之下kaiyun全站网页版登录，脑电图的解码很差，很少产生可理解的文本。这与先前报告的统计结果一致，即MEG的解码性能明显优于脑电图。
在脑电图示例中，解码结果通常包含大量错误，例如“ La Ciencia de la Idea las Mas de Esos”，它远非原始句子“ La Ciencia de la Idea la indure Rompe la Vision”。
下面的图3A显示了最佳，中位数和最差的MEG主题的句子字符错误率。每个点代表一个唯一的句子。图3b显示了两个示例句子的解码预测结果，其中使用多个分割种子来获得跨句子的预测。
键盘布局对Brain2QWerty的影响
如果Brain2Qwerty模型依赖于运动皮层中的大脑活动，则其解码误差应与QWERTY键盘的物理布局有关。也就是说，模型更容易错误地预测键是键盘上的物理关闭按钮。
研究人员分析了错误预测的字符的混淆模式，并计算了键盘上解码的字符和实际键按键之间的距离。
结果表明，距离和混淆率之间存在显着相关性。这意味着键盘上的键越接近物理距离，它们越有可能被混淆。
下面的图A显示，模型解码错误与键盘的物理布局有关，并且该模型倾向于将密钥混淆为具有物理接近位置的键。图B进一步证实了模型依赖性运动表征。图C显示键入错误与较长的密钥间隔有关。图D证明键入错误会导致解码性能降解，表明运动过程的准确性直接影响解码质量。
键入错误对Brain2Qwerty的影响
研究人员发现，打字错误占钥匙总按下的3.9％，并且在65％的句子中出现了输入错误。不允许参与者使用反戳键来纠正实验中的错误。
错误键的密钥间隔明显长于正确的键。具体而言，正确键的平均间隔时间为50±7毫秒，而假键的平均间隔时间为114±12毫秒。
这种现象反映了参与者在键入错误时犹豫或监视错误的行为。
为了评估键入错误对解码性能的影响，研究人员分别评估了正确和错误键的字符错误率（CER）。当使用Conc+Trans模型时，正确键的CER为38％，而错误键的CER为65％。
这表明正确键的解码性能明显优于错误的键。
为了减少句子上下文对错误分析的影响，研究人员还评估了卷积模块（CONS）的性能。即使仅使用卷积模块，用于正确的键压的CER（52％）仍然低于错误的键按压（71％）。
这些结果表明，当运动过程不准确时，解码性能会降低。
发现，含义和局限性
元AI团队开发的Brain2QWerty模型可以通过非侵入性脑部计算机接口来解码句子。为开发更安全，更容易访问非侵入性脑部计算机界面的基础。
尽管Brain2QWerty模型的解码性能通过侵入性的脑部计算机界面缩小了差距开元棋官方正版下载，但差距仍然很大。最新的侵入性脑部计算机界面字符错误率仅为15.2％。使用误差校正模型时，打字速度每分钟可以达到90个字符，并且离线字符错误率甚至小于1％。
尽管磁脑电图（MEG）的效果比脑电图（EEG）更好，但目前的磁脑摄影系统（包括本研究中使用的系统）尚无法佩戴。但是，随着基于光泵磁力计（OPM）的新磁脑传感器的开发，有望解决此问题。
Meta AI的新Brain2Qwerty深度学习体系结构展示了非侵入性脑部计算机界面技术的巨大潜力。
这项研究不仅是技术突破，而且是对人与机器之间未来相互作用方法的探索。
参考：
