脑机接口是一项开创性技术，它可以帮助瘫痪人群重新获得失去的功能，比如移动手臂。这些设备记录来自大脑的信号，并解码用户的预期动作，绕过通常会将大脑信号传输到肌肉以控制其运动的受损或退化的神经。

自2006年以来，人类脑机接口的演示主要集中在通过使人们能够控制计算机光标或机械臂来恢复手臂和手部的运动能力。最近，研究人员开始开发语音脑机接口，以恢复无法说话者的交流能力。

当用户尝试说话时，这些脑机接口会记录与尝试说话时的肌肉运动相关的个人独特大脑信号，然后将它们翻译成文字。这些文字随后可以显示在屏幕上，或者使用文本到语音软件大声朗读出来。

加州大学戴维斯分校神经假肢实验室的研究员演示了一种语音脑机接口，它可以破译一名患有肌萎缩侧索硬化症（ALS），也被称为卢·格里克病（Lou Gehrig’s disease）的男性的尝试性言语。该接口将神经信号转换为文字，准确率超过97%。该系统的关键在于一组人工智能语言模型——人工神经网络，它们有助于解释自然神经网络。

记录大脑信号

我们语音脑机接口的第一步是记录大脑信号。大脑信号有多个来源，其中一些需要手术来记录。手术植入的记录设备可以捕获高质量的大脑信号，因为它们被放置在更接近神经元的位置，从而可以产生更强且干扰更少的信号。这些神经记录设备包括放置在大脑表面的电极网格或直接植入脑组织的电极。

在我们的研究中，我们在受试者凯西·哈雷尔（Casey Harrell）的言语运动皮层（控制与言语相关的肌肉的大脑部分）中手术植入了电极阵列。在哈雷尔尝试说话时，我们从256个电极中记录了神经活动。

解码大脑信号

下一个挑战是将复杂的大脑信号与用户试图说的单词联系起来。

一种方法是将神经活动模式直接映射到口语单词上。这种方法需要多次记录与每个单词相对应的大脑信号，以确定神经活动与特定单词之间的平均关系。虽然这种方法在小词汇量中表现良好，如2021年一项包含50个词汇的研究所示，但对于更大的词汇量来说，这种方法就变得不切实际了。想象一下，要求脑机接口用户多次尝试说出字典中的每一个单词——这可能需要数月的时间，而且对新单词仍然无效。

相反，我们采用了一种替代策略：将大脑信号映射到音素上，音素是构成单词的基本声音单位。在英语中，有39个音素，包括ch、er、oo、pl和sh等，这些音素可以组合成任何单词。我们只需要让受试者大声朗读几个句子，就可以多次测量与每个音素相关的神经活动。通过准确地将神经活动映射到音素上，我们可以将它们组合成任何英语单词，甚至是系统没有明确训练过的单词。

为了将大脑信号映射到音素上，我们使用了先进的机器学习模型。这些模型特别适合于这项任务，因为它们能够在大量复杂数据中找到人类无法分辨的模式。可以将这些模型想象成超级智能的听众，它们可以从嘈杂的大脑信号中挑选出重要信息，就像你在拥挤的房间里专注于一场对话一样。使用这些模型，我们能够以超过90%的准确率在尝试说话时解码音素序列。

从音素到单词

一旦我们得到了破译的音素序列，就需要将它们转换成单词和句子。这是一项具有挑战性的任务，尤其是当破译的音素序列并非完全准确时。为了解决这个难题，我们使用了两种互补的机器学习语言模型。

第一种是n元语法（n-gram）语言模型，它用于预测在给定的n个词之后最有可能出现的词。我们训练了一个5元语法（即五个词）的语言模型，该模型基于数百万个句子来预测基于前四个词出现某个词的可能性，从而捕获局部上下文和常用短语。例如，在“I am very good,”之后，它可能会建议“today”比“potato”更有可能出现。利用这个模型，我们将音素序列转换成100个最可能的单词序列，每个序列都附有一个相关概率。

第二种是大型语言模型，它们为AI聊天机器人提供支持，并预测哪些词最有可能跟随其他词。我们使用大型语言模型来优化我们的选择。这些模型经过大量多样化文本的训练，对语言结构和意义有更广泛的理解。它们帮助我们确定在更广泛的上下文中，我们的100个候选句子中哪一个最有意义。

通过仔细平衡n元语法模型的概率、大型语言模型的概率以及我们最初的音素预测，我们可以对脑机接口用户想要表达的内容做出高度合理的猜测。这个多步骤过程使我们能够处理音素解码中的不确定性，并生成连贯且符合语境的句子。

现实世界的益处

在实践中，这种语音解码策略取得了显著的成功。我们帮助了患有肌萎缩侧索硬化症（ALS）的凯西·哈雷尔（Casey Harrell）仅通过他的思想就实现了超过97%准确率的“说话”。这一突破使他能够多年来首次轻松与家人和朋友交谈，而且这一切都在他舒适的家中进行。

语音脑机接口在恢复交流方面迈出了重要的一步。随着我们继续改进这些设备，它们有望为那些失去说话能力的人提供发声的机会，让他们重新与亲人以及周围的世界建立联系。

然而，仍然存在挑战，比如使这项技术更加普及、便携，并在多年的使用中保持耐用性。尽管存在这些障碍，但语音脑机接口是科学技术如何携手解决复杂问题并显著改善人们生活的有力例证。