研究人员首次研发出便携式、非侵入式系统，可解码无声思维并转化为文本

来自悉尼科技大学（UTS）GrapheneX-UTS 以人为本的人工智能中心的研究人员已首次开发出一种便携式、非侵入式系统，能够解码人的沉默思维并将其转换成文本。

这项技术能够帮助因病或伤无法说话的人进行交流，包括中风或瘫痪患者。它还能使人类与机器之间的通信无缝对接，例如操作仿生手臂或机器人。

这项研究被选为在2023年12月12日于新奥尔良举办的NeurIPS会议的焦点论文，该年会展示了世界领先的人工智能和机器学习研究。

该研究由GrapheneX-UTS HAI 中心主任、杰出教授林民浩（CT Lin）领导，UTS工程与IT学院的博士候选人段义群（Yiqun Duan，音译）和周津州（Jinzhou Zhou，音译）为首席作者。

在该研究中，参与者在戴着一个帽子时默读文本，该帽子通过电脑脑电图（EEG）记录了他们头皮上的电脑活动。

EEG波被细分成独特的单元，捕捉来自人脑的特定特征和模式。这是通过研究人员开发的一个名为DeWave的AI模型完成的。DeWave通过学习大量的EEG数据，将EEG信号翻译成单词和句子。

林教授说：“这项研究代表着在直接将原始EEG波翻译成语言方面的开创性努力，标志着该领域的一个重大突破。”

“这是首次在大脑到文本的转换过程中结合离散编码技术，为神经解码带来了创新的方法。与大型语言模型的集成也在开辟神经科学和人工智能的新前沿。”他说。

之前将大脑信号转换为语言的技术要么需要通过手术将电极植入大脑（如埃隆·马斯克的Neuralink），要么需要在MRI机器中扫描，这种机器庞大、昂贵，并且在日常生活中难以使用。

这些方法在不使用像眼动跟踪等额外辅助工具的情况下，也难以将大脑信号转换为单词级别的段落，这限制了这些系统的实际应用。新技术可以在有或无眼动跟踪的情况下使用。

UTS的研究是在29名参与者中进行的。这意味着与之前只在一两个人身上测试过的解码技术相比，它可能更为健壮和适应性强，因为EEG波会因人而异。

相对于大脑中植入电极所接收的信号，通过帽子接收的EEG信号更加嘈杂。然而从EEG翻译的角度来看，该研究报告了最新水平的性能，超越了之前的基准。

段义群说：“该模型在匹配动词方面更加熟练。但在名词方面，我们看到了倾向于同义词对而非精确翻译的趋势，如‘那个人’而不是‘那个作者’。”

“我们认为这是因为当大脑处理这些单词时，语义上相似的单词可能会产生相似的脑波模式。尽管有挑战，我们的模型能产出有意义的结果，对齐关键词并形成类似的句子结构。”他说。

当前的翻译准确率得分在BLEU-1的40%左右。BLEU得分是一个在零到一之间的数字，它衡量机器翻译文本与一组高质量参考翻译之间的相似度。研究人员希望看到这一指标能够提高到与传统语言翻译或语音识别程序相当的水平，即接近90%。

这项研究是在UTS与澳大利亚国防军合作开发的先前脑-机接口技术的基础上进行的，该技术使用脑波指挥四足机器人。