人类具备学习新概念并立即运用该概念理解相关用法的能力——如果孩子们学会了“跳跃”，他们就明白了“在房间里跳两圈”或“手举着跳”的意思。但是机器是否能够具备这种思维能力呢？20世纪80年代末，哲学家兼认知科学家Jerry Fodor和Zenon Pylyshyn提出，驱动人工智能和机器学习的人工神经网络不能进行这种被称为“组合概括”的连接。然而，自那以后的几十年里，科学家们一直在开发方法，来让神经网络和相关技术获得这种能力。

纽约大学和西班牙庞培法布拉大学的研究人员现在在《自然》杂志上报告称，他们开发了一种能够提高这些工具（如ChatGPT）进行组合概括的能力的技术。

这种技术，即用于组合性元学习（Meta-learning for Compositionality，MLC），在性能上超越了现有方法，并在某些情况下胜过了人类表现。MLC着重于通过实践训练神经网络（驱动ChatGPT和相关技术进行语音识别和自然语言处理）提高其组合推理能力。

现有系统的开发者，包括大型语言模型的开发者，一直希望组合概括能力能够通过标准训练方法得到发展，或者开发特定目的的架构以实现这些能力。相比之下，MLC展示了如何通过明确实践这些技能，使这些系统能够实现新的能力，作者指出。

纽约大学数据科学中心和心智、大脑与机器计划合作主任、本文作者之一Brenden Lake表示：“在过去35年间，认知科学、人工智能、语言学和哲学研究人员一直在争论神经网络是否能够实现类似于人类的系统概括。我们首次展示了通用神经网络能够在直接比较中模仿甚至超越人类的系统化概括能力。”

为了探索神经网络中组合性学习的可能性，研究人员创建了MLC，这是一种新型的学习方法，在一系列的训练任务中不断更新神经网络以提高其技能。在每个任务中，MLC接收一个新词并被要求在其中进行组合应用，例如，将词语“跳跃”转化成新的词语组合，比如“跳跃两次”或“跳跃绕房间一周”。然后，MLC接收到下一个含有不同词语的任务，并且如此类推，每一次都能提高网络的组合能力。

为了测试MLC的有效性，纽约大学心智、大脑与机器计划的合作主任Brenden Lake和庞培法布拉大学翻译与语言科学系的研究员Marco Baroni进行了一系列与MLC执行的任务相同的实验，人类参与者需要在这些任务中完成相同的操作。此外，与其学习实际词语的含义（人类已经知道的词语），参与者还要学习研究人员定义的无意义词语（例如“zup”和“dax”）的含义，并且知道如何以不同的方式应用它们。MLC表现得和人类参与者一样好，甚至在某些情况下优于人类。MLC和人类的表现也优于ChatGPT和GPT-4，尽管后者具备惊人的普适能力，但在此学习任务上表现出困难。

庞培法布拉大学计算语言学和语言理论研究小组的成员Marco Baroni指出：“诸如ChatGPT的大型语言模型仍然在组合概括方面存在困难，尽管近年来已有所改善。但我们认为，MLC可以进一步提高大型语言模型的组合能力。”