在经典动画《杰森一家》中，机器人女佣罗西能够轻松地从打扫房屋切换到做饭，再到倒垃圾，展现出了令人向往的通用机器人能力。然而，在现实生活里，训练一个能够执行多种任务的通用机器人仍是一个巨大的挑战。

传统的机器人训练方法通常涉及大量针对特定任务的数据收集，并在受控环境中进行训练。这一过程既耗时又费力，且机器人往往难以适应新的环境或任务。为了克服这一难题，麻省理工学院的研究人员开发了一项新技术，旨在通过整合来自多个来源的异构数据，训练机器人执行广泛的任务。

研究人员的方法是将来自不同领域和模态的数据，如模拟环境、实际机器人操作、视觉传感器以及机器人臂位置编码器等，对齐到一种生成式AI模型可以处理的共享“语言”中。这种方法使得研究人员能够利用庞大的数据集来训练机器人，而无需每次从头开始。

据论文的第一作者、麻省理工学院电子工程与计算机科学（EECS）研究生王立瑞介绍，机器人领域的数据问题不仅仅在于数量不足，更在于数据来自不同的领域、模态和机器人硬件。因此，他们的研究重点是如何将这些多样化的数据整合在一起，以训练出更加通用的机器人。

受到大型语言模型的启发，王立瑞和他的团队开发了一种名为异构预训练变压器（HPT）的新架构。这种架构能够统一处理来自不同模态和领域的数据，并利用大量的预训练数据来提高机器人的适应能力。

在HPT中，研究人员使用了一种称为变压器的机器学习模型来处理视觉和本体感受输入。他们将这些数据排列为变压器可以处理的一种输入类型，称为token。随着处理和学习更多数据的过程，这种变压器模型变得越来越大，性能也越来越好。

为了构建用于预训练的大规模数据集，研究人员收集了包括人类演示视频和模拟在内的52个数据集，涵盖了超过20万条四大类机器人轨迹。此外，他们还开发了一种有效的方法，将来自一组传感器的原始本体感受信号转化为变压器可以处理的数据。

在模拟和现实世界的测试中，HPT显著提高了机器人的性能，相较于每次都从零开始训练，性能提升了20%以上。即使面对与预训练数据非常不同的任务，HPT仍然能够改善机器人的表现。

卡内基梅隆大学机器人学院的副教授David Held对这项工作给予了高度评价，认为它提供了一种新的方法来训练横跨多个机器人形式的单一策略，并允许机器人在多样化数据集上进行训练，从而显著扩展了其可训练的数据集规模。

未来，研究人员希望继续研究数据多样性如何能够进一步提升HPT的性能，并增强其处理无标签数据的能力。王立瑞表示，他们的梦想是拥有一个通用机器人大脑，用户可以直接下载并使用，而无需进行任何训练。虽然目前仍处于早期阶段，但他们将不断努力推进这一领域的发展，并希望像大型语言模型那样，通过规模化实现机器人策略的突破性进展。