您尚未登录账户
您的企业账号申请正在审核中
Nvidia的新AI代理基于GPT-4，可训练机器人实现复杂技能
Nvidia Research今天宣布已经开发出一款名为Eureka的新人工智能代理程序，它由OpenAI的GPT-4提供支持，可以自主地教授机器人复杂的技能。
在一篇博客文章中，该公司表示，Eureka通过自主编写奖励算法，首次训练了一个机械手以与人类一样高超的速度旋转笔芯。Eureka还教会了机器人如何打开抽屉和柜子、抛接球、使用剪刀等近30项任务。
“强化学习在过去十年中取得了令人瞩目的成绩，但仍然存在许多挑战，例如奖励设计，它仍然是一个反复试验的过程。”Nvidia的人工智能研究高级总监和Eureka论文的作者之一Anima Anandkumar在博客文章中说。“Eureka是发展整合生成学习和强化学习方法以解决难问题的新算法的第一步。”
Nvidia Research还发布了Eureka人工智能算法库，供人们使用Nvidia Isaac Gym进行实验。Nvidia Isaac Gym是一个基于OpenUSD框架构建的用于强化学习研究的物理仿真参考应用程序。
这项工作是Nvidia先前在AI代理方面的工作的延续
多个AI代理的崛起引发了数月的炒作，包括今年4月的Auto-GPT、BabyAGI和AgentGPT。
该研究在之前的工作基础上进行，包括最近的Voyager，这是一个使用GPT-4构建的AI代理，可以自主运行Minecraft。在本周关于将聊天机器人转变为在线代理的一篇文章中，来自英属哥伦比亚大学的计算机科学教授Jeff Clune（之前是OpenAI的研究员）表示，“这是一个巨大的商业机会，潜在价值数万亿美元”，但他同时指出，“这对社会来说既有巨大的上升空间，也有巨大的影响”。
优于专家设计的人工奖励
在一篇名为《Eureka：通过编写大型语言模型进行人类水平奖励设计》的新研究论文中，作者们表示Eureka利用了最新的LLM（如GPT-4）的出色的zero-shot生成、编写代码和上下文改进能力，通过奖励代码进行进化优化。
他们表示，由此产生的奖励可以通过强化学习获得复杂技能。“在29个开源RL环境中，包括10个不同的机器人形态，Eureka在没有任何任务特定提示或预定义奖励模板的情况下生成的奖励函数超越了专家设计的奖励。在83%的任务上，Eureka的表现超过了人类专家，使平均规范改进达到52%。”
“Eureka是大型语言模型和Nvidia的GPU加速仿真技术的独特结合。”该项目贡献者之一、Nvidia的高级研究科学家Jim Fan在博客文章中表示。“我们相信，Eureka将实现机器人的灵巧控制，并为艺术家提供一种产生真实物理动画的新方法。”
