NVIDIA与Hugging Face携手推进高级机器人技术普及

2024年11月07日 由 daydream 发表 87 0

本周,在慕尼黑举行的机器人学习大会上,NVIDIA公布了一系列新的AI工具,并宣布与Hugging Face建立合作关系,旨在推动高级机器人技术向开发者和研究人员更加普及。


微信截图_20241107103933


此次合作将Hugging Face的LeRobot开源框架与NVIDIA的AI和机器人技术相结合,共同创建了一个生态系统,使开发者能够相互访问和构建彼此的工作。此举可能会加速制造业、医疗保健和物流自动化等领域的进步。


NVIDIA的核心公告之一是Project GR00T,这是一个专注于人形机器人开发的计划。该项目推出了六个专业工作流,涵盖从环境生成到机器人控制和感知的各个方面。这些工具有助于开发者解决复杂问题,例如教机器人行走、操作物体以及自然地与周围环境互动。




Hugging Face的LeRobot框架旨在将像Transformers和Diffusers这样的流行AI库范式扩展到机器人领域,并将与NVIDIA的Isaac Lab和Jetson平台集成。这将使开发者能够共享和利用模型和数据集,以改进机器人的训练、策略开发和部署。


与可以从互联网文本中学习的语言模型不同,机器人需要物理交互数据,而这种数据更难大规模收集。NVIDIA的Isaac Lab框架通过允许开发者在模拟环境中训练机器人,然后再将其部署到现实世界中,从而解决了这一问题。


此外,NVIDIA还推出了新的工具,帮助开发者构建世界模型——即预测机器人行为响应的环境AI表示。Cosmos tokenizer在处理视觉数据时比当前解决方案快12倍,同时保持了高图像质量。而NeMo Curator工具则将视频处理速度提高了7倍,使开发者更容易使用真实世界数据来训练机器人。




目前,包括Boston Dynamics、Agility Robotics和1X Technologies在内的多家领先机器人公司已经开始采用这些新工具。1X Technologies的AI副总裁Eric Jang强调了这些工具的好处:“NVIDIA的Cosmos tokenizer实现了我们数据的高时间和空间压缩,同时保持了视觉保真度。”

文章来源:https://www.maginative.com/article/nvidia-and-hugging-face-team-up-to-democratize-robot-development/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
热门职位
Maluuba
20000~40000/月
Cisco
25000~30000/月 深圳市
PilotAILabs
30000~60000/年 深圳市
写评论取消
回复取消