机器人技术和人工智能（AI）领域的最新进展为远程操作提供了新的可能性，远程控制机器人在遥远的地方完成任务。例如，这可以允许用户从远处参观博物馆，在难以进入的空间中完成维护或技术任务，或者以更具互动性的方式远程参加活动。



大多数现有的远程操作系统都是为特定环境和使用特定机器人而设计的。这使得它们难以适用于不同的现实环境，极大地限制了它们的潜力。

NVIDIA和加州大学圣地亚哥分校的研究人员最近创建了AnyTeleop，这是一个基于计算机视觉的远程操作系统，可以适用于更广泛的场景。AnyTeleop是在arXiv上预先发表的一篇论文中介绍的，它可以实现对不同手动任务的远程操作，包括对各种机器人手臂和手的操作。

“ NVIDIA的一个主要目标是研究人类如何教机器人做任务” NVIDIA机器人研究实验室高级主任、华盛顿大学保罗·G.艾伦计算机科学与工程学院教授和华盛顿大学机器人与状态估计实验室负责人Dieter Fox说。

"之前的工作主要集中在人类如何远程操作或指导机器人，但这种方法有两个障碍。首先，训练一个先进的模型需要许多示范。其次，设置通常需要昂贵的设备或传感器硬件，并且仅针对特定的机器人或部署环境设计"Fox说道。

这项最新工作的关键目标是创建一个低成本、易于部署并且在不同任务、环境和机器人系统中具有良好泛化性能的远程操作系统。为了训练他们的系统，研究人员既在模拟环境中远程操作了虚拟机器人，也在物理环境中远程操作了真实机器人，因为这样可以减少购买和组装许多机器人的需求。

Fox解释说：“AnyTeleop是一个基于视觉的远程操作系统，允许人类使用手来控制灵巧的机器人手臂系统。该系统可以从单个或多个摄像机跟踪人类手势，并将其重定向到控制多指机器人手指。使用CUDA动力学规划器来控制机械臂运动。"

与过去研究中引入的大多数其他远程操作系统相比，AnyTeleop可以与不同的机械臂、机器人手、摄像头配置和不同的模拟或真实世界环境进行接口连接。此外，它可以应用于用户附近和远程位置的两种场景。

AnyTeleop平台还可以帮助收集人类示范数据（即代表人类在执行特定手动任务时进行的移动和动作的数据）。这些数据可以用来更好地训练机器人以自主完成不同的任务。

“AnyTeleop的主要突破在于其通用且易于部署的设计”Fox说道。“一个潜在的应用是在云中部署虚拟环境和虚拟机器人，允许边缘用户使用入门级计算机和摄像机（如iPhone或PC）来远程操作它们。这最终可能为研究人员和工业开发人员教授机器人新技能的数据管道带来革命性的变化。"

在初步测试中，AnyTeleop在应用于指定机器人时，甚至比专门为该机器人设计的现有远程操作系统表现更好。这突显了它作为增强远程操作应用的工具的价值。

NVIDIA将很快发布AnyTeleop系统的开源版本，使全球的研究团队可以测试并应用到他们的机器人中。未来，这个有前途的新平台可能有助于扩大远程操作系统的规模，同时也有助于收集机器人操纵器的培训数据。

“我们现在计划使用收集到的数据深入研究机器人学习”Fox补充道。"未来一个值得注意的重点是在将机器人模型从仿真转移到现实世界时如何克服领域差距。"

 

来源：https://techxplore.com/news/2023-08-visionbased-teleoperation-robots.html