NVIDIA的研究人员开发了一个基于深度学习的系统，可以教导机器人通过观察人类的行为来完成任务。该方法旨在加强人与机器人之间的沟通，同时进一步研究将使人们能够与机器人无缝工作。

“对于机器人在真实环境中执行实用的任务，将任务传达给机器人一定很容易，这包括期望的结果和任何关于实现该结果的最佳方法提示，”研究人员在他们的研究报告中指出，“通过演示，用户可以将任务传达给机器人，并提供如何最好地执行任务的线索。”

使用NVIDIA TITAN X GPU，研究人员训练了一系列神经网络来感知，程序生成和程序执行相关的职责。结果机器人能够从现实世界的单个演示中学习任务。



该方法如何工作：摄像机获取场景的实时视频，通过一对神经网络实时推断场景中对象的位置和关系。由此产生的知觉被送到另一个网络，将产生一个计划来解释重新创造这些知觉的方法。最后，执行网络读取计划并为机器人生成动作，同时考虑到当前现实的状态以确保不受外部干扰。

一旦机器人看到任务，它就会生成一个人类可读的重新执行任务必需的步骤描述。该描述允许用户在机器人上执行任务之前，快速识别和纠正机器人对人类演示的任何问题。

实现这种能力的关键是利用合成数据的力量来训练神经网络。目前训练神经网络的方法需要大量标记的训练数据，这也正是系统的瓶颈。通过合成数据生成，几乎可以无限制地生成几乎无限的有标记的训练数据。

这也是第一次在机器人上使用以图像为中心的域随机化方法。域随机化是一种产生大量多样性的合成数据的技术，然后让感知网络将真实世界的数据视为其训练数据的另一种变体。研究人员选择以图像为中心的方式处理数据，确保网络不依赖于摄像头或所处环境。

“我们所描述的感知网络适用于任何现实世界的物体，可以通过其3D边界长方体合理地近似估计，”研究人员表示。“尽管感知网络在训练过程中从未观察过真实图像，但在严重遮挡的情况下，它也可以可靠地检测真实图像中物体的边界长方体。”

该团队在几个彩色块和一辆玩具车上训练了物体探测器。系统学习了块的物理关系，即它们是堆叠在一起还是彼此相邻。

[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/05/Research-at-NVIDIA-Researchers-Help-Robots-Work-Alongside-Humans.mp4"][/video]

在上面的视频中，人类操作员向机器人显示一对栈的立方体。然后系统会推断出一个合适的程序，并将立方体以正确顺序放置。因为它在执行过程中考虑到了当前的世界状况，系统能够实时从改正错误。

研究人员将在本周在澳大利亚布里斯班举行的机器人与自动化国际会议（ICRA）上发表他们的研究论文。

该团队表示，他们将继续探索使用合成训练数据进行机器人操纵，将其方法扩展到其他场景。