加州大学伯克利分校的研究人员开发了一种可重复的、低成本且简洁的基准平台，用于评估机器人的学习方法，名为REPLAB。该研究得到了伯克利DeepDrive，海军研究办公室（ONR），谷歌，英伟达和亚马逊的支持。

基于机器学习的方法最近在机器人技术中开始流行，但由于各种实验室中使用的硬件设置存在重大差异，目前还没有简单的方法来比较这些方法，例如，在掌握研究时，从手臂或抓手的类型到制作抓手的材料都会影响抓握性能，所以即使你比以前的方法获得更好的抓握精度，也不清楚这是因为更好的控制还是更好的硬件。

近年来，越来越需要标准化测量和基准平台来评估机器人的机器学习方法。建立有效的基准有时可能具有挑战性，特别是对于机器人学习，加州大学伯克利分校开发的新基准平台为测试机器人对象操作方法提供了一种低成本且易于重现的解决方案。

机器学习的其他应用，如计算机视觉和自然语言处理，从数据集和基准测试中获益匪浅，REPLAB则为机器人学习研究社区提供此功能。

REPLAB平台

REPLAB包括机械臂，摄像头和工作空间，放置在70 x 40 x 60厘米的长方体空间内。该平台的建造成本约为2000美元，可在几个小时内完成组装。其紧凑和低成本的设计可以让更多的研究人员，甚至预算有限的研究人员，评估他们的框架和方法。

除了平台本身，研究人员还提出了一个抓取基准的模板，其中包括任务定义和评估协议，性能测量以及92000次抓取尝试的数据集。该基准的基线是通过对几种现有抓取方法的实施、评估和分析而建立的。

“Jayamaran表示，“因为我们拥有这个标准化的硬件平台，我们还能够共享一个开源软件包，其中包含各种机器人学习算法的实现，如果你构建自己的REPLAB，可以下载包含这些实现的Docker镜像，并在单元格上开箱即用。”

到目前为止，研究人员主要进行了评估，旨在验证REPLAB作为机器人学习中可重复研究平台的可行性，重点关注两个特定任务：抓取和三维点到达。换句话说，他们使用平台来实现和评估针对这些特定抓取任务的多种深度监督学习方法。研究结果表明，该平台将现有算法暴露给有些未充分研究的挑战，这些挑战对于在野外表现良好的机器人的开发至关重要，例如噪声驱动。

团队还验证了多个REPLAB单元的结果保持一致，这对于将基于REPLAB的算法实现和评估视为可重复的非常重要。REPLAB将促进机器人学习的一致和可重复的进度指标，降低机器学习等相关学科研究人员进入机器人领域的障碍，并鼓励研究人员共享代码和数据。

进一步开发共享

新平台很快就可以让更多的研究人员评估各种操作任务的方法。然而，与其他基准平台一样，为了取得成功，REPLAB的使用应该涉及到整个机器人学习研究社区。

“虽然我们在未来许多年都投入维护平台，但我们正在邀请社区的贡献，例如新的算法实施，数据集和基准以及开源平台。我们的愿景是，如果发布一种最先进的机器人学习算法，坐在世界任何地方的研究人员将能够在几天内下载，评估，迭代并改进实现。”

团队认为REPLAB通过做两件事来帮助加速研究：降低门槛，允许更多人参与最先进的研究，并通过代码共享实现这种快速迭代和改进。

在未来的工作中，加州大学伯克利分校的研究人员计划进一步开发他们的平台，增加完整的REPLAB细胞模拟器和算法以实现可靠的控制，同时应对新的操作挑战。他们还希望扩大官方的REPLAB github repo和docker镜像，包括实现更多最先进的算法。