火星漫游车无法用智能手机来检查其基于GPS的位置。相反，机器人探险者必须拍摄周围景观的全景照片，以便地球上的人类能够将地面图像与从轨道飞行的太空船上方拍摄的火星卫星地图进行精心比较。

在火星任务首次触发后定位，使用仔细检查景观特征和进行图像比较的手动过程，最多可能需要24小时。更重要的是，它仍然需要至少30分钟来确认流动站在移动后的更新位置。但是，训练深度学习算法以执行必要的图像比较的新AI方法可以将定位过程减少到仅仅几秒钟。2018年美国宇航局前沿开发实验室活动期间，一队空间科学家和计算机科学家聚集在一起，为未来的太空任务开发潜在的前进道路。

“如果我们去更多的行星或另一个月球或小行星，我们的目标是能够利用它来在无GPS的环境中进行本地化，” 日本国家天文台的天体物理学家Benjamin Wu说道，他也是应对这一挑战的团队成员。

在6月25日至8月17日为期八周的研讨会期间，Wu和其他三位研究人员对如何训练深度学习算法以解决行星探测器的导航问题感到困惑。该研讨会由NASA边境开发实验室（FDL）组织，该实验室是由NASA和SETI研究所创建的AI研究加速器。开发实验室的目的是利用最新的AI技术来应对太空探索挑战。英特尔和谷歌等科技巨头为此次活动提供了额外的专家和资源，该活动在加利福尼亚州的NASA艾姆斯研究中心举行。

对于地球上的智能手机用户来说，导航问题可能看起来很奇怪，他们可以依靠来自轨道卫星的GPS信号几乎立即将他们的位置精确定位在几米之内。但是，没有类似的GPS卫星绕月球或火星运行，这意味着对这些目的地的机器人或人类任务必须依赖于一个与试图阅读地图并在视觉上注视周围景观的人不同的过程。

从一开始，Wu和他的同事就面临着寻找足够的月球表面数据来训练他们的深度学习算法的挑战。在数千甚至数百万个示例的训练中，深度学习在识别数据模式方面非常成功。但是之前的登月任务还没有产生足够的高分辨率地面图像来整合流动站定位任务的训练数据集。

Wu解释说，该团队最初希望使用过去月球轨道飞行任务所创造的月球高程地图，根据真实情况制作自己的虚拟月球。但考虑到FDL研讨会的时间紧迫，他们最终使用虚幻游戏引擎内置的现成月球模拟。团队模拟了月球地形特征，但与真实的月球景观并不完全匹配。



对重新投影的空中俯瞰图（左）进行了比较，该视图由四个表面图像组成，分别是北、南、东、西，在月球模拟程序中，月球表面的轨道自顶向下的视图（右）。

在训练过程中，团队从合成月球模拟中的特定月球表面位置拍摄了面向北，南，东和西的照片。然后将这四个图像组合并重新投影以创建一个粗略的自上而下的视图，类似于从上方的卫星视点，将240万个地面图像转换为大约600000个重新投影的图像。这为训练深度学习算法以识别某些合成月球表面特征，并将它们与月球模拟的轨道图上的位置相匹配奠定了基础。

最终的结果证明了AI助手如何能够帮助长期受苦的人类操纵者精确定位机器人漫游车的位置。一旦经过训练，深度学习算法通常会在前五次猜测中指出正确的位置，这使得人工验证的本地化任务更加容易。



在左边，从月球模拟表面拍摄的四幅地景相机图像被重新处理为一种从上到下的月球景观的空中再投影视图。在右边，一种深度学习算法使用卫星地图找到与空中投影视图相匹配的五个最佳候选位置。

“你将搜索空间减少到几十米而不是几公里，”Wu说。

在合成月球上训练AI助手而不是在准确反映真实月球表面的虚拟景观上训练可能听起来不太实际。但研究小组认为，即使没有经过再培训，深度学习算法在真实月球表面图像和轨道地图的挑战下仍能表现良好。

“我认为使用虚拟月球不会对最终解决方案造成太大影响，” FDL团队的计算机科学家成员，日本创业公司iSpace 的研究员Philippe Ludivig说，“基本上我们训练深度学习神经网络的做法是将地面上的源图像与卫星图像进行比较。”

下一步可能涉及从头开始专门为月球或火星景观检测任务训练深度神经网络。对于他们的概念验证演示，研究人员采取了一种捷径，修改了一个名为ResNet-50的深度神经网络，该神经网络已经在对常见的互联网图像进行分类时进行了预处理。



研究人员在数以万计的月球模拟图像上训练了现成的深度学习模型ResNet-50，这样它就可以学习根据月球表面的卫星图像来匹配重新投影的视图。

更大的一步可能涉及在来自行星体的真实图像上训练深度学习算法。Ludivig说，这项技术可能适用于美国宇航局任务调查火星表面的图像。但他警告说，过去的月球任务提供的低分辨率地面和轨道快照可能会带来更大的挑战。

尽管如此，缺乏高质量的月球图像并不能完全排除未来月球任务的AI辅助导航。一种方法可能涉及让漫游者拍摄周围景观的高分辨率图片，以便为月球表面的较小区域创建地图。

Ludivig表示，“在一天结束时，如果你的卫星图像分辨率不是很好，也许你可以用更高分辨率的地面图像弥补它。”