随着机器人变得越来越重要，比如提供邮件，食物和指示，它们需要能够轻松地在室内环境中穿行。今年夏天，四名来自高中的NVIDIA实习生，CCCC团队（ForeSee）开发了一种强大，低成本的解决方案来应对这一挑战。

室内环境包括许多低成本距离相机或2D LiDAR无法检测到的危险。这包括网状栏杆，楼梯和玻璃墙。传统上，这个问题已经在3D LiDAR的帮助下解决了，它使用激光距离扫描来检测任何高度的地板中的障碍物和间隙。然而，即使是低端产品起价为8000美元，也限制了它们在大多数消费应用中的使用。

该团队没有添加更传统的传感器专用传感器，而是发现深度学习的进步使得单个通用传感器（相机）可以避免危险。

基本上，相机必须能够检测到它前面的可穿越平面，以标记安全和不安全的区域。这些区域可以是障碍物，如激光测距仪可以检测到的椅子或墙壁那样简单，也可以像楼梯，栏杆和玻璃墙等障碍物一样复杂。

为了使用单个摄像头探测复杂的障碍物，该团队使用ResNet-50 v2作为特征提取器训练DeepLab V3 神经网络架构，以在机器人前方的地面上划分自由空间（未被障碍物占据的空间）。这使得机器人能够穿越危险的环境，这在以前只有2D LiDAR是无法完成的。然后将检测到的危险区域送入自动导航系统，该系统在机器人移动时引导机器人。

谷歌的TensorFlow可视化工具TensorBoard用于可视化模型架构并监控NVIDIA Tesla V100 GPU上的网络培训。此工具能够查看在TensorFlow中初始化的每个节点并查看所有模型度量标准，在这种情况下可视化模型丢失。

[video width="1280" height="720" mp4="https://www.atyun.com/uploadfile/2018/08/segment.mp4"][/video]

实习生最终在一个模块上集成了价格合理的机器人开发平台，包括低成本2D LiDAR，普通网络摄像头和NVIDIA Jetson TX2超级计算机，运行机器人操作系统（ROS）来进行控制。TensorFlow深度神经网络在具有CUDA和cuDNN加速训练和执行的NVIDIA Tesla V100上进行了调整和训练。这些高性能工具允许在模型选择和超参数调整中快速迭代。

团队表示，“我们的工作突出了深度学习对于机器人技术的发展至关重要。”

代码：github.com/NVIDIA-Jetson/Foresee-Navigation