去年在拉斯维加斯召开的re:Invent 2018上，亚马逊推出了SageMaker Neo，使开发人员能够训练机器学习模型并将其部署到任何地方，无论是云端还是在本地。但它仅限AWS客户使用，Neo严格来说是一个封闭源，但现在情况有了新变化。

亚马逊宣布它将以Neo-AI的形式发布Apache软件许可下的Neo底层代码，并在GitHub上的一个存储库中免费提供。该公司表示，这一举措将有助于第三方处理器供应商和设备制造商到深度学习实践者，在各种硬件平台上引入新的、独立的创新。

AWS深度学习高级产品经理Sukwon Kim和工程负责人Vin Sharma表示，“通常，为多个硬件平台优化机器学习模型很困难，因为开发人员需要为每个平台的硬件和软件配置手动调整模型。这对于边缘设备而言，尤其具有挑战性，边缘设备往往受到计算能力和存储的限制。 而Neo-AI消除了在多个平台上部署机器学习模型所需的时间和精力。”

除了来自英特尔，Nvidia和Arm的辅助平台之外，Neo-AI与一系列机器学习框架相得益彰，包括谷歌的TensorFlow，MXNet，Facebook的PyTorch，ONNX和XGBoost（Xilinx，Cadence和Qualcomm项目即将获得支持）。

而且优化模型以原始的两倍速度执行且精度无损失，它还可以将模型转换为一种通用格式，不需要确保给定目标设备上的软件符合模型的精确要求。

那怎么办呢？通过使用自定义机器学习编译器和运行时，亚马逊声称这是基于对传统编译器技术的“几十年”研究 - 包括华盛顿大学的TVM和Treelite。西雅图公司本着合作的精神表示，Neo-AI项目将主要由Arm，Intel，Qualcomm，Xilinx，Cadence等公司提供支持。

那么它是如何做到这一切的呢？

通过使用定制的机器学习编译器和运行时，亚马逊声称这是基于包括华盛顿大学的TVM和Treelite在内的传统编译器技术的数十年研究。本着合作精神，Neo-AI项目将主要由Arm、英特尔、高通、Xilinx、Cadence等公司的提供支持。

亚马逊表示，处理器供应商可以将自定义代码集成到编译器中，以提高模型性能，而设备制造商可以为特定的软件和硬件配置自定义Neo-AI运行时。运行时已部署在凌华科技，联想，Leopard Imaging，松下等公司的设备上。

英特尔人工智能产品部总经理Naveen Rao谈到这个项目时表示，“为了从AI中获取价值，我们必须确保深度学习模型可以像在边缘设备上一样，轻松地部署到数据中心和云中。英特尔很高兴通过对Neo-AI的贡献，扩大与nGraph的合作。使用Neo，设备制造商和系统供应商可以为基于英特尔计算平台的平台上的框架开发的模型获得更好的性能。”

开源：
github.com/neo-ai