亚马逊改进平台SageMaker,更新内置算法和Git集成
2018年11月22日 由 浅浅 发表
279241
0
亚马逊一直在为其云计算子公司AWS添加AI功能。今天,亚马逊宣布了一系列对SageMaker的改进,SageMaker是用于构建,训练和部署机器学习模型的端到端平台。
“机器学习是一个高度协作的过程,将领域经验与技术技能相结合是成功的基石,通常需要多次迭代和不同数据集和功能的实验,”AWS学习与AI总经理Matt Wood博士表示,“训练一个成功的模型几乎从来就不是一劳永逸的,所以能够跟踪重要的决策,回放成功的部分,重视有效的部分,我们正在引入新功能,使这些迭代更易于管理,重复和共享。”
首先列出的是Sagemaker Search,它使AWS客户能够找到AI模型训练运行独特的组合数据集,算法和参数。它可以从SageMaker控制台访问。
另一个新功能是Step Functions,它跨多个服务协调完成机器学习工作流程所需的步骤。此外,还与Apache Airflow集成,Apache Airflow是一个用于创作,调度和监控工作流的开源框架。
Step Functions和Apache Flow将于下个月推出。
Wood博士写道,“使用Step Functions,你可以自动将数据集发布到Amazon S3,使用SageMaker训练数据的ML模型,并部署模型进行预测,它会监视SageMaker(和Glue)作业,直到它们成功或失败,并转换到工作流程的下一步或进行重试。它包括内置的错误处理,参数传递,状态管理和可视控制台,可让你在运行时监控ML工作流程。”
这些改进对于SageMaker与添加三个新的内置算法相吻合,即用于可疑IP地址(IP Insights),用于高维对象的低维嵌入(Object2Vec)和无监督分组(K-means聚类)。AWS为Horovod、Uber开源深度学习框架谷歌的Tensorflow提供了新的支持,以及软件机器学习库scikit-learn和MLeap。
整体升级还包括可视化和与版本控制系统Git的集成,这有助于跟踪和协调文件中的更改。现在,开发人员可以将GitHub,AWS CodeCommit或自托管Git存储库与SageMaker notebook连接,以便克隆公共和私有存储库,或使用IAM,LDAP和AWS Secrets Manager在Amazon SageMaker中存储存信息。
最后,在安全方面,SageMaker现在符合亚马逊的系统和组织控制(SOC)1级,2级和3级审核。
Wood博士表示,“这些新功能,算法和认证将有助于为更多开发人员带来更多的机器学习工作负载。通过几乎完全专注于客户的要求,我们正在通过亚马逊SageMaker在现实世界中使机器学习变得有用和可用方面取得了实际进展,在AI方面,认证,实验和自动化并不总是你能想到的第一件事,但我们的客户告诉我们,这些功能可以进一步缩短构建,训练和部署模型所需的时间。”