谷歌为企业开源Kubeflow Pipelines;提供训练部署AI模型一站式服务的AI Hub
2018年11月09日 由 浅浅 发表
465396
0
Google Cloud今天宣布推出Kubeflow Pipelines,以促进企业内部的协作,并进一步实现AI的访问民主化。Kubeflow Pipelines免费提供,并且是开源的。
谷歌云产品管理高级总监Rajen Sheth表示,他同意估计世界上只有几千名机器学习工程师能够从概念到生产深入学习,但现在有数百万数据科学家和开发人员。
Kubeflow Pipelines旨在解决这一问题,为更多的数据科学家和开发人员提供支持,帮助企业克服成为AI的公司中面临的障碍。
“我们现在看到的最大问题之一是,公司现在正在努力建立数据科学家团队,但这是稀缺的资源,除非利用得好,否则就会被浪费,”Sheth说,“我们看到的一个观察结果是,在超过60%的案例中,模型现在从未部署到生产中。因此,我们正在构建一些有希望帮助解决这个问题的事情。”
Sheth说,Pipelines是一个可组合的层,所以机器学习之旅的不同部分可以像乐高积木一样拼在一起。
这种方法允许团队的不同成员执行标记数据,将数据转换为功能以及验证数据等操作。如果找到更好的模型或方法,它也可以用于测试多次迭代并替换模型或方法。
Sheth表示“他们可以交换新模型,保持Pipelines的其余部分,然后看'新模型是否有助于输出?' 因此,它能够使快速实验以更好的方式实现,我们正在使用Pipelines,它可以开始涉及开发人员,它可以开始涉及业务分析师,它可以开始让最终用户参与,以便他们可以成为这个团队的一部分,可以构建一个Pipelines。”
Kubeflow是谷歌今年早些时候发布的一个开源项目,用于使用Kubernetes容器进行机器学习。使用Kubernetes将使企业变得灵活,避免完全承诺使用云中的内部数据和框架或训练模型来训练AI。
Kubeflow Pipelines部分基于并利用来自TensorFlow Extended(TFX)的库,这些库在Google内部用于构建机器学习组件,然后允许各个内部团队的开发人员利用该工作并将其投入生产。
今天在alpha版本中推出的还有AI Hub,它建立在今年早些时候推出的机器学习模块TensorFlow Hub之上。AI Hub旨在为有兴趣训练或部署AI模型的人提供一站式服务。
除了提供训练外,AI Hub还将使用来自谷歌的资源,例如流行的TensorFlow嵌入和来自Kaggle的内容,随着时间的推移,谷歌希望AI Hub成为大型生态系统产生的流行模型的地方。
“我们最终希望AI Hub成为一个第三方也可以共享信息并随着时间的推移将其转变为市场的地方,”Sheth说,“我们发现,社区实际上可以解决许多客户的问题。”
AI Hub最初将向大约100个业务合作伙伴提供。与Kubeflow Pipelines一样,AI Hub也旨在教育员工,以消除公司内部团队之间的障碍,使他们能够使开发人员,数据科学家和ML工程师的工作更有价值。
AI识字是上个月在VB峰会上与谷歌和谷歌云等高级管理人员讨论的一个概念。“我认为真正的重大挑战是,为了成为AI的第一人,每个人都需要掌握AI,这就是从思考问题的产品经理到开发人员,到数据科学家,再到生产团队。一旦你拥有了它,你就可以开始将AI融入几乎任何业务问题,而这就是我们现在所处的位置。”
Sheth指出,“谷歌几乎所有产品现在都以有趣的方式使用AI,我们意识到它可以为我们解决越来越多的问题,我们希望这可以帮助培养其他公司的文化。”
Kubeflow Pipelines:github.com/kubeflow/pipelines