Databricks为模型构建和部署启动了automl工具包
2019年08月30日 由 TGS 发表
505477
0
Databricks今天推出了AutoML Toolkit,这是一种自动化的端到端机器学习服务,旨在为具有丰富经验的开发人员提供服务。
AutoML工具包可以从Databricks实验室获得,它能自动执行超参数调优、批量预测和模型搜索等操作,还实用于Apache Spark——一个由Databricks创始人创建,并于2014年移交给Apache Spark软件基金会的开放源码项目。
AutoML Toolkit是基于现有的Databricks工具构建的,如MLflow。MLflow是一个与TensorFlow和AmazonSagemaker等框架集成的开源机器学习平台。AutoML工具包的执行,使用的就是MLflow自动跟踪。
“AutoML工具包与其他AutoML解决方案的不同之处在于,它允许具有不同专业水平的数据科学家和工程师一起工作。”——项目管理部门的Databricks负责人,以前在谷歌的TensorFlow和Kubeflow项目团队工作过的Clemens Mewald在电话采访中,这样告诉VentureBeat。
“有时有些人非常熟悉底层代码,希望能完全访问,而同一团队中的另一个人可能对代码不太熟悉,或者对基于UI的解决方案不太满意。因此,我们在AutoML领域提供的不同层次的解决方案解决了许多不同专业水平的需求。”他说,“因为它们都在同一个技术栈上,所以如果您愿意,您可以在它们之间移动。因此,您基本上可以从抽象的最高级别开始,而不必编写任何代码。一旦你完成了任务,需要更多的灵活性,你就可以向下一层,获得更多你可能需要的东西。”
在2017年引入Google的AutoML后开始,自动化机器学习模型的创建和部署越来越受欢迎。从那时起,像Azure这样的公共云领导者便引入了自动化机器学习的服务。由于之前的合作关系,Databricks的AutoML集成了Azure机器学习,在最近的几个月里,Databricks更是进行了一系列举措来支持其AutoML产品。今年2月,Databricks在Andreessen Horowitz、微软和NEA的资助下,为其数据和人工智能平台筹集了2.5亿美元。
4月,Databricks开源Delta Delta。——这是一个为创建支持可靠机器学习项目的数据湖而开展的协作计划。
6月,Databricks Runtime 5.4 ML的1.1发布,Databricks通过Hyperopt集成,实现了自动超参数优化。
这些举措步步为营,层层递进,为Databricks日后的新技术开发打下了坚实的基础。或许,在未来的某一天,在人类飞速发展的科技史上,会有浓墨重彩的一笔,属于Databricks。