MissingLink简化AI数据管理,编码和模型训练流程

2018年09月26日 由 浅浅 发表 589964 0
MissingLink简化AI数据管理,编码和模型训练流程每天产生的数据量多到令人难以置信。IDC预测,到2025年总数将增长到5.2 ZB(zettabyte相当于2500亿张DVD。),并且它呈指数级增长,仅在过去两年中,产生了现有的90%的数据。

数据对于任何人来说都是很有帮助的,特别是数据科学家负责利用这些数据来训练,验证和测试机器学习系统。两年前,为了让事情变得简单,软件工程师Yosi Taguri与三位同事——Shay Erlichmen,Joe Salomon,and Rahav Lussato合作创办了Missinglink.ai。

“我们正处在一个令人难以置信的临界点,我们需要解决所有需要解决的重要问题,例如通过癌症检测来挽救生命,并在街道上提供更安全,更智能的驾驶,”Taguri说,“但是,通过所有数据来寻找其中的含义是很困难的,需要太多的人力。MissingLink允许每个工程师以前所未有的方式构建复杂的AI机器。”

为此,MissingLink.ai提供端到端管理和部署工具,简化编码和模型训练流程。它支持流行的机器学习框架,如Google的TensorFlow,Facebook的Caffe2,PyTorch和Keras,并立即同步数据更改,无需手动复制文件。至于系统自动委托给可用计算资源并并行运行的实验,它们只需要三行代码即可设置。

“我们正在摒弃许多笨拙的工作,以便他们可以专注于更大的问题,”Taguri说。

其套件的亮点之一是强大的数据管理引擎,Taguri称其为“version aware”。实质上,它映射数据库中的变化随着时间的推移,允许数据工程师针对特定版本运行查询以进行模型训练和比较。它还在本地流式传输数据并进行缓存,使用CPU在GPU上进行实验时进行复制。

Missing.AI的另一个标题是其可视化仪表板,它在列表视图中整理正在进行的实验,其中包含开始时间,运行每个测试的机器或云实例,总运行时间和进度以及其他有用的指标。实验完成后,结果包括源代码,可视化和资源,将自动记录给后代。

“深度学习需要花费很多,”Taguri说,“公司了解到这并不容易。他们基本上坚持做DevOps工作,比如移动数据,跟踪实验,并试图让机器和GPU正常运行。”

Taguri声称,其中一位客户的生产力提高了20倍。

MissingLink.ai提供包含1GB托管数据,一个托管资源和一个托管组织的免费计划。其最便宜的付费计划每月花费120美元,并将存储和管理资源限制分别提升至100GB和5GB。

Taguri表示,“我们牢记的一个核心原则是,我们不应该教育数据科学家如何进行深度学习,我们应该无缝地整合到他们的工作流程中。”
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消