您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
优化人工智能模型的工具——Auptimizer
2019年11月11日 由 TGS 发表
882650
0
近年来，尽管像Databricks的AutoML工具包、Salesforce的transfogrfai和IBM的Watson Studio AutoAI等开源工具层出不穷，但大规模地调整机器学习算法仍是一个挑战。寻找正确超参数（算法中的变量有助于控制整个模型的性能）的工作通常极为耗时，如：作业调度、跟踪数据等。这就是LG高级人工智能部门的科学家开发Auptimizer的原因，Auptimizer是一个开源的超参数优化框架，旨在帮助人工智能模型的调整和记账。它可以从GitHub上获得。LG团队在一篇介绍Auptimizer的论文中写道：Auptimizer简化了配置各种大量模型的过程，并具有可重现性。它与所有超参数算法一样，能够在为超参数赋值之前初始化搜索空间和配置，然后训练目标模型并更新结果。最终重复命题、训练和更新阶段，直到确定最优值。
Auptimizer采用基于梯度的架构搜索，其中基于AI模型的控制器能够生成“子模型”字符串，这些“子模型”的架构由字符串变量指定。该控制器利用被训练的子模型的精度作为一种信号，逐步地为具有更高精度的结构分配更高的概率，从而提高其搜索能力。
Auptimizer只需要几行代码，就可以帮助用户逐步完成与实验相关的配置设置，并且支持在不同的超参数算法和计算资源之间进行切换，不需要用户重写训练脚本。此外，它的设计可以平滑扩展到其他算法和资源，不需要进行过大的修改。一旦定义并初始化了实验，Auptimizer就会不断地检查可用资源和超参数数据，并运行作业来确定最佳模型。工作负载完成后，它会启动一个异步记录和保存结果的函数，自动执行映射，并将超参数值保存到文件中，以便可以将这些数据恢复到特定作业中使用。
用户可以指定实验配置中使用的资源，包括：处理器、图形芯片等，它与现有的资源管理工具兼容，并能够在数据库中跟踪可用的资源和作业。另外，它还有一个能可视化历史结果的基本工具。
该团队表示，未来的Auptimizer将支持边缘设备的端到端模型构建，包括模型压缩和神经结构搜索。他们在论文中写道：“Auptimizer不仅为高效开发新算法提供了一个通用的平台。更重要的是，它降低了数据科学家在实践中对超参数进行优化的难度。Auptimizer的可扩展性，能够帮助用户在所有可用的计算资源下高效地训练模型，这使得从业者能够相对轻松地，用高级算法快速探索自己的想法。”
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
上一篇
AI和机器学习的多领域前景
广告
广告
写评论取消
回复取消