Meta AI和三星的研究人员推出两种新的人工智能方法，即Prodigy和Resetting，用于学习率适应，改善了目前最先进的D-Adaptation方法的适应率。

现代机器学习在计算机视觉、自然语言处理和强化学习等领域中，很大程度上依赖优化来提供有效答案。快速收敛和高质量解决方案的难度很大程度上取决于选择的学习率。在具有许多代理和各自优化器的应用程序中，学习率调整变得更加困难。虽然一些经过手工调整的优化器性能良好，但这些方法通常需要专业技能并且费时费力。因此，近年来，“无参数”的自适应学习率方法，例如D-Adaptation方法，在无学习率优化中变得越来越受欢迎。



三星AI中心和Meta AI的研究团队对D-Adaptation方法进行了两个独特的改进，称为Prodigy和Resetting，以提高D-Adaptation方法的最坏情况下的非渐进收敛率，从而实现更快的收敛速度和更好的优化输出。

作者对原方法进行了两个新颖的改进，以改善D-Adaptation方法的最坏情况下的非渐进收敛率。通过调整自适应学习率方法，他们提升了算法的收敛速度和解质量性能。为了验证所提出的改进，他们建立了调整到解决方案距离常数D的任何方法的下限。他们进一步证明，对比于其他具有指数有界迭代增长的方法，增强的方法是最坏情况下最优的常数因子。随后进行了大量实验来展示增强的D-Adaptation方法可以快速调整学习率，从而实现更佳的收敛速度和优化结果。

该团队的创新策略在于调整D-Adaptation方法的误差项，采用类似Adagrad的步长。研究人员现在可以自信地迈出更大的步伐，同时保持主要的误差项不变，从而加快了改进方法的收敛速度。当步长中的分母增长过大时，算法会变慢。因此，他们另外添加了梯度旁边的权重作为防备。

研究人员在实证调查中使用所提出的技术解决了凸逻辑回归和其他严峻的学习挑战。在多个研究中，Prodigy显示出比任何已知方法更快的适应性；D-Adaptation与Resetting实现了与Prodigy相同的理论速度，同时使用了比Prodigy或D-Adaptation更简单的理论。此外，提出的方法通常优于D-Adaptation算法，并且可以实现与经过手工调整的Adam相当的测试准确性。

最近提出的两种方法超越了学习率适应的最先进的D-Adaptation方法。广泛的实验证据表明，加权D-Adaptation变体Prodigy比现有方法更具适应性。第二种方法D-Adaptation与Resetting能够以较简单的理论达到与Prodigy相同的速度。

 

来源：https://www.marktechpost.com/2023/06/25/researchers-from-meta-ai-and-samsung-introduce-two-new-ai-methods-prodigy-and-resetting-for-learning-rate-adaptation-that-improve-upon-the-adaptation-rate-of-the-state-of-the-art-d-adaptation-method/