大型语言模型（LLM）最近一直处于人工智能进步的前沿，它们依赖大量的数据和计算能力。然而，研究表明，人工智能行业普遍认为的“更多数据和计算能力等于更多进步”的观点可能是误导性的。

尽管公司一直在积极收集数据来训练LLM，但收益递减定律表明，仅通过规模追求模型收益可能在经济上变得不可行。

Databricks的首席技术官Matei Zaharia在最近采访时表达了类似的观点，他说：“每当你的训练成本翻倍时，质量只提高大约1%或类似水平。”

“除了规模定律本身之外，还有一个事实是，我们已经将这些模型中的互联网上的所有数据都输入了。”他补充道。

Zaharia进一步解释说：“即使你重复并添加更多数据，也许你可以修改它并创建它的变体。但是，这并不清楚它是否会提供更多信息。”

他承认，虽然研究人员将继续努力使过程更高效并扩展到更高的水平，“但我们可能正在让一般的消费者功能达到极限”。

对扩展极限的不同看法

另一方面，微软首席技术官Kevin Scott认为，随着计算规模的增加，AI模型可以继续变得更加强大。他表示：“我们在通过增加计算规模使AI模型变得多么强大这方面，远未达到边际收益递减的点。”

然而，这一观点并未得到普遍认可。

Matei Zaharia、Gary Marcus和Yann LeCun都对这种方法的可持续性表示怀疑。他们质疑现有基础设施能否以足够快的速度扩展以支持越来越大的AI模型。

这种担忧并非仅仅是理论上的，而是基于现实的，比如2024年第一季度数据中心物理基础设施（DCPI）收入增长放缓。

这种放缓归因于旨在支持需要更多时间才能实现的AI工作负载加速计算基础设施的设计转变。

然而，与他们的盟友微软一样，OpenAI首席执行官Sam Altman之前也曾表示：“我们可以非常肯定地说，GPT 5将比GPT 4聪明得多。GPT 6将比GPT 5聪明得多。而且我们还没有接近这个曲线的顶峰。”

能源约束和数据中心挑战

相反，Meta的首席执行官马克·扎克伯格（Mark Zuckerberg）强调，能源约束是限制AI增长的最重要因素，因为数据中心消耗着大量的能源。

据估计，到2030年，数据中心的耗电量将达到848太瓦时（TWh），几乎是目前的460 TWh的两倍。为了更直观地理解这个数字，在2021年，拥有超过10亿人口的印度总共消耗了1443 TWh的电力。

扎克伯格还讨论了围绕AI呈指数级增长进行规划的挑战，他说：“当你面对一个指数曲线时，它会持续多久？”

他认为当前的AI指数级增长很可能会继续下去，这使得公司投入数十亿甚至数百亿美元来建设必要的基础设施变得值得。

然而，他也承认，该行业的任何人都无法确定无疑地说这种增长率会无限期地保持下去。

潜在解决方案与未来方向

尽管面临挑战，但仍有机会改进以维持这场生成式AI浪潮。Matei Zaharia认为，特定领域的AI应用仍有未开发的潜力。

他强调“大多数企业用例都是构建一个多步骤的事物”，他将其称为“复合AI系统”。构建这些系统是一项复杂的任务，“还有很多研究要做，比如如何最好地设计它”。

同样，Meta的AI主管Yann LeCun也谈到了“目标驱动型AI”架构，因为自回归LLMs的扩展正在产生递减的回报。

他表示：“正如我反复所说，为了下一次能力上的质的飞跃，将出现一种新的架构。”

沿着类似的思路，Databricks正专注于帮助人们在他们的GenAI应用中在其领域获得最佳质量。

这将通过构建包含多个组件的复合AI系统来实现，如调用不同的模型、检索相关数据、使用外部API和数据库，以及将问题分解为更小的步骤。

同时，Databricks也专注于开源模型。

随着AI行业应对收益递减定律，数据中心运营商、公用事业公司和政策制定者之间的合作将至关重要，以确保在满足AI不断增长的需求的同时，提供可靠和可持续的电力供应。

AI进步的未来在于寻找能够克服当前方法局限性的创新解决方案和架构。