深度神经网络（DNN）已经证明是分析大量数据的非常有希望的工具，这可能加快各个科学领域的研究进程。例如，在过去几年中，一些计算机科学家已经训练了基于这些网络的模型以分析化学数据，并识别出适用于各种应用的有前途的化学物质。

麻省理工学院（MIT）的研究人员最近进行了一项研究，调查了训练用于生成有利化学组成并学习原子间势能的大型DNN基础模型的神经规模行为。他们在《自然机器智能》杂志上发表的论文展示了这些模型的性能随着模型规模和训练数据池的增加能有多快地提高。

“Kaplan等人的论文《神经语言模型的规模定律》是我们研究的主要灵感来源，”进行该研究的研究人员之一Nathan Frey告诉Tech Xplore。“那篇论文表明，增加神经网络的规模和它训练的数据量会导致模型训练有可预测的提升。我们想要看看‘神经规模’是如何应用到训练有化学数据的模型上的，比如用于药物发现的应用。”

Frey和他的同事从2021年开始着手这个研究项目，那时还没有发布著名的基于AI的平台ChatGPT和Dall-E 2。在那时，DNN的未来增长被认为特别关联一些领域，并且探索它们在物理学或生命科学中的规模扩张的研究还很稀少。

研究人员的研究探讨了针对化学数据分析的两种不同类型模型的神经规模扩张：一个大型语言模型（LLM）和一个基于图神经网络（GNN）的模型。这两种不同类型的模型可以分别用来生成化学组成和学习化学物质中不同原子之间的势能。

“我们研究了两种非常不同类型的模型：一个自回归式的、GPT风格的语言模型，我们称之为‘ChemGPT’，以及一系列GNN，”Frey解释说。“ChemGPT的训练方式与ChatGPT相同，但在我们的情况下ChemGPT试图预测代表分子的字符串中的下一个标记。GNN被训练用于预测分子的能量和力。”

为了探索ChemGPT模型和GNN的可扩展性，Frey和他的同事研究了模型的规模和用于训练的数据集的大小对各种相关度量的影响。这使他们能够推导出这些模型随着变大和接受更多数据改进的速率。

“我们确实发现了化学模型的‘神经规模行为'，让人想起了LLM和视觉模型在各种应用中看到的规模行为，”Frey说。

“我们还表明，我们并没有接近任何关于规模化化学模型的根本极限，所以还有很大的空间可以用更多的计算和更大的数据集进一步调查。将物理学融入GNN通过一个称为‘等变性’的属性，具有显著提高规模效率的效果，这是一个令人兴奋的结果，因为实际上很难找到能改变规模行为的算法。”

总的来说，这些研究人员收集的发现为两种类型的AI模型用于开展化学研究的潜力提供了新的见解，展示了随着它们被放大时它们的性能可以提高的程度。这项工作很快将为额外的研究提供信息，这些研究将探讨这些模型以及其他基于DNN技术在特定科学应用中的承诺和改进空间。

“自从我们的工作首次亮相以来，已经有令人兴奋的后续作品探索了化学模型规模化的能力和局限性，”Frey补充说。“更近期的，我还一直在研究用于蛋白质设计的生成模型，并思考规模如何影响生物数据模型。”