您尚未登录账户
您的企业账号申请正在审核中
谷歌研究人员证明：更大的模型并不总是更好
谷歌研究院和约翰·霍普金斯大学的研究人员在周一发布的一项研究中，对人工智能（AI）模型在图像生成任务中的效率提出了新的见解。这些发现挑战了“越大越好”的普遍信念，对开发更高效的AI系统具有重要意义。
这项研究由研究人员Kangfu Mei和Zhengzhong Tu领导，重点关注潜在扩散模型（LDMs）的缩放属性和其采样效率。LDMs是一种用于从文本描述中生成高质量图像的AI模型。
为了研究模型大小与性能之间的关系，研究人员训练了一套包含12个文本到图像LDMs的模型，这些模型的参数数量各不相同，从3900万到惊人的50亿不等。然后，这些模型在各种任务上进行了评估，包括文本到图像生成、超分辨率和主题驱动合成。
令人惊讶的是，研究发现，在给定推理预算的情况下，较小的模型的表现可以超过较大的模型。换句话说，当计算资源有限时，更紧凑的模型可能比更大、更耗费资源的模型能够生成更高质量的图像。
研究人员还发现，较小模型的采样效率在各种扩散采样器和蒸馏模型中保持一致，蒸馏模型是原始模型的压缩版本。这表明较小模型的优势并不局限于特定的采样技术或模型压缩方法。
然而，该研究也指出，当计算约束放松时，较大的模型在生成精细细节方面仍然表现出色。这表明，尽管较小的模型可能更高效，但仍存在使用较大模型是合理的情况。
这项研究的意义深远，因为它为开发更高效的图像生成AI系统开辟了新的可能性。通过了解LDMs的缩放属性以及模型大小与性能之间的权衡，研究人员和开发人员可以创建在效率和质量之间取得平衡的AI模型。
这些发现与AI领域的近期趋势相吻合，其中像LLaMa和Falcon这样的小型语言模型在各种任务中的表现超过了它们的大型对手。推动构建开源、更小、更高效的模型的目的是使AI领域民主化，使开发人员能够在不需要大量计算资源的情况下，在自己的设备上构建自己的AI系统。
