尽管没有一个简单的测速仪能直接衡量生成式AI模型的速度，但其中一种主流的方法是通过测量模型每秒能够处理的令牌数量来评估。

近日，SambaNova Systems宣布在生成式AI性能领域达到了新的高峰，他们的Llama 3 8B参数指令模型成功实现了每秒惊人的1000个令牌的处理速度。此前，Llama 3的最快基准测试成绩由Groq保持，速度为每秒800个令牌。而这一每秒1000个令牌的里程碑已经得到了测试公司Artificial Analysis的独立验证。这一速度的提升对于企业而言有着多重影响，包括更快速的响应时间、更高的硬件利用率和更低的成本，可能带来显著的商业利益。

“我们见证了AI芯片竞赛的加速远超大多数人的预期，很高兴在独立的基准测试中验证了SambaNova的说法，这些测试侧重于现实世界的应用性能。”Artificial Analysis的联合创始人George Cameron告诉VentureBeat。“现在，AI开发人员有更多的硬件选择，这对那些对速度有严格要求的用例来说尤为激动人心，比如AI代理、需要低延迟响应和大量文档解析的消费者AI应用。”

SambaNova如何结合软硬件加速Llama 3和生成式AI

SambaNova是一家专注于企业级生成式AI的供应商，拥有强大的软硬件实力。

在硬件方面，公司开发了一种名为可重构数据流单元（RDU）的AI芯片。这种RDU与Nvidia的AI加速器类似，可用于模型的训练和推理。SambaNova特别关注于如何为企业工作负载和模型微调优化其RDU。该公司最新的芯片是SN40L，于2023年9月宣布。

在硅芯片之上，SambaNova还构建了自己的软件堆栈，其中包括Samba-1模型，该模型于2月28日首次发布。Samba-1是一个拥有1万亿参数的模型，也被称为Samba-CoE（专家组合）。这种方法让企业能够灵活地结合使用多个模型或单独使用，并根据企业数据进行模型的微调和训练。

对于每秒1000个令牌的速度，SambaNova实际上使用了其Samba-1 Turbo模型，这是一个专为测试提供的API版本。该公司计划在未来几周内将这一速度更新整合到面向企业的主流模型中。Cameron提醒说，Groq的每秒800个令牌的测量值是针对其公共API共享端点的，而SambaNova则是针对专用私有端点的。因此，他建议不应直接比较两者，因为它们并非完全相同。

“尽管如此，这仍然比我们基准测试中API提供商的中位输出令牌/秒速度高出8倍以上，并且远超在Nvidia H100s上可实现的典型输出令牌/秒速度。”Cameron表示。

可重构数据流架构实现迭代优化

SambaNova性能的关键在于其可重构数据流架构，这是公司RDU硅技术的核心。

可重构数据流架构使得SambaNova能够通过编译器映射来优化单个神经网络层和内核的资源分配。

“使用数据流，您可以不断改进这些模型的映射，因为它是完全可重构的，”SambaNova的CEO兼创始人Rodrigo Liang告诉VentureBeat。“因此，随着软件的进步，您不仅能在效率和性能上获得增量提升，而且能实现相当显著的提高。”

当Llama 3首次发布时，Liang的团队便运行了该模型，并在Samba-1上初步实现了每秒330个令牌的性能。Liang表示，经过过去几个月的一系列优化，这一速度已经翻了三倍，达到了目前的每秒1000个令牌的高点。Liang解释说，优化是一个在内核之间平衡资源分配、避免瓶颈并最大化整个神经网络管道吞吐量的过程。这也是SambaNova作为其软件堆栈的一部分，帮助企业优化自身微调工作的相同基本方法。

更快的速度与企业级的质量与定制

Liang强调，SambaNova使用16位精度来实现其速度里程碑，这为企业提供了所需的高质量水平。

他指出，降低到8位精度对于企业用户来说不是一个好的选择。

“对于我们的客户群体，我们一直提供16位精度，因为他们非常关注质量，我们希望确保最小化幻觉现象。”

速度对企业用户尤为重要，原因有多方面。随着组织越来越多地转向基于AI代理的工作流程，其中一个模型流入下一个模型，速度变得比以往任何时候都更加关键。同时，提高速度也带来了经济上的激励。

“我们生成的速度越快，机器就能被更多人使用”他表示。“因此，这最终是为了减少基础设施以降低成本。”