英伟达并不是唯一一家为训练和推理制造AI加速器的公司，英特尔也在这一领域与其激烈竞争并取得卓越成果，他们推出了英特尔 Gaudi 2技术。

Databricks进行了新的研究，研究显示英特尔 Gaudi 2 与英伟达行业领先的AI 加速器相比具有强大的性能竞争力。Databricks的研究发现，在大型语言模型（LLM）推理方面，Gaudi 2在解码延迟上与英伟达 H100系统相当，并且性能超过了英伟达 A100。研究还发现，Gaudi 2推理在内存带宽利用率上高于H100和A100。

在其顶级加速器上，英伟达仍然提供更多的训练性能。使用Databricks的MosaicML LLM制造工厂进行训练，研究人员发现，Gaudi 2在单节点LLM训练性能上位居第二，仅次于英伟达 H100，性能超过260 TFLOPS/芯片。总体来看，Databricks的研究报告称，基于公共云定价，与A100和H100相比，Gaudi 2在训练和推理方面拥有最佳的性价比。

英特尔通过MLcommons MLPerf基准测试，自行提供了Gaudi 2在训练和推理方面的测试结果。Databricks提供的新数据为英特尔的Gaudi技术性能提供了第三方验证。

“我们对Gaudi 2的性能印象深刻，尤其是在大型语言模型推理方面取得的高利用率，”Databricks的首席NLP架构师Abhinav Venigalla说。“我们预期使用Gaudi 2的FP8支持，它在他们最新的软件发布中可用，由于时间限制，我们只能检查使用BF16的性能。”

Databricks的性能数字对英特尔来说也并不意外。英特尔公司下属Habana Labs的首席运营官Eitan Medina称，报告与英特尔测量的数据以及来自客户的反馈一致。

“得到我们所言的验证总是好事。”Medina说。“由于很多人都说Gaudi是英特尔最保守的秘密，因此公开这些出版物评审是很重要的，这样越来越多的客户才知道Gaudi是一个可行的替代方案。”

英特尔继续为Gaudi争取竞争优势

英特尔在2019年以20亿美元收购了AI芯片初创公司Habana Labs及其Gaudi技术，并在那之后不断改进这项技术。

供应商证明性能的方法之一就是行业标准基准测试。英伟达和英特尔都定期参与MLcommons MLPerf基准测试，这些测试针对训练和推理，并在一年里多次更新。在去年11月发布的最新MLPerf 3.1训练基准测试中，英伟达和英特尔都宣称创下了新的LLM训练速度纪录。几个月前的9月，MLPerf 3.1推理基准测试也发布了，展现了英伟达和英特尔都有强劲的竞争表现。

尽管像MLPerf和Databricks的报告这样的基准测试很有价值，Medina指出，许多客户依赖他们自己的测试来确保硬件和软件堆栈适用于特定模型和用例。

“软件堆栈的成熟度极其重要，因为人们对那些基准测试组织怀有疑虑，供应商可能在优化特定基准测试方面会不择手段。”他说。

据Medina所述，MLPerf有其位置，因为人们知道要提交结果，技术堆栈需要达到一定的成熟度水平。即便如此，他强调MLPerf结果不是客户做出商业决定时所依赖的。

“MLPerf结果在某种程度上是组织在投入时间测试之前所使用的成熟度过滤器。”Medina表示。

Gaudi 3将于2024年推出

在新的Gaudi 2数据发布之际，英特尔正准备在2024年推出Gaudi 3 AI加速器技术。

Gaudi 2采用了7纳米工艺，而Gaudi 3基于5纳米工艺，将提供4倍的处理能力和双倍的网络带宽。Medina表示，Gaudi 3将在2024年发布并投入大规模生产。

“Gaudi 3是一款产品，它接棒Gaudi 2并提供性能领先。”Medina说。“这实际上是性能上的巨大飞跃，这转化为了性能每美元和性能每瓦的优势。”

展望未来，在2025年以及更远的将来，英特尔正在研发将公司的高性能计算(HPC)和AI加速器技术融合的未来几代产品。英特尔也继续看到其CPU技术在AI推理工作负载中的价值。英特尔最近宣布了其第五代具有AI加速功能的至强处理器。

“CPU在推理中依然占据相当比例，甚至在CPU上进行微调也可能有优势。”Medina说。“CPU参与数据准备，当然，还和Gaudi加速器一起提供，用于那些对AI计算密集度极端的工作负载；因此，总体策略是提供一系列解决方案。”