AI模型优化芯片开发商Groq获沙特阿拉伯15亿美元投资承诺

2025年02月13日 由 佚名 发表 79 0

Groq公司在周一宣布已获得沙特阿拉伯15亿美元的投资承诺,以扩大其在该国的人工智能芯片业务。

这笔交易是在公司筹集了来自三星电子有限公司、思科投资和其他支持者的6.4亿美元资金约六个月后达成的。该交易对Groq的估值为28亿美元。

去年,Groq宣布 了一项在沙特阿拉伯达曼建设AI数据中心的计划。该设施专为推理任务优化,即在神经网络训练后在生产中运行的任务。根据路透社的报道,本周宣布的15亿美元承诺将用于扩建数据中心。

该设施由Groq的旗舰LPU(语言处理单元)芯片提供动力。公司表示,其处理器的能效是图形处理单元的10倍。此外,Groq声称LPU更易于编程,这意味着在芯片上部署AI工作负载所需的时间和自定义代码更少。

英伟达公司的图形卡不仅可以运行大型语言模型,还可以处理一系列其他工作负载。相比之下,Groq的LPU专门针对LLM进行了优化,这是其高效的原因之一。当工程师设计专注于特定用途的芯片时,他们可以去除一些通用处理器(如GPU)附带的组件,从而降低电力消耗。

图形卡将AI处理任务分解为更简单的步骤。当芯片完成一个步骤时,用于完成计算的硬件资源可以立即重新分配给下一个计算。然而,实际上,重新分配硬件资源给工作负载的过程常常因技术问题而变慢。

Groq表示其LPU简化了这一过程。芯片具有一种机制,可以自动决定给定电路组应处理的数据片段、如何处理以及输出应发送到何处。Groq表示,这种安排使AI工作负载能够更好地利用其LPU的片上计算资源。

公司承诺提高效率的另一种方法是改进AI集群中芯片交换数据的方式。

LLM通常不在一个处理器上运行,而是在多个处理器上运行。为了协调它们的工作,这些处理器定期交换数据,这需要专用的网络芯片的帮助。Groq声称其LPU的设计减少了对外部网络组件的需求,从而降低了成本,并使由该芯片驱动的AI集群更易于编程。

公司将其LPU与内部开发的编译器一起提供。编译器将客户的AI模型转换为芯片更易于处理的格式。在此过程中,它优化这些模型以更好地利用底层硬件,这通常是开发人员需要手动执行的任务。

Groq将其芯片作为名为GroqRack的设备的一部分出售。该系统包括八台服务器,每台服务器又配备八个LPU。处理器通过内部开发的名为RealScale的互连连接在一起,承诺消除对外部交换机的需求。

一台GroqRack在处理FP16数据点时可以提供12千万亿次浮点运算性能,FP16数据点通常用于AI模型存储信息。一个千万亿次浮点运算等于每秒一百万亿次计算操作。

Groq还通过名为GroqCloud的云平台以托管方式提供其芯片。公司本周更新了平台,让客户可以在其新的达曼数据中心运行工作负载。

文章来源:https://siliconangle.com/2025/02/12/llm-optimized-chip-developer-groq-receives-1-5b-commitment-saudi-arabia/
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
评论 登录
写评论取消
回复取消