埃隆·马斯克在 X 上宣布,Grok已经开始在“世界上最强大的 AI 训练集群”上接受训练,这个集群就是位于田纳西州孟菲斯的“孟菲斯超级集群”。
该集群拥有 10 万个采用液冷技术的 H100 GPU,运行在单个 RDMA 网络上,是目前世界上最强大的 AI 训练集群!
——埃隆·马斯克 (@elonmusk) 2024 年 7 月 22 日
据当地新闻机构 WREG 报道,这个超级集群位于孟菲斯的西南部,并且“将是该市历史上由新入驻市场的公司进行的最大资本投资”。然而,xAI 尚未与当地公用事业机构田纳西河流域管理局 (Tennessee Valley Authority) 签订合同,该机构要求为超过 100 兆瓦的项目提供电力。
英伟达H100遍地都是
尽管如此,马斯克进一步详细说明,该集群配备了 10 万个采用液冷技术的英伟达 H100 图形处理单元 (GPU),这些芯片是英伟达去年推出的,受到包括马斯克竞争对手OpenAI 在内的 AI 模型提供商的高度追捧。
马斯克还指出,该集群运行在单个 RDMA 网络上,即远程直接内存访问网络,思科公司指出,这是一种在计算节点之间提供更高效、更低延迟的数据传输方式,而不会给中央处理单元 (CPU) 带来负担。