“客户想要应用的任何配置或技术都应该能够轻松地施用，无需任何程序员的参与。这就是我们的目标，也是我们与众不同之处。”Junghwan Lim表示。

自从AMD宣布其MI300X以及ROCm的软件更新以来，它在AI市场的崛起一直在加速。公司已经与多个AI公司建立合作关系，以测试和交付其产品。这其中有一家公司引领我们了解到了位于韩国的Moreh。

AMD GPU早期的一个问题是其软件栈并不完善，但现在公司有了ROCm，这是CUDA的替代方案。然而，它仍然不适合大型GPU集群。“我们的软件使人们能够无需任何额外代码就可使用AMD GPU，他们就可以运行自己的或更大型的语言模型而无需进一步的工程。”Moreh的AI团队负责人Junghwan Lim在一次专访中告诉AIM。

Junghwan Lim曾在PUBG公司担任数据科学家，并在韩国三星（Samsung）工作过。目前，Junghwan Lim专注于在Moreh开发更好的AI工作负载软件，并使语言模型更小，提高效率。

摩尔（Moreh）的旗舰AI软件，即MoAI，定位类似于英伟达（NVIDIA）的CUDA，但它兼容现有的机器学习框架，如Meta的PyTorch、谷歌的TensorFlow，甚至OpenAI的Triton。现在，这家公司正在帮助AMD提升其ROCm性能。

去年8月，Moreh宣布它已经利用AMD MI250进行了很长时间的使用，并且它的性能超过了NVIDIA。据Moreh称，当MoAI平台驱动AMD的MI250 Instinct加速器时，其GPU吞吐量比NVIDIA的A100高出116%。

“我们已经使用了400多个MI250 GPU以及一些MI300X来训练AI模型，”Junghwan Lim说。该公司还计划未来从AMD那里购买更多的MI300X。

“如果有人想要使用AMD GPU，他们可以毫无代码地来到我们这里，只需使用我们的软件就可以在它们上面运行，”Junghwan Lim说。这在某种程度上类似于Lamini与AMD的合作，但Junghwan Lim表示，代码要求上仍有区别，因为公司也可以使用他们现有的GPU运行模型。

Moreh成功的关键在于其软件建立在AMD GPU基础设施之上，展示了在AI模型开发方面超越NVIDIA GPU的性能。MoAI平台是一个全面的软件产品，它不依赖于特定的硬件供应商，并支持各种设备后端，包括AMD GPU。

“客户希望应用的每个配置或技术都应能轻松实施，无需程序员参与。这正是我们的目标，也是我们不同于他人之处。”Junghwan Lim说。

“如果你在一千个GPU上构建AI模型，可能会遇到诸如硬件或软件问题导致的GPU故障等问题，”Junghwan Lim解释道。 “训练突然停止，有时要花费几个小时甚至几天才能重新开始。”他解释说，Moreh还在研发软件并设计技术来减少这一问题，方法是将计算机并行化至不同片段。

大型语言模型的胜利

Moreh还完成了其自己的韩语LLM的训练，该模型由2210亿个参数构成，希望使未来的模型开源。

“我们正在开发类似于GPT或Gemini的东西，但它将是开源的。”Junghwan Lim表示，目前的模型太大，无法开源，因此Moreh也计划很快发布更小的模型。 “我们的模型将包括代码、权重、推理代码以及其他一切。”Junghwan Lim强调了近期开源模型的趋势，这些模型或多或少都带有一些限制。

去年10月，AMD和韩国电信（KT）在Moreh的B轮融资中投资了2200万美元，使这家初创公司的估值达到了3000万美元。公司还预计到2023年底其收入将达到3000万美元。

KT还购买了世界上最大的AMD GPU集群之一，并且正在使用它们构建AI模型。“我们在支持KT的所有这些集群和云系统，”Junghwan Lim说。KT开始专注于GPU云服务供应商业务，也提供语言模型API，但这些API只关注韩语，而非英语。

KT自2021年以来一直在与Moreh合作，声称Moreh的技术在速度和GPU内存容量方面已经显示出优于NVIDIA的DGX的卓越性能。

“人们认为AMD GPU不太适合机器学习，但公司一直在不断地证明他们错误，”Junghwan Lim总结道。