您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
国产GPU与AI平台携手突破：摩尔线程与无问芯穹成功实训3B大模型
2024年05月27日 由 neo 发表
217
0
摩尔线程与无问芯穹今日联合宣布，双方基于国产全功能GPU千卡集群成功完成了3B规模的大模型“MT-infini-3B”实训。这一里程碑式的成果标志着国产GPU在大模型训练领域的实力得到了充分验证，并开启了国产GPU与AI大模型深度合作的新篇章。
据了解，此次实训采用了摩尔线程自主研发的国产全功能GPU MTT S4000组成的千卡集群，并依托于无问芯穹的AIStudio PaaS平台。经过13.2天的连续稳定训练，集群训练稳定性高达100%，且千卡训练与单机相比扩展效率超过90%。这一成果不仅验证了夸娥千卡智算集群在大模型训练场景下的可靠性，也为国产大语言模型与国产GPU千卡智算集群的深度融合树立了典范。
此次实训的MT-infini-3B模型性能在同规模模型中表现出色，与国际主流硬件上训练而成的其他模型相比，在C-Eval、MMLU、CMMLU等多个测试集上均实现了性能领先。这一成绩充分证明了国产GPU在AI大模型训练领域的强大实力。
无问芯穹联合创始人兼CEO夏立雪表示，无问芯穹正致力于打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，以实现多种大模型算法在多元芯片上的高效、统一部署。目前，无问芯穹已与摩尔线程达成深度战略合作，而“MT-infini-3B”这一训练成果正是双方合作下的首个端到端大模型实训案例，也是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训。
此次合作不仅为国产GPU与AI大模型的深度融合提供了有力支撑，也为国内AI产业的发展注入了新的活力。未来，随着国产GPU技术的不断成熟和应用场景的不断拓展，我们有理由相信国产GPU将在AI领域发挥更加重要的作用。
文章来源：https://www.ithome.com/0/770/917.htm
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消