首页 > 科技 >

从无到有!摩尔线程国产GPU千卡集群实现新成就点亮

发布时间:2024-05-27 22:12:51来源:网络转载
线程国产GPU千卡集群实现新成就点亮
摩尔线程与无问芯穹携手宣布,双方已成功完成基于国产全功能GPU千卡集群的3B规模大型模型MT-infini-3B的实训。此次实训以摩尔线程国产全功能GPUMTTS4000构建的千卡集群为基础,充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GP U千卡智算集群深度合作的新范式。

实训详情
MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。

国产大模型与国产芯片的协同发展
无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。”。

摩尔线程的技术实力
摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现 了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”。

未来展望
未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。

本文链接:http://www.diancheke.com/content-8-1312-1.html

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。