世界今日讯!摩尔线程国产GPU重大里程碑!千卡集群完成30亿参数大模型实训
时间:2024-05-30 08:32:37来源:快科技

5月27日消息,摩尔线程、无问芯穹联合宣布,双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训,基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群,以及无问芯穹的AIStudio PaaS平台。

本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。

据悉,这次的MT-infini-3B模型训练总共用时13.2天,全程稳定无中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。

目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型,在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。

无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署,已与摩尔线程达成深度战略合作。

摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,夸娥千卡集群已与无穹Infini-AI顺利完成系统级融合适配,完成LLama2 700亿参数大模型的训练测试。

T-infini-3B的训练,则是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。

就在日前,基于摩尔线程的夸娥千卡集群,憨猴集团也成功完成了7B、34B、70B不同参数量级的大模型分布式训练,双方还达成战略合作。

经双方共同严苛测试,兼容适配程度高,训练效率达到预期,精度符合要求,整个训练过程持续稳定。

标签: 摩尔线程 国产GPU

生活指南
  • 今日看点:​岁末慰问送关怀 真情关爱暖人心——西平县应急管理局春节前夕慰问退休干部

    在新春佳节来临之际,为弘扬中华民族尊老、敬老、爱老的传统美德,关心

  • 视点!驻马店开发区关王庙卫生院组织召开党风廉政建设工作及医疗行风建设再部署会议

    为加强党风廉政建设及行风建设,纠正医药领域和医疗服务中不正之风,11

  • 西平四中优秀教师胡新萍 今日热讯

    迎着朝阳自我激励,一天努力;沐着晚霞自我反馈,一天无悔。胡新萍,西

  • 临商银行法律合规部总经理汲生好被查 最资讯

    中国网财经10月17日讯 昨日,据沂蒙清风微信公众号消息,临商银行

  • 商丘市汇佳学校中秋节、国庆节假期放假通知及安全提醒

    放假通知根据国务院办公厅通知精神,现将2023年中秋国庆节放假安排通知

  • 泌阳县残联开展“我们的节日·中秋节”慰问残疾人志愿服务活动 速读

    为弘扬和传承中华民族优秀传统文化,积极培育和践行社会主义核心价值观

  • 暑假游,长三角的游客们爱去哪里游?

    原标题:暑假游,爱去哪里游?■解放日报记者连俊翔实习生许涵毅今年暑

  • 2023年中国早稻总产量2833.7万吨 同比增长0.8%

    中新社北京8月23日电(记者 王恩博)中国国家统计局23日公布,根据10

  • 网上贷款实在无能力偿还了怎么办?

    可以和网贷平台取得联系协商还款的事宜。如果因为逾期的行为被起诉至法

  • 打造区域赛事品牌 创新引领创业筑梦

    8月21日,第十二届中国创新创业大赛(新疆赛区)暨第十届新疆创新创业

  • 中国汽研召开“汽车产业高质量发展研究中心”成立仪式

    8月19日,中国汽车工程研究院股份有限公司(以下简称“中国汽研”)在

  • 荔枝上火(荔枝上火吗)

    来为大家解答以上问题。荔枝上火,荔枝上火吗很多人还不知道,现在让我

  • 科技助力2023服贸会全方位升级 多举措优化参展和观展体验

    人民网北京8月21日电(记者任妍)8月21日,国新办就中国服务贸易发展和20

  • 保交付 稳信心 看碧桂园交付背后的责任与担当

    在房地产深度调整期内,“保交付”成为行业底线,作为行业其中一员的碧

  • 前7个月中国对其他金砖国家进出口同比增长19.1%

    中新社北京8月21日电(记者 李晓喻)中国海关总署21日发布的最新数据

  • 浪漫七夕,情定笔都!第二届“笔娘娘乞巧节”民俗节在南浔启幕

    新民晚报讯(记者唐闻宜通讯员宋豪亮)近日,第二届“笔娘娘乞巧节”民

  • 民生
    • 邓州市卫健委:推进疾控事业高质量发展-今亮点

    • 河南罗山:企业生产忙 项目建设酣 环球短讯

    • 环球滚动:内乡县大桥乡齐心协力点亮“平安法治星”

    • ​信阳市中心医院举办精准肝胆外科万里行(信阳站)学术会议-世界视点