-
國產(chǎn)算力訓練,華為宣布開源盤古7B稠密和72B混合專家模型
-
呂棟lvdong@guancha.cn
(文/觀察者網(wǎng) 呂棟 編輯/張廣凱)
6月30日早上,華為正式宣布開源盤古70億參數(shù)的稠密模型、盤古Pro MoE 720億參數(shù)的混合專家模型和基于昇騰的模型推理技術。
華為表示,此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關鍵舉措,推動大模型技術的研究與創(chuàng)新發(fā)展,加速推進人工智能在千行百業(yè)的應用與價值創(chuàng)造。
根據(jù)公告,盤古Pro MoE 72B模型權重、基礎推理代碼,已正式上線開源平臺?;跁N騰的超大規(guī)模MoE模型推理代碼,已正式上線開源平臺。盤古7B相關模型權重與推理代碼將于近期上線開源平臺。
5月底,華為曾披露,盤古Pro MoE大模型,在參數(shù)量僅為720億,激活160億參數(shù)量的情況下,通過動態(tài)激活專家網(wǎng)絡的創(chuàng)新設計,實現(xiàn)了以小打大的優(yōu)異性能,甚至可以媲美千億級模型的性能表現(xiàn)。在業(yè)界權威大模型榜單SuperCLUE最新公布的2025年5月排行榜上,位居千億參數(shù)量以內(nèi)大模型排行并列國內(nèi)第一。
“盤古72B是兼顧性能與推理成本的黃金尺寸,最適合行業(yè)用戶用AI改造業(yè)務?!比A為專家曾表示。
隨后在6月,有華為技術專家告訴觀察者網(wǎng),華為初步計劃會向外開源,首先是盤古72B MoE模型是最有可能開源的模型。其次是小模型,有可能會給高校開源。
“我們以前很少對外發(fā)聲,盤古也沒有開源,所以大家對昇騰算力具體的情況不是特別了解,對模型的情況也不了解,外界就充滿了猜疑。甚至認為昇騰訓練不出來先進的大模型。昇騰算力能夠訓練出世界一流的大模型,訓練高效率,推理高性能,系統(tǒng)高可用。第三方模型遷移到昇騰上可以做到:Day0遷移,一鍵部署?!彼f道。
除了前述兩款模型,華為近期還推出了參數(shù)規(guī)模達7180億新模型——盤古Ultra MoE,全流程在昇騰AI計算平臺上訓練。華為同時發(fā)布盤古Ultra MoE模型架構和訓練方法的技術報告,披露眾多技術細節(jié)。
“生態(tài)方面我們還需要努力。我們技術上會持續(xù)改進,昇騰的生態(tài)也在逐步完善,也包括對業(yè)界主流生態(tài)的兼容,全力支持好客戶的發(fā)展,昇騰未來一定會越來越好。”前述技術專家對觀察者網(wǎng)表示。
當時他透露,華為盤古718B Ultra MoE萬卡集群預訓練MFU(模型算力利用率)達到41%,實驗室已達到45%;CloudMatrix384超節(jié)點訓練MoE大模型,MFU超過50%。
“昇騰超節(jié)點的是全對等高速互聯(lián)的架構,基于系統(tǒng)工程的方法,對計算、內(nèi)存、通信的極致優(yōu)化調(diào)度,并結合昇騰特點的親和設計和數(shù)學算法創(chuàng)新,實現(xiàn)了超級并行,后續(xù)歐拉操作系統(tǒng)的優(yōu)化升級支持各種資源的池化管理與調(diào)度,實現(xiàn)業(yè)務驅(qū)動的系統(tǒng)最佳匹配,訓練效率、推理性能還能再上一個臺階。”這位專家表示。
近期在華為開發(fā)者大會(HDC 2025)上,華為云還發(fā)布了盤古大模型5.5,對自然語言處理(NLP)、計算機視覺(CV)、多模態(tài)、預測、科學計算五大基礎模型進行升級。同時,基于CloudMatrix 384超節(jié)點的新一代昇騰AI云服務全面上線。
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權,不得轉(zhuǎn)載。
- 責任編輯: 呂棟 
-
德國要求下架DeepSeek;英偉達聘中國AI專家;小米回應YU7剎車片起火
2025-06-30 09:08 觀網(wǎng)財經(jīng)-科創(chuàng) -
?OpenAI最新點名的中國競爭對手,不是DeepSeek
2025-06-29 18:21 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
黃仁勛親自招募兩位AI專家加入英偉達,本科均畢業(yè)于清華
2025-06-29 17:22 觀網(wǎng)財經(jīng)-科創(chuàng) -
??低暎杭幽么笳疅o端指控,罔顧事實
2025-06-29 15:59 觀網(wǎng)財經(jīng)-科創(chuàng) -
快手大模型加持:AI版《愛,死亡,機器人》上線
2025-06-29 15:37 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
中國稀土集團聲明:各項工作未因相關人員變動受到影響
2025-06-29 13:23 大公司 -
if椰子水母企招股超購2220倍,中簽率創(chuàng)近年新低
2025-06-27 21:27 觀網(wǎng)財經(jīng)-消費 -
招商蛇口全面取消區(qū)域公司,大型房企組織架構“扁平化”成趨勢
2025-06-27 19:52 觀網(wǎng)財經(jīng)-房產(chǎn) -
集資詐騙244億!“山海集團”周志峰被判無期
2025-06-27 19:34 依法治國 -
國產(chǎn)芯片迎來資本“及時雨”
2025-06-27 18:50 觀網(wǎng)財經(jīng)-科創(chuàng) -
鴻蒙的世界里,沒有旁觀者
2025-06-27 18:20 觀網(wǎng)財經(jīng)-科創(chuàng) -
騰訊混元開源首款混合推理MoE模型
2025-06-27 18:12 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
特朗普集團悄悄撤下“美國制造”手機承諾
2025-06-27 17:06 觀網(wǎng)財經(jīng)-科創(chuàng) -
小米回應“前總監(jiān)大瓜”和貓王音響創(chuàng)始人爭議言論
2025-06-27 16:35 觀網(wǎng)財經(jīng)-科創(chuàng) -
每晚7000仍不盈利,高端月子中心圣貝拉的困境與野心
2025-06-27 16:35 觀網(wǎng)財經(jīng)-消費 -
高度依賴“山茶花精華油”的林清軒,或?qū)⑼瞥鲂缕放啤叭A嫆莊”
2025-06-27 16:21 觀網(wǎng)財經(jīng)-消費 -
飛天茅臺一度跌破1800元盈虧線,白酒調(diào)整遠未筑底?
2025-06-27 15:51 觀網(wǎng)財經(jīng)-消費 -
京東回應“試點全職騎手幫扔垃圾”:無強制,仍在早期討論階段
2025-06-27 14:02 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
美團王莆中:中國已是全球服務消費最便利國家,線上化潛力巨大
2025-06-27 13:03 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
5元咖啡霸主加速擴張,幸運咖全國門店數(shù)突破6000家
2025-06-27 13:03 觀網(wǎng)財經(jīng)-消費
相關推薦 -
-
美國放風:伊朗有動作了 評論 7靠萬斯“決勝一票”,“大而美”法案驚險闖關參議院 評論 149電氣化已落后亞洲,“大而美”法案或令美國雪上加霜 評論 71為什么這支國足被普遍看好? 評論 94被批評“過于親近中國”,澳總理這樣回應 評論 83最新聞 Hot
-
好一個“舉賢不避親”,特朗普推薦兒媳參選
-
開庭前妻子墜樓身亡,柯文哲前副手痛哭:臺灣怎么變成這樣
-
美國放風:伊朗有動作了
-
“中方正考慮邀請李在明出席”
-
“中國洋垃圾禁令震動全球”,馬來西亞也跟了
-
靠萬斯“決勝一票”,“大而美”法案驚險闖關參議院
-
白宮官員:沒人在乎馬斯克說了什么
-
日澳印各懷心事,魯比奧還想著中國:別談了,得干實事,搞礦!
-
三年來首次,普京與馬克龍通話
-
“我會給日本寫信感謝他們,給他們加關稅”
-
特朗普:奧巴馬糟糕小布什低分,拜登史上最差,而我…
-
美財長:中國加快稀土出口吧,回到過去
-
“《新華字典》例句稱小孩是累贅”再引爭議,多方回應
-
英國樂隊在音樂節(jié)上高喊“以軍去死”,英美都“炸”了
-
多地宣布“解禁”中華田園犬
-
內(nèi)塔尼亞胡證實下周訪美,除了特朗普還要見他們
-