觀察員
-
DeepSeek“開源周”，連續(xù)掏出兩大核心武器
-
張廣凱13764468101
今天是DeepSeek“開源周”第二日，DeepSeek宣布開源DeepEP，第一個用于MoE模型訓練和推理的開源EP通信庫。
昨天，DeepSeek則開源了代碼庫Flash MLA，這是針對Hopper GPU優(yōu)化的高效MLA解碼內(nèi)核，針對可變長度序列作了優(yōu)化。
MoE（混合專家架構(gòu)）和MLA（多頭潛在注意力機制）被認為是DeepSeek以低成本實現(xiàn)杰出表現(xiàn)的核心原因。
簡單理解，MoE架構(gòu)是由多個專注于垂直技能的專家模型分工協(xié)作來實現(xiàn)最終輸出結(jié)果，訓練成本和推理成本更低。有消息稱，GPT-4就使用了MoE架構(gòu)，由8個220B模型組成。但MoE架構(gòu)的缺點之一是會增加通信成本。
DeepEP通信庫就是針對通信環(huán)節(jié)的優(yōu)化，其特點包括：高效、優(yōu)化的全員溝通；節(jié)點內(nèi)和節(jié)點間均支持 NVLink 和 RDMA；用于訓練和推理預填充的高吞吐量內(nèi)核；用于推理解碼的低延遲內(nèi)核；原生 FP8 調(diào)度支持；靈活的 GPU 資源控制，實現(xiàn)計算-通信重疊。
MLA則是讓模型預測更遠位置的token，從而增強語義理解能力。DeepSeek的Flash MLA專為英偉達Hopper GPU打造了高效MLA解碼內(nèi)核，特別針對變長序列進行了優(yōu)化。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責任編輯: 張廣凱
-
DeepSeek帶動英偉達在華訂單大增？
2025-02-25 11:11 觀網(wǎng)財經(jīng)-科創(chuàng) -
-
國產(chǎn)GPU廠商被曝考慮赴港IPO，擬募資3億美元
2025-02-25 10:12 觀網(wǎng)財經(jīng)-科創(chuàng) -
今日頭條2024年攔截不實信息超500萬條，處置不友善內(nèi)容3億條
2025-02-24 22:12 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
京東：外賣騎手五險一金的所有成本，全部由京東承擔
2025-02-24 18:39 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
蘋果推出超低配iPhone16e的原因找到了？
2025-02-24 18:26 手機 -
?公開指責字節(jié)旗下紅果短劇壟斷，愛奇藝因何焦慮？
2025-02-24 18:21 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
-
首款為原生鴻蒙而生的手機3月發(fā)布，騰訊回應余承東
2025-02-24 16:27 觀網(wǎng)財經(jīng)-科創(chuàng) -
喜茶海外首家LAB店落地紐約，美國門店已超20家
2025-02-24 16:15 觀網(wǎng)財經(jīng)-消費 -
工信部副部長熊繼軍：加快完善我國開源生態(tài)體系建設(shè)
2025-02-24 14:20 觀網(wǎng)財經(jīng)-科創(chuàng) -
超百億加碼+深度創(chuàng)新，SHEIN鏈深耕服裝產(chǎn)業(yè)升級
2025-02-24 13:47 -
事關(guān)AI，阿里宣布：將投3800億
2025-02-24 10:46 人工智能 -
全球開發(fā)者先鋒大會在上海開幕，有哪些看點？
2025-02-22 22:55 觀網(wǎng)財經(jīng)-科創(chuàng) -
黃仁勛首度回應DeepSeek沖擊
2025-02-22 20:49 人工智能 -
沈向洋談DeepSeek：開源和閉源不是對立的商業(yè)模式
2025-02-22 19:32 觀網(wǎng)財經(jīng)-科創(chuàng) -
元寶下載量僅次于DeepSeek！騰訊股價創(chuàng)近4年來新高
2025-02-22 18:27 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
道指跌超700點，中概股逆勢上漲
2025-02-22 11:41 -
全球折疊屏出貨罕見大跌18%：華為超三星成第一，榮耀聯(lián)想進前五
2025-02-21 21:58 觀網(wǎng)財經(jīng)-科創(chuàng) -
僅僅10年前，中國游客還在東京秋葉原搶馬桶蓋
2025-02-21 21:10 中國經(jīng)濟
相關(guān)推薦 -
-
最新聞 Hot
-
“美國已解除這項對華出口禁令”
-
“印軍將全面排查中國產(chǎn)零部件”
-
美國和盟友鬧掰？“本質(zhì)沒變，中國需高度警惕”
-
斯塔默不吱聲，英財相當場落淚，“哭崩”市場
-
家樂福CEO放話：對中國小包裹，要學特朗普征稅100%
-
莫迪表態(tài)：金磚是重要平臺
-
“還想阻撓大陸武統(tǒng)？美國太晚了”
-
受賄數(shù)額特別巨大，齊同生被提起公訴
-
“美國占一半，中國分四成，歐洲...”
-
李在明最新涉華表態(tài)
-
叫完“爸爸”又被白宮整活，北約秘書長：驚喜且有趣
-
私自留存涉密材料，宋立強被開黨籍
-
印度外長在美表態(tài)：要這么對中國
-
中國緊盯貿(mào)易協(xié)議，“若誰聯(lián)美抗中，必遭反制”
-
“美國人自豪感急劇下降，特別是民主黨人”
-
“富士康要求中國員工從印度撤離”
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
