觀察員
-
Meta開源“記憶層”，重塑Transformer架構(gòu)大模型
最后更新: 2025-01-03 14:29:3711月3日凌晨三點，全球社交巨頭Meta分享了一個創(chuàng)新研究——Memory layers（記憶層）。
目前，Transformer架構(gòu)的預(yù)訓(xùn)練大模型在存儲、查詢數(shù)據(jù)時，隨著參數(shù)的變大對算力的需求呈指數(shù)級增長?！坝洃泴印眲t提出了新的高效查詢機(jī)制替代了傳統(tǒng)的查詢方法，通過比較查詢鍵與兩個較小集合中的鍵，可以快速找到最相關(guān)的鍵，而無需遍歷模型的整個記憶層。
換言之，可以在不增加算力的情況下顯著增加大模型的參數(shù)。在傳統(tǒng)的鍵值查找中，每個查詢都需要與記憶層中的每個鍵進(jìn)行比較，以找到最匹配的值。該方法在鍵的數(shù)量較少時是可行的，但隨著記憶層規(guī)模的增長，這種暴力搜索的方式變得非常低效，需要消耗巨大算力和時間。
Product - Key Lookup是“記憶層”的核心算法之一，使用了一種分而治之的策略，將傳統(tǒng)的單一鍵集合分解為兩個較小的鍵集合，通過兩個階段的查找來減少必要的比較次數(shù)，從而提高查找效率。
除了計算效率之外，Product-Key Lookup模塊還優(yōu)化了內(nèi)存和帶寬的使用。由于每個GPU只需要處理一半的鍵，因此內(nèi)存的使用量減少了一半。由于每個GPU只需要返回與自己處理的鍵相關(guān)的值，所以內(nèi)存帶寬的需求也得到了優(yōu)化。
Product-Key Lookup算法不僅提高了記憶層的查詢效率，還為記憶層的應(yīng)用開辟了新的可能性，使得記憶層可以被應(yīng)用于更大規(guī)模的數(shù)據(jù)集和更復(fù)雜的任務(wù)中，包括大規(guī)模知識圖譜的查詢、長文本的語義檢索等。
并行記憶層則主要是用于對硬件GPU的優(yōu)化。在傳統(tǒng)的Transformer架構(gòu)模型中，隨著模型規(guī)模的增加，計算和內(nèi)存需求也隨之增長。特別是在處理大規(guī)模數(shù)據(jù)集時，單一的計算單元很難滿足這種需求。并行記憶層通過在多個GPU之間分配任務(wù)，有效解決這一難題。在并行記憶層的設(shè)計中，每個計算單元只負(fù)責(zé)處理一部分?jǐn)?shù)據(jù)，這樣可以減少單個計算單元的負(fù)擔(dān)，同時提高整體的處理速度。
共享記憶參數(shù)則是另外一個重要優(yōu)化方法，允許不同層的記憶層共享同一個參數(shù)集合。這種設(shè)計的優(yōu)勢在于，它減少了模型的總參數(shù)數(shù)量，同時提高了參數(shù)的利用率。
為了應(yīng)對訓(xùn)練期間可能出現(xiàn)的變化，研究人員開發(fā)了一套動態(tài)調(diào)整策略。每當(dāng)有新的鍵加入或舊有的鍵被更新時，系統(tǒng)會自動調(diào)整相應(yīng)的子集，而無需對整個記憶池進(jìn)行全面改造。這樣的設(shè)計既簡化了維護(hù)流程，又提高了系統(tǒng)的靈活性和適應(yīng)性。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責(zé)任編輯: 朱道義
-
中國10年期國債收益率跌破1.6%
2025-01-03 10:05 金融觀察 -
茅臺原董事長丁雄軍被查
2025-01-02 20:55 觀網(wǎng)財經(jīng)-消費 -
上海醫(yī)藥收購和黃藥業(yè)10%股權(quán)，中藥板塊加速布局
2025-01-02 17:30 觀網(wǎng)財經(jīng)-健康 -
新規(guī)后首家！黃光裕旗下公司觸發(fā)市值退市
2025-01-02 17:30 -
“醫(yī)療大模型第一股”港交所上市：資本簇?fù)?，科大訊飛 “血緣” 深厚
2025-01-02 16:44 觀網(wǎng)財經(jīng)-健康 -
“癌癥早篩第一股”停牌第九個月，CEO辭職
2025-01-02 15:38 觀網(wǎng)財經(jīng)-健康 -
?培育鉆石行業(yè)掀起漲價潮，市場迎來新動向
2025-01-02 14:29 -
臺積電設(shè)立2nm試產(chǎn)線，或?qū)⒃诮衲炅慨a(chǎn)
2025-01-02 13:35 -
債市開門紅！國債期現(xiàn)貨全線大漲
2025-01-02 11:38 金融觀察 -
?中國結(jié)算推出減半優(yōu)惠措施，助力SFISF業(yè)務(wù)蓬勃發(fā)展
2025-01-02 11:03 -
重大人事調(diào)整，五糧液“85后”副總走馬上任
2024-12-31 17:11 觀網(wǎng)財經(jīng)-消費 -
中核科技重組停牌 標(biāo)的公司曾謀求上市未果
2024-12-31 13:04 -
央行首開債市罰單：三家機(jī)構(gòu)共罰超7000萬
2024-12-30 22:51 金融觀察 -
貴陽銀行擬任“85后”副行長辭職
2024-12-30 22:51 金融觀察 -
“今年以來大量資金涌向債券市場，市場利率過快下行”
2024-12-30 21:42 金融觀察 -
1766億“紅包雨”來了，四大行股價年內(nèi)創(chuàng)新高
2024-12-30 21:32 金融觀察 -
金融觀察員｜12月24日-12月30日銀行周報
2024-12-30 19:09 金融觀察 -
滬上阿姨沖刺港交所，門店數(shù)已達(dá)8980家
2024-12-30 15:36 觀網(wǎng)財經(jīng)-消費 -
好麗友第三代繼承人上位，在華高層也有新任命
2024-12-27 19:09 觀網(wǎng)財經(jīng)-消費 -
濱江集團(tuán)戚金興：明年銷售目標(biāo)約1000億元
2024-12-27 16:27 觀網(wǎng)財經(jīng)-消費
相關(guān)推薦 -
“不如申請成中國一省” ，德國鋰企竟如此激將歐盟 評論 90
美國放風(fēng)：伊朗有動作了 評論 90最新聞 Hot-
美方撤銷對華乙烷出口限制
-
特朗普參觀“鱷魚惡魔島”：拜登就想把我關(guān)在這兒，這XX養(yǎng)的
-
公安部通報：陳某為吸粉引流編造“工行假金條”，已被依法追責(zé)
-
“2027年起，整個產(chǎn)業(yè)將拱手讓給中國”
-
特朗普威脅：敢礙事，就逮捕你
-
“7年前就發(fā)現(xiàn)問題了，一直沒修”
-
“不如申請成中國一省” ，德國鋰企竟如此激將歐盟
-
終于換了，特朗普：我很滿意
-
要跟中國對著干？“剛果（金），別斷送發(fā)展機(jī)遇”
-
美兩員“大將”施壓未果，日本反倒成了“難啃的骨頭”
-
白宮找補(bǔ)：美國很強(qiáng)，不信去問伊朗
-
何君堯：建議給皇后大道、維多利亞公園改名
-
“美國自毀長城，中企憑高性價比一路高歌猛進(jìn)”
-
兩國矛盾激化，阿媒突然發(fā)文：收到匿名材料，是俄軍擊中的
-
裝不裝空調(diào)，法國政客都能吵起來
-
潛入醫(yī)院裝電詐設(shè)備，騙走30萬！今年已發(fā)生多起
-
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
