-
“如果DeepSeek靠蒸餾為啥要怕?”“不,中國是迭代者”
-
楊蓉yangrong@guancha.cn
在他看來,中國確實尚未在科學(xué)突破方面超越美國,如率先推出mRNA疫苗、ChatGPT、iPhone等,“但中國所做的是,通過其強大的制造實力,在這些創(chuàng)新的基礎(chǔ)上進行迭代,使其產(chǎn)品更好、更快、更便宜,而這一過程正通過DeepSeek-R1展現(xiàn)在我們眼前”。
戴維·林本月早些時候接受新加坡《海峽時報》采訪時也表示,中美在AI發(fā)展上“已經(jīng)處于并駕齊驅(qū)的狀態(tài)”。他坦言:“如果你在三個月前問我,我還會說我們穩(wěn)穩(wěn)領(lǐng)先,但形勢變得非常迅速?!?
他6日在聽證會上進一步強調(diào),DeepSeek公開表示其目標是努力實現(xiàn)通用人工智能(AGI),這一愿景表明了中國“在AI領(lǐng)域的雄心壯志”。AGI是指具備像人類一樣的智能水平,能夠理解、學(xué)習(xí)、適應(yīng)、推理,并在不同領(lǐng)域自主執(zhí)行任務(wù)的AI系統(tǒng),通常也被視為AI發(fā)展的終極形態(tài)。
戴維·林指出,如今這場AI技術(shù)競賽實質(zhì)上是全球科技主導(dǎo)權(quán)之爭?!斑@是一個關(guān)于爭奪先發(fā)優(yōu)勢的問題,第一個實現(xiàn)AGI的人將在全球經(jīng)濟、政治及能源供應(yīng)鏈方面帶來深遠的下游影響?!?
戴維·林在聽證會上發(fā)言
今年1月,DeepSeek發(fā)布其最新開源模型DeepSeek-R1,用較低的成本達到了接近于美國OpenAI開發(fā)的GPT-o1的性能。這一進展破解了全球AI產(chǎn)業(yè)長期以來“堆算力”的路徑依賴,其影響波及資本市場。OpenAI隨后公開指控DeepSeek通過“蒸餾”技術(shù)“違規(guī)復(fù)制”其產(chǎn)品功能。
所謂蒸餾的理論核心,就是讓一個龐大且復(fù)雜的預(yù)訓(xùn)練AI模型充當“教師”,來訓(xùn)練一個較小的“學(xué)生模型”,后者從“教師模型”學(xué)習(xí)知識,以獲得類似性能,但計算成本更低。不少專家表示,蒸餾在AI業(yè)內(nèi)是一種常見的做法,但若涉及直接復(fù)制閉源專有模型的輸出結(jié)構(gòu)或參數(shù),可能構(gòu)成侵權(quán)。
前百度全球傳播主管、前AI條線記者托尼·彭(Tony Peng,音)日前在其專欄梳理,“蒸餾”的具體操作方法有很多:如“監(jiān)督微調(diào)”(SFT),即直接使用“教師模型”生成的輸出數(shù)據(jù)來訓(xùn)練“學(xué)生模型”;或是“模型評分”,即讓“教師模型”充當“評委”,對模型輸出進行評分,并訓(xùn)練“學(xué)生模型”更傾向于高分回答;又或是利用“教師模型”為復(fù)雜問題生成的多步驟推理鏈,讓“學(xué)生模型”模仿這種長鏈式思維(CoT)的過程。
根據(jù)DeepSeek自己發(fā)布的技術(shù)文檔,其R1模型在第一階段使用了早期模型R1-Zero的輸出作為冷啟動數(shù)據(jù)集,由人工標注員優(yōu)化后進行訓(xùn)練,并在第二階段繼續(xù)通過強化學(xué)習(xí)(RL)進行優(yōu)化。R1-Zero模型則完全依賴RL,未使用“微調(diào)數(shù)據(jù)集”(fine-tuning datasets)。
此外,DeepSeek去年12月發(fā)布的V3模型是使用對R1的“知識蒸餾”等提升了訓(xùn)練效率。技術(shù)文檔稱,DeepSeek-R1作為高級推理模型,其CoT能力被蒸餾到V3,從而提升V3的推理能力。
考慮到OpenAI尚未提供具體證據(jù),其首席執(zhí)行官奧爾特曼上周又稱“沒有計劃”起訴DeepSeek,目前輿論猜測紛紛。與此同時,也有許多聲音指出,OpenAI提出這一指控本身就頗為“虛偽和諷刺”。
“要知道,ChatGPT在訓(xùn)練過程中也使用了《福布斯》或《紐約時報》的內(nèi)容,這同樣違反了它們的服務(wù)條款。”康奈爾大學(xué)高級訪問講師、曾在谷歌、領(lǐng)英等科技公司從事AI研究的盧茨·芬格(Lutz Finger)說。
硅谷內(nèi)部也有人提出反思。金沙江創(chuàng)業(yè)投資(GSR Ventures)合伙人、長期居住在硅谷的新加坡風(fēng)險投資人戴維·尹(David Yin,音)對《海峽時報》表示,許多硅谷的AI應(yīng)用公司陷入思維定勢、缺乏創(chuàng)新,導(dǎo)致其盲目擴張,而不是提高效率。
“(在硅谷)當有人想給你數(shù)千億美元時,你所想的就是雇更多人、買更多算力,建造自己的‘核電站’”。他說,“也許中國的參與者不擅長‘從零到一’的創(chuàng)新,但一旦他們掌握了一項技術(shù),就會把它優(yōu)化到極致,從一做到十、一百?!?
本文系觀察者網(wǎng)獨家稿件,未經(jīng)授權(quán),不得轉(zhuǎn)載。
標簽 AI- 責任編輯: 楊蓉 
-
他又染指軍事:美國將在下一場戰(zhàn)爭中慘敗,除非…
2025-02-07 21:58 -
“特朗普自殘,更多人會信中國了”
2025-02-07 20:01 中美關(guān)系 -
老撾跟進:限電!
2025-02-07 19:29 打擊網(wǎng)絡(luò)詐騙 -
中方已向美方提出嚴正交涉
2025-02-07 18:02 中美關(guān)系 -
“噩夢已開始,女兒問我是不是詐騙…”
2025-02-07 18:01 中美關(guān)系 -
美媒也逃不過…
2025-02-07 17:58 應(yīng)對特朗普沖擊波 -
馬斯克再被阻擊
2025-02-07 17:57 應(yīng)對特朗普沖擊波 -
喊停又喊停,特朗普“上任N把火”處處碰壁
2025-02-07 17:46 應(yīng)對特朗普沖擊波 -
中印尼續(xù)簽雙邊本幣互換協(xié)議,規(guī)模為4000億元人民幣
2025-02-07 16:56 人民幣國際化 -
習(xí)近平會見韓國國會議長禹元植
2025-02-07 16:31 -
中國正對蘋果公司開展反壟斷調(diào)查?外交部回應(yīng)
2025-02-07 16:20 -
美航空專家急了:不賣中國,他回頭自己造了就丸辣!
2025-02-07 16:05 中美關(guān)系 -
外交部:對巴拿馬不再續(xù)簽“一帶一路”諒解備忘錄深表遺憾
2025-02-07 16:05 -
又一起……美國阿拉斯加一飛機失聯(lián)
2025-02-07 15:41 航空安全 -
馬斯克揮刀,砍到伊萬卡蛋糕了…
2025-02-07 14:34 -
“DeepSeek粉碎西方遏華幻想,中國正鯨吞世界”
2025-02-07 14:01 中美關(guān)系 -
不降反增!8年折騰了個寂寞…
2025-02-07 12:11 應(yīng)對特朗普沖擊波 -
“中美貿(mào)易摩擦,我們歐洲恐成大輸家”
2025-02-07 11:32 歐洲亂局 -
他揚言:將審查中國是否遵守
2025-02-07 11:07 應(yīng)對特朗普沖擊波 -
聯(lián)合國人權(quán)理事會:美國無法“退出”
2025-02-07 10:59 應(yīng)對特朗普沖擊波
相關(guān)推薦 -
-
最新聞 Hot
-
“聽到東方驚雷了嗎?那是14億中國人在笑話美國”
-
“以色列和俄羅斯正進行秘密會談”
-
“不同于西方,中國正建設(shè)由技術(shù)驅(qū)動的福利模式”
-
中國駐泰國大使館:被騙至緬甸的男模特已獲救
-
“越南在走鋼絲,稍有不慎,就會惹惱中國”
-
最新民調(diào):4成支持馬斯克成立新政黨
-
美伊下周在挪威談?
-
“俄美有興趣共同實施經(jīng)濟領(lǐng)域一些‘有前景的項目’,特別是能源”
-
人才引進被舉報中止1年后,再招考入圍名單與此前一致?包頭通報
-
特朗普威脅:周五,接關(guān)稅吧
-
“歐洲領(lǐng)導(dǎo)人向我求助,我提了建議”
-
“我簽署時候,B-2、F-22將從頭頂飛過”
-
天文學(xué)家發(fā)現(xiàn)第三個進入太陽系的“星際訪客”
-
馮德萊恩承認:來不及談成,退而求其次…
-
特朗普簽署行政令:外國游客得加錢
-
美國解除對華C919發(fā)動機出口禁令
-