成人免费午夜在线观看,伊人久久精品,一区二区三区精品

【文/觀察者網(wǎng)專欄作者 潘攻愚】

“即使我們競(jìng)爭(zhēng)對(duì)手的產(chǎn)品免費(fèi)給到客戶，我們還是比他們要便宜?！?

在2024年3月份SIEPR 經(jīng)濟(jì)峰會(huì)的主題演講中，英偉達(dá)CEO黃仁勛這樣回答斯坦福大學(xué)查爾斯·R·施瓦布經(jīng)濟(jì)學(xué)名譽(yù)教授約翰·肖文 (John Shoven)的提問。

這一席話當(dāng)時(shí)在半導(dǎo)體圈引起了軒然大波。競(jìng)爭(zhēng)對(duì)手的產(chǎn)品免費(fèi)送，居然還比英偉達(dá)的GPU貴？那豈不是對(duì)手們要大肆賠錢才能和英偉達(dá)競(jìng)爭(zhēng)？

黃仁勛在公眾場(chǎng)合一貫謙遜節(jié)制，但也偶露崢嶸，那一次，他可能實(shí)在是忍受不了發(fā)問人對(duì)英偉達(dá)競(jìng)爭(zhēng)態(tài)勢(shì)的質(zhì)疑，語(yǔ)調(diào)有些“浪”了。他口中所謂的競(jìng)爭(zhēng)對(duì)手，乍一看上去說的是AMD或者英特爾，但仔細(xì)品味，是說給另一個(gè)領(lǐng)域的競(jìng)爭(zhēng)對(duì)手聽的，即ASIC（專用芯片）的戰(zhàn)場(chǎng)。

須知，英偉達(dá)在高性能GPU（HPC和AI加速器領(lǐng)域）就在全球吃掉了接近450億美元的盤子，而ASIC市場(chǎng)2023年滿打滿算也只有200億美元，前者的高壟斷性看起來暫時(shí)不用擔(dān)心以博通、Marvell為代表定制化芯片對(duì)其市場(chǎng)份額的侵蝕。

但你要說黃仁勛不著急那肯定是假的。AI大潮的推動(dòng)下，比如TPU在Google Cloud上的應(yīng)用，或者亞馬遜AWS的Trainium/Inferentia讓不少公司在考慮ASIC方案。2023年就有風(fēng)傳英偉達(dá)也想進(jìn)入ASIC這個(gè)領(lǐng)域，為美國(guó)諸多CSP（云服務(wù)商）提供定制化服務(wù)。

OpenAI也在“背刺”英偉達(dá)？

據(jù)路透社近日?qǐng)?bào)道，OpenAI正在通過開發(fā)其首款自家人工智能芯片，以減少其對(duì)英偉達(dá)芯片的需求。路透社還聲稱OpenAI將在近幾個(gè)月內(nèi)確定其芯片的最終設(shè)計(jì)，并將方案交由臺(tái)積電進(jìn)行流片測(cè)試。

多年以來，OpenAI一直是英偉達(dá)的大主顧之一。他們考慮非通用性GPU方案，無異于是對(duì)英偉達(dá)的一種背刺。

OpenAI的訓(xùn)練和推理任務(wù)高度依賴英偉達(dá)的高性能GPU（如 A100、H100）。OpenAI在2020年的論文中曾提到，GPT-3的訓(xùn)練使用了約1萬(wàn)塊V100 GPU。不過，OpenAI并未公開披露其從英偉達(dá)采購(gòu)的GPU具體數(shù)量，這類信息通常被視為商業(yè)機(jī)密或涉及合作伙伴協(xié)議，因此外界難以獲得準(zhǔn)確數(shù)據(jù)。

除了采購(gòu)GPU，他們之間的合作模式還有兩點(diǎn)需要指出：OpenAI 深度依賴英偉達(dá)的CUDA并行計(jì)算平臺(tái)和cuDNN加速庫(kù)，以最大化GPU在深度學(xué)習(xí)任務(wù)中的性能；英偉達(dá)OpenAI還有間接合作，通過合作伙伴（如微軟Azure、亞馬遜AWS）為OpenAI提供云GPU資源，支持其彈性計(jì)算需求。

英偉達(dá)首個(gè)DGX H200給到OpenAI

OpenAI在思考用更專用硬件ASIC的可能，步微軟Maia AI芯片和谷歌TPU的后塵，主要也是苦英偉達(dá)久矣。

英偉達(dá)通用高端GPU不僅價(jià)格昂貴，而且功耗極高，且有很強(qiáng)的定價(jià)權(quán)，損傷了OpenAI的“自尊心”和財(cái)務(wù)毛利率，而且某種程度上削弱了其振臂一呼搞“星際之門”的話語(yǔ)權(quán)和領(lǐng)導(dǎo)權(quán)。

OpenAI敢邁出這一步，也是看到了商用實(shí)地落地的可能性——踩著谷歌TPU的轅輻前進(jìn)。

TPU是谷歌專門為機(jī)器學(xué)習(xí)（尤其是神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理）而設(shè)計(jì)的ASIC，從硬件到軟件全棧優(yōu)化，避免了GPU的通用計(jì)算冗余。

谷歌單芯片TPU v4的FP16性能約275 TFLOPS，而英偉達(dá)H100的FP16算力為400 TFLOPS，看起來差距巨大，但TPU v4可以用“打群架”的方式避免單打獨(dú)斗的劣勢(shì)，而且，TPU的專用推理硬件在低延遲場(chǎng)景中表現(xiàn)更優(yōu)。

雖然英偉達(dá)高端GPU也需要HBM，但TPU采用的HBM高帶寬內(nèi)存與計(jì)算單元緊密耦合，減少數(shù)據(jù)搬運(yùn)開銷，英偉達(dá)GPU需通過顯存管理優(yōu)化才能避免瓶頸。

另外還有很重要的一點(diǎn)，就呼應(yīng)到了本文開頭的話題：成本。

在谷歌云平臺(tái)，TPU的按需計(jì)費(fèi)成本可能低于同等算力的GPU實(shí)例，尤其對(duì)長(zhǎng)期訓(xùn)練任務(wù)或批量推理更具性價(jià)比。TPU作為托管服務(wù)，用戶無需關(guān)注底層硬件運(yùn)維，而自建GPU集群需投入更多運(yùn)維資源。

這一切，加速了OpenAI與英偉達(dá)軟脫鉤的念想，雙方有了某種程度上的離心力。

盡管如此，采用ASIC方案的局限性依然十分明顯，TPU綁定了特定框架（TensorFlow/JAX），而GPU支持更廣泛的開源工具和私有化部署，而且，ASIC一旦流片無法修改，而GPU可通過架構(gòu)升級(jí)和軟件優(yōu)化適應(yīng)新需求。

英偉達(dá)GPU的“專用特性”

黃仁勛在業(yè)界以危機(jī)感嗅覺著稱，他的名言“要時(shí)刻為企業(yè)一個(gè)月內(nèi)破產(chǎn)做好準(zhǔn)備”享譽(yù)全球，他不斷督促自己洞察一切可能的挑戰(zhàn)和危機(jī)。

ASIC的沖擊，他也洞若觀火。

在最近這兩代（Grace Hopper和Blackwell）的AI加速器中，他其實(shí)已經(jīng)用了“通用+專用”的混合架構(gòu)。他明白，AI訓(xùn)練/推理、科學(xué)計(jì)算等場(chǎng)景對(duì)算力需求爆炸式增長(zhǎng)，通用架構(gòu)難以滿足能效和性能要求。專用硬件可顯著降低大模型訓(xùn)練成本（如Blackwell的FP4/FP6支持稀疏計(jì)算）。

國(guó)內(nèi)某知名GPU圖形渲染供應(yīng)商市場(chǎng)主管告訴心智觀察所，通用芯片性能提升趨緩，通過領(lǐng)域?qū)Ｓ眉軜?gòu)（DSA）實(shí)現(xiàn)差異化會(huì)成為必然選擇。

Grace Hopper和Blackwell正在不斷增加專用硬件單元，比如針對(duì)深度學(xué)習(xí)矩陣運(yùn)算優(yōu)化（FP16/FP8精度、稀疏計(jì)算）的Tensor Core專用于光線追蹤的硬件加速的RT Core，針對(duì)大規(guī)模AI集群做了通信優(yōu)化（如Grace Hopper的芯片間互連），Blackwell架構(gòu)還直接面向大語(yǔ)言模型（LLM）做了硬件加速Transformer引擎。

這一切的一切都說明英偉達(dá)看到了谷歌TPU、亞馬遜Trainium等專用AI芯片的威脅，迫使英偉達(dá)通過專用化鞏固技術(shù)壁壘。

仍然需要指出的是，英偉達(dá)的高端GPU確實(shí)在向領(lǐng)域?qū)Ｓ眉軜?gòu)（DSA）演進(jìn)，但其本質(zhì)仍是以通用性為基礎(chǔ)、通過專用模塊提升關(guān)鍵場(chǎng)景效率的混合模式，與ASIC的完全固化設(shè)計(jì)有本質(zhì)區(qū)別。