成人免费午夜在线观看,伊人久久精品,一区二区三区精品

觀察者網(wǎng)：您在新書《生成式人工智能》中提到，Transformer與ChatGPT模型的出現(xiàn)密切相關(guān)，已成為深度學(xué)習(xí)最亮眼的成果之一，但很多人不明白什么是Transformer，為什么Transformer這么重要？除了Transformer，催生ChatGPT這類大模型的關(guān)鍵技術(shù)還有哪些？

丁磊：提到Transformer，大家肯定首先想到的就是“transform”這個(gè)詞，也就是“轉(zhuǎn)換”的意思。而顧名思義，Transformer也就是“轉(zhuǎn)換器”的意思。為什么一個(gè)技術(shù)模型要叫“轉(zhuǎn)換器”呢？其實(shí)這也正是Transformer的核心，也就是它能實(shí)現(xiàn)的功能——從序列到序列。

序列到序列模型（sequence to sequence）是在2014年提出的。所謂序列，指的是文本數(shù)據(jù)、語(yǔ)音數(shù)據(jù)、視頻數(shù)據(jù)等一系列具有連續(xù)關(guān)系的數(shù)據(jù)。在序列到序列模型中，只要能編碼成序列，輸入和輸出的可以是任何形式的內(nèi)容。而序列編碼形式非常廣泛，我們?nèi)粘Ｗ龅拇蟛糠止ぷ鞫伎梢跃幋a成序列，因此這種模型可以解決很多問(wèn)題。

2017年出現(xiàn)的Transformer模型，在序列到序列模型基礎(chǔ)上有兩大提升，分別是采用多頭注意力機(jī)制和引入位置編碼機(jī)制，能夠識(shí)別更復(fù)雜的語(yǔ)言情況，從而能夠處理更為復(fù)雜的任務(wù)。在Transformer模型中，能輸出或生成的內(nèi)容更加廣泛，包括文本、圖像、語(yǔ)音、視頻以及更廣義的內(nèi)容，例如它可以生成報(bào)告、策劃方案、代碼以及程序等，是通用型的模型，可以生成任何我們需要的內(nèi)容。目前國(guó)內(nèi)外的大廠，都在基于Transformer技術(shù)推出自己的模型。

而且Transformer模型底層是開(kāi)源的，每個(gè)人都可以利用Transformer技術(shù)，然后就是看誰(shuí)可以設(shè)計(jì)出更加精巧的模型結(jié)構(gòu)。現(xiàn)在ChatGPT是基于GPT模型的，未來(lái)可能有更新的GPT模型結(jié)構(gòu)，我們可以去改進(jìn)它。也就是說(shuō)，首先我們能改變模型結(jié)構(gòu)，其次我們有沒(méi)有更多更好的數(shù)據(jù)去訓(xùn)練模型，第三就是如何去訓(xùn)練一個(gè)類似ChatGPT的模型，這也是很有講究的。

這三點(diǎn)也可以這么理解，就像教育小孩一樣，首先要有一個(gè)類似人類大腦的框架在那里，也就是模型的結(jié)構(gòu)；其次是訓(xùn)練模型的數(shù)據(jù)，相當(dāng)于給小孩看什么樣的教材、講什么樣的課程；第三是如何培養(yǎng)孩子，也就訓(xùn)練的方法。這三點(diǎn)，決定了我們能訓(xùn)練出什么樣的模型。

ChatGPT（資料圖）

觀察者網(wǎng)：現(xiàn)在很多互聯(lián)網(wǎng)大廠在宣傳自己模型的時(shí)候，更喜歡突出千億甚至萬(wàn)億的參數(shù)規(guī)模，這導(dǎo)致行業(yè)在模型參數(shù)上展開(kāi)“軍備競(jìng)賽”，業(yè)界也似乎秉持著“模型越大越好”的觀點(diǎn)，您如何評(píng)價(jià)這種觀點(diǎn)？我們?cè)撊绾握J(rèn)識(shí)一個(gè)大模型的水平？

丁磊：大模型或模型大只是單一評(píng)價(jià)維度，大公司喜歡突出參數(shù)規(guī)模，是因?yàn)樗麄兛梢哉{(diào)動(dòng)的資源更多，比如在算力、數(shù)據(jù)等層面，他們更有優(yōu)勢(shì)，所以他們更偏向突出模型參數(shù)規(guī)模的優(yōu)勢(shì)。但是從客觀角度來(lái)說(shuō)，我覺(jué)得模型的“深度”更重要。

什么叫深度？是指模型在某一領(lǐng)域解決問(wèn)題的能力更強(qiáng)，比如解決數(shù)學(xué)問(wèn)題的能力更突出，或者在具體行業(yè)應(yīng)用中，能把某一行業(yè)的問(wèn)題解決的更專業(yè)，這就叫模型更深。如果一個(gè)模型只是夠大，并不能解決相應(yīng)的業(yè)務(wù)問(wèn)題，或者是只能解決部分問(wèn)題，給不出完全正確的解決方案，在很多情況下就會(huì)失去用處。因此，除了關(guān)注參數(shù)規(guī)模之外，還要看重模型的深度。

觀察者網(wǎng)：能否這樣理解，大模型的“大”代表的是通用性，如果中小企業(yè)沒(méi)有能力去煉大模型的話，可以基于大廠研發(fā)的大模型，去做更加專用的行業(yè)模型來(lái)服務(wù)自身的業(yè)務(wù)？

丁磊：大部分的中小企業(yè)并不會(huì)去參與大模型的競(jìng)賽，相反他們會(huì)基于開(kāi)源的大模型去研發(fā)，甚至ChatGPT也都支持在線的訓(xùn)練和迭代。也就是說(shuō)，這些中小企業(yè)會(huì)利用一些開(kāi)源的大模型，或者在線可以訓(xùn)練迭代的大模型，去解決他們業(yè)務(wù)場(chǎng)景的問(wèn)題，來(lái)構(gòu)建相應(yīng)的“深模型”，這也是大部分中小企業(yè)應(yīng)該走的路。

觀察者網(wǎng)：現(xiàn)在布局大模型的大多都是互聯(lián)網(wǎng)企業(yè)，像國(guó)內(nèi)的阿里、百度、騰訊等，以及美國(guó)的微軟和谷歌，互聯(lián)網(wǎng)企業(yè)在做大模型方面有哪些獨(dú)特的優(yōu)勢(shì)？

丁磊：互聯(lián)網(wǎng)大廠在數(shù)據(jù)積累方面肯定更有優(yōu)勢(shì)，但我認(rèn)為開(kāi)源還是會(huì)成為整個(gè)行業(yè)的趨勢(shì)，現(xiàn)在國(guó)內(nèi)外都有開(kāi)源的大模型，使用的數(shù)據(jù)大多也都是互聯(lián)網(wǎng)上公開(kāi)的，像OpenAI訓(xùn)練ChatGPT使用的數(shù)據(jù)，大多也都是互聯(lián)網(wǎng)上可以公開(kāi)獲得的。大公司獲取數(shù)據(jù)的速度可能會(huì)更快，獲得體量也會(huì)更大，但這并不意味著互聯(lián)網(wǎng)巨頭在大模型領(lǐng)域有絕對(duì)的壟斷優(yōu)勢(shì)。我們之前分析過(guò)，實(shí)際上訓(xùn)練ChatGPT這種大模型，實(shí)力雄厚的創(chuàng)業(yè)公司或者一些中型公司，也都有能力來(lái)做這方面的事，不一定只有大公司才能做。

觀察者網(wǎng)：中美在AI領(lǐng)域的競(jìng)爭(zhēng)最引人關(guān)注。馬斯克不久前曾提到，中美在AI方面的差距大約在十二個(gè)月左右。而國(guó)內(nèi)一些廠商稱自己的大模型部分能力已超越ChatGPT，并且很快將整體趕超ChatGPT。您如何看待中美在AI方面的差距，國(guó)內(nèi)廠商能否迅速趕超美國(guó)企業(yè)？

丁磊：我覺(jué)得與其對(duì)比中美，不如對(duì)比訓(xùn)練模型這件事跟互聯(lián)網(wǎng)思維模式的差別。各國(guó)企業(yè)其實(shí)沒(méi)有本質(zhì)差別，都可以做訓(xùn)練模型這件事，但誰(shuí)能最終做出來(lái)，就需要一種新的思維方式。打個(gè)比方，包括谷歌在內(nèi)的互聯(lián)網(wǎng)公司研發(fā)產(chǎn)品，采用的是“養(yǎng)雞模式”，公司會(huì)將“養(yǎng)雞”拆成不同的細(xì)分任務(wù)，多部門人員各自負(fù)責(zé)具體業(yè)務(wù)。

而訓(xùn)練GPT模型是“養(yǎng)娃模式”，它反而不需要那么多老師、廚師，核心人物只要少數(shù)。也就是說(shuō)，它很難拆分成完全獨(dú)立的任務(wù)，必須有固定父母站在全局角度，親自教授培養(yǎng)孩子。所以在這種模式下，谷歌沒(méi)有最早做出產(chǎn)品的原因很簡(jiǎn)單，現(xiàn)有體系很難在AI領(lǐng)域取得里程碑式的成功。訓(xùn)練GPT模型本質(zhì)是一個(gè)很難拆解的事，需要公司領(lǐng)導(dǎo)層在技術(shù)、業(yè)務(wù)，甚至資本層都是專家。

另一個(gè)簡(jiǎn)單的例子就是，美國(guó)AI繪畫工具M(jìn)idjourney，是由一家獨(dú)立研究實(shí)驗(yàn)室開(kāi)發(fā)出來(lái)的。包括創(chuàng)始人大衛(wèi)·霍爾茲在內(nèi)僅有11個(gè)人，除了他和財(cái)務(wù)、法務(wù)，核心只有8位研發(fā)人員。我也曾在IBM沃森研究中心有過(guò)一段工作經(jīng)歷，IBM的沃森人工智能也曾陷入這種困境——有太多的人參與人工智能訓(xùn)練，資源太多、研發(fā)不聚焦，造成項(xiàng)目沒(méi)有持續(xù)取得成績(jī)。

實(shí)際上，美國(guó)真正專注通用人工智能研發(fā)的知名公司也就兩家——OpenAI以及谷歌母公司Alphabet下設(shè)的人工智能實(shí)驗(yàn)室DeepMind。就目前披露的信息看，OpenAI創(chuàng)始人奧特曼個(gè)人能力非常強(qiáng)，不僅懂技術(shù)，也懂商業(yè)運(yùn)作，OpenAI在運(yùn)營(yíng)過(guò)程中也鮮少受股東制約。OpenAI是長(zhǎng)在美國(guó)硅谷重視工程師地位的文化土壤里，有著強(qiáng)大的“工程師文化基因”，簡(jiǎn)單說(shuō)就是工程師可以主導(dǎo)研發(fā)，擁有更大自主性，發(fā)揮創(chuàng)造性的空間更大。

但OpenAI并不能代表美國(guó)的互聯(lián)網(wǎng)公司。所以我認(rèn)為，互聯(lián)網(wǎng)公司在訓(xùn)練大模型這件事上，并不具有天賦基因。它們可以去學(xué)，也可以去適應(yīng)，但它本身并沒(méi)有這個(gè)基因。他們適合做一件事情，就是像“養(yǎng)雞”這樣的事，或者說(shuō)更適合做大規(guī)模的生產(chǎn)，但訓(xùn)練模型更像是“養(yǎng)娃”，你不能把這個(gè)問(wèn)題拆分，ChatGPT擁有1750億個(gè)參數(shù)，我們沒(méi)辦法把它拆分成100份1000份，讓不同團(tuán)隊(duì)并行去做，根本做不到。

觀察者網(wǎng)：有沒(méi)有可能判斷一下，中美企業(yè)在大模型領(lǐng)域的差距，以及追趕的時(shí)間表？

丁磊：這個(gè)沒(méi)辦法給出明確的時(shí)間表，因?yàn)楝F(xiàn)在主要也就OpenAI一家的大模型在各方面都比較領(lǐng)先。但是我認(rèn)為，任何一家互聯(lián)網(wǎng)企業(yè)，如果按照原來(lái)的運(yùn)行模式，很難做出像ChatGPT這樣的大模型，無(wú)論中國(guó)還是美國(guó)企業(yè)都一樣。

觀察者網(wǎng)：現(xiàn)在人們?nèi)菀子懻摰膯?wèn)題是，為什么ChatGPT會(huì)率先誕生在美國(guó)，而中國(guó)企業(yè)涌入大模型更像是跟風(fēng)，您怎么看待這種問(wèn)題？

丁磊：我在硅谷工作多年，非常了解為什么硅谷會(huì)出現(xiàn)OpenAI以及奧特曼這樣的人物——是硅谷的“工程師文化基因”造就了他們。OpenAI其實(shí)也是一個(gè)異類公司，而硅谷擁有技術(shù)驅(qū)動(dòng)的傳統(tǒng)文化，可以去忽視短期利益去做長(zhǎng)期投入。OpenAI以及奧特曼，本身也有較強(qiáng)的資金基礎(chǔ)，使他們可以進(jìn)行大規(guī)模投入，而大部分公司并不具備做這種事情的先決條件。

觀察者網(wǎng)：我們都知道，人工智能有三駕馬車：算力，算法，數(shù)據(jù)。在生成式AI概念中，這三駕馬車的重要性有大小之分嗎？眼下英偉達(dá)的GPU成為稀缺品，國(guó)內(nèi)AIGC的發(fā)展會(huì)因?yàn)樗懔σ蛩厥芟迒幔?/strong>