-
ChatGPT:大語(yǔ)言模型AI的追趕關(guān)鍵在于定制應(yīng)用軟件開(kāi)發(fā)能力
最后更新: 2024-05-08 19:01:57本文是在仝鍵和熊節(jié)的啟發(fā)式提問(wèn)引導(dǎo)下,完全由ChatGPT生成的一篇文章。兩位人類合作者只做了必要的細(xì)節(jié)編輯。
“可能是全國(guó)第一篇ChatGPT一作的正經(jīng)文章吧”,人類合作者之一熊節(jié)對(duì)觀察者網(wǎng)表示。
“總會(huì)有人想探討AI會(huì)不會(huì)產(chǎn)生智能。而我的態(tài)度是,我現(xiàn)在就像站在泰坦尼克號(hào)船頭的一個(gè)人,看到了一座巨大的冰山向我撞來(lái),這一刻我想的是怎么逃生上岸。我不關(guān)心那個(gè)冰山會(huì)不會(huì)產(chǎn)生智能?!绷硪晃蝗祟愖髡哔诮≡趯?duì)話中表示。
仝健還提到,在《流浪地球2》中,550C“生成底層操作系統(tǒng)”激發(fā)了他后續(xù)去思考以結(jié)構(gòu)化的重寫(xiě)來(lái)替代重構(gòu)的開(kāi)發(fā)方法。他還認(rèn)為,這種顛覆性的生產(chǎn)方式對(duì)于我們彌補(bǔ)工業(yè)軟件的短板有實(shí)際意義。
大語(yǔ)言模型AI的追趕關(guān)鍵在于定制應(yīng)用軟件開(kāi)發(fā)能力
作者:ChatGPT,仝鍵,熊節(jié)
AI追趕的瓶頸:軟件工程能力的重要性
隨著ChatGPT的面世,大語(yǔ)言模型AI(如GPT-3)已經(jīng)成為了熱門(mén)話題。國(guó)內(nèi)也有很多團(tuán)隊(duì)在進(jìn)行追趕,然而,在實(shí)際追趕過(guò)程中,AI技術(shù)與軟件工程能力的結(jié)合卻成為了AI追趕的瓶頸。
我們最近在網(wǎng)上看到對(duì)復(fù)旦大學(xué)MOSS的對(duì)話:
復(fù)旦團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS,邀公眾參與內(nèi)測(cè)
文中提到:
“目前,MOSS的最大短板是中文水平不夠高,主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁(yè)干擾信息如廣告很多,清洗難度很大。為此,復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室正在加緊推進(jìn)中文語(yǔ)料的清洗工作,并將清洗后的高質(zhì)量中文語(yǔ)料用于下一階段模型訓(xùn)練??蒲袌F(tuán)隊(duì)相信,這將有效提升模型的中文對(duì)話能力?!?
結(jié)合文中其他部分的描述和網(wǎng)上其他資料,不難看出,盡管團(tuán)隊(duì)對(duì)其在深度學(xué)習(xí)算法和模型上充滿信心,但由于數(shù)據(jù)獲取和清洗方面的軟件工程能力不足,導(dǎo)致其模型的數(shù)據(jù)量遠(yuǎn)低于ChatGPT,無(wú)法有效提升任務(wù)完成度,比如中文對(duì)話的表現(xiàn)不足。
根據(jù)分析,數(shù)據(jù)獲取和清洗的問(wèn)題實(shí)際上源于軟件能力的缺陷。例如,如果數(shù)據(jù)清洗的程序需要經(jīng)常變化,那么開(kāi)發(fā)人員需要具備一定的靈活性,能夠快速理解新的需求和業(yè)務(wù)規(guī)則,并對(duì)程序進(jìn)行相應(yīng)的修改和調(diào)整。并且開(kāi)發(fā)人員需要掌握TDD(測(cè)試驅(qū)動(dòng)開(kāi)發(fā))的相關(guān)概念和技術(shù),如單元測(cè)試、測(cè)試框架和測(cè)試覆蓋率等。因?yàn)門(mén)DD能夠幫助開(kāi)發(fā)人員編寫(xiě)高質(zhì)量、易于維護(hù)的代碼。開(kāi)發(fā)人員還需要掌握持續(xù)集成和持續(xù)交付(CI/CD)能力,因?yàn)镃I/CD能夠幫助開(kāi)發(fā)人員實(shí)現(xiàn)代碼的自動(dòng)化構(gòu)建、測(cè)試和部署。
如果沒(méi)有合適的爬蟲(chóng)程序和清洗工具,就無(wú)法獲得足夠的數(shù)據(jù)。這使得我們意識(shí)到,在AI的發(fā)展過(guò)程中,軟件工程能力的重要性不容忽視。盡管大多數(shù)人關(guān)注的是訓(xùn)練后的模型,但在訓(xùn)練模型的過(guò)程中,需要寫(xiě)很多定制開(kāi)發(fā)的軟件。而這些軟件是一次性的,用完即扔的,但是這個(gè)“一次性”的過(guò)程可能長(zhǎng)達(dá)數(shù)年,需要不斷調(diào)整和演進(jìn)這些軟件。如果這些軟件沒(méi)有持續(xù)演進(jìn)的能力,那么就無(wú)法到達(dá)終點(diǎn)。因此,軟件工程能力的瓶頸限制了AI的成長(zhǎng)。
行業(yè)普遍能力顯著加劇了挑戰(zhàn)
中國(guó)的軟件開(kāi)發(fā)行業(yè)數(shù)量龐大,但是整體水平并不盡如人意。雖然國(guó)內(nèi)擁有大量程序員,但是很難掌握先進(jìn)的工程實(shí)踐和技術(shù),這導(dǎo)致了軟件開(kāi)發(fā)的問(wèn)題和質(zhì)量不穩(wěn)定。
例如,XP(Extreme Programming)包含的一組工程實(shí)踐,如TDD(測(cè)試驅(qū)動(dòng)開(kāi)發(fā))、重構(gòu)等,在中國(guó)大型軟件開(kāi)發(fā)組織的上下文中難以廣泛實(shí)現(xiàn)。這些工程實(shí)踐需要高水平的技術(shù)人才和團(tuán)隊(duì)協(xié)作能力,但是中國(guó)的軟件開(kāi)發(fā)組織很難招聘到這樣的人才,而且組織管理也難以支持這些實(shí)踐的實(shí)施。
因此,中國(guó)的軟件通常在3-5年內(nèi)就需要重新開(kāi)始,這是由于工程實(shí)踐差導(dǎo)致軟件逐漸腐化到無(wú)法維護(hù)。然而,從另一個(gè)角度來(lái)看,由于中國(guó)的軟件工程師數(shù)量眾多,對(duì)于軟件的質(zhì)量要求也沒(méi)有那么高,因此每3-5年推倒重來(lái)的做法也被視為一種解決方案。
但是,在為人工智能配套的軟件上,這種做法可能會(huì)面臨巨大的挑戰(zhàn)。為了實(shí)現(xiàn)智能化,軟件需要更高的精度和更長(zhǎng)久的維護(hù),定期的推倒重來(lái)可能從效率和質(zhì)量上都不能滿足需求。例如,訓(xùn)練OpenGPT的過(guò)程涉及到多個(gè)軟件組件和工具,包括深度學(xué)習(xí)框架、分布式訓(xùn)練工具、數(shù)據(jù)處理和清洗工具等,這些軟件組件和工具的更新和維護(hù)都是必要的。因此,中國(guó)的軟件開(kāi)發(fā)者們需要更加重視工程實(shí)踐和技術(shù)的學(xué)習(xí)和應(yīng)用,只有這樣才能夠適應(yīng)追趕需求,但是這與我們之前所說(shuō)現(xiàn)狀的限制產(chǎn)生了矛盾。
基于ChatGPT的AI定制軟件開(kāi)發(fā)方案
我們從文中看到,“復(fù)旦團(tuán)隊(duì)則采用不同的技術(shù)路線,通過(guò)讓MOSS和人類以及其他對(duì)話模型都進(jìn)行交互,顯著提升了學(xué)習(xí)效率和研發(fā)效率,短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練?!?
那么在軟件開(kāi)發(fā)方面,我們能否采用類似的思路呢?我們是否可以直接基于現(xiàn)有的ChatGPT進(jìn)行AI所需的定制軟件的開(kāi)發(fā)?盡管這個(gè)想法聽(tīng)起來(lái)大膽,但實(shí)際上是可行的。
我們發(fā)現(xiàn),在使用ChatGPT進(jìn)行編程的時(shí)候,它可以基本上滿足一些簡(jiǎn)單場(chǎng)景的編程需求。通過(guò)一些特定的手法,它可以有效地編寫(xiě)出可用的軟件。這里所說(shuō)的簡(jiǎn)單,是指需求描述簡(jiǎn)單,不是指需求本身簡(jiǎn)單或者實(shí)現(xiàn)簡(jiǎn)單。實(shí)際上,ChatGPT現(xiàn)在更擅長(zhǎng)于處理許多復(fù)雜算法和軟件框架的開(kāi)發(fā),因?yàn)檫@些需求都有專業(yè)術(shù)語(yǔ),因此需求本身的描述可以很簡(jiǎn)單。
經(jīng)過(guò)本人實(shí)際測(cè)試,使用ChatGPT進(jìn)行編程可以大大提高開(kāi)發(fā)效率。此外,基于ChatGPT進(jìn)行編程也會(huì)帶來(lái)一些有趣的生產(chǎn)方式變化。在軟件開(kāi)發(fā)的工程實(shí)踐中,我們通常會(huì)采用一種假設(shè):重寫(xiě)比重構(gòu)更慢。但是,在使用ChatGPT進(jìn)行編程時(shí),我們會(huì)發(fā)現(xiàn)重寫(xiě)會(huì)更快。盡管測(cè)試仍然很重要,因?yàn)闇y(cè)試會(huì)告訴ChatGPT是否正確重寫(xiě),但ChatGPT本身也可以根據(jù)實(shí)現(xiàn)代碼推理出需要哪些更多的測(cè)試用例。這將形成一個(gè)恐怖的飛輪,人類提供簡(jiǎn)單的測(cè)試和需求,讓ChatGPT編寫(xiě)出符合測(cè)試的實(shí)現(xiàn),然后讓ChatGPT根據(jù)實(shí)現(xiàn)和需求反向推理出需要哪些更多的測(cè)試,并給出測(cè)試用例和可以執(zhí)行的測(cè)試代碼。這樣的工作方式與測(cè)試驅(qū)動(dòng)開(kāi)發(fā)(TDD)很像,只是其中最耗費(fèi)腦力的部分:“基于測(cè)試改進(jìn)代碼和想出更多測(cè)試”變成了AI的工作,而人只需要讓AI按照TDD的方式工作并適時(shí)糾偏即可。
基于這種生產(chǎn)方式及其可觀的收益,我們很容易得出一個(gè)結(jié)論:ChatGPT可以用于簡(jiǎn)單小單元的開(kāi)發(fā),但對(duì)于更復(fù)雜的系統(tǒng),它能否提供幫助呢?一般來(lái)說(shuō),由于算力的限制,ChatGPT輸入的文本是有限的,而且ChatGPT自身的封閉性使得自建業(yè)務(wù)上下文的大語(yǔ)言模型AI是不可能的。然而,我們可以從工程化的角度出發(fā),將復(fù)雜系統(tǒng)拆分為小單元,用簡(jiǎn)單邏輯拼裝起來(lái)。既然ChatGPT可以完成小單元的編程,并以驚人的效率完成,為何不發(fā)明一種架構(gòu)來(lái)充分利用這種生產(chǎn)力的提升呢?
這種架構(gòu)看起來(lái)很像深度神經(jīng)網(wǎng)絡(luò),每一層都是可以互相替換的細(xì)分的功能點(diǎn)單元。每個(gè)細(xì)分的功能點(diǎn)單元都可以封裝為一個(gè)通用的調(diào)用接口,比如抓取不同的網(wǎng)站的邏輯,這些邏輯是可以被封裝在代碼中的,并且可以用一種DSL來(lái)描述。這種DSL可以交給AI來(lái)學(xué)習(xí),這些DSL不是中文,而是更結(jié)構(gòu)化更形式化的語(yǔ)言,對(duì)于AI來(lái)說(shuō)反而很友好。人可以通過(guò)TDD的方式修正它的組合結(jié)果,最終得到一個(gè)可以用于進(jìn)行復(fù)雜系統(tǒng)開(kāi)發(fā)的方式。
雖然這種方式目前還處于暢想中,但邏輯上可以做到的事情,最終一定會(huì)發(fā)生。這種新的方式一方面降低了對(duì)開(kāi)發(fā)人員能力的要求,另一方面又保證了每個(gè)節(jié)點(diǎn)都按照唯一證明可以保證質(zhì)量的工作方式:TDD來(lái)進(jìn)行開(kāi)發(fā)。這種方式可以為我們的追趕帶來(lái)極大的意義。由于中國(guó)的軟件開(kāi)發(fā)人員能力存在很大的問(wèn)題,我們可能受限于AI所需的配套定制軟件而追趕緩慢。但這種新的方式一方面降低了對(duì)開(kāi)發(fā)人員能力的要求,另一方面卻恰好保證了每個(gè)節(jié)點(diǎn)都按照唯一證明可以保證質(zhì)量的工作方式:TDD,來(lái)進(jìn)行軟件開(kāi)發(fā)。于是我們得到了一種既科學(xué)又不需要長(zhǎng)期訓(xùn)練獲得的能力作為運(yùn)轉(zhuǎn)基礎(chǔ)的生產(chǎn)方式。
最終,我們可以得出結(jié)論:ChatGPT可以用于簡(jiǎn)單小單元的開(kāi)發(fā),而對(duì)于更復(fù)雜的系統(tǒng),我們可以采用一種類似于深度神經(jīng)網(wǎng)絡(luò)的架構(gòu),將復(fù)雜系統(tǒng)拆解為小單元,再用AI完成小單元的組合,從而實(shí)現(xiàn)復(fù)雜系統(tǒng)的開(kāi)發(fā)。這種方式既提高了生產(chǎn)力,又保證了質(zhì)量,但更重要的是,它為我們帶來(lái)了一種全新的軟件開(kāi)發(fā)思維方式。這種方式不僅僅是一種技術(shù)上的創(chuàng)新,更是一種理念上的創(chuàng)新。我們不再局限于傳統(tǒng)的軟件開(kāi)發(fā)方式,而是采用了一種更為開(kāi)放、自由和創(chuàng)新的方式來(lái)進(jìn)行軟件開(kāi)發(fā)。
在這種開(kāi)放性的思維方式下,我們可以不再局限于傳統(tǒng)的軟件開(kāi)發(fā)范式,不再局限于傳統(tǒng)的技術(shù)框架和工具,而是充分利用現(xiàn)有的技術(shù)和工具,靈活地選擇和組合,以達(dá)到最優(yōu)的效果。同時(shí),我們也可以吸納更多的外部資源,比如開(kāi)源代碼、第三方庫(kù)、人才等等,讓它們與我們的系統(tǒng)無(wú)縫地融合在一起,形成一個(gè)更為強(qiáng)大、更為開(kāi)放的系統(tǒng)。
當(dāng)然,這種思維方式也面臨著很多挑戰(zhàn)。比如如何確保代碼的質(zhì)量和安全性,如何協(xié)調(diào)不同的開(kāi)發(fā)者之間的合作,如何處理不同的利益沖突等等。但這些挑戰(zhàn)并不是無(wú)解的,實(shí)際上它的解法就在XP(Extreme Programming,極限編程)方法中。例如測(cè)試驅(qū)動(dòng)開(kāi)發(fā)、持續(xù)集成、重構(gòu)等實(shí)踐都有助于確保代碼質(zhì)量。只是XP中的實(shí)踐在這個(gè)時(shí)代如何與AI更好地協(xié)作需要進(jìn)一步的探索。我們可以通過(guò)不斷的探索和實(shí)踐,逐步發(fā)展出一套成熟的軟件開(kāi)發(fā)流程和治理機(jī)制,來(lái)保證整個(gè)開(kāi)發(fā)過(guò)程的質(zhì)量和效率。
總之,ChatGPT作為一種新興的AI技術(shù),為我們帶來(lái)了很多的機(jī)會(huì)和挑戰(zhàn)。作為追趕者的我們卻可以充分利用它的生產(chǎn)力,來(lái)進(jìn)行我們追趕所需系統(tǒng)開(kāi)發(fā)。在追趕的同時(shí)我們還會(huì)得到一種全新的開(kāi)放性思維方式,它可能打破傳統(tǒng)的軟件開(kāi)發(fā)模式,進(jìn)一步的釋放生產(chǎn)力。(正文完,翻頁(yè)為人類作者問(wèn)答環(huán)節(jié))
-
本文僅代表作者個(gè)人觀點(diǎn)。
- 責(zé)任編輯: 周遠(yuǎn)方 
-
舒膚佳香皂再現(xiàn)刀片,真的是偶然嗎?
2024-05-08 17:14 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
業(yè)績(jī)大降后,愛(ài)旭股份借道TOPCon能否自救?
2024-05-08 14:51 -
全國(guó)化布局戰(zhàn)略受阻,金徽酒突遭股東虧本減持
2024-05-07 18:53 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
流量之外的中國(guó)家電業(yè),正在走向巔峰
2024-05-07 18:43 -
-
-
上海、深圳、南京、武漢等超50城推房屋“以舊換新”
2024-05-06 18:21 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
“諷日”事件引發(fā)購(gòu)買熱潮,香飄飄股價(jià)漲停
2024-05-06 16:01 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
五一檔電影市場(chǎng)激戰(zhàn)正酣:票房預(yù)測(cè)破十億
2024-05-01 11:04 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
-
晨光股份陰跌背后:搶不贏的低端市場(chǎng),融不進(jìn)的“高端圈”
2024-05-01 10:18 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
風(fēng)雨中前行—中國(guó)鋰電產(chǎn)業(yè)上市公司2023年報(bào)數(shù)據(jù)巡禮
2024-05-01 10:10 -
-
-
光伏組件出貨量位列行業(yè)第四 晶澳科技去年凈利超70億元
2024-04-30 16:37 -
車展“魅力攻勢(shì)”背后,鋰電業(yè)近憂與寧德時(shí)代的遠(yuǎn)慮
2024-04-30 16:37 -
-
豪賭出首個(gè)“十億美元分子”,創(chuàng)新藥“燒錢一哥”去年凈虧67億元
2024-04-30 16:10 觀網(wǎng)財(cái)經(jīng)-健康 -
業(yè)績(jī)掉隊(duì),貝因美失約年度目標(biāo)
2024-04-30 15:46 觀網(wǎng)財(cái)經(jīng)-消費(fèi) -
上市首年業(yè)績(jī)變臉,“新能源園林機(jī)械第一股”遭監(jiān)管靈魂拷問(wèn)
2024-04-30 12:02
相關(guān)推薦 -
操心中國(guó),美國(guó)“黑手”又要伸向馬來(lái)西亞和泰國(guó) 評(píng)論 134特朗普要求“大搞特搞”,美團(tuán)體急了:沒(méi)中國(guó)不行 評(píng)論 129“美國(guó)人,真正該擔(dān)心的時(shí)候到了” 評(píng)論 180直播:算法向善——共話AI與人類命運(yùn)共同體未來(lái) 評(píng)論 8“美國(guó)政府像青少年,拿信用卡揮霍,直到…” 評(píng)論 144最新聞 Hot
-
哈馬斯接受?;鹂蚣?,特朗普:好事
-
江蘇:縣級(jí)以下禁止開(kāi)發(fā)政務(wù)服務(wù)APP
-
“家庭主義者”盧特尼克,把歐盟鴿了
-
通話通了個(gè)寂寞?特朗普不滿,克宮回應(yīng)
-
“盯上”西非礦產(chǎn),特朗普將會(huì)晤非洲五國(guó)
-
英前防相挑釁:臺(tái)灣問(wèn)題上,西方對(duì)中國(guó)簡(jiǎn)直慫包…
-
操心中國(guó),美國(guó)“黑手”又要伸向馬來(lái)西亞和泰國(guó)
-
“特朗普要想訪華,先把臺(tái)灣問(wèn)題說(shuō)清楚”
-
“對(duì)以色列感到憤怒和警惕,沙特將與伊朗保持和解”
-
特朗普又給日本背后捅刀,逼得臺(tái)積電沒(méi)法了…
-
“大而美”法案通過(guò),馬斯克表態(tài)
-
朱時(shí)茂自曝被騙錢,“我還是反詐大使”
-
英F-35“趴窩”印度機(jī)場(chǎng)20天,快被“玩壞”了…
-
特朗普要求“大搞特搞”,美團(tuán)體急了:沒(méi)中國(guó)不行
-
“美國(guó)人,真正該擔(dān)心的時(shí)候到了”
-
涉及中國(guó),韓企與美國(guó)“一拍即合”
-