成人免费午夜在线观看,伊人久久精品,一区二区三区精品

【文/觀(guān)察者網(wǎng)專(zhuān)欄作者 潘禺】

深度學(xué)習(xí)，這個(gè)在科技圈的熱門(mén)詞匯，究竟為何讓人如此著迷？它就像一個(gè)數(shù)據(jù)的探險(xiǎn)家，借助深層神經(jīng)網(wǎng)絡(luò)（DNN）在信息的海洋中探尋奧秘。而這里的“深度”就意味著一個(gè)層層深入的學(xué)習(xí)過(guò)程，能從復(fù)雜的數(shù)據(jù)中自動(dòng)提取有價(jià)值的特征，無(wú)需人類(lèi)費(fèi)勁心力去設(shè)計(jì)。

不論是圖像識(shí)別還是自然語(yǔ)言處理，深度學(xué)習(xí)已經(jīng)成為它們的幕后英雄。然而，當(dāng)你聽(tīng)到GPT或Transformer的名字時(shí)，是不是總?cè)滩蛔∠胫浪鼈儽澈蟮拿孛埽?

近來(lái)在網(wǎng)上被熱捧的中國(guó)“AI界拼多多”DeepSeek，以模型架構(gòu)的創(chuàng)新，在性能表現(xiàn)出眾的同時(shí)節(jié)約了顯存和計(jì)算資源，證明了中國(guó)人不是只能做從1-10的應(yīng)用創(chuàng)新，也能做從0-1的技術(shù)創(chuàng)新。你也許聽(tīng)說(shuō)過(guò)其創(chuàng)新的架構(gòu)設(shè)計(jì)，叫多頭潛在注意力（MLA）機(jī)制，想粗淺理解一下這是什么意思？

這正是本文的目的——用通俗易懂的語(yǔ)言，心智觀(guān)察所帶你回顧深度學(xué)習(xí)的發(fā)展史，從感知機(jī)的萌芽到GPT的輝煌，揭開(kāi)那些重要的技術(shù)突破。

從感知機(jī)到深度神經(jīng)網(wǎng)絡(luò)

讓我們回到1958年，那時(shí)候，F(xiàn)rank Rosenblatt提出了感知機(jī)，這可是神經(jīng)網(wǎng)絡(luò)的鼻祖。感知機(jī)就像一個(gè)簡(jiǎn)單的開(kāi)關(guān)，接收信號(hào)，加權(quán)計(jì)算，然后通過(guò)一個(gè)神奇的激活函數(shù)決定是開(kāi)還是關(guān)。這就像是在說(shuō)：“嘿，這個(gè)圖像是貓還是狗？”如果信號(hào)足夠強(qiáng)，它就會(huì)說(shuō)：“是貓！”否則就是：“不是貓！”通過(guò)學(xué)習(xí)，感知機(jī)能夠調(diào)整自己的權(quán)重，變得越來(lái)越聰明。

感知機(jī)的基本結(jié)構(gòu)類(lèi)似于生物神經(jīng)元，它接收多個(gè)輸入信號(hào)，并通過(guò)加權(quán)計(jì)算生成一個(gè)輸出信號(hào)。每個(gè)輸入代表一個(gè)特定的特征，例如圖像中的像素值。每個(gè)輸入都有一個(gè)與之關(guān)聯(lián)的權(quán)重，感知機(jī)會(huì)將所有輸入乘以相應(yīng)的權(quán)重，并將結(jié)果求和。

求和后的結(jié)果通過(guò)一個(gè)激活函數(shù)，決定輸出是0還是1。例如，如果和超過(guò)某個(gè)閾值，感知機(jī)輸出1，表示屬于某個(gè)類(lèi)別；否則輸出0。通過(guò)一組已標(biāo)注的訓(xùn)練數(shù)據(jù)，感知機(jī)可以調(diào)整輸入的權(quán)重，以不斷優(yōu)化其判斷的準(zhǔn)確性。

感知機(jī)特別適合用于處理線(xiàn)性可分的問(wèn)題，比如簡(jiǎn)單的分類(lèi)任務(wù)，例如判斷一封電子郵件是“垃圾郵件”還是“正常郵件”。然而，感知機(jī)也有其局限性，它只能處理線(xiàn)性可分的情況，也就是說(shuō)，對(duì)于一些更加復(fù)雜的非線(xiàn)性問(wèn)題（例如某些圖像識(shí)別任務(wù)），單層感知機(jī)無(wú)法得到正確的分類(lèi)。

盡管感知機(jī)有其局限性，但它的提出標(biāo)志著神經(jīng)網(wǎng)絡(luò)技術(shù)的開(kāi)端，隨后更復(fù)雜的多層神經(jīng)網(wǎng)絡(luò)得到了發(fā)展。

多層神經(jīng)網(wǎng)絡(luò)（也稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)）通常由多個(gè)層次構(gòu)成，包括輸入層、隱藏層和輸出層。每一層由多個(gè)神經(jīng)元組成，神經(jīng)元之間通過(guò)權(quán)重連接，形成一個(gè)復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)輸入數(shù)據(jù)通過(guò)網(wǎng)絡(luò)時(shí)，逐層進(jìn)行處理和變換，從而實(shí)現(xiàn)最終的輸出。

到了1986年，三位大師Rumelhart、Hinton和Williams推出了反向傳播（Backpropagation）算法，為訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)開(kāi)辟了新天地。這套算法的核心理念是：當(dāng)模型預(yù)測(cè)錯(cuò)了，就通過(guò)誤差信息“反向追蹤”，告訴每一層網(wǎng)絡(luò)的權(quán)重該如何調(diào)整。

Geoffrey Hinton

想象一下，反向傳播就像是老師在批改作業(yè)，指出學(xué)生的錯(cuò)誤并給予具體的改進(jìn)建議。它通過(guò)鏈?zhǔn)椒▌t計(jì)算梯度，逐層調(diào)整權(quán)重，最終讓模型的預(yù)測(cè)誤差越來(lái)越小。

梯度計(jì)算的目的是為了找到損失函數(shù)的最小值。損失函數(shù)衡量了網(wǎng)絡(luò)預(yù)測(cè)輸出與實(shí)際輸出之間的差異，優(yōu)化的過(guò)程就是通過(guò)調(diào)整網(wǎng)絡(luò)中的權(quán)重和偏差來(lái)使得損失函數(shù)的值不斷降低，從而提高模型的預(yù)測(cè)性能。

反向傳播算法的核心在于通過(guò)鏈?zhǔn)椒▌t有效地計(jì)算每個(gè)參數(shù)（權(quán)重）的梯度，從而優(yōu)化網(wǎng)絡(luò)的性能。

整個(gè)過(guò)程中，在網(wǎng)絡(luò)中輸入數(shù)據(jù)，神經(jīng)元通過(guò)激活函數(shù)計(jì)算輸出，從輸入層一路傳播到輸出層。預(yù)測(cè)輸出與實(shí)際輸出之間的誤差（損失函數(shù)）被計(jì)算出來(lái)，這個(gè)誤差將用于后續(xù)的權(quán)重更新。

反向傳播從輸出層開(kāi)始，首先，計(jì)算輸出層每個(gè)神經(jīng)元的誤差，通常使用均方誤差（MSE）等損失函數(shù)來(lái)衡量。然后，通過(guò)鏈?zhǔn)椒▌t將輸出層的誤差向后傳播到每一個(gè)隱藏層。對(duì)每一層神經(jīng)元的各個(gè)權(quán)重進(jìn)行求導(dǎo)，計(jì)算出每個(gè)權(quán)重對(duì)應(yīng)的梯度。最后，使用計(jì)算得到的梯度信息，通過(guò)優(yōu)化算法（如梯度下降法），調(diào)整網(wǎng)絡(luò)中的權(quán)重，以減小預(yù)測(cè)誤差。這一過(guò)程會(huì)反復(fù)進(jìn)行，直至網(wǎng)絡(luò)收斂到一個(gè)較低的誤差水平。

盡管這一算法解決了訓(xùn)練深層網(wǎng)絡(luò)的技術(shù)難題，但受限于當(dāng)時(shí)的計(jì)算資源和數(shù)據(jù)量，深度學(xué)習(xí)的發(fā)展仍然步履蹣跚。

梯度消失也是一個(gè)問(wèn)題，隨著網(wǎng)絡(luò)層數(shù)的增加，反向傳播過(guò)程中，誤差的梯度可能會(huì)逐漸減小至接近零，導(dǎo)致權(quán)重更新變得非常緩慢，影響模型的學(xué)習(xí)效果。

卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)

面對(duì)深度學(xué)習(xí)的瓶頸，科學(xué)家們開(kāi)始研發(fā)針對(duì)不同任務(wù)的專(zhuān)用網(wǎng)絡(luò)模型。其中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）成為了兩大明星。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是為了解決傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)在處理圖像數(shù)據(jù)時(shí)的效率和精度問(wèn)題而提出的。CNN通過(guò)引入卷積操作，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，有效地解決了一系列圖像處理中的挑戰(zhàn)。

想象一下，你是一位偵探，正在分析一幅復(fù)雜的地圖（例如城市的俯視圖）。這幅地圖包含許多細(xì)節(jié)：道路、建筑物、河流等。為了找到重要的信息，你不會(huì)一次性看完整張地圖，而是使用一個(gè)“放大鏡”逐步掃描地圖的不同區(qū)域。

放大鏡就是卷積核，放大鏡是一個(gè)固定大小的工具（例如 3x3 的矩陣），你用它覆蓋地圖的一個(gè)小區(qū)域（感受野），捕捉局部特征（如建筑物形狀或道路交叉口）。

逐步移動(dòng)放大鏡就是卷積操作，你會(huì)逐步移動(dòng)放大鏡（滑動(dòng)窗口），掃描整張地圖。每次移動(dòng)時(shí)，你記錄下當(dāng)前區(qū)域的特征。每個(gè)小區(qū)域的分析結(jié)果都會(huì)形成一張“總結(jié)表”（特征圖），告訴你哪些區(qū)域更重要。多層放大鏡就是多層卷積，你可以用不同的放大鏡（卷積核）關(guān)注不同的細(xì)節(jié)，例如一個(gè)看建筑形狀，另一個(gè)看道路模式。經(jīng)過(guò)多層分析后，你能更全面地理解整張地圖。

與CNN不同，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是為了解決序列數(shù)據(jù)學(xué)習(xí)任務(wù)而提出的，它特別適合處理時(shí)間序列或序列數(shù)據(jù)（如文本、音頻等）。

想象你正在閱讀一本小說(shuō)，而不是一口氣看完整本書(shū)，你會(huì)逐句閱讀，并不斷記住之前的信息，以便理解當(dāng)前的情節(jié)。

當(dāng)前句子就是當(dāng)前時(shí)間步的數(shù)據(jù)，每次你只看一小段內(nèi)容（一個(gè)時(shí)間步的輸入，例如一個(gè)單詞或一句話(huà)）。你的記憶力就是隱藏狀態(tài)（Hidden State），你會(huì)用“記憶力”記住之前的內(nèi)容（例如上一章發(fā)生了什么），并結(jié)合當(dāng)前句子的內(nèi)容，理解當(dāng)前的情節(jié)。每次閱讀新的句子時(shí)，你的理解依賴(lài)于之前的記憶。

例如，讀到“她突然哭了”時(shí)，你需要記得前面提到她失去了最好的朋友。這種前后依賴(lài)就是循環(huán)結(jié)構(gòu)。如果你的記憶力有限（梯度消失問(wèn)題），可能會(huì)忘記很久之前的細(xì)節(jié)。例如，剛讀完的句子影響最大，而幾章之前的內(nèi)容逐漸淡忘。遺忘舊信息，對(duì)應(yīng)于模型中的信息遺忘機(jī)制。

CNN就像一位用放大鏡掃描圖片的偵探，逐步提取局部信息并整合成全局理解，非常適合處理圖像數(shù)據(jù)。RNN就像一個(gè)讀者，逐步讀取和理解時(shí)間序列數(shù)據(jù)（例如文本或語(yǔ)音），通過(guò)記憶力捕捉前后文的關(guān)聯(lián)。

RNN在處理時(shí)間序列數(shù)據(jù)時(shí)，會(huì)遇到的梯度消失和梯度爆炸問(wèn)題。梯度消失是指，在反向傳播過(guò)程中，隨著時(shí)間步的增加，梯度值可能不斷減小，最終導(dǎo)致網(wǎng)絡(luò)難以更新前面時(shí)刻的權(quán)重。這使得模型無(wú)法有效學(xué)習(xí)長(zhǎng)程依賴(lài)的信息。相反，某些情況下，梯度可能會(huì)迅速增大，導(dǎo)致數(shù)值不穩(wěn)和模型難以訓(xùn)練，這就是梯度爆炸。

另外，傳統(tǒng)RNN在處理上下文關(guān)聯(lián)時(shí)，較難捕捉到長(zhǎng)時(shí)間間隔的依賴(lài)關(guān)系。例如，在分析一段文本時(shí)，可能需要理解更早時(shí)間位置的信息，而標(biāo)準(zhǔn)RNN的設(shè)計(jì)無(wú)法保證。

為了解決這些問(wèn)題，Sepp Hochreiter和Jürgen Schmidhuber在1997年提出一種特殊類(lèi)型的遞歸神經(jīng)網(wǎng)絡(luò)（RNN），也就是長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM，Long Short-Term Memory）。LSTM通過(guò)引入門(mén)控機(jī)制，有效解決了上述問(wèn)題。

Jürgen Schmidhuber

想象你在聽(tīng)一場(chǎng)漫長(zhǎng)的演講。速記員需要快速記錄演講中的關(guān)鍵內(nèi)容，同時(shí)避免被冗長(zhǎng)的信息淹沒(méi)。

速記員有一本筆記本，專(zhuān)門(mén)用來(lái)記錄重要的內(nèi)容（長(zhǎng)期記憶），但他必須謹(jǐn)慎選擇哪些信息應(yīng)該保留。筆記本就是細(xì)胞狀態(tài)（Cell State），可以理解為記憶單元，能夠存儲(chǔ)信息，并在序列處理過(guò)程中通過(guò)門(mén)控機(jī)制進(jìn)行調(diào)整。記憶單元的狀態(tài)可以在長(zhǎng)時(shí)間內(nèi)保持，不易受到梯度消失的影響。

速記員會(huì)根據(jù)當(dāng)前聽(tīng)到的話(huà)，判斷哪些信息值得記錄。如果是重要內(nèi)容（例如演講的核心觀(guān)點(diǎn)），就寫(xiě)入筆記本；如果是無(wú)關(guān)信息（例如冗長(zhǎng)的細(xì)節(jié)），就忽略。速記員的耳朵就是輸入門(mén)（Input Gate），輸入門(mén)控制信息的流入，即決定哪些新信息需要加入到記憶單元。它通過(guò)激活函數(shù)的組合來(lái)實(shí)現(xiàn)，輸出值在0到1之間，控制著輸入的程度。

為了保持筆記簡(jiǎn)潔，速記員會(huì)定期用橡皮擦擦掉不再重要的信息。例如，早前提到的背景內(nèi)容可能在后續(xù)的演講中已經(jīng)無(wú)用。速記員的橡皮擦就是遺忘門(mén)（Forget Gate），遺忘門(mén)用于控制記憶單元中信息的丟棄程度，決定哪些信息是多余的或不需要保持的。它也是通過(guò)激活函數(shù)來(lái)實(shí)現(xiàn)，輸出值越接近1，表示越應(yīng)該保留信息。

每當(dāng)有人問(wèn)速記員演講的核心內(nèi)容時(shí)，他會(huì)從筆記本中提取關(guān)鍵點(diǎn)，用清晰的語(yǔ)言表達(dá)出來(lái)。速記員的總結(jié)就是輸出門(mén)（Output Gate），輸出門(mén)決定從記憶單元中輸出哪些信息，它根據(jù)當(dāng)前輸入和前一個(gè)隱狀態(tài)來(lái)設(shè)置輸出的權(quán)重。

LSTM就像一位精明的速記員，通過(guò)門(mén)控機(jī)制管理信息流動(dòng)，在長(zhǎng)時(shí)間的任務(wù)中高效記錄關(guān)鍵內(nèi)容，忽略無(wú)用的細(xì)節(jié)。LSTM的關(guān)鍵是能有效地記住長(zhǎng)期重要的信息，同時(shí)舍棄無(wú)用的內(nèi)容，因此比普通的RNN更聰明，因?yàn)樗鉀Q了普通RNN記憶力短、容易忘記長(zhǎng)距離依賴(lài)問(wèn)題的缺點(diǎn)。其獨(dú)特的結(jié)構(gòu)和功能使其在捕捉長(zhǎng)程依賴(lài)和順序信息上具有顯著優(yōu)勢(shì)，廣泛應(yīng)用于語(yǔ)音識(shí)別、自然語(yǔ)言處理、時(shí)間序列分析等多個(gè)領(lǐng)域。

隨著硬件（GPU）的進(jìn)步和大規(guī)模數(shù)據(jù)集（如 ImageNet）的興起，深度學(xué)習(xí)得到突破。ImageNet是一個(gè)由超過(guò)1400萬(wàn)標(biāo)注圖像構(gòu)成的大型圖像數(shù)據(jù)庫(kù)，涵蓋了多種類(lèi)別的物體。它為深度學(xué)習(xí)研究提供了豐富的數(shù)據(jù)支持。2012年，AlexNet利用CNN在ImageNet比賽中取得革命性成果，標(biāo)志著深度學(xué)習(xí)的全面復(fù)興。

在AlexNet之前，計(jì)算機(jī)視覺(jué)領(lǐng)域主要依賴(lài)傳統(tǒng)的特征提取技術(shù)，這些技術(shù)通常需要手動(dòng)設(shè)計(jì)特征提取算法。盡管一些基本的機(jī)器學(xué)習(xí)算法（如支持向量機(jī)）被應(yīng)用于圖像分類(lèi)，但在復(fù)雜性的處理上受到了限制。在2010年及之前，雖然已有的深度學(xué)習(xí)模型在一些任務(wù)上取得了成功，但大規(guī)模數(shù)據(jù)集的處理能力以及計(jì)算資源的短缺限制了深度學(xué)習(xí)方法的推廣與發(fā)展。

在2012年的ILSVRC比賽中，AlexNet以超過(guò)15.3%的錯(cuò)誤率取得了第一名，而第二名的錯(cuò)誤率為25.7%。AlexNet的架構(gòu)設(shè)計(jì)中包含了一些重要的創(chuàng)新點(diǎn)，如更深的神經(jīng)網(wǎng)絡(luò)、訓(xùn)練過(guò)程中的數(shù)據(jù)增強(qiáng)與圖像預(yù)處理、充分利用了圖形處理單元（GPU）進(jìn)行并行計(jì)算，大幅提高了訓(xùn)練速度。這成功展示了卷積神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)中的強(qiáng)大能力，也為后續(xù)深度學(xué)習(xí)研究與應(yīng)用創(chuàng)造了廣闊的前景。