成人免费午夜在线观看,伊人久久精品,一区二区三区精品

DeepSeek再一次發(fā)布了強(qiáng)大的開(kāi)源大模型。

1月20日，國(guó)內(nèi)大模型公司深度求索（DeepSeek）在其公眾號(hào)公布了新一代開(kāi)源大模型DeepSeek-R1，該模型號(hào)稱在數(shù)學(xué)、代碼、自然語(yǔ)言推理等任務(wù)上，性能比肩美國(guó)OpenAI公司最新的o1大模型正式版。

根據(jù)數(shù)據(jù)，DeepSeek-R1在算法類代碼場(chǎng)景（Codeforces）和知識(shí)類測(cè)試（GPQA、MMLU）中的得分略低于OpenAI o1，但在工程類代碼場(chǎng)景（SWE-Bench Verified）、美國(guó)數(shù)學(xué)競(jìng)賽（AIME 2024, MATH）項(xiàng)目上，均超過(guò)了OpenAI o1 。

其中，與深度求索上月發(fā)布的大模型DeepSeek-V3相比，DeepSeek-R1在AIME 2024和Codeforces中的得分提升了近一倍，而其余項(xiàng)均有不同程度的提升。

深度求索還更新了用戶協(xié)議，明確模型開(kāi)源License將統(tǒng)一使用標(biāo)準(zhǔn)的MIT許可，同時(shí)還允許用戶利用模型輸出、通過(guò)模型蒸餾等方式訓(xùn)練其他模型。按照深度求索數(shù)據(jù)顯示，在以DeepSeek-R1基礎(chǔ)上進(jìn)行“蒸餾”的6個(gè)小模型中，32B和70B模型在多項(xiàng)能力上都實(shí)現(xiàn)了對(duì)標(biāo)OpenAI的o1-mini 的效果。

面對(duì)這個(gè)令人矚目的成績(jī)，深度求索則解釋稱，DeepSeek-R1 后訓(xùn)練階段中大規(guī)模使用了強(qiáng)化學(xué)習(xí)（RL）技術(shù)，在僅有極少人工標(biāo)注數(shù)據(jù)的情況下，極大提升了模型推理能力。這意味著該模型幾乎跳過(guò)了監(jiān)督微調(diào)（SFT）步驟，就實(shí)現(xiàn)了推理能力自我提升。

DeepSeek-R1-Zero自然而然地學(xué)會(huì)用更多的思考時(shí)間來(lái)解決推理任務(wù)。深度求索

通常情況下，強(qiáng)化學(xué)習(xí)的好處是可以通過(guò)與外界評(píng)價(jià)反饋，不斷讓模型自我優(yōu)化，生成更符合人類偏好的內(nèi)容。而監(jiān)督微調(diào)則是指在預(yù)訓(xùn)練使用人工標(biāo)注的數(shù)據(jù)進(jìn)行干預(yù)，可以讓生成的內(nèi)容更準(zhǔn)確且符合預(yù)期，這也是當(dāng)年ChatGPT成功的關(guān)鍵。但從成本上來(lái)說(shuō)，強(qiáng)化學(xué)習(xí)雖然需要大量人類反饋，且訓(xùn)練復(fù)雜計(jì)算成本高，但監(jiān)督微調(diào)則非常依賴高質(zhì)量的人工標(biāo)注數(shù)據(jù)。

值得注意的是，目前深度求索向用戶提供的僅有DeepSeek-R1版本，而在其公開(kāi)測(cè)試結(jié)果中卻透露了另一個(gè)大模型 —— DeepSeek-R1-Zero。該模型完全通過(guò)大規(guī)模使用強(qiáng)化學(xué)習(xí)替代了監(jiān)督微調(diào)，但也導(dǎo)致了一些問(wèn)題，因此未對(duì)外公開(kāi)。

更重要的是，工作人員發(fā)現(xiàn)，在DeepSeek-R1-Zero自我學(xué)習(xí)的過(guò)程，隨著時(shí)間的增加，該模型“涌現(xiàn)”出了復(fù)雜的行為，如自我反思、評(píng)估先前步驟、自發(fā)尋找替代方案的情況，還包括一次“尤里卡時(shí)刻”（“aha moment）。

“尤里卡時(shí)刻”指人類突然理解一個(gè)以前無(wú)法理解的問(wèn)題或概念的某個(gè)時(shí)刻。

深度求索透露，這次“尤里卡”發(fā)生在DeepSeek-R1-Zero的的中間版本期間。當(dāng)時(shí)工作人員驚奇地發(fā)現(xiàn)，在一道數(shù)學(xué)題中，該模型學(xué)會(huì)了使用擬人化的語(yǔ)氣進(jìn)行自我反思，并主動(dòng)為問(wèn)題分配了更多地時(shí)間進(jìn)行重新思考。

深度求索稱，工作人員并沒(méi)有教DeepSeek-R1-Zero如何解決問(wèn)題，只是提供了正確的激勵(lì)，它就能自主發(fā)展出先進(jìn)的問(wèn)題解決策略?！斑@次尤里卡也提醒我們，強(qiáng)化學(xué)習(xí)有可能為人工智能解鎖新的智能水平，為以后發(fā)展出更自主和適應(yīng)性的模型鋪平道路?！?

不過(guò)，雖然DeepSeek-R1-Zero展示出了強(qiáng)大的推理能力，但自身也出現(xiàn)了一些語(yǔ)言混亂及可讀性的問(wèn)題，因此深度求索通過(guò)引入數(shù)千條高質(zhì)量的冷啟動(dòng)數(shù)據(jù)和多段強(qiáng)化學(xué)習(xí)來(lái)解決這些問(wèn)題，并獲得了上文中對(duì)外正式公布的DeepSeek-R1大模型。

目前，DeepSeek-R1 API 服務(wù)定價(jià)為每百萬(wàn)輸入 tokens 1 元（緩存命中）/ 4 元（緩存未命中），每百萬(wàn)輸出 tokens 16 元。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。