-
十年前的手機都能跑,阿里掏出了最適合落地的小模型?
(文/陳濟深 編輯/張廣凱)
上個月,阿里巴巴旗下的通義平臺正式推出了新一代模型Qwen3,登頂全球最強開源模型榜單。
值得注意的是,Qwen3系列模型共包含8款不同尺寸,除了兩個參數為30B和235B的MoE(混合專家系統(tǒng))大模型外,阿里本次推出了6款Dense(稠密)模型,6個是稠密模型,參數從0.6B到32B不等。
阿里一向非常重視小尺寸模型,這也算不上新聞了,不過其中最小的0.6B模型參數量僅為6億,作為對比,2019年2月發(fā)布的GPT-2參數量都有15億。這個模型的實際表現如何,讓人相當好奇。
為此,我們請教了一些專業(yè)開發(fā)者,并且自己也進行了測試,發(fā)現即使10年前的手機芯片都足以支持這款模型的推理運算,實際回答效果也能夠差強人意。而4B、8B等參數量的模型則有著更好的表現。
對于一次性更新八個開源模型的原因,阿里云CTO周靖人表示:不同模型其實就是盡量滿足從個人到企業(yè)的不同開發(fā)者的需求。比如手機端側可以用4B,電腦或汽車端側推薦8B,32B是企業(yè)最喜歡的尺寸,能商用大規(guī)模部署。
除了尺寸之外,有開發(fā)者指出,采用稠密架構的小模型,也比MoE的稀疏架構更適合企業(yè)的實際業(yè)務場景。在可以預見的未來,B端市場還是大模型變現的最重要場景,憑借快人一步的小尺寸模型布局,阿里正在這場競爭中搶占先機。
什么是稠密模型?
所謂稠密模型(Dense模型),是指神經網絡中層內神經元之間通過全連接(Fully Connected)方式連接,且所有參數對所有輸入樣本全局共享的模型。
相比使用稀疏模型MoE架構只會調用部分的參數資料,Dense模型對于任意輸入,模型的所有參數都會被激活并參與計算。
早期人們熟悉的大模型,都是以稠密架構為主。
以OpenAI為例,其GPT系列在GPT3前均使用了Dense模型,而后續(xù)GPT版本由于其閉源的特性,我們暫時不得而知其采用了哪類架構。
作為深度學習的 “基石”,稠密模型其核心價值在于簡單性、高效性和普適性,適用于大多數標準化、實時性或資源受限的場景。
但是隨著Scaling Law之下,大模型訓練所需的參數量呈幾何增長,稠密模型的訓練成本逐漸讓人難以承受,并且能力提升幅度也逐漸遭遇瓶頸,暴露了較難適應多樣化場景的問題。為此,MoE(混合專家系統(tǒng))模型作為解決方案應運而生。
相比于參數愈發(fā)膨脹的稠密模型,MoE架構是節(jié)約資源的一種設計,通過引入稀疏門控機制,每次執(zhí)行任務時只需要激活少數相關的子模型,從而降低訓練和推理成本。DeepSeek V3就是憑借MoE架構,實現了驚人的成本下降。
但是MoE架構也有缺點,如增加通信成本、微調中容易出現過擬合等。而稠密模型由于推理時計算路徑固定,無動態(tài)路由開銷,反而相比Moe架構更加適合實時在線客服、商品推薦、金融風控等需要低延遲響應的場景。
稠密模型除了有更加合適的匹配場景,對于個人開發(fā)者而言,Pytorch、TensorFlow等深度學習工具鏈對稠密模型的優(yōu)化已非常成熟,從分布式訓練到量化壓縮,形成了完整的技術棧。而MoE模型的工程實現由于還處在技術迭代階段,相比Dense模型沒有一套完整成熟的方案,對于個人開發(fā)者落地成本較高。
小模型能跑成啥樣?
那么作為小而美的模型,其運行門檻到底有多低?又會不會存在小而弱的情況呢?
在運行門檻層面,有開發(fā)者對觀察者網表示,其成功將Qwen3 0.6B模型安裝在一款搭載4核2.4G的CPU的設備中并成功運行。
開發(fā)者將Qwen 0.6B植入應用生成回答
如果要用手機芯片對比該CPU,最為接近的是發(fā)售于2014年的驍龍801芯片。該芯片為28nm制程,搭載4核2.5G CPU,并搭載了一顆Adreno 330的GPU,當年發(fā)售的小米4、三星Galaxy S5、OPPO Find7等手機均采用了該款芯片。
而這款當年的旗艦芯片放到2025年是妥妥的過時硬件,以小天才電話手表Z10為例,其搭載的高通W5芯片采用4nm架構,四核Cortex-A53的CPU,在Geekbench5單核跑分約500分,碾壓了驍龍801的200分。也就是說單核角度,現在小天才電話手表的CPU都是驍龍801的兩倍。
更值得注意的是,該開發(fā)者表示,其采用的設備只有CPU,沒有GPU。也就是說無論是10年前的小米手機,還是如今的小天才電話手表,都硬件性能都能支持順利運行Qwen3 0.6B的模型。
觀察者網也在iPhone 16 Pro Max(2024年上市,搭載蘋果3nm制程A18 Pro芯片)和索尼Xperia Z5(2015年上市,搭載高通20nm制程驍龍810芯片)上進行了測試。
在沒有任何優(yōu)化的情況下,兩款手機均能運行Qwen3 0.6B參數的Dense模型。不過在響應速度上,在關閉推理模式時,蘋果手機可以做到實時響應,索尼手機可以做到延遲1秒左右響應,而在開啟了推理模式后,蘋果手機則依然能迅速響應,索尼手機則需要接近10秒的時間才能響應,出現了顯著的延遲情況。
而在具體的問答環(huán)節(jié),在沒有任何優(yōu)化和適配的情況下,對其提問“天空為何是藍色的”和“生蠔是生的還是熟的”,Qwen3 0.6B沒能絲滑應對腦筋急轉彎,但也給出了勉強可用的回答。
Qwen3 0.6B回答生蠔問題
相比之下,4B的模型性能又有顯著提升,同樣詢問其“生蠔是生的還是熟的”問題后,它能夠準確回答出“生蠔”是名字,不是狀態(tài),可以是生的,也可以是熟的。
Qwen3-4B模型能夠詳細回答生蠔問題的答案
根據阿里官方的描述,Qwen3-4B性能可與Qwen2.5-72B-Instruct媲美,而Qwen考慮到目前智能手機基本均可以流暢本地運行Qwen3-4B模型,主流電腦基本均可以本地運行Qwen3-8B模型,這也代表著Qwen3小模型也可以完全勝任普通人需要的設備智能化的任務,相比滿血MoE大模型并不存在極其巨大的使用差距。
Qwen3發(fā)布后,上下游供應鏈第一時間進行適配和調用,尤其是強調了對小尺寸模型的適配,體現了業(yè)內對其能力的認可。
英特爾官方網站顯示,英特爾在車端艙內和AI PC上都對新發(fā)布的Qwen3系列模型完成匹配,使得搭載小模型的AI PC也能成為用戶助手。
英特爾官方展示Qwen3-0.6B模型優(yōu)化效果
國產芯片廠商海光信息也宣布其DCU完成對Qwen3全部8款模型的適配+調優(yōu),覆蓋235B、32B、30B、14B、8B、4B、1.7B、0.6B各種參數。
搶占AI應用爆發(fā)窗口期
如果說阿里更新的32B以上模型是為了對標乃至超越DeepSeek-R1,那么在小模型的技術線上,阿里又意欲何為呢?
我們在解釋Dense模型的特性時就提到,相比MoE模型,Dense模型更加適合一些需要準確性和實時反饋的業(yè)務場景,而阿里所在的電商、物流、金融科技等領域,天然就對大模型幻覺存在較低的容忍度。Dense模型相比MoE模型,會更加容易適配諸如商品智能推薦、智能客服、智能家居、智能眼鏡、自動駕駛、機器人等領域領域,與阿里自身的業(yè)務板塊和未來的發(fā)力方向較為契合。
而且,相比上一代模型支持29種語言,本次阿里開源大模型支持119種語言。對于阿里國際站、速賣通等平臺覆蓋的全球 200 多個國家和地區(qū),多語言尤其是小語種支持可直接降低語言壁壘,提升用戶體驗,屬于AI賦能自身業(yè)務的直觀體現。
而119種語言的背后也代表著阿里在持續(xù)加碼建設自己的開源生態(tài)。Qwen3系列模型依舊采用寬松的Apache2.0協議開源,全球開發(fā)者、研究機構和企業(yè)均可免費在魔搭社區(qū)、HuggingFace等平臺下載模型并商用,也可以通過阿里云百煉調用Qwen3的API服務。
具體到小模型在第三方的應用,多位AI開發(fā)者對觀察者網表示,在很多場景,小模型才是真正能干活的模型。
有人解釋道:“很多業(yè)務QPS(每秒查詢)都是以萬為數量級,而業(yè)務鏈路對于延遲的要求又極為嚴格(個位數毫秒),這種場景根本沒法塞一個大模型進去,哪怕是用7B級別的模型,對于顯存都是巨大的負擔。對于絕大部分無法承擔高額預算的企業(yè),0.6B、1.7B的小模型有著巨大的應用價值,不僅能少吃資源,還能支持高并發(fā)?!?
其補充表示:對于一些輕量的任務,不需要模型懂很多道理,只要能夠對輸入有感知,能夠識別信號輸出,就是合格的模型了。Qwen小模型的出現取代了TinyBERT,只要能夠實現快速、輕量、穩(wěn)定,那么這個模型在工業(yè)界就有很大的應用潛力。
另一位開發(fā)者則對觀察者網表示:“Qwen3-0.6B具有參數少、本地跑的特性,非常適合微調成匹配單一小任務的模型,比如文章提取、樣式整理、數據轉化,相比大模型存在巨大的性價比優(yōu)勢?!?
據了解,目前已有企業(yè)使用Qwen3的0.6B模型在邊緣設備(如工控機)部署,實時分析傳感器數據。
除了賦能自身業(yè)務和吸引開發(fā)者生態(tài),阿里也希望通過更加先進和適配的大模型搶占更多的C端入口。2024年底至2025年初,阿里通過一系列組織架構調整和人才布局推進AI To C戰(zhàn)略,將AI應用“通義”并入智能信息事業(yè)群,整合天貓精靈與夸克團隊,并聘請頂尖AI科學家許主洪負責AI To C業(yè)務研發(fā)。
有市場人士認為,此輪調整的背景是阿里通義APP的普及率不及預期。
通義千問憑借在多模態(tài)處理和復雜任務推理方面的技術優(yōu)勢,曾為阿里的B端企業(yè)服務及開發(fā)者生態(tài)提供了有力支撐。諸如飛豬旅行借助通義千問多模態(tài)模型,實現了用戶方言語音規(guī)劃行程的功能;Rokid AR眼鏡搭載其技術后,能夠進行實時翻譯。通義千問在大模型開源上跑得很快,但是,其“通義”App在C端應用上并沒有使出“撒手锏”。
AI市場競爭激烈,騰訊的混元大模型依托微信龐大的用戶基礎和生態(tài)優(yōu)勢,在微信多個入口為元寶爭取亮相的機會,對C端用戶形成“繭房式包裹”。字節(jié)跳動旗下的豆包借助抖音的推流優(yōu)勢,在2024年11月MAU飆升至5998萬,長期霸榜AI應用下載量榜單前三。
不過阿里在C端依然有潛力應用夸克。第三方數據顯示,2025年3月,夸克的MAU(月活躍人數)達到1.48億,登上國內AI應用榜首。
當前阿里的整體AI戰(zhàn)略布局,愈發(fā)強化通義千問與夸克的“雙子星”格局。通義千問專注于支撐云上智能,夸克則著力打造端側入口,協同推動阿里AI To C戰(zhàn)略的落地。
隨著C端滲透率不斷提升,算力成本會成為大模型企業(yè)不可承受之重,DeepSeek就曾經在爆火出圈時遭遇算力崩潰。如果能夠用小尺寸模型承接更多C端用戶需求,對于阿里自身成本控制和用戶體驗,都會有潛在的重要意義。
- 責任編輯: 陳濟深 
-
蘋果概念直線暴漲超15%,現貨黃金大跌
2025-05-12 16:01 觀網財經-科創(chuàng) -
歐洲指數集體高開,港股恒生科技漲超5%
2025-05-12 15:27 金融觀察 -
1至4月我國汽車產銷量首次雙超千萬輛
2025-05-12 15:24 -
匯源果汁聲明:“走向末路”不實,公司經營一切正常
2025-05-12 14:20 觀網財經-消費 -
八年后“首訪”又去中東,特朗普故意跳過以色列?
2025-05-12 14:18 巴以恩仇錄 -
國補刺激中國平板市場增長20%,華為份額甩開蘋果
2025-05-12 13:49 觀網財經-科創(chuàng) -
來伊份粽子驚現疑似帶血創(chuàng)可貼!代工方五芳齋也陷輿論漩渦
2025-05-12 13:38 觀網財經-消費 -
A股三大指數集體高開,?軍工、紡織服飾板塊走高
2025-05-12 09:50 金融觀察 -
消息人士回應“馬云回歸”;松延動力發(fā)布女性機器人小諾
2025-05-12 08:41 大公司 -
iPhone16系列降價,折疊屏相關部件已送樣測試
2025-05-10 22:37 觀網財經-科創(chuàng) -
華為何剛:Mate40用戶至少還有千萬,升級鴻蒙5.0還沒結論
2025-05-10 22:08 觀網財經-科創(chuàng) -
“歐洲在華企業(yè)偷著樂:機會來了”
2025-05-09 23:07 應對特朗普沖擊波 -
啤酒行業(yè)步入瓶頸,青島啤酒斥資6.65億向黃酒尋增量
2025-05-09 21:48 觀網財經-消費 -
央行:一季度貨幣政策逆周期調節(jié)效果較為明顯
2025-05-09 20:21 金融觀察 -
茶咖日報|“攻入”美國?消息稱瑞幸咖啡美國首店將落地紐約
2025-05-09 20:19 觀網財經-消費 -
上新20款養(yǎng)生水,盒馬怎么爭“滔滔不絕”?
2025-05-09 20:18 觀網財經-消費 -
聯想新平板疑搭載自研5nm芯片
2025-05-09 16:51 觀網財經-科創(chuàng) -
比5G快10倍!你的手機有5G-A了嗎?
2025-05-09 16:30 觀網財經-科創(chuàng) -
客服辱罵顧客還送冥幣?心相?。嘿~號異常
2025-05-09 16:10 觀網財經-消費 -
新進設備較多、產線遭遇突發(fā),中芯國際一季度收入不及預期
2025-05-09 14:59 觀網財經-科創(chuàng)
相關推薦 -
“特朗普都沒見到,你就往中國跑?”,澳總理黑臉… 評論 61佩通坦被停職,泰國副總理出任看守總理 評論 236加拿大“慫”了,歐盟也要讓步? 評論 97特朗普威脅日本:被寵壞了,貿易協議要告吹 評論 149最新聞 Hot
-
又鬧翻了!特朗普喊話馬斯克:補貼你拿的最多,DOGE應該查查
-
“特朗普都沒見到,你就往中國跑?”,澳總理黑臉…
-
“在中國果斷反制時,歐洲在為美國買單”
-
佩通坦被停職,泰國副總理出任看守總理
-
中國披露新型“石墨炸彈”?“可致目標區(qū)全面斷電”
-
加拿大“慫”了,歐盟也要讓步?
-
特朗普開炮:如果沒有補貼,馬斯克可能早就回南非老家了
-
榮昌區(qū)委書記高洪波回應帶頭下館子:我們都不消費,民生就沒有錢了
-
急急急!特朗普拉了一張表,再懟美聯儲
-
俄方宣稱完全占領盧甘斯克州
-
貶值超10%,美元今年開局表現創(chuàng)52年來最差
-
水均益曬新身份證,辟謠移民
-
伊朗警告烏克蘭:這么做,將產生嚴重后果
-
立菲防長沆瀣一氣:我們都有個“敵對鄰居”
-
“稀土禁令讓全球面臨抉擇:買中國的,不然沒得用”
-
小布什、奧巴馬罕見聯手譴責
-