觀察員
-
和大模型語音聊天視頻通話？Qwen2.5-Omni開源
3月27日，通義千問Qwen系列中的全新多模態(tài)大模型Qwen2.5-Omni宣布開源。
Qwen2.5-Omni作為通義系列模型中首個端到端全模態(tài)大模型，可以同時處理包括文本、圖像、音頻和視頻等多種輸入，并實時合成輸出文本與自然語音。
這意味著，用戶可以和Qwen進行語音聊天和視頻通話，有網(wǎng)友對此表示強烈欣喜。
事實上，在一系列同等規(guī)模的單模態(tài)模型權威基準測試中，Qwen2.5-Omni在語音生成測評分數(shù)上達到了與人類持平的能力，這為該模型在語音和視頻通話的可行性上提供了數(shù)據(jù)層面的支撐。
在具體技術上，Qwen2.5-Omni采用了通義團隊全新首創(chuàng)的Thinker-Talker雙核架構、Position Embedding融合音視頻技術、位置編碼算法TMRoPE（Time-aligned Multimodal RoPE）。
雙核架構Thinker-Talker讓Qwen2.5-Omni擁有了人類的“大腦”和“發(fā)聲器”。Thinker負責處理和理解用戶輸入的內(nèi)容，Talker則輸出相應的語音標記。通過兩者的配合完成了端到端的統(tǒng)一模型架構，將實時語義理解與語音生成形成協(xié)同。
TMRoPE則通過時間軸對齊實現(xiàn)視頻與音頻輸入的精準同步，使得模型能夠準確地捕捉到不同模態(tài)數(shù)據(jù)在時間維度上的對應關系，從而為生成連貫、準確的內(nèi)容。
值得注意的是，Qwen2.5-Omni以7B的小尺寸讓全模態(tài)大模型在產(chǎn)業(yè)上的廣泛應用成為可能。用戶在手機上，也能輕松部署和應用Qwen2.5-Omni模型。
目前，開發(fā)者和企業(yè)可免費下載商用Qwen2.5-Omni。
本文系觀察者網(wǎng)獨家稿件，未經(jīng)授權，不得轉載。
標簽 Qwen- 責任編輯: 張睿佳
-
1.2億老年人聽力受損，專業(yè)服務機構給出新對策
2025-03-27 14:00 觀網(wǎng)財經(jīng)-消費 -
中國AI+！自主研發(fā)船體清潔機器人亮相全球
2025-03-27 13:09 觀網(wǎng)財經(jīng)-科創(chuàng) -
張亞東辭任董事長，綠城中國進入“中交時代”
2025-03-27 10:47 觀網(wǎng)財經(jīng)-房產(chǎn) -
庫克閃現(xiàn)網(wǎng)易與丁磊見面，體驗網(wǎng)易游戲
2025-03-27 09:04 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
經(jīng)歷了“不平凡”的一年，農(nóng)夫山泉業(yè)績挺住了
2025-03-26 22:03 觀網(wǎng)財經(jīng)-消費 -
凈利177億，但快手慢下來了
2025-03-26 21:46 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
AI與國運：中華文明將引領AI時代
2025-03-26 21:41 -
兩件“國之重器”，同一個幕后功臣！
2025-03-26 21:38 觀網(wǎng)財經(jīng)-科創(chuàng) -
上海全球投資促進大會：萬億級產(chǎn)業(yè)矩陣“磁吸”全球資本
2025-03-26 21:34 觀網(wǎng)財經(jīng)-宏觀 -
茶咖日報｜2024年新茶飲耗茶量30萬噸，占茶葉內(nèi)銷總量1/8
2025-03-26 21:32 觀網(wǎng)財經(jīng)-消費 -
中國移動將與阿里共同建設運營AI數(shù)據(jù)中心
2025-03-26 19:33 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
減持兩家虧損企業(yè)，螞蟻瘦身入賬7.75億元
2025-03-26 17:58 -
菜刀變鐮刀？張小泉大漲后宣布控股股東預重整
2025-03-26 16:52 觀網(wǎng)財經(jīng)-消費 -
騰訊新游定檔，或成端游新玩法“大三元”格局
2025-03-26 16:47 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
原華為、百度核心科學家領銜，中國最豪華具身智能團隊獲創(chuàng)紀錄融資
2025-03-26 16:16 觀網(wǎng)財經(jīng)-科創(chuàng) -
“起大早趕晚集”的谷歌大模型，這次真的“遙遙領先”了？
2025-03-26 15:06 -
胖東來，徹底“透明”
2025-03-26 14:26 觀網(wǎng)財經(jīng)-消費 -
補稅+罰款，印度要求三星支付44億
2025-03-26 14:04 觀網(wǎng)財經(jīng)-科創(chuàng) -
騰訊元寶上線最新DeepSeekV3模型
2025-03-26 13:53 觀網(wǎng)財經(jīng)-互聯(lián)網(wǎng) -
手機直連衛(wèi)星藍牙？藍凌星通完成數(shù)千萬元天使+輪融資
2025-03-26 13:52 觀網(wǎng)財經(jīng)-科創(chuàng)
相關推薦 -
最新聞 Hot
-
美方恢復出口，“不是恩賜也不是讓步，是我們斗爭來的”
-
想得真美！“美越協(xié)議這一條旨在孤立中國…”
-
“美國政府像青少年，拿信用卡揮霍，直到…”
-
“聽到東方驚雷了嗎？那是14億中國人在笑話美國”
-
“以色列和俄羅斯正進行秘密會談”
-
佩通坦基本盤還穩(wěn)嗎？泰國權力天平傾向何方
-
“不同于西方，中國正建設由技術驅動的福利模式”
-
中國駐泰國大使館：被騙至緬甸的男模特已獲救
-
“越南在走鋼絲，稍有不慎，就會惹惱中國”
-
最新民調(diào)：4成支持馬斯克成立新政黨
-
美伊下周在挪威談？
-
“俄美有興趣共同實施經(jīng)濟領域一些‘有前景的項目’，特別是能源”
-
人才引進被舉報中止1年后，再招考入圍名單與此前一致？包頭通報
-
特朗普威脅：周五，接關稅吧
-
“歐洲領導人向我求助，我提了建議”
-
“我簽署時候，B-2、F-22將從頭頂飛過”
-
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
