觀察員
-
夸克AI實(shí)驗(yàn)室與浙大聯(lián)合開源OmniAvatar：音頻驅(qū)動全身視頻生成新突破
近日，夸克AI技術(shù)團(tuán)隊(duì)與浙江大學(xué)強(qiáng)強(qiáng)聯(lián)手，共同開源了一項(xiàng)創(chuàng)新成果——OmniAvata，這是一款領(lǐng)先的音頻驅(qū)動全身視頻生成模型，將為視頻生成領(lǐng)域帶來了革命性的變化。
傳統(tǒng)上，音頻驅(qū)動人體運(yùn)動的技術(shù)多集中于面部運(yùn)動，缺乏全身驅(qū)動能力，且難以進(jìn)行精確控制。而OmniAvatar的出現(xiàn)，徹底改變了這一現(xiàn)狀。只需要輸入一張圖片和一段音頻，OmniAvatar即可生成相應(yīng)視頻，且顯著提升了畫面中人物的唇形同步細(xì)節(jié)和全身動作的流暢性。不僅如此，該模型還可通過提示詞進(jìn)一步精準(zhǔn)控制人物姿勢、情緒、場景等要素。
此外，長視頻連續(xù)生成是音頻驅(qū)動視頻生成的難點(diǎn)，也是一項(xiàng)關(guān)鍵挑戰(zhàn)。為此，OmniAvatar通過參考圖像嵌入策略和幀重疊技術(shù)，確保了視頻的連貫性和人物身份的一致性。
本次突破不僅體現(xiàn)在產(chǎn)品層面，OmniAvatar的技術(shù)革新同樣值得關(guān)注。團(tuán)隊(duì)提出了一種基于像素的音頻嵌入策略，使音頻特征可以直接在模型的潛在空間中以像素級的方式融入，從而生成更協(xié)調(diào)、更自然的身體動作來匹配音頻。同時，采用多層級音頻嵌入策略，將音頻信息嵌入到DiT模塊的不同階段中，確保模型在不同層次上保持獨(dú)立的學(xué)習(xí)路徑。
為了解決完整訓(xùn)練和僅微調(diào)特定層所帶來的問題，團(tuán)隊(duì)還提出了一種基于LoRA的平衡微調(diào)策略。該策略使用LoRA策略高效地適應(yīng)模型，使模型能夠在不改變底層模型容量的情況下學(xué)習(xí)音頻特征，從而兼顧了視頻質(zhì)量與細(xì)節(jié)。
OmniAvatar是團(tuán)隊(duì)在多模態(tài)視頻生成上的初步嘗試，并在實(shí)驗(yàn)數(shù)據(jù)集上得到了初步驗(yàn)證，但尚未達(dá)到產(chǎn)品級應(yīng)用水平。未來，團(tuán)隊(duì)還將在復(fù)雜指令處理能力、多角色交互等方面進(jìn)一步探索，擴(kuò)大模型在更多場景中的應(yīng)用。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
- 責(zé)任編輯: 夏峰琳
-
紫金銀行合規(guī)“失血”：20元違法所得牽出240萬重罰
2025-07-25 12:06 金融觀察 -
寧波銀行業(yè)績快報：上半年凈利潤147.72億，增長8.23%
2025-07-24 21:30 金融觀察 -
辛選旗下衛(wèi)生巾被檢出硫脲引安全質(zhì)疑，品牌方回應(yīng)：不存在致癌問題
2025-07-24 20:26 -
中金黃金礦難致6死1傷，股價閃崩超8%，涉事礦區(qū)已停產(chǎn)
2025-07-24 14:50 -
專家：穩(wěn)定幣不是貨幣，但它帶來的影響遠(yuǎn)非貨幣可比
2025-07-24 08:45 金融觀察 -
停牌籌劃定增或成轉(zhuǎn)折點(diǎn)，“海洋館第一股”能否走出治理困局？
2025-07-23 22:46 -
自提30個冰淇淋被店員“背刺”，蜜雪冰城回應(yīng)
2025-07-23 19:31 觀茶咖 -
廣濟(jì)藥業(yè)信披違規(guī)領(lǐng)150萬罰單，董事長個人被罰80萬元
2025-07-23 19:18 觀網(wǎng)財經(jīng)-健康 -
萬物皆可代幣化？學(xué)者：三五年內(nèi)，穩(wěn)定幣領(lǐng)域或有大變局
2025-07-23 14:59 金融觀察 -
市監(jiān)總局：暫停對杜邦中國的反壟斷調(diào)查程序
2025-07-22 20:08 大公司 -
減肥藥風(fēng)口狂飆之下，諾泰生物財務(wù)造假“暴雷”
2025-07-22 19:16 觀網(wǎng)財經(jīng)-健康 -
星巴克中國試水"自習(xí)室"服務(wù)，拓展"第三空間"內(nèi)涵的新探索？
2025-07-22 17:08 觀茶咖 -
為什么企業(yè)要推動穩(wěn)定幣？業(yè)內(nèi)人士解讀
2025-07-22 10:18 金融觀察 -
浦發(fā)銀行2.95億存款“失蹤”案再掀波瀾：終審勝訴后執(zhí)行受阻，銀行反訴引爭議
2025-07-21 20:56 金融觀察 -
巴西咖啡出口商協(xié)會主席：美國加征關(guān)稅“害人害己”
2025-07-21 17:47 觀茶咖 -
桂發(fā)祥中期業(yè)績再現(xiàn)虧損：百年老字號遭遇轉(zhuǎn)型之困
2025-07-21 17:47 -
金融觀察員｜貨幣經(jīng)紀(jì)公司迎嚴(yán)監(jiān)管；浦發(fā)銀行北京分行被罰245萬
2025-07-21 17:06 金融觀察 -
-
*ST蘇吳公告：醫(yī)療器械注冊證代理人變更不影響艾塑菲獨(dú)家代理權(quán)
2025-07-18 17:46 觀網(wǎng)財經(jīng)-健康 -
玩文字游戲？奈雪的茶“瘦瘦小綠瓶”被指涉嫌虛假宣傳
2025-07-17 20:41 觀茶咖
相關(guān)推薦 -
最新聞 Hot
-
“砸錢抗中？美政府一時上頭，資本卻掉頭就跑”
-
傷亡過百！“泰國三軍齊上陣”
-
“卡德羅夫突然溺水，被緊急送醫(yī)”
-
“美西方仁慈？那套早不靈了，非洲人更信中國”
-
中國“衛(wèi)士”給無人機(jī)戴上了“緊箍咒”
-
伊朗司法機(jī)構(gòu)大樓恐襲事件 已致6死22傷
-
同省同名同姓“蔡光輝”，雙雙落馬
-
高關(guān)稅振興銅業(yè)？美國銅商當(dāng)頭一棒：還是會運(yùn)往中國
-
特朗普：哈馬斯找死
-
在日本鸚鵡學(xué)舌，捷克總統(tǒng)妄言：臺灣有事，歐洲也會有事
-
西班牙用華為，歐盟又作妖
-
澳大利亞前總理：我們不想卷入遏制中國發(fā)展的行動
-
最后一搏？馮德萊恩將與特朗普會面談判關(guān)稅
-
非常罕見！馬斯克致歉
-
美國務(wù)院調(diào)整對華架構(gòu)，“中國屋”換人接手
-
雅下工程令世界驚嘆，但它的意義仍被很多人低估了
快訊 -
- 聯(lián)系我們
- 關(guān)于我們
- 版權(quán)聲明
- 服務(wù)條款
- 刊登廣告
- 聯(lián)系微博
- 加入我們
- 網(wǎng)站地圖
- 舉報鏈接
- 舉報制度規(guī)范
- 《網(wǎng)站自律管理承諾書》
Copyright ? 2014-2024 觀察者 All rights reserved。
滬ICP備10213822號-2 互聯(lián)網(wǎng)新聞信息服務(wù)許可證：31220170001
網(wǎng)登網(wǎng)視備（滬）02020000041-1號 互聯(lián)網(wǎng)宗教信息服務(wù)許可證：滬（2024）0000009
廣播電視節(jié)目制作經(jīng)營許可證：（滬）字第03952號
增值電信業(yè)務(wù)經(jīng)營許可證：滬B2-20210968 違法及不良信息舉報電話：021-62376571
滬公網(wǎng)安備 31010502000027號
中國互聯(lián)網(wǎng)舉報中心
上海市互聯(lián)網(wǎng)違法與不良信息舉報中心
