成人免费午夜在线观看,伊人久久精品,一区二区三区精品

那能不能根據(jù)記憶熱度，在 HBM、DRAM、SSD等存儲介質(zhì)中分級緩存數(shù)據(jù)，讓模型能記住的KV Cache數(shù)據(jù)更多，同時(shí)能更智能、更快速的調(diào)用數(shù)據(jù)？就像人類一樣，可以把“記憶”放在大腦、書本和電腦等不同地方，按需快速調(diào)取。

華為這次推出的 “黑科技”UCM就是類似的思路。

UCM的全稱是“推理記憶數(shù)據(jù)管理器”（ Unified Cache Manager ），它 是一款以 KV Cache為中心的推理加速套件，融合了多類型緩存加速算法工具， 可以 分級管理推理過程中產(chǎn)生的 KV Cache記憶數(shù)據(jù)，擴(kuò)大推理上下文窗口，以實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token推理成本。

比如為了解決 “推得慢”的問題，UCM將 歷史已處理過的結(jié)果、歷史對話、語料庫、 RAG知識庫的數(shù)據(jù)以KV Cache的形式緩存至第三層的高性能外置共享存儲上，遇到已推理過、已緩存過的信息 不用再重新推理， 而是只用從外置存儲中查詢并調(diào)用即可，實(shí)現(xiàn)大幅推理加速，將首 token延遲降低90% ， 也節(jié)省了 token by token的時(shí)間。

有了這種能力，大模型還可以記住更多的歷史內(nèi)容和對話，不用再 “重復(fù)勞動”，以前生成內(nèi)容需要10秒，現(xiàn)在可能1秒就能搞定，顯著改善推理體驗(yàn)。

這還不是這項(xiàng) “黑科技”的全部。

關(guān)注大模型的都知道，隨著推理任務(wù)越來越長，長序列推理讓大模型常常 “只有七秒鐘記憶”，比如在分析一篇萬字長文時(shí)，由于HBM容量有限，緩存到前2000字可能就裝不下了，這就容易出現(xiàn)推理失敗、關(guān)鍵關(guān)聯(lián)信息丟失的情況，形成“推不動”的困境。

華為是如何解決的？

UCM通過一系列智能算法突破，對長序列內(nèi)容進(jìn)行切片，并把已處理的切片卸載到更大的DRAM或外置共享存儲，相當(dāng)于擴(kuò)充了HBM的容量，讓上下文窗口擴(kuò)大10倍、滿足長序列推理需求。換言之，模型的“記憶能力”從“記3頁紙”提升至“記30頁紙”。

更關(guān)鍵的是， 華為采用了注意力稀疏及相關(guān)技術(shù)，可以識別大量 KV Cache數(shù)據(jù)的重要程度、相關(guān)性和熱度，將重要的/不重要的、相關(guān)的/不相關(guān)的數(shù)據(jù) ， 分層分級地進(jìn)行緩存并流動。在下一次推理過程中，只需要把關(guān)鍵的、合適的向量提取出來即可，這也就降低了向量推理過程中向量的數(shù)量，提升整體吞吐量。

“ 面向推理加速的 KV數(shù)據(jù)，一定會有熱/溫/冷，不可能都用最貴的介質(zhì)，去存儲所有數(shù)據(jù)。我們做存儲系統(tǒng)有很深的體會，每類數(shù)據(jù)都有這個特征，都有一個生命周期，一定會用多層介質(zhì)解決性能問題，又平衡成本問題。 ”華為技術(shù)專家對觀察者網(wǎng)說道。

在存算協(xié)同能力深度加持下，通過多層介質(zhì)平衡性能和成本， “推得貴”也不再是難題。華為表示，無需過多投資，UCM就可以讓長序列場景下TPS（每秒處理token數(shù)）提升2-22倍，相當(dāng)于降低每Token推理成本，為企業(yè)減負(fù)增效。

UCM的意義，更像是華為的另一種“系統(tǒng)補(bǔ)單點(diǎn)”，它不是為了取代HBM，而是降低了對HBM的依賴，把HBM的優(yōu)勢發(fā)揮在更合適的地方。

在這種技術(shù)加持下，企業(yè)可以維持算力投入不變，僅花銷小部分外置存儲的投資，讓緩存原地 “升級”，改善推理效率、攤薄每token推理成本，進(jìn)而形成“用戶流量增大-企業(yè)收益-進(jìn)一步擴(kuò)大AI投資-技術(shù)快速迭代”的正循環(huán)，拉動中國整體AI水平提升。

聯(lián)合創(chuàng)新，驗(yàn)證技術(shù)價(jià)值

任何技術(shù)只有真正落地才能產(chǎn)生價(jià)值。華為UCM推出后，已經(jīng)攜手中國銀聯(lián)率先在金融典型場景開展UCM技術(shù)試點(diǎn)應(yīng)用。