成人免费午夜在线观看,伊人久久精品,一区二区三区精品

3月11日，據(jù)“科大訊飛研究院”公眾號(hào)，近日，科大訊飛攜手華為在國(guó)產(chǎn)算力領(lǐng)域取得重大進(jìn)展，雙方聯(lián)合團(tuán)隊(duì)率先突破國(guó)產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點(diǎn)專家并行集群推理，這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后，業(yè)界首個(gè)基于國(guó)產(chǎn)算力的全新解決方案。

科大訊飛介紹，聯(lián)合團(tuán)隊(duì)通過(guò)軟硬件的深度協(xié)同創(chuàng)新，在多個(gè)關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗(yàn)證和部署。在算子融合方面，團(tuán)隊(duì)在MLA預(yù)處理階段通過(guò)Vector與Cube異構(gòu)計(jì)算單元并行流水，并將多個(gè)小算子融合重構(gòu)為原子級(jí)計(jì)算單元，消除小算子下發(fā)開(kāi)銷，MLA前處理時(shí)延降低50%+，實(shí)現(xiàn)性能的顯著提升。

在混合并行策略和通信計(jì)算并行優(yōu)化方面，團(tuán)隊(duì)構(gòu)建了TP（張量并行）+EP（專家并行）混合范式：對(duì)MLA計(jì)算層采用機(jī)內(nèi)TP并行，發(fā)揮機(jī)內(nèi)高速互聯(lián)優(yōu)勢(shì)，降低跨機(jī)通信損耗；創(chuàng)新MoE專家分層調(diào)度，64卡均衡分配專家計(jì)算節(jié)點(diǎn)，定制AllToAll通信協(xié)議，專家數(shù)據(jù)交換效率提升40%，構(gòu)建跨機(jī)/機(jī)內(nèi)雙層通信架構(gòu)，通過(guò)分層優(yōu)化降低跨機(jī)流量60%；同時(shí)研發(fā)路由專家負(fù)載均衡算法，實(shí)現(xiàn)卡間負(fù)載差異小于10%，集群吞吐提升30%。

通過(guò)分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團(tuán)隊(duì)在國(guó)產(chǎn)算力上實(shí)現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。

科大訊飛稱，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí)，基于該方案的推理引擎也實(shí)現(xiàn)了國(guó)產(chǎn)算力上DeepSeek V3和R1的高效推理。

近期，科大訊飛深度推理大模型星火X1也完成升級(jí)，在模型參數(shù)量比業(yè)界同行少一個(gè)數(shù)量級(jí)的情況下，星火X1的數(shù)學(xué)能力全面對(duì)標(biāo)DeepSeek R1和OpenAI o1，在中文數(shù)學(xué)各項(xiàng)任務(wù)中均實(shí)現(xiàn)領(lǐng)先。科大訊飛始終堅(jiān)定走國(guó)產(chǎn)化道路，星火X1也是當(dāng)前唯一采用全國(guó)產(chǎn)算力訓(xùn)練的深度推理大模型。