成人免费午夜在线观看,伊人久久精品,一区二区三区精品

關(guān)注產(chǎn)業(yè)發(fā)展的估計(jì)都注意到了，華為從5月中旬開(kāi)始密集披露一批技術(shù)報(bào)告。從中不難發(fā)現(xiàn)，昇騰算力不僅能夠支撐工業(yè)級(jí)推理能力，實(shí)現(xiàn)Day0遷移、一鍵部署，還高效訓(xùn)練出了72B、718B等不同尺寸的盤古大模型。同時(shí)公布了盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報(bào)告，披露大量技術(shù)細(xì)節(jié)，充分展現(xiàn)了昇騰在超大規(guī)模MoE訓(xùn)練性能上的跨越。

相比推理，大模型訓(xùn)練對(duì)算力基礎(chǔ)設(shè)施的要求更高。在單芯片落后一代的情況下，系統(tǒng)工程依然是華為突圍的抓手。比如在超大規(guī)模MoE模型訓(xùn)練過(guò)程中，面對(duì)系統(tǒng)擁塞、資源不匹配的問(wèn)題，華為創(chuàng)造性地對(duì)計(jì)算、內(nèi)存、通信的極致優(yōu)化調(diào)度，并結(jié)合昇騰特點(diǎn)的親和設(shè)計(jì)和數(shù)學(xué)算法創(chuàng)新，實(shí)現(xiàn)了超級(jí)并行，獲得“動(dòng)態(tài)指標(biāo)”的提升。例如萬(wàn)卡昇騰集群上，訓(xùn)練做到了萬(wàn)卡集群41%的算力利用率，98%的集群可用性，95%的線性度，這些都是用戶使用中能感受到的真實(shí)算力。

坦白講，大規(guī)模計(jì)算集群最終比拼的就是綜合能力，而不是單芯片能力。比如在散熱這塊，大量芯片堆在一起會(huì)產(chǎn)生巨大熱量，散不出去的話就會(huì)導(dǎo)致系統(tǒng)癱瘓。再比如在光通信領(lǐng)域，光纖雖然有高帶寬和高速率的優(yōu)勢(shì)，但功耗高且比較脆弱，一個(gè)小問(wèn)題都可能導(dǎo)致系統(tǒng)斷聯(lián)。

“追求整體最優(yōu)，系統(tǒng)工程是每個(gè)廠商追求的目標(biāo)，就看能不能做到。超節(jié)點(diǎn)架構(gòu)要全互聯(lián)、不收斂、大帶寬、低時(shí)延，還要有軟件系統(tǒng)把資源管理起來(lái)，實(shí)現(xiàn)超級(jí)并行和高效調(diào)度，要讓系統(tǒng)平穩(wěn)工作，需要有大動(dòng)態(tài)的供電，高效的散熱等硬件工程能力。”華為技術(shù)專家說(shuō)道。

華為幾十年在電子信息領(lǐng)域，尤其是硬件工程和基礎(chǔ)軟件方面有很深的積累，不僅在光通信領(lǐng)域領(lǐng)跑行業(yè)，并且散熱工程也是行業(yè)最強(qiáng)，有能力把復(fù)雜系統(tǒng)做好。大概10年前，華為就在海外設(shè)立研究所，專門研究熱理論和熱工程，86個(gè)實(shí)驗(yàn)室中有一個(gè)是熱學(xué)實(shí)驗(yàn)室，不管是液冷還是風(fēng)冷，已經(jīng)是業(yè)界最領(lǐng)先的水平，這些都成為大規(guī)模訓(xùn)練高可靠的堅(jiān)實(shí)保障。

在云計(jì)算中心，華為云為超節(jié)點(diǎn)配備了全科專業(yè)醫(yī)生“昇騰云腦”，還打造了恒溫“訓(xùn)練基地”，采用液冷冷板散熱技術(shù)，讓冷媒直接接觸發(fā)熱部件，散熱效率比傳統(tǒng)風(fēng)冷提升了50%。再加上iCooling智能溫控系統(tǒng)，每五分鐘動(dòng)態(tài)調(diào)整策略，無(wú)論外部溫度怎么變化，都能讓數(shù)據(jù)中心保持最佳狀態(tài)。最終，數(shù)據(jù)中心的能效比PUE做到1.12，比行業(yè)平均節(jié)能70%。 

“競(jìng)爭(zhēng)力要上去，最終打鐵還需自身硬。我們會(huì)充分滿足國(guó)內(nèi)客戶的需要，不會(huì)掉鏈子?！比A為技術(shù)專家對(duì)觀察者網(wǎng)表示，“我們的理念也是這樣，通過(guò)實(shí)實(shí)在在的技術(shù)改進(jìn)，把競(jìng)爭(zhēng)力提上去，讓客戶用起來(lái)、用好，這是我們努力的方向。最困難的時(shí)候已經(jīng)過(guò)去了，這次披露也讓大家感受到了我們的開(kāi)放和進(jìn)步，增強(qiáng)客戶對(duì)我們的信心?！?

“開(kāi)放會(huì)使我們更加進(jìn)步”

在行業(yè)中，華為是少有的既做算力基礎(chǔ)設(shè)施，又做基礎(chǔ)大模型的。這樣的優(yōu)勢(shì)是，模型和算力底座團(tuán)隊(duì)可以深度協(xié)同，通過(guò)模型的訓(xùn)練，發(fā)現(xiàn)其中的挑戰(zhàn)和算力問(wèn)題，牽引算力改進(jìn)，算力改進(jìn)又支撐模型訓(xùn)推的進(jìn)步。這樣的牽引和支撐驅(qū)動(dòng)機(jī)制，更容易發(fā)現(xiàn)深層次的問(wèn)題。

華為同時(shí)也是開(kāi)放的。技術(shù)專家對(duì)觀察者網(wǎng)坦言，昇騰算力支持“百模千態(tài)”，包括千問(wèn)、DeepSeek等國(guó)內(nèi)大模型都開(kāi)放支持，華為把訓(xùn)練盤古過(guò)程中的創(chuàng)新技術(shù)和方案毫無(wú)保留地披露出來(lái)，有相關(guān)的代碼、技術(shù)文檔，還派專家到現(xiàn)場(chǎng)去支持客戶，支持他們用好昇騰。

“我們大模型toC應(yīng)用是使能華為手機(jī)競(jìng)爭(zhēng)力的提升為主；toB行業(yè)像礦山、鋼鐵、電力、交通、能源、醫(yī)療、金融、港口等是我們的主戰(zhàn)場(chǎng)，跟客戶沒(méi)有利益沖突關(guān)系，所以客戶也不擔(dān)心?！比A為技術(shù)專家坦言，在行業(yè)智能化應(yīng)用方面，華為重點(diǎn)聚焦關(guān)系到國(guó)計(jì)民生的國(guó)家“關(guān)基行業(yè)”，同時(shí)各行各業(yè)的需求也都會(huì)全力滿足，支持好中國(guó)在AI時(shí)代的算力需求。

不僅對(duì)客戶保持開(kāi)放，華為也對(duì)開(kāi)發(fā)者和高校深度開(kāi)放底層能力。比如昇騰異構(gòu)計(jì)算架構(gòu)CANN，堅(jiān)持深度開(kāi)放策略，一開(kāi)始就支持PyTorch、TensorFlow等業(yè)界開(kāi)源的框架，目前深度貢獻(xiàn)開(kāi)發(fā)者已有6000多人，通過(guò)在操作系統(tǒng)、算子算法、整圖優(yōu)化及加速庫(kù)等各個(gè)層面持續(xù)創(chuàng)新，與互聯(lián)網(wǎng)、運(yùn)營(yíng)商、金融等30多個(gè)伙伴，開(kāi)發(fā)了260多個(gè)高性能算子。

“華為每年在基礎(chǔ)研究上投入很大，基礎(chǔ)研究我們是很開(kāi)放的，除了自己研究，也大力資助高校，與高校聯(lián)合研究和技術(shù)合作，‘一杯咖啡吸收宇宙能量，一桶漿糊粘接世界智慧’，不斷沉淀組織能力，做到‘根深’。我們的科學(xué)家、專家也會(huì)深入業(yè)務(wù)的會(huì)戰(zhàn)，把理論和技術(shù)應(yīng)用到業(yè)務(wù)中，創(chuàng)造性解決實(shí)際業(yè)務(wù)難題，提升產(chǎn)品競(jìng)爭(zhēng)力，創(chuàng)造商業(yè)價(jià)值，實(shí)現(xiàn)‘葉茂’。在華為，我們把研究和創(chuàng)新有機(jī)地結(jié)合起來(lái)，實(shí)現(xiàn)‘根深葉茂’。”華為技術(shù)專家表示。

“開(kāi)放會(huì)促使我們更加進(jìn)步?！比握堑倪@一觀點(diǎn)不僅適用于國(guó)家，同樣適用于企業(yè)。可以說(shuō)，正是堅(jiān)持開(kāi)放和創(chuàng)新，才使得華為不斷取得技術(shù)突破，在單點(diǎn)技術(shù)被限制的時(shí)候，通過(guò)系統(tǒng)工程重獲優(yōu)勢(shì)。在日益復(fù)雜的國(guó)際環(huán)境下，昇騰算力平臺(tái)在訓(xùn)練和推理上的亮眼表現(xiàn)，不僅給行業(yè)提供了英偉達(dá)之外的新選擇，也為中國(guó)AI產(chǎn)業(yè)發(fā)展吃下了一顆“定心丸”。