成人免费午夜在线观看,伊人久久精品,一区二区三区精品

【文/觀察者網(wǎng) 周遠(yuǎn)方 編輯/尹哲】

7月9日，在2021世界人工智能大會(huì)(WAIC2021)上，上海交通大學(xué)與華為公司聯(lián)合發(fā)布了“數(shù)據(jù)密集型超算示范中心”。這是雙方繼4月份聯(lián)合成立“高性能計(jì)算&存儲(chǔ)技術(shù)聯(lián)合創(chuàng)新中心”以來的又一重磅合作。

上海交通大學(xué)黨委常委、副校長奚立峰，上海交通大學(xué)網(wǎng)絡(luò)信息中心副主任林新華，華為數(shù)據(jù)存儲(chǔ)與機(jī)器視覺產(chǎn)品線總裁周躍峰博士等嘉賓出席并見證。

上海交大與華為聯(lián)合發(fā)布“數(shù)據(jù)密集型超算示范中心”

何謂“數(shù)據(jù)密集型超算”？

華為數(shù)據(jù)存儲(chǔ)與機(jī)器視覺產(chǎn)品線總裁周躍峰介紹，近年來，隨著新技術(shù)的應(yīng)用和新興業(yè)務(wù)的快速發(fā)展，超算業(yè)務(wù)發(fā)生了重大改變，現(xiàn)在參與計(jì)算的數(shù)據(jù)越來越多，比如說一輛自動(dòng)駕駛汽車，每天訓(xùn)練所需數(shù)據(jù)大約60 TB，衛(wèi)星遙感遙測、天氣預(yù)報(bào)預(yù)測等等領(lǐng)域的超級計(jì)算需要大量的數(shù)據(jù)參與存儲(chǔ)計(jì)算，傳統(tǒng)的超算架構(gòu)，已經(jīng)遠(yuǎn)遠(yuǎn)不能夠滿足現(xiàn)在新型應(yīng)用的需求。這也是“數(shù)據(jù)密集型超算”這一創(chuàng)新理念的由來。

上海交通大學(xué)網(wǎng)絡(luò)信息中心副主任林新華介紹，所謂“數(shù)據(jù)密集型超算”是相對于傳統(tǒng)超算而言的。在本世紀(jì)初，配置超算時(shí)，存儲(chǔ)基本上是計(jì)算系統(tǒng)的附屬品，一般會(huì)花60%-70%的精力來配置CPU、網(wǎng)絡(luò)等等，最后再花10%-20%的精力配置調(diào)試數(shù)據(jù)和文件系統(tǒng)。

但是，從近10年的發(fā)展來看，數(shù)據(jù)的重要性慢慢超過了算力本身。以一個(gè)比較通俗的例子來說，如果某一天我們的手機(jī)丟了，可能最焦慮的是手機(jī)上的數(shù)據(jù)丟了，手機(jī)本身可能也會(huì)讓人心痛，但硬件是可以用錢買到的，而數(shù)據(jù)丟了可能會(huì)很麻煩。所以，以數(shù)據(jù)為中心打造算力的理念，現(xiàn)在變越來越重要。

數(shù)據(jù)密集型超算以數(shù)據(jù)為核心來打造算力，我們先配置好一個(gè)數(shù)據(jù)量在20P左右的龐大的數(shù)據(jù)池，不管是x86的算力平臺(tái)還是arm的算力平臺(tái)，都可以插入數(shù)據(jù)池中。底層的數(shù)據(jù)池是穩(wěn)定的，也可以擴(kuò)容，算力可以靈活配置，這樣，不管是對用戶還是運(yùn)維來說，都帶來極大的便利性。

對用戶來說，有時(shí)候有些數(shù)據(jù)需要用不同的算力計(jì)算，有時(shí)候需要用x86算完以后，再用人工智能來算，過去，這只能把大量數(shù)據(jù)從一臺(tái)超算拷貝到另一臺(tái)超算，非常麻煩，現(xiàn)在，數(shù)據(jù)池是統(tǒng)一的，算力只是上面插入的一個(gè)工具，可以隨時(shí)切換。“這就好比吃飯”，林新華說，“不同的算力相當(dāng)于勺子、叉子、筷子，不管用什么工具，關(guān)鍵是要吃到下面的飯”。

對運(yùn)維來說，過去，如果配置了一臺(tái)新的超算系統(tǒng)，就必需把老的系統(tǒng)上的數(shù)據(jù)都遷移到新的系統(tǒng)，對超算動(dòng)輒數(shù)百TB，甚至PB的數(shù)據(jù)量來說，這個(gè)過程費(fèi)時(shí)費(fèi)力，還很有可能造成數(shù)據(jù)錯(cuò)誤。數(shù)據(jù)密集型超算從理念上顛覆了這種方式，數(shù)據(jù)層不需要?jiǎng)?，算力就像插件一樣，可以根?jù)需要插入和調(diào)換。

對存儲(chǔ)提出更高要求

雖然說數(shù)據(jù)密集型超算的便利性顯而易見，但從存儲(chǔ)技術(shù)上，就提出了很高的要求。

林新華介紹，交大的“數(shù)據(jù)密集型超算示范中心”主要基于華為OeanStor Pacific高密專用硬件，其并發(fā)量和訪問性都相當(dāng)好，目前，交大的幾個(gè)算力平臺(tái)的CPU核總共有30000多個(gè)，在同一個(gè)并行文件系統(tǒng)中都可以穩(wěn)定運(yùn)行。

周躍峰介紹，存儲(chǔ)作為超級計(jì)算系統(tǒng)的數(shù)據(jù)底座，在傳統(tǒng)超算HPC向數(shù)據(jù)密集型超算HPDA升級的過程當(dāng)中，我們需要解決幾個(gè)挑戰(zhàn)，第一，數(shù)據(jù)量越來越大，第二，數(shù)據(jù)的類型越來越多，參與計(jì)算的數(shù)據(jù)類型，從過去的二進(jìn)制文件到今天的非結(jié)構(gòu)化數(shù)據(jù)，類型層出不窮。第三，不同類型的數(shù)據(jù)在計(jì)算的過程當(dāng)中需要進(jìn)行流動(dòng)，而且需要實(shí)現(xiàn)多種協(xié)議共享一份數(shù)據(jù)，避免數(shù)據(jù)耗時(shí)費(fèi)力的遷移。為了解決這些挑戰(zhàn)，我們和上海交大一起共同打造了數(shù)據(jù)密集型超算示范區(qū)，希望為這些世界級的難題提供答案，提供我們商業(yè)級的解決方案。

華為方面進(jìn)一步介紹，首先，解決海量數(shù)據(jù)存得下的問題，華為OeanStor Pacific高密專用硬件，基于全新的高密架構(gòu)設(shè)計(jì)，提供更高的容量利用率，在有限的機(jī)房空間里存下更多數(shù)據(jù)，更好地滿足海量數(shù)據(jù)增長的需要。

第二，支撐混合負(fù)載問題，交大的超算平臺(tái)，有時(shí)并行任務(wù)高達(dá)50個(gè)，有的任務(wù)要求頻繁的小數(shù)據(jù)量的讀取，也有的任務(wù)要求大文件的快速讀取，因此需要性能更加均衡的存儲(chǔ)。華為OceanStor Pacific推出了新一代分布式并行文件系統(tǒng)，同時(shí)支持高帶寬和高IOPS，通過與分布式并行客戶端（DPC）的密切配合，打破單流和單客戶端的性能瓶頸，有效應(yīng)對混合工作負(fù)載的挑戰(zhàn)。

第三，由于數(shù)據(jù)量的增大、數(shù)據(jù)應(yīng)用的復(fù)雜化，數(shù)據(jù)在不同環(huán)節(jié)、不同系統(tǒng)間高效流動(dòng)是數(shù)據(jù)密集型超算面臨的一個(gè)主要挑戰(zhàn)。華為推出多協(xié)議互通能力。多個(gè)存儲(chǔ)服務(wù)同時(shí)訪問一份數(shù)據(jù)，支持NFS、CIFS、HDFS和S3等協(xié)議的按需部署，通過其中一種協(xié)議寫入的數(shù)據(jù)，無需遷移即可被其他協(xié)議讀取，提高跨環(huán)節(jié)、跨系統(tǒng)的數(shù)據(jù)分析效率。

周躍峰表示，華為希望在世界中國數(shù)字化的浪潮過程當(dāng)中，特別是在中國東數(shù)西存、東數(shù)西算的大背景下，通過上海交大和華為公司的合作，能夠盡快使最新研究成果產(chǎn)業(yè)化、商業(yè)化，幫助國家各個(gè)行業(yè)真正實(shí)現(xiàn)數(shù)字化，真正實(shí)現(xiàn)超級計(jì)算走向平民化，解決我們生活生產(chǎn)當(dāng)中的各種問題。