智算時(shí)代需要什么樣的存儲(chǔ)？

當(dāng)華為、滴滴、小鵬等一眾公司近期都紛紛曬出自動(dòng)駕駛汽車在復(fù)雜路況的行駛情況時(shí)，一個(gè)觸手可及的智慧時(shí)代真的是在加速到來。

在今年的浪潮數(shù)據(jù)中心合作伙伴大會(huì)（IPF）2021上，浪潮認(rèn)為在一個(gè)智慧時(shí)代里，智慧應(yīng)用無處不在，也帶來了指數(shù)級(jí)的計(jì)算需求，計(jì)算產(chǎn)業(yè)正加速進(jìn)行到智算時(shí)代，同時(shí)也面臨著多元化、巨量化和生態(tài)化的挑戰(zhàn)。

事實(shí)上，伴隨著計(jì)算走向異構(gòu)化、復(fù)雜化，AI模型走向巨量化，在存儲(chǔ)層面同樣會(huì)面臨著海量數(shù)據(jù)的誕生、存儲(chǔ)、管理和應(yīng)用等一系列挑戰(zhàn)與問題。正如西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼在IPF 2021大會(huì)上所言：“高速發(fā)展的人工智能在對(duì)數(shù)字經(jīng)濟(jì)產(chǎn)生巨大賦能和推動(dòng)的同時(shí)，也推動(dòng)整個(gè)計(jì)算產(chǎn)業(yè)往'智慧計(jì)算'方向演進(jìn)，巨量模型和海量數(shù)據(jù)，對(duì)算力和存儲(chǔ)的需求呈指數(shù)級(jí)增長，也將推動(dòng)著存儲(chǔ)架構(gòu)走向創(chuàng)新?！?/p>

AI摩爾定律背后的一筆數(shù)據(jù)賬

過去，應(yīng)用和場景通常是圍繞著業(yè)務(wù)流程展開；如今，幾乎所有的智慧應(yīng)用都是通過數(shù)據(jù)和算法來驅(qū)動(dòng)。

數(shù)據(jù)正在成為智算時(shí)代最核心的生產(chǎn)要素。隨著《十四五規(guī)劃報(bào)告》的頒布，在政策層面上推動(dòng)數(shù)字時(shí)代到來、激活數(shù)據(jù)要素潛能，加快建設(shè)數(shù)字經(jīng)濟(jì)、產(chǎn)業(yè)數(shù)字化等，為數(shù)字化的智慧應(yīng)用場景掃除了最后的障礙。

在一個(gè)智慧應(yīng)用井噴的時(shí)代里，解決算力需求首當(dāng)其沖，但亦不能忽視背后海量數(shù)據(jù)帶來的挑戰(zhàn)。以往，計(jì)算機(jī)處理器性能通常是遵循摩爾定律，每兩年左右時(shí)間增長一倍。如今隨著人工智能應(yīng)用在多個(gè)行業(yè)遍地開花，模型愈發(fā)復(fù)雜，AI在訓(xùn)練和推理對(duì)于算力的需求更加渴望。根據(jù)一些機(jī)構(gòu)統(tǒng)計(jì)，AI訓(xùn)練所需要的算力每3.43個(gè)月就翻一倍，AI摩爾定律揭示著一個(gè)對(duì)于算力極度渴求的時(shí)代到來。

以O(shè)penAI的GPT模型為例，GPT-1模型參數(shù)只有1.1億個(gè)，預(yù)訓(xùn)練數(shù)據(jù)量為5GB，最大層數(shù)為12層，到了GPT-2，模型參數(shù)增加到15億個(gè)，預(yù)訓(xùn)練數(shù)據(jù)量達(dá)到40GB，最大層數(shù)突破到48層；而去年五月發(fā)布的GPT-3，模型參數(shù)則高達(dá)1750億個(gè)，，預(yù)訓(xùn)練數(shù)據(jù)量高達(dá)45TB，最大層數(shù)高達(dá)96層。無論是模型規(guī)模、數(shù)據(jù)量、訓(xùn)練層數(shù)都是指數(shù)級(jí)增加。

西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼

僅僅一個(gè)模型在短短幾年內(nèi)就發(fā)生了驚人的演進(jìn)，隨著大量AI模型在行業(yè)中得到應(yīng)用，隨之而來的海量數(shù)據(jù)可想而知?？梢灶A(yù)見，在未來的智算時(shí)代中，海量數(shù)據(jù)的處理、存儲(chǔ)、流動(dòng)與管理將面臨著極為嚴(yán)峻的挑戰(zhàn)。

以自動(dòng)駕駛為例，一輛L4級(jí)的自動(dòng)駕駛車輛，每天就能夠誕生高達(dá)60TB的數(shù)據(jù)，根據(jù)法規(guī)需求，這些數(shù)據(jù)還要保存至少30年以上，自動(dòng)駕駛公司每天還需要不斷訓(xùn)練新數(shù)據(jù)，以實(shí)現(xiàn)模型的優(yōu)化。光自動(dòng)駕駛這一個(gè)場景的數(shù)據(jù)存儲(chǔ)、應(yīng)用、流動(dòng)和歸檔就充滿了挑戰(zhàn)。

“面對(duì)人工智能應(yīng)用帶來的挑戰(zhàn)，一定不能只用一種技術(shù)來解決，而是需要在存儲(chǔ)架構(gòu)層進(jìn)行創(chuàng)新?！眲撝毖缘?。

存儲(chǔ)架構(gòu)必然走向變革

歸根結(jié)底，數(shù)字經(jīng)濟(jì)的快速發(fā)展，讓智慧應(yīng)用在數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)處理等方面的需求比以往有了指數(shù)級(jí)的提升。如何讓這些海量數(shù)據(jù)能夠存得下、用得快、流得動(dòng)和管得好，是當(dāng)下存儲(chǔ)架構(gòu)最具挑戰(zhàn)的難題。

為此，西部數(shù)據(jù)開出了它的“組合藥方”：去中心化分布式存儲(chǔ)、分層存儲(chǔ)和分區(qū)存儲(chǔ)三大創(chuàng)新存儲(chǔ)架構(gòu)。

首先，去中心化分布式存儲(chǔ)解決的是讓更多數(shù)據(jù)存下來的難題。眾所周知，隨著區(qū)塊鏈、人工智能等技術(shù)逐漸在業(yè)務(wù)場景中走向融合，基于這些技術(shù)的智慧應(yīng)用正在數(shù)字版權(quán)、供應(yīng)鏈管理、醫(yī)療健康等多個(gè)行業(yè)誕生，隨之而來的就是海量數(shù)據(jù)，而去中心化分布式存儲(chǔ)將大幅降低存儲(chǔ)成本，存儲(chǔ)更多數(shù)據(jù)。

其次，分層存儲(chǔ)解決的是讓存儲(chǔ)資源可以物盡其用，充分滿足數(shù)據(jù)生命周期不同階段對(duì)于存儲(chǔ)資源的需求。劉鋼透露，西部數(shù)據(jù)根據(jù)數(shù)據(jù)對(duì)存儲(chǔ)時(shí)延、容量的需求，將分層存儲(chǔ)架構(gòu)劃分為五層：極熱存儲(chǔ)、熱存儲(chǔ)、溫存儲(chǔ)、冷存儲(chǔ)和極冷存儲(chǔ)，并且每一層都有對(duì)應(yīng)產(chǎn)品來保障。

比如像一些內(nèi)存計(jì)算、數(shù)據(jù)分析類的場景，對(duì)于數(shù)據(jù)處理性能極度渴望，就更加適合采用極熱存儲(chǔ)；而自動(dòng)駕駛等AI場景，對(duì)于數(shù)據(jù)處理性能、容量都有著很高的要求，采用熱存儲(chǔ)就非常符合?！皩?duì)于極熱存儲(chǔ)和熱存儲(chǔ)、溫存儲(chǔ)，西部數(shù)據(jù)都有著高性能SSD、主流SSD等不同方案來滿足需求?！眲摻榻B道。

眾所周知，在智慧應(yīng)用遍地開花的今天，閃存的容量、性能和成本正變得至關(guān)重要。尤其是當(dāng)前SSD容量點(diǎn)正在從4TB升級(jí)到8TB的關(guān)鍵時(shí)期，對(duì)于閃存廠商的產(chǎn)品、技術(shù)、產(chǎn)能是一場大考。劉鋼直言：“如今，大規(guī)模產(chǎn)能對(duì)于SSD很關(guān)鍵，西部數(shù)據(jù)和鎧俠戰(zhàn)友全球三分之一的份額，可以在產(chǎn)能層面提供充足的保障?！?/p>

此外，西部數(shù)據(jù)在閃存上的技術(shù)也讓其在智慧應(yīng)用中游刃有余，“西部數(shù)據(jù)在2月已經(jīng)發(fā)布了第六代162層3D NAND技術(shù)，橫向單元陣列密度比上一代提升了10%，晶圓尺寸減少40%，IO性能提升66%，可以滿足不斷增長的數(shù)據(jù)處理性能需求?！眲撗a(bǔ)充道：“在充足產(chǎn)能和領(lǐng)先技術(shù)的基礎(chǔ)上，西部數(shù)據(jù)還在控制器、高性能固件等縱向集成上進(jìn)行優(yōu)化，確保閃存在容量、性能、成本、功耗上實(shí)現(xiàn)最優(yōu)?！?/p>

第三個(gè)創(chuàng)新存儲(chǔ)架構(gòu)則是分區(qū)存儲(chǔ)，它致力于解決性能、規(guī)模、成本等問題，不再需要去過將近28%的榮譽(yù)空間，性能和QoS大幅提升，最大程度提升了存儲(chǔ)規(guī)模和利用率，并且有效降低存儲(chǔ)的TCO。

更加重要的是，西部數(shù)據(jù)的創(chuàng)新存儲(chǔ)架構(gòu)已經(jīng)在云服務(wù)、生物醫(yī)藥、區(qū)塊鏈等多個(gè)業(yè)務(wù)場景中得到了充分實(shí)踐與考驗(yàn)。

西部數(shù)據(jù)與浪潮：智算時(shí)代合作典范

面對(duì)智算時(shí)代多元化、巨量化和生態(tài)離散化的挑戰(zhàn)，不是一家公司所能應(yīng)對(duì)的。為此，浪潮在本次IPF大會(huì)上提出了元腦生態(tài)2.0計(jì)劃，打造智算時(shí)代開放包容生態(tài)體系，以吸納更多合作伙伴到智算產(chǎn)業(yè)大生態(tài)之中。

事實(shí)上，西部數(shù)據(jù)與浪潮堪稱成功合作的典范，針對(duì)智慧業(yè)務(wù)場景，雙方緊密配合，攜手打造解決方案。例如，西部數(shù)據(jù)與浪潮推出聯(lián)合解決方案，可以提供極致的存儲(chǔ)容量，同時(shí)降低集群的節(jié)點(diǎn)數(shù)量，與傳統(tǒng)方案相比，大幅降低功耗和機(jī)柜空間成本。

又如，浪潮存儲(chǔ)在元腦生態(tài)2.0基礎(chǔ)上推出了“元腦新存儲(chǔ)生態(tài)”，聯(lián)合各類合作伙伴構(gòu)建“以用戶為中心、以應(yīng)用為導(dǎo)向”的場景共同體，強(qiáng)調(diào)存儲(chǔ)系統(tǒng)針對(duì)智慧應(yīng)用將走向場景化、細(xì)分化、個(gè)性化，這恰恰與西部數(shù)據(jù)所強(qiáng)調(diào)針對(duì)業(yè)務(wù)數(shù)據(jù)特性采用不同技術(shù)的觀點(diǎn)高度契合。未來，西部數(shù)據(jù)與浪潮存儲(chǔ)在元腦新存儲(chǔ)生態(tài)建設(shè)上同樣有著巨大的合作空間。

劉鋼在最后也表示：“西部數(shù)據(jù)與浪潮結(jié)合雙方前沿科技與產(chǎn)品的獨(dú)特優(yōu)勢，協(xié)力打造出高性能、低成本、且兼具穩(wěn)定性與擴(kuò)展性等特點(diǎn)的卓越解決方案，優(yōu)化資源配置，賦能智慧計(jì)算。未來，雙方將繼續(xù)加強(qiáng)縱深合作，不斷以創(chuàng)新的數(shù)據(jù)存儲(chǔ)架構(gòu)和解決方案，應(yīng)對(duì)市場多樣化的需求，并攜手生態(tài)系統(tǒng)中的各方伙伴共同推動(dòng)智能產(chǎn)業(yè)的轉(zhuǎn)型與發(fā)展，為行業(yè)用戶創(chuàng)造更多價(jià)值?！?/p>

生成海報(bào)

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個(gè)人觀點(diǎn)，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。