全閃存存儲的歷史性時刻到來!
Gartner最新數(shù)據(jù)顯示,2023年第一季度全球外部存儲市場同比增長0.5%;其中,全閃存陣列同比增長3.6%,市場規(guī)模超過非全閃存陣列,占整個外部存儲市場收入的50.4%。
這標志著數(shù)據(jù)存儲市場的拐點已來臨。過去幾年,全球經(jīng)濟和市場經(jīng)歷了大的動蕩與變化,全閃存存儲依然能穿越周期和保持增長,實屬難能可貴。
與此同時,隨著千行百業(yè)的數(shù)字化轉型步入深水區(qū),數(shù)據(jù)已然成為數(shù)字化時代的核心生產(chǎn)要素、戰(zhàn)略資源以及價值創(chuàng)造的基礎,大數(shù)據(jù)、機器學習、大模型等新應用的蓬勃發(fā)展,既帶來PB級容量、千萬IOPS、智能化管理等全新的數(shù)據(jù)存儲需求,也加速驅動著一個全閃存時代的到來。
全閃存為何能當?shù)?/strong>
很長一段時間內,外部存儲系統(tǒng)領域一直都是傳統(tǒng)機械硬盤唱主角,直到2008年閃存才正式在高端存儲系統(tǒng)中得到應用。2010年左右,Violin Memory、PureStorage、XtremIO等大批全閃存陣列初創(chuàng)公司的出現(xiàn),標志著全閃存系統(tǒng)浪潮的興起。
從傳統(tǒng)機械硬盤到閃存,不僅僅是介質的一次升級,更意味著數(shù)據(jù)中心基礎設施的一次重構。
眾所周知,傳統(tǒng)機械硬盤近年來陷入技術瓶頸,在容量密度、性能等方面增長緩慢,使得基于機械硬盤的傳統(tǒng)存儲系統(tǒng)愈發(fā)難以滿足各種應用的數(shù)據(jù)存儲需求;相反,基于閃存的全閃存儲具備高密度、高可靠、高性能、低延遲、低能耗等特征,逐漸成為數(shù)據(jù)中心基礎設施的主力軍。
歸根結底,用戶在數(shù)據(jù)存儲需求層面發(fā)生的根本性變化,是推動全閃存儲逐漸獲得用戶青睞的一大動因,也使得全閃存在數(shù)據(jù)中心等基礎設施領域徹底打開市場局面:
其一、全閃存適用的應用場景正呈現(xiàn)出多點開花的局面。過去,人們普遍認為全閃存只適合那些要求百萬IOPS和毫秒延遲的數(shù)據(jù)庫等核心業(yè)務場景;事實上,當前全閃存所承載的業(yè)務場景遠比過去豐富,除了數(shù)據(jù)庫、ERP、虛擬化等傳統(tǒng)業(yè)務應用之外,像自動駕駛、大模型、大數(shù)據(jù)分析、分布式數(shù)據(jù)庫等新興應用均是首選全閃存。
例如,在各種大促場景中,很多金融機構用戶會利用全閃存來應對短時間內的流量高峰;在智慧醫(yī)療場景,醫(yī)院會通過全閃存來支撐起多臺醫(yī)療設備對于PACS系統(tǒng)同時連續(xù)寫入,為各種人群提供良好的體驗;在大模型訓練場景,頻繁從數(shù)據(jù)集讀取Token非常容易形成實時高并發(fā)的海量小IO,需要全閃存的大帶寬、高IOPS來匹配業(yè)務需求……
其二、應用場景對于數(shù)據(jù)實時性的需求正變得極度渴望,也讓全閃存如魚得水。眾所周知,“天下武功唯快不破”,在數(shù)據(jù)成為價值創(chuàng)新基礎的今天,企業(yè)對于業(yè)務決策、產(chǎn)品研發(fā)、用戶體驗優(yōu)化等也是“快”字當頭,直接驅動著對于數(shù)據(jù)存儲性能的需求。
以當前已在智能客服、生物識別、互聯(lián)網(wǎng)金融、精準營銷等場景中廣泛落地的AIGC為例,其在金融虛擬客服應用場景中,往往模型參數(shù)達到千億級,原始數(shù)據(jù)高達PB級,具有持續(xù)的低延時和高帶寬等業(yè)務特性,全閃存在大模型訓練和推理場景中發(fā)揮著關鍵作用,AIGC領域的用戶們幾乎清一色選擇全閃存。
其三、數(shù)據(jù)中心近年來設備數(shù)量大幅增加,無形中增加了數(shù)據(jù)中心運維管理的成本與復雜性,并對于基礎設施的可靠性帶來了更多風險,而在同等性能與容量的情況下,全閃存無疑能夠帶來更有效且精簡的基礎設施,并且具備比傳統(tǒng)存儲設備更高的可靠性。
其四、隨著雙碳目標的提出,越來越多企業(yè)有著節(jié)能降耗的壓力。在相同容量、相同性能的情況下,全閃存存儲的設備數(shù)量、能耗和空間要遠低于基于機械硬盤的存儲系統(tǒng)。相關數(shù)據(jù)預測,到2025年,數(shù)據(jù)中心能耗將占全球總能耗4.5%,這其中數(shù)據(jù)存儲又是數(shù)據(jù)中心的能耗大戶,采用全閃存來降低能耗已經(jīng)成為越來越多用戶的選擇。
除了用戶需求層面的驅動外,全閃存在閃存介質、接口協(xié)議、軟件架構以及應用生態(tài)支持等方面也取得長足進步和全面蛻變,真正實現(xiàn)了內外兼修和軟硬兼施,契合數(shù)據(jù)存儲需求的變化。
技術生態(tài)迎來全面蛻變
某種程度而言,數(shù)據(jù)存儲需求的變化與閃存技術的發(fā)展就像一場雙向奔赴,彼此獲得價值實現(xiàn)的同時,也讓數(shù)據(jù)中心基礎設施獲得徹底重構。在這場雙向奔赴中,全閃存儲就像一股催化劑,加速了重構的速度與范圍。
具體來看,閃存性能雖出眾,但成本一直相對較高,這與很多用戶持續(xù)的數(shù)據(jù)增長需求不匹配。為此,閃存介質近年來飛速發(fā)展,在容量和成本上獲得大幅突破。最新QLC SSD容量最高達到驚人的61.44TB,容量增長速度遠超傳統(tǒng)機械硬盤;另外,閃存成本也在持續(xù)下降,IDC預測SSD每GB價格預計在2020-2025年以19%的年復合增長率下降,預計到2025年會低于2.5寸10000轉機械硬盤的價格。
事實上,今年以來,多家企業(yè)級存儲廠商均表示會推出基于QLC SSD的全閃存儲,有望進一步推動閃存成本的下降。
除了閃存價值之外,全閃存儲也推動數(shù)據(jù)中心接口與網(wǎng)絡協(xié)議獲得了脫胎換骨般的變化。眾所周知,傳統(tǒng)SATA/SAS等接口協(xié)議均是在傳統(tǒng)機械硬盤時代的產(chǎn)物,無論是帶寬、延遲等等均無法與閃存介質的高性相匹配。因此,NVMe協(xié)議近年來獲得迅速發(fā)展,NVMe大幅提升帶寬、可連接性和傳輸性,產(chǎn)業(yè)鏈上下游推動NVMe成為數(shù)據(jù)中心主流協(xié)議,像NVMe Over Fabrics等存儲網(wǎng)絡也獲得飛速發(fā)展。
在軟件層面,企業(yè)級存儲廠商過去多年里一直致力于基于閃存的軟件架構和堆棧功能的重塑,逐步實現(xiàn)了復制、重刪等功能在閃存環(huán)境下的重新設計與持續(xù)優(yōu)化;在生態(tài)層面,像操作系統(tǒng)、分布式數(shù)據(jù)庫等廠商也加大了對于閃存環(huán)境的匹配。
此外,為了最大限度地發(fā)揮閃存性能、容量和成本的優(yōu)勢,有一部分企業(yè)級存儲廠商率先行動,近年來全力推動閃存全棧化技術創(chuàng)新策略的落地。其中,浪潮信息就是典型代表。
浪潮信息是閃存全棧化技術創(chuàng)新的代表
為實現(xiàn)閃存極致性能的發(fā)揮,浪潮信息將核心能力深入到存儲部件級,從SSD高速存儲介質、存儲軟件到全閃系統(tǒng)進行全鏈條的聯(lián)調優(yōu)化。這種閃存全?;膭?chuàng)新策略,讓閃存性能潛力發(fā)揮無死角,并真正帶來閃存成本的下降,實現(xiàn)性能與成本的最優(yōu)。例如,浪潮信息已經(jīng)構建起基于閃存原生的iTurbo 智能加速引擎,加上盤控協(xié)同、ZNS數(shù)據(jù)分流等技術、ROW追加謝、全局垃圾數(shù)據(jù)回收算法等技術,能夠實現(xiàn)性能的持續(xù)提升以及每GB成本大幅下降。得益于閃存全棧創(chuàng)新策略,浪潮高端全閃HF18000、分布式存儲AS13000等多次在SPC-1性能測試中奪魁。
更加重要的是,用戶側對于生成式AI的快速普及,人工智能正在成為數(shù)據(jù)中心基礎設施發(fā)展未來最大的牽引力,隨著GPU等算力部署的深入,以全閃存、混閃為代表的存力重要性日漸上升,從數(shù)據(jù)容量、帶寬、訪問頻率以及成本等多個因素綜合考量,未來數(shù)據(jù)中心在實踐中需要形成算力、閃存和混閃的1:1:1黃金比例,以滿足人工智能等需求。
生成式AI分為數(shù)據(jù)歸集、數(shù)據(jù)準備、數(shù)據(jù)訓練、數(shù)據(jù)推理和數(shù)據(jù)歸檔5個階段。從業(yè)務架構來看,從一開始的獲取原始數(shù)據(jù)到數(shù)據(jù)清洗、拼接、標記,再到數(shù)據(jù)并行、在線推理部署到最后的數(shù)據(jù)遷移歸檔,都對數(shù)據(jù)存儲提出了不同的要求,例如小文件讀寫、大文件逐行寫順序寫、大文件讀一次加載等。數(shù)據(jù)歸集和準備階段更多地要求大容量、多協(xié)議共享,數(shù)據(jù)訓練和推理階段更多是對百萬級IOPS、100GB帶寬的要求,數(shù)據(jù)歸檔階段則需滿足冷數(shù)據(jù)的遷移、長期保存和歸檔。
根據(jù)需求不同,在生成式AI全階段科學合理地布局全閃、混閃存儲是關鍵。例如,從性能角度來看,英偉達官方建議,一臺GPU算力節(jié)點設備的最高要求寫帶寬要求20GBps,讀帶寬要求40GBps,而一個全閃存節(jié)點寫帶寬是20GBps,讀帶寬在20-50GBps,計算節(jié)點與全閃存節(jié)點的數(shù)量比例接近1:1;另外,從數(shù)據(jù)容量和訪問頻率來看,一個模型系統(tǒng)中80%的數(shù)據(jù)會由熱變冷,還需要長期保存訓練過程中多個CheckPoint文件,契合熱數(shù)據(jù)與溫冷數(shù)據(jù)容量配置1:10的規(guī)律,而一個全閃存節(jié)點容量通常為50-100TB,一個混閃節(jié)點的容量通常為500-1000TB,按照1:1來配置全閃節(jié)點和混閃節(jié)點,無疑從數(shù)據(jù)全生命周期維度保障了人工智能應用各種階段的需求。
因此,像以浪潮信息為代表的全閃存廠商認為,秉承“以應用為導向,以系統(tǒng)為中心”的數(shù)據(jù)中心建設理念,算力、全閃存、混閃形成1:1:1黃金比例模式,加速推動全閃存產(chǎn)品與技術在數(shù)據(jù)中心中的應用,為未來的AIGC、大模型等人工智能應用夯實基礎。
無疑,近年來產(chǎn)業(yè)界最大著力點就是從數(shù)據(jù)中心技術生態(tài)和需求生態(tài)出發(fā),從各種維度推動全閃存在數(shù)據(jù)中心的普及,甚至在全閃存儲中優(yōu)先融入像機器學習、人工智能、云原生等先進技術,讓全閃存儲率先走向智能化管理與運維,進一步提升全閃存儲的易用性,從而加速全閃存時代的到來。
全閃存市場未來還得看中國
為什么全閃存市場未來還得看中國?
當前,全球外部存儲市場近年來受到各種因素波及,處于較為穩(wěn)定的狀態(tài),非全閃存儲則出現(xiàn)了持續(xù)下滑,全靠全閃存來支撐整體市場的平穩(wěn)。IDC預測認為,未來五年全閃存將以7.5%的年復合增長率增長。可以判斷,未來全閃存會繼續(xù)加速替代非全閃的步伐,營收占比還將持續(xù)提升,而市場的核心焦點會在中國市場。
之所以會如此,首先是中國全閃存儲的市場潛力不可小覷。
相關數(shù)據(jù)顯示,歐美成熟市場的全閃存比例已較高,替代非全閃的潛力空間逐漸變小,中國全閃存儲的市場占比當前僅僅只有25%左右,未來在金融、政府、電信、制造、交通、醫(yī)療、能源等行業(yè)有著廣泛的應用前景。
事實上,隨著中國數(shù)字經(jīng)濟占比持續(xù)提升,產(chǎn)業(yè)數(shù)字化提速,數(shù)據(jù)存儲在未來依然有著巨大的需求。最新《中國數(shù)字經(jīng)濟發(fā)展報告(2023)》報告顯示,2022年中國數(shù)字經(jīng)濟規(guī)模達到50萬億元占GDP比重達到41.5%,產(chǎn)業(yè)數(shù)字化占到數(shù)字經(jīng)濟的比例上升到81%,隨著數(shù)字經(jīng)濟與實體經(jīng)濟的進一步融合,未來必然會加速全閃存儲在各個行業(yè)業(yè)務場景中的應用。
其次,相比于其他競爭對手,中國全閃存儲廠商已是當前市場增長的主力軍,浪潮信息等廠商在集中式全閃和分布式全閃等多個細分市場增速明顯高于市場平均增速。以浪潮信息為例,Gartner數(shù)據(jù)顯示,在今年第一季度中,浪潮信息存儲全閃存出貨裝機容量以10.4%的全球市場份額,位列全球前三、中國第一;IDC數(shù)據(jù)則表明,浪潮信息第一季度銷售額和出貨量位居中國前二,出貨量同比大幅增長310%,增長速度領跑市場。
第三,中國規(guī)模龐大且復雜的業(yè)務場景更有利于全閃存產(chǎn)品的錘煉與成長,這兩年中國全閃存儲產(chǎn)品在各種權威測試中的優(yōu)異表現(xiàn)就是一種體現(xiàn)。
例如,中國制造業(yè)正在加速升級,在業(yè)務場景中開始大量融入物聯(lián)網(wǎng)、機器視覺、AI等技術,不僅產(chǎn)生大量的實時數(shù)據(jù),還需要進行敏捷分析,全閃存的性能、容量等優(yōu)勢在場景中發(fā)揮著關鍵作用。在運營商領域,運營商正加速向云服務等業(yè)務轉型,需要一個高性能、大容量的全新基礎設施作為數(shù)字底座,這其中分布式全閃存起到重要的支撐作用。在自動駕駛領域,每天需要產(chǎn)生海量數(shù)據(jù),并對海量數(shù)據(jù)進行訓練,全閃存支撐起自動駕駛從數(shù)據(jù)處理到訓練的多個環(huán)節(jié)……
正是中國市場這些領先場景的驅動,讓中國全閃存儲的產(chǎn)品與技術競爭力得以持續(xù)提升。以浪潮信息高端全閃存儲HF18000為例,其已經(jīng)廣泛應用金融、運營商、車路協(xié)同、自動駕駛等多個業(yè)務場景之中,為各種關鍵業(yè)務提供最為可靠的性能保障。
綜合觀察,全閃存儲的市場拐點的確已經(jīng)到來,一個全閃存的時代離我們越來越近。在閃存成本不斷下降和閃存相關技術不斷取得突破的趨勢下,全閃存儲有望進一步在更多業(yè)務場景中得到應用。面向未來,IDC預測中國企業(yè)級全閃存儲市場未來依然會保持著9%以上的增長,中國市場有望引領未來市場的增長;而以浪潮信息為代表的中國全閃存儲廠商憑借多年的技術積累與行業(yè)實踐,未來有望在全閃存儲這條賽道中書寫中國奇跡。
免責聲明:此文內容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關。文章僅供讀者參考,并請自行核實相關內容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 100億美元史上最大融資的背后,國內外巨頭齊瞄準Data+AI
- 有一種羨慕叫“別人家的年終獎”:京東采銷平均23薪,全網(wǎng)熱議“人的價值”
- 行業(yè)首個“人機大戰(zhàn)”對壘!AI翻譯已媲美人工
- 蘋果開啟年終大促,降價1200元,被國產(chǎn)手機嚇怕了?
- 1999 元起,OPPO A5 Pro 超防水、超抗摔、超耐用
- 長三角,如何把數(shù)據(jù)要素變成新長江?
- 大模型,在內卷中尋找出口
- 比亞迪“天神之眼”重磅升級:無圖城市領航功能全國開通
- 不愿成為微信的支付寶,注定失敗
- 大廠年終獎全靠猜?京東帶頭透明化
免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。