西部數(shù)據推出分區(qū)存儲技術 引領數(shù)據中心進入ZB時代

這是一個萬物皆可數(shù)字化的時代，我們的世界正在全面交由0和1來構建。IDC的報告指出，現(xiàn)在每一年人類所創(chuàng)造的數(shù)據總量都相當過去人類歷史中產生數(shù)據的總和。根據預測，2023年人類數(shù)據的產生將會超過100個ZB(數(shù)據單位量級GB\TB\PB\EB\ZB)。

過去幾年，全球及中國的ICT市場規(guī)模一直處于快速增長態(tài)勢，尤其是IT技術架構市場，北美和中國是數(shù)據中心市場的主要帶動區(qū)域，而中國仍然是整個全球ICT市場增長速度最快的。

到2025年，無論是用戶產生的，還是IoT設備捕獲的數(shù)據，或者是數(shù)據中心創(chuàng)建并復制的數(shù)據，將會達到“ZB”級別(1ZB=1,073,741,824TB)，與我們現(xiàn)在常接觸到的存儲容量單位TB、GB相比，是一個非常巨大的數(shù)字。我們將會邁入一個全新的數(shù)據時代。

而在這個大數(shù)據時代，如何處理海量數(shù)據就變得相當關鍵。從現(xiàn)在的趨勢來看，解決ZB級數(shù)據的存儲和處理有三種方式，分別是多云間的數(shù)據流動、數(shù)據分層與智能化。

其中根據數(shù)據的熱度分級選擇存儲介質和存儲方式是很關鍵的。在數(shù)據中心或是云服務器里面，數(shù)據分層的情況很普遍，我們上傳到云端的冷數(shù)據和熱數(shù)據的區(qū)別是非常明顯的。據IDC的數(shù)據顯示，整個數(shù)據中心的冷數(shù)據可以占到整個比例的60%-90%，這部分數(shù)據包括長期保存的數(shù)據和容量導向的介質所存儲的數(shù)據，對于存儲容量的要求是非常大的。

隨著數(shù)據規(guī)模的不斷擴大以及應用程序需要負載的工作更多樣，如何更好地存儲大量數(shù)據?如何有效管理數(shù)據爆炸的數(shù)字化時代?

在這個大背景下，數(shù)據存儲技術和架構的革新迫在眉睫。

6月12日，西部數(shù)據公司宣布推出分區(qū)存儲技術，旨在為云和超大規(guī)模數(shù)據中心架構師融合創(chuàng)新與行業(yè)標準，從而設計出高效的存儲層，幫助用戶在ZB級容量的存儲時代保持具有競爭力的總體擁有成本，實現(xiàn)更大的規(guī)模效益。

西部數(shù)據指出，82%的數(shù)據在2022年都會變?yōu)榱髅襟w數(shù)據寫入的視頻數(shù)據，通過在存儲部件中建立不同的分區(qū)，根據數(shù)據的不同類型在存儲固件中存儲、轉移和管理數(shù)據，將會提高整個存儲效能，并且作為定制化的數(shù)據基礎架構的時候，可以把控制和智能協(xié)同從原來的系統(tǒng)硬件的層面，下沉到系統(tǒng)存儲部件的層面。

針對于此，西部數(shù)據提出了基于開源技術的分區(qū)存儲的技術提案，這套新的存儲技術不僅包含了開源工具和文件系統(tǒng)支持，還包括了面向數(shù)據中心的SMR(疊瓦式磁記錄)超大容量HDD以及ZNS NVMe SSD開發(fā)平臺。

　　(分區(qū)存儲設備原理示意圖 來自Zonedstorage.io)

開發(fā)套件中的軟件庫囊括了最主要的開發(fā)工具、數(shù)據庫和相關的命令集庫，并且都會公布在開源社區(qū)網站Zonedstorage.io，該網站提供了軟件開發(fā)庫、工具、ZNS信息、SMR資源和參考架構等，幫助數(shù)據中心基礎架構工程師更好的利用分區(qū)存儲技術。這也是西部數(shù)據作為在NVMe聯(lián)盟持續(xù)貢獻以及長期為開源社區(qū)提供基于SMR開發(fā)工具的延伸。

打造整個分區(qū)存儲生態(tài)，顯然不單單是軟件就能解決的。除了推出ZonedStorage.io網站外，西部數(shù)據的產品套件還包括Ultrastar ZNS NVMe開發(fā)SSD和Ultrastar DC HC620 SMR HDD 15TB。Ultrastar DC HC620 15TB現(xiàn)已推出并向已通過驗收的客戶批量供貨，Ultrastar ZNS NVMe開發(fā)SSD也將向部分客戶開放。并且西部數(shù)據還透漏將在明年出貨20TB容量的SMR HDD。

預計到2022年，HDD和SSD的支出將達到IT基礎架構總支出的27%。而采用SMR技術的HDD可以做到比普通HDD更大的容量，甚至高達20%，它的容量優(yōu)勢對于數(shù)據中心降低其總擁有成本(TCO)是非常重要的。例如在一個1ZB級的超大規(guī)模數(shù)據中心，全部采用20TB的SMR HDD的話，將可以減少2500萬個硬盤、42000個60槽位機架數(shù)量，并且相應的溫控成本也會下降。

另外一點，SMR目前已經得到了生態(tài)系統(tǒng)當中廣泛的支持，包括內核的支持，SUSE已經全面支持SMR，而SMR在硬件方面需要IO控制器、HBA和拓展其產品的支持，現(xiàn)在包括HBA的廠家、ATTO、BROADCOM、MICROCHIP等等都推出了支持了SMR的產品。西部數(shù)據甚至把今年看做是SMR HDD推入部署的元年，預計在2023年，全世界將有超過50%的數(shù)據會在SMR HDD中存取。

　　(NVMe劃分區(qū)域中的命名空間數(shù)據放置示意圖 來自Zonedstorage.io)

西部數(shù)據還宣布針對早期分區(qū)存儲工作推出ZNS(分區(qū)命名空間)開發(fā)SSD。ZNS是NVMe標準規(guī)劃內的新特性，也是對SMR技術的補充，它讓開發(fā)人員在共同的軟件堆棧下可以不分存儲介質類型有效的調用SMR和ZNS。ZNS SSD通過將“區(qū)域”與SSD的內部物理屬性進行匹配而實現(xiàn)這些改進，有效的減少數(shù)據存放低效能的現(xiàn)象，旨在減少寫放大，增加可用容量，并提供更高的吞吐量和更低的時延。

西部數(shù)據分區(qū)存儲架構將會賦能應用層、主機和存儲互相協(xié)調數(shù)據存放位置，以充分利用在SMR HDD上可以實現(xiàn)的最大存儲容量，以及ZNS SSD上實現(xiàn)更好的耐久性和可預測的低延遲和QoS性能。

隨著生態(tài)系統(tǒng)的不斷發(fā)展和SMR的推廣，西部數(shù)據致力于在提供高容量的同時不斷演進能源輔助磁記錄技術。目前也有越來越多的云服務提供商正在投入資源管理高容量SMR HDD的主機軟件，SMR和ZNS正在從根本上重塑云和企業(yè)數(shù)據中心，將通過智能化應用架構成為當前和未來ZB級數(shù)據時代的關鍵基石，以便協(xié)助大體量客戶實現(xiàn)更好的TCO。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。