基礎(chǔ)設(shè)施橫向擴(kuò)展能力，助力高性能對(duì)象存儲(chǔ)發(fā)展

原標(biāo)題：基礎(chǔ)設(shè)施橫向擴(kuò)展能力，助力高性能對(duì)象存儲(chǔ)發(fā)展

海量數(shù)據(jù)的增長催動(dòng)著對(duì)象存儲(chǔ)的持續(xù)火熱，對(duì)于這一技術(shù)，最有趣的一點(diǎn)就是其用途的多樣性。雖然多數(shù)情況下，對(duì)象存儲(chǔ)常被用于歸檔存儲(chǔ)，或代替生產(chǎn)環(huán)境中的文件服務(wù)器，但實(shí)際上對(duì)象存儲(chǔ)的應(yīng)用場景還有很多。如今，越來越多的供應(yīng)商開始提供性能得到優(yōu)化的對(duì)象存儲(chǔ)系統(tǒng)，為對(duì)象存儲(chǔ)帶來了一條新的發(fā)展路線。

打造高性能的對(duì)象存儲(chǔ)，并不僅僅是把存儲(chǔ)系統(tǒng)中的機(jī)械硬盤替換為全閃存就可以。使用閃存盤對(duì)與性能的提升當(dāng)然是大有幫助的，但對(duì)象存儲(chǔ)系統(tǒng)往往存有海量的元數(shù)據(jù)，會(huì)導(dǎo)致延遲的增加，無法有效利用閃存的性能。

除了元數(shù)據(jù)的問題外，打造高性能對(duì)象存儲(chǔ)系統(tǒng)還有一個(gè)大的挑戰(zhàn)，就是基礎(chǔ)設(shè)施的橫向擴(kuò)展能力。對(duì)象存儲(chǔ)系統(tǒng)在進(jìn)行容量升級(jí)時(shí)，會(huì)將節(jié)點(diǎn)添加到存儲(chǔ)集群中，每個(gè)節(jié)點(diǎn)的容量匯集到集群中，創(chuàng)建一個(gè)存儲(chǔ)池。在大規(guī)模的橫向擴(kuò)展集群中，通常有幾十上百個(gè)節(jié)點(diǎn)。聚集和管理這些節(jié)點(diǎn)的延遲可能很高。

AI和深度學(xué)習(xí)的對(duì)象存儲(chǔ)挑戰(zhàn)

在探討高性能對(duì)象存儲(chǔ)架構(gòu)面臨的挑戰(zhàn)時(shí)，AI、深度學(xué)習(xí)這類擁有大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的工作負(fù)載是絕佳的例證。理論上，這些工作負(fù)載應(yīng)該是理想的對(duì)象存儲(chǔ)應(yīng)用場景，通常有數(shù)百萬、千萬、甚至數(shù)億的文件。存儲(chǔ)這些數(shù)據(jù)需要大量的容量空間，因此需要許多節(jié)點(diǎn)。與此同時(shí)，這些進(jìn)程都是由吞吐量驅(qū)動(dòng)的。

基于這些因素來看，AI和深度學(xué)習(xí)負(fù)載顯然非常適合采用典型的多節(jié)點(diǎn)對(duì)象存儲(chǔ)集群。大多數(shù)AI和深度學(xué)習(xí)框架，比如TensorFlow都常常會(huì)采用對(duì)象存儲(chǔ)架構(gòu)。從理論上講，對(duì)象存儲(chǔ)基礎(chǔ)設(shè)施應(yīng)該能夠滿足AI和深度學(xué)習(xí)工作負(fù)載的需求。

但是利用對(duì)象存儲(chǔ)系統(tǒng)支撐AI工作負(fù)載，并不是簡單地搭建一個(gè)全閃存對(duì)象存儲(chǔ)系統(tǒng)。系統(tǒng)必須能夠解決一些現(xiàn)實(shí)問題，即可能會(huì)有幾十上百個(gè)節(jié)點(diǎn)，還有元數(shù)據(jù)帶來的問題，以及集群管理的挑戰(zhàn)。

如何應(yīng)對(duì)元數(shù)據(jù)挑戰(zhàn)

元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，它往往是對(duì)象存儲(chǔ)實(shí)現(xiàn)高性能的一大挑戰(zhàn)，原因有兩個(gè)：首先，對(duì)象存儲(chǔ)系統(tǒng)需要更多的時(shí)間來管理其豐富的元數(shù)據(jù)。由于大多數(shù)對(duì)象存儲(chǔ)供應(yīng)商會(huì)在集群中指定一定數(shù)量的節(jié)點(diǎn)來管理和存儲(chǔ)元數(shù)據(jù)，因此管理更加復(fù)雜；在AI和深度學(xué)習(xí)工作負(fù)載中，專用的元數(shù)據(jù)控制器可能經(jīng)常會(huì)被元數(shù)據(jù)壓垮，成為性能瓶頸，因此導(dǎo)致閃存甚至機(jī)械硬盤都不能充分發(fā)揮它們的性能潛力。

元數(shù)據(jù)的第二個(gè)挑戰(zhàn)是集群通信。大多數(shù)向外擴(kuò)展的NAS或塊存儲(chǔ)系統(tǒng)具有相對(duì)較小的節(jié)點(diǎn)數(shù)。在NAS和塊存儲(chǔ)場景中，只有6個(gè)節(jié)點(diǎn)的存儲(chǔ)集群都可以稱作是大型集群了，但在許多對(duì)象存儲(chǔ)部署中，6節(jié)點(diǎn)只是起步。節(jié)點(diǎn)間的通信成為一個(gè)大問題，特別是在十分考驗(yàn)性能的用例中。

創(chuàng)建高性能的、大規(guī)模的對(duì)象存儲(chǔ)解決方案需要解決元數(shù)據(jù)性能和集群管理問題。下一代對(duì)象存儲(chǔ)將元數(shù)據(jù)分布在集群中的每個(gè)節(jié)點(diǎn)上，而不僅僅是幾個(gè)控制器上。元數(shù)據(jù)的分發(fā)，需要確保每個(gè)節(jié)點(diǎn)都擁有響應(yīng)I/O請(qǐng)求所需的所有信息。

其他一些問題

對(duì)象存儲(chǔ)系統(tǒng)還必須解決節(jié)點(diǎn)間的網(wǎng)絡(luò)問題。在這種情況下，元數(shù)據(jù)的分布也很有幫助，因?yàn)樗档土藮|-西之間的通信量。供應(yīng)商必須優(yōu)化節(jié)點(diǎn)間的網(wǎng)絡(luò)，這樣才不會(huì)造成性能瓶頸。多數(shù)情況下，供應(yīng)商會(huì)通過優(yōu)化網(wǎng)絡(luò)通信以最小化傳輸頻率。

另一個(gè)需要優(yōu)化的領(lǐng)域是協(xié)議仿真。例如，大多數(shù)對(duì)象存儲(chǔ)系統(tǒng)支持NFS。NFS支持至關(guān)重要，因?yàn)樵S多物聯(lián)網(wǎng)設(shè)備使用的是NFS。其中的挑戰(zhàn)在于，許多對(duì)象存儲(chǔ)系統(tǒng)都掛在一個(gè)獨(dú)立的組件上，該組件在NFS和對(duì)象存儲(chǔ)之間進(jìn)行轉(zhuǎn)換，而不是在它們的軟件中本機(jī)運(yùn)行NFS。轉(zhuǎn)換的性能開銷非常大，并且往往表現(xiàn)在高性能場景下。

NFS在對(duì)象存儲(chǔ)代碼中的本地集成，可以提高性能并同時(shí)訪問相同的數(shù)據(jù)。并發(fā)訪問意味著物聯(lián)網(wǎng)設(shè)備可以通過NFS將數(shù)據(jù)發(fā)送到對(duì)象存儲(chǔ)卷，同時(shí)，AI能或深度學(xué)習(xí)框架可以通過對(duì)象存儲(chǔ)處理數(shù)據(jù)，而不需要復(fù)制或移動(dòng)數(shù)據(jù)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。