不要Ceph，青云自己做了一套QingStor文件存儲(chǔ)系統(tǒng)

常見(jiàn)的存儲(chǔ)有三種類(lèi)型，SAN塊存儲(chǔ)，對(duì)象存儲(chǔ)還有NAS文件存儲(chǔ)，分別對(duì)應(yīng)熱數(shù)據(jù)，冷數(shù)據(jù)和溫?cái)?shù)據(jù)，一套完整的企業(yè)存儲(chǔ)體系中三者缺一不可，2018年7月27日的青云Cloud Insight 2018云計(jì)算峰會(huì)上，青云發(fā)布了QingStor文件系統(tǒng)，補(bǔ)充和完善了QingStor存儲(chǔ)產(chǎn)品線。

青云既是云服務(wù)廠商，也是企業(yè)級(jí)ICT服務(wù)商，QingStor存儲(chǔ)產(chǎn)品線的布局很好地反應(yīng)了青云的這種特殊性。

QingStor的發(fā)展歷程中，先是有了話題熱度最高的對(duì)象存儲(chǔ)，互聯(lián)網(wǎng)公司用的比較多，單位容量?jī)r(jià)格低，性能較低，安全性高。而后在2017年發(fā)布了熱度僅次于對(duì)象存儲(chǔ)的ServerSAN存儲(chǔ)——NeonSAN，強(qiáng)調(diào)高性能和低延時(shí)，支持真正的水平擴(kuò)展，主要用于核心業(yè)務(wù)。SAN和NAS則非常企業(yè)級(jí)，企業(yè)級(jí)存儲(chǔ)公司主要做的就是這兩大塊，今天終于輪到了NAS文件存儲(chǔ)。

用過(guò)電腦的人都知道什么是文件存儲(chǔ)，簡(jiǎn)單而言，你打開(kāi)電腦其實(shí)用到了文件系統(tǒng)，在硬盤(pán)上找文件就是在用文件系統(tǒng)了，只是因?yàn)橛脖P(pán)大小非常，一般人一塊硬盤(pán)也就夠了，可企業(yè)里數(shù)據(jù)非常多，別說(shuō)單臺(tái)電腦了，單臺(tái)服務(wù)器也經(jīng)常不夠用，所以當(dāng)數(shù)據(jù)非常多的時(shí)候就需要額外的存儲(chǔ)空間了，常見(jiàn)的做法是用網(wǎng)絡(luò)連接一臺(tái)專門(mén)做存儲(chǔ)的機(jī)器，常用的設(shè)備就是NAS(Network Attached Storage網(wǎng)絡(luò)附加存儲(chǔ))，NAS在一定程度上是文件存儲(chǔ)的代名詞。

很多人都有體會(huì)，因?yàn)槲募嗔宋募檎业男示蜁?huì)明顯下降，打開(kāi)電腦找個(gè)文件硬盤(pán)咯吱咯吱響，文件找的很慢，NAS一般來(lái)說(shuō)性能都比較高，另外，文件不能丟失或者損壞，所以還要有各種數(shù)據(jù)保護(hù)措施，傳統(tǒng)大型存儲(chǔ)公司如NetApp，EMC都有出色的NAS產(chǎn)品，NAS是很貴的，主要是基于硬件的，做個(gè)NAS門(mén)檻是很高的，很多企業(yè)就靠一款成功的NAS產(chǎn)品便在市場(chǎng)上占據(jù)了很高的地位，這是一塊大市場(chǎng)。

由于大家都或多或少地知道文件存儲(chǔ)的應(yīng)用場(chǎng)景，所以說(shuō)明文件存儲(chǔ)很普遍，需求非常大，Gartner的分析報(bào)告說(shuō)，文件存儲(chǔ)在市場(chǎng)中占主流地位，在媒體、高性能計(jì)算領(lǐng)域都會(huì)用到。

NAS通常來(lái)說(shuō)是Scaleup類(lèi)型的，也就是主要靠單臺(tái)專有設(shè)備的實(shí)力，性能很高但也有限，擴(kuò)展很難，產(chǎn)品設(shè)計(jì)的中心完全以硬件為核心。后來(lái)出現(xiàn)帶來(lái)分布式的文件系統(tǒng)，文件存儲(chǔ)的核心轉(zhuǎn)向以分布式存儲(chǔ)軟件為核心，常見(jiàn)的分布式文件系統(tǒng)有兩種：一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構(gòu);一種是全對(duì)等Hash架構(gòu)，完全拋棄單獨(dú)的索引節(jié)點(diǎn)，其代表是GLuster和Ceph。

青云QingCloud存儲(chǔ)高級(jí)技術(shù)專家寧安表示，集中式的索引架構(gòu)問(wèn)題在于擴(kuò)展擴(kuò)容不方便，一致性較差，全隊(duì)等的Hash架構(gòu)缺點(diǎn)在于文件數(shù)量會(huì)受到單節(jié)點(diǎn)和索引節(jié)點(diǎn)容量限制。雖然有種種問(wèn)題，但是因?yàn)榉植际轿募到y(tǒng)通常是開(kāi)源的，跟原來(lái)的封閉的集中式NAS截然不同，而且硬件是基于x86的成本會(huì)低出很多，所以，分布式存儲(chǔ)越來(lái)越流行，近年來(lái)，隨著開(kāi)源社區(qū)在中國(guó)的發(fā)展，在分布式文件存儲(chǔ)系統(tǒng)中Ceph的呼聲最高。

這些缺點(diǎn)有四個(gè)方面：數(shù)據(jù)一致性問(wèn)題，高可用問(wèn)題，還有擴(kuò)展性的問(wèn)題，運(yùn)維也比較復(fù)雜。另外，Ceph的性能問(wèn)題也廣受詬病，在種種問(wèn)題面前，青云最后還是決定自己做研發(fā)，參考一些開(kāi)源的分布式文件系統(tǒng)的做法自己研發(fā)出了一套分布式文件系統(tǒng)，分布式文件存儲(chǔ)系統(tǒng)非常復(fù)雜。

為了應(yīng)對(duì)這些問(wèn)題，QingStor文件存儲(chǔ)有以下幾個(gè)特點(diǎn)呢?

首先，QingStor的底層基于分布式塊存儲(chǔ)NeonSAN，NeonSAN是有高性能、強(qiáng)一致的塊存儲(chǔ)。這使得QingStor的塊存儲(chǔ)和文件存儲(chǔ)能做到更好的融合，兩者共享一個(gè)存儲(chǔ)池，可以分開(kāi)管理，底層共用一套設(shè)備，如果追求性能和可靠性的話最好還是單獨(dú)部署，NeonSAN的用戶可以直接部署新的文件存儲(chǔ)。

第二，支持無(wú)限水平擴(kuò)展。目錄和文件分離存儲(chǔ)，元數(shù)據(jù)層存儲(chǔ)索引目錄，用來(lái)定位文件具體位置;控制層負(fù)責(zé)下層塊設(shè)備的空間分配和事務(wù)管理。寧安介紹說(shuō)，用Ceph的企業(yè)需要一批很懂Ceph的工程師，Ceph在一定數(shù)據(jù)規(guī)模之后會(huì)出現(xiàn)許多問(wèn)題，經(jīng)常要處理很多壞盤(pán)、遷移和擴(kuò)容的問(wèn)題，這些問(wèn)題只有在數(shù)據(jù)規(guī)模很大時(shí)才會(huì)暴露出來(lái)，但這時(shí)候已經(jīng)晚了。

第三，并行處理架構(gòu)。所有網(wǎng)關(guān)節(jié)點(diǎn)和NeonSAN節(jié)點(diǎn)是全互聯(lián)的關(guān)系，節(jié)點(diǎn)間可通過(guò)最短路徑相互訪問(wèn)。集群內(nèi)數(shù)據(jù)復(fù)制與業(yè)務(wù)訪問(wèn)分離，分別通過(guò)不同的網(wǎng)絡(luò)，因此在數(shù)據(jù)遷移和擴(kuò)容時(shí)，不會(huì)對(duì)業(yè)務(wù)有任何影響。

QingStor分布式文件存儲(chǔ)的企業(yè)級(jí)特性非常全面。

其中，通過(guò)釣電安全、防篡改、數(shù)據(jù)加密等手段來(lái)提升數(shù)據(jù)安全性;通過(guò)分布式事務(wù)加上版本修改的機(jī)制實(shí)現(xiàn)了強(qiáng)一致性;通過(guò)服務(wù)無(wú)單點(diǎn)、數(shù)據(jù)無(wú)單點(diǎn)、網(wǎng)絡(luò)無(wú)單點(diǎn)，三點(diǎn)來(lái)支持高可用;通過(guò)NeonSAN的支持來(lái)實(shí)現(xiàn)高性能。

與Ceph的性能對(duì)比

在彈性擴(kuò)展方面，QingStor文件存儲(chǔ)擴(kuò)容更隨意，不用像Ceph一樣每次只能擴(kuò)容一個(gè)節(jié)點(diǎn)，擴(kuò)容跟數(shù)據(jù)遷移量成正比，擴(kuò)容的過(guò)程中，QingStor文件存儲(chǔ)沒(méi)有強(qiáng)制用戶遷移數(shù)據(jù)，擴(kuò)容過(guò)程中對(duì)寫(xiě)入沒(méi)有影響，用戶可選擇在任意時(shí)間進(jìn)行數(shù)據(jù)遷移，用戶可以操控?cái)?shù)據(jù)遷移的過(guò)程。

在成本方面，通過(guò)智能的壓縮，自動(dòng)精簡(jiǎn)配置，存儲(chǔ)分層等手段來(lái)提升存儲(chǔ)空間利用率，從而優(yōu)化成本。QingStor文件存儲(chǔ)支持對(duì)文件類(lèi)型判斷后做壓縮，如果是文本文件的話就重點(diǎn)壓縮，反正也不影響解壓后正常使用，如果是音視頻文件的話壓縮會(huì)有損失，寫(xiě)入的時(shí)候就不壓縮了。

部署方面，QingStor最小三節(jié)點(diǎn)起步，用戶可利用現(xiàn)有的交換機(jī)去部署TCP/IP網(wǎng)絡(luò)，內(nèi)部數(shù)據(jù)通過(guò)RDMA來(lái)實(shí)現(xiàn)低延遲的數(shù)據(jù)服務(wù)操作。

在實(shí)際使用的時(shí)候，QingStor支持NFS、Samba協(xié)議和FUSE模塊加載方式，因?yàn)槲募鎯?chǔ)本來(lái)就是服務(wù)于常見(jiàn)的應(yīng)用的，所以與原來(lái)的應(yīng)用沒(méi)有兼容性問(wèn)題，像是OA這種傳統(tǒng)應(yīng)用完全沒(méi)問(wèn)題，Hadoop、Spark等大數(shù)據(jù)分析也都沒(méi)問(wèn)題，視頻剪輯，3D渲染，高性能計(jì)算等場(chǎng)景下都可以用。另外，青云最新推出的Anybox也是支持將QingStor文件存儲(chǔ)用作存儲(chǔ)后端，性能會(huì)更好一些。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。