近兩年，大數(shù)據(jù)作為重要資源被提上國家戰(zhàn)略。今年兩會，馬化騰、雷軍、丁磊、張近東等互聯(lián)網(wǎng)企業(yè)的全國兩會代表委員就關(guān)于大數(shù)據(jù)戰(zhàn)略、數(shù)字經(jīng)濟(jì)發(fā)展積極獻(xiàn)策。
此外，國家發(fā)改委還在近期刊發(fā)了關(guān)于2020年發(fā)展數(shù)字經(jīng)濟(jì)的八大舉措。
例如“實(shí)體經(jīng)濟(jì)數(shù)字化融合;促進(jìn)數(shù)據(jù)要素流通;發(fā)展新型基礎(chǔ)設(shè)施”等，以鼓勵傳統(tǒng)產(chǎn)業(yè)加快數(shù)字化轉(zhuǎn)型，推進(jìn)前沿信息技術(shù)在各場景的融合應(yīng)用。
海量的數(shù)據(jù)是政務(wù)管理、企業(yè)數(shù)字化轉(zhuǎn)型的核心生產(chǎn)因素，但現(xiàn)階段，真正被有效儲存、使用的數(shù)據(jù)還不到10%。如何喚醒大量“沉睡的”數(shù)據(jù)并從中尋找、分析有價值的信息，促進(jìn)業(yè)務(wù)發(fā)展，無疑是一個巨大挑戰(zhàn)。
“4G時代，大數(shù)據(jù)更多是服務(wù)IT基礎(chǔ)建設(shè)成熟行業(yè)的頭部客戶，離個人還有一定距離。5G的到來和國家進(jìn)一步提出深化大數(shù)據(jù)的發(fā)展，更多中小型企業(yè)對于數(shù)據(jù)采集、存儲、治理、分析和挖掘的需求也在快速增加。”在睿帆科技大數(shù)據(jù)科學(xué)家、雪球數(shù)據(jù)庫總架構(gòu)師李求實(shí)博士看來，行業(yè)頭部企業(yè)數(shù)據(jù)每年以PB級甚至上百PB爆炸式增長，催生了對于PB級數(shù)據(jù)量在線或?qū)崟r數(shù)據(jù)分析的處理能力的需求。
關(guān)于PB級數(shù)據(jù)，美國未來學(xué)家雷·庫茲韋爾有過一個形象的比喻：如果人類功能記憶的容量預(yù)計(jì)在1.25個TB，那么800個人類記憶才相當(dāng)于1個PB。
面對龐大的數(shù)據(jù)量，很多企業(yè)早期主要通過抽樣數(shù)據(jù)來獲取結(jié)論。李博士告訴「獵云網(wǎng)」，這種方法的弊端在于“抽樣之后的數(shù)據(jù)變成了百萬級或千萬級，是原始數(shù)據(jù)的一個子集，和實(shí)際情況會有很大偏差，導(dǎo)致根據(jù)樣本得出的結(jié)論可靠性大大降低。”
為了追求數(shù)據(jù)的準(zhǔn)確性，有的企業(yè)不得不降低數(shù)據(jù)處理的實(shí)時性，采用離線處理的方式。但數(shù)據(jù)的價值就在于其時效性，越早分析越能得到快速準(zhǔn)確的反饋或響應(yīng)，并及時利用結(jié)論指導(dǎo)后續(xù)的業(yè)務(wù)工作。
此時，一款針對海量數(shù)據(jù)進(jìn)行毫秒級在線即席查詢分析的數(shù)據(jù)庫就顯得尤其關(guān)鍵——它甚至決定了企業(yè)是否能以比競爭對手更低的成本、更快的速度解決問題，構(gòu)建起核心競爭力。
滿足大數(shù)據(jù)量查詢的穩(wěn)、準(zhǔn)、快
過去十年，業(yè)內(nèi)一直推崇的分布式計(jì)算平臺是Apache基金會旗下的Hadoop。2009年，Hadoop將1TB數(shù)據(jù)的排序時間縮短到了62秒，從此名聲大噪。
它也憑借其高可靠性、高可擴(kuò)展性、高容錯性和低成本成為當(dāng)今大數(shù)據(jù)領(lǐng)域運(yùn)用最多、范圍最廣的技術(shù)平臺，被雅虎、FaceBook、last.fm等眾多公司應(yīng)用。
李博士介紹，由于Hadoop的設(shè)計(jì)初衷是針對存儲和分析離線大數(shù)據(jù)，因此無法提供便捷高效的數(shù)據(jù)交互、多維分析、快速查詢服務(wù)，“雖然產(chǎn)生了諸多如Spark、Impala、Drill等SQLonHadoop項(xiàng)目來優(yōu)化Hadoop在服務(wù)效率上的短板，但由于這些項(xiàng)目仍然基于Hadoop底層機(jī)制，所以無法從根本上解決這些問題。”
為了幫助企業(yè)做到穩(wěn)、準(zhǔn)、快的實(shí)現(xiàn)海量數(shù)據(jù)的調(diào)用需求，掌握PB級數(shù)據(jù)核心處理技術(shù)的大數(shù)據(jù)產(chǎn)品及解決方案供應(yīng)商睿帆科技，在原有的零距大數(shù)據(jù)中臺的基礎(chǔ)上，自研了一款具有千億級數(shù)據(jù)毫秒查詢速度的分布式分析型數(shù)據(jù)庫雪球DB。
“雪球”的特點(diǎn)主要在于列式存儲，向量化執(zhí)行引擎，高可靠的集群架構(gòu)以及數(shù)據(jù)自動均衡、實(shí)現(xiàn)副本異步拷貝的能力。
首先，與行式存儲將每一行的數(shù)據(jù)連續(xù)存儲不同，列存是連續(xù)存儲每一列的數(shù)據(jù)。它的優(yōu)勢是在數(shù)據(jù)讀取時，只需要讀取參與計(jì)算的列，這極大降低了IO 的消耗，加快了查詢速度。與此同時，同一列中的數(shù)據(jù)屬于同一類型，這使得列式存儲可對數(shù)據(jù)進(jìn)行高達(dá)十倍甚至數(shù)十倍的壓縮，這節(jié)省了存儲空間和成本消耗，非常適合大數(shù)據(jù)查詢分析和高并發(fā)查詢。
其次，雪球DB還實(shí)現(xiàn)了向量化執(zhí)行引擎，對內(nèi)存中的列式數(shù)據(jù)，一個批次調(diào)用一次指令(而非每一行調(diào)用一次)，不僅減少了函數(shù)調(diào)用次數(shù)，而且可以充分發(fā)揮指令的并行能力，大幅縮短了計(jì)算耗時。相當(dāng)于讓數(shù)據(jù)處理的效率有了幾何倍的提升。
此外，雪球DB通過Share-nothing節(jié)點(diǎn)方式，消除了主節(jié)點(diǎn)性能瓶頸，大幅提升集群性能。
“Share-nothing說白了就是什么任何東西都不共享，好處就在于通過硬件設(shè)備的疊加，就可以完成性能的線性疊加。而傳統(tǒng)的關(guān)系型數(shù)據(jù)庫會共享一定的設(shè)備，因此會擁有疊加瓶頸，使其疊加效率非常低。”李博士表示。
而針對傳統(tǒng)分布式系統(tǒng)宕機(jī)過程中造成各節(jié)點(diǎn)內(nèi)數(shù)據(jù)分布不均衡的問題，睿帆科技開發(fā)了“應(yīng)對節(jié)點(diǎn)宕機(jī)時的負(fù)載均衡優(yōu)化”專利技術(shù)。
理想狀態(tài)下，每個節(jié)點(diǎn)的計(jì)算量是同等的，否則工作量較大的節(jié)點(diǎn)將決定整體任務(wù)的完成時間，比負(fù)載平衡所用的時間大大延長。而一旦所有工作都集中在某一個或某幾個機(jī)器上，并行優(yōu)勢也將無從體現(xiàn)。
通過先進(jìn)的Hash隨機(jī)算法，雪球DB能夠在一個節(jié)點(diǎn)宕機(jī)時自動均衡各節(jié)點(diǎn)內(nèi)數(shù)據(jù)分布，保證各節(jié)點(diǎn)磁盤占用相對均衡，避免雪崩效應(yīng)。同時，雪球DB支持多副本備份，可以在不同的節(jié)點(diǎn)上維護(hù)相同的數(shù)據(jù)。當(dāng)前節(jié)點(diǎn)如果發(fā)生故障，則自動切換由備份副本提供服務(wù)。
這些核心特點(diǎn)使得“雪球”在根本上解決了Hadoop體系交互復(fù)雜、效率低下的問題，滿足了海量數(shù)據(jù)在線交互、多維分析和高效查詢，確保數(shù)據(jù)分析結(jié)果更真實(shí)。
李博士表示，雪球DB是基于高并發(fā)環(huán)境下、千億級數(shù)據(jù)毫秒級查詢所研發(fā)的數(shù)據(jù)庫。產(chǎn)品剛研發(fā)出來時，我們對于實(shí)際測試結(jié)果還是很興奮的。但合作伙伴試用后反饋效果一般，和其他數(shù)據(jù)庫產(chǎn)品差不多，都是在幾十毫秒左右。后來發(fā)現(xiàn)，他們只是拿雪球在做少量并發(fā)的常規(guī)數(shù)據(jù)查詢。但當(dāng)對方內(nèi)部系統(tǒng)升級，上線了很多新功能，數(shù)據(jù)量和并發(fā)數(shù)呈幾何性增長時，雪球DB和其他數(shù)據(jù)庫對比，性能優(yōu)勢就顯現(xiàn)出來了，在海量數(shù)據(jù)高并發(fā)、多條件等苛刻場景下的測試，結(jié)果比原有數(shù)據(jù)庫快了幾個數(shù)量級。
這家公司后來與睿帆建立了長期合作，其用戶覆蓋近億，單日增量數(shù)據(jù)超過1PB，在雪球DB的PB級聯(lián)機(jī)分析能力下，根本上解決了數(shù)據(jù)不及時、查詢延遲高、分析維度受限等問題，大幅提高了服務(wù)效率。
疫情期間，某通信運(yùn)營商就通過雪球DB解決了海量多種類型數(shù)據(jù)如何及時、高效地處理和分析的問題。
“為了輸出潛在2B人員名單、分析疫情趨勢、建立駐留人員熱點(diǎn)區(qū)域圖，需要對海量數(shù)據(jù)進(jìn)行調(diào)取分析。放在過去，需要大量的人工排查，耗時耗力。但通過我們毫秒級在線分析模型，幾分鐘就能調(diào)出結(jié)果。”李博士提到。
或者在公共安全領(lǐng)域，面對多警種的數(shù)據(jù)內(nèi)容，以千億級數(shù)據(jù)毫秒查詢速度，結(jié)合睿帆科技其他產(chǎn)品能夠?qū)⒁曨l、音頻、文檔、圖標(biāo)等結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行實(shí)時分析可視化決策，實(shí)現(xiàn)警情態(tài)勢的全局把控。
在原版雪球DB的基礎(chǔ)上，睿帆科技還針對小B客戶開發(fā)了“輕量版”。后者可以只在一臺機(jī)器上運(yùn)行，不支持分布式和磁盤復(fù)制，削減了部分功能從而進(jìn)一步降本增效。
李博士告訴「獵云網(wǎng)」，由于大部分中小企業(yè)的數(shù)據(jù)調(diào)用需求受時間、季節(jié)的影響，比如銷售淡旺季、疫情關(guān)鍵節(jié)點(diǎn)等，因此針對這類客戶主要采用aPaaS模式，以公司的另一款產(chǎn)品零距大數(shù)據(jù)中臺作為最下層依托，與雪球相結(jié)合推出一整套解決方案——由于零距大數(shù)據(jù)中臺“低代碼+圖形化”的界面，因此可以極大地降低客戶使用門檻。
大數(shù)據(jù)經(jīng)濟(jì)真正的價值，在于普惠中小企業(yè)
隨著信息技術(shù)和人類生活的深度融合，以及互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的快速發(fā)展，各行各業(yè)的數(shù)據(jù)呈爆發(fā)增長態(tài)勢。來自IDC的數(shù)據(jù)顯示，全球的數(shù)據(jù)量2020年將達(dá)到40ZB(1ZB=1024EB,1EB=1024PB)，如果換算成128G iPad的高度，可以達(dá)到地球到月球距離的6.6倍。
龐大的數(shù)據(jù)量也催生了數(shù)據(jù)存儲更多、更快、更穩(wěn)定的需求。由于數(shù)據(jù)量的增長速度遠(yuǎn)遠(yuǎn)超存儲設(shè)備本身能力的增長，原有的存儲設(shè)備，甚至整個存儲架構(gòu)都需要不斷擴(kuò)容和升級。
也使得大數(shù)據(jù)存儲技術(shù)在數(shù)據(jù)存儲的成本、數(shù)據(jù)讀寫能力以及數(shù)據(jù)自動備份安全性等方面，都面臨很大的挑戰(zhàn)。而這些痛點(diǎn)并不能僅通過硬件和存儲陣列本身存儲能力的提升來解決。
在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫無法滿足海量數(shù)據(jù)的存儲處理需求的情況下，以阿里巴巴為首的互聯(lián)網(wǎng)企業(yè)最早開啟了“去IOE化”的歷程。
在此之前，阿里主要使用的是IBM、惠普的小型機(jī)，存儲設(shè)備主要是EMC的產(chǎn)品，和部分戴爾存儲設(shè)備;數(shù)據(jù)庫都是Oracle的。但在電子商務(wù)業(yè)務(wù)的爆發(fā)式增長下，原有的技術(shù)架構(gòu)和成本阻礙了業(yè)務(wù)發(fā)展。
所謂去IOE化，其實(shí)就是集中式部署(IOE架構(gòu))很難適應(yīng)互聯(lián)網(wǎng)大規(guī)模應(yīng)用對擴(kuò)展性的要求，因此用分布式架構(gòu)系統(tǒng)替代了集中式架構(gòu)商用系統(tǒng)，進(jìn)而有了分布式數(shù)據(jù)庫的產(chǎn)生。
“IOE時代，數(shù)據(jù)通常存儲在IOE的硬件設(shè)備中，”李博士提到，“當(dāng)數(shù)據(jù)量增加時，就會通過堆砌IOE的硬件設(shè)備來實(shí)現(xiàn)存儲任務(wù)。由于IOE的軟硬件相互配合，成本也會水漲船高。”
但這套解決方案并非適用于所有公司。阿里的“去IOE”從2010年開始共耗時三年，前后投入近1.7萬名技術(shù)員工。遷移之后，系統(tǒng)的維護(hù)和運(yùn)營成本的耗費(fèi)也十分高昂，比如為了重新架構(gòu)全新的運(yùn)維體系，僅X86服務(wù)器就花了1.5萬臺，以替代原來的幾百臺小型機(jī)的系統(tǒng)。
對于大多數(shù)具有成本壓力的中小企業(yè)，睿帆科技推出了一站式解決方案，它由零距大數(shù)據(jù)中臺為底層依托，再附加雪球DB和少量語料即可完成文本識別的大禹中文智慧文本平臺，三大產(chǎn)品組合形成了覆蓋結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)的整套系統(tǒng)。這套系統(tǒng)所有的產(chǎn)品都支持PB級以上的數(shù)據(jù)處理能力，同時還能支撐起產(chǎn)品對于性能和承壓性需求。
“這種PB級+低代碼+數(shù)據(jù)中臺的組合可以讓中小型企業(yè)以相對較低的成本用上大數(shù)據(jù)產(chǎn)品。”在李博士看來，這才是大數(shù)據(jù)經(jīng)濟(jì)真正的價值，即幫助更多傳統(tǒng)中小型公司通過對大數(shù)據(jù)的精細(xì)化管理，提升企業(yè)工作效率，實(shí)現(xiàn)轉(zhuǎn)型升級。
睿帆科技成立于2015年，這期間，李博士和團(tuán)隊(duì)見證了大數(shù)據(jù)應(yīng)用不斷向產(chǎn)業(yè)互聯(lián)網(wǎng)延伸的趨勢，與此同時，華為、阿里等大廠也推出了自家的私有云解決方案和大數(shù)據(jù)解決方案，和創(chuàng)新型公司共同搶食大數(shù)據(jù)服務(wù)市場。
“巨頭的加入驗(yàn)證了行業(yè)的潛力，同時起到了一定的‘鯰魚效應(yīng)’。”李博士認(rèn)為，未來大公司的入局需要用更辯證的眼光來看待，一方面，未來的市場格局，普惠性的項(xiàng)目更多是交給巨頭來做，他們有充足的資源和資本;此外，如金融、安防等垂直細(xì)分市場可以交給睿帆科技這樣的技術(shù)型創(chuàng)新企業(yè)，“我們會深耕在我們已經(jīng)布局的、擅長的，已經(jīng)形成行業(yè)競爭壁壘的PB級大數(shù)據(jù)領(lǐng)域。”
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
