DLB——高并發(fā)大數(shù)據(jù)的解決之道

大數(shù)據(jù)滲透在我們生活的方方面面，正在無形中改善我們的生活和工作方式。

大數(shù)據(jù)時代的來臨，將在眾多領(lǐng)域掀起變革的巨浪。通過對大量數(shù)據(jù)的分析，隱藏在數(shù)據(jù)中的價值被發(fā)現(xiàn)，越來越多的企業(yè)利用大數(shù)據(jù)找到適合企業(yè)發(fā)展趨勢的方法，從而為合伙人帶來利益。

大數(shù)據(jù)安全、共享、開放給人們帶來前所未有的便利的同時也帶來了一些值得探討的問題。數(shù)據(jù)隱私、數(shù)據(jù)安全、數(shù)據(jù)確權(quán)也面臨著前所未有的挑戰(zhàn)。

據(jù)知情人士透露，目前的大數(shù)據(jù)行業(yè)，有大量從業(yè)者被警方帶走調(diào)查。數(shù)據(jù)行業(yè)正從原來的草莽和無邊界，到現(xiàn)在的肅清和規(guī)則重建，監(jiān)管之下，大數(shù)據(jù)行業(yè)正呈現(xiàn)出極快的洗牌趨勢。

而區(qū)塊鏈和大數(shù)據(jù)的結(jié)合，正顛覆和重塑整個行業(yè)，并推動產(chǎn)業(yè)鏈的數(shù)字經(jīng)濟(jì)進(jìn)一步升級。

在DLB（Data Link Base )的體系里，所有被確權(quán)的數(shù)據(jù)資產(chǎn)使用都必須經(jīng)過數(shù)據(jù)權(quán)利人的認(rèn)可。數(shù)據(jù)的顆粒度是非常細(xì)的，在未來實際的應(yīng)用場景中，每時每刻都有大量的數(shù)據(jù)應(yīng)用請求，這些請求會牽涉到數(shù)百萬的個人或?qū)嶓w，牽涉到非常細(xì)的數(shù)據(jù)條目，顯然每一次都去申請授權(quán)是無法實現(xiàn)的。

因此DLB采用可面向不同應(yīng)用領(lǐng)域的長時授權(quán)機制，把數(shù)據(jù)敏感度分為多個等級，數(shù)據(jù)權(quán)利人只需要按照自身特性和需求，為不同領(lǐng)域設(shè)定其開放程度，系統(tǒng)即可長期按照這個設(shè)定的授權(quán)方式來調(diào)用數(shù)據(jù)。最終，數(shù)據(jù)如何被使用、可以被誰使用，最終決定權(quán)還是在數(shù)據(jù)資產(chǎn)的權(quán)利人手上。

在DLB（Data Link Base )的體系里，大數(shù)據(jù)的分析采用了MapReduce，MapReduce是一個開源的大數(shù)據(jù)分析基礎(chǔ)框架，用于離線數(shù)據(jù)的大規(guī)模并行計算，由映射和規(guī)約兩個要素組成，通過這一框架得知以何種邏輯從海量數(shù)據(jù)中篩選出自身所需，并對其進(jìn)行規(guī)約，從而可以得出數(shù)據(jù)分析結(jié)論，并獲取數(shù)據(jù)價值。

在DLB（Data Link Base )的體系里，MapReduce用于處理大規(guī)模的離線計算任務(wù)，面向點對點實時任務(wù)，將交給Spark核心數(shù)據(jù)模型來處理。簡而言之，MapReduce用于處理大規(guī)模的離線計算任務(wù)，而Spark則用于處理那些需要實時產(chǎn)生結(jié)果的數(shù)據(jù)運算。

從大數(shù)據(jù)中獲取價值，這要求一個架構(gòu)完整的系統(tǒng)來協(xié)調(diào)并行數(shù)據(jù)庫的分析處理，而不是聯(lián)合所有的服務(wù)器。DLB，首個融合數(shù)據(jù)存儲和計算的大數(shù)據(jù)公鏈，在數(shù)據(jù)的處理能力上可以達(dá)到安全性與效率的完美平衡。未來DLB將針對大數(shù)據(jù)領(lǐng)域高并發(fā)的增長，去完善現(xiàn)有高并發(fā)性能，不斷突破瓶頸，最終與整個大數(shù)據(jù)應(yīng)用的并發(fā)需求量相輔相成。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。