如果說石油定義了二十世紀，那么數(shù)據(jù)正在迅速改變著二十一世紀。尤其是數(shù)字化以前所未有的步伐前進，數(shù)據(jù)正在成為整個社會運轉(zhuǎn)的基礎。正如舍恩伯格在《大數(shù)據(jù)時代》中提到，大數(shù)據(jù)帶來的信息風暴正在變革我們的生活、工作和思維，大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。
當下，企業(yè)無論是數(shù)字化轉(zhuǎn)型還是智能化升級，都與數(shù)據(jù)密不可分。與石油必須經(jīng)過提煉之后才能應用到千行百業(yè)類似，數(shù)據(jù)也必須經(jīng)過整合、加工、處理之后才能被很好地分析挖掘與應用。
然而，從數(shù)據(jù)到數(shù)據(jù)價值實現(xiàn)這個全生命周期過程并不簡單，當下由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多、實時性高等要求，使得數(shù)據(jù)價值的實現(xiàn)依然存在著很高的技術門檻。如何降低數(shù)據(jù)價值實現(xiàn)的門檻，就成為千行百業(yè)數(shù)字化轉(zhuǎn)型和智能化升級的關鍵所在。
數(shù)據(jù)湖，是一個并不新穎卻被用戶越來越重視的名詞，被業(yè)界普遍認為是降低大數(shù)據(jù)技術門檻和加速實現(xiàn)數(shù)據(jù)價值的最佳方式。尤其是隨著企業(yè)上云的步伐加速，云計算所帶來的彈性、靈活、高效正在賦予數(shù)據(jù)湖前所未有的活力，也讓越來越多用戶將數(shù)據(jù)湖云服務作為數(shù)據(jù)價值實現(xiàn)的首選。
在眾多數(shù)據(jù)湖解決方案中，華為云的智能數(shù)據(jù)湖FusionInsight在業(yè)界不可小覷，不僅僅因為華為云在數(shù)據(jù)湖領域擁有全面的技術、產(chǎn)品和方案，更因為華為云數(shù)據(jù)湖解決方案在金融、電信等行業(yè)的數(shù)據(jù)湖場景中得到了充分的實踐與考驗。
近日，在華為云TechWave 2020大數(shù)據(jù)專題日活動上，華為云介紹了其智能數(shù)據(jù)湖FusionInsight解決方案的最新動態(tài)，包括MRS大數(shù)據(jù)引領全球大數(shù)據(jù)技術發(fā)展，新一代全場景數(shù)據(jù)倉庫GaussDB(DWS)，一站式融合、開放數(shù)據(jù)運營平臺DAYU等產(chǎn)品，為大家勾勒出一副數(shù)據(jù)湖的全景圖。
為了響應政企用戶在IoT和運維監(jiān)控等場景下對數(shù)據(jù)倉庫時效性的需求，華為云還在TechWave 2020大數(shù)據(jù)專題日發(fā)布了GaussDB(DWS)實時數(shù)倉新品。
華為云人工智能領域總裁賈永利 發(fā)布華為云GaussDB(DWS)實時數(shù)倉
正如華為云人工智能領域總裁賈永利所言：“華為云希望通過大數(shù)據(jù)技術普惠創(chuàng)新，幫助千行百業(yè)真正釋放數(shù)據(jù)價值。”
華為云FusionInsight：這個數(shù)據(jù)湖不一般
從2010年首次被提出開始，數(shù)據(jù)湖已然走過十年歷史，其在數(shù)字化時代給用戶帶來的價值如今愈發(fā)清晰。
時至今日，數(shù)據(jù)其實已經(jīng)成為數(shù)字化時代的一種最為重要的生產(chǎn)資料，數(shù)據(jù)正在加速重塑企業(yè)與組織的生產(chǎn)、經(jīng)營、銷售、服務等流程。數(shù)據(jù)湖最大的價值在于可以幫助用戶梳理清楚從數(shù)據(jù)存儲、數(shù)據(jù)匯聚到數(shù)據(jù)挖掘全過程。千萬不要小看數(shù)據(jù)湖所能完成的這些處理過程，這恰恰是用戶們在數(shù)字化時代發(fā)揮數(shù)據(jù)價值所必不可少的基礎。
華為云人工智能總裁賈永利表示：“為了應對企業(yè)面臨的各種挑戰(zhàn)，華為云推出了智能數(shù)據(jù)湖FusionInsight，圍繞客戶在使用數(shù)據(jù)、管理數(shù)據(jù)全生命周期方面提供整體解決方案?！?/p>
華為云FusionInsight智能數(shù)據(jù)湖方案擁有構(gòu)建大集群的能力，支持單集群2萬節(jié)點，是行業(yè)中的標桿；采用湖倉一體的設計，讓批處理和交互式查詢?nèi)诤希瑢崿F(xiàn)“0”數(shù)據(jù)搬移；數(shù)據(jù)T+0實時入庫、消費、分析，大幅提升數(shù)據(jù)分析與應用的速度，很好地滿足了實時性需求；此外，華為云FusionInsight作為統(tǒng)一的數(shù)據(jù)湖，在管理上很容易實現(xiàn)統(tǒng)一管理。
據(jù)悉，華為云FusionInsight智能數(shù)據(jù)湖包含MRS大數(shù)據(jù)、GaussDB(DWS)數(shù)據(jù)倉庫、GES圖計算、DAYU數(shù)據(jù)運營等多款強大的云服務。
其中，華為云FusionInsight MRS大數(shù)據(jù)、GaussDB(DWS)數(shù)據(jù)倉庫，可以為用戶在數(shù)字化轉(zhuǎn)型中構(gòu)建堅實的數(shù)據(jù)底座，并通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)、提高效率。
同時，為標準化多樣性數(shù)據(jù)，一站式數(shù)據(jù)運營平臺DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù)，基于多樣性算力與CarbonData實現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲；向上為伙伴開發(fā)50+數(shù)據(jù)集成開發(fā)API，使能數(shù)據(jù)，攜手800+生態(tài)伙伴打造各行業(yè)應用。
除了強大的產(chǎn)品之外，華為云FusionInsight智能數(shù)據(jù)湖方案之所以在業(yè)界備受推崇，關鍵還在于行業(yè)龍頭的核心場景中得到了充分驗證。據(jù)悉，華為云FusionInsight相關產(chǎn)品已經(jīng)應用于全球60個國家及地區(qū)，服務于3000+個客戶，擁有800多家合作伙伴，廣泛應用于金融、運營商、政府、能源、醫(yī)療、制造、交通等多個行業(yè)。
以工商銀行為例，數(shù)據(jù)在銀行等金融機構(gòu)的作用日趨突出，工商銀行作為一家世界級的商業(yè)銀行，一直致力于探索數(shù)據(jù)驅(qū)動的金融服務新模式，有著大量基于數(shù)據(jù)的應用創(chuàng)新。華為云FusionInsight智能數(shù)據(jù)湖幫助工商銀行構(gòu)建起大數(shù)據(jù)云平臺，很好地解決了工行大數(shù)據(jù)全場景生態(tài)化應用的存儲、算力和算法挑戰(zhàn)，支撐起工行企業(yè)級數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團信息庫建設，推動工行數(shù)據(jù)智能服務由事后快速演進到事前、事中階段，大幅加快了各項金融服務的創(chuàng)新速度。
GaussDB(DWS)：十年磨一劍的新數(shù)倉
數(shù)據(jù)倉庫在大數(shù)據(jù)時代正在面臨著巨大變革。隨著數(shù)據(jù)規(guī)模越來越龐大、數(shù)據(jù)類型越來越豐富，以及數(shù)據(jù)實時分析需求越來越高，傳統(tǒng)數(shù)據(jù)倉庫已經(jīng)無法應對各個行業(yè)對于數(shù)據(jù)分析的需求。
比如，以前數(shù)據(jù)倉庫對接的數(shù)據(jù)源主要來自于企業(yè)內(nèi)部的交易數(shù)據(jù)，而如今除了內(nèi)部交易數(shù)據(jù)之外，企業(yè)希望數(shù)據(jù)倉庫的數(shù)據(jù)源更加多元化，比如對接行為數(shù)據(jù)、CRM數(shù)據(jù)、財務數(shù)據(jù)等等。數(shù)據(jù)源的大幅增加，也使得數(shù)據(jù)量正在暴增，這對于數(shù)據(jù)倉庫的架構(gòu)、性能、穩(wěn)定性都是極大的考驗。
像數(shù)據(jù)倉庫在大集群上經(jīng)常會面臨挑戰(zhàn)，也即隨著集群規(guī)模越來越大，數(shù)據(jù)倉庫對于資源占用、連接占用呈現(xiàn)出指數(shù)級的增長，會帶來端口占用、資源占用等一系列問題。要想解決這些問題，新一代數(shù)據(jù)倉庫必須在架構(gòu)上就實現(xiàn)突破。比如，在本次華為云TechWave 大數(shù)據(jù)專題日活動上，華為云GaussDB（DWS）新一代全場景云數(shù)據(jù)倉庫就帶來了全新的思路。
作為十年磨一劍的新產(chǎn)品，華為云GaussDB(DWS)新一代全場景云數(shù)據(jù)庫擁有以下特點：
首先，GaussDB(DWS)從架構(gòu)源頭上采用了Share-Nothing無共享的分布式架構(gòu)，突破了大規(guī)模通信、大規(guī)模集群管理等一系列的數(shù)據(jù)倉庫大集群關鍵技術，支持單集群PB級以上的數(shù)據(jù)容量，設計規(guī)格最大可擴展至2048個節(jié)點，在從小集群規(guī)模逐步擴展到大集群規(guī)模過程中，隨著節(jié)點數(shù)增加，集群的性能和容量線性增長，線性加速比>0.9。
其次，GaussDB(DWS)采用了全并行計算的架構(gòu)，支持多個物理節(jié)點并行計算，在一個物理節(jié)點中支持多個CPU核心并行計算，在一個CPU核心的指令序列中支持SIMD指令，實現(xiàn)一個指令同時操作多條數(shù)據(jù)，充分聚合海量算力資源。同時，GaussDB(DWS)實現(xiàn)了新一代智能優(yōu)化器技術、高效的算子算法、動態(tài)編譯等核心技術，帶來了高效的指令效率，在海量的算力資源和高效的指令效率的雙倍加速下，數(shù)據(jù)倉庫數(shù)據(jù)導入和分析速度都大幅領先。例如，TB級數(shù)據(jù)分鐘級導入、百億行數(shù)據(jù)的關聯(lián)分析秒級響應等都已經(jīng)在實際案例中得到實現(xiàn)。
另外，GaussDB(DWS)采用多層備份、多級保護機制，極大提升其穩(wěn)定性和可靠性。例如，在GaussDB(DWS)的系統(tǒng)部署中，磁盤、交換機、網(wǎng)卡、主機電源等關鍵硬件都有冗余備份。所有的軟件組件，如CN、DN、GTM、CM Server等都能實現(xiàn)實例多活或者Active-Standby的互備。同時，全方位的軟硬件故障檢測功能能夠快速對集群進行快速檢測和響應，實現(xiàn)自動故障切換，讓業(yè)務持續(xù)可用。
從2011年開始，華為十年以來一直致力于GaussDB(DWS)產(chǎn)品的打造，并且在金融、電信、政府等多個行業(yè)獲得了豐富的實踐經(jīng)驗和場景嚴苛考驗。目前，全球有超過500家大客戶采用了華為GaussDB(DWS)產(chǎn)品。比如，工商銀行作為全球最大的商業(yè)銀行，已經(jīng)實現(xiàn)了用GaussDB(DWS)對全球著名數(shù)據(jù)倉庫產(chǎn)品的替代。
未來，華為云GaussDB(DWS)還將持續(xù)優(yōu)化內(nèi)核能力，以支持更大的集群規(guī)模、更強的實時分析能力、以及更高的系統(tǒng)可靠性；并將會發(fā)力打造Cloud-Native云數(shù)據(jù)倉庫，面向云的環(huán)境，持續(xù)優(yōu)化向?qū)健⑷鞒?、在線可視化運維能力，在線快速彈性擴縮容能力；此外，數(shù)據(jù)協(xié)同能力、新型硬件支持能力以及分析邊界拓展也是華為云GaussDB(DWS)未來持續(xù)突破的重點。
普惠數(shù)據(jù)創(chuàng)新：華為云底氣十足
在華為云智能數(shù)據(jù)湖FusionInsight解決方案中，除了華為云GaussDB(DWS)，還有CarbonData和DAYU其他兩大數(shù)據(jù)“秘籍”。
華為云CarbonData是圍繞數(shù)據(jù)存儲進行數(shù)據(jù)格式一系列優(yōu)化的引擎，可以實現(xiàn)全局一份數(shù)據(jù)，統(tǒng)一的格式存儲，使用更加高效。華為云DAYU則是融合、開放的云化數(shù)據(jù)運營平臺，它可以支持超過30+的數(shù)據(jù)源對接，實現(xiàn)全域聯(lián)邦數(shù)據(jù)資產(chǎn)管理；其開放架構(gòu)體系圍繞數(shù)據(jù)使用構(gòu)建起端到端完善的工具平臺；此外，它共享型行業(yè)資產(chǎn)模型讓數(shù)據(jù)資產(chǎn)化效率實現(xiàn)3倍提升，支撐伙伴快速構(gòu)筑行業(yè)數(shù)據(jù)資產(chǎn)生態(tài)。
事實上，數(shù)據(jù)湖十年價值落地之路可謂是兜兜轉(zhuǎn)轉(zhuǎn)、起起伏伏。十年以來，有各種類型的廠商希望加速數(shù)據(jù)湖的落地，但一個有趣的現(xiàn)象愈發(fā)明顯，即像華為云為代表的云服務提供商，正在成為數(shù)據(jù)湖落地的重要力量。
像華為云這樣的云服務提供商之所以能夠極大推動數(shù)據(jù)湖在各行各業(yè)的落地，是因為：
首先，數(shù)據(jù)湖并不是一項單點技術，而是多種跟數(shù)據(jù)相關技術的組合體系，需要發(fā)揮技術組合的威力，而像華為云這樣的云服務提供商，恰恰可以提供全面和強大的產(chǎn)品、技術組合，加速了數(shù)據(jù)湖在用戶中的落地應用。
其次，云服務的方式是數(shù)據(jù)湖落地的一個絕佳載體，云服務的方式屏蔽了傳統(tǒng)模式的各種復雜性，提供了前所未有的靈活性、彈性和技術的快速迭代。在企業(yè)用戶上云趨勢下，云服務提供商將云計算的優(yōu)勢與數(shù)據(jù)湖結(jié)合。
另外，華為云FusionInsight智能數(shù)據(jù)湖解決方案已經(jīng)在金融、電信、制造、政府等多個行業(yè)場景中得到了實踐與考驗，其方案的完整度、能力都有充分保障。
這些就是華為云在數(shù)據(jù)湖落地、加速幫助用戶實現(xiàn)數(shù)據(jù)價值的底氣所在。數(shù)據(jù)湖已經(jīng)走過了十個年頭，未來隨著5G、物聯(lián)網(wǎng)等更多技術的應用，用戶對于數(shù)據(jù)湖的需求必然會再上一個臺階，而華為云智能數(shù)據(jù)湖FusionInsight有望迎來更大的施展舞臺！
免責聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關。文章僅供讀者參考，并請自行核實相關內(nèi)容。投訴郵箱：editor@fromgeek.com。
免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。
