如果說石油定義了二十世紀(jì),那么數(shù)據(jù)正在迅速改變著二十一世紀(jì)。尤其是數(shù)字化以前所未有的步伐前進(jìn),數(shù)據(jù)正在成為整個(gè)社會(huì)運(yùn)轉(zhuǎn)的基礎(chǔ)。正如舍恩伯格在《大數(shù)據(jù)時(shí)代》中提到,大數(shù)據(jù)帶來的信息風(fēng)暴正在變革我們的生活、工作和思維,大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型。
當(dāng)下,企業(yè)無論是數(shù)字化轉(zhuǎn)型還是智能化升級(jí),都與數(shù)據(jù)密不可分。與石油必須經(jīng)過提煉之后才能應(yīng)用到千行百業(yè)類似,數(shù)據(jù)也必須經(jīng)過整合、加工、處理之后才能被很好地分析挖掘與應(yīng)用。
然而,從數(shù)據(jù)到數(shù)據(jù)價(jià)值實(shí)現(xiàn)這個(gè)全生命周期過程并不簡單,當(dāng)下由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多、實(shí)時(shí)性高等要求,使得數(shù)據(jù)價(jià)值的實(shí)現(xiàn)依然存在著很高的技術(shù)門檻。如何降低數(shù)據(jù)價(jià)值實(shí)現(xiàn)的門檻,就成為千行百業(yè)數(shù)字化轉(zhuǎn)型和智能化升級(jí)的關(guān)鍵所在。
數(shù)據(jù)湖,是一個(gè)并不新穎卻被用戶越來越重視的名詞,被業(yè)界普遍認(rèn)為是降低大數(shù)據(jù)技術(shù)門檻和加速實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最佳方式。尤其是隨著企業(yè)上云的步伐加速,云計(jì)算所帶來的彈性、靈活、高效正在賦予數(shù)據(jù)湖前所未有的活力,也讓越來越多用戶將數(shù)據(jù)湖云服務(wù)作為數(shù)據(jù)價(jià)值實(shí)現(xiàn)的首選。
在眾多數(shù)據(jù)湖解決方案中,華為云的智能數(shù)據(jù)湖FusionInsight在業(yè)界不可小覷,不僅僅因?yàn)槿A為云在數(shù)據(jù)湖領(lǐng)域擁有全面的技術(shù)、產(chǎn)品和方案,更因?yàn)槿A為云數(shù)據(jù)湖解決方案在金融、電信等行業(yè)的數(shù)據(jù)湖場(chǎng)景中得到了充分的實(shí)踐與考驗(yàn)。
近日,在華為云TechWave 2020大數(shù)據(jù)專題日活動(dòng)上,華為云介紹了其智能數(shù)據(jù)湖FusionInsight解決方案的最新動(dòng)態(tài),包括MRS大數(shù)據(jù)引領(lǐng)全球大數(shù)據(jù)技術(shù)發(fā)展,新一代全場(chǎng)景數(shù)據(jù)倉庫GaussDB(DWS),一站式融合、開放數(shù)據(jù)運(yùn)營平臺(tái)DAYU等產(chǎn)品,為大家勾勒出一副數(shù)據(jù)湖的全景圖。
為了響應(yīng)政企用戶在IoT和運(yùn)維監(jiān)控等場(chǎng)景下對(duì)數(shù)據(jù)倉庫時(shí)效性的需求,華為云還在TechWave 2020大數(shù)據(jù)專題日發(fā)布了GaussDB(DWS)實(shí)時(shí)數(shù)倉新品。
華為云人工智能領(lǐng)域總裁賈永利 發(fā)布華為云GaussDB(DWS)實(shí)時(shí)數(shù)倉
正如華為云人工智能領(lǐng)域總裁賈永利所言:“華為云希望通過大數(shù)據(jù)技術(shù)普惠創(chuàng)新,幫助千行百業(yè)真正釋放數(shù)據(jù)價(jià)值?!?/p>
華為云FusionInsight:這個(gè)數(shù)據(jù)湖不一般
從2010年首次被提出開始,數(shù)據(jù)湖已然走過十年歷史,其在數(shù)字化時(shí)代給用戶帶來的價(jià)值如今愈發(fā)清晰。
時(shí)至今日,數(shù)據(jù)其實(shí)已經(jīng)成為數(shù)字化時(shí)代的一種最為重要的生產(chǎn)資料,數(shù)據(jù)正在加速重塑企業(yè)與組織的生產(chǎn)、經(jīng)營、銷售、服務(wù)等流程。數(shù)據(jù)湖最大的價(jià)值在于可以幫助用戶梳理清楚從數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)匯聚到數(shù)據(jù)挖掘全過程。千萬不要小看數(shù)據(jù)湖所能完成的這些處理過程,這恰恰是用戶們?cè)跀?shù)字化時(shí)代發(fā)揮數(shù)據(jù)價(jià)值所必不可少的基礎(chǔ)。
華為云人工智能總裁賈永利表示:“為了應(yīng)對(duì)企業(yè)面臨的各種挑戰(zhàn),華為云推出了智能數(shù)據(jù)湖FusionInsight,圍繞客戶在使用數(shù)據(jù)、管理數(shù)據(jù)全生命周期方面提供整體解決方案?!?/p>
華為云FusionInsight智能數(shù)據(jù)湖方案擁有構(gòu)建大集群的能力,支持單集群2萬節(jié)點(diǎn),是行業(yè)中的標(biāo)桿;采用湖倉一體的設(shè)計(jì),讓批處理和交互式查詢?nèi)诤?,?shí)現(xiàn)“0”數(shù)據(jù)搬移;數(shù)據(jù)T+0實(shí)時(shí)入庫、消費(fèi)、分析,大幅提升數(shù)據(jù)分析與應(yīng)用的速度,很好地滿足了實(shí)時(shí)性需求;此外,華為云FusionInsight作為統(tǒng)一的數(shù)據(jù)湖,在管理上很容易實(shí)現(xiàn)統(tǒng)一管理。
據(jù)悉,華為云FusionInsight智能數(shù)據(jù)湖包含MRS大數(shù)據(jù)、GaussDB(DWS)數(shù)據(jù)倉庫、GES圖計(jì)算、DAYU數(shù)據(jù)運(yùn)營等多款強(qiáng)大的云服務(wù)。
其中,華為云FusionInsight MRS大數(shù)據(jù)、GaussDB(DWS)數(shù)據(jù)倉庫,可以為用戶在數(shù)字化轉(zhuǎn)型中構(gòu)建堅(jiān)實(shí)的數(shù)據(jù)底座,并通過HetuEngine數(shù)據(jù)虛擬化引擎簡化用數(shù)、提高效率。
同時(shí),為標(biāo)準(zhǔn)化多樣性數(shù)據(jù),一站式數(shù)據(jù)運(yùn)營平臺(tái)DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數(shù)據(jù),基于多樣性算力與CarbonData實(shí)現(xiàn)全局一份數(shù)據(jù)的統(tǒng)一格式存儲(chǔ);向上為伙伴開發(fā)50+數(shù)據(jù)集成開發(fā)API,使能數(shù)據(jù),攜手800+生態(tài)伙伴打造各行業(yè)應(yīng)用。
除了強(qiáng)大的產(chǎn)品之外,華為云FusionInsight智能數(shù)據(jù)湖方案之所以在業(yè)界備受推崇,關(guān)鍵還在于行業(yè)龍頭的核心場(chǎng)景中得到了充分驗(yàn)證。據(jù)悉,華為云FusionInsight相關(guān)產(chǎn)品已經(jīng)應(yīng)用于全球60個(gè)國家及地區(qū),服務(wù)于3000+個(gè)客戶,擁有800多家合作伙伴,廣泛應(yīng)用于金融、運(yùn)營商、政府、能源、醫(yī)療、制造、交通等多個(gè)行業(yè)。
以工商銀行為例,數(shù)據(jù)在銀行等金融機(jī)構(gòu)的作用日趨突出,工商銀行作為一家世界級(jí)的商業(yè)銀行,一直致力于探索數(shù)據(jù)驅(qū)動(dòng)的金融服務(wù)新模式,有著大量基于數(shù)據(jù)的應(yīng)用創(chuàng)新。華為云FusionInsight智能數(shù)據(jù)湖幫助工商銀行構(gòu)建起大數(shù)據(jù)云平臺(tái),很好地解決了工行大數(shù)據(jù)全場(chǎng)景生態(tài)化應(yīng)用的存儲(chǔ)、算力和算法挑戰(zhàn),支撐起工行企業(yè)級(jí)數(shù)據(jù)湖、數(shù)據(jù)倉庫、集團(tuán)信息庫建設(shè),推動(dòng)工行數(shù)據(jù)智能服務(wù)由事后快速演進(jìn)到事前、事中階段,大幅加快了各項(xiàng)金融服務(wù)的創(chuàng)新速度。
GaussDB(DWS):十年磨一劍的新數(shù)倉
數(shù)據(jù)倉庫在大數(shù)據(jù)時(shí)代正在面臨著巨大變革。隨著數(shù)據(jù)規(guī)模越來越龐大、數(shù)據(jù)類型越來越豐富,以及數(shù)據(jù)實(shí)時(shí)分析需求越來越高,傳統(tǒng)數(shù)據(jù)倉庫已經(jīng)無法應(yīng)對(duì)各個(gè)行業(yè)對(duì)于數(shù)據(jù)分析的需求。
比如,以前數(shù)據(jù)倉庫對(duì)接的數(shù)據(jù)源主要來自于企業(yè)內(nèi)部的交易數(shù)據(jù),而如今除了內(nèi)部交易數(shù)據(jù)之外,企業(yè)希望數(shù)據(jù)倉庫的數(shù)據(jù)源更加多元化,比如對(duì)接行為數(shù)據(jù)、CRM數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)等等。數(shù)據(jù)源的大幅增加,也使得數(shù)據(jù)量正在暴增,這對(duì)于數(shù)據(jù)倉庫的架構(gòu)、性能、穩(wěn)定性都是極大的考驗(yàn)。
像數(shù)據(jù)倉庫在大集群上經(jīng)常會(huì)面臨挑戰(zhàn),也即隨著集群規(guī)模越來越大,數(shù)據(jù)倉庫對(duì)于資源占用、連接占用呈現(xiàn)出指數(shù)級(jí)的增長,會(huì)帶來端口占用、資源占用等一系列問題。要想解決這些問題,新一代數(shù)據(jù)倉庫必須在架構(gòu)上就實(shí)現(xiàn)突破。比如,在本次華為云TechWave 大數(shù)據(jù)專題日活動(dòng)上,華為云GaussDB(DWS)新一代全場(chǎng)景云數(shù)據(jù)倉庫就帶來了全新的思路。
作為十年磨一劍的新產(chǎn)品,華為云GaussDB(DWS)新一代全場(chǎng)景云數(shù)據(jù)庫擁有以下特點(diǎn):
首先,GaussDB(DWS)從架構(gòu)源頭上采用了Share-Nothing無共享的分布式架構(gòu),突破了大規(guī)模通信、大規(guī)模集群管理等一系列的數(shù)據(jù)倉庫大集群關(guān)鍵技術(shù),支持單集群PB級(jí)以上的數(shù)據(jù)容量,設(shè)計(jì)規(guī)格最大可擴(kuò)展至2048個(gè)節(jié)點(diǎn),在從小集群規(guī)模逐步擴(kuò)展到大集群規(guī)模過程中,隨著節(jié)點(diǎn)數(shù)增加,集群的性能和容量線性增長,線性加速比>0.9。
其次,GaussDB(DWS)采用了全并行計(jì)算的架構(gòu),支持多個(gè)物理節(jié)點(diǎn)并行計(jì)算,在一個(gè)物理節(jié)點(diǎn)中支持多個(gè)CPU核心并行計(jì)算,在一個(gè)CPU核心的指令序列中支持SIMD指令,實(shí)現(xiàn)一個(gè)指令同時(shí)操作多條數(shù)據(jù),充分聚合海量算力資源。同時(shí),GaussDB(DWS)實(shí)現(xiàn)了新一代智能優(yōu)化器技術(shù)、高效的算子算法、動(dòng)態(tài)編譯等核心技術(shù),帶來了高效的指令效率,在海量的算力資源和高效的指令效率的雙倍加速下,數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入和分析速度都大幅領(lǐng)先。例如,TB級(jí)數(shù)據(jù)分鐘級(jí)導(dǎo)入、百億行數(shù)據(jù)的關(guān)聯(lián)分析秒級(jí)響應(yīng)等都已經(jīng)在實(shí)際案例中得到實(shí)現(xiàn)。
另外,GaussDB(DWS)采用多層備份、多級(jí)保護(hù)機(jī)制,極大提升其穩(wěn)定性和可靠性。例如,在GaussDB(DWS)的系統(tǒng)部署中,磁盤、交換機(jī)、網(wǎng)卡、主機(jī)電源等關(guān)鍵硬件都有冗余備份。所有的軟件組件,如CN、DN、GTM、CM Server等都能實(shí)現(xiàn)實(shí)例多活或者Active-Standby的互備。同時(shí),全方位的軟硬件故障檢測(cè)功能能夠快速對(duì)集群進(jìn)行快速檢測(cè)和響應(yīng),實(shí)現(xiàn)自動(dòng)故障切換,讓業(yè)務(wù)持續(xù)可用。
從2011年開始,華為十年以來一直致力于GaussDB(DWS)產(chǎn)品的打造,并且在金融、電信、政府等多個(gè)行業(yè)獲得了豐富的實(shí)踐經(jīng)驗(yàn)和場(chǎng)景嚴(yán)苛考驗(yàn)。目前,全球有超過500家大客戶采用了華為GaussDB(DWS)產(chǎn)品。比如,工商銀行作為全球最大的商業(yè)銀行,已經(jīng)實(shí)現(xiàn)了用GaussDB(DWS)對(duì)全球著名數(shù)據(jù)倉庫產(chǎn)品的替代。
未來,華為云GaussDB(DWS)還將持續(xù)優(yōu)化內(nèi)核能力,以支持更大的集群規(guī)模、更強(qiáng)的實(shí)時(shí)分析能力、以及更高的系統(tǒng)可靠性;并將會(huì)發(fā)力打造Cloud-Native云數(shù)據(jù)倉庫,面向云的環(huán)境,持續(xù)優(yōu)化向?qū)健⑷鞒?、在線可視化運(yùn)維能力,在線快速彈性擴(kuò)縮容能力;此外,數(shù)據(jù)協(xié)同能力、新型硬件支持能力以及分析邊界拓展也是華為云GaussDB(DWS)未來持續(xù)突破的重點(diǎn)。
普惠數(shù)據(jù)創(chuàng)新:華為云底氣十足
在華為云智能數(shù)據(jù)湖FusionInsight解決方案中,除了華為云GaussDB(DWS),還有CarbonData和DAYU其他兩大數(shù)據(jù)“秘籍”。
華為云CarbonData是圍繞數(shù)據(jù)存儲(chǔ)進(jìn)行數(shù)據(jù)格式一系列優(yōu)化的引擎,可以實(shí)現(xiàn)全局一份數(shù)據(jù),統(tǒng)一的格式存儲(chǔ),使用更加高效。華為云DAYU則是融合、開放的云化數(shù)據(jù)運(yùn)營平臺(tái),它可以支持超過30+的數(shù)據(jù)源對(duì)接,實(shí)現(xiàn)全域聯(lián)邦數(shù)據(jù)資產(chǎn)管理;其開放架構(gòu)體系圍繞數(shù)據(jù)使用構(gòu)建起端到端完善的工具平臺(tái);此外,它共享型行業(yè)資產(chǎn)模型讓數(shù)據(jù)資產(chǎn)化效率實(shí)現(xiàn)3倍提升,支撐伙伴快速構(gòu)筑行業(yè)數(shù)據(jù)資產(chǎn)生態(tài)。
事實(shí)上,數(shù)據(jù)湖十年價(jià)值落地之路可謂是兜兜轉(zhuǎn)轉(zhuǎn)、起起伏伏。十年以來,有各種類型的廠商希望加速數(shù)據(jù)湖的落地,但一個(gè)有趣的現(xiàn)象愈發(fā)明顯,即像華為云為代表的云服務(wù)提供商,正在成為數(shù)據(jù)湖落地的重要力量。
像華為云這樣的云服務(wù)提供商之所以能夠極大推動(dòng)數(shù)據(jù)湖在各行各業(yè)的落地,是因?yàn)椋?/p>
首先,數(shù)據(jù)湖并不是一項(xiàng)單點(diǎn)技術(shù),而是多種跟數(shù)據(jù)相關(guān)技術(shù)的組合體系,需要發(fā)揮技術(shù)組合的威力,而像華為云這樣的云服務(wù)提供商,恰恰可以提供全面和強(qiáng)大的產(chǎn)品、技術(shù)組合,加速了數(shù)據(jù)湖在用戶中的落地應(yīng)用。
其次,云服務(wù)的方式是數(shù)據(jù)湖落地的一個(gè)絕佳載體,云服務(wù)的方式屏蔽了傳統(tǒng)模式的各種復(fù)雜性,提供了前所未有的靈活性、彈性和技術(shù)的快速迭代。在企業(yè)用戶上云趨勢(shì)下,云服務(wù)提供商將云計(jì)算的優(yōu)勢(shì)與數(shù)據(jù)湖結(jié)合。
另外,華為云FusionInsight智能數(shù)據(jù)湖解決方案已經(jīng)在金融、電信、制造、政府等多個(gè)行業(yè)場(chǎng)景中得到了實(shí)踐與考驗(yàn),其方案的完整度、能力都有充分保障。
這些就是華為云在數(shù)據(jù)湖落地、加速幫助用戶實(shí)現(xiàn)數(shù)據(jù)價(jià)值的底氣所在。數(shù)據(jù)湖已經(jīng)走過了十個(gè)年頭,未來隨著5G、物聯(lián)網(wǎng)等更多技術(shù)的應(yīng)用,用戶對(duì)于數(shù)據(jù)湖的需求必然會(huì)再上一個(gè)臺(tái)階,而華為云智能數(shù)據(jù)湖FusionInsight有望迎來更大的施展舞臺(tái)!
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美國無人機(jī)禁令升級(jí)?當(dāng)?shù)乜茖W(xué)家率先“喊疼”:我們離不開大疆
- iQOO Neo10 Pro:性能特長之外,亦有全能實(shí)力
- 自動(dòng)駕駛第一股的轉(zhuǎn)型迷途:圖森未來賭上了AIGC
- 明星熱劇、品牌種草、平臺(tái)資源,京東讓芬騰雙11的熱度“沸騰”了
- 一加 Ace 5 Pro明牌:游戲手機(jī)看它就夠了!
- 游戲體驗(yàn)天花板,一加 Ace 5 系列售價(jià) 2299 元起
- 16個(gè)月沒工資不敢離職,這些打工人“自費(fèi)上班”
- 怎樣利用微信小店“送禮”功能賺錢?
- 鴻蒙智行問界M9,中國豪華車的龍門一躍
- 科技云報(bào)道:人工智能時(shí)代“三大件”:生成式AI、數(shù)據(jù)、云服務(wù)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。