科技云報(bào)道原創(chuàng)。
隨著新一輪科技革命和產(chǎn)業(yè)革命深入交織,數(shù)字經(jīng)濟(jì)正在成為重組全球要素資源、重塑全球經(jīng)濟(jì)結(jié)構(gòu)、改變?nèi)蚋偁幐窬值年P(guān)鍵力量。
在這一過程中,作為數(shù)字化底座的云,已經(jīng)不僅僅局限于基礎(chǔ)設(shè)施角色,更是企業(yè)持續(xù)創(chuàng)新和精益運(yùn)營的關(guān)鍵支撐。
能否從云上獲取更多價(jià)值,將成為企業(yè)能否在數(shù)字時(shí)代擁有一席之地、持續(xù)領(lǐng)先領(lǐng)跑的關(guān)鍵。
而云原生對(duì)基礎(chǔ)設(shè)施的革新,帶來了一系列“蝴蝶效應(yīng)”。
隨著云原生技術(shù)已在互聯(lián)網(wǎng)、金融等行業(yè)“落地開花”,云原生基礎(chǔ)設(shè)施不僅可以豐富數(shù)字化應(yīng)用場景的多元化實(shí)踐,也將為企業(yè)發(fā)展提供可持續(xù)的內(nèi)生動(dòng)力,“智能湖倉”便是其中最為重要的技術(shù)架構(gòu)之一。
作為“智能湖倉”架構(gòu)的提出者,亞馬遜云科技在云原生數(shù)據(jù)基礎(chǔ)設(shè)施方面持續(xù)迭代創(chuàng)新。
3月14日,亞馬遜云原生數(shù)據(jù)湖S3迎來17周歲,在Pi Day 2023上,亞馬遜云科技對(duì)Amazon S3發(fā)展歷程進(jìn)行全面回顧,不斷激發(fā)數(shù)據(jù)的更大價(jià)值。
?從“數(shù)據(jù)倉庫”到“數(shù)據(jù)湖”
IDC統(tǒng)計(jì)顯示,預(yù)計(jì)到2025年,全球數(shù)據(jù)量將比2016年的16.1ZB增加十倍,達(dá)到163ZB。
數(shù)據(jù)的海量與多元化決定了從數(shù)據(jù)中獲取有用的價(jià)值變得越來越困難,如果無法從數(shù)據(jù)中獲得益處,那么數(shù)據(jù)價(jià)值就無從談起。
目前,數(shù)據(jù)的價(jià)值呈現(xiàn)兩極化特征,一是及時(shí)發(fā)現(xiàn),實(shí)時(shí)分析快速促進(jìn)業(yè)務(wù)發(fā)展;二是長期存放,數(shù)據(jù)累積起來,探索數(shù)據(jù)后隱藏的規(guī)律,統(tǒng)一分析其價(jià)值,為業(yè)務(wù)發(fā)展提供參考。
新的數(shù)據(jù)價(jià)值將給企業(yè)帶來更多智能創(chuàng)新應(yīng)用,比如增長黑客、推薦系統(tǒng),用戶行為分析,AIoT帶來的更多模型,這也意味著IT基礎(chǔ)設(shè)施的變革。
傳統(tǒng)數(shù)據(jù)處理方式,就像“涓涓細(xì)流”,里面有ERP、CRM等各種業(yè)務(wù)系統(tǒng),用戶可以設(shè)計(jì)“一個(gè)河道”,數(shù)據(jù)庫在最底層。
數(shù)據(jù)經(jīng)過整理后形成中間層的數(shù)據(jù)倉庫,然后通過商務(wù)智能工具(BI)來及進(jìn)行展示。
但在數(shù)字化時(shí)代,各種各樣的視頻、移動(dòng)終端信息如“滔滔江水”,形成大規(guī)模的海量數(shù)據(jù),用戶來不及整理和使用。
這時(shí),一個(gè)新的設(shè)想打開了人們的視野,假設(shè)有那么一片洼地,把所有數(shù)據(jù)先蓄積到里面,然后通過有效的工具進(jìn)行查詢和處理,這便是數(shù)據(jù)湖。
國際研究機(jī)構(gòu)MarketsandMarkets最新研究報(bào)告顯示,到2024年,全球數(shù)據(jù)湖市場將突破200億美元,增至201億美元,復(fù)合年增長率將高達(dá)20.6%。
可以說,隨著數(shù)據(jù)治理與應(yīng)用需求激增,數(shù)據(jù)湖成為數(shù)據(jù)管理的重要方式已成為不爭的事實(shí)。
數(shù)據(jù)湖的出現(xiàn),很好的解決了數(shù)據(jù)倉庫建設(shè)存在的一系列問題,將數(shù)據(jù)管理的流程簡化為2個(gè)階段,數(shù)據(jù)入湖和數(shù)據(jù)分析。
數(shù)據(jù)湖一般以免運(yùn)維、高可靠的對(duì)象存儲(chǔ)為底座,支持各種數(shù)據(jù)類型的存儲(chǔ)。
對(duì)于用戶來說,借助最新的數(shù)據(jù)湖解決方案,不僅能解決過去的數(shù)據(jù)孤島問題,同時(shí)還能兼容傳統(tǒng)的數(shù)據(jù)倉庫和數(shù)據(jù)分析方法。
最重要的是,更適合現(xiàn)代應(yīng)用部署,比如和機(jī)器學(xué)習(xí)結(jié)合,進(jìn)行預(yù)測性的分析。
? “智能湖倉”成技術(shù)新趨勢
隨著數(shù)據(jù)湖概念的興起,業(yè)界對(duì)于數(shù)據(jù)倉庫和數(shù)據(jù)湖的對(duì)比甚至爭論就一直不斷。
有人說數(shù)據(jù)湖是下一代大數(shù)據(jù)平臺(tái),各大云廠商也紛紛提出自己的數(shù)據(jù)湖解決方案,一些云數(shù)倉產(chǎn)品也增加了和數(shù)據(jù)湖聯(lián)動(dòng)的特性。
不過在我們看來,數(shù)據(jù)湖與數(shù)據(jù)倉庫并不是替代關(guān)系,而是互為補(bǔ)充、相輔相成,在此基礎(chǔ)上的“智能湖倉”將能充分實(shí)現(xiàn)兩者間的良性互動(dòng),成為未來重要的數(shù)據(jù)技術(shù)趨勢之一。
“智能湖倉”通過數(shù)據(jù)倉庫治理能力的引入,既可以很好的解決上面提到的數(shù)據(jù)湖建設(shè)的問題,也為更好的挖掘湖中數(shù)據(jù)價(jià)值提供了基礎(chǔ),將高效建倉、靈活建湖的兩大優(yōu)勢融合在了一起。
不同于傳統(tǒng)數(shù)據(jù)倉庫的管理方式,“智能湖倉”極大地提高了數(shù)據(jù)開發(fā)的效率,同時(shí)降低了數(shù)據(jù)管理的難度。
過去處理數(shù)據(jù),需要資深的數(shù)據(jù)架構(gòu)師定義數(shù)倉的規(guī)劃,從數(shù)倉的分層、指標(biāo)的定義到數(shù)據(jù)集市模型設(shè)計(jì),然后交給專業(yè)的數(shù)據(jù)工程師進(jìn)行業(yè)務(wù)開發(fā),再由業(yè)務(wù)人員進(jìn)行驗(yàn)證,有一套規(guī)范但卻復(fù)雜的過程。而“智能湖倉”的出現(xiàn),讓企業(yè)能夠快速的基于業(yè)務(wù)進(jìn)行開發(fā),又能夠靈活的調(diào)整和規(guī)劃自己的數(shù)據(jù)管理方式。
另外,“智能湖倉”也讓大數(shù)據(jù)行業(yè)內(nèi)各個(gè)角色之間的交互變得更加自如。基于“智能湖倉”的數(shù)據(jù)管理理念,各類數(shù)據(jù)應(yīng)用角色能夠更好的相互協(xié)作,共同開發(fā)。
如數(shù)據(jù)科學(xué)家可以方便的集成自己的數(shù)據(jù)并以納入標(biāo)準(zhǔn)數(shù)倉流程進(jìn)行管理、業(yè)務(wù)分析師也能夠自己開發(fā)數(shù)據(jù)需求等。
“智能湖倉”打破孤島勾勒數(shù)據(jù)價(jià)值未來
談到“智能湖倉”,不得不提到其最為重要的支撐——Amazon S3 ( Simple Storage Service )。
17年前,亞馬遜云科技推出了Amazon S3服務(wù),首次定義了對(duì)象存儲(chǔ),S3由此成為對(duì)象存儲(chǔ)事實(shí)上的標(biāo)準(zhǔn),具有劃時(shí)代意義。2015年,Amazon S3支持?jǐn)?shù)萬億對(duì)象存儲(chǔ),平均在線峰值每秒可處理150萬請(qǐng)求,設(shè)計(jì)為99.999999999%(“11個(gè)9”)的持久性。
2022年,亞馬遜云科技迎來又一座里程碑。Amazon S3存儲(chǔ)的對(duì)象數(shù)量已經(jīng)超過200萬億,每秒可處理數(shù)千萬個(gè)請(qǐng)求。
亞馬遜云科技發(fā)布Amazon Redshift支持auto-copy from Amazon S3,從物理存儲(chǔ)層面打通了數(shù)據(jù)湖與數(shù)據(jù)倉庫。
目前,全球數(shù)萬用戶都在使用Amazon Redshift分析數(shù)據(jù)庫進(jìn)行數(shù)據(jù)分析,這些用戶來自游戲、金融、醫(yī)療、消費(fèi)、互聯(lián)網(wǎng)等。
在十多年發(fā)展歷程中,Redshift一直在持續(xù)迭代,很多功能和特性都源于企業(yè)的真實(shí)業(yè)務(wù)需求。
具體而言,客戶數(shù)倉場景主要包括四大塊:
第一,常規(guī)業(yè)務(wù)運(yùn)營與BI分析;第二,實(shí)時(shí)數(shù)倉分析;第三,查詢、報(bào)表與數(shù)據(jù)分析;第四,機(jī)器學(xué)習(xí)與分析預(yù)測。
可以說,企業(yè)要想快速構(gòu)建數(shù)據(jù)流水線,Amazon Redshift是底層基礎(chǔ)設(shè)置的重要支撐。
而憑借Amazon Redshift與其他數(shù)據(jù)分析應(yīng)用的無縫集成,用戶可以獲得更完美的數(shù)據(jù)分析體驗(yàn)。
比如:可以實(shí)現(xiàn)高性能格式存儲(chǔ)數(shù)據(jù),以更經(jīng)濟(jì)有效的方式將存儲(chǔ)擴(kuò)展到千兆字節(jié),可實(shí)現(xiàn)存儲(chǔ)和計(jì)算的分離,并且可以實(shí)現(xiàn)分析和機(jī)器學(xué)習(xí)引擎的選擇等等。
早在2017年,Redshift就已經(jīng)實(shí)現(xiàn)湖和倉的融合,Redshift Spectrum可以直接查詢在S3上開放格式的數(shù)據(jù),當(dāng)然也可以將數(shù)據(jù)寫入到湖中,實(shí)現(xiàn)了數(shù)據(jù)倉庫和數(shù)據(jù)湖的數(shù)據(jù)無縫流轉(zhuǎn)。
2022年,是Redshift推出正式滿10周年。在這特別的一年,亞馬遜云科技在年度大會(huì)上卻一反常態(tài),沒有發(fā)布重大升級(jí)更新。
取而代之的是,在會(huì)中推出許多新功能,都是和Redshift相關(guān),從更緊密資料集成、流媒體資料分析到強(qiáng)化安全訪問,力求要把Redshift打造成企業(yè)資料集散地,來符合各種現(xiàn)代化應(yīng)用的使用,以及能匯集整理各種類型資料,提供AI分析和后續(xù)應(yīng)用,更要讓這個(gè)能夠通吃各種資料類型的新一代數(shù)據(jù)倉庫架構(gòu),成為加速企業(yè)資料現(xiàn)代化的關(guān)鍵產(chǎn)品。
總體而言,作為亞馬遜云科技的基石技術(shù),Amazon S3不斷為其技術(shù)創(chuàng)新提供源源不斷的養(yǎng)分。而“智能湖倉”以Amazon S3為基礎(chǔ)構(gòu)建數(shù)據(jù)湖,作為中央存儲(chǔ)庫,圍繞數(shù)據(jù)湖集成專門的“數(shù)據(jù)服務(wù)環(huán)”,包括數(shù)據(jù)倉庫、機(jī)器學(xué)習(xí)、大數(shù)據(jù)處理、日志分析等數(shù)據(jù)服務(wù),然后再利用Amazon Lake Formation、Amazon Glue、Amazon Athena、Spectrum等工具,實(shí)現(xiàn)數(shù)據(jù)湖的構(gòu)建、數(shù)據(jù)的移動(dòng)和管理等。
“智能湖倉”架構(gòu)可以被視為一個(gè)“樞紐”,將亞馬遜云科技的數(shù)據(jù)服務(wù)無縫集成,打通數(shù)據(jù)湖和數(shù)據(jù)倉庫之間數(shù)據(jù)移動(dòng)和訪問,并且進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫,以及在數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各類專門構(gòu)建的服務(wù)之間按需移動(dòng),從而形成統(tǒng)一且連續(xù)的整體,滿足客戶各種實(shí)際業(yè)務(wù)場景下的不同需求。
任何階段的企業(yè)都可以從這種敏捷的架構(gòu)中快速獲益,輕松打破數(shù)據(jù)及技能孤島,并以迭代及增量的方式獲得數(shù)據(jù)分析的敏捷性,縮短企業(yè)提取數(shù)據(jù)價(jià)值的創(chuàng)新周期。
這一架構(gòu)充分利用了云服務(wù)帶來的安全可靠、極致性能、無限擴(kuò)展等優(yōu)勢,能夠幫助企業(yè)消除數(shù)據(jù)孤島,打造統(tǒng)一的數(shù)據(jù)基礎(chǔ)底座,打通從數(shù)據(jù)獲取到數(shù)據(jù)應(yīng)用的完整流程,并讓企業(yè)在云中實(shí)現(xiàn)數(shù)據(jù)與智能的深度融合,從而充分發(fā)揮數(shù)據(jù)價(jià)值。
如今,亞馬遜云科技已助力150萬客戶成為數(shù)據(jù)驅(qū)動(dòng)型企業(yè)。
以供應(yīng)鏈的數(shù)字化升級(jí)為例,順豐利用亞馬遜云科技可大規(guī)模擴(kuò)展的對(duì)象存儲(chǔ)服務(wù)Amazon S3構(gòu)建數(shù)據(jù)湖,將園區(qū)內(nèi)大量的前端感知設(shè)備,包括攝像頭、物聯(lián)網(wǎng)IoT設(shè)備、地磁、多模達(dá)等收集的信息匯總到數(shù)據(jù)湖中。
依托Amazon S3云對(duì)象存儲(chǔ)近乎無限的存儲(chǔ)能力,為數(shù)據(jù)驅(qū)動(dòng)運(yùn)營提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
通過使用亞馬遜云科技計(jì)算、存儲(chǔ)、數(shù)據(jù)分析、容器、機(jī)器學(xué)習(xí)和安全等服務(wù),順豐供應(yīng)鏈改進(jìn)了園區(qū)運(yùn)營流程,提升了運(yùn)營效率,園區(qū)車輛日吞吐量提升40%-60%,員工作業(yè)效率提升30%,調(diào)度員和安檢員工作量減少50%。
亞馬遜云科技的另一個(gè)客戶納斯達(dá)克也通過Amazon S3為數(shù)據(jù)管理賦能。
由于自動(dòng)化交易平臺(tái)涌入市場,交易速度和交易量持續(xù)增長,2014年,納斯達(dá)克為了擴(kuò)大規(guī)模、提高性能并降低運(yùn)營成本,從舊式本地部署數(shù)據(jù)倉庫遷移到由Amazon Redshift集群賦能的數(shù)據(jù)倉庫。隨著時(shí)間推移,越來越多的交易導(dǎo)致數(shù)據(jù)大量增加,同時(shí),納斯達(dá)克開始規(guī)劃開發(fā)新架構(gòu)以持續(xù)實(shí)現(xiàn)生態(tài)系統(tǒng)期望的性能標(biāo)準(zhǔn)和卓越運(yùn)營。
2018年,納斯達(dá)克選擇在Amazon S3上構(gòu)建新的數(shù)據(jù)湖,這使該公司能夠?qū)⒂?jì)算和存儲(chǔ)分開,并獨(dú)立擴(kuò)展每項(xiàng)功能。納斯達(dá)克通過集成亞馬遜云科技IAM策略、Amazon S3,還可在多個(gè)亞馬遜云科技賬戶間提供全面的訪問控制功能。此外,納斯達(dá)克使用Amazon S3來存儲(chǔ)關(guān)鍵的金融數(shù)據(jù),并將其移至Amazon S3 Glacier,從而能夠以較低的成本進(jìn)行歸檔。
2019年1月,納斯達(dá)克參加了亞馬遜云科技的Data Lab,在為期四天的實(shí)驗(yàn)中,納斯達(dá)克使用Amazon Redshift作為計(jì)算層,重新設(shè)計(jì)了其提供分析的方式。因此,納斯達(dá)克開始使用Amazon Redshift Spectrum,這是一項(xiàng)賦能智能湖倉架構(gòu)的功能,可以直接查詢數(shù)據(jù)倉庫和Amazon S3數(shù)據(jù)湖中的數(shù)據(jù)。
如此一來,洞察生成時(shí)間縮至最短,賦能斯達(dá)克經(jīng)濟(jì)研究團(tuán)隊(duì)可以進(jìn)行數(shù)據(jù)分析,并對(duì)數(shù)據(jù)運(yùn)行復(fù)雜的查詢。起初是以性能為重點(diǎn)的解決方案,現(xiàn)在變成了團(tuán)隊(duì)間共享的多用途數(shù)據(jù)湖。
借助基于Amazon S3和Amazon Redshift的新型智能湖倉架構(gòu),納斯達(dá)克每天能夠處理的記錄數(shù)量輕松地從300億條躍升至700億條,并且較之前提前5小時(shí)達(dá)到90%的數(shù)據(jù)加載完成率。此外,通過優(yōu)化其數(shù)據(jù)倉庫,納斯達(dá)克運(yùn)行Amazon Redshift查詢的速度加快了32%。
鑒于良好的系統(tǒng)體驗(yàn),納斯達(dá)克于2022年已成功將其六大美國期權(quán)交易市場之一納斯達(dá)克MRX的核心交易系統(tǒng)遷移至亞馬遜云科技。此次成功遷移標(biāo)志著納斯達(dá)克為全球資本市場構(gòu)建下一代技術(shù)基礎(chǔ)設(shè)施之旅中一個(gè)重要的里程碑。
無論是在數(shù)據(jù)基礎(chǔ)架構(gòu)、統(tǒng)一分析還是業(yè)務(wù)創(chuàng)新上,從連接數(shù)據(jù)湖和數(shù)據(jù)倉庫到跨數(shù)據(jù)庫、跨域共享,如今亞馬遜云科技“智能湖倉”架構(gòu)在企業(yè)中的實(shí)踐,已經(jīng)為企業(yè)構(gòu)建現(xiàn)代化數(shù)據(jù)平臺(tái)提供了一條可供遵循的路徑,其將協(xié)同Amazon S3與Amazon Redshift等更多技術(shù)和產(chǎn)品,進(jìn)一步推進(jìn)底層數(shù)據(jù)架構(gòu)的現(xiàn)代化演進(jìn),為企業(yè)乃至全行業(yè)帶來更大的價(jià)值。
來源:科技云報(bào)道
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 100億美元史上最大融資的背后,國內(nèi)外巨頭齊瞄準(zhǔn)Data+AI
- 有一種羨慕叫“別人家的年終獎(jiǎng)”:京東采銷平均23薪,全網(wǎng)熱議“人的價(jià)值”
- 行業(yè)首個(gè)“人機(jī)大戰(zhàn)”對(duì)壘!AI翻譯已媲美人工
- 蘋果開啟年終大促,降價(jià)1200元,被國產(chǎn)手機(jī)嚇怕了?
- 1999 元起,OPPO A5 Pro 超防水、超抗摔、超耐用
- 長三角,如何把數(shù)據(jù)要素變成新長江?
- 大模型,在內(nèi)卷中尋找出口
- 比亞迪“天神之眼”重磅升級(jí):無圖城市領(lǐng)航功能全國開通
- 不愿成為微信的支付寶,注定失敗
- 大廠年終獎(jiǎng)全靠猜?京東帶頭透明化
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。