11月19日,華為在深圳舉辦2019全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇,?面向鯤鵬計(jì)算產(chǎn)業(yè), 宣布全面啟動數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略,并開源數(shù)據(jù)虛擬化引擎HetuEngine(河圖引擎),希望讓伙伴像使用“數(shù)據(jù)庫”一樣使用“大數(shù)據(jù)”,讓數(shù)據(jù)治理、使用更簡單。
這是繼今年9月基于“鯤鵬+昇騰”雙引擎全面啟航計(jì)算戰(zhàn)略后,華為從數(shù)據(jù)角度對計(jì)算戰(zhàn)略的再度闡述。華為數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略圍繞數(shù)據(jù)“采-存-算-管-用”的全生命周期,詮釋了華為通過提供融合、智能、開放的數(shù)據(jù)基礎(chǔ)設(shè)施,使能各行各業(yè)客戶釋放數(shù)據(jù)價(jià)值,讓智能無所不及。
華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍?jiān)诖髸习l(fā)表主題演講
以下是侯金龍演講全文:
女士們、先生們、朋友們,大家上午好!歡迎大家來到深圳,參加首屆全球數(shù)據(jù)基礎(chǔ)設(shè)施論壇。
人類正邁入萬物互聯(lián)的智能時(shí)代,而數(shù)據(jù)將成為智能世界的關(guān)鍵生產(chǎn)資料。今天,我分享的主題是《打造“融合、智能、開放”數(shù)據(jù)基礎(chǔ)設(shè)施,攜手邁入智能時(shí)代》。
構(gòu)建萬物互聯(lián)的智能世界
華為公司的愿景與使命是:“把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織,構(gòu)建萬物互聯(lián)的智能世界”。在智能世界,算力成為新生產(chǎn)力,數(shù)據(jù)成為新生產(chǎn)資料,“5G、AI、云”成為新生產(chǎn)工具,將使能千行百業(yè)邁入智能時(shí)代。
兩個(gè)月前,華為在全聯(lián)接大會上發(fā)布了“一云兩翼雙引擎”的鯤鵬計(jì)算產(chǎn)業(yè)布局,基于“鯤鵬+昇騰”雙引擎,全面啟航計(jì)算戰(zhàn)略,為世界提供最強(qiáng)算力。
“一云”是指華為云,是生態(tài)伙伴發(fā)展的黑土地?!皟梢怼笔侵钢悄苡?jì)算和智能數(shù)據(jù)。數(shù)據(jù)作為鯤鵬產(chǎn)業(yè)中的關(guān)鍵一翼,華為將圍繞數(shù)據(jù)構(gòu)建端到端的能力,包括存、算、用的能力,通過5G+云+AI能力,打造“融合、智能、開放”的數(shù)據(jù)基礎(chǔ)設(shè)施,釋放數(shù)據(jù)價(jià)值,讓智能無所不及!
智能世界,從數(shù)據(jù)管理走向數(shù)據(jù)運(yùn)營
首先,數(shù)據(jù)將驅(qū)動客戶體驗(yàn)。當(dāng)你打開一個(gè)App,就會收到你感興趣的內(nèi)容推送。精準(zhǔn)推送的背后,其實(shí)就是數(shù)據(jù)在驅(qū)動。比如快手,每天產(chǎn)生1.2億個(gè)內(nèi)容標(biāo)簽與用戶畫像實(shí)時(shí)匹配,數(shù)據(jù)運(yùn)營實(shí)現(xiàn)內(nèi)容精準(zhǔn)推送。
其次,在企業(yè)經(jīng)營活動中,數(shù)據(jù)驅(qū)動企業(yè)生產(chǎn)決策。以大港油田為例,在經(jīng)歷了50年持續(xù)開采后,面臨資源枯竭、產(chǎn)量下降的挑戰(zhàn)。2019年以來,大港油田采用華為大數(shù)據(jù)和AI技術(shù),利用測井曲線,結(jié)合經(jīng)驗(yàn)?zāi)P蜕闪嗣靠诰目紫抖?、滲透率,找到了更多的新的油氣層。通過數(shù)據(jù)運(yùn)營,為長期穩(wěn)產(chǎn)500萬噸提供了決策支撐。
最后,我介紹下數(shù)據(jù)驅(qū)動企業(yè)流程簡化。華為每年有近300萬人次出差,以前出差涉及考勤、機(jī)票、酒店,包括報(bào)銷等十幾個(gè)申請流程,現(xiàn)在只需要一個(gè)流程就可以真正實(shí)現(xiàn)“說走就走”。這是每天45萬次后臺數(shù)據(jù)關(guān)聯(lián)碰撞的結(jié)果。數(shù)據(jù)運(yùn)營,實(shí)現(xiàn)“讓數(shù)據(jù)多跑路,員工少跑腿”。
智能世界,需求與資源存在巨大落差
隨著5G、AI和云的普及,數(shù)據(jù)量正以驚人的速度增長:從1080P到4K、8K,視頻數(shù)據(jù)量將提升40倍,從4K到4K VR要增加6倍以上;未來每輛自動駕駛汽車每天就會產(chǎn)生高達(dá)64 TB數(shù)據(jù);深圳一個(gè)城市有超過200萬攝像頭,每天將產(chǎn)生80 PB數(shù)據(jù),平均保存30天,大家希望保存更長時(shí)間;大量的數(shù)據(jù)過去只需存幾天,現(xiàn)在需要保存幾個(gè)月甚至永久保存。
根據(jù)預(yù)測,全球數(shù)據(jù)量將從2018年的33 ZB快速增長到2025年的180 ZB。但是,產(chǎn)生的數(shù)據(jù)中僅有不到2%被保存,而被保存的數(shù)據(jù)中僅有不到10%被應(yīng)用。
這些海量數(shù)據(jù)的增長背后是需要海量存儲和計(jì)算的資源,數(shù)據(jù)增長是無限的,而存儲資源卻是有限的。
數(shù)據(jù)全生命周期,每比特價(jià)值最大,每比特成本最優(yōu)
我們希望對數(shù)據(jù)的采、存、算、管、用實(shí)施端到端的整合和優(yōu)化,讓數(shù)據(jù)在全生命周期內(nèi)更好用,數(shù)據(jù)的每比特發(fā)揮價(jià)值最大,數(shù)據(jù)的每比特成本最優(yōu)!
打造“融合、智能、開放”數(shù)據(jù)基礎(chǔ)設(shè)施
為實(shí)現(xiàn)這個(gè)追求,華為打造融合、智能、開放的數(shù)據(jù)基礎(chǔ)設(shè)施,讓數(shù)據(jù)系統(tǒng)從孤立走向融合,從復(fù)雜走向智能,從封閉走向開放:
通過“打破數(shù)據(jù)處理與數(shù)據(jù)存儲的邊界”,實(shí)現(xiàn)數(shù)據(jù)高效共享和分析,降本增效。
通過“AI+存儲+云”,實(shí)現(xiàn)數(shù)據(jù)全生命周期內(nèi)智能管理和智能運(yùn)營,讓存儲越用越快,價(jià)值越來越大。
通過“數(shù)據(jù)虛擬化引擎”,統(tǒng)一SQL語法,像使用數(shù)據(jù)庫一樣使用大數(shù)據(jù)。
融合:使用極簡
數(shù)據(jù)應(yīng)用的核心包括存儲和分析。煙囪式IT業(yè)務(wù)系統(tǒng)帶來兩個(gè)問題:存的時(shí)候會產(chǎn)生多個(gè)冗余副本,且數(shù)據(jù)無法流動,存儲成本高;分析的時(shí)候會導(dǎo)致大量數(shù)據(jù)搬遷,分析效率低。
通過10余年技術(shù)積累和創(chuàng)新,華為在存儲、數(shù)據(jù)庫和大數(shù)據(jù)技術(shù)上實(shí)現(xiàn)了一系列突破,通過打破4堵墻,讓數(shù)據(jù)的每比特發(fā)揮價(jià)值最大,數(shù)據(jù)的每比特成本最優(yōu)。
打破存儲內(nèi)部系統(tǒng)墻:通過一套架構(gòu)實(shí)現(xiàn)生產(chǎn)、分析、備份、歸檔的統(tǒng)一管理,一份數(shù)據(jù)在各個(gè)系統(tǒng)中平滑流動,減少拷貝,TCO降低30%以上。
打破數(shù)據(jù)庫與存儲鏈路墻:通過算子下推實(shí)現(xiàn)近數(shù)據(jù)計(jì)算,減少存儲層與計(jì)算層之間的數(shù)據(jù)交換,數(shù)據(jù)訪問和處理性能提升2倍。
打破大數(shù)據(jù)與存儲配置墻:通過存算分離實(shí)現(xiàn)資源靈活配置,計(jì)算不足擴(kuò)計(jì)算,存儲不足擴(kuò)存儲 。并通過彈性EC、數(shù)據(jù)縮減技術(shù)減少冗余,整體TCO降低30%以上。
打破數(shù)據(jù)庫與大數(shù)據(jù)協(xié)同墻:通過協(xié)同分析實(shí)現(xiàn)數(shù)據(jù)零搬遷,數(shù)據(jù)庫和大數(shù)據(jù)共享一份數(shù)據(jù),分析效率提升100%。
智能:體驗(yàn)極致
過去,主要依靠人來完成設(shè)備配置和運(yùn)維,運(yùn)維人員經(jīng)驗(yàn)和能力的高低決定了管理效率的優(yōu)劣。華為基于AI芯片、存儲和華為云的三層架構(gòu),通過云上訓(xùn)練和云下推理,讓系統(tǒng)越用越快、越用越省。
依托昇騰處理器的AI能力,自動學(xué)習(xí)和識別IO流,提升Cache預(yù)取命中率,系統(tǒng)整體性能提升20%。
依托鯤鵬處理器的多核算力,根據(jù)不同的數(shù)據(jù)類型,實(shí)時(shí)優(yōu)化數(shù)據(jù)縮減算法,TCO降低25%。
結(jié)合華為云自身大規(guī)模運(yùn)維運(yùn)營經(jīng)驗(yàn),當(dāng)前可以實(shí)現(xiàn)提前14天預(yù)測硬盤故障,提前60天預(yù)測性能瓶頸,提前365天預(yù)測容量不足,其中30%的故障可以自我修復(fù)。
開放:開發(fā)極簡
隨著業(yè)務(wù)類型日益增多,大量業(yè)務(wù)需要跨平臺、跨數(shù)據(jù)源協(xié)同分析。這種場景下,最突出的3個(gè)問題是:找數(shù)難、取數(shù)難、用數(shù)難。
找數(shù)難:傳統(tǒng)企業(yè)數(shù)據(jù)類型越來越多,結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存,缺少統(tǒng)一數(shù)據(jù)目錄和全局?jǐn)?shù)據(jù)視圖,要在眾多異構(gòu)數(shù)據(jù)源中找到特定數(shù)據(jù),好比大海撈針。
取數(shù)難:一個(gè)典型的分析業(yè)務(wù)通常依賴跨地域跨平臺數(shù)據(jù)協(xié)同,需要從多個(gè)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù),這要經(jīng)過多部門間協(xié)調(diào)、核實(shí)才能獲取。
用數(shù)難:多業(yè)務(wù)分析需要多引擎協(xié)同,這將依賴多種數(shù)據(jù)訪問技術(shù),就需要開發(fā)人員掌握多種開發(fā)工具和語言,從而導(dǎo)致開發(fā)門檻變高,開發(fā)周期變長。
為了屏蔽數(shù)據(jù)類型差異、地域差異、語法差異,讓數(shù)據(jù)治理簡單,使用簡單,華為推出了“河圖引擎”。
HetuEngine,從“大數(shù)據(jù)”走向“大數(shù)據(jù)庫”
我們將數(shù)據(jù)虛擬化引擎命名為河圖,就是屏蔽數(shù)據(jù)基礎(chǔ)設(shè)施的復(fù)雜度,讓開發(fā)者像使用數(shù)據(jù)庫一樣使用大數(shù)據(jù),復(fù)用現(xiàn)有的生態(tài)、工具和技能,提升開發(fā)效率2到10倍?!按笥淼煤訄D后始見清明”,傳說中,大禹通過河圖掌握河流山川復(fù)雜的地形地貌,順利完成治水大業(yè)。
河圖引擎,就是要讓數(shù)據(jù)治理簡單,使用簡單,更方便的挖掘數(shù)據(jù)價(jià)值。它具備4個(gè)核心能力:
一個(gè)目錄:通過元數(shù)據(jù)在線感知,構(gòu)建1000+異地異構(gòu)數(shù)據(jù)源全局虛擬數(shù)據(jù)視圖,打破數(shù)據(jù)孤島,數(shù)據(jù)全局可視,解決企業(yè)找數(shù)難問題。
一個(gè)入口:通過開放的連接框架、5000節(jié)點(diǎn)SQL引擎,實(shí)現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪問,秒級獲取,數(shù)據(jù)全局可得,解決企業(yè)取數(shù)難問題。
一份數(shù)據(jù):通過CarbonData技術(shù),實(shí)現(xiàn)一份數(shù)據(jù)多場景分析,多應(yīng)用共享,數(shù)據(jù)零搬遷,數(shù)據(jù)全局可用,解決企業(yè)用數(shù)難問題。
統(tǒng)一安全:通過細(xì)粒度動態(tài)授權(quán)、敏感數(shù)據(jù)自動感知技術(shù),實(shí)現(xiàn)異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控,數(shù)據(jù)全局可控,數(shù)據(jù)授權(quán)時(shí)間從天到秒,解決企業(yè)數(shù)據(jù)安全與合規(guī)問題。
開源河圖引擎HetuEngine
為了更好地發(fā)展數(shù)據(jù)產(chǎn)業(yè),今天我宣布開源河圖引擎,開源版本的河圖引擎叫openHetu,將于2020年6月上線。我們將開源內(nèi)核,開發(fā)者可以基于開源代碼進(jìn)行定制,包括數(shù)據(jù)源擴(kuò)展、SQL執(zhí)行策略等,實(shí)現(xiàn)應(yīng)用快速對接,提升開發(fā)效率。
華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍宣布開源數(shù)據(jù)虛擬化引擎HetuEngine
華為始終踐行“平臺+生態(tài)”策略,通過硬件開放,軟件開源,使能伙伴,共建開放、繁榮的鯤鵬計(jì)算產(chǎn)業(yè)生態(tài),共同邁入智能時(shí)代。
謝謝大家!
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 攜手SUSE,共馭變革之風(fēng):踏上共創(chuàng)數(shù)字未來之旅
- Gartner:預(yù)計(jì)2025年全球IT支出達(dá)到5.74萬億美元 同比增長9.3%
- 被聯(lián)想海外起訴專利侵權(quán) 中興通訊回應(yīng)
- “數(shù)據(jù)要素×”大賽圓滿落幕,啟信寶在金融服務(wù)賽道斬獲佳績
- JetBrains 面向非商業(yè)用途免費(fèi)提供 WebStorm 和 Rider
- IDC:2024年邊緣計(jì)算支出將達(dá)到2280億美元
- 聯(lián)想集團(tuán)任命前戴爾高管擔(dān)任基礎(chǔ)設(shè)施方案集團(tuán)新總裁
- 報(bào)告稱上半年IT安全軟件市場規(guī)模112.5億元,同比增長4.1%
- 報(bào)告稱中國邊緣服務(wù)器市場量價(jià)齊漲 2028年將達(dá)108億美元
- Gartner數(shù)字化轉(zhuǎn)型調(diào)查:52%的企業(yè)未能實(shí)現(xiàn)預(yù)期目標(biāo)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。