“云邊+端”三管齊下,“有蓉”數(shù)據(jù)庫(kù)助力四川氣象進(jìn)入天擎時(shí)代

原標(biāo)題:“云邊+端”三管齊下,“有蓉”數(shù)據(jù)庫(kù)助力四川氣象進(jìn)入天擎時(shí)代

《華陽國(guó)志巴志》中曾記載:蜀國(guó)“山林澤魚,苑囿瓜果,世代節(jié)熟,靡不有焉”,適宜的氣候孕育了豐富的物產(chǎn),滋養(yǎng)了擅長(zhǎng)調(diào)制百味的巴蜀人民,也鍛煉出了駕馭自然、明辨天時(shí)的能力。

諸葛亮“夜觀天象,知天下大事”的本領(lǐng),讓人贊嘆不已。而今天,四川正在用尖端的計(jì)算科學(xué)來把握風(fēng)云變幻。

國(guó)內(nèi)老牌數(shù)據(jù)庫(kù)廠商虛谷偉業(yè)基于開源數(shù)據(jù)庫(kù)openGauss,研發(fā)的商業(yè)發(fā)行版數(shù)據(jù)庫(kù)——有蓉,就被應(yīng)用于四川氣象局,助力氣象服務(wù)。兩者結(jié)合,將會(huì)炮制出怎樣的川味氣象體驗(yàn)?又能為四川人民的生活帶來怎樣的新氣象?

數(shù)據(jù)這份“食材”的時(shí)代挑戰(zhàn)

一個(gè)好的氣象系統(tǒng)能帶來什么,答案可能是:為農(nóng)林牧副漁等產(chǎn)業(yè)提供安全生產(chǎn)的有力支持,把惡劣天氣和極端事件可能帶來的負(fù)面影響降到最低;對(duì)氣候和環(huán)境的監(jiān)測(cè)與了解,也能為當(dāng)?shù)氐目沙掷m(xù)發(fā)展提供指導(dǎo)。

目前,已有多個(gè)省市將“完善氣象基礎(chǔ)設(shè)施”納入地方“十四五”規(guī)劃綱要,為防汛、防火提供氣象技術(shù)服務(wù),確保人民生命財(cái)產(chǎn)安全。

這樣一盤利國(guó)利民的好菜,數(shù)據(jù)“食材”自然也要跟得上。而這,就給IT基礎(chǔ)設(shè)施中的基礎(chǔ)——數(shù)據(jù)庫(kù)提出了諸多挑戰(zhàn)。比如說:

氣象數(shù)據(jù)的來源多維,既有模式數(shù)據(jù),也有氣象站、衛(wèi)星、傳感器獲取的實(shí)況數(shù)據(jù),傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)面臨的挑戰(zhàn)越來越大;

時(shí)空精度要求的提升,也對(duì)氣象數(shù)據(jù)計(jì)算量級(jí)、存儲(chǔ)容量、吞吐量等提出了新的需求;

氣象涉及到公共服務(wù)的重要數(shù)據(jù),因此數(shù)據(jù)安全,數(shù)據(jù)可控和數(shù)據(jù)主權(quán)是氣象數(shù)據(jù)庫(kù)的關(guān)鍵需求。

這一背景下,2019年7月,國(guó)家級(jí)氣象大數(shù)據(jù)云平臺(tái)“天擎”上線,就具備海量數(shù)據(jù)存儲(chǔ)、全業(yè)務(wù)貫通、數(shù)據(jù)高效應(yīng)用的能力,成為氣象關(guān)鍵IT基礎(chǔ)設(shè)施,支撐各類氣象業(yè)務(wù)應(yīng)用的云化,四川的氣象數(shù)據(jù)也通過“天擎”省級(jí)數(shù)據(jù)庫(kù)來承載。

“有蓉”調(diào)制出川味氣象基建特別滋味

精準(zhǔn)的氣象服務(wù),依賴于豐富龐雜的天氣數(shù)據(jù)和實(shí)時(shí)高效的計(jì)算量級(jí)。天擎“云+端”的標(biāo)準(zhǔn)架構(gòu),原理是把所有數(shù)據(jù)集中在云端,也意味著全網(wǎng)任何一個(gè)業(yè)務(wù)操作,均需要云端數(shù)據(jù)庫(kù)配合,這對(duì)云端的性能,數(shù)據(jù)吞吐能力和數(shù)據(jù)安全性提出了前所未有挑戰(zhàn)。

因此,四川氣象基于“天擎”得“云邊+端”方案,賦予了“有蓉”數(shù)據(jù)庫(kù)獨(dú)特的味道。

首先,專門調(diào)制的“云邊+端”方案,打造極致性能、業(yè)務(wù)吞吐與數(shù)據(jù)安全的業(yè)務(wù)架構(gòu)鐵三角。

一方面,端側(cè)集中提供本地應(yīng)用服務(wù),邊側(cè)數(shù)據(jù)中心也能提供匯聚數(shù)據(jù)服務(wù)并按需與云上保持一致,解決了數(shù)據(jù)統(tǒng)一集中在云端而導(dǎo)致數(shù)據(jù)吞吐量過大的問題。

另一方面,邊與端直面向區(qū)域用戶提供服務(wù),可以做到數(shù)據(jù)隔離,降低數(shù)據(jù)安全風(fēng)險(xiǎn)。這樣服務(wù)下沉,分散到各點(diǎn)后,性能壓力分散,減輕云上的業(yè)務(wù)性能壓力。

此外,多項(xiàng)獨(dú)家“配方”的應(yīng)用,讓“有蓉”可以更安心地應(yīng)對(duì)氣象大數(shù)據(jù)挑戰(zhàn)。

作為“天擎”系統(tǒng)核心TP數(shù)據(jù)庫(kù)的產(chǎn)品服務(wù)商,虛谷公司十分重視核心技術(shù)創(chuàng)新,虛谷數(shù)據(jù)庫(kù)源代碼自有率達(dá)到了99.5%。全套國(guó)產(chǎn)化軟硬件,可以避免基礎(chǔ)軟件層面的不確定性,安心承載重要數(shù)據(jù)。

“有蓉”的出現(xiàn),讓云時(shí)代的氣象數(shù)據(jù)和服務(wù),被賦予更多新的風(fēng)味與可能。

支撐數(shù)字山河,憑借先進(jìn)的數(shù)據(jù)庫(kù)產(chǎn)品構(gòu)筑創(chuàng)新底座

更深一步,搞清楚“有蓉”背后的創(chuàng)新因果與邏輯,能幫助我們更清晰地理解,數(shù)字變局需要怎樣的數(shù)據(jù)底座?具體表現(xiàn)為四個(gè)特征:

第一,邊側(cè)數(shù)據(jù)庫(kù)的引入,為數(shù)據(jù)服務(wù)搭建了“高速通道”。

以“有蓉”數(shù)據(jù)庫(kù)為例,數(shù)據(jù)可以被快速匯總,各種氣象傳感器的數(shù)據(jù)源以更短路徑發(fā)送到端側(cè)數(shù)據(jù)庫(kù)中;數(shù)據(jù)快速存儲(chǔ),集中在云、邊的訪問量被分散在邊側(cè),可以快速把數(shù)據(jù)入庫(kù);基于鯤鵬全棧的方案(鯤鵬服務(wù)器+openEuler操作系統(tǒng)+有蓉?cái)?shù)據(jù)庫(kù)〈openGauss〉)提供強(qiáng)大的數(shù)據(jù)處理服務(wù),操作響應(yīng)更快,綜合提升氣象數(shù)據(jù)的服務(wù)體驗(yàn)。

數(shù)據(jù)顯示,依托鯤鵬計(jì)算平臺(tái)的多核高性能,結(jié)合有蓉自身領(lǐng)先的高性能內(nèi)核,可讓數(shù)據(jù)匯聚速度提升約30%,從而保障前端業(yè)務(wù)的實(shí)時(shí)響應(yīng)。

第二,“云邊端”的高效協(xié)同,數(shù)據(jù)分級(jí)同步提升效率。

在數(shù)據(jù)同步上,一是按特征同步,時(shí)效數(shù)據(jù)會(huì)被實(shí)時(shí)同步到云端匯總;二是按需求同步,對(duì)數(shù)據(jù)進(jìn)行分類,只同步云端需要數(shù)據(jù),其余數(shù)據(jù)本地留存;三是跨區(qū)域同步,沒有及時(shí)同步到云端的數(shù)據(jù),可以跨區(qū)域點(diǎn)對(duì)點(diǎn)端側(cè)同步。按照架構(gòu)的特點(diǎn),端側(cè)數(shù)據(jù)庫(kù)熱數(shù)據(jù)提供本地實(shí)時(shí)氣象服務(wù),全省數(shù)據(jù)分析匯總和精確預(yù)報(bào)則在云端完成。

“云邊端”協(xié)同分工,是四川氣象邁向智慧化氣象服務(wù)的關(guān)鍵。

第三,IT基礎(chǔ)設(shè)施的穩(wěn)定,決定了氣象服務(wù)的業(yè)務(wù)連續(xù)性與可靠性。

氣象服務(wù)之于國(guó)計(jì)民生的重要性,也對(duì)數(shù)據(jù)庫(kù)的可靠性提出了挑戰(zhàn)。為此,有蓉?cái)?shù)據(jù)庫(kù)基于鯤鵬多核高NUMA-Aware能力,加上數(shù)據(jù)庫(kù)內(nèi)核的無鎖化設(shè)計(jì)等一系列技術(shù),在氣象數(shù)據(jù)高并發(fā)、高頻數(shù)據(jù)寫入和查詢的同時(shí),即使系統(tǒng)資源占用近80%,仍能穩(wěn)定提供服務(wù)。

此外,有蓉?cái)?shù)據(jù)庫(kù)還具有金融級(jí)的、多地多中心的容災(zāi)能力,在部分?jǐn)?shù)據(jù)節(jié)點(diǎn)宕機(jī)后,其他數(shù)據(jù)庫(kù)節(jié)點(diǎn)迅速接管業(yè)務(wù),保證業(yè)務(wù)連續(xù)性,降低數(shù)據(jù)丟失風(fēng)險(xiǎn)。

最后,則是降低整套系統(tǒng)的部署和運(yùn)維成本。

氣象業(yè)務(wù)每天會(huì)產(chǎn)生數(shù)GB甚至TB的時(shí)序數(shù)據(jù),給運(yùn)維帶來很大的困難。為了讓氣象這一“大國(guó)重器”更具經(jīng)濟(jì)效益和社會(huì)價(jià)值,“有蓉”數(shù)據(jù)庫(kù)高度支持HTAP混合負(fù)載能力,可以一份數(shù)據(jù)輸出兩種業(yè)務(wù)模型結(jié)果,減輕高吞吐壓力的同時(shí),極大的節(jié)省了業(yè)務(wù)改造和運(yùn)維成本。

數(shù)據(jù)庫(kù)是IT行業(yè)的重要基礎(chǔ)軟件,越是基礎(chǔ),要翻越技術(shù)大山就越難,對(duì)產(chǎn)業(yè)生態(tài)的要求也更高。虛谷偉業(yè)公司秉承著“虛懷若谷,有容乃大”的理念,不僅僅自研出了自主可控的虛谷數(shù)據(jù)庫(kù),也完美的吸納高性能高安全的openGauss內(nèi)核,研制出具有巨大優(yōu)勢(shì)的有蓉?cái)?shù)據(jù)庫(kù),在國(guó)產(chǎn)數(shù)據(jù)庫(kù)在市場(chǎng)上突破技術(shù)壁壘、走向應(yīng)用,并擔(dān)負(fù)國(guó)家公共基礎(chǔ)服務(wù)走向數(shù)字化、智慧化,更好服務(wù)社會(huì)的重任。

隨著一道道“中國(guó)味”的基礎(chǔ)軟件加入數(shù)據(jù)經(jīng)濟(jì)的盛宴,深入變革氣象服務(wù)等基礎(chǔ)民生領(lǐng)域,改變著每一個(gè)人息息相關(guān)的日常生活,才讓數(shù)字山河間飄蕩出科技的人間煙火味。

縱然無法像諸葛孔明一般神機(jī)妙算,亦能借助數(shù)據(jù)的力量,洞察氣象萬千、風(fēng)云變幻。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2021-06-21
“云邊+端”三管齊下,“有蓉”數(shù)據(jù)庫(kù)助力四川氣象進(jìn)入天擎時(shí)代
以“有蓉”數(shù)據(jù)庫(kù)為例,數(shù)據(jù)可以被快速匯總,各種氣象傳感器的數(shù)據(jù)源以更短路徑發(fā)送到端側(cè)數(shù)據(jù)庫(kù)中;數(shù)據(jù)快速存儲(chǔ),集中在云、邊的訪問量被分散在邊側(cè),可以快速把數(shù)據(jù)入庫(kù);基于鯤鵬全棧的方案(鯤鵬服務(wù)器+op

長(zhǎng)按掃碼 閱讀全文