為助力疫情科學防控、保障復工復產安全有序,落實工作決策部署,各省均在結合疫情防控實際需要,積極利用新一代信息技術,建設相關平臺,用于登記、核驗個人基本信息和健康信息,支撐政府部門、用人單位、社區(qū)等綜合判斷個人健康風險等級,實現特殊時期動態(tài)健康認證,徹底改變了傳統(tǒng)低效的“人肉”登記方式。
由于此類信息平臺承載數據直接影響省內抗疫、防疫工作的正常開展,因此保證該平臺數據安全性和服務的連續(xù)性至關重要。在某省“健康碼”平臺建設項目中,人大金倉通過異構數據同步軟件Kingbase FlySync的實施,實現了對該平臺上全省6500萬人員相關業(yè)務數據的實時災備,從而確保了平臺數據的安全和服務的連續(xù),為保障該省乃至全國人民的生命安全貢獻了一份綿薄之力。
項目背景
客戶推出的某省“健康碼綜合服務平臺系統(tǒng)”(簡稱:某省“健康碼”),覆蓋了全省16地市約6500萬的人員,是當地居住小區(qū)、工作園區(qū)樓宇以及各級行政服務中心、醫(yī)療機構等公共管理和服務場所的通行憑證。
該平臺采用省、市分級建設模式。省級平臺建設1個數據中心、4個應用平臺、1個服務界面,一批場景應用。該項目于2020年12月底正式建成上線,隨著平臺監(jiān)測逐漸成為防疫工作的主要手段以及新業(yè)務的不斷整合,平臺業(yè)務壓力不斷加大,系統(tǒng)整體的可用性提升日益迫切,平臺省級數據中心災備方案落地的需求不斷提升。2021年3月,金倉異構數據同步軟件Kingbase FlySync作為災備方案的主要支撐產品上線使用,開啟了基于KFS的Oracle雙機異地災備方案實踐之路。
客戶痛點
客戶需要建設全量、實時的數據災備庫,以確保主服務環(huán)境故障時能迅速切換到災備庫,保障服務連續(xù)性,因此需要有專業(yè)產品能夠完成主庫到災備庫的實時同步,實現災備庫隨時都是主庫的一個全量數據副本,隨時可以接管業(yè)務訪問。其中幾個需要解決的痛點如下:
多種業(yè)務混合平臺上的單一業(yè)務同步
“健康碼”服務平臺的業(yè)務數據庫承載了多個業(yè)務,涉及多種業(yè)務混合操作,但災備庫需要只接收“健康碼”的數據。
異構平臺間的數據同步
服務平臺基于省內已有信息化基礎,采用了Oracle數據庫作為業(yè)務承載庫,且主庫為Oracle Dataguard集群,目標備庫則為Oracle單機,需要對兩個異構系統(tǒng)進行數據的實時同步。
表數據結構變化具有隨機性
由于“健康碼”項目在疫情突發(fā)背景下緊急開發(fā)上線,隨著疫情防控狀態(tài)的變化,應用服務還需進行新的開發(fā)以適應新場景需求,應用對外提供服務變化和自身代碼開發(fā)優(yōu)化操作并存,隨之而來的頻繁的數據表結構變化,為數據在不同庫之間的同步帶來挑戰(zhàn)。
大業(yè)務量壓力下的數據同步低時延保證
“健康碼”承載了全省6500萬人的疫情監(jiān)測,平臺日數據增量大,增量數據也需以秒級時延同步給災備庫。
平臺高可用性要求同步工具具備高穩(wěn)定性
“健康碼”平臺的穩(wěn)定性和可用性直接關系到國計民生,數據同步工具作為主庫和備庫數據同步實現的唯一通道,其自身的穩(wěn)定性直接關系到平臺數據備份的可靠性。若連接通道頻繁故障,無法保證災備庫實時保持與主庫的一致,最終會造成災備方案無效的后果。
業(yè)務的高連續(xù)性對于數據同步的平滑性要求
前期上層業(yè)務已運行多日,歷史數據量龐大,同時面臨臨時災備方案向正式災備方案過渡,需確保在上層業(yè)務不停止對外服務的前提下,提供平滑上線方案,能完成上線時間節(jié)點前后歷史數據和新的增量數據的平滑銜接,確保數據完整準確。
金倉方案
人大金倉采用金倉異構數據同步軟件Kingbase FlySync,針對客戶痛點,在兼容異構數據平臺、實時增量數據同步、多類型語句同步、業(yè)務多粒度過濾、跨運營商網絡、平滑上線等方面為用戶提供了好用、放心的解決方案。
兼容異構數據平臺
Kingbase FlySync可以實現不同結構的數據平臺的連接,實現數據的互通。本項目中Kingbase FlySync連通了Oracle DataGuard集群與Oracle單機的數據交互,實現異構平臺的數據同步。
實時增量數據同步
本項目采用了Oracle物理日志解析,該技術可實現高速日志解析能力,最高可達100M/s的解析速度,因此項目中的大規(guī)模業(yè)務壓力,依然保證了實時解析。此外,Kingbase FlySync采用流水線式的傳輸作業(yè)機制,以及并行加載能力,全方位保證了數據同步的時效性。
多類語句同步
如前文描述,應用對外提供服務和自身代碼開發(fā)優(yōu)化操作并存,因此Kingbase FlySync同時提供了DML和DDL語句的同步能力,即可將業(yè)務運行產生的業(yè)務數據實時同步給災備庫,也可將因人為開發(fā)優(yōu)化產生對數據表結構的修改操作也同步給了災備庫,滿足項目的業(yè)務所需。
業(yè)務多粒度過濾
因服務的業(yè)務主庫承載多種業(yè)務,Kingbase FlySync需要對該數據庫上各類業(yè)務產生的數據均進行解析,并分析識別、過濾掉非“健康碼”業(yè)務的相關數據,由此需對主庫進行用戶級、表級、語句級(DDL語句)過濾,從而將屬于“健康碼”的數據準確無差地同步給備庫。
故障自恢復
Kingbase FlySync具備斷點續(xù)傳和自動重啟、自動重連的能力,當外部發(fā)生故障后再次恢復時,Kingbase FlySync可以自行啟動服務,并可以從故障點完成其后續(xù)數據同步工作。
平滑上線
客戶首先自行識別切斷原有災備方案的數據斷點,同時利用Kingbase FlySync的斷點能力,在Kingbase FlySync中應用該斷點信息,使其識別并從該斷點進行后續(xù)產生數據的解析和同步,從而完成平滑切換,方案上線未對業(yè)務造成影響,并持續(xù)向公眾提供服務。
跨運營商網絡
處于網絡級可靠性考慮,客戶業(yè)務主庫和災備庫分別部署在移動網絡和電信網絡的服務器上,但災備需要業(yè)務主庫和災備庫進行實時數據通信,因此Kingbase FlySync為了適應此類網絡部署方式,提供了網絡地址映射和轉換能力,屏蔽了網絡差異,最終實現了數據的實時同步。
此外,金倉提供了本地化實施運維服務,在應急保障環(huán)節(jié),提供7*24專家級響應,確保了該項目的順利上線。
實施成果
承載全省16地市6500萬人員“健康碼”業(yè)務數據的災備,在該業(yè)務每日產生15G數據量,每日所需同步數據條數300萬條的壓力下,同步時延小于1s,保證了災備庫數據與主庫實時一致。
系統(tǒng)從上線至今已穩(wěn)定運行4個月,也將繼續(xù)為“健康碼”業(yè)務后續(xù)的穩(wěn)定運行保駕護航。
針對客戶典型需求,提供了針對性的Oracle的災備方案,證明了金倉異構同步軟件在基于Oracle等非金倉數據庫數據集成方面的技術實力。此外金倉積極響應項目的服務需求,也得到了客戶的肯定。
結語
“健康碼”項目只是人大金倉成千上萬個場景應用案例中的一個“縮影”,未來,人大金倉將繼續(xù)緊密貼近應用所需,提供更豐富優(yōu)質的解決方案,幫助客戶解決各類場景下的數據存儲與管理問題。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
