近期，UCloud 優(yōu)刻得UDTS在數(shù)據(jù)傳輸?shù)幕A上，上線了數(shù)據(jù)集成服務，可實現(xiàn)多個數(shù)據(jù)源合并，打通數(shù)據(jù)孤島以獲得數(shù)據(jù)的統(tǒng)一視圖，方便業(yè)務進行數(shù)據(jù)分析決策; 助力企業(yè)靈活調整業(yè)務架構，優(yōu)化現(xiàn)有的數(shù)據(jù)庫服務; 快速實現(xiàn)分庫分表合并、自定義沖突處理策略、方便業(yè)務構建數(shù)據(jù)看板。
背景
出于不同業(yè)務的數(shù)據(jù)存儲和應用需求不同，企業(yè)通常會將不同業(yè)務產生的數(shù)據(jù)分別存儲在獨立的數(shù)據(jù)庫中。隨著業(yè)務架構的不斷調整，以及受開發(fā)過程的影響，原先分開存儲的數(shù)據(jù)庫逐漸暴露出一些問題：
→數(shù)據(jù)分散在不同的數(shù)據(jù)庫實例上，形成獨立的數(shù)據(jù)孤島，難以實現(xiàn)數(shù)據(jù)的聚合分析。傳統(tǒng)的通過MySQL主從關系同步數(shù)據(jù)的方式，在MySQL5.7版本之前無法建立多對一的增量同步關系。MySQL5.7版本雖然推出了多源復制功能，但功能單一，無法進行不同庫表間的映射，且配置過程復雜，當源數(shù)量較多時容易出錯。
→數(shù)據(jù)庫分庫分表之后存在多個數(shù)據(jù)庫實例，難以再合并到統(tǒng)一的庫表中。傳統(tǒng)的數(shù)據(jù)庫遷移工具無法處理合并過程中產生的數(shù)據(jù)沖突問題。
→數(shù)據(jù)量越來越大，在不影響業(yè)務的前提下很難調整數(shù)據(jù)庫架構。在線修改字段類型或者字段名，要么受限于數(shù)據(jù)庫功能，要么可能給業(yè)務帶來較大影響而難以調整。
UCloud優(yōu)刻得一站式數(shù)據(jù)集成解決方案
多源數(shù)據(jù)聚合
針對數(shù)據(jù)庫分散，難以聚合的問題。UCloud優(yōu)刻得UDTS推出數(shù)據(jù)集成服務，可輕松幫助用戶完成多源聚合。單個任務可支持多達 10 個數(shù)據(jù)源聚合，同時可支持不同類型網絡環(huán)境下的數(shù)據(jù)源，包括外網、內網以及專線。
舉例: 假設現(xiàn)在有兩個數(shù)據(jù)源，分別是 10.10.10.100:3306 和 10.10.10.120:3306 ，聚合模式如下圖所示 ：
考慮到大多數(shù)據(jù)源都承載著在線業(yè)務，為了避免多源聚合對線上業(yè)務的影響，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務還支持針對每個數(shù)據(jù)源獨立限速。
數(shù)據(jù)庫合庫合表
數(shù)據(jù)庫合庫合表通常存在以下難點:
→數(shù)據(jù)庫實例分散
→數(shù)據(jù)可能存在沖突
→對不同的數(shù)據(jù)庫需要不同的數(shù)據(jù)沖突解決方法
針對以上這些問題，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務在多源聚合的基礎上，提供以下方式解決：
1. 自定義基礎數(shù)據(jù)
→對于每個數(shù)據(jù)源，都可指定“是否保留目標庫的原數(shù)據(jù)”，如果選擇“是”，在導入數(shù)據(jù)表時，會保留原有數(shù)據(jù)庫表定義及數(shù)據(jù)。
→而如果選擇了不保留數(shù)據(jù)，則在導入數(shù)據(jù)時，會根據(jù)映射規(guī)則先清理對應的表及其數(shù)據(jù)。
2. 自動解決數(shù)據(jù)沖突
在創(chuàng)建任務時可對每個數(shù)據(jù)源獨立定義數(shù)據(jù)沖突解決策略，在數(shù)據(jù)集成時，可根據(jù)自己的數(shù)據(jù)沖突解決策略來處理沖突數(shù)據(jù)。當前提供“保留”與“替換”兩種策略。
→保留: 當數(shù)據(jù)發(fā)生沖突時，保留目標庫中的原數(shù)據(jù)，而丟棄當前數(shù)據(jù)。
當使用保留規(guī)則時，導入數(shù)據(jù)使用 INSERT IGNORE INTO , 比如 INSERT IGNORE INTO table VALUES(1, "name", 18) ，當有重復數(shù)據(jù)時，保留原有的數(shù)據(jù)，新插入的數(shù)據(jù)會被忽略。
→替換: 當發(fā)生數(shù)據(jù)沖突時，使用新的數(shù)據(jù)替換目標庫中原來的數(shù)據(jù)。
當使用替換規(guī)則時，導入數(shù)據(jù)使用 REPLACE INTO ，比如 REPLACE INTO table VALUES(1, "name", 18) ，老的數(shù)據(jù)將會被新數(shù)據(jù)覆蓋，集成任務中有多個子任務(多個源往同一個目標數(shù)據(jù)庫同步)時，需要注意順序。
數(shù)據(jù)庫架構調整
在開發(fā)的過程中，難免會遇到數(shù)據(jù)庫改名、表變更等問題，但等到數(shù)據(jù)庫架構要調整的時候，才發(fā)現(xiàn)累積了一堆“陳年舊債”。 通過UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務的全量+增量，不僅可以將全量數(shù)據(jù)按映射規(guī)則遷移到目標庫中，還可動態(tài)實現(xiàn)增量數(shù)據(jù)的庫表名稱的映射。
避免用戶對數(shù)據(jù)源鎖庫鎖表的擔憂，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務還提供了No Lock模式，在此模式下數(shù)據(jù)集成服務運行的過程中不會對源庫表進行任何的鎖操作。
數(shù)據(jù)集成服務案例
1、數(shù)據(jù)脫敏
某教育企業(yè)，使用UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務，將數(shù)據(jù)脫敏處理后，再交由內部其它部?進行數(shù)據(jù)分析，提取數(shù)據(jù)的有效價值。既避免了敏感數(shù)據(jù)泄漏風險，又幫助企業(yè)更快、更精準的決策。
2、數(shù)據(jù)合并
某金融企業(yè)使用UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務，將前期拆分后的數(shù)據(jù)庫合并，方便進行后續(xù)的業(yè)務開發(fā)和分析。
3、架構調整
某交友軟件為了適應新的架構，通過UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務對數(shù)據(jù)庫 db 和 table 進行了重新調整，適應了新的環(huán)境。
架構的調整不僅僅是對現(xiàn)有數(shù)據(jù)庫的改名，還依賴于存量數(shù)據(jù)的變更、增量數(shù)據(jù)的同步、業(yè)務的回滾等。
總結
總的來說，UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務帶給企業(yè)的價值主要體現(xiàn)在以下三個方面：
→多源數(shù)據(jù)聚合，數(shù)據(jù)合并，構建 BI數(shù)據(jù)看板，提取數(shù)據(jù)價值;
→同構數(shù)據(jù)整合，自動處理數(shù)據(jù)沖突。
→數(shù)據(jù)庫架構在線調整，提升業(yè)務整體性能。
UCloud優(yōu)刻得UDTS數(shù)據(jù)集成服務目前正在免費公測期，歡迎前往控制臺開啟體驗～
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
