使用RestCloud ETL輕松解決WebService數(shù)據(jù)同步

  當前許多企業(yè)的業(yè)務系統(tǒng)甚至是SAAS系統(tǒng)只能提供WebService接口,如SAP、Workday等。

  如何才能將眾多的WebService接口同步到本地或數(shù)據(jù)中心呢?

  傳統(tǒng)的做法是通過編寫代碼實現(xiàn),該做法不僅開發(fā)效率低而且維護困難,任何接口的變更都需要重新修改代碼。如果有一種能簡單、高效地輕松解決該問題的工具,這應該是所有數(shù)據(jù)集成開發(fā)工程師的共同需求。

  RestCloud ETL正是一款這樣的工具,以下分享如何使用RestCloud ETL工具無需編碼,只需簡單兩步即輕松完成WebService數(shù)據(jù)同步方法。

  一、實現(xiàn)原理

  RestCloud ETL提供100+的數(shù)據(jù)組件,這里我們只需要使用其中2個組件:WebService調用組件,表輸出組件即可輕松實現(xiàn)WebService的數(shù)據(jù)同步。

  實現(xiàn)原理如下圖:

  WebService調用組件完成WebService接口接入、XML數(shù)據(jù)解析、數(shù)據(jù)格式;表輸出組件完成格式后的數(shù)據(jù)加載到數(shù)據(jù)庫中,表輸出組件支持幾十種數(shù)據(jù)源。

  二、實現(xiàn)過程

  2.1、登錄RestCloud ETL平臺

  進入集成開發(fā)應用開發(fā)頁面

  創(chuàng)建一個WebService數(shù)據(jù)同步任務

  2.2、WebService數(shù)據(jù)同步流程設計

  2.2.1流程設計

  在流程設計頁面,拖拽出兩個組件:

  2.2.2配置組件信息:

  1、配置WebService

  WebService配置項中在輸入WebService接口URL:

  這里我們將獲取公網(wǎng)上的一個WebService接口服務地址如下:http://ws.webxml.com.cn/WebServices/WeatherWS.asmx

  注意這個WebService有好幾個方法我們需要在節(jié)點的Header中SOAPAction中指定具體調用其中的那一個方法。

  我們調用他其中的一個方法獲取區(qū)域以及編碼數(shù)據(jù)然后傳到mysql中進行存儲。

  使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中

  輸入?yún)?shù)的XML可以使用SoapUI工具進行解析然后復制進來即可,這樣我們的WebService節(jié)點就配置完成了。

  后面的MySql節(jié)點就比較容易了,可以提前先建好表,也可以由ETL任務自動創(chuàng)建表,我們這里選擇由ETL工具自動建表并輸出數(shù)據(jù)到mysql。

  2、配置表輸出信息

  這里輸入一張不存在的表即可,系統(tǒng)會自動創(chuàng)建這張表

  然后配置這張表要接收數(shù)據(jù)的字段,系統(tǒng)將根據(jù)此配置字段進行數(shù)據(jù)庫表的創(chuàng)建。

  輸出選項中我們選擇第一次執(zhí)行時清空目標表,自動建表,逐條更新即可,配置完成后保存流程,即可以開始調試運行,現(xiàn)在我們來運行一下看看效果。

  2.3運行調試

  點擊運行,選擇單步調試,可以看到拉取的區(qū)域數(shù)據(jù),并會存入到mysql中

  在調試界面中我們可以看到拉取到了79條數(shù)據(jù),再點下一步即可存入到mysql

  任務運行結果顯示成功79條數(shù)據(jù)到mysql中,我們可以去mysql表中預覽一下是不是把區(qū)域數(shù)據(jù)拉到mysql中了。

  使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中

  打開mysql客戶端可以看到WebSerivce中的數(shù)據(jù)已經(jīng)成功拉取到本地mysql中了,如果調試沒有問題我們就可以給他安排一個定時任務,定時同步webservice中的數(shù)據(jù)到本地即可。

  使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中

  可以選擇每天晚上同步一次或其他同步時間可以自定義同步頻率

  上面我們就通過RestCloud ETL簡單兩步配置即實現(xiàn)了WebService接口的數(shù)據(jù)拉取同步任務,可以說是非常簡單。

  三、RestCloud ETL數(shù)據(jù)集成自動化

  RestCloudETL社區(qū)版是一款數(shù)據(jù)集成工具,即插即用,永久免費。提供可視化多數(shù)據(jù)管道構建、數(shù)據(jù)源管理、運行監(jiān)控及權限管理功能。RestCloud作為一家數(shù)據(jù)集成自動化創(chuàng)新企業(yè),我們致力于成為世界級的數(shù)據(jù)集成平臺,我們將為此不懈努力,不斷前行。

  感謝您對我們的關注和支持!

  如需了解更多的產品相關信息,請加入RestCloud ETL社區(qū)免費下載體驗。

(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )