當前許多企業(yè)的業(yè)務系統(tǒng)甚至是SAAS系統(tǒng)只能提供WebService接口,如SAP、Workday等。
如何才能將眾多的WebService接口同步到本地或數(shù)據(jù)中心呢?
傳統(tǒng)的做法是通過編寫代碼實現(xiàn),該做法不僅開發(fā)效率低而且維護困難,任何接口的變更都需要重新修改代碼。如果有一種能簡單、高效地輕松解決該問題的工具,這應該是所有數(shù)據(jù)集成開發(fā)工程師的共同需求。
RestCloud ETL正是一款這樣的工具,以下分享如何使用RestCloud ETL工具無需編碼,只需簡單兩步即輕松完成WebService數(shù)據(jù)同步方法。
一、實現(xiàn)原理
RestCloud ETL提供100+的數(shù)據(jù)組件,這里我們只需要使用其中2個組件:WebService調用組件,表輸出組件即可輕松實現(xiàn)WebService的數(shù)據(jù)同步。
實現(xiàn)原理如下圖:
WebService調用組件完成WebService接口接入、XML數(shù)據(jù)解析、數(shù)據(jù)格式;表輸出組件完成格式后的數(shù)據(jù)加載到數(shù)據(jù)庫中,表輸出組件支持幾十種數(shù)據(jù)源。
二、實現(xiàn)過程
2.1、登錄RestCloud ETL平臺
進入集成開發(fā)應用開發(fā)頁面
創(chuàng)建一個WebService數(shù)據(jù)同步任務
2.2、WebService數(shù)據(jù)同步流程設計
2.2.1流程設計
在流程設計頁面,拖拽出兩個組件:
2.2.2配置組件信息:
1、配置WebService
WebService配置項中在輸入WebService接口URL:
這里我們將獲取公網(wǎng)上的一個WebService接口服務地址如下:http://ws.webxml.com.cn/WebServices/WeatherWS.asmx
注意這個WebService有好幾個方法我們需要在節(jié)點的Header中SOAPAction中指定具體調用其中的那一個方法。
我們調用他其中的一個方法獲取區(qū)域以及編碼數(shù)據(jù)然后傳到mysql中進行存儲。
使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中
輸入?yún)?shù)的XML可以使用SoapUI工具進行解析然后復制進來即可,這樣我們的WebService節(jié)點就配置完成了。
后面的MySql節(jié)點就比較容易了,可以提前先建好表,也可以由ETL任務自動創(chuàng)建表,我們這里選擇由ETL工具自動建表并輸出數(shù)據(jù)到mysql。
2、配置表輸出信息
這里輸入一張不存在的表即可,系統(tǒng)會自動創(chuàng)建這張表
然后配置這張表要接收數(shù)據(jù)的字段,系統(tǒng)將根據(jù)此配置字段進行數(shù)據(jù)庫表的創(chuàng)建。
輸出選項中我們選擇第一次執(zhí)行時清空目標表,自動建表,逐條更新即可,配置完成后保存流程,即可以開始調試運行,現(xiàn)在我們來運行一下看看效果。
2.3運行調試
點擊運行,選擇單步調試,可以看到拉取的區(qū)域數(shù)據(jù),并會存入到mysql中
在調試界面中我們可以看到拉取到了79條數(shù)據(jù),再點下一步即可存入到mysql
任務運行結果顯示成功79條數(shù)據(jù)到mysql中,我們可以去mysql表中預覽一下是不是把區(qū)域數(shù)據(jù)拉到mysql中了。
使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中
打開mysql客戶端可以看到WebSerivce中的數(shù)據(jù)已經(jīng)成功拉取到本地mysql中了,如果調試沒有問題我們就可以給他安排一個定時任務,定時同步webservice中的數(shù)據(jù)到本地即可。
使用ETL調用WebService接口實時拉取數(shù)據(jù)到本地數(shù)庫中
可以選擇每天晚上同步一次或其他同步時間可以自定義同步頻率
上面我們就通過RestCloud ETL簡單兩步配置即實現(xiàn)了WebService接口的數(shù)據(jù)拉取同步任務,可以說是非常簡單。
三、RestCloud ETL數(shù)據(jù)集成自動化
RestCloudETL社區(qū)版是一款數(shù)據(jù)集成工具,即插即用,永久免費。提供可視化多數(shù)據(jù)管道構建、數(shù)據(jù)源管理、運行監(jiān)控及權限管理功能。RestCloud作為一家數(shù)據(jù)集成自動化創(chuàng)新企業(yè),我們致力于成為世界級的數(shù)據(jù)集成平臺,我們將為此不懈努力,不斷前行。
感謝您對我們的關注和支持!
如需了解更多的產品相關信息,請加入RestCloud ETL社區(qū)免費下載體驗。
(免責聲明:本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )