全票通過！易觀開源項(xiàng)目DolphinScheduler進(jìn)入Apache孵化器

2019年8月29日，易觀開源的分布式任務(wù)調(diào)度引擎DolphinScheduler(原EasyScheduler)正式通過頂級(jí)開源組織Apache基金會(huì)的投票決議，以全票通過的優(yōu)秀表現(xiàn)正式成為Apache孵化器項(xiàng)目!

根據(jù)Apache基金會(huì)郵件列表顯示，在包含11個(gè)約束性投票(binding votes)和2個(gè)無約束性投票(non-binding votes)的投票全部持贊同意見，無棄權(quán)票和反對(duì)票，投票順利通過。

“Welcome to Apache incubator，DolphinScheduler！”

易觀貢獻(xiàn)的DolphinScheduler進(jìn)入 Apache孵化器，是易觀開源項(xiàng)目的重要里程碑，DolphinScheduler社區(qū)將遵循「The Apache Way」,秉承更加兼容并包與開放多樣化的心態(tài)，由衷歡迎更多的開發(fā)者參與到社區(qū)中來，Committer虛位以待!

DolphinScheduler是一個(gè)分布式易擴(kuò)展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)，致力于解決數(shù)據(jù)處理流程中錯(cuò)綜復(fù)雜的依賴關(guān)系，同時(shí)具有強(qiáng)大的可視化操作界面。DolphinScheduler曾用名為“EasyScheduler”，由于名稱已在國外某App使用，經(jīng)社區(qū)討論與投票后改名為DolphinScheduler，簡稱”DS”,中文名“小海豚調(diào)度”(海豚聰明、人性化，有左右腦可互相換班，終生不用睡覺)。我們希望DolphinScheduler就像它的名字一樣，成為一個(gè)“開箱即用”的靈活易用的調(diào)度系統(tǒng)。

易觀緣何開發(fā)DolphinScheduler？

2017年，易觀在運(yùn)營自己6.8Pb大小、6.02億月活、每天近萬個(gè)調(diào)度任務(wù)的大數(shù)據(jù)平臺(tái)時(shí)，受到ETL復(fù)雜的依賴關(guān)系、平臺(tái)易用性、可維護(hù)性及二次開發(fā)等方面掣肘，我們渴望找到一個(gè)具有以下功能的數(shù)據(jù)調(diào)度工具：

1.易于使用，開發(fā)人員可以通過非常簡單的拖拽操作構(gòu)建ETL過程。不僅對(duì)于ETL開發(fā)人員，無法編寫代碼的人也可以使用此工具進(jìn)行ETL操作，例如系統(tǒng)管理員和分析師

2.解決“復(fù)雜任務(wù)依賴”問題，并且可以實(shí)時(shí)監(jiān)視ETL運(yùn)行狀態(tài)

3.支持多租戶

4.支持許多任務(wù)類型：Shell，MR，Spark，SQL(mysql，postgresql，hive，sparksql)，Python，Sub_Process，Procedure等

5.支持HA和線性可擴(kuò)展性

易觀技術(shù)團(tuán)隊(duì)意識(shí)到現(xiàn)有開源項(xiàng)目沒有能夠達(dá)到我們要求的，因此決定自行開發(fā)這個(gè)工具。我們?cè)?017年底設(shè)計(jì)了DolphinScheduler的主要架構(gòu);2018年5月完成第一個(gè)內(nèi)部使用版本，后來我們又迭代了幾個(gè)內(nèi)部版本后，系統(tǒng)逐漸穩(wěn)定下來。

家有DolphinScheduler初長成

易觀技術(shù)團(tuán)隊(duì)——這一支自百度、阿里、百分點(diǎn)、Ptmind、熱云等團(tuán)隊(duì)的“數(shù)據(jù)極客”，秉持易觀“讓數(shù)據(jù)能力平民化”的初心，積極擁抱開源，曾貢獻(xiàn)過PrestoHbase Connector, PrestoKudu Connector等令開發(fā)者稱贊的項(xiàng)目。此次在公司的支持下，也積極將自己的開發(fā)的調(diào)度工具推動(dòng)開源，旨在回饋開源的同時(shí)，助力打造更為強(qiáng)大的開源生態(tài)。

團(tuán)隊(duì)在2019年3月初，小范圍(10多家公司)開放了DS的種子用戶試用，得到了非常正能量的反饋，在4月初的正式對(duì)外開放源碼后，很快就獲得了許多開發(fā)人員的關(guān)注興趣，目前github上的star現(xiàn)在已超過1700個(gè)，參與開發(fā)和使用的公司包括嘀嗒出行、雪球、鳳凰金融、水滴互助、華潤萬家等。

DolphinScheduler的特點(diǎn)

DolphinScheduler提供了許多易于使用的功能，可加快數(shù)據(jù)ETL工作開發(fā)流程的效率。其主要特點(diǎn)如下：

1.通過拖拽以DAG圖的方式將 Task按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實(shí)時(shí)可視化監(jiān)控任務(wù)的運(yùn)行狀態(tài)

支持豐富的任務(wù)類型

2.支持工作流定時(shí)調(diào)度、依賴調(diào)度、手動(dòng)調(diào)度、手動(dòng)暫停/停止/恢復(fù)，同時(shí)支持失敗重試/告警、從指定節(jié)點(diǎn)恢復(fù)失敗、Kill任務(wù)等操作

3.支持工作流全局參數(shù)及節(jié)點(diǎn)自定義參數(shù)設(shè)置

4.支持集群HA，通過 Zookeeper實(shí)現(xiàn) Master集群和 Worker集群去中心化

5.支持工作流運(yùn)行歷史樹形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計(jì)、流程狀態(tài)統(tǒng)計(jì)

6.支持補(bǔ)數(shù)，并行或串行回填數(shù)據(jù)

歡迎調(diào)度小伙伴加入共建世界頂級(jí)的開源項(xiàng)目！

目前，DolphinScheduler在中國已經(jīng)擁有了一個(gè)1300多位伙伴組成的用戶及開發(fā)者社區(qū)。它也被許多公司和組織廣泛采用作為其ETL調(diào)度工具。我們熱烈歡迎更多的用戶和開發(fā)者加入到貢獻(xiàn)的隊(duì)伍中來，讓我們國人開源的調(diào)度引擎在世界開源生態(tài)中占據(jù)一席之地!

感謝參與社區(qū)的貢獻(xiàn)者！

特別感謝愿意給DolphinScheduler提供指導(dǎo)的champion和mentors:

積極參與的貢獻(xiàn)者:

chongchongzi、lfyee、mnloveyx、李林、白強(qiáng)、楊孟霏、胡將、王金海、風(fēng)清揚(yáng)、林忠俊、jiangzhx、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、

shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、馬澤國、劉小春、Crossoverrr、jxauwxj

此外還要感謝數(shù)百位提出issue和建議以及使用的伙伴們的貢獻(xiàn)和大力支持;感謝在項(xiàng)目早期提出指導(dǎo)的來自華為、京東、teradata、百分點(diǎn)、趣頭條等公司負(fù)責(zé)調(diào)度的伙伴!

特別感謝githubmybatis-plus社區(qū)，在得知DolphinScheduler想使用mybatis-plus來支持多數(shù)據(jù)庫，特地發(fā)版去掉了NPL協(xié)議;感謝易觀前端團(tuán)隊(duì)開源的高質(zhì)量 UI組件庫ans-ui!

寫在最后

我們堅(jiān)信將DolphinScheduler引入Apache可以推動(dòng)更強(qiáng)大，更多樣化的開源社區(qū)的發(fā)展。我們將努力踐行“CommunityOverCode“的Apache文化，同時(shí)歡迎更多的公司和個(gè)人參與到開發(fā)者隊(duì)伍中來，讓DolphinScheduler社區(qū)更加健壯、健康的發(fā)展，讓更多人享受開源帶來的技術(shù)革命!

目前DolphinScheduler的所有源代碼和所有相關(guān)文檔已捐贈(zèng)給Apache Software Foundation。這些代碼已經(jīng)在Apache License Version 2.0下：

為促進(jìn)技術(shù)圈的茁壯發(fā)展，增進(jìn)Apache DolphinScheduler使用者的交流與學(xué)習(xí)，易觀舉辦“Apache DolphinScheduler(incubator) User Meetup”全國巡回活動(dòng)，2019年將陸續(xù)在北京、上海等地舉行，邀請(qǐng)業(yè)內(nèi)資深的技術(shù)專家，分享實(shí)戰(zhàn)經(jīng)驗(yàn)，促進(jìn)互聯(lián)網(wǎng)技術(shù)的普及。

歡迎大家來交流!

Apache DolphinScheduler(incubator) User Meetup·Shanghai

Date: 2019，Oct, 26 (2019年10月26日)

Agenda(議程):

1、Introduction/overview of DolphinScheduler (William-GuoWei).

2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).

3、DolphinScheduler practice(Draw up)

4、DolphinScheduler from Zero to One (Draw up)

5、DolphinScheduler practice(Draw up)

6、Recently released features and Roadmap (Lidong Dai)

7、Free discussion

附：DolphinScheduler部分功能截圖:

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。