導語:市場上首個 K8s 上的大數(shù)據平臺,開源了!
智領云自主研發(fā)的首個完全基于Kubernetes的容器化大數(shù)據平臺
Kubernetes Data Platform (簡稱KDP)
開源啦!
開發(fā)者只要準備好命令行工具,一鍵部署
Hadoop,Hive,Spark,Kafka, Flink, MinIO ...
就可以創(chuàng)建以前要花幾十萬甚至幾百萬才可以買到的大數(shù)據平臺
無需再花大量的時間和經費去做重復的研發(fā)
高度集成,單機即可體驗大數(shù)據平臺
在高級安裝模式下
用戶可在現(xiàn)有的K8s集群上集成運行大數(shù)據組件
不用額外單獨建設大數(shù)據集群
項目地址:
https://github.com/linktimecloud/kubernetes-data-platform
辛辛苦苦研究出來的成果,為什么要開源?
這波格局開大,老板有話說
問題1:我們?yōu)槭裁匆_源?
我們的產品一直是基于大數(shù)據開源生態(tài)體系建設的。之前就一直有開源回饋社區(qū)的計劃,但是因為之前Kubernetes對于大數(shù)據組件的支持還不夠成熟,我們也一直在迭代與Kubernetes的適配。現(xiàn)在我們的企業(yè)版已經在很多頭部客戶落地并且在生產環(huán)境下高效運行,覺得這個版本已經可以達到大部分生產級項目的需求,集成度以及可用性是能夠幫到有類似需求的用戶的,希望這次開源能夠降低在Kubernetes上集成大數(shù)據組件的門檻,讓更多Kuberenetes和big data社區(qū)的同行們可以使用。
問題2:開源版本的KDP,能干啥?
KDP可以很方便的在Kubenetes上安裝和管理常用的大數(shù)據組件,Hadoop,Hive,Spark,Kafka, Flink, MinIO 等等,不需要自己一個一個去適配,可以直接開始使用。然后KDP也提供集成的運維管理界面,用戶可以從界面管理所有組件的安裝配置,運行狀況,資源使用情況,修改配置。而且KDP會將一個大數(shù)據組件的所有負載(容器,pod)作為一個整體管理,用戶不需要在Kubernetes的控制平面上去管理單獨的負載。
問題3:最大的亮點是?
只要你已經在使用Kubernetes,那么在現(xiàn)有集群上十幾分鐘就可以啟動一個完整的大數(shù)據集群,馬上開始使用,極大的降低了大數(shù)據平臺的使用門檻。因為我們這個流程是高度集成的,整個安裝過程在一個單機環(huán)境下也都能啟動(例如使用單機kind虛擬集群都可以),所以在測試和實驗環(huán)境下都可以高效使用。當然,啟動之后Day 2的很多好處,例如資源的高效利用和集成的運維管理,也是KDP提供的重要功能。
KDP,即在Kubernetes上使用原生的分布式功能搭建及管理大數(shù)據平臺。
將多套大數(shù)據組件集成在Kubernetes之上,同時提供一個整體的管理及運維工具體系,形成一個完全基于Kubernetes的大數(shù)據平臺。企業(yè)級KDP更是支持在同一個Kubernetes集群中同時運行多個大數(shù)據平臺以及多租戶管理的能力,充分發(fā)揮Kubernetes云原生體系的優(yōu)勢。
KDP,通過對開源大數(shù)據組件的擴展和集成,實現(xiàn)了傳統(tǒng)大數(shù)據平臺到K8s大數(shù)據平臺的平穩(wěn)遷移。
作為市場上首個可完全在Kubernetes上部署的容器化云原生大數(shù)據平臺,智領云自主研發(fā)的KDP,深度整合云原生架構優(yōu)勢,將大數(shù)據組件、數(shù)據應用及資源調度混排,納入Kubernetes管理體系,從而帶你真正玩轉云原生!
總體框架
簡單來講,KDP可以允許客戶在Kubernetes上運行它所有的大數(shù)據組件,并把它們作為一個整體管理起來。
在Kubernetes上運行大數(shù)據平臺有三個好處:
第一,更高效的大數(shù)據組件集成:KDP提供標準化自動化的大數(shù)據組件部署和配置,極大地縮短了大數(shù)據項目開發(fā)和上線時間;
第二,更高效的大數(shù)據集群運管:KDP通過大數(shù)據組件與K8s的集成,在K8s之上搭建了一個大數(shù)據組件管理抽象層,標準化大數(shù)據組件生命周期管理,并提供UI界面進一步提升了部署、升級等操作的效率;
第三,更高的集群資源利用率:利用K8s的資源管理和配額機制,與其它系統(tǒng)共享K8s資源池,精細化資源管理,對比傳統(tǒng)大數(shù)據平臺約30%左右的資源利用率,KDP可大幅提升至60%以上。
社區(qū)
我們期待您的貢獻和建議!最簡單的貢獻方式是參與Github議題/討論的討論。 如果您有任何問題,請與我們聯(lián)系,我們將確保盡快為您解答。
微信群:添加小助手微信拉您進入交流群
釘釘群:搜索公開群組號82250000662
貢獻
參考開發(fā)者指南,了解如何開發(fā)及貢獻 KDP。
https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現(xiàn)的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )