阿里每天近萬(wàn)億級(jí)別的消息是如何完成實(shí)時(shí)消息傳遞的?幾十萬(wàn)臺(tái)服務(wù)器,成千上萬(wàn)個(gè)應(yīng)用順暢協(xié)作和消息實(shí)時(shí)傳遞都離不開(kāi)分布式消息中間件RocketMQ。長(zhǎng)久以來(lái),RocketMQ易于部署、高性能、高可用的架構(gòu),支撐了數(shù)十年來(lái)集團(tuán)內(nèi)外海量的業(yè)務(wù)場(chǎng)景。2016年,阿里巴巴宣布將開(kāi)源分布式消息中間件RocketMQ捐贈(zèng)給Apache,并一舉成為Apache頂級(jí)項(xiàng)目(TLP)。一個(gè)由中國(guó)開(kāi)發(fā)者發(fā)起的項(xiàng)目,站在了一個(gè)世界的舞臺(tái)上,受到全球的企業(yè)和開(kāi)發(fā)者關(guān)注。RocketMQ深受開(kāi)發(fā)者歡迎,多次斬獲行業(yè)大獎(jiǎng),究竟是怎樣的一群人讓這一項(xiàng)目不斷迸發(fā)出蓬勃的生命力?
這是一個(gè)從誕生第一天起就在GitHub上開(kāi)發(fā)的開(kāi)源項(xiàng)目,也是中國(guó)第一個(gè)非Hadoop生態(tài)的Apache頂級(jí)項(xiàng)目。它統(tǒng)一了阿里集團(tuán)內(nèi)部所有業(yè)務(wù)線的消息中間件,伴隨著中國(guó)互聯(lián)網(wǎng)發(fā)展數(shù)次迭代。
《十萬(wàn)億條消息背后的故事》記錄了從誕生、開(kāi)源到發(fā)展至今,那些RocketMQ背后鮮為人知的創(chuàng)始故事。通過(guò)「開(kāi)源人說(shuō)」的娓娓道來(lái),讓我們一起來(lái)了解分布式消息中間件Apache RocketMQ背后的人與事!
雙11,RocketMQ抖一抖,上層業(yè)務(wù)“抖三抖”
早在2007年,阿里巴巴中間件團(tuán)隊(duì)就自主研發(fā)了消息中間件Notify。作為RocketMQ的前身,在很長(zhǎng)一段時(shí)間里,Notify作為主要的消息中間件支撐著淘寶天貓業(yè)務(wù)。
Apache RocketMQ的創(chuàng)始人王小瑞于2011年加入到淘寶中間件。當(dāng)時(shí)面臨最大挑戰(zhàn)是,每年“雙11”Notify都會(huì)出問(wèn)題,使得消息會(huì)延遲半天甚至一天以上,商家看不到買家已經(jīng)購(gòu)買了商品,這對(duì)于商家服務(wù)以及客戶體驗(yàn)的影響非常大。在縝密研判后,發(fā)現(xiàn)問(wèn)題核心就是如何能夠?qū)崿F(xiàn)高速讀寫,王小瑞所在的團(tuán)隊(duì)認(rèn)為想要解決這一問(wèn)題,就需要基于一個(gè)全新存儲(chǔ)架構(gòu)來(lái)解決這個(gè)問(wèn)題。于是,RocketMQ誕生了。
RocketMQ誕生,一開(kāi)始就是開(kāi)源共建,3個(gè)月就出了第一個(gè)版本
王小瑞(Apache RocketMQ創(chuàng)始人&作者)說(shuō):“阿里的文化特別開(kāi)放,我是在食堂跟小邪(現(xiàn)阿里云基礎(chǔ)產(chǎn)品事業(yè)部負(fù)責(zé)人)吃飯的時(shí)候,說(shuō)我們希望這個(gè)產(chǎn)品名字叫RocketMQ,希望它可以一開(kāi)始就是開(kāi)源的。小邪當(dāng)時(shí)就給予了支持。”淘寶的文化也是馬上做,做精彩。如果你有想法,那你趕緊去做。所以我當(dāng)時(shí)其實(shí)做夢(mèng)的過(guò)程中都在想這些問(wèn)題該怎么解決。老板沒(méi)有定一個(gè)嚴(yán)格的時(shí)間點(diǎn),說(shuō)你必須在什么時(shí)間寫完,但我的想法是,我已經(jīng)想清楚了整個(gè)架構(gòu),需要把它快速實(shí)現(xiàn)出來(lái)。”
從第一天開(kāi)始,RocketMQ就在Github完整展現(xiàn),也就是說(shuō)RocketMQ的第一行代碼對(duì)用戶就是開(kāi)放的。在非常多國(guó)內(nèi)外開(kāi)發(fā)者的共同參與下。RocketMQ快速迭代,大概用了3個(gè)月時(shí)間就完成第一個(gè)版本。
2015年,中日韓開(kāi)源論壇上,RocketMQ作為中國(guó)開(kāi)源軟件的代表,榮獲CJK OSS大獎(jiǎng)。
2016年“雙11”當(dāng)天,達(dá)到萬(wàn)億級(jí)消息量,峰值TPS幾千萬(wàn),創(chuàng)造了國(guó)內(nèi)乃至世界上最大的消息流轉(zhuǎn)記錄。
RocketMQ捐贈(zèng),僅用一年,成為Apache頂級(jí)開(kāi)源項(xiàng)目
在阿里巴巴建立之初,正是基于開(kāi)源軟件將整個(gè)電商平臺(tái)的原型快速搭建起來(lái)。阿里巴巴感恩開(kāi)源社區(qū)帶來(lái)的巨大貢獻(xiàn)與價(jià)值,也希望將自身經(jīng)驗(yàn)分享出來(lái)、回饋社區(qū),讓更多的人受益。
2016年,阿里巴巴將分布式消息中間件RocketMQ捐贈(zèng)給了Apache開(kāi)源軟件基金會(huì)。僅用10個(gè)月時(shí)間就從Apache畢業(yè),并成為Apache頂級(jí)項(xiàng)目(TLP)。這也標(biāo)志著中國(guó)擁有了第一個(gè)非Hadoop生態(tài)的頂級(jí)項(xiàng)目。
(2017年9月25日,從孵化到畢業(yè)10個(gè)月左右的時(shí)間,Apache官方正式宣布阿里巴巴捐贈(zèng)給Apache社區(qū)的RocketMQ從社區(qū)正式畢業(yè),成為了Apache頂級(jí)的項(xiàng)目。)
Apache RocketMQ社區(qū)運(yùn)營(yíng)負(fù)責(zé)人王榮剛說(shuō):“我們終于完成了一個(gè)階段性的小目標(biāo),一個(gè)由中國(guó)開(kāi)發(fā)者發(fā)起的項(xiàng)目,站在了一個(gè)世界的舞臺(tái)上,受到全球的企業(yè)和開(kāi)發(fā)者的關(guān)注,那種感覺(jué)還是非常自豪的。”
2021年,RocketMQ 5.0正式發(fā)布
2021年,在經(jīng)歷社區(qū)眾多開(kāi)發(fā)者的不斷努力,RocketMQ 5.0出現(xiàn)在行業(yè)視野中,并引發(fā)廣泛討論。新版本核心包括兩大新亮點(diǎn)。首先,消息核心場(chǎng)景全面擴(kuò)展,RocketMQ 5.0不再局限于消息解耦場(chǎng)景,將全新布局事件驅(qū)動(dòng)和消息流式處理場(chǎng)景;其次,技術(shù)架構(gòu)不斷演進(jìn),逐漸形成一站式融合處理的技術(shù)架構(gòu)和趨勢(shì)。
2022年,批量消息索引、邏輯隊(duì)列發(fā)布RocketMQ-MQTT,RocketMQ-Connect、RocketMQ-Streams,完成從業(yè)務(wù)消息平臺(tái)向『消息、事件、流』一體化融合處理平臺(tái)的升級(jí)。開(kāi)發(fā)者可以實(shí)現(xiàn)一份消息存儲(chǔ),支持流式計(jì)算、異步投遞、集成驅(qū)動(dòng)等多個(gè)場(chǎng)景。實(shí)現(xiàn)技術(shù)問(wèn)題一站式解決,大大降低技術(shù)復(fù)雜度和運(yùn)維成本,簡(jiǎn)化企業(yè)應(yīng)用架構(gòu)。
阿里巴巴開(kāi)源委員會(huì)副主席丁宇表示:“未來(lái),我們會(huì)加大RocketMQ的開(kāi)源投入,構(gòu)建更加繁榮的社區(qū)生態(tài),希望與更多的開(kāi)發(fā)者、貢獻(xiàn)者一起,追求極致、開(kāi)放共享,實(shí)現(xiàn)技術(shù)普惠。”
正是因?yàn)橛羞@樣一群熱愛(ài)開(kāi)源并愿意為它一直奮斗的開(kāi)源人們,讓中國(guó)的開(kāi)源事業(yè)未來(lái)可期!
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
