雙十一912億高頻交易不癱瘓 阿里的技術(shù)讓京東怕了

今年的雙十一感覺就是在拼記錄。根據(jù)阿里巴巴集團披露的數(shù)據(jù),截至11日24時,天貓“雙十一”全天交易額達912.17億元,其中無線交易額為626.42億元,占比68.67%;而在零點開始的搶購階段里,系統(tǒng)交易創(chuàng)建峰值達到每秒鐘14萬筆,支付峰值達到每秒鐘8.59萬筆。

好吧。對于不斷刷新記錄這件事兒,我們已經(jīng)習(xí)慣了。但是在一天的瘋狂購物中,阿里巴巴能夠穩(wěn)定支撐這么大的高并發(fā)交易,沒有因為用戶的瘋狂點擊而陷入癱瘓——想想前陣子你們搶購iphone6s造成的官網(wǎng)登陸不上就知道這種事情多么容易出現(xiàn)了——還真的是值得我們點三十二個贊,所以這里難免還是要分析一下,阿里云的技術(shù)到底有多牛?為什么這么牛?

.壹.

.異地多活:

橫跨1000公里的高可靠性和高可用性.

多活指的多活體,也就是說多個服務(wù)器(通常是數(shù)據(jù)中心里的集群)同時運行支撐業(yè)務(wù)運行,打個比方就是多個人同時完成一個大項目,目的是什么呢?

一是保證高可靠性——簡單說不會說一個數(shù)據(jù)中心掛了,整個網(wǎng)站業(yè)務(wù)就停了,或者在主備(冷)模式下,主數(shù)據(jù)中心關(guān)了,最新數(shù)據(jù)沒同步,普通的歷史數(shù)據(jù)備份也就是算了(慢慢導(dǎo)),但這種高頻、實時的交易業(yè)務(wù)信息怎么辦?

二是保證高可用性——也就是說系統(tǒng)運行順暢,客戶快快的訪問,少少的延時,按照阿里巴巴技術(shù)保障部研究員林昊的說法,1000公里以上的網(wǎng)絡(luò)延遲來回一次是30毫秒左右,用戶其實沒有感受,但是當(dāng)用戶打開一個淘寶頁面的時候,一次點擊背后大概有100多次以上的后端交互,如果全部跨地域完成的話,就意味著頁面的響應(yīng)時間將增加3秒,不僅用戶絕對會有明顯感受,很多頁面也會因為超時出不來了。

反映到“多活”工作中,就要解決掉距離帶來的延時問題,以及多點寫入時對外數(shù)據(jù)顯示一致性的問題。怎么做?按照阿里大牛們的解釋,大概是這樣的思路,首先,在一個機房內(nèi)完成一次頁面訪問的整個操作,因為沒有跨域,所以基本不存在延時的問題;其次,把業(yè)務(wù)劃成了各種各樣的單元,按照用戶維度、業(yè)務(wù)性質(zhì)等等進行切分,單元封閉之后,讓單元內(nèi)的應(yīng)用訪問和數(shù)據(jù)的讀寫操作全部處于封閉狀態(tài),在一個單元里完成相應(yīng)的數(shù)據(jù)處理事務(wù),這樣解決數(shù)據(jù)對外顯示一致性的問題。

等一下?這看起來不還是單活的處理思路嗎?嗯。所以阿里云當(dāng)然還有最關(guān)鍵的一個核心技術(shù)產(chǎn)品,數(shù)據(jù)遷移服務(wù)DTS,實現(xiàn)異地數(shù)據(jù)中心的數(shù)據(jù)同步,解決掉多活體之間的數(shù)據(jù)一致問題。據(jù)說在2015年“雙十一”中,所有數(shù)據(jù)同步控制在1秒以內(nèi)!

所以,阿里云牛的地方,不僅在于實現(xiàn)了多活(不僅是2個哦),還在于異地多活,以及橫跨1000公里的異地多活(這意味著在全國任意一個城市來部署同步協(xié)調(diào)支持數(shù)據(jù)中心了)。

.貳.

.分布式關(guān)系數(shù)據(jù)庫:

支付寶的秘密武器.

今年雙十一,支付寶整個核心鏈路是運行在OceanBase上面的,數(shù)字呢,一個是上面提到的14萬每秒的訂單創(chuàng)建,8.59萬筆每秒的支付,還有就是一天10TB左右的數(shù)據(jù)庫寫入量。

數(shù)字是不是看起來仍然已經(jīng)無感?我們來說OceanBase,這個由阿里巴巴自主研發(fā)的中國首個具有自主知識產(chǎn)權(quán)的數(shù)據(jù)庫,也是全球首個應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫。

傳統(tǒng)關(guān)系型數(shù)據(jù)庫,比如Oracle或者MySQL功能已經(jīng)很完善,但數(shù)據(jù)庫本身不可擴展,隨著數(shù)據(jù)量的增大和業(yè)務(wù)內(nèi)容的豐富,需要拆庫拆表,然后再進行訪問路由,將相應(yīng)的SQL解析路由到指定的數(shù)據(jù)庫中,比如阿里就曾經(jīng)研發(fā)出TDDL這個通用數(shù)據(jù)訪問層,但隨著數(shù)據(jù)量的一直增長,這種拆庫拆表的做法對性能有著明顯的影響。

而OceanBase相當(dāng)于加持了擴展(Scalability)屬性的關(guān)系型數(shù)據(jù)庫。

傳說中的OceanBase的架構(gòu)

OceanBase的做法是保持相對穩(wěn)定的主體數(shù)據(jù)(基準(zhǔn)數(shù)據(jù))不變,將把一段時間內(nèi)的增刪改等修改操作以增量形式記錄下來,放在內(nèi)存中處理?;鶞?zhǔn)數(shù)據(jù)按照主鍵分段后保存在到多臺機器(ChunkServer) 并且由于按主鍵分塊連續(xù)存放,因此OceanBase按主鍵的范圍查詢對應(yīng)著連續(xù)的磁盤讀,十分高效;而由于增刪改等動態(tài)數(shù)據(jù)相對較小,通常情況下,OceanBase把它保存在獨立的服務(wù)器UpdateServer的內(nèi)存中,這樣極大地提高了系統(tǒng)寫事務(wù)的性能,在修改凍結(jié)后,保存到SSD固態(tài)硬盤上釋放內(nèi)存空間。

其他組件中,MergeServer結(jié)合ChunkServer和UpdateServer,獲得最新數(shù)據(jù),實現(xiàn)數(shù)據(jù)一致性;而RootServer進行機器故障檢測、負載平衡計算、負載遷移調(diào)度等工作。

問題來了,內(nèi)存掉電,數(shù)據(jù)丟失咋辦?

OceanBase有著可靠的數(shù)據(jù)庫操作日志記錄,如果出現(xiàn)掉電或故障,可以通過日志回訪出來。這樣,在內(nèi)存里進行相應(yīng)的數(shù)據(jù)查詢、修改,然后定期把大量的數(shù)據(jù)跟增量的修改做合并,不停滾動的話數(shù)據(jù)庫就一直更新,保證在內(nèi)存里的數(shù)據(jù)永遠是少量的,做到很高的性能。

OceanBase 2010年誕生,2014年支撐了10%的雙11交易流量。今年6月,網(wǎng)商銀行開業(yè),底層數(shù)據(jù)庫全部采用OceanBase,是第一家完全擺脫商業(yè)數(shù)據(jù)庫的金融機構(gòu)。

與傳統(tǒng)數(shù)據(jù)庫相比,OceanBase的系統(tǒng)維護,不需要昂貴的共享存儲設(shè)備和高性能服務(wù)器,還能節(jié)省數(shù)據(jù)庫軟件的許可費,和常用的商業(yè)數(shù)據(jù)庫相比,成本不到其一半。同時,分布式的系統(tǒng),可以更好地應(yīng)對雙11這類大流量沖擊:彈性能力可保證大促之前完成一鍵擴容、大促之后實現(xiàn)一鍵縮容。

據(jù)說,OceanBase也計劃于明年通過阿里云的公共云計算平臺對外界開放。

.叁.

.混合云架構(gòu)實踐:

10000個阿里的河源.

回到我們開篇那句看起來似乎有些問題的話,為什么好好說著阿里巴巴的銷售記錄,特意轉(zhuǎn)到阿里云的技術(shù)呢?是因為,根據(jù)介紹,今年雙十一淘寶天貓核心交易鏈條和支付寶核心支付鏈條的部分流量,直接切換到阿里云的公共云計算平臺上。通過將公共云和專有云無縫連接的模式——也就是大家熟知的混合云模式,全面支撐雙十一。

按照阿里云總裁胡曉明的說法,阿里巴巴希望在自身最重要商業(yè)實踐中,驗證云計算的安全性、可靠性,向世界證明云計算的優(yōu)勢。也正是基于這種混合云模式,阿里巴巴能夠充分利用云計算的彈性優(yōu)勢,隨時調(diào)度資源。而在雙十一之后,又能快速歸還資源,避免高峰期過后的閑置浪費。

從以往的經(jīng)驗來看,無論是在余額寶、花唄的誕生,還是OceanBase的誕生等等,都是阿里巴巴被現(xiàn)實需求及不給力的合作環(huán)境倒逼出來的業(yè)務(wù)創(chuàng)新。如果不去做業(yè)務(wù)創(chuàng)新,新的業(yè)務(wù)需求無法滿足,或者無法以符合成本效率的條件滿足,所以阿里巴巴、阿里云開發(fā)出一個個具有核心競爭力的突破性的技術(shù)。

從目前的情況來看,阿里云正在把這些技術(shù)一個個開放出來,供更多的企業(yè)使用,如胡曉明強調(diào)的,“這一混合云架構(gòu)完全基于阿里云官網(wǎng)在售的標(biāo)準(zhǔn)化產(chǎn)品搭建的。也就是說,你通過這些標(biāo)準(zhǔn)化的產(chǎn)品,也可以搭建一個像淘寶、天貓這樣的萬億級企業(yè)應(yīng)用,滿足任何極端的業(yè)務(wù)挑戰(zhàn)。”

為了更好的支持企業(yè)使用阿里云的各種技術(shù),阿里云還推出了“一鍵建站技術(shù)”,在基礎(chǔ)設(shè)施具備的條件下,通過阿里自研的自動化軟件,將中間件、數(shù)據(jù)庫、商品交易系統(tǒng)、商品展示系統(tǒng)等上百個電商核心系統(tǒng),像搭積木一樣部署完成。整個過程一鍵完成,基本無需人工干預(yù),所需時間不到90分鐘——即使像今年的淘寶、天貓交易單元,也是在90分鐘之內(nèi)自動化完成的。

所以,如果企業(yè)能夠采用混合云的模式,將核心系統(tǒng)運行在云里,使用阿里云開發(fā)出來的各種能力,快速發(fā)展成另一個阿里巴巴,也不能說是一種奢望。從這個角度看,這次的雙十一混合云架構(gòu)實踐,是未來中國更多巨型企業(yè)成型的河源,也是大大有可能的。

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2015-11-23
雙十一912億高頻交易不癱瘓 阿里的技術(shù)讓京東怕了
今年的雙十一感覺就是在拼記錄。根據(jù)阿里巴巴集團披露的數(shù)據(jù),截至11日24時,天貓“雙十一”全天交易額達912 17億元,其中無線交易額為626

長按掃碼 閱讀全文