阿里總部對外解密雙11超級工程背后的數(shù)據(jù)庫技術(shù)

2018年1月19日，阿里巴巴數(shù)據(jù)庫事業(yè)部聯(lián)合技術(shù)戰(zhàn)略部在阿里西溪園區(qū)總部，也是雙11技術(shù)的發(fā)源地，舉辦了一場線下《雙11數(shù)據(jù)庫技術(shù)峰會》，超過100名企業(yè)CTO、CIO和數(shù)據(jù)架構(gòu)師到場參加，現(xiàn)場座無虛席。

阿里巴巴集團數(shù)據(jù)庫技術(shù)總負(fù)責(zé)人、阿里研究員張瑞做了開場分享。張瑞2005年加入阿里，前兩天剛剛滿13周年，親歷了阿里整個數(shù)據(jù)庫技術(shù)的變遷和發(fā)展。數(shù)據(jù)庫理論在上世紀(jì)70年代被提出，Oracle抓住了機會，推出了基于磁盤設(shè)計的數(shù)據(jù)庫。后來，F(xiàn)lash技術(shù)成熟、PC上CPU能力增強，在這兩個背后推手下，阿里完成了去IOE的數(shù)據(jù)庫架構(gòu)升級。隨著互聯(lián)網(wǎng)技術(shù)快速發(fā)展，分布式大數(shù)據(jù)也開始沖擊著傳統(tǒng)的關(guān)系型數(shù)據(jù)庫。一直以來，雙11是阿里技術(shù)的助推劑，阿里通過分布式數(shù)據(jù)庫中間件擴展已經(jīng)能較好地支持雙十一活動，這個背景下，從2016年阿里巴巴開始思考需要的下一代的數(shù)據(jù)庫到底是什么？一個是已經(jīng)成熟的分布式架構(gòu)，一個是今天與云結(jié)合的很緊密的存儲計算分離技術(shù)。雙11極端的壓力下還要優(yōu)化成本，希望用原來1/10的成本把性能再提升10倍，今天新的硬件也在快速發(fā)展，包括內(nèi)存、FPGA、更高效的網(wǎng)絡(luò)等等。站在當(dāng)下看未來，數(shù)據(jù)庫現(xiàn)在又到了技術(shù)的最前沿，各種技術(shù)百花齊放。最后，張瑞表示，希望和在座的各位一起來探索未來十年數(shù)據(jù)庫的改變與突破。

阿里資深專家佳毅帶來雙11黑科技分享《數(shù)據(jù)庫優(yōu)化之路》。他提到，雙11數(shù)據(jù)庫面臨三大挑戰(zhàn)：數(shù)據(jù)強一致的問題、性能問題、成本問題。今年使用阿里新一代數(shù)據(jù)庫X-DB來應(yīng)對這些挑戰(zhàn)。X-DB底層使用自研高性能Paxos基礎(chǔ)組件X-Paxos，借此解決數(shù)據(jù)強一致的問題。對于性能和成本，底層使用Batching 和Pipelining技術(shù)來大大提升數(shù)據(jù)庫的事務(wù)處理能力。同時佳毅也分享了通過ESDB、X-KV等技術(shù)解決各種復(fù)雜的性能問題，通過容器化與存儲計算分離讓數(shù)據(jù)庫做到極致彈性，最后佳毅分享了阿里巴巴正在通過CloudDBA產(chǎn)品大大降低DBA服務(wù)人力成本的問題。

玄慚是云上的數(shù)據(jù)庫性能優(yōu)化高級專家，同時也是歷年雙十一RDS的技術(shù)保障負(fù)責(zé)人，他的分享是《云數(shù)據(jù)庫RDS雙11最佳實踐》。當(dāng)使用云上的RDS需要支撐類似雙11這樣的大型活動的時候，玄慚分享了如何從參數(shù)優(yōu)化、鏈路訪問、性能優(yōu)化、彈性擴容、架構(gòu)設(shè)計，這五個方面去優(yōu)化數(shù)據(jù)庫，應(yīng)對高并發(fā)的訪問。

IoT是當(dāng)前最熱門的技術(shù)趨勢之一，大量IoT設(shè)備產(chǎn)生的時序數(shù)據(jù)該如何存儲？在接下來阿里時序數(shù)據(jù)庫高級專家悠你的分享中，以一個典型的工業(yè)IoT案例-風(fēng)電場為案例，介紹了如何使用云端的高性能時序數(shù)據(jù)庫HiTSDB來存儲大量的時序數(shù)據(jù)存儲。同時介紹了HiTSDB在時序數(shù)據(jù)處理上的主要優(yōu)勢，包括聚合查詢、實時響應(yīng)、海量數(shù)據(jù)存儲等方面的優(yōu)秀技術(shù)成果。

下午的第一場由阿里資深專家斗佛帶來《企業(yè)數(shù)據(jù)安全管理最佳實踐》。一直以來，由于數(shù)據(jù)訪問的隨意，給企業(yè)數(shù)據(jù)帶來非常大的泄露風(fēng)險，甚至也出現(xiàn)過很多次企業(yè)的CEO或者CIO為此而被迫辭職的情況發(fā)生。硬件損壞、軟件bug、內(nèi)部數(shù)據(jù)泄露等等都是企業(yè)數(shù)據(jù)安全的挑戰(zhàn)。斗佛介紹了阿里巴巴數(shù)據(jù)安全解決方案如何解決這些問題。同時他透露，對應(yīng)的阿里云上即將商業(yè)化的“數(shù)據(jù)管理DMS企業(yè)版”將把阿里內(nèi)部的經(jīng)驗賦能給所有云上的用戶。

從08年開始，阿里巴巴內(nèi)部就開始了分庫分表技術(shù)的探索，10年來，在內(nèi)部沉淀的分庫分表數(shù)據(jù)庫中間件產(chǎn)品叫TDDL，對應(yīng)的在云上的產(chǎn)品為DRDS。這一次，阿里分布式數(shù)據(jù)庫技術(shù)專家夢實給大家?guī)砹巳乱淮腄RDS引擎，帶了數(shù)倍的性能提升、更復(fù)雜的SQL能力、更具可讀性的優(yōu)化器執(zhí)行計劃等。他還透漏了一個重磅消息，新一代引擎將很快發(fā)布，并且在今年會對外完全開源。

阿里OLAP數(shù)據(jù)庫高級專家知數(shù)在《分析型數(shù)據(jù)庫AnalyticDB2.0雙11實踐》中為大家介紹了如何使用實時分析型數(shù)據(jù)庫ADS來解決一些在線OLAP型業(yè)務(wù)問題。比較典型的場景包括營銷管理、推薦、預(yù)測、安全風(fēng)控等。知數(shù)以阿里雙11內(nèi)部多個場景為案例，展示ADS在這些業(yè)務(wù)上的表現(xiàn)。

隨著DT時代的到來，企業(yè)占有的數(shù)據(jù)越來越多，其規(guī)?？赡苓_(dá)到上百TB甚至PB級，如何以合理的成本管理并維護這樣一個數(shù)據(jù)庫也成為各個企業(yè)IT管理中的核心問題。阿里云數(shù)據(jù)庫高級專家南仙的分享《云數(shù)據(jù)庫HybridDB HTAP技術(shù)實踐》介紹了如何通過阿里云數(shù)據(jù)庫團隊自研的新型HTAP數(shù)據(jù)庫，同時支持OLTP和OLAP場景，它基于創(chuàng)新的計算存儲框架，在一份數(shù)據(jù)上保證事務(wù)的同時支持實時分析，省去了費時的ETL過程。

隨著企業(yè)業(yè)務(wù)的發(fā)展，內(nèi)部的數(shù)據(jù)流動會變成一個很大的挑戰(zhàn)。阿里數(shù)據(jù)庫架構(gòu)師西壁帶來的《數(shù)據(jù)實時同步解決方案》介紹雙11數(shù)據(jù)突增時，如何解決阿里內(nèi)部的數(shù)據(jù)流動，具體的場景包括異地多活、媒體大屏、緩存更新、實時消息、新零售混合云等。如果是阿里云上的用戶，則可以通過數(shù)據(jù)傳輸服務(wù)DTS來解決類似場景的問題。

在最后的圓桌會議環(huán)節(jié)，多位阿里數(shù)據(jù)庫技術(shù)專家暢談了自己對雙11技術(shù)、異地多活、分布式數(shù)據(jù)庫、分庫分表技術(shù)等的展望，同時也回答多個參會者相關(guān)的問題。從全國多個城市趕來的參會嘉賓表示不虛此行，直言這是近幾年聽到最純正的技術(shù)型會議。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。