21世紀(jì)，是數(shù)字經(jīng)濟(jì)的時(shí)代。數(shù)據(jù)已成為企業(yè)和社會(huì)最寶貴的資產(chǎn)。在這片前景廣闊的領(lǐng)域里，數(shù)據(jù)發(fā)展的歷史長(zhǎng)河埋藏了怎樣的機(jī)遇?在未來，數(shù)據(jù)技術(shù)將往哪些方向演進(jìn)?數(shù)據(jù)開發(fā)者又該如何在新時(shí)代中，找到自己的職業(yè)發(fā)展的最佳錨點(diǎn)?
2021年4月24日，由騰訊云 TVP 主辦的首屆 Techo TVP 開發(fā)者峰會(huì)「數(shù)據(jù)的冰與火之歌——從在線數(shù)據(jù)庫(kù)技術(shù)，到海量數(shù)據(jù)分析技術(shù)」在深圳深鐵皇冠假日酒店成功舉辦。峰會(huì)囊括數(shù)據(jù)庫(kù)、大數(shù)據(jù)兩大專題，匯聚十二位深耕數(shù)據(jù)技術(shù)領(lǐng)域的頂尖大咖，帶來了全天候、全方位、沉浸式的技術(shù)分享與交流，為超過500位現(xiàn)場(chǎng)參會(huì)的開發(fā)者獻(xiàn)上了一場(chǎng)“最有料、有趣、且有用”的開發(fā)者大會(huì)。
上午·數(shù)據(jù)庫(kù)專題
上午，圍繞數(shù)據(jù)庫(kù)專題，騰訊云數(shù)據(jù)庫(kù)總經(jīng)理 林曉斌帶來了開場(chǎng)致辭，云和恩墨CEO、騰訊云TVP 蓋國(guó)強(qiáng)、騰訊云數(shù)據(jù)庫(kù)專家工程師 李海翔、微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理、騰訊云TVP 胡盼盼、騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān) 張青林進(jìn)行了技術(shù)分享。
“分布式數(shù)據(jù)庫(kù)已經(jīng)成為行業(yè)必需品，在近幾年也發(fā)展出一些新方向。“在峰會(huì)伊始，騰訊云數(shù)據(jù)庫(kù)總經(jīng)理 林曉斌對(duì)參會(huì)的廣大開發(fā)者表達(dá)了誠(chéng)摯的歡迎，同時(shí)分享了他對(duì)于數(shù)據(jù)庫(kù)領(lǐng)域新動(dòng)向的洞察：”在云原生大潮下，云原生數(shù)據(jù)庫(kù)為開發(fā)者們帶來了極大便利。此外，數(shù)據(jù)庫(kù)的融合型能力HTAP也是一大趨勢(shì)和挑戰(zhàn)。“對(duì)此，他表示騰訊云TDSQL在全國(guó)第七次人口普查的大考中交出了令人滿意的答卷，本次峰會(huì)的分享將會(huì)為開發(fā)者們勾勒數(shù)據(jù)技術(shù)發(fā)展的全景畫卷。
騰訊云數(shù)據(jù)庫(kù)總經(jīng)理 林曉斌
萬象更新-數(shù)據(jù)庫(kù)技術(shù)的發(fā)展與未來
云和恩墨CEO、騰訊云TVP 蓋國(guó)強(qiáng)是國(guó)內(nèi)第一個(gè)Oracle ACE及ACE總監(jiān)，曾出版多本數(shù)據(jù)庫(kù)技術(shù)專著，在《萬象更新-數(shù)據(jù)庫(kù)技術(shù)的發(fā)展與未來》主題分享中，他分別從工業(yè)界與學(xué)術(shù)界的視角梳理了數(shù)據(jù)庫(kù)技術(shù)發(fā)展的歷史脈絡(luò)，提出目前我們正走向”商業(yè)和開源、SQL和NewSQL交融“的新數(shù)據(jù)庫(kù)時(shí)代，在新時(shí)代，云成為了數(shù)據(jù)庫(kù)最重要的一個(gè)陣地，下一步的格局將是云的體驗(yàn)云下化，最終云上和云下趨于一致。
云和恩墨CEO、騰訊云TVP 蓋國(guó)強(qiáng)
而面向未來，企業(yè)需要怎樣的數(shù)據(jù)庫(kù)?蓋國(guó)強(qiáng)指出，數(shù)據(jù)庫(kù)的更迭，不是重走一次長(zhǎng)征路，不是功能和體驗(yàn)的降級(jí)，而應(yīng)該是循環(huán)上升的數(shù)據(jù)庫(kù)變更升級(jí)歷程，應(yīng)該是更好的開發(fā)運(yùn)維體驗(yàn)、故障自愈、自動(dòng)化和智能化，同時(shí)兼顧投資保護(hù)、人才培育。
在分享的最后，蓋國(guó)強(qiáng)對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)浪潮之下，正處于迷茫狀態(tài)當(dāng)中的數(shù)據(jù)開發(fā)者們提出了清晰的方向指引及真誠(chéng)的建議：從DBA到數(shù)據(jù)庫(kù)設(shè)計(jì)、內(nèi)核研發(fā)，對(duì)開發(fā)者來說，職業(yè)道路是寬廣而明亮的。面對(duì)國(guó)產(chǎn)化的行業(yè)變革，數(shù)據(jù)庫(kù)從業(yè)人員只有躬身入局，盡早轉(zhuǎn)型，做到“一主一備雙引擎，商用開源兩相宜”，才能夠抓住機(jī)遇，領(lǐng)先一步。
分布式數(shù)據(jù)庫(kù)的演進(jìn)
騰訊近十年的分布式數(shù)據(jù)庫(kù)技術(shù)發(fā)展與騰訊TDSQL研發(fā)團(tuán)隊(duì)所做的理論、創(chuàng)新方面的基礎(chǔ)工作息息相關(guān)，作為該團(tuán)隊(duì)的核心力量，騰訊云數(shù)據(jù)庫(kù)專家工程師 李海翔帶來了《分布式數(shù)據(jù)庫(kù)的演進(jìn)》主題分享，全面地回顧了分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展歷程，并層層剖析分布式數(shù)據(jù)庫(kù)架構(gòu)，分布式一致性、計(jì)算與存儲(chǔ)技術(shù)，以及基于HTAP的TDSQL強(qiáng)一致性技術(shù)實(shí)踐。
“分布式數(shù)據(jù)庫(kù)系統(tǒng)的演進(jìn)是由內(nèi)在的、本質(zhì)性的需求在推動(dòng)，高可靠、高可用、高性能、易用性等基礎(chǔ)因素在推動(dòng)著分布式技術(shù)不斷地向前發(fā)展。”李海翔從學(xué)術(shù)界、工業(yè)界的角度對(duì)比分析了分布式系統(tǒng)經(jīng)典架構(gòu)、主流技術(shù)的差異。他認(rèn)為，分布式數(shù)據(jù)庫(kù)系統(tǒng)里技術(shù)層面最核心的一定是事務(wù)，而事務(wù)處理會(huì)產(chǎn)生數(shù)據(jù)異常。此外，分布式數(shù)據(jù)庫(kù)系統(tǒng)還面臨著缺乏一致性所帶來的挑戰(zhàn)。同時(shí)，新的硬件在計(jì)算、存儲(chǔ)上也面臨挑戰(zhàn)?；谶@些需求，騰訊的TDSQL系統(tǒng)包含了分析、事務(wù)處理、強(qiáng)一致等特性。隨后，他詳細(xì)地展示了騰訊的TDSQL開源系統(tǒng)3TS如何解決數(shù)據(jù)異常問題，TDSQL研究的基礎(chǔ)技術(shù)，也是基于學(xué)術(shù)界的認(rèn)識(shí)和業(yè)界的現(xiàn)有產(chǎn)品對(duì)于強(qiáng)一致的支持程度得出的結(jié)果。
騰訊云數(shù)據(jù)庫(kù)專家工程師 李海翔
分布式數(shù)據(jù)庫(kù)在微眾銀行核心系統(tǒng)的實(shí)踐
技術(shù)的發(fā)展與進(jìn)步，最終還要回歸到實(shí)際的落地與應(yīng)用，在分布式數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，TDSQL在微眾銀行核心系統(tǒng)的大規(guī)模實(shí)踐便是一個(gè)經(jīng)典的案例。微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理，騰訊云TVP 胡盼盼帶來了《分布式數(shù)據(jù)庫(kù)在微眾銀行核心系統(tǒng)的實(shí)踐》的行業(yè)實(shí)戰(zhàn)分享。
微眾銀行數(shù)據(jù)庫(kù)平臺(tái)室室經(jīng)理、騰訊云TVP 胡盼盼
準(zhǔn)確把握了金融行業(yè)數(shù)據(jù)庫(kù)”國(guó)產(chǎn)化、去中心化、開源化“的三大趨勢(shì)，微眾銀行在成立之初就確定要做單元化的分布式架構(gòu)。在單元化架構(gòu)之上，微眾銀行擁有2地7中心的機(jī)房IDC架構(gòu);目前所有的核心系統(tǒng)基本使用TDSQL承載。這樣的數(shù)據(jù)庫(kù)架構(gòu)部署在高可靠、高可用等方面優(yōu)點(diǎn)凸顯。如今微眾銀行的TDSQL規(guī)模承載了數(shù)百個(gè)銀行的核心系統(tǒng)，目前已達(dá)到單日峰值6億+金融交易量，10萬+最高TPS峰值。
未來，微眾銀行數(shù)據(jù)庫(kù)的演進(jìn)方向會(huì)朝硬件國(guó)產(chǎn)化、云原生與容器化、智能化預(yù)警(AIops)發(fā)展。
騰訊云TDSQL-C架構(gòu)探索和實(shí)踐
TDSQL是峰會(huì)中被多次提及的熱門話題，TDSQL-C作為騰訊自主研發(fā)的存儲(chǔ)和計(jì)算分離的數(shù)據(jù)庫(kù)產(chǎn)品，實(shí)現(xiàn)了哪些突破性的創(chuàng)新?騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān) 張青林帶來了《騰訊云TDSQL-C架構(gòu)探索和實(shí)踐》的詳盡解析。
針對(duì)傳統(tǒng)CDB所面臨的存儲(chǔ)容量、拓展性、可用性、可靠性這四大方面的挑戰(zhàn)，騰訊云TDSQL-C應(yīng)運(yùn)而生。它具有海量存儲(chǔ)、智能擴(kuò)容、線性擴(kuò)充性能，兼容MySQL和PG等優(yōu)異特性。這些設(shè)計(jì)源于解決用戶實(shí)際問題的需要，同時(shí)實(shí)現(xiàn)了幾大突破：突破Serverless場(chǎng)景、IO Bound性能優(yōu)化、無感知備份。目前，TDSQL-C仍在不斷革新，張青林分享了后續(xù)的兩大重點(diǎn)發(fā)展方向：實(shí)現(xiàn)云時(shí)代的極簡(jiǎn)數(shù)據(jù)庫(kù)運(yùn)維，以及云時(shí)代的Low Database業(yè)務(wù)開發(fā)。
騰訊云數(shù)據(jù)庫(kù)技術(shù)總監(jiān) 張青林
下午·大數(shù)據(jù)與數(shù)據(jù)分析專題
下午，圍繞大數(shù)據(jù)與數(shù)據(jù)分析專題，騰訊云大數(shù)據(jù)產(chǎn)品總經(jīng)理聶晶進(jìn)行了開場(chǎng)致辭，隨后，易觀CTO、騰訊云TVP 郭煒，騰訊云彈性MapReduce技術(shù)負(fù)責(zé)人 陳龍，騰訊大數(shù)據(jù)專家工程師 杜立，偶數(shù)科技CEO、騰訊云TVP 常雷，騰訊大數(shù)據(jù)專家工程師 于華麗帶來了技術(shù)分享。在峰會(huì)的最后，由支流科技CEO、騰訊云TVP 溫銘擔(dān)任主持人，五位大咖嘉賓圓桌論道，就《從行業(yè)到職業(yè)，看數(shù)據(jù)的現(xiàn)在與未來》這一話題展開了精彩的交流。
在開場(chǎng)致辭中，騰訊云大數(shù)據(jù)產(chǎn)品總經(jīng)理聶晶分享了他對(duì)數(shù)據(jù)分析領(lǐng)域的趨勢(shì)洞見：數(shù)據(jù)分析領(lǐng)域正在快速演進(jìn)迭代，批流一體數(shù)倉(cāng)的實(shí)時(shí)化、數(shù)據(jù)湖等新技術(shù)、新架構(gòu)持續(xù)涌現(xiàn);大批優(yōu)秀的工程師、開源組織和商業(yè)化公司持續(xù)入場(chǎng)，未來充滿無限可能。在聶晶看來，云已經(jīng)成為企業(yè)IT發(fā)展的必經(jīng)路徑，云廠商也在為數(shù)據(jù)分析領(lǐng)域提供更多動(dòng)能。最后，他對(duì)Techo TVP開發(fā)者峰會(huì)提出了寄語(yǔ)與期待：”Techo TVP 提供了一個(gè)很好的技術(shù)交流平臺(tái)，讓我們推進(jìn)技術(shù)的普惠化與平民化，將數(shù)據(jù)分析技術(shù)有效地落地到企業(yè)發(fā)展的方方面面。”
騰訊云大數(shù)據(jù)產(chǎn)品總經(jīng)理 聶晶
ClickHouse最新技術(shù)的實(shí)踐與應(yīng)用
易觀CTO、騰訊云TVP郭煒帶來了《ClickHouse 最新技術(shù)的實(shí)踐與應(yīng)用》的主題演講，為大家分享了大數(shù)據(jù)分析引擎的黑馬 ClickHouse 的“前世今生”、實(shí)踐應(yīng)用、最新feature以及未來暢想。
易觀CTO、騰訊云TVP 郭煒
ClickHouse 是“戰(zhàn)斗民族”俄羅斯搜索巨頭Yandex公司開源的一個(gè)極具"戰(zhàn)斗力"的實(shí)時(shí)數(shù)據(jù)分析數(shù)據(jù)庫(kù)。在全球范圍內(nèi)，ClickHouse 單表查詢比其他引擎要快數(shù)倍以上，在過去的4年以來未曾有對(duì)手。ClickHouse 為什么會(huì)這么快?郭煒指出，這得益于其極致的向量化計(jì)算引擎、極致的列式存儲(chǔ)引擎，以及極致的系統(tǒng)研發(fā)思維和社區(qū)精神。
對(duì)于廣大開發(fā)者所關(guān)注的應(yīng)用實(shí)戰(zhàn)話題，郭煒結(jié)合騰訊音樂、新浪、喜馬拉雅、B站等豐富的案例，對(duì)ClickHouse的典型特性優(yōu)勢(shì)、具體使用場(chǎng)景進(jìn)行了詳盡而生動(dòng)的講解。
在未來，ClickHouse會(huì)在具體深入場(chǎng)景和結(jié)合解決客戶使用數(shù)據(jù)的最后一公里上深耕，同時(shí)，中國(guó)社區(qū)也在思考 ClickHouse 的商業(yè)化道路。
云原生環(huán)境下大數(shù)據(jù)基礎(chǔ)技術(shù)演進(jìn)
近年來，云原生變得炙手可熱，在《云原生環(huán)境下大數(shù)據(jù)基礎(chǔ)技術(shù)演進(jìn)》的主題分享中，騰訊云彈性MapReduce技術(shù)負(fù)責(zé)人陳龍對(duì)云原生的概念給出了清晰的定義，“云原生是在源碼轉(zhuǎn)化為產(chǎn)品的過程中，充分利用云計(jì)算軟件交付模型，來構(gòu)建和運(yùn)行應(yīng)用程序。” 它能實(shí)現(xiàn)整個(gè)軟件生產(chǎn)的工業(yè)化，進(jìn)而實(shí)現(xiàn)降本增效。
那么，如何實(shí)現(xiàn)大數(shù)據(jù)云原生?陳龍認(rèn)為主要從以下四點(diǎn)出發(fā)：工業(yè)化交付、儲(chǔ)存與計(jì)算成本量化、負(fù)載自適應(yīng)、以及面向數(shù)據(jù)。在落地的技術(shù)上，陳龍做了進(jìn)一步的說明：結(jié)合云基礎(chǔ)設(shè)施和Hadoop生態(tài)技術(shù)棧，騰訊云的數(shù)據(jù)湖解決方案將Hadoop集群的拓?fù)溥M(jìn)行了改進(jìn)，分為Master、Router、Core和Task。為保障云上大數(shù)據(jù)處理的性能，騰訊云大數(shù)據(jù)提供從基礎(chǔ)設(shè)施硬件層到組件內(nèi)核以及架構(gòu)的完善的產(chǎn)品能力支持，即便選擇用傳統(tǒng)模式構(gòu)建大數(shù)據(jù)應(yīng)用，云主機(jī)也提供了多種硬件選擇。
最后，陳龍也預(yù)測(cè)了下一代大數(shù)據(jù)基礎(chǔ)處理引擎的形態(tài)。
騰訊云彈性MapReduce技術(shù)負(fù)責(zé)人 陳龍
對(duì)于廣大數(shù)據(jù)開發(fā)者所高度關(guān)注的，“在新時(shí)代應(yīng)如何規(guī)劃自身的職業(yè)發(fā)展”的問題，作為在數(shù)據(jù)領(lǐng)域深耕多年的前行者，各位圓桌嘉賓對(duì)后來人真誠(chéng)地提出了以下建議。
郭煒則運(yùn)用了一個(gè)形象的比喻來進(jìn)行說明：如今數(shù)據(jù)和業(yè)務(wù)、和場(chǎng)景的結(jié)合越來越緊密，未來的組件將百花齊放，和場(chǎng)景深度結(jié)合。因此，做數(shù)據(jù)的小伙伴要變成“龍”式的數(shù)據(jù)工程師，必須結(jié)合數(shù)據(jù)分析師、數(shù)據(jù)工程師、產(chǎn)品經(jīng)理乃至運(yùn)營(yíng)，既要有專業(yè)知識(shí)，也要不斷學(xué)習(xí)，拓展自己的知識(shí)邊界，再加上主營(yíng)的某種技術(shù)，才能成為真正的面向未來的數(shù)據(jù)工程師。
實(shí)時(shí)流式計(jì)算實(shí)踐與優(yōu)化
隨著互聯(lián)網(wǎng)場(chǎng)景的不斷深入，在大數(shù)據(jù)領(lǐng)域除了海量數(shù)據(jù)查詢外，對(duì)數(shù)據(jù)的實(shí)時(shí)性也提出了更多更高的要求，越來越多企業(yè)將 Flink SQL 作為實(shí)時(shí)計(jì)算的工具。那么在使用 Flink SQL 會(huì)遇到什么痛點(diǎn)和挑戰(zhàn)?如何進(jìn)行優(yōu)化和擴(kuò)展?騰訊云實(shí)時(shí)計(jì)算服務(wù)又有哪些最新的實(shí)踐?騰訊大數(shù)據(jù)專家工程師 杜立帶來了他的分享《實(shí)時(shí)流式計(jì)算實(shí)踐與優(yōu)化》。
騰訊大數(shù)據(jù)專家工程師 杜立
騰訊云實(shí)時(shí)計(jì)算服務(wù)的研發(fā)方向分為四部分：一是提供一站式的開發(fā)平臺(tái)，降低用戶的接入和學(xué)習(xí)成本。二是保證用戶實(shí)時(shí)部署前的數(shù)據(jù)正確性，開發(fā)后可直接進(jìn)行線上測(cè)試。三是一站式部署，實(shí)時(shí)的計(jì)算任務(wù)可直接部署至騰訊云的TKE容器。四是提供一系列的運(yùn)維工具，幫助用戶快速解決線上問題。
針對(duì)Flink SQL當(dāng)前的痛點(diǎn)，杜立重點(diǎn)分享了騰訊在Flink SQL上所做的擴(kuò)展與優(yōu)化：首先是擴(kuò)展語(yǔ)法方面，在Windowing Table-valued Function和Stream-Dimension Table Join上進(jìn)行擴(kuò)展，對(duì)Window內(nèi)數(shù)據(jù)集進(jìn)行交、并、差等操作的新語(yǔ)法。其次是新增窗口類型，增強(qiáng)了增量窗口和Tumble窗口類型，減少下游的數(shù)據(jù)接收壓力。第三是優(yōu)化了回撤流性能，針對(duì)SQL兩層Group by場(chǎng)景、Sink場(chǎng)景、Outer Join場(chǎng)景，分別做了不同方案的優(yōu)化。經(jīng)過優(yōu)化后向下游接收的數(shù)據(jù)量能實(shí)現(xiàn)30倍的減少，100萬的數(shù)據(jù)有接近20%的提升。
新一代云原生數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用
云原生數(shù)據(jù)倉(cāng)庫(kù)，是大數(shù)據(jù)領(lǐng)域最前沿的趨勢(shì)之一。隨著云計(jì)算的普及，傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)在資源彈性，成本等方面已經(jīng)很難適應(yīng)云原生的要求。云原生數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)又有哪些優(yōu)勢(shì)?如何充分結(jié)合云原生數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)來實(shí)現(xiàn)云上大數(shù)據(jù)應(yīng)用?在《新一代云原生數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用》分享中，偶數(shù)科技CEO、騰訊云TVP 常雷對(duì)云數(shù)倉(cāng)的定義、架構(gòu)、應(yīng)用場(chǎng)景做了全面的介紹。
偶數(shù)科技CEO、騰訊云TVP 常雷
每隔15-20年，數(shù)據(jù)平臺(tái)會(huì)經(jīng)歷一輪較大的技術(shù)變革，新一代的云原生數(shù)據(jù)倉(cāng)庫(kù)在2015年后誕生，如今我們處于智能數(shù)據(jù)云平臺(tái)階段。提及云原生的概念，常雷認(rèn)為，云原生系統(tǒng)的本質(zhì)是“云環(huán)境中可以達(dá)到彈性可擴(kuò)展、容錯(cuò)性好、松散耦合、易于管理”。而云原生數(shù)據(jù)庫(kù)是在公有云、私有云和混合云等新型動(dòng)態(tài)環(huán)境中，基于存儲(chǔ)與計(jì)算分離架構(gòu)的，存儲(chǔ)和計(jì)算可以獨(dú)立彈性擴(kuò)展、松散耦合的數(shù)據(jù)庫(kù)系統(tǒng)。同時(shí)，云原生數(shù)據(jù)庫(kù)還需具有高性能、高可擴(kuò)展、一致性保證、符合標(biāo)準(zhǔn)、容錯(cuò)、易于管理和多云支持等特性。他還以Snowflake和OushuDB的云原生數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)為例，對(duì)以上特點(diǎn)進(jìn)行了透徹的解析。
此外，常雷提出在新一代云原生架構(gòu)下，數(shù)據(jù)湖正逐漸簡(jiǎn)化，出現(xiàn)了“湖倉(cāng)一體”的概念，一套系統(tǒng)就能實(shí)現(xiàn)數(shù)據(jù)加工、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、建模等功能，新一代數(shù)據(jù)云平臺(tái)的架構(gòu)解決了傳統(tǒng)的多個(gè)集群、多個(gè)系統(tǒng)之間做ETL等復(fù)雜的問題。
云原生數(shù)據(jù)湖：新一代數(shù)據(jù)架構(gòu)
“云原生數(shù)據(jù)湖架構(gòu)是由傳統(tǒng)大數(shù)據(jù)架構(gòu)上云的缺陷——存算耦合且規(guī)模固定而催生的。”，在《云原生數(shù)據(jù)湖：新一代數(shù)據(jù)架構(gòu)》主題分享中，騰訊大數(shù)據(jù)專家工程師 于華麗指出，面對(duì)傳統(tǒng)架構(gòu)成本高、靈活性低、性能差、可靠性不高的痛點(diǎn)，應(yīng)對(duì)的核心是公有云共享經(jīng)濟(jì)的兩大機(jī)遇——彈性計(jì)算和對(duì)象存儲(chǔ)。云原生數(shù)據(jù)湖架構(gòu)就是充分結(jié)合云上彈性計(jì)算、對(duì)象存儲(chǔ)優(yōu)勢(shì)和大數(shù)據(jù)前沿?cái)?shù)據(jù)湖技術(shù)，構(gòu)建高性價(jià)比、高性能的大數(shù)據(jù)平臺(tái)。
但目前云原生數(shù)據(jù)湖的構(gòu)建成本高、難度大，要解決數(shù)據(jù)湖架構(gòu)彈性計(jì)算、對(duì)象存儲(chǔ)、性能補(bǔ)償中的諸多問題，從0打造云原生數(shù)據(jù)湖，需要專業(yè)的公有云背景和數(shù)據(jù)湖技術(shù)能力，而騰訊云推出兩款開箱即用的數(shù)據(jù)湖產(chǎn)品，能夠幫助客戶快速構(gòu)建和分析數(shù)據(jù)湖。
騰訊大數(shù)據(jù)專家工程師 于華麗
騰訊云原生數(shù)據(jù)湖產(chǎn)品具有以下多種優(yōu)勢(shì)：
成本低：極致彈性計(jì)算、對(duì)象存儲(chǔ)5-10倍，成本低;
性能高：對(duì)象存儲(chǔ)解決小文件問題、緩存加速、稀疏索引、shuffle性能、commit性能高;
免運(yùn)維：Serverless形態(tài)降低了運(yùn)維負(fù)擔(dān);
統(tǒng)一和開放：統(tǒng)一數(shù)據(jù)湖存儲(chǔ)、統(tǒng)一元數(shù)據(jù)減少一致性維護(hù)工作;聯(lián)邦分析、數(shù)據(jù)湖解決方案滿足數(shù)倉(cāng)建模、數(shù)據(jù)分析甚至機(jī)器學(xué)習(xí)。
從行業(yè)到職業(yè)，看數(shù)據(jù)的現(xiàn)在與未來
在精彩的演講分享后，支流科技CEO、騰訊云TVP 溫銘擔(dān)任主持人，提出有關(guān)Apache基金會(huì)大數(shù)據(jù)項(xiàng)目的“冷與熱”、大數(shù)據(jù)技術(shù)的未來演進(jìn)趨勢(shì)、如何平衡云廠商和開源社區(qū)、開源商業(yè)公司之間的關(guān)系、國(guó)內(nèi)“Snowflake”的誕生條件等頗具前沿性的話題，與常雷、郭煒、陳龍、李海翔四位分享嘉賓齊聚一堂，展開了主題為《從行業(yè)到職業(yè)，看數(shù)據(jù)的現(xiàn)在與未來》的深度圓桌對(duì)話。
支流科技CEO、騰訊云TVP 溫銘
圓桌論壇
對(duì)于廣大數(shù)據(jù)開發(fā)者所高度關(guān)注的，“在新時(shí)代應(yīng)如何規(guī)劃自身的職業(yè)發(fā)展”的問題，作為在數(shù)據(jù)領(lǐng)域深耕多年的前行者，各位圓桌嘉賓對(duì)后來人真誠(chéng)地提出了以下建議。
李海翔指出，熱愛是最好的驅(qū)動(dòng)力，“專注”是最重要的品質(zhì)，堅(jiān)持在喜愛的行業(yè)或方向中深耕，時(shí)間久了自然而然會(huì)有所獲，有所成。我們說“因?yàn)橄嘈?，所以看?rdquo;。而同時(shí)到了今天，更重要的是“因?yàn)榭匆?，所以相?rdquo;，我們通過十?dāng)?shù)年的堅(jiān)持，在分布式數(shù)據(jù)庫(kù)技術(shù)創(chuàng)新上有所發(fā)展，今天我們已經(jīng)看到了它的價(jià)值和未來，所以我們可以相信，它將有更大的創(chuàng)新和未來，這是驅(qū)使我們將一直堅(jiān)持和投入的基礎(chǔ)。
陳龍認(rèn)為，在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)開發(fā)者可以根據(jù)三個(gè)方向來規(guī)劃自身的職業(yè)發(fā)展：第一是內(nèi)核方向，如分布式存儲(chǔ)、分布式計(jì)算等偏底層技術(shù)方向。第二是數(shù)據(jù)架構(gòu)師，既了解云產(chǎn)品，也了解公司業(yè)務(wù)，根據(jù)業(yè)務(wù)去規(guī)劃或使用云產(chǎn)品來解決問題。第三是數(shù)據(jù)科學(xué)家，真正利用機(jī)器學(xué)習(xí)、算法，以底層支撐的能力去挖掘數(shù)據(jù)之間的關(guān)系，進(jìn)而實(shí)現(xiàn)通過數(shù)據(jù)給企業(yè)帶來價(jià)值。
郭煒則運(yùn)用了一個(gè)形象的比喻來進(jìn)行說明：如今數(shù)據(jù)和業(yè)務(wù)、和場(chǎng)景的結(jié)合越來越緊密，未來的組件將百花齊放，和場(chǎng)景深度結(jié)合。因此，做數(shù)據(jù)的小伙伴要變成“龍”式的數(shù)據(jù)工程師，必須結(jié)合數(shù)據(jù)分析師、數(shù)據(jù)工程師、產(chǎn)品經(jīng)理乃至運(yùn)營(yíng)，既要有專業(yè)知識(shí)，也要不斷學(xué)習(xí)，拓展自己的知識(shí)邊界，再加上主營(yíng)的某種技術(shù)，才能成為真正的面向未來的數(shù)據(jù)工程師。
而在常雷看來，中國(guó)現(xiàn)在比較缺的是底層的內(nèi)核開發(fā)人才，而內(nèi)核是需要沉淀的，在這一領(lǐng)域持續(xù)深耕、熟悉技術(shù)原理、有經(jīng)驗(yàn)的開發(fā)者未來將得到很好的回報(bào)。
最后，溫銘總結(jié)道，開發(fā)者既要“仰望星空”，也要“腳踏實(shí)地”，一方面可以多參加像 Techo TVP 開發(fā)者峰會(huì)這樣的活動(dòng)，了解業(yè)界在使用什么技術(shù)，比起埋頭做業(yè)務(wù)，技術(shù)上的交流和探討會(huì)帶來更多有價(jià)值的東西。另一方面，做基礎(chǔ)的技術(shù)研究會(huì)非常有價(jià)值，我們可以在上面精細(xì)深耕，創(chuàng)造一些不僅能給自己公司、業(yè)務(wù)帶來價(jià)值的事，也能給其他公司、給整個(gè)數(shù)據(jù)領(lǐng)域帶來進(jìn)步的產(chǎn)品。
結(jié)語(yǔ)
本次 Techo TVP 開發(fā)者峰會(huì)還為開發(fā)者們準(zhǔn)備了豐厚的禮品和精致可口的茶歇，在認(rèn)真聆聽大咖的技術(shù)干貨之余，大家也熱情高漲地參與了拍照打卡、游戲互動(dòng)。同時(shí)，峰會(huì)也在線上多渠道進(jìn)行了同步直播，在直播間、技術(shù)社群中，開發(fā)者們也進(jìn)行著熱烈的交流和討論，峰會(huì)收獲了來自參會(huì)嘉賓、開發(fā)者們的廣泛好評(píng)。
參會(huì)嘉賓與開發(fā)者合影
正如騰訊云數(shù)據(jù)庫(kù)專家工程師李海翔所言，騰訊有豐富的數(shù)據(jù)庫(kù)產(chǎn)品，其中部分基于開源項(xiàng)目開發(fā)，同時(shí)騰訊也在回饋社區(qū)、擁抱開源。不僅是產(chǎn)品，騰訊還在推動(dòng)基礎(chǔ)研究的技術(shù)開源與思想的開源，希望在未來形成良性互動(dòng)的，更好的互生模式。
作為騰訊云 TVP專門為開發(fā)者舉辦的大型技術(shù)交流盛會(huì)，未來，Techo TVP 開發(fā)者峰會(huì)將繼續(xù)攜手領(lǐng)域大咖，通過最用心的分享、最前沿的洞察、最實(shí)際的觀點(diǎn)，為開發(fā)者們獻(xiàn)上一場(chǎng)場(chǎng)“最有料、有趣、且有用”的開發(fā)者峰會(huì)。騰訊云 TVP 將始終秉承著“用科技影響世界”的使命，推動(dòng)技術(shù)普惠化、平民化，踐行科技向善的初心和本心。
TVP，即騰訊云最具價(jià)值專家(Tencent Cloud Valuable Professional)，是騰訊云授予云計(jì)算領(lǐng)域技術(shù)專家的一個(gè)獎(jiǎng)項(xiàng)。TVP 計(jì)劃致力打造與行業(yè)技術(shù)專家的交流平臺(tái)，構(gòu)建云計(jì)算技術(shù)生態(tài)，實(shí)現(xiàn)“用科技影響世界”的美好愿景。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
