近年來,隨著大數(shù)據(jù)時(shí)代的到來,各行各業(yè)正迎來一波上云熱潮。為了讓更多的開發(fā)者在對(duì)數(shù)據(jù)處理的極限探索過程中,體驗(yàn)云上開發(fā)的優(yōu)勢(shì)。日前由阿里云和英特爾公司聯(lián)合主辦,阿里云EMR團(tuán)隊(duì)和阿里云天池承辦的“E-MapReduce極客挑戰(zhàn)賽”正式開啟。目前,大賽已面向全社會(huì)開放報(bào)名,個(gè)人、高等院校、科研單位、企業(yè)、創(chuàng)客團(tuán)隊(duì)等人員均可報(bào)名參賽。
在不久前舉行的中國互聯(lián)網(wǎng)大會(huì)上發(fā)布的《中國互聯(lián)網(wǎng)發(fā)展報(bào)告(2021)》顯示,2020年,我國云計(jì)算整體市場(chǎng)規(guī)模達(dá)到1781.8億元,增速為33.6%。在此背景下,如何利用新技術(shù)高效存儲(chǔ)、處理數(shù)據(jù),在降低成本的同時(shí)提高資源配置效率,成為了當(dāng)下企業(yè)數(shù)字化轉(zhuǎn)型的重要議題。
為此,阿里云針對(duì)性開發(fā)的E-MapReduce云原生開源大數(shù)據(jù)平臺(tái),以其易用性高,性能強(qiáng),彈性大的特點(diǎn),成為了廣大用戶的首選。其可以在為客戶提供簡單易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等開源大數(shù)據(jù)計(jì)算和存儲(chǔ)引擎的同時(shí),部署在阿里云公有云的ECS和ACK、專有云平臺(tái)。相對(duì)的,英特爾® 傲騰™ 持久內(nèi)存打造的兼具出色的內(nèi)存與存儲(chǔ)性能的解決方案,可以將高性價(jià)比的大容量內(nèi)存與對(duì)數(shù)據(jù)持久性的支持巧妙地結(jié)合在一起。
為了讓更多的開發(fā)者們,體驗(yàn)云上開發(fā)的優(yōu)勢(shì),阿里云計(jì)算平臺(tái)EMR團(tuán)隊(duì)和英特爾公司聯(lián)合開啟了本屆“E-MapReduce極客挑戰(zhàn)賽”,廣邀創(chuàng)新極客,結(jié)合阿里云 EMR和英特爾® 傲騰™ 數(shù)據(jù)中心級(jí)持久內(nèi)存,優(yōu)化軟件系統(tǒng)和利用硬件的特征,追求TPC-DS測(cè)試集的最優(yōu)性能。
目前大賽已公布的初賽題目,是由阿里云EMR 團(tuán)隊(duì)提供用于比賽的Spark 3.1.2代碼分支,交給選手進(jìn)行 Spark 代碼優(yōu)化和參數(shù)調(diào)優(yōu)以提升SparkSQL執(zhí)行效率,同時(shí)組委會(huì)提供性能測(cè)評(píng)工具供選手自行測(cè)試(單機(jī)環(huán)境或EMR集群環(huán)境)。在比賽階段,選手將最終優(yōu)化后的Spark代碼和調(diào)優(yōu)參數(shù)打包,通過天池平臺(tái)提交,天池平臺(tái)會(huì)使用相同的性能測(cè)評(píng)工具,進(jìn)行評(píng)測(cè)和排名。在初賽的基礎(chǔ)上,復(fù)賽需要處理的數(shù)據(jù)量更大,同時(shí)升級(jí)了 EMR 集群配置,并為每個(gè) Worker 節(jié)點(diǎn)配置了 PMEM 持久內(nèi)存,選手可以通過 App Direct 模式使用持久內(nèi)存。
據(jù)悉,大賽現(xiàn)已開放報(bào)名,并將分為初賽、復(fù)賽及決賽三個(gè)賽段,評(píng)委嘉賓包括阿里云開源大數(shù)據(jù)平臺(tái)數(shù)據(jù)湖構(gòu)建與分析負(fù)責(zé)人吳謂、數(shù)據(jù)湖存儲(chǔ)負(fù)責(zé)人鄭鍇,英特爾傲騰產(chǎn)品事業(yè)部中國技術(shù)創(chuàng)新中心資深軟件開發(fā)經(jīng)理吳國安、英特爾加速計(jì)算系統(tǒng)和圖形事業(yè)部工程經(jīng)理徐鋮等。
阿里云計(jì)算平臺(tái)事業(yè)部負(fù)責(zé)人賈揚(yáng)清表示:”希望通過這次大賽,讓開發(fā)者們?cè)隗w驗(yàn)云原生的開發(fā)環(huán)境的同時(shí),可以嘗試一次技術(shù)的挑戰(zhàn)。不僅在比賽中收獲好的成績,更重要的是尋找到代碼的樂趣和技術(shù)的收獲。”Intel 數(shù)據(jù)分析軟件部門總監(jiān)Heidi Pan也表示: “希望大家通過這次比賽能夠有所收獲,能夠?qū)?shù)據(jù)分析引擎的性能優(yōu)化有更深刻的體會(huì)與理解洞察”。
同時(shí),阿里云研究員、開源大數(shù)據(jù)平臺(tái)負(fù)責(zé)人王峰也強(qiáng)調(diào):“我們歡迎來自高校、企業(yè)及各行業(yè)的開發(fā)者們加入我們的比賽,希望各位開發(fā)者能在這次競賽中充分展示自己的技術(shù)能力。” 阿里云開源大數(shù)據(jù)平臺(tái)產(chǎn)品負(fù)責(zé)人陳守元表示:“我們希望為廣大的大數(shù)據(jù)愛好者及科研企業(yè)提供一個(gè)創(chuàng)新挑戰(zhàn)的平臺(tái),一起來探索性能極限。”
據(jù)介紹,本次大賽最終將有1支冠軍隊(duì)伍、2支亞軍隊(duì)伍和3支季軍隊(duì)伍分獲10萬、5萬、2萬人民幣獎(jiǎng)金及獲獎(jiǎng)證書。值得一提的是,本次大賽還特別推出了“EMR開發(fā)者激勵(lì)計(jì)劃”,為邀請(qǐng)好友參賽的達(dá)人,以及參與比賽的選手分別制定了特別激勵(lì)規(guī)則與獎(jiǎng)品,相信將為本次E-MapReduce 極客挑戰(zhàn)賽吸引更多行業(yè)內(nèi)外的關(guān)注。
歡迎點(diǎn)擊賽事官網(wǎng)鏈接了解更多信息:
https://tianchi.aliyun.com/specials/promotion/emapreduceaep2021?spm=5176.14154004.J_1916026360.6.31fe5699qWz5kl
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
