華為云大數(shù)據(jù)解決方案，助力斗魚打破數(shù)據(jù)孤島、創(chuàng)造價值

華為在GIV 2025報告中指出，預(yù)計(jì)到2025年，全球每年新增數(shù)據(jù)存儲量為180ZB，企業(yè)的數(shù)據(jù)利用率將會達(dá)到86%。可以看出，在互聯(lián)網(wǎng)快速發(fā)展的當(dāng)下，數(shù)據(jù)存儲計(jì)算的需求與日俱增。

更多大數(shù)據(jù)應(yīng)用的創(chuàng)新，隨著5G、IoT、VR/AR、自動駕駛等技術(shù)的發(fā)展，會不斷涌現(xiàn)出來，面對諸多挑戰(zhàn)，比如海量數(shù)據(jù)分析帶來的算力需求不均、數(shù)據(jù)結(jié)構(gòu)的多樣化、高并發(fā)作業(yè)等，傳統(tǒng)大數(shù)據(jù)平臺主要基于本地HDFS作為大數(shù)據(jù)存儲，存算一體耦合在同一集群。

隨著存儲量的增長，這種存算一體的大數(shù)據(jù)技術(shù)架構(gòu)，計(jì)算成本也隨之線性增長，需要通過大數(shù)據(jù)計(jì)算存儲分離方案來解決，否則無法靈活配置存儲及算力，也難以滿足企業(yè)海量數(shù)據(jù)分析追求極致性價比的一些典型場景。

在一些為了提高效率的場景中，有時需要關(guān)閉閑置的計(jì)算集群，但由于計(jì)算集群中存在數(shù)據(jù)，關(guān)閉閑置的計(jì)算集群會導(dǎo)致數(shù)據(jù)丟失，無法實(shí)現(xiàn)真正的彈性計(jì)算，存算分離可保證數(shù)據(jù)不丟失。

在日志留存場景中，存儲周期變長(例如2個月變成6個月)，但算力并不需要顯著增加，通過大數(shù)據(jù)計(jì)算分離方案可降低計(jì)算的配置和成本。

在離線分析場景中，對存儲和算力需求不一，離線批處理，分析類型多，數(shù)據(jù)量大，大數(shù)據(jù)開發(fā)需求爆發(fā)式增長。企業(yè)在存儲空間或計(jì)算資源不足時，只能同時對兩者進(jìn)行擴(kuò)容，雖然能保證性能最優(yōu)，但利用率低，因?yàn)榇嫠阗Y源，擴(kuò)容成本高。通過大數(shù)據(jù)計(jì)算存儲分離方案，最大限度降低企業(yè)使用成本，提升資源利用率，計(jì)算不夠擴(kuò)計(jì)算，存儲不夠擴(kuò)存儲，計(jì)算資源根據(jù)任務(wù)負(fù)載動態(tài)擴(kuò)縮容機(jī)器。

斗魚作為國內(nèi)首家彈幕式直播分享網(wǎng)站，以游戲直播為主，涵蓋了體育、綜藝、娛樂等多種直播內(nèi)容，每天都在為成千上萬的觀眾分享歡樂，已成為國內(nèi)排名第一的電競娛樂一站式直播分享平臺。

據(jù)頭榜2019年12月數(shù)據(jù)顯示，斗魚每月都會產(chǎn)生PB級數(shù)據(jù)量，日均活躍觀眾1485.56萬人次，累積彈幕總數(shù)9億7073萬，活躍主播32.38萬人次，平均在線時長達(dá)5小時以上，累積付費(fèi)禮物4億6146萬。

但是，直播黑產(chǎn)也越來越猖獗，包括主播刷榜、渠道推廣、非法充值等等，斗魚自建的大數(shù)據(jù)分析平臺，在有限的投入下提升斗魚風(fēng)控平臺投訴排查效率，面臨數(shù)據(jù)量和計(jì)算量大但要嚴(yán)格控制成本的困難。

“斗魚大數(shù)據(jù)分析平臺目前是自建集群基于開源CDH，隨著業(yè)務(wù)規(guī)模越來越大，面臨數(shù)據(jù)量大、計(jì)算量大，維護(hù)成本高的困難，需要尋求穩(wěn)定高性價比的解決方案。”這是在HUAWEI CONNECT 2019大會期間，李瑞(斗魚風(fēng)控代表)強(qiáng)調(diào)的重點(diǎn)。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，通過嚴(yán)格的業(yè)務(wù)模擬、比拼測試后，適用斗魚大數(shù)據(jù)數(shù)據(jù)增速快于計(jì)算的業(yè)務(wù)場景。其整體性能得到大幅提升，在讀寫性能、復(fù)雜計(jì)算、簡單計(jì)算、數(shù)據(jù)傾斜等方面均優(yōu)于IDC本地大數(shù)據(jù)計(jì)算集群。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案為直播代表斗魚帶來的價值：

華為云存算分離性價比高，極致彈性

針對傳統(tǒng)存算一體大數(shù)據(jù)架構(gòu)中擴(kuò)容困難、資源利用率低等問題，華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，采用計(jì)算存儲分離架構(gòu)。

華為云數(shù)據(jù)存儲部分基于OBS的跨AZ等能力實(shí)現(xiàn)更高可靠性，無需擔(dān)心地震、挖斷光纖等突發(fā)事件;計(jì)算資源支持0~N彈性擴(kuò)縮，百節(jié)點(diǎn)3分鐘發(fā)放。存算分離后，計(jì)算節(jié)點(diǎn)可實(shí)現(xiàn)真正的極致彈性伸縮;存儲基于公有云對象存儲實(shí)現(xiàn)11個9的高可靠，無限容量，支撐企業(yè)數(shù)據(jù)量持續(xù)增長。

華為云存儲和計(jì)算資源可以靈活配置，可使資源匹配更精準(zhǔn)、更合理，根據(jù)業(yè)務(wù)需要各自獨(dú)立進(jìn)行彈性擴(kuò)展，讓大數(shù)據(jù)集群資源利用率大幅提升，幫助斗魚實(shí)現(xiàn)性價比最優(yōu)，綜合分析成本降低50%。

同時，華為云通過高性能shuffle、高效的SQL優(yōu)化器，實(shí)現(xiàn)計(jì)算引擎加速;支持多數(shù)據(jù)源的計(jì)算下壓，性能相比開源提升1倍;通過分布式高性能緩存，異構(gòu)存儲模型，支持熱數(shù)據(jù)加速訪問，實(shí)現(xiàn)緩存加速;通過高性能的計(jì)算存儲分離架構(gòu)，針對對象存儲數(shù)據(jù)訪問效率深度優(yōu)化(元數(shù)據(jù)操作、寫入算法優(yōu)化等)，實(shí)現(xiàn)存儲加速。

華為云基于多級加速技術(shù)支持，助力斗魚離線大數(shù)據(jù)分析效率不斷提升。

華為云鯤鵬加持，為大數(shù)據(jù)提供更高算力

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案在計(jì)算層，基于鯤鵬處理器的多核高并發(fā)能力、自研EulerOS，可為用戶提供多種粒度的大數(shù)據(jù)算力，包括裸金屬服務(wù)器，云服務(wù)器，容器和Serverless等等，大數(shù)據(jù)分布式場景性能可提升25%，可輕松處理PB級數(shù)據(jù)作業(yè)，為斗魚在海量數(shù)據(jù)多并發(fā)作業(yè)提供可擴(kuò)展的分析能力，幫助斗魚解決IDC算力不夠的問題。

華為云開放生態(tài)，全面兼容,0改造上云

華為云堅(jiān)持開放生態(tài)路線，讓斗魚大數(shù)據(jù)應(yīng)用從IDC“0改造”平滑移植上華為云，“存算分離+鯤鵬”大數(shù)據(jù)解決方案完全兼容開源原生接口，全面兼容主流的大數(shù)據(jù)生態(tài)。

同時華為云提供一份數(shù)據(jù)支持多引擎的能力，即同一份數(shù)據(jù)存放在OBS上供多引擎調(diào)度，包括傳統(tǒng)批、流、交互式，以及AI引擎，減少數(shù)據(jù)冗余，數(shù)據(jù)“0”搬遷，支持多種業(yè)務(wù)計(jì)算訴求，實(shí)現(xiàn)真正數(shù)據(jù)湖，幫助斗魚輕松應(yīng)對海量存儲，減少重復(fù)投資，提升業(yè)務(wù)分析效率。未來在AI，視頻云服務(wù)，5G+Cloud+直播創(chuàng)新等領(lǐng)域，雙方還將進(jìn)一步合作，打造更好的用戶體驗(yàn)。

華為云“存算分離+鯤鵬”大數(shù)據(jù)解決方案，使得客戶和伙伴可以更加聚焦業(yè)務(wù)，創(chuàng)造價值，打破數(shù)據(jù)孤島，助力企業(yè)數(shù)字化轉(zhuǎn)型，為客戶和伙伴提供的高性價比、極致彈性伸縮、多元計(jì)算引擎的業(yè)界領(lǐng)先大數(shù)據(jù)解決方案，受到了廣泛贊譽(yù)和好評。

關(guān)注華為云官網(wǎng)，立即體驗(yàn)數(shù)據(jù)湖探索DLI吧!

AI時代，OCR先行，華為云智能OCR服務(wù)提供多種卡證票據(jù)識別能力和自定義OCR能力，助力企業(yè)構(gòu)建智能影像識別平臺，多元計(jì)算+ AI，打造企業(yè)級智能數(shù)據(jù)湖。最近華為云推出的一款A(yù)I大數(shù)據(jù)產(chǎn)品，已加入到華為云開年采購季活動中。基于存算分離+鯤鵬的創(chuàng)新解決方案，提供高性價比的大數(shù)據(jù)服務(wù)，助力企業(yè)降本提效。

想了解具OCR是什么?可添加華為云小助手，微信號：xiaoxiaoyu0908回復(fù)“直播”，進(jìn)入交流群優(yōu)惠活動火爆進(jìn)行中，觀看直播還有專屬福利。3月6號(周五)15：00-16：30，主播OCR技術(shù)總監(jiān)Sean和大數(shù)據(jù)解決方案專家略哥與您不見不散。

直播間鏈接：https://huaweicloud.bugu.mudu.tv/watch/lmzkj0vm

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。