2020年7月30日，“第四屆中國信息通信大數(shù)據(jù)大會”在京隆重召開，來自大數(shù)據(jù)行業(yè)的主管部委、院士專家以及來自華為、中國移動、中國電信、中國聯(lián)通、中興等國內(nèi)知名企業(yè)高管共聚一堂，就通信運(yùn)營商大數(shù)據(jù)方向、5G及AI應(yīng)用創(chuàng)新和未來發(fā)展趨勢帶來精彩分享。作為“掌握PB級核心處理技術(shù)”的大數(shù)據(jù)產(chǎn)品及解決方案供應(yīng)商的廣州睿帆科技有限公司，由大數(shù)據(jù)科學(xué)家李求實(shí)博士代表出席了該峰會。會上，睿帆科技的高性能數(shù)據(jù)倉庫解決方案榮獲最佳創(chuàng)新方案獎。
在會后采訪中，李求實(shí)博士向記者講述了睿帆科技高性能數(shù)據(jù)倉庫解決方案的獨(dú)到之處，以及相比于其他競品的優(yōu)勢。
他提到，通信運(yùn)營商實(shí)時采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡(luò)資源數(shù)據(jù)等，每天的新增數(shù)據(jù)早已超過PB級。海量的數(shù)據(jù)意味著更高標(biāo)準(zhǔn)的數(shù)據(jù)分析業(yè)務(wù)，對于離線分析的時效、實(shí)時與近實(shí)時的即席實(shí)時交互分析，提出了更高的要求。
早些年在傳統(tǒng)離線數(shù)倉階段，通信運(yùn)營商使用 Hive 作為大數(shù)據(jù)分析的主要工具，對 TB 至 PB 級的數(shù)據(jù)進(jìn)行分析，但存在著以下的問題：
1. 時效性低
對于運(yùn)營商業(yè)務(wù)來說，實(shí)時分析查詢?nèi)罩?、告警次?shù)，告警時間等數(shù)據(jù)，分析結(jié)果的價值取決于時效性。核心運(yùn)維需求場景下，基于 Hive 的離線分析僅能滿足 T+1 的時效，對于實(shí)時故障分析的需求越來越強(qiáng)烈。
2. 易用性低
基于 Hive 離線數(shù)據(jù)分析平臺，對于產(chǎn)品、運(yùn)營、市場人員具有較高的技術(shù)門檻，無法滿足自助的實(shí)時交互式分析需求;開發(fā)在上報和提取分析數(shù)據(jù)時，無法實(shí)時獲取和驗(yàn)證結(jié)果，查詢和分析日志經(jīng)常需要幾個小時。
3. 效率低
不停的執(zhí)行交互式查詢，所以對實(shí)時性要求高，所以效率低。
在運(yùn)營商做業(yè)務(wù)的數(shù)據(jù)分析模型時，需通過探索性數(shù)據(jù)分析去實(shí)時執(zhí)行交互式查詢，其對海量數(shù)據(jù)的實(shí)時性交互查詢速度要求高。通過Hive構(gòu)建的業(yè)務(wù)數(shù)據(jù)分析模型，響應(yīng)時間長，分析結(jié)果不及時，嚴(yán)重影響和拖慢了進(jìn)度。
為了應(yīng)對以上問題，提升流程效率，提高數(shù)據(jù)分析處理的時效性和易用性，數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升，讓問題秒級響應(yīng)，分析更深入，睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫產(chǎn)品——分布式分析型數(shù)據(jù)庫雪球DB，完成了高可用、低延遲的高性能數(shù)據(jù)倉庫解決方案，正好可以很好的解決這些問題。通過此方案可針對上千個節(jié)點(diǎn)的集群，日均新增PB 級以上的數(shù)據(jù)量，實(shí)現(xiàn)秒級的實(shí)時數(shù)據(jù)分析、提取、監(jiān)控數(shù)據(jù)基礎(chǔ)服務(wù)，大大提高了大數(shù)據(jù)分析與處理的工作效率。
同時，高性能數(shù)據(jù)倉庫解決方案適用于PB級以上超大規(guī)模數(shù)據(jù)的實(shí)時寫入、實(shí)時讀取的OLAP 應(yīng)用場景，查詢速度較Presto、SparkSQL提升3-6倍，較Hive提升30-100倍。對比 Presto、SparkSQL、Hive等數(shù)據(jù)庫，其具備高可靠的分布式MPP集群架構(gòu)，使其可以多切片寫入，完成線性擴(kuò)展等。
此外，在OLAP場景中讀多于寫且經(jīng)常存在多列的大寬表，列數(shù)可以高達(dá)數(shù)百甚至數(shù)千列。“為此，我們特地采用列式存儲和向量化執(zhí)行的方式來解決，極大的減低了IO 的消耗，加速了查詢，也縮短了計算耗時。這讓我們的技術(shù)優(yōu)勢更為突出。”李求實(shí)博士表示。
一直以來，硬核的技術(shù)以及貼合用戶需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉庫解決方案榮獲2020中國信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎，標(biāo)志著通信運(yùn)營商行業(yè)對于睿帆科技的更高認(rèn)可。未來，睿帆科技將再接再厲繼續(xù)深耕通信運(yùn)營商行業(yè)的同時，把更多優(yōu)秀的產(chǎn)品解決方案帶到更多的行業(yè)中，助力更多的企業(yè)實(shí)現(xiàn)高效、低成本的數(shù)字化轉(zhuǎn)型。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
