無論是電信及金融行業(yè),或是新興的物聯(lián)網(wǎng)、云計算,還是新應用層出不窮的互聯(lián)網(wǎng),每一刻都生成大量半結構化、非結構的數(shù)據(jù)。諸如目前最熱門的微博應用,在非常顯著的促進了用戶交流和信息共享,但是由此也產(chǎn)生了大量信息,對于數(shù)據(jù)的定位和檢索非常不便。市場調研公司麥肯錫表示,全球數(shù)據(jù)正以每年40%的速度增加,到2020年全球電子設備存儲的數(shù)據(jù)將暴增30倍,達到35ZB(相當于10億塊1TB的硬盤的容量)。由此對各行各業(yè)電信運營商、電商、稅務、金融、公安、等各個行業(yè)都會面對大數(shù)據(jù)計算的挑戰(zhàn)。
大數(shù)據(jù)計算的挑戰(zhàn)
1、 數(shù)據(jù)格式的挑戰(zhàn):數(shù)據(jù)的格式包括結構化數(shù)據(jù)、半結構化數(shù)據(jù)、非結構化數(shù)據(jù)、每種數(shù)據(jù)的處理方法和分析方法都有區(qū)別,分析和計算的難度大。
2、數(shù)據(jù)分析方法的挑戰(zhàn):大數(shù)據(jù)技術的數(shù)據(jù)挖掘分為,關聯(lián)分析、聚類分析、異常分析、特性群組分析、演變分析等,分析的數(shù)學模型需要很強的適應性。
3、計算的時效性挑戰(zhàn):數(shù)據(jù)挖掘的實時計算,需要毫秒級的用戶體驗,需要瞬間把握數(shù)據(jù)動向和趨勢。
4、計算的成本的挑戰(zhàn):數(shù)據(jù)的存儲和安全以及在未來訪問和使用這些數(shù)據(jù)的存儲成本、計算資源的成本必須改變過去大型機、小型機的計算模式,改為采用通用硬件的分布式計算的技術模式。
作為領先的行業(yè)深度定制化智能網(wǎng)絡及云計算解決方案提供商,漢柏在電信、政府等行業(yè)在數(shù)據(jù)挖掘積累了豐富的經(jīng)驗。漢柏大數(shù)據(jù)計算系統(tǒng)提供了高性能存儲和查詢檢索,并提供簡單可靠的存儲擴展,從而能夠提供便捷快速的數(shù)據(jù)搜索和檢索定位。該方案通過云的手段提供海量數(shù)據(jù)挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,有效提升客戶業(yè)務效能。
某客戶應用案例
諸如,某省級電信運營商提供車載、手持和手機三個定位終端,上傳軌跡數(shù)據(jù),服務器獲取數(shù)據(jù)后通過GIS(地理信息系統(tǒng))在地圖上實時展示終端當前的地理位置。車載和手持定位終端最小每隔10秒上傳一次軌跡數(shù)據(jù)(包括終端ID、經(jīng)緯度、方向、速度、里程、狀態(tài)信息等)。靜止狀態(tài)下,終端頁會每隔300秒上傳一次數(shù)據(jù),一次上傳的數(shù)據(jù)大小為512字節(jié),一個終端每天上傳的數(shù)據(jù)約為2000條左右,數(shù)據(jù)大小約為1M。目前,該運營商約有20萬個終端,每天的反饋數(shù)據(jù)量為4億條,一天上傳的數(shù)據(jù)容量為200GB。在采用了漢柏大數(shù)據(jù)計算系統(tǒng)后,不但良好支持了上億數(shù)量級終端即千億條記錄,更能夠橫向擴展,從而良好解決數(shù)據(jù)分析的時效性、經(jīng)濟性,保證了數(shù)據(jù)的可靠性。
目前,漢柏大數(shù)據(jù)計算方案已經(jīng)在廣電行業(yè)、銀行業(yè)以及某部委付諸實施,并與漢柏的多款定制化產(chǎn)品配合,取得了良好的應用效果。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 速通 NVIDIA 專業(yè)顯卡:專業(yè)顯卡有哪些優(yōu)勢?適合什么場景?
- 馬蜂窩跨年出行預測:儀式感必不可少,“跨年煙花”帶動目的地熱度上漲
- 30億元!比亞迪捐資興教推動中國科教進步
- 閉著眼睛寫代碼是一種什么樣的體驗?
- 2024世界顯示產(chǎn)業(yè)大會啟幕,4K花園自研“滿天星”獲十大創(chuàng)新應用
- 哈佛商學院:2024年全球96%代碼庫包含開源組件 Rust采用率增長500%
- 硅谷1/10程序員在摸魚?基本不干活卻能拿20-30萬美元年薪
- 傳馬斯克的"友商"擔心被報復 紛紛示好特朗普
- 數(shù)智龍江向新而行:5G-A與AI等數(shù)智技術助力龍江打造新質生產(chǎn)力
- 加州對特斯拉和SpaceX說不,公報私仇觸怒馬斯克
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。