雙十一大數(shù)據(jù)處理要控制成本

大數(shù)據(jù)

作者:中關(guān)村在線

在大數(shù)據(jù)時代,最不缺伐的就是峰值流量的出現(xiàn)。一旦出現(xiàn)降價、打折或者平臺周年慶,當日的峰值流量將可能刷新平臺服務(wù)器承載上限,而這也意味著多種壓力共同提升,其中最容易被忽視的一部分在于數(shù)據(jù)。因為當天數(shù)據(jù)量會爆炸,如果不及時處理,這些數(shù)據(jù)的核心價值將會隨之而降低。

流量峰值帶來數(shù)據(jù)爆炸

從去年的數(shù)據(jù)來看,我國電商業(yè)務(wù)的交易額達到了22.97萬億元,同比增長25.5%。這種增長率也意味著數(shù)據(jù)量飆升,從服務(wù)器、網(wǎng)絡(luò)、物流、售后和品控等多個方面的數(shù)據(jù)都會產(chǎn)生壓力。

服務(wù)器與網(wǎng)絡(luò)的數(shù)據(jù)壓力將首當其沖。每次活動前夕,程序員幾乎都要徹夜難眠,有時需要靠”玄學”祈禱才能幫助服務(wù)器度過難關(guān)。即便云服務(wù)器準備再充分,擴容再強,也很難保證千軍萬馬同一秒沖入活動界面時不會出問題。

商業(yè)促銷是各種數(shù)據(jù)的爆炸點

相應(yīng)的,商業(yè)促銷也會帶動物流方面的數(shù)據(jù)的爆炸。去年我國快遞企業(yè)營收為4005億元,同比2015年增長44.6%。如此大量的訂單不僅存在的交通、工作人員等方面的難題,還有物流信息的處理、同步和管理等大量的難題。

品控和售后是對平臺品牌的保障,如果這兩步出了問題,那么平臺就會面臨口碑下滑,甚至活動起到相反的效果。而在活動期間,進行品控和售后都絕非簡單,這些數(shù)據(jù)的產(chǎn)生和消化都在考驗著工作人員和官方平臺的協(xié)調(diào)能力。

數(shù)據(jù)資源面臨時間考驗

在這些方面產(chǎn)生的大量數(shù)據(jù)之后,把活動期間產(chǎn)生的大數(shù)據(jù)簡單的統(tǒng)計然后丟棄顯然是一種資源浪費。想讓這些數(shù)據(jù)資源實現(xiàn)價值,在存儲、處理和分析等方面都存在不小的難題。

第一,活動期間,企業(yè)將全面面臨人手不足的問題。因此程序員、運維人員和系統(tǒng)管理人員常常顧此失彼,數(shù)據(jù)處理和分析人員又不能招收臨時工應(yīng)急,反還會被外借到其他部門去做緊急處理,從而讓大量的活動峰值數(shù)據(jù)面臨擱置危機。

第二,活動期間是一個數(shù)據(jù)爆發(fā)點,這些數(shù)據(jù)具有大流量、高并發(fā)和急需求等多種特點。原本慢條斯理的數(shù)據(jù)處理工作面臨轉(zhuǎn)瞬即逝的問題,簡單來講這就像把一個月的工作堆積到一天去完成,數(shù)據(jù)處理難上加難。

第三,數(shù)據(jù)處理等不得。事實上,所有的大數(shù)據(jù)都具有等不得的特點,數(shù)據(jù)的價值保質(zhì)期僅有三個月,而以一些時效性較強的商業(yè)數(shù)據(jù)迭代速度更快,如果得不到處理,那么消耗大量資源存儲的商業(yè)數(shù)據(jù)自身價值就會急速下滑,對企業(yè)的指導作用都會相應(yīng)的下降。

數(shù)據(jù)處理要成本把控

平臺開展促銷活動不僅僅是為用戶著想,也是對自身負載上限的一次考驗。在未來幾年中,我國的物流行業(yè)將會進入日均1億快件的節(jié)奏,這就意味著訂單量會爆發(fā)性增加,物流頻次加速,數(shù)據(jù)量繼續(xù)上升,數(shù)據(jù)處理的提速和降耗將會變成急需解決的問題。

數(shù)據(jù)處理提速目前提倡的是流式大數(shù)據(jù)處理,流式處理的優(yōu)勢在于借助開源的分布式系統(tǒng),運行數(shù)據(jù)流代碼時,分配數(shù)據(jù)到容錯力高的計算機中并行運行,從而達到低延遲、可擴展和容錯率高的目的。但這種處理方式最大的限制在于成本過高,尤其是對于超大量數(shù)據(jù)應(yīng)用流式數(shù)據(jù)處理會讓平臺得不償失,以此處理所得的數(shù)據(jù)價值未必比成本更高。

數(shù)據(jù)處理降耗則是指降低在數(shù)據(jù)處理過程中的人力和財力消耗。在促銷活動期間,用人緊張導致人力資源價值提升,這就需要在數(shù)據(jù)價值和人力價值之間尋找平衡點;同時無法處理的數(shù)據(jù)在存儲和管理方面的成本也需要納入考慮范圍。

解決數(shù)據(jù)問題需要從多個層面來考慮:人力方面,數(shù)據(jù)價值是不可忽視的一部分,專業(yè)人從事專業(yè)事,讓人的價值最大化發(fā)揮;技術(shù)層面,將人工智能的深度學習和機器學習技術(shù)深化與大數(shù)據(jù)技術(shù)的結(jié)合,讓人在大數(shù)據(jù)處理流程中只指揮,不執(zhí)行,把計算力還給云和HPC;數(shù)據(jù)層面,強化數(shù)據(jù)分流,將時效性明顯的數(shù)據(jù)優(yōu)先處理,并且有選擇的進行數(shù)據(jù)清洗,降低存儲和管理成本,提高處理效率。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2017-11-22
雙十一大數(shù)據(jù)處理要控制成本
作者:中關(guān)村在線 在大數(shù)據(jù)時代,最不缺伐的就是峰值流量的出現(xiàn)。一旦出現(xiàn)降價、打折或者平臺周年慶,當日的峰值流量將可能刷新平臺服務(wù)器承載上限,而這也意味著多種壓

長按掃碼 閱讀全文