在機器世界探尋數(shù)據(jù)寶藏,開放思維是不二法則

“與過去相比,現(xiàn)在的IT環(huán)境有了顯著的區(qū)別。首先,過去會劃分重要數(shù)據(jù)、次要數(shù)據(jù)和不重要數(shù)據(jù),現(xiàn)在則是所有數(shù)據(jù)都重要,都不能丟失;其次,過去應(yīng)用類型和數(shù)據(jù)量相對較少,如今應(yīng)用則是五花八門、種類繁多;第三,過去基礎(chǔ)設(shè)施相對單一,現(xiàn)在的基礎(chǔ)設(shè)施設(shè)備數(shù)量豐富,涵蓋面極為廣泛,核心、邊緣、云端都會涉及?!眹鴥?nèi)一家三甲醫(yī)院的CIO向大數(shù)據(jù)在線如是說。

的確,這位CIO所遇到的正是當下最為普遍的情況。Gartner首席分析師Pankaj Prasad透露,企業(yè)IT基礎(chǔ)架構(gòu)和應(yīng)用程序所產(chǎn)生的數(shù)據(jù)量正以每年2-3倍的速度增長,其中像指標、日志等機器所產(chǎn)生的數(shù)據(jù)越來越多,并且類型豐富。

如今,我們需要面對是一個機器世界,數(shù)據(jù)就是這些機器的“語言”,通過基于數(shù)據(jù)不斷去認識和了解機器世界,并與之更好地交互,才能讓世界更加智能。也正因為如此,如何將海量多源異構(gòu)實時的機器數(shù)據(jù)進行匯聚、整合與分析已成當下很多企業(yè)都在積極著手準備的首要任務(wù)。

而在愛數(shù)公司看來,在機器世界探索數(shù)據(jù)寶藏,開放思維是不二法則。

機器世界為什么要開放思維

機器數(shù)據(jù)正在改變我們這個世界。IDC《數(shù)據(jù)時代2025》報告中預測,未來機器數(shù)據(jù)將成為數(shù)據(jù)增長的主力軍。的確,機器數(shù)據(jù)帶來了前所未有的改變,不光是數(shù)據(jù)類型與復雜度、應(yīng)用場景,甚至還有安全、法規(guī)等方面的挑戰(zhàn)。

愛數(shù)認為,機器數(shù)據(jù)所帶來的挑戰(zhàn)主要集中在三個方面。

其一,機器數(shù)據(jù)來源多樣化、復雜性高、類型繁多、格式復雜,并且具有實時產(chǎn)生、增長速度快、數(shù)據(jù)量大等典型特征。

其二,基于機器數(shù)據(jù)的業(yè)務(wù)場景增長迅速增加,包括智能運維、安全分析、事件管理、業(yè)務(wù)運營分析、物聯(lián)網(wǎng)等,并且每個大的業(yè)務(wù)場景中還可以細分為更多場景,以安全場景為例,其需求和應(yīng)用場景非常多樣化和廣泛化。

其三,隨著機器數(shù)據(jù)產(chǎn)生量和應(yīng)用場景不斷提升,對于安全審計合規(guī)性要求也在迅速提升。

“機器數(shù)據(jù)帶來的這些挑戰(zhàn)是無法依靠單個產(chǎn)品來解決的?!睈蹟?shù)公司總裁賀鴻富如是說,“在機器數(shù)據(jù)世界必須通過開放思維來了解、認識和解決這些挑戰(zhàn)?!?/p>

如何踐行開放思維

開放意味著打破封閉,但是開放≠開源。

在筆者看來,在機器世界中以開放思維去應(yīng)對數(shù)據(jù)挑戰(zhàn),必須拋棄過去非此即彼的關(guān)系,從真實業(yè)務(wù)場景和需求出發(fā),在產(chǎn)品層面實現(xiàn)深度整合與集成,從而滿足用戶在具體場景中的業(yè)務(wù)需求。

但現(xiàn)實情況談何容易。以金融、電信、能源、互聯(lián)網(wǎng)等行業(yè)真實情況為例,很多用戶都其在底層數(shù)據(jù)分析平臺上采用了開源數(shù)據(jù)分析平臺ELK或商業(yè)數(shù)據(jù)分析平臺Splunk,并且運行多年,與各個業(yè)務(wù)捆綁緊密。隨著技術(shù)的發(fā)展,安全審計等的要求,僅僅依靠ELK或者Splunk已不能完全符合用戶的真實需求。此時接入新產(chǎn)品,既要確保不影響到具體業(yè)務(wù),又需要讓平臺整合發(fā)揮出更大優(yōu)勢。

為此,愛數(shù)的思路打造開放、高效、經(jīng)濟的機器數(shù)據(jù)分析平臺AnyRobot Family 3,并且在AnyRobot Family 3中推出了創(chuàng)新的Hub架構(gòu),實現(xiàn)多源異構(gòu)數(shù)據(jù)、多機器數(shù)據(jù)平臺的統(tǒng)一納管,釋放海量機器數(shù)據(jù)的價值。

以國內(nèi)某銀行為例,其業(yè)務(wù)已經(jīng)與Splunk進行了深度捆綁,隨著新業(yè)務(wù)對于新技術(shù)的需求,以及安全與合規(guī)審計的需求,需要保證原有Splunk數(shù)據(jù)采集、分析業(yè)務(wù)不丟失和不中斷的前提下,實現(xiàn)對Splunk的納管。該用戶通過愛數(shù) AnyRobot Hub 架構(gòu)的開放性和對多源數(shù)據(jù)、多類數(shù)據(jù)平臺的納管能力,讓愛數(shù) AnyRobot和Splunk共同服務(wù)機器數(shù)據(jù)的采集、存儲和分析。

具體來看:

Splunk原有數(shù)據(jù)采集場景:在現(xiàn)有Splunk平臺可繼續(xù)使用的情況下,保持Splunk UF采集數(shù)據(jù),然后將數(shù)據(jù)接入到AnyRobot的Collector Hub上,再令數(shù)據(jù)轉(zhuǎn)發(fā)到Splunk上,在數(shù)據(jù)流上增加一個格式處理器,以確保Splunk能識別到來自Hub的數(shù)據(jù)格式,同時引入Splunk的S2S協(xié)議,保障接入的數(shù)據(jù)host字段不變。其他數(shù)據(jù)的處理方式保持不變。

新增加數(shù)據(jù)管理場景:部署AnyRobot Agent ,將Agent的數(shù)據(jù)流推送給Collector Hub,再傳輸?shù)紸nyRobot的Kafka,通過AnyRobot進行數(shù)據(jù)清洗、存儲和分析處理。

Splunk原數(shù)據(jù)流量超出場景:為避免數(shù)據(jù)流量超出導致Splunk的搜索功能無法使用,在Collector Hub上切換部分Splunk 的UF數(shù)據(jù)流到AnyRobot上,既保障原分析和查詢服務(wù)不中斷,又避免數(shù)據(jù)流量超出。

歷史數(shù)據(jù)查詢場景:當新的數(shù)據(jù)接入到AnyRobot后,完整的查詢中歷史數(shù)據(jù)的部分在Splunk上。使用Calculation Hub,將請求調(diào)度給Splunk,并把接收到的數(shù)據(jù)返回給AnyRobot做統(tǒng)一計算。這個過程就像Hadoop的MapReduce一樣,分布式請求,然后把結(jié)果再匯聚計算。

賀鴻富介紹,AnyRobot在開放思維的原則下,其Hub架構(gòu)可實現(xiàn)多源數(shù)據(jù)連接,整合現(xiàn)有機器數(shù)據(jù)平臺和第三方應(yīng)用平臺,為業(yè)務(wù)部門和IT管理人員提供統(tǒng)一的機器數(shù)據(jù)分析平臺,滿足用戶的多樣化需求。

平臺+生態(tài)是開放思維的保障

從長期來看,除了在產(chǎn)品底層進行架構(gòu)創(chuàng)新、實現(xiàn)在機器數(shù)據(jù)環(huán)境下的產(chǎn)品整合之外,平臺+生態(tài)將會是用戶用開放思維擁抱機器世界的長期保障。

眾所周知,海量數(shù)據(jù)時代才剛剛開啟,機器數(shù)據(jù)所帶來的挑戰(zhàn)必然是長期和復雜的,現(xiàn)階段很難有一款或者一套解決方案可以解決所有問題,未來隨著新技術(shù)、新場景、新應(yīng)用的不斷誕生,用戶要想真正將海量機器數(shù)據(jù)的價值挖掘出來,一定需要廣泛的產(chǎn)品組合與解決方案。

賀鴻富介紹,AnyRobot即采用了平臺+生態(tài)的發(fā)展戰(zhàn)略。首先,愛數(shù)將AnyRobot打造成為平臺化的產(chǎn)品,并且與應(yīng)用用型伙伴、技術(shù)型伙伴和平臺型伙伴進行緊密合作,從而構(gòu)建起面向機器數(shù)據(jù)的聯(lián)創(chuàng)解決方案?!氨热?,愛數(shù)跟國內(nèi)領(lǐng)先APM伙伴一起合作,將APM能力整合到AnyRobot之中,為智能運維業(yè)務(wù)場景帶來更好的效果;又如,愛數(shù)與應(yīng)用合作伙伴一起,構(gòu)建災(zāi)備運維一體化平臺,實現(xiàn)業(yè)務(wù)超可用?!?/p>

事實上,機器數(shù)據(jù)只是當下千行百業(yè)用戶面臨數(shù)據(jù)挑戰(zhàn)的一角。從長期來看,用戶需要面臨是結(jié)構(gòu)化數(shù)據(jù)、非機構(gòu)化數(shù)據(jù)、機器數(shù)據(jù)和知識圖譜數(shù)據(jù)等不同域數(shù)據(jù)所帶來的復雜挑戰(zhàn),而平臺化產(chǎn)品和豐富的生態(tài)必然會為解決數(shù)據(jù)挑戰(zhàn)帶來長期的價值。

“平臺+生態(tài)也是愛數(shù)公司的核心商業(yè)模式,愛數(shù)將聚焦AnyBackup、AnyShare、AnyRobot和AnyDATA四大平臺型產(chǎn)品的打造,以及廣泛合作伙伴的生態(tài)建設(shè)。用戶未來需要的一定是包括機器數(shù)據(jù)在內(nèi)的全域數(shù)據(jù)能力,從而最終實現(xiàn)數(shù)據(jù)驅(qū)動型組織,實現(xiàn)海量數(shù)據(jù)價值的落地?!辟R鴻富最后表示。

免責聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個人觀點,與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請自行核實相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2020-12-20
在機器世界探尋數(shù)據(jù)寶藏,開放思維是不二法則
在筆者看來,在機器世界中以開放思維去應(yīng)對數(shù)據(jù)挑戰(zhàn),必須拋棄過去非此即彼的關(guān)系,從真實業(yè)務(wù)場景和需求出發(fā),在產(chǎn)品層面實現(xiàn)深度整合與集成,從而滿足用戶在具體場景中的業(yè)務(wù)需求。

長按掃碼 閱讀全文