在機(jī)器世界探尋數(shù)據(jù)寶藏,開放思維是不二法則

原標(biāo)題:在機(jī)器世界探尋數(shù)據(jù)寶藏,開放思維是不二法則

“與過去相比,現(xiàn)在的IT環(huán)境有了顯著的區(qū)別。首先,過去會(huì)劃分重要數(shù)據(jù)、次要數(shù)據(jù)和不重要數(shù)據(jù),現(xiàn)在則是所有數(shù)據(jù)都重要,都不能丟失;其次,過去應(yīng)用類型和數(shù)據(jù)量相對(duì)較少,如今應(yīng)用則是五花八門、種類繁多;第三,過去基礎(chǔ)設(shè)施相對(duì)單一,現(xiàn)在的基礎(chǔ)設(shè)施設(shè)備數(shù)量豐富,涵蓋面極為廣泛,核心、邊緣、云端都會(huì)涉及?!眹鴥?nèi)一家三甲醫(yī)院的CIO向大數(shù)據(jù)在線如是說。

的確,這位CIO所遇到的正是當(dāng)下最為普遍的情況。Gartner首席分析師Pankaj Prasad透露,企業(yè)IT基礎(chǔ)架構(gòu)和應(yīng)用程序所產(chǎn)生的數(shù)據(jù)量正以每年2-3倍的速度增長,其中像指標(biāo)、日志等機(jī)器所產(chǎn)生的數(shù)據(jù)越來越多,并且類型豐富。

如今,我們需要面對(duì)是一個(gè)機(jī)器世界,數(shù)據(jù)就是這些機(jī)器的“語言”,通過基于數(shù)據(jù)不斷去認(rèn)識(shí)和了解機(jī)器世界,并與之更好地交互,才能讓世界更加智能。也正因?yàn)槿绱?,如何將海量多源異?gòu)實(shí)時(shí)的機(jī)器數(shù)據(jù)進(jìn)行匯聚、整合與分析已成當(dāng)下很多企業(yè)都在積極著手準(zhǔn)備的首要任務(wù)。

而在愛數(shù)公司看來,在機(jī)器世界探索數(shù)據(jù)寶藏,開放思維是不二法則。

機(jī)器世界為什么要開放思維

機(jī)器數(shù)據(jù)正在改變我們這個(gè)世界。IDC《數(shù)據(jù)時(shí)代2025》報(bào)告中預(yù)測,未來機(jī)器數(shù)據(jù)將成為數(shù)據(jù)增長的主力軍。的確,機(jī)器數(shù)據(jù)帶來了前所未有的改變,不光是數(shù)據(jù)類型與復(fù)雜度、應(yīng)用場景,甚至還有安全、法規(guī)等方面的挑戰(zhàn)。

愛數(shù)認(rèn)為,機(jī)器數(shù)據(jù)所帶來的挑戰(zhàn)主要集中在三個(gè)方面。

其一,機(jī)器數(shù)據(jù)來源多樣化、復(fù)雜性高、類型繁多、格式復(fù)雜,并且具有實(shí)時(shí)產(chǎn)生、增長速度快、數(shù)據(jù)量大等典型特征。

其二,基于機(jī)器數(shù)據(jù)的業(yè)務(wù)場景增長迅速增加,包括智能運(yùn)維、安全分析、事件管理、業(yè)務(wù)運(yùn)營分析、物聯(lián)網(wǎng)等,并且每個(gè)大的業(yè)務(wù)場景中還可以細(xì)分為更多場景,以安全場景為例,其需求和應(yīng)用場景非常多樣化和廣泛化。

其三,隨著機(jī)器數(shù)據(jù)產(chǎn)生量和應(yīng)用場景不斷提升,對(duì)于安全審計(jì)合規(guī)性要求也在迅速提升。

“機(jī)器數(shù)據(jù)帶來的這些挑戰(zhàn)是無法依靠單個(gè)產(chǎn)品來解決的?!睈蹟?shù)公司總裁賀鴻富如是說,“在機(jī)器數(shù)據(jù)世界必須通過開放思維來了解、認(rèn)識(shí)和解決這些挑戰(zhàn)。”

如何踐行開放思維

開放意味著打破封閉,但是開放≠開源。

在筆者看來,在機(jī)器世界中以開放思維去應(yīng)對(duì)數(shù)據(jù)挑戰(zhàn),必須拋棄過去非此即彼的關(guān)系,從真實(shí)業(yè)務(wù)場景和需求出發(fā),在產(chǎn)品層面實(shí)現(xiàn)深度整合與集成,從而滿足用戶在具體場景中的業(yè)務(wù)需求。

但現(xiàn)實(shí)情況談何容易。以金融、電信、能源、互聯(lián)網(wǎng)等行業(yè)真實(shí)情況為例,很多用戶都其在底層數(shù)據(jù)分析平臺(tái)上采用了開源數(shù)據(jù)分析平臺(tái)ELK或商業(yè)數(shù)據(jù)分析平臺(tái)Splunk,并且運(yùn)行多年,與各個(gè)業(yè)務(wù)捆綁緊密。隨著技術(shù)的發(fā)展,安全審計(jì)等的要求,僅僅依靠ELK或者Splunk已不能完全符合用戶的真實(shí)需求。此時(shí)接入新產(chǎn)品,既要確保不影響到具體業(yè)務(wù),又需要讓平臺(tái)整合發(fā)揮出更大優(yōu)勢。

為此,愛數(shù)的思路打造開放、高效、經(jīng)濟(jì)的機(jī)器數(shù)據(jù)分析平臺(tái)AnyRobot Family 3,并且在AnyRobot Family 3中推出了創(chuàng)新的Hub架構(gòu),實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)、多機(jī)器數(shù)據(jù)平臺(tái)的統(tǒng)一納管,釋放海量機(jī)器數(shù)據(jù)的價(jià)值。

以國內(nèi)某銀行為例,其業(yè)務(wù)已經(jīng)與Splunk進(jìn)行了深度捆綁,隨著新業(yè)務(wù)對(duì)于新技術(shù)的需求,以及安全與合規(guī)審計(jì)的需求,需要保證原有Splunk數(shù)據(jù)采集、分析業(yè)務(wù)不丟失和不中斷的前提下,實(shí)現(xiàn)對(duì)Splunk的納管。該用戶通過愛數(shù) AnyRobot Hub 架構(gòu)的開放性和對(duì)多源數(shù)據(jù)、多類數(shù)據(jù)平臺(tái)的納管能力,讓愛數(shù) AnyRobot和Splunk共同服務(wù)機(jī)器數(shù)據(jù)的采集、存儲(chǔ)和分析。

具體來看:

Splunk原有數(shù)據(jù)采集場景:在現(xiàn)有Splunk平臺(tái)可繼續(xù)使用的情況下,保持Splunk UF采集數(shù)據(jù),然后將數(shù)據(jù)接入到AnyRobot的Collector Hub上,再令數(shù)據(jù)轉(zhuǎn)發(fā)到Splunk上,在數(shù)據(jù)流上增加一個(gè)格式處理器,以確保Splunk能識(shí)別到來自Hub的數(shù)據(jù)格式,同時(shí)引入Splunk的S2S協(xié)議,保障接入的數(shù)據(jù)host字段不變。其他數(shù)據(jù)的處理方式保持不變。

新增加數(shù)據(jù)管理場景:部署AnyRobot Agent ,將Agent的數(shù)據(jù)流推送給Collector Hub,再傳輸?shù)紸nyRobot的Kafka,通過AnyRobot進(jìn)行數(shù)據(jù)清洗、存儲(chǔ)和分析處理。

Splunk原數(shù)據(jù)流量超出場景:為避免數(shù)據(jù)流量超出導(dǎo)致Splunk的搜索功能無法使用,在Collector Hub上切換部分Splunk 的UF數(shù)據(jù)流到AnyRobot上,既保障原分析和查詢服務(wù)不中斷,又避免數(shù)據(jù)流量超出。

歷史數(shù)據(jù)查詢場景:當(dāng)新的數(shù)據(jù)接入到AnyRobot后,完整的查詢中歷史數(shù)據(jù)的部分在Splunk上。使用Calculation Hub,將請(qǐng)求調(diào)度給Splunk,并把接收到的數(shù)據(jù)返回給AnyRobot做統(tǒng)一計(jì)算。這個(gè)過程就像Hadoop的MapReduce一樣,分布式請(qǐng)求,然后把結(jié)果再匯聚計(jì)算。

賀鴻富介紹,AnyRobot在開放思維的原則下,其Hub架構(gòu)可實(shí)現(xiàn)多源數(shù)據(jù)連接,整合現(xiàn)有機(jī)器數(shù)據(jù)平臺(tái)和第三方應(yīng)用平臺(tái),為業(yè)務(wù)部門和IT管理人員提供統(tǒng)一的機(jī)器數(shù)據(jù)分析平臺(tái),滿足用戶的多樣化需求。

平臺(tái)+生態(tài)是開放思維的保障

從長期來看,除了在產(chǎn)品底層進(jìn)行架構(gòu)創(chuàng)新、實(shí)現(xiàn)在機(jī)器數(shù)據(jù)環(huán)境下的產(chǎn)品整合之外,平臺(tái)+生態(tài)將會(huì)是用戶用開放思維擁抱機(jī)器世界的長期保障。

眾所周知,海量數(shù)據(jù)時(shí)代才剛剛開啟,機(jī)器數(shù)據(jù)所帶來的挑戰(zhàn)必然是長期和復(fù)雜的,現(xiàn)階段很難有一款或者一套解決方案可以解決所有問題,未來隨著新技術(shù)、新場景、新應(yīng)用的不斷誕生,用戶要想真正將海量機(jī)器數(shù)據(jù)的價(jià)值挖掘出來,一定需要廣泛的產(chǎn)品組合與解決方案。

賀鴻富介紹,AnyRobot即采用了平臺(tái)+生態(tài)的發(fā)展戰(zhàn)略。首先,愛數(shù)將AnyRobot打造成為平臺(tái)化的產(chǎn)品,并且與應(yīng)用用型伙伴、技術(shù)型伙伴和平臺(tái)型伙伴進(jìn)行緊密合作,從而構(gòu)建起面向機(jī)器數(shù)據(jù)的聯(lián)創(chuàng)解決方案?!氨热纾瑦蹟?shù)跟國內(nèi)領(lǐng)先APM伙伴一起合作,將APM能力整合到AnyRobot之中,為智能運(yùn)維業(yè)務(wù)場景帶來更好的效果;又如,愛數(shù)與應(yīng)用合作伙伴一起,構(gòu)建災(zāi)備運(yùn)維一體化平臺(tái),實(shí)現(xiàn)業(yè)務(wù)超可用?!?/p>

事實(shí)上,機(jī)器數(shù)據(jù)只是當(dāng)下千行百業(yè)用戶面臨數(shù)據(jù)挑戰(zhàn)的一角。從長期來看,用戶需要面臨是結(jié)構(gòu)化數(shù)據(jù)、非機(jī)構(gòu)化數(shù)據(jù)、機(jī)器數(shù)據(jù)和知識(shí)圖譜數(shù)據(jù)等不同域數(shù)據(jù)所帶來的復(fù)雜挑戰(zhàn),而平臺(tái)化產(chǎn)品和豐富的生態(tài)必然會(huì)為解決數(shù)據(jù)挑戰(zhàn)帶來長期的價(jià)值。

“平臺(tái)+生態(tài)也是愛數(shù)公司的核心商業(yè)模式,愛數(shù)將聚焦AnyBackup、AnyShare、AnyRobot和AnyDATA四大平臺(tái)型產(chǎn)品的打造,以及廣泛合作伙伴的生態(tài)建設(shè)。用戶未來需要的一定是包括機(jī)器數(shù)據(jù)在內(nèi)的全域數(shù)據(jù)能力,從而最終實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)型組織,實(shí)現(xiàn)海量數(shù)據(jù)價(jià)值的落地?!辟R鴻富最后表示。

極客網(wǎng)企業(yè)會(huì)員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2020-12-20
在機(jī)器世界探尋數(shù)據(jù)寶藏,開放思維是不二法則
在筆者看來,在機(jī)器世界中以開放思維去應(yīng)對(duì)數(shù)據(jù)挑戰(zhàn),必須拋棄過去非此即彼的關(guān)系,從真實(shí)業(yè)務(wù)場景和需求出發(fā),在產(chǎn)品層面實(shí)現(xiàn)深度整合與集成,從而滿足用戶在具體場景中的業(yè)務(wù)需求。

長按掃碼 閱讀全文