智能運(yùn)維場(chǎng)景解析：高性能智能日志分析平臺(tái)需求與建設(shè)

數(shù)據(jù)是數(shù)字化轉(zhuǎn)型的基礎(chǔ)，缺少數(shù)據(jù)支撐的數(shù)字化藍(lán)圖如空中樓閣，難以經(jīng)受市場(chǎng)的考驗(yàn)。無(wú)論是從信息化向數(shù)字化邁進(jìn)的傳統(tǒng)企業(yè)，還是IT成熟度較高的新興行業(yè)，日志數(shù)據(jù)都是不可或缺的信息來(lái)源，其重要程度不亞于IT監(jiān)控?cái)?shù)據(jù)和APM性能數(shù)據(jù)。而搭建高性能日志分析平臺(tái)，也是IT部門(mén)確保數(shù)字業(yè)務(wù)高效運(yùn)轉(zhuǎn)的重要手段。

日志數(shù)據(jù)中記錄了豐富的信息，為問(wèn)題定位和故障預(yù)測(cè)提供詳細(xì)的數(shù)據(jù)，在運(yùn)維中發(fā)揮著重要的作用。通過(guò)對(duì)日志進(jìn)行分析，運(yùn)維人員能夠了解服務(wù)器、軟硬件、用戶行為等詳細(xì)信息，從而快速發(fā)現(xiàn)故障原因及時(shí)告警或者對(duì)未發(fā)生的故障進(jìn)行預(yù)警，提升運(yùn)維的效率。

目前，企業(yè)日志數(shù)據(jù)的應(yīng)用普遍面臨著統(tǒng)一管理、海量日志數(shù)據(jù)處理、安全合規(guī)、數(shù)據(jù)價(jià)值挖掘等挑戰(zhàn)：

·日志統(tǒng)一管理：業(yè)務(wù)系統(tǒng)多、數(shù)據(jù)離散、日志種類(lèi)多、字段定義未標(biāo)準(zhǔn)化，無(wú)法統(tǒng)一管理;同時(shí)日志分散不方便查看、日志搜索操作復(fù)雜且效率低。

·海量日志數(shù)據(jù)處理：在每天TB級(jí)以上的數(shù)據(jù)增量下，傳統(tǒng)解決方案的擴(kuò)展性和穩(wěn)定性無(wú)法保證。

·安全合規(guī)：對(duì)運(yùn)維人員的違規(guī)操作、系統(tǒng)運(yùn)行異常、設(shè)備故障等安全事件缺乏監(jiān)控能力。

·日志數(shù)據(jù)的價(jià)值挖掘：日志數(shù)據(jù)中蘊(yùn)含大量有價(jià)值內(nèi)容，對(duì)數(shù)據(jù)價(jià)值利用不足，僅停留在被動(dòng)排障階段，無(wú)法對(duì)業(yè)務(wù)和IT主動(dòng)感知，業(yè)務(wù)異常無(wú)法及時(shí)發(fā)現(xiàn)。

以云智慧服務(wù)的某國(guó)內(nèi)500強(qiáng)企業(yè)為例，該企業(yè)承擔(dān)著產(chǎn)業(yè)鏈上下游數(shù)百家企業(yè)海量電子信息的實(shí)時(shí)匯聚和處理，每天新生成日志數(shù)據(jù)達(dá)到數(shù)十TB，而且分布式交易系統(tǒng)調(diào)用關(guān)系復(fù)雜，如何快速解析檢索日志、審計(jì)追溯交易、快速定位故障、及時(shí)發(fā)現(xiàn)安全隱患都是該企業(yè)IT部門(mén)亟需解決的難題。

依托自研的DOLA產(chǎn)品，云智慧為該企業(yè)搭建了高性能智能日志分析平臺(tái)，其日志處理能力達(dá)到以下性能指標(biāo)：

·支持5萬(wàn)/秒并發(fā)數(shù)據(jù)實(shí)時(shí)分析處理，數(shù)據(jù)傳輸和平臺(tái)解析處理吞吐量：540MB/s，處理延時(shí)在300毫秒以內(nèi);

·秒級(jí)查詢?nèi)?4小時(shí)的實(shí)時(shí)日志數(shù)據(jù)，實(shí)時(shí)日志搜索耗時(shí)<1s; 7日內(nèi)數(shù)據(jù)積累的基礎(chǔ)上的響應(yīng)延時(shí)<30s;

·單點(diǎn)客戶端平均傳輸速度> 1萬(wàn) EPS(Event per second);

·采用高性能的分布式列式存儲(chǔ)數(shù)據(jù)庫(kù)，服務(wù)器數(shù)據(jù)生成能力在100MB/s以上，且數(shù)據(jù)完整性100%;

·擴(kuò)展性：支持線性擴(kuò)容，可視化配置/啟停處理節(jié)點(diǎn)，每秒處理數(shù)據(jù)量支持線性增加;

·可插拔：所有采集器均采用可插拔設(shè)計(jì)，且所有解析器均支持二次開(kāi)發(fā)擴(kuò)展;

DOLA，即Digital Operation Log Analytics，是云智慧的數(shù)字化運(yùn)維日志分析產(chǎn)品。DOLA產(chǎn)品基于大數(shù)據(jù)技術(shù)與智能算法，能夠?qū)崿F(xiàn)離散日志數(shù)據(jù)的統(tǒng)一采集、處理、檢索、模式識(shí)別以及可視化分析，可應(yīng)用于統(tǒng)一的日志管理、基于日志的運(yùn)維監(jiān)控與分析、安全審計(jì)與合規(guī)、各種業(yè)務(wù)分析等運(yùn)維場(chǎng)景。

自主研發(fā)的DOLA日志采集器以及Filebeat、 Logstash等多種開(kāi)源日志采集器，能夠?qū)?lái)自網(wǎng)絡(luò)設(shè)備、安全設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、業(yè)務(wù)系統(tǒng)的離散的日志數(shù)據(jù)進(jìn)行全面、有效、集中的采集，適配多種數(shù)據(jù)庫(kù)，操作簡(jiǎn)便，幫助客戶減少日志采集的時(shí)間與人力成本。

云智慧DOLA產(chǎn)品廣泛適用于以下應(yīng)用場(chǎng)景：

·統(tǒng)一日志管理：企業(yè)日志具有跨平臺(tái)、種類(lèi)繁多、數(shù)據(jù)量大等特點(diǎn)，為了解決日志分散不方便查看、日志搜索操作復(fù)雜效率低下、日志利用率低、無(wú)法幫助運(yùn)維人員進(jìn)行問(wèn)題分析與定位，需要對(duì)日志進(jìn)行統(tǒng)一的管理。DOLA能夠提供一站式的統(tǒng)一日志管理服務(wù)，實(shí)現(xiàn)離散日志的統(tǒng)一采集、處理、存儲(chǔ)、歸檔以及查詢，降低運(yùn)維人員查找日志的成本，避免?為登錄服務(wù)器誤操作引發(fā)的生產(chǎn)故障。

·基于日志的調(diào)用鏈跟蹤：調(diào)用鏈中包含了從源頭請(qǐng)求(比如前端網(wǎng)頁(yè)請(qǐng)求、無(wú)線客戶端請(qǐng)求等)到底層系統(tǒng)(比如數(shù)據(jù)庫(kù)、分布式緩存等)的所有中間環(huán)節(jié)，DOLA能夠?qū)崿F(xiàn)無(wú)侵入式的數(shù)據(jù)收集，幫助運(yùn)維人員快速分析系統(tǒng)性能消耗的原因、定位異常并解決問(wèn)題。

·基于日志模式的異常識(shí)別：企業(yè)日志種類(lèi)繁多、數(shù)量巨大、產(chǎn)生速度快，如何快速?gòu)暮Ａ咳罩局蝎@取信息進(jìn)行異常定位是日志分析中的一大痛點(diǎn)。DOLA基于日志模式對(duì)異常進(jìn)行識(shí)別，能夠幫助運(yùn)維人員快速找出自己關(guān)心的日志類(lèi)型，或者發(fā)現(xiàn)異常日志，發(fā)出告警，縮短問(wèn)題發(fā)現(xiàn)的時(shí)間。

·指標(biāo)的異常檢測(cè)：很多業(yè)務(wù)指標(biāo)的數(shù)據(jù)具有周期性和季節(jié)性，傳統(tǒng)的通過(guò)人工設(shè)置固定閾值的告警方式，不僅費(fèi)時(shí)費(fèi)力，且嚴(yán)重依賴運(yùn)維人員的經(jīng)驗(yàn)，容易產(chǎn)生誤報(bào)以及漏報(bào)。DOLA通過(guò)動(dòng)態(tài)基線算法對(duì)日志中的指標(biāo)數(shù)據(jù)進(jìn)行智能異常檢測(cè)，直接識(shí)別異常的業(yè)務(wù)系統(tǒng)或者IT系統(tǒng)，能夠大幅度減少人工閾值的配置工作，提升告警的準(zhǔn)確率。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。