安全日志記錄著企業(yè)服務(wù)器、云基礎(chǔ)設(shè)施、應(yīng)用程序等的全部執(zhí)行過程,對(duì)日志數(shù)據(jù)進(jìn)行追溯分析,可以準(zhǔn)確清晰地了解企業(yè)IT設(shè)施狀況、排查安全隱患、檢索故障源頭等。
隨著企業(yè)規(guī)模增長(zhǎng)、數(shù)字化程度加深和安全設(shè)備的增加,安全日志數(shù)量呈指數(shù)級(jí)增長(zhǎng),而企業(yè)現(xiàn)行的日志處理平臺(tái)在應(yīng)對(duì)今天動(dòng)輒PB級(jí)別的安全日志時(shí),要么是需要支付非常高昂的授權(quán)費(fèi)和專業(yè)人力成本,要么是性能瓶頸無法支撐PB級(jí)別體量的日志處理。
如何采用一套新的架構(gòu),能支撐企業(yè)在PB級(jí)別的數(shù)據(jù)里實(shí)現(xiàn)秒級(jí)查詢,同時(shí)成本又可控?
9月20日,騰訊安全發(fā)布全新一代云原生安全數(shù)據(jù)湖,專注海量日志數(shù)據(jù)分析,助力企業(yè)構(gòu)建一體化云原生數(shù)據(jù)湖平臺(tái),邁向主動(dòng)安全。據(jù)悉,在同等數(shù)據(jù)規(guī)模下,該產(chǎn)品的硬件成本僅為同類開源軟件的1/10,此外在查詢性能特別是聚合查詢性能方面有了成倍的提升,能實(shí)現(xiàn)PB級(jí)日志的秒級(jí)查詢。
“目前企業(yè)的日志處理平臺(tái)普通使用開源大數(shù)據(jù)ELK等組件快速搭建,以收集告警數(shù)據(jù)為主,分析數(shù)據(jù)不全,而且執(zhí)行長(zhǎng)周期數(shù)據(jù)查詢需要分鐘級(jí)甚至小時(shí)級(jí)等待,而網(wǎng)絡(luò)安全是實(shí)時(shí)對(duì)抗的,任何以‘小時(shí)’為單位的數(shù)據(jù)分析產(chǎn)品肯定都不適用。”騰訊安全大數(shù)據(jù)實(shí)驗(yàn)室高級(jí)研究員楊浚宇表示。
兩年前,騰訊安全在服務(wù)客戶過程中發(fā)現(xiàn),客戶普遍反應(yīng)遇到日志存儲(chǔ)成本攀升、查詢效率低下的問題,因此騰訊安全大數(shù)據(jù)實(shí)驗(yàn)室基于多年的大數(shù)據(jù)分析處理能力,前后花費(fèi)兩年時(shí)間自主研發(fā)了一款面向云原生的安全數(shù)據(jù)湖產(chǎn)品。
騰訊云原生安全數(shù)據(jù)湖是基于云原生的自研數(shù)據(jù)分析平臺(tái),利用日志數(shù)據(jù)無需修改、大量字段重復(fù)、有時(shí)間戳等特性進(jìn)行了幾大創(chuàng)新:
架構(gòu)領(lǐng)先:MPP架構(gòu),采用Rust語言開發(fā),針對(duì)日志及安全場(chǎng)景進(jìn)行專項(xiàng)優(yōu)化
極致降本:使用列存儲(chǔ)實(shí)現(xiàn)極致壓縮比,無索引架構(gòu)避免索引開銷
一體化引擎:通過原子能力實(shí)現(xiàn)數(shù)據(jù)處理、查詢、存儲(chǔ)、分析一體化
插件式擴(kuò)展:通過SQL/SPL語句支持不同分析場(chǎng)景,支持“插件式”擴(kuò)容
易運(yùn)維:面向云原生架構(gòu)實(shí)現(xiàn)存算分離、讀寫分離、從而實(shí)現(xiàn)一鍵彈性擴(kuò)容,故障秒級(jí)切換
依托上述技術(shù)創(chuàng)新,騰訊云原生安全數(shù)據(jù)湖實(shí)現(xiàn)了極致的壓縮比和數(shù)據(jù)處理效率,能將企業(yè)的安全運(yùn)營(yíng)存儲(chǔ)成本降低90%;在底層架構(gòu)上面向云原生設(shè)計(jì),支撐多實(shí)例、多用戶,能根據(jù)企業(yè)的實(shí)際需求實(shí)現(xiàn)彈性擴(kuò)容。
此外,騰訊云原生安全數(shù)據(jù)湖支持泛安全數(shù)據(jù)接入、加工、存儲(chǔ)、分析、告警、可視化等服務(wù),還具備“插件化”應(yīng)用開發(fā)能力,企業(yè)用戶可根據(jù)需求定制上層應(yīng)用,并通過平臺(tái)+APP+合作伙伴構(gòu)建完整的日志應(yīng)用生態(tài)體系,全面賦能各類安全場(chǎng)景。
目前,該數(shù)據(jù)湖已經(jīng)集成在騰訊安全SOC+產(chǎn)品下,為企業(yè)安全運(yùn)營(yíng)管理提供基座。未來,騰訊安全還會(huì)對(duì)外提供獨(dú)立產(chǎn)品,助力企業(yè)構(gòu)建云原生安全數(shù)據(jù)湖平臺(tái)。
面向智能化時(shí)代,安全運(yùn)營(yíng)與管理是企業(yè)的安全免疫中樞系統(tǒng),而安全大數(shù)據(jù)的智能分析能力將成為企業(yè)邁向智能安全的基礎(chǔ)。騰訊安全的安全運(yùn)營(yíng)產(chǎn)品矩陣始終圍繞一件事情,就是如何為客戶創(chuàng)造價(jià)值。未來,騰訊安全將持續(xù)開放技術(shù)原子能力,把騰訊領(lǐng)先的技術(shù)融合在企業(yè)現(xiàn)有的安全能力中,為千行百業(yè)的安全實(shí)踐注入數(shù)字安全免疫力。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
