安全日志記錄著企業(yè)服務器、云基礎設施、應用程序等的全部執(zhí)行過程,對日志數據進行追溯分析,可以準確清晰地了解企業(yè)IT設施狀況、排查安全隱患、檢索故障源頭等。
隨著企業(yè)規(guī)模增長、數字化程度加深和安全設備的增加,安全日志數量呈指數級增長,而企業(yè)現(xiàn)行的日志處理平臺在應對今天動輒PB級別的安全日志時,要么是需要支付非常高昂的授權費和專業(yè)人力成本,要么是性能瓶頸無法支撐PB級別體量的日志處理。
如何采用一套新的架構,能支撐企業(yè)在PB級別的數據里實現(xiàn)秒級查詢,同時成本又可控?
9月20日,騰訊安全發(fā)布全新一代云原生安全數據湖,專注海量日志數據分析,助力企業(yè)構建一體化云原生數據湖平臺,邁向主動安全。據悉,在同等數據規(guī)模下,該產品的硬件成本僅為同類開源軟件的1/10,此外在查詢性能特別是聚合查詢性能方面有了成倍的提升,能實現(xiàn)PB級日志的秒級查詢。
“目前企業(yè)的日志處理平臺普通使用開源大數據ELK等組件快速搭建,以收集告警數據為主,分析數據不全,而且執(zhí)行長周期數據查詢需要分鐘級甚至小時級等待,而網絡安全是實時對抗的,任何以‘小時’為單位的數據分析產品肯定都不適用。”騰訊安全大數據實驗室高級研究員楊浚宇表示。
兩年前,騰訊安全在服務客戶過程中發(fā)現(xiàn),客戶普遍反應遇到日志存儲成本攀升、查詢效率低下的問題,因此騰訊安全大數據實驗室基于多年的大數據分析處理能力,前后花費兩年時間自主研發(fā)了一款面向云原生的安全數據湖產品。
騰訊云原生安全數據湖是基于云原生的自研數據分析平臺,利用日志數據無需修改、大量字段重復、有時間戳等特性進行了幾大創(chuàng)新:
架構領先:MPP架構,采用Rust語言開發(fā),針對日志及安全場景進行專項優(yōu)化
極致降本:使用列存儲實現(xiàn)極致壓縮比,無索引架構避免索引開銷
一體化引擎:通過原子能力實現(xiàn)數據處理、查詢、存儲、分析一體化
插件式擴展:通過SQL/SPL語句支持不同分析場景,支持“插件式”擴容
易運維:面向云原生架構實現(xiàn)存算分離、讀寫分離、從而實現(xiàn)一鍵彈性擴容,故障秒級切換
依托上述技術創(chuàng)新,騰訊云原生安全數據湖實現(xiàn)了極致的壓縮比和數據處理效率,能將企業(yè)的安全運營存儲成本降低90%;在底層架構上面向云原生設計,支撐多實例、多用戶,能根據企業(yè)的實際需求實現(xiàn)彈性擴容。
此外,騰訊云原生安全數據湖支持泛安全數據接入、加工、存儲、分析、告警、可視化等服務,還具備“插件化”應用開發(fā)能力,企業(yè)用戶可根據需求定制上層應用,并通過平臺+APP+合作伙伴構建完整的日志應用生態(tài)體系,全面賦能各類安全場景。
目前,該數據湖已經集成在騰訊安全SOC+產品下,為企業(yè)安全運營管理提供基座。未來,騰訊安全還會對外提供獨立產品,助力企業(yè)構建云原生安全數據湖平臺。
面向智能化時代,安全運營與管理是企業(yè)的安全免疫中樞系統(tǒng),而安全大數據的智能分析能力將成為企業(yè)邁向智能安全的基礎。騰訊安全的安全運營產品矩陣始終圍繞一件事情,就是如何為客戶創(chuàng)造價值。未來,騰訊安全將持續(xù)開放技術原子能力,把騰訊領先的技術融合在企業(yè)現(xiàn)有的安全能力中,為千行百業(yè)的安全實踐注入數字安全免疫力。
（免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。 ）
