TSec技術(shù)獎議題出爐:悲觀主義影響下的 能否擬合理想的安全邊界?

“面對現(xiàn)今愈演愈烈的安全威脅,越來越多的人已經(jīng)放棄‘銀彈’思維,并不期望什么靈丹妙藥可以解決所有安全問題,而是非常務(wù)實地‘每天進(jìn)步1%’,并不幻想在某一天突然達(dá)到完美的狀態(tài)。”

RSA總裁在今年大會上的全新論調(diào)正在各種安全場景中得到驗證。在CSS2018騰訊安全探索論壇(TSec)的現(xiàn)場,騰訊安全云鼎實驗室高級安全研究員劉少東分享的《另辟蹊徑,更智能更安全的 AI WAF 》,憑借對機(jī)器學(xué)習(xí)技術(shù)的深度理解和 AI 在網(wǎng)站應(yīng)用防護(hù)系統(tǒng)的創(chuàng)新實踐,獲得CSS2018騰訊安全探索論壇技術(shù)獎。劉少東在議題分享中表示,基于悲觀主義理念設(shè)計的AI WAF無法做到一開始就保護(hù)所有的網(wǎng)站數(shù)據(jù)安全,它需要采用嚴(yán)格的標(biāo)準(zhǔn)模型不斷學(xué)習(xí),以迎合用戶業(yè)務(wù)的安全邊界。但其具備更友好、更安全的結(jié)構(gòu)設(shè)計和防御效果,已正在成為未來網(wǎng)站防御的發(fā)展方向。

TSec技術(shù)獎議題出爐:悲觀主義影響下的 能否擬合理想的安全邊界?

(騰訊安全云鼎實驗室高級安全研究員 劉少東)

樂觀的防御意識:防護(hù)規(guī)則理想化引起誤報漏報等困境

在網(wǎng)站防護(hù)的過程中,安全從業(yè)者一直致力于制定合理的規(guī)則以劃定安全邊界來防御惡意請求。劉少東在分享中表示,“我們希望這個邊界和 Web 服務(wù)理想的安全邊界越來越重合,這樣的話攻擊就會被抵御在邊界之外,但實際上安全邊界并沒有那么理想。”當(dāng) WAF 的安全邊界大于 Web 服務(wù)理想的安全邊界時,即會出現(xiàn)漏報惡意請求;而當(dāng) WAF 安全邊界僅能覆蓋部分 Web 服務(wù)理想的安全邊界時,漏報和誤報的情況將會同時出現(xiàn)。

樂觀主義的防御意識認(rèn)為,在對攻擊進(jìn)行分析后制定的規(guī)則或語義能夠應(yīng)用于不同的業(yè)務(wù)場景,并實現(xiàn)有效防御。但往往事與愿違,在此意識下制定的防御策略和手法雖然能抵御常見攻擊,但對不同應(yīng)用場景下的實際運維適應(yīng)能力有限。這類策略往往由 WAF 廠商主導(dǎo),被簡單地劃分為寬松、標(biāo)準(zhǔn)、嚴(yán)格三個等級,用戶在有限的模式中選擇一種最適合自己的模式。在實際使用中用戶常選擇誤報最少的模式,與此同時也產(chǎn)生了大量漏報,且用戶對此無法感知。

此外,不同用戶共享統(tǒng)一的規(guī)則和語義無法針對用戶的業(yè)務(wù)特點實現(xiàn)有效防御。電商、論壇等在處理業(yè)務(wù)時會采取不同的載荷設(shè)計和框架,其業(yè)務(wù)的變化也給 WAF 造成困難和挑戰(zhàn)。

值得一提的是,隨著漏洞的迅速增加,規(guī)則的數(shù)量也在不斷增長。但新增規(guī)則需要考慮其是否能夠結(jié)合或適應(yīng)已有規(guī)則,且數(shù)量繁多的規(guī)則導(dǎo)致維護(hù)成本高漲。

悲觀的設(shè)計理念: AI WAF 自學(xué)習(xí)自進(jìn)化不斷訓(xùn)練引擎

隨著惡意請求呈幾何倍數(shù)增長,樂觀主義影響下的防御策略已經(jīng)無法抵御網(wǎng)站攻擊。網(wǎng)站安全人員開始設(shè)計基于悲觀主義的 AI WAF,即 WAF 無法做到一開始就保護(hù)所有的網(wǎng)站數(shù)據(jù)安全,它需要采用嚴(yán)格的標(biāo)準(zhǔn)模型不斷學(xué)習(xí),以迎合用戶業(yè)務(wù)的安全邊界。

在 AI WAF 的實踐中,外部請求經(jīng)由 WAF 節(jié)點,在數(shù)據(jù)旁路中通過數(shù)據(jù)采集和數(shù)據(jù)清洗后,在異常檢測模型訓(xùn)練器和威脅檢測模型訓(xùn)練器中訓(xùn)練引擎。同時,在線業(yè)務(wù)通過異常模型和威脅模型進(jìn)行關(guān)聯(lián),并支持動態(tài)反饋機(jī)制,即請求經(jīng)過訓(xùn)練器后動態(tài)更新至模型中再對新的請求進(jìn)行檢測。

TSec技術(shù)獎議題出爐:悲觀主義影響下的 能否擬合理想的安全邊界?

其中,異常檢測結(jié)合了專家知識以及無監(jiān)督的HMM模型進(jìn)行檢測。該模塊是非必備模塊,允許一定彈性空間,偏向于低漏報高誤報傾向設(shè)計。即使存在一定誤報,后續(xù)的威脅檢測模塊會進(jìn)行二次檢測。其中HMM模型提及到了諸多工業(yè)實踐的tricks,例如采取了更加適合的k-means進(jìn)行學(xué)習(xí)訓(xùn)練,HMM的很多參數(shù)設(shè)計上采用了一些啟發(fā)式的策略使得模型精準(zhǔn)度更高。

威脅檢測模塊結(jié)合了智能解碼、分詞技巧、特征工程/詞向量化以及分類器這些主要模塊的實踐技巧。深度評測了向量機(jī)、CNN和LSTM上的檢測結(jié)果,3種分類器都取得了非常好的效果,在工業(yè)應(yīng)用場景下選擇向量機(jī)作為分類器,將延遲控制在0.2ms到1.3ms。

網(wǎng)站請求經(jīng)過反復(fù)多次的異常檢測和威脅檢測后,主動和被動的學(xué)習(xí)機(jī)制進(jìn)行誤報消除,同時安全團(tuán)隊對漏報進(jìn)行持續(xù)學(xué)習(xí)糾正,最終WAF的安全邊界逐漸擬合Web服務(wù)理想的安全邊界。

機(jī)器學(xué)習(xí)是大勢所趨:騰訊網(wǎng)站管家對惡意樣本的檢出率提升至98.77%

在面對變形的新類型攻擊挑戰(zhàn)時,規(guī)則容易被繞過,語義檢測也無法準(zhǔn)確分析其語義,而 AI 智能引擎具備泛化能力,在處理這類問題上優(yōu)勢明顯。

劉少東在演講中提到,通過對29000條OWASP的Web攻擊樣本進(jìn)行基準(zhǔn)測試發(fā)現(xiàn),AI引擎的檢出率擁有絕對領(lǐng)先優(yōu)勢。規(guī)則+語義的檢測方式可以檢測出84.89%的惡意載荷樣本,而使用了AI引擎的騰訊網(wǎng)站管家對惡意樣本的檢出率實現(xiàn)了質(zhì)的飛躍,大幅提升至98.77%。

更值得一提的是,AI WAF雖然一開始采用的是標(biāo)準(zhǔn)模型,但在對不同用戶的業(yè)務(wù)進(jìn)行積極反饋后會形成自己獨有的模型。舉例來說,引擎一旦接收到攻擊誤報就會提交至模型中進(jìn)行更新學(xué)習(xí),之后便不會再判定其為攻擊。這種方式相較于關(guān)閉規(guī)則和URL加白都更加友好,并不會引入新的安全風(fēng)險。

在談及WAF發(fā)展的問題上,劉少東表示,WAF機(jī)器學(xué)習(xí)在技術(shù)上已經(jīng)是大勢所趨,其高級的分析技術(shù)不僅可以涵蓋常規(guī)的專家規(guī)則,還可以擬合更加復(fù)雜的專家經(jīng)驗知識。未來云計算的彈性能力、大數(shù)據(jù)的信息處理能力和安全威脅情報共享的多點防御將進(jìn)一步促進(jìn)和提升網(wǎng)絡(luò)安全能力。

極客網(wǎng)企業(yè)會員

免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2018-09-13
TSec技術(shù)獎議題出爐:悲觀主義影響下的 能否擬合理想的安全邊界?
“面對現(xiàn)今愈演愈烈的安全威脅,越來越多的人已經(jīng)放棄‘銀彈’思維,并不期望什么靈丹妙藥可以解決所有安全問題,而是非常務(wù)實地&l

長按掃碼 閱讀全文