京東安全：深度學(xué)習(xí)解釋模型比人更懂AI

日前,由GeekPwn(極棒)聯(lián)合谷歌大腦Alexey Kurakin、Ian Goodfellow 以及美國(guó)加州大學(xué)伯克利分校計(jì)算機(jī)系教授宋曉冬共同發(fā)起的全球首個(gè)聚焦AI安全的CAAD對(duì)抗樣本攻防賽登錄全球頂級(jí)黑客大會(huì)DEFCON。來(lái)自京東安全的 JD-Omega戰(zhàn)隊(duì),與來(lái)自微軟、谷歌、騰訊、清華大學(xué)等國(guó)際知名的高水平戰(zhàn)隊(duì)團(tuán)隊(duì)會(huì)師拉斯維加斯,在CAAD CTF和CAAD Village展開(kāi)技術(shù)切磋。

京東安全硅谷研發(fā)中心研究員郭文博在DEFCON CAAD Village上分享了全球首創(chuàng)的、可適用于不同深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的AI解析技術(shù),該技術(shù)可應(yīng)用于自動(dòng)化黑產(chǎn)對(duì)抗。并介紹了AI解析技術(shù)在京東打擊黑產(chǎn)上的具體應(yīng)用。

緣起:深度學(xué)習(xí)的“殺手”

隨著深度學(xué)習(xí)技術(shù)的崛起,AI似乎已成為無(wú)所不能的代名詞。但事實(shí)并非如此,AI也會(huì)犯錯(cuò)。

研究者發(fā)現(xiàn):通過(guò)向真實(shí)樣本中添加人眼不可見(jiàn)的噪聲,就會(huì)導(dǎo)致深度學(xué)習(xí)模型發(fā)生預(yù)測(cè)錯(cuò)誤,把原本是雪山的圖片誤認(rèn)為是狗。

而在“生成式對(duì)抗網(wǎng)絡(luò)”的發(fā)明者 Ian Goodfellow近期發(fā)表的一篇關(guān)于惡意樣本的論文中,這一“欺騙性效應(yīng)”進(jìn)一步升級(jí),不光是欺騙機(jī)器,連人類(lèi)也被欺騙了。

如上圖所示,機(jī)器模型和人類(lèi)都會(huì)判斷左側(cè)是貓,而右側(cè)是狗,即使我們仔細(xì)觀察可能也會(huì)得出相同的結(jié)論。而事實(shí)上右側(cè)圖像只是左側(cè)圖像一個(gè)簡(jiǎn)單地對(duì)抗擾動(dòng)。

別小看了這個(gè)“對(duì)抗性擾動(dòng)”,這便是有深度學(xué)習(xí)“殺手”之稱的對(duì)抗樣本,肉眼看上去雖是同一個(gè)目標(biāo),但在深度學(xué)習(xí)分類(lèi)器上便會(huì)把它分到錯(cuò)誤的類(lèi)別上。試想:如果這是一輛行駛中的自動(dòng)駕駛汽車(chē),那么別有用心的人隨時(shí)都能制造一起車(chē)禍。

以上的一切,似乎都在告訴我們,AI并不那么可靠,而事實(shí)果真如此嗎?

破局:從解釋深度學(xué)習(xí)開(kāi)始

事實(shí)上,對(duì)抗樣本看似強(qiáng)大,但并非無(wú)法解決,只要調(diào)整深度學(xué)習(xí)的判斷機(jī)制便可以了。但是,現(xiàn)實(shí)情況往往是程序只會(huì)給你一個(gè)結(jié)果,并不會(huì)向你解釋判斷過(guò)程,即便你想調(diào)整也無(wú)從下手。這時(shí)理解深度學(xué)習(xí)便顯得尤為重要。

在CAAD village上,郭文博介紹,正是基于此,京東安全開(kāi)創(chuàng)了一套AI解釋系統(tǒng),可以對(duì)深度學(xué)習(xí)模型的決定進(jìn)行分析,并找到它做出判斷的依據(jù)。這就好比它不光告訴你圖片中是香蕉,還會(huì)告訴你因?yàn)樗屈S的、彎的,掰開(kāi)皮有白色的果肉,周?chē)沫h(huán)境還是熱帶叢林,所以我判定它是香蕉。

如此一來(lái),除了可以得到深度學(xué)習(xí)模型的判斷結(jié)果,工程師還能得到它做出判斷的原因,如果發(fā)現(xiàn)判斷邏輯有誤,便能立馬進(jìn)行修復(fù),從而實(shí)現(xiàn)重新訓(xùn)練深度學(xué)習(xí)模型的目的,使模型更安全。

據(jù)了解,在京東,這種修復(fù)功能也實(shí)現(xiàn)了自動(dòng)化。因此,即便AI犯錯(cuò)了也會(huì)快速完成調(diào)整,確保讓黑產(chǎn)無(wú)懈可擊。

對(duì)抗:在博弈中不斷精進(jìn)

據(jù)了解,JD-Omega由京東安全團(tuán)隊(duì)的科研人員組成。團(tuán)隊(duì)成員的背景涵蓋了計(jì)算機(jī)軟件安全以及人工智能。在過(guò)去的幾年里,該團(tuán)隊(duì)成員在世界頂級(jí)安全會(huì)議CCS,USENIX Security, IEEE S&P, blackhat USA/Europe, DEFCON 先后發(fā)表過(guò)10余篇科研論文。除此之外,該隊(duì)成員也是世界頂級(jí)AI會(huì)議的常客。他們的科研成果曾被美國(guó)紐約時(shí)報(bào)、麻省理工技術(shù)雜志、新科學(xué)家雜志等廣泛報(bào)道。

京東首席信息安全專(zhuān)家Tony Lee稱,此次京東安全JD-Omega戰(zhàn)隊(duì)參與CAAD對(duì)抗樣本攻防賽的根本目的是與世界級(jí)頂尖黑客同臺(tái)切磋,分享京東安全最新研究成果的同時(shí)也希望能在比拼中獲得更多藍(lán)軍視角的經(jīng)驗(yàn),在實(shí)戰(zhàn)中不斷提升。

在京東安全看來(lái),互聯(lián)網(wǎng)戰(zhàn)場(chǎng)上從來(lái)沒(méi)有絕對(duì)的安全,有的只是攻方和守方的反復(fù)博弈。防御方想要獲得真正的安全,唯有在博弈中不斷精進(jìn),始終保持技術(shù)領(lǐng)先,比攻擊方快人一步。用Tony Lee的話說(shuō),“我們要永遠(yuǎn)戰(zhàn)斗在最激烈的戰(zhàn)場(chǎng)”。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。