阿里聯(lián)手中科大、浙大、華科大等高校研發(fā)4項AI安全技術(shù) 獲國際會議收錄

2月23日消息，TechWeb獲悉，阿里安全圖靈實驗室圍繞行業(yè)痛點(diǎn)、難點(diǎn)技術(shù)問題，涉及文本變異對抗、圖像、視頻內(nèi)容風(fēng)控以及AI小樣本研究的4個團(tuán)隊，分別與中國科學(xué)技術(shù)大學(xué)、浙江大學(xué)、華中科技大學(xué)等知名高校研究人員合作，研發(fā)包括“內(nèi)容安全、文本反垃圾、AI模型魯棒性、營商環(huán)境治理”4項新一代安全架構(gòu)核心AI安全技術(shù)成果，均被國際會議ICASSP（International Conference on Acoustics, Speech and Signal Processing）2021收錄。

小樣本訓(xùn)練對抗血腥暴力視頻

在實際應(yīng)用場景中，AI安全技術(shù)能有效解決數(shù)據(jù)量大的頭部風(fēng)險，但對數(shù)據(jù)量極少或者新增的風(fēng)險，現(xiàn)有AI模型往往難以勝任。

在2018年“掃黃打非”專項整治中，就出現(xiàn)了一波名為“邪典”的風(fēng)險（軟色情、血腥暴力），主要為一些對青少年有不良導(dǎo)向的視頻，此類相關(guān)內(nèi)容清理有害信息就多達(dá)37萬余條。隨著短視頻火爆發(fā)展，變異極快的“兒童邪典視頻”極易死灰復(fù)燃。

累積此類別的數(shù)據(jù)供原有模型訓(xùn)練需要一定時間，而小樣本方法恰好能填補(bǔ)“變異-模型未更新”的真空期。阿里安全圖靈實驗室高級算法工程師雍秦認(rèn)為，使用小樣本方法，可很好地在真空期中覆蓋這種新風(fēng)險，維護(hù)網(wǎng)絡(luò)清朗空間環(huán)境。

“之前發(fā)表的小樣本方法大都集中于優(yōu)化小樣本元學(xué)習(xí)階段，該研究主要集中研究小樣本方法中的預(yù)訓(xùn)練問題，我們AI安全團(tuán)隊提出了一種簡單有效的方法，使用自監(jiān)督方法預(yù)訓(xùn)練一個更深的網(wǎng)絡(luò)，具有很好的魯棒性和泛化性。”雍秦說。

自監(jiān)督學(xué)習(xí)的核心理念是對無標(biāo)簽數(shù)據(jù)的進(jìn)行學(xué)習(xí)，而且學(xué)習(xí)的是無標(biāo)簽數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)或者特性，因此不需要標(biāo)簽結(jié)果，這樣打造的AI模型對新鮮樣本的適應(yīng)能力比較強(qiáng)。

在醫(yī)療、生物等行業(yè)安全領(lǐng)域，都普遍存在“樣本標(biāo)注困難”“成本高”問題。雍秦堅信，小樣本自監(jiān)督學(xué)習(xí)能很好改善這些困境。

阿里&浙大：增強(qiáng)AI對抗垃圾文本變異的穩(wěn)定性和識別力

李進(jìn)鋒等阿里安全算法專家經(jīng)常會遇到發(fā)送大量垃圾文本的惡意用戶，黑灰產(chǎn)試圖通過對抗的手段規(guī)避阿里安全內(nèi)容風(fēng)控智能AI系統(tǒng)檢測。

以文本內(nèi)容為例，惡意用戶可通過對文本中的違規(guī)內(nèi)容進(jìn)行變形變異，從而達(dá)到繞開模型識別檢測的目的。由于文本對抗門檻和成本低，文本內(nèi)容風(fēng)控場景中的對抗異常激烈，對抗給智能風(fēng)控體系帶來了巨大挑戰(zhàn)。

圖:真實應(yīng)用場景中的對抗文本（紅色字體為變異詞）

為應(yīng)對挑戰(zhàn)，解決對抗場景中風(fēng)控模型性能衰減的問題，阿里安全圖靈實驗室與浙江大學(xué)提出了基于對抗關(guān)系圖的文本對抗防御技術(shù)。

圖:基于對抗關(guān)系圖的文本對抗防御框架

與現(xiàn)有技術(shù)相比，阿里安全的內(nèi)容風(fēng)控系統(tǒng)建模與場景無關(guān)，只需訓(xùn)練一次即可應(yīng)用到各個場景，基于對抗關(guān)系圖，就可以解決更復(fù)雜的多跳變異問題，如微(wei)-威(wei)-崴(wai)。阿里安全團(tuán)隊將防御框架應(yīng)用到了手機(jī)淘寶、旺旺反垃圾場景，取得了不錯的應(yīng)用效果。

中科大&阿里：構(gòu)建AI系統(tǒng)“防火墻”

去年，阿里安全圖靈實驗室發(fā)布了一款“AI安全診斷大師”，對AI模型進(jìn)行全面的安全性評估，并針對AI系統(tǒng)的缺陷，提出提升模型防御能力建議。

這種“AI安全防火墻”的一個關(guān)鍵技術(shù)就是對抗樣本檢測，對抗樣本的重要特性之一是人眼無法區(qū)分，導(dǎo)致無法通過人工打標(biāo)進(jìn)行對抗樣本的檢測。

2020年，阿里安全圖靈實驗室提出了一種基于Transformer的對抗樣本檢測方法，改進(jìn)了傳統(tǒng)對抗樣本檢測方法只能檢測特定攻擊，難以泛化到其他攻擊的缺陷。

此次研究解決的是對抗樣本檢測泛化性的問題，但針對非常小擾動和非常稀疏的對抗樣本的檢測，仍是目前研究的難點(diǎn)。為了既能識別擾動大而廣的對抗樣本，又能識別擾動比較小而稀疏的對抗樣本，中科大和阿里的研究者提出了基于圖像域和梯度域的雙流對抗樣本檢測網(wǎng)絡(luò)，圖像域用于識別擾動大而廣的對抗樣本，梯度域則用于識別擾動比較小而稀疏的對抗樣本。

圖 .雙流對抗樣本檢測網(wǎng)絡(luò)

隨著防御技術(shù)不斷變強(qiáng)，攻擊形態(tài)越來越多樣。在真實應(yīng)用場景中，阿里安全圖靈實驗室也發(fā)現(xiàn)了一些沒有限制情況下的攻擊形態(tài)，這類攻擊很難應(yīng)對。阿里安全圖靈實驗室高級安全專家越豐介紹，目前阿里希望能從攻防兩端以及產(chǎn)學(xué)研集合的方式來應(yīng)對這種威脅。阿里安全聯(lián)合清華大學(xué)、UIUC（伊利諾伊大學(xué)厄巴納-香檳分校）舉辦了CVPR2021的AML-CVworkshop,產(chǎn)學(xué)研結(jié)合探討AI安全的問題。另外，三方在workshop上聯(lián)合天池一起舉辦了2個比賽：第六期-ImageNet無限制對抗攻擊和防御模型的白盒對抗攻擊。

提升商品圖像檢索能力優(yōu)化用戶搜索體驗

電商平臺的各種模態(tài)商品數(shù)據(jù)迅速增長，如何從中快速且準(zhǔn)確地找出用戶需要的商品是一個艱巨的挑戰(zhàn)?；趦?nèi)容的文本到商品圖像的跨模態(tài)檢索就是緩解這個挑戰(zhàn)的關(guān)鍵技術(shù)之一。

傳統(tǒng)的跨模態(tài)檢索方法建立在單層次的特征表示和單粒度的相似度度量上，難以有效地解決商品圖像檢索的問題。

同時，文本到商品圖像的跨模態(tài)檢索任務(wù)更復(fù)雜，比如單是商品圖像中的一類“服飾”已經(jīng)表現(xiàn)出巨大的差異性，服飾可以穿在模特身上，也可以單獨(dú)擺放，還可折疊起來展示，服飾圖像背景往往也很復(fù)雜。不止如此，商品圖像包含其它很多豐富的種類，并且一幅圖像內(nèi)往往呈現(xiàn)出多種物體，琳瑯滿目，難辨差異。

在阿里安全圖靈實驗室實習(xí)的浙江大學(xué)碩士生馬哲介紹，這次研究在文本-商品圖像跨模態(tài)檢索的場景下，提出了HSL網(wǎng)絡(luò)和兩種不同粒度的相似性度量方式，可顯著提升商品圖像檢索的性能，并能適應(yīng)復(fù)雜的商品內(nèi)容檢索。

阿里安全圖靈實驗室資深算法專家華棠強(qiáng)調(diào)，這種新研究不僅致力于提升用戶搜索體驗，也會用在平臺內(nèi)容治理上，謹(jǐn)防黑灰產(chǎn)利用看似合規(guī)的商品圖片宣傳“禁限售”類商品。

“我們希望通過新一代安全架構(gòu)核心AI技術(shù)來守護(hù)網(wǎng)絡(luò)內(nèi)容安全，凈化網(wǎng)絡(luò)環(huán)境，也通過AI來保護(hù)數(shù)字資產(chǎn)的知識產(chǎn)權(quán)，優(yōu)化營商環(huán)境。同時也致力于通過AI來防范黑灰產(chǎn)的對抗行為，盡最大努力為商家和用戶打造更好的互聯(lián)網(wǎng)平臺。”華棠說。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。