近日，在人工智能國際會議 (IJCAI) 舉辦的2020 iCartoonFace挑戰(zhàn)賽中，騰訊優(yōu)圖實驗室基于自研的“千尋”檢測平臺，首次提出面向動漫場景的卡通臉檢測算法ACFD，并從國內(nèi)頂尖學(xué)術(shù)機(jī)構(gòu)和商業(yè)公司中脫穎而出，取得第一名的成績。目前，論文已在arXiv公開。
優(yōu)圖提出的ACFD算法在IJCAI2020舉辦的iCartoonFace挑戰(zhàn)賽中排名第一
卡通臉檢測廣泛使用在內(nèi)容審核和動漫視頻分析等業(yè)務(wù)場景中，現(xiàn)有的DSFD等通用人臉檢測器難以檢測到一些特定場景下的人臉，因此，優(yōu)圖首次提出一種面向動漫場景的非對稱卡通臉檢測器ACFD。ACFD是一種基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)，屬于一階段帶有錨點框的檢測方法，輸入一張卡通圖片，ACFD便可以輸出卡通圖片中卡通臉的位置(x,y,w,h)以及對應(yīng)的置信度。
本次，優(yōu)圖提出的ACFD檢測算法推理速度僅為50ms且無需任何預(yù)訓(xùn)練模型，能夠檢測出動漫視頻作品中的較為抽象的卡通臉：如機(jī)器人臉，類動物臉，玩具臉，簡筆畫臉，表情臉等。
不同于含有端正五官的正常人臉，卡通臉種類豐富，人物抽象。最為常見的有類動物臉，機(jī)器人臉，還有一些表情臉。針對這些特點，優(yōu)圖提出非對稱卡通人臉檢測算法ACFD，復(fù)用了一些經(jīng)典的人臉檢測器的框架，并作出創(chuàng)新性的改進(jìn)。
ACFD包括四個部分：用來對卡通圖提取6個特征圖的主干網(wǎng)絡(luò)VoVNetV3，對高低特征融合的非對稱的雙向特征金字塔結(jié)構(gòu)ABi-FPN，動態(tài)錨點框匹配DAM和基于間隔的損失函數(shù)MC loss。
VoVNet是一種計算高效的骨干網(wǎng)絡(luò)，其OSA模塊可以輸出靈活的特征表達(dá)。VoVNetV2通過添加殘差連接方式解決了VoVNet訓(xùn)練的局限性，同時引入一種高效的注意力機(jī)制。
為進(jìn)一步提升特征的靈活性，優(yōu)圖提出了一種更有效的骨干網(wǎng)絡(luò)VoVNetV3。VoVNetV3在不使用預(yù)訓(xùn)練模型情況下，在較為抽象的動漫場景中表現(xiàn)優(yōu)異，相比于ResNet50，VoVNetV3能夠?qū)z測指標(biāo)AP (Average Precision) 從0.9018提升至0.9074。
在提取多尺度特征時，目前大部分人臉檢測器采用ResNet或VGG。然而，它們僅僅可以處理方形感受野的，這可能會影響尺度差異較大的人臉檢測。而卡通人臉中大約有10%的比例大于2.0或小于0.5.
優(yōu)圖提出的ABi-FPN模塊同時進(jìn)行特征融合、語義信息增強(qiáng)以及感受野精細(xì)處理，它可以使特征感受野更靈活。
為了在檢測任務(wù)中更好的劃分并分類正負(fù)樣本，也就是卡通臉和背景兩個類別，ACFD將傳統(tǒng)的錨點框匹配過程改進(jìn)為動態(tài)的錨點框匹配(DAM)，在訓(xùn)練的每次前向傳播后，對于困難的卡通臉用一些負(fù)樣本進(jìn)行錨點框的補償。這種動態(tài)的錨點框匹配能將baseline的AP指標(biāo)由0.8765提升至0.8890。
動態(tài)的錨點框匹配策略DAM
在訓(xùn)練的過程中使用的多任務(wù)損失函數(shù)，包括回歸loss和分類loss。損失函數(shù)對補償?shù)腻^點框計算出的loss進(jìn)行了加權(quán)，并且在分類loss中引入了margin。優(yōu)圖提出的基于margin損失函數(shù)MC loss最終將AP提升了0.3。
卡通臉檢測是許多業(yè)務(wù)的基礎(chǔ)和關(guān)鍵環(huán)節(jié)，廣泛使用在內(nèi)容審核和動漫視頻分析兩個典型的場景中：
互聯(lián)網(wǎng)上源源不斷產(chǎn)生海量內(nèi)容和數(shù)據(jù)，AI算法審核可以提升內(nèi)容審核效率，降低審核成本。比如AI可以在電商平臺、新聞、視頻網(wǎng)站、短視頻應(yīng)用上檢測識別知名IP形象的使用是否侵權(quán)。
動漫產(chǎn)業(yè)蓬勃發(fā)展，每年會產(chǎn)生大量的卡通視頻。使用AI幫助檢測卡通臉，理解卡通人物的人臉信息來進(jìn)行動漫視頻的分析。
作為騰訊旗下頂級AI實驗室之一，優(yōu)圖一直聚焦視覺AI研究與落地，并積極拓展卡通臉等相關(guān)智能識別能力，為新聞平臺、視頻網(wǎng)站、短視頻應(yīng)用等業(yè)務(wù)提供技術(shù)支持和解決方案，讓AI視覺識別提升應(yīng)用效率。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
