近日
在深蘭科技的官方抖音上
發(fā)布了這樣一個(gè)視頻
這是利用人工智能技術(shù)，將電影《魔獸》中的片段轉(zhuǎn)成了動(dòng)漫的畫面。本就科幻的劇情，在動(dòng)漫場(chǎng)景下，不禁讓人重回游戲，再次走入兩個(gè)世界的種族為了各自的生存和家園奮起而戰(zhàn)的故事……
深蘭科學(xué)院的算法專家借助計(jì)算機(jī)視覺技術(shù)，基于機(jī)器學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò)（GAN），對(duì)圖像進(jìn)行了風(fēng)格遷移處理，可將真實(shí)世界的圖像直接轉(zhuǎn)換為高品質(zhì)動(dòng)漫風(fēng)格。由此，畫師便可將節(jié)省下來(lái)的大量時(shí)間，用于更多富有創(chuàng)造性的工作，從而產(chǎn)生更大的價(jià)值。而經(jīng)典老電影，也可以利用去燥、上色、轉(zhuǎn)動(dòng)畫等一系列人工智能方法進(jìn)行處理，來(lái)一次二次元的穿越，滿足人們?cè)絹?lái)越多元化的視覺需求。
真實(shí)場(chǎng)景轉(zhuǎn)動(dòng)畫
1．技術(shù)背景
漫畫是在日常生活中我們能夠廣泛接觸到的一種藝術(shù)形式。除了藝術(shù)本身之外，它的適用范圍從出版媒體到兒童教育，和其他藝術(shù)形式一樣，很多著名的漫畫形象都是基于現(xiàn)實(shí)世界的場(chǎng)景創(chuàng)作的。圖1－1展示了真實(shí)照片轉(zhuǎn)換成漫畫的效果。
圖1－1人物變卡通
為什么要把真實(shí)場(chǎng)景轉(zhuǎn)換成卡通呢？在現(xiàn)實(shí)工作中，使用卡通風(fēng)格手繪重現(xiàn)現(xiàn)實(shí)世界的場(chǎng)景是一個(gè)費(fèi)時(shí)費(fèi)力的工作，而且需要很多專業(yè)的繪畫技能。為了獲得高質(zhì)量的畫面，原畫作者必須仔細(xì)繪制每個(gè)線條，并對(duì)目標(biāo)場(chǎng)景的每種顏色區(qū)域進(jìn)行涂色。
目前看來(lái)，具有標(biāo)準(zhǔn)特征的現(xiàn)有藝術(shù)編輯軟件和算法無(wú)法產(chǎn)生令人滿意的漫畫效果。因此，如果有專業(yè)技術(shù)能夠自動(dòng)將真實(shí)世界的照片轉(zhuǎn)換為高品質(zhì)的動(dòng)漫風(fēng)格畫面，對(duì)于畫師來(lái)說(shuō)是非常有幫助的一件事：這可以為他們節(jié)省大量時(shí)間，讓他們專注于更有意義和創(chuàng)造性的工作。
以藝術(shù)方式對(duì)圖片進(jìn)行處理的研究一直是計(jì)算機(jī)視覺的熱門方向。此前的傳統(tǒng)方式通常針對(duì)特定樣式開發(fā)特定的算法。然而，這意味著需要做出大量技術(shù)上的努力才能做出模仿個(gè)人藝術(shù)家的細(xì)致風(fēng)格。而基于機(jī)器學(xué)習(xí)的風(fēng)格遷移方法，可以通過(guò)示例圖片對(duì)圖像進(jìn)行風(fēng)格化，已經(jīng)引起了很多人的關(guān)注。特別是生成對(duì)抗網(wǎng)絡(luò)（GAN）引入了循環(huán)方式訓(xùn)練，進(jìn)一步探索并提高了風(fēng)格遷移的質(zhì)量，GAN的獨(dú)特之處在于可以使用不成對(duì)照片和風(fēng)格化圖像進(jìn)行訓(xùn)練。
盡管基于學(xué)習(xí)的風(fēng)格遷移已經(jīng)有了很多成果，但最好的風(fēng)格遷移方法仍無(wú)法生產(chǎn)具有可接受質(zhì)量的漫畫風(fēng)格圖像。
究其原因：
首先，漫畫風(fēng)不是添加紋理和邊界線，而是需要從現(xiàn)實(shí)世界圖像的復(fù)雜構(gòu)造中高度簡(jiǎn)化；
其次，盡管藝術(shù)家之間風(fēng)格各異，但卡通圖像具有一些明顯共通之處：邊緣清晰、顏色遮罩平滑、質(zhì)地相對(duì)簡(jiǎn)單——這與其他形式的藝術(shù)作品截然不同。
這次我們要介紹的技術(shù)是清華大學(xué)提出CartoonGAN，一個(gè)基于GAN的全新照片漫畫化方法。該方法需要一組照片和一組漫畫圖像進(jìn)行訓(xùn)練。為了讓訓(xùn)練數(shù)據(jù)易于獲得，同時(shí)獲得高質(zhì)量的結(jié)果，我們不需要讓兩組圖像互相配對(duì)或?qū)?yīng)。從計(jì)算機(jī)視覺算法的角度來(lái)看，漫畫風(fēng)格化的目標(biāo)是將照片流型映射到漫畫流型中，同時(shí)確保其中的內(nèi)容不變。
2．技術(shù)細(xì)節(jié)
2．1 網(wǎng)絡(luò)結(jié)構(gòu)
CartoonGAN作者提出了一個(gè)專用的GAN網(wǎng)絡(luò)架構(gòu)，包括生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D，都比較直觀基礎(chǔ)，如圖2－1所示：
圖2－1CartoonGAN的生成器（上）／判別器（下）的網(wǎng)絡(luò)結(jié)構(gòu)
生成器網(wǎng)絡(luò)
生成器網(wǎng)絡(luò)G用于將輸入圖像映射到漫畫流型中。在模型經(jīng)過(guò)訓(xùn)練后，漫畫風(fēng)格化任務(wù)就可以執(zhí)行了。如圖2－1所示，G從平卷積階段開始，隨后是兩個(gè)下采樣卷積模塊，以對(duì)圖像進(jìn)行空間壓縮和編碼。隨后使用相同布局的八個(gè)殘差區(qū)塊來(lái)構(gòu)建內(nèi)容和流形特征。最后，通過(guò)兩個(gè)上卷積模塊重構(gòu)輸出的漫畫風(fēng)格圖像。
判別器網(wǎng)絡(luò)
為了與生成器網(wǎng)絡(luò)形成互補(bǔ)，判別器網(wǎng)絡(luò)D用于判斷輸入圖像是否是「真實(shí)的」漫畫圖。由于判斷圖像是否為漫畫是個(gè)要求不高的任務(wù)，因此使用D中參數(shù)較少的簡(jiǎn)單判別器。與圖像分類任務(wù)不同，漫畫風(fēng)格鑒別任務(wù)依賴于圖像的局部特征，所以判別器網(wǎng)絡(luò)D被設(shè)計(jì)得較淺。如圖2－1所示，在平層之后，網(wǎng)絡(luò)采用兩個(gè)步長(zhǎng)的卷積塊來(lái)降低分辨率并編碼用于分類的基本局部特征。隨后，使用特征構(gòu)造塊和3×3卷積層來(lái)獲得分類返回。
123下一頁(yè)>（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
