AI剪輯的“so great” 和“too weak”

原標題：AI剪輯的“so great” 和“too weak”

文|雷宇

來源|智能相對論（aixdlun）

今年世界杯迄今為止最大冷門，無疑是衛(wèi)冕冠軍德國 0:1 爆冷負于墨西哥，險些0:2甚至0:3。世界杯的魅力就是永遠會發(fā)生各種看似各種不可能的事，因此，留下了不少讓球迷津津樂道的精彩瞬間。

如何快速將這些精彩快速集合，二次引爆球迷呢？

某視頻網(wǎng)站在6月14日世界杯揭幕賽前正式發(fā)布最新“AI黑科技”—— AI直播剪輯官，參與世界杯直播精彩短視頻實時剪輯。事實上，在年初的2018足協(xié)杯資格賽上，人工智能剪輯就被運用，全部自動化完成，不需要人工操作審核，實時捕捉、實時剪輯。

不僅在體育上，AI剪輯最早是被應用在電影制作上，但是在這兩者上的應用上卻有一定的差異，并呈現(xiàn)一系列問題，下面筆者將據(jù)此進行分析。

AI剪輯體育視頻“so great”,剪輯電影就”too weak“

說起電影剪輯，不得不提王家衛(wèi)。據(jù)說他拍電影不用劇本，全靠后期剪輯。張曼玉曾在拍《花樣年華》接受記者采訪時坦言，“拍他的戲很無奈，因為你永遠不會知道他下一步會怎樣走，根本無法準備。不過，每次看完剪片，我都會有意外驚喜，很開心?！?/p>

這充分說明了剪輯在電影中的重要地位，類似于觀音菩薩捏泥人造人時，最后吹的那口讓泥人成真人的一口氣。

體育往往是肢體運動，AI 在剪輯前更多的是人臉識別和對相關動作的學習，但是電影是對白藝術，不僅是人臉識別還有語音語義識別。同時，體育運動是在既定的規(guī)則框架下進行的，AI不需要花費時間去去判斷是否犯規(guī)，而在AI剪輯電影前，需要判斷表演的好壞和拍攝的質量，還要能識別出穿幫鏡頭。二者的難度系數(shù)可想而知。

因此，AI剪輯現(xiàn)階段在體育領域的使用會遠遠高于在在電影領域的使用，在電影剪輯里，它更多的是作為一個輔助者。

早前IBM的人工智能系統(tǒng)Watson曾為電影《Morgan》剪輯預告片，詳情戳https://v.qq.com/x/page/n0353003wy9.html。

具體流程是先給Watson看100部恐怖電影預告片，準確的說，是這些影片的切割片段或單獨場景。Watson對這些預告片進行了畫面、聲音、創(chuàng)作構成的分析，并標記上對應的情感。隨后，工作人員將電影《Morgan》導入，Watson迅速挑出了其中10個場景組成了一段長達6分鐘的影片。最后在剪輯師的幫助下，這些鏡頭被剪輯成最終的成片。

該預告片談不上優(yōu)秀，甚至有點“土”而無“味”。但是在營銷和制作周期上的意義影響深遠，本應10天到1個月的制作周期縮減到了24小時，獲得了極大的曝光。除此之外并沒有特別的意義，《Morgen》于2016年上映，在此之后鮮少聽聞有電影用人工智能做預告片。

AI剪輯更多是“成品“不是”作品“

據(jù)說戰(zhàn)地記者在拍攝的時候，有時候會因為不熟悉情況沒法獲取一手資料，而這個時候如果托當?shù)厝巳ヅ臄z就會容易得多。對看新聞的人而言，他們不會太關心這段視頻是不是抖動得厲害，畫質是否不清晰，只要這個新聞事件被完整呈現(xiàn)。

顯然對很多球迷而言，呈現(xiàn)的意義比創(chuàng)作更大。能及時看到世界杯的進球和精彩合集是最重要的，再配上足夠激動人心的音樂，球迷并不會在意其他。

2018賽季NBA總決賽塵埃落定后，有視頻網(wǎng)站實時上線了《杜蘭特11年精彩回顧》。球迷對這部片子的要求不亞于對一部電影的標準，但是捫心自問，它絕對算不得一部精彩的剪輯，全程節(jié)奏平淡，層次感不清晰，看完內心毫無波瀾。好的剪輯可以直戳人心，而AI剪輯顯然和優(yōu)秀的剪輯師還有一段距離，AI剪輯的僅僅是“成品”而不是“作品”。

AI剪輯的發(fā)展軌跡

影視剪輯不僅重要，而且比較程式化，非常耗時。而 AI 的加持無疑有利于提升剪輯視頻的效率，智能相對論（aixdlun）的分析師雷宇認為，AI剪輯大體按照以下三個運行軌跡發(fā)展。

第一步：畫面識別，縮短素材收集時間

這是AI對視頻最基礎的認知，這里的 AI 識別的主要是辨認視頻畫面中的對象。以世界杯為例，主要就是對高速運動下的球星人臉實時定位與檢測，如這段視頻幾秒至幾秒出現(xiàn)的球星是梅西，這一段是阿圭羅等，并能將他們的視頻提取出來。

2016年Miles Deep 則使用了特殊的深度卷積神經(jīng)網(wǎng)絡，可以取其精華去其糟粕，更方便你看小黃片。它可以移除所有不包含性接觸的場景，或者編輯去掉一種特定的性行為，是一個很好用的色情視頻分類或編輯工具。大家應該都沒什么興趣，但是還是可以戳https://github.com/ryanjay0/miles-deep學習一下。

另一方面，有數(shù)據(jù)顯示，2025年全球數(shù)據(jù)量將達到163ZB ，這對人來說整理視頻數(shù)據(jù)將越來越麻煩，但對AI來說，已經(jīng)能夠輕松做到從全網(wǎng)提取出包含特定關鍵詞內容的視頻片段，并截取出來統(tǒng)一進行分類整理，這一步的AI類似于一個小秘書。

第二步：理解鏡頭語言，學習人類的鏡頭剪輯

AI需要對視頻的理解深入到鏡頭的內容及鏡頭語言的運用，學習剪輯規(guī)則，通過深度學習模仿人類的剪輯技巧，實現(xiàn)基本的剪輯。如在世界杯中，它需要準確識別進球、射門、角球、紅牌、黃牌、慶祝等多種動作，模仿人自動剪輯出進球、射門、犯規(guī)、過人等精彩片段。

以我們常常吐槽的制作粗糙的網(wǎng)絡劇為例，素材和成片比例大概是10：1，剪輯師剪輯起來可能不那么耗費精力。但是真人秀節(jié)目就不同了，素材與成本的比例非常驚人，例如《爸爸去哪兒》攝制組共有40多個機位，大全景、大特寫、小全景等多個景別同時開拍，每集90分鐘的節(jié)目都有1000多小時的素材。如何前期從幾十臺機位的素材中快速找到最終剪輯需要的鏡頭，是相當費時費力的過程，而AI 的使用可以輔助人篩選，最終簡化這一流程。

第三步：在某種程度上替代人，做一些具有創(chuàng)造性的活。

這要求AI能自行能夠理清素材間的聯(lián)系，根據(jù)學習的鏡頭組接規(guī)則，面向特定目標自動進行視頻的剪輯。經(jīng)典好萊塢電影拍攝手法，一般是拍攝一個遠景作為主鏡頭，然后再分別拍攝特寫鏡頭、反應鏡頭、切入鏡頭和切離鏡頭，最后剪輯師依據(jù)需求進行剪輯。

一個來自斯坦福大學和Adobe公司的AI便能夠自行同步相同場景的錄像。然后自動識別和分析演員所體現(xiàn)出的人物形象，最后根據(jù)導演對風格的要求，AI依據(jù)數(shù)據(jù)庫里較為成熟的剪輯風格和鏡頭語言對錄像進行自動選擇和組裝。

圖為四種不同形式的剪輯

它僅僅3秒鐘就剪出了一個71s的視頻，而一個經(jīng)驗豐富的剪輯師可能需要好幾個小時。但是剪輯質量如何，最關鍵的地方卻沒有細說，很微妙。

結尾

毫無疑問，AI剪輯已經(jīng)越來越廣泛滲入到了文體產(chǎn)業(yè)，從第一部電影誕生至今，電影影視工業(yè)不斷的走向成熟和便捷。剪輯因早一批的剪輯師用剪刀剪斷錄像膠卷后拼接成像而得名，隨著電影電視數(shù)碼化，剪輯師的工具從剪刀變成了電腦，AI剪輯讓剪輯師手里的工具更加的方便，利于他們創(chuàng)作出更多更優(yōu)秀的作品。

但是，在讓剪輯師更加便捷工作的同時，也讓剪輯師的職業(yè)門檻不斷降低，越來越多的人可以制作視頻，電影電視的制作周期可能會更短，至于質量？粉絲買單就成。

【完】

智能相對論（微信id:aixdlun）：深挖人工智能這口井，評出咸淡，講出黑白，道出vb深淺。重點關注領域：AI+醫(yī)療、機器人、智能駕駛、AI+硬件、物聯(lián)網(wǎng)、AI+金融、AI+安全、AR/VR、開發(fā)者以及背后的芯片、算法、人機交互等。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。