費用平價走醫(yī)保，林志穎3D人臉重建手術(shù)方案有啥看點丨亮見04期

劃重點

什么是3D人臉重建技術(shù)？本質(zhì)上是通過2?D的圖像合成3D數(shù)據(jù)，或者直接3D掃描，之后再進(jìn)行面容修復(fù)。

重建的價格貴嗎，普通人是否消費得起？多數(shù)外傷，腫瘤相關(guān)的面部重建手術(shù)都是有醫(yī)保進(jìn)行覆蓋，大眾都可以受惠。

3D人臉重建效果怎么樣？基本能夠維持在95%的復(fù)原度。

AI換臉、整形與3D人臉重建有什么關(guān)聯(lián)？AI換臉注重二維的技術(shù)實現(xiàn)，整形更側(cè)重于3D技術(shù)應(yīng)用，利用3D技術(shù)的一些優(yōu)勢實現(xiàn)面部改善。

3D人臉重建技術(shù)未來還會有其他領(lǐng)域用到嗎？手機攝像頭面部解鎖、數(shù)字人等領(lǐng)域都有相關(guān)技術(shù)應(yīng)用的案例。

概述

林志穎車禍?zhǔn)录屓硕笸髧@息，事故發(fā)生后，面部受損的他如何修復(fù)容貌，成為外界關(guān)注的話題之一。

好的消息是，醫(yī)院正在評估利用科技力量進(jìn)行3D臉部重建，以幫助他走過事故陰霾。

醫(yī)學(xué)上3D臉部重建簡單來說就是將骨折移位的骨段復(fù)位，面部重建，先用3D打印受傷的面部樹脂結(jié)構(gòu)，進(jìn)行模擬復(fù)位重建，恢復(fù)面部骨性結(jié)構(gòu)，用鈦板等將其固定。

據(jù)了解，這項技術(shù)在國外已有成熟發(fā)展，在游戲和電影工業(yè)領(lǐng)域都有廣泛應(yīng)用，那么3D人臉重建技術(shù)究竟有何看點，又有什么玄機？

以下是直播實錄精華版內(nèi)容：

01

先獲取3D人臉數(shù)據(jù)，再進(jìn)行面容修復(fù)

劉興亮: 林志穎在遭遇車禍后，據(jù)說面部受損比較嚴(yán)重，好在目前醫(yī)院的消息說，可以通過3D重建的技術(shù)幫助他修復(fù)面容。?首先，我想請汪老師來給我們科普一下到底什么是3D重建技術(shù)，目前這個技術(shù)有哪些不同的類型？

*基于3DMM模型的參數(shù)化學(xué)習(xí)方法

汪鋮杰: 3?D重建技術(shù)從計算機視覺領(lǐng)域來講，本質(zhì)上是通過人臉深度信息或2?D的圖像來有效還原人臉的3?D信息，最后完成面容修復(fù)。一般，它分為兩種類型，第一種是它借助一些專業(yè)的設(shè)備，能夠獲取深度，類似于3D掃描儀等等。另外一類主要是輸入一張或者多圖片，通過一些算法來恢復(fù)出3D效果。像現(xiàn)在這種從圖片恢復(fù)3D，一般主流的有兩種，一種是偏傳統(tǒng)學(xué)的3?DMM來做，另外是深度學(xué)習(xí)用神經(jīng)渲染的網(wǎng)絡(luò)來完成。

劉興亮: 我理解的就是一種要3?D掃描，另外一種就是拿現(xiàn)成的圖片去做。醫(yī)學(xué)領(lǐng)域的3D重建技術(shù)有哪些應(yīng)用？

張杰: 3D重建技術(shù)在醫(yī)學(xué)應(yīng)用非常廣泛。比如經(jīng)常應(yīng)用的CT檢查，就可以進(jìn)行3D重建。一般情況下骨折裂縫或者一些病變時進(jìn)行3D重建，可以很直觀的看出來病變的地方、?形狀。另外我們在做手術(shù)設(shè)計時，會實驗設(shè)計打印出3?D的樹脂模型，在上面進(jìn)行拼接。尤其一些腫瘤患者在切除腫瘤后容貌會受損，我們進(jìn)行修復(fù)，用鏡像技術(shù)來觀察沒有切除的部分，以此評估患者兩側(cè)的對稱度。所以說3D技術(shù)在我們領(lǐng)域里應(yīng)用非常廣泛，是我們每天工作中都要接觸到的。

劉興亮: 除了騰訊優(yōu)圖實驗室以外，市面上還有哪些知名的企業(yè)在研究3D重建技術(shù)，這個技術(shù)的壁壘到底是在什么地方？

汪鋮杰: 其實這個3?D技術(shù)在很多場景里面都有應(yīng)用，所以從事這一塊技術(shù)研究的公司不少。比如我們?nèi)粘Ｉ钪薪?jīng)常接觸的掃臉面容識別。在登錄的過程中，為了去保證識別的精度，?手機前置攝像頭就有3D掃描儀。另外是互動型的app或者視頻的軟件里面也會涉及到的3D重建，比如騰訊會議中的頭飾就是合成效果，3D人臉的重建在這個過程中就已經(jīng)完成。

*3D重建在騰訊會議頭飾功能上的應(yīng)用

另外3D技術(shù)的應(yīng)用還和影視制作相關(guān)，當(dāng)我們要去塑造或者改變形象，為了保持視覺的真實感，就需要從3D的角度去做修整，用于獲得更自然的效果。

02

若只有骨骼受損，林志穎容貌能完好修復(fù)

劉興亮: 林志穎的顏值能不能通過3D重建技術(shù)真的實現(xiàn)修復(fù)？?

張杰: 我認(rèn)為沒有問題，因為我沒看到具體的照片，我們?nèi)粘Ｋ吹絿?yán)重的面部骨折情況主要有兩個原因：?一是交通傷，二是高墜傷。這里面主要是涉及兩方面的問題：第一方面就是骨組織的骨折，因為面部骨組織特別復(fù)雜。有上頜骨，下頜骨，顴骨，眼眶等等，即使它粉碎的很厲害，我們也會將其復(fù)原。如果骨組織不缺損，我們基本上可以達(dá)到比較完美的解剖復(fù)位，很多時候應(yīng)用的切口也是非常隱蔽的切口，一般很多是從口內(nèi)切口，這樣會比較美觀。最重要的是皮膚損傷，因為皮膚外傷缺損需要復(fù)原，復(fù)原要用新的組織來重新把它代替，這個會影響外觀。如果是僅為骨組織受損，我認(rèn)為是可以復(fù)原。

*林志穎受傷現(xiàn)場及本人日常照片，圖片源自網(wǎng)絡(luò)。

汪鋮杰: 那從我的角度來看，?這個問題是個醫(yī)學(xué)問題，因為我們做3D重建其實主要偏向面部表面的重建。?從本質(zhì)上來講，在我們這個學(xué)科里，其實它不涉及到內(nèi)部骨骼組織。我們所說的借助3D掃描設(shè)備或者圖像來恢復(fù)，本質(zhì)上來講它都是做的皮膚表面。?所以從我們的角度來講，可能只是為醫(yī)學(xué)過程做一些有參考價值的東西。

劉興亮: 可以給我們科普一下人臉3D重建的流程是什么樣的？成本高不高，是否在我們普通人承受范圍內(nèi)。?

汪鋮杰: 首先，3D重建的方法比較多，但是目前主流的方法基本上都是用機器學(xué)習(xí)的方式來做，那我們可以通過一些原始數(shù)據(jù)的學(xué)習(xí)，得到訓(xùn)練以后的模型，后面這個模型就具備了從2D圖片到3D的過程。那么像現(xiàn)在比較前沿的技術(shù)，其實是自監(jiān)督學(xué)習(xí)的方式，自己監(jiān)督自己，從一張2?D的圖片到3D，?再從3D投影回2D，?兩個2D的圖片再去做比較，?我們學(xué)術(shù)上叫它損失函數(shù)，再通過這種傳遞的方式去訓(xùn)練這個模型。對成本而言，如果要求高精度，肯定會有研發(fā)門檻，其實我們團(tuán)隊一些比較資深的研究員也在努力去改善這個技術(shù)的效果，現(xiàn)在基本能夠做到影視級別，它主要還是在研發(fā)階段的成本會比較大，到投入使用的階段，成本其實就不會很大。?從時間的角度來講，就是幾秒鐘的時間。

之前在計算機視覺領(lǐng)域的CVPR會議上發(fā)布的一篇文章就是講這個領(lǐng)域的內(nèi)容，現(xiàn)在的算法框架是支持任意多張圖片輸入的，一張或者兩三張都可以。?一般來講圖片的數(shù)量多一些，效果會更好，但輸入照片盡量是同時期的。

03

費用平民化，醫(yī)保能報銷

劉興亮: 接下來想問一下張醫(yī)生，現(xiàn)在人臉3D重建手術(shù)的流程是什么樣的？做這種手術(shù)成本有多高？我們普通人能夠消費嗎？

張杰: 3D重建技術(shù)目前在醫(yī)學(xué)中非常普遍。比如說骨折，我們會通過患者頭部CT來觀察骨折部位，導(dǎo)出數(shù)據(jù)給到承接3D重建任務(wù)的公司，幫助我們打印出樹脂模型，最后參照樹脂模型模擬手術(shù)過程，在骨折處重新拼接到原始狀態(tài)。我認(rèn)為這對手術(shù)的幫助還是非常大的，尤其是復(fù)雜的骨折手術(shù)或者腫瘤修復(fù)重建手術(shù)，用處非常廣泛，費用不高，?老百姓絕對也承擔(dān)得起。

我們現(xiàn)在骨折的手術(shù)，專門有團(tuán)隊承擔(dān)，在腫瘤方面，面部上頜骨或者下頜骨的腫瘤切除后，我們需要用其他部位的骨頭，如腓骨，髂骨進(jìn)行修復(fù)重建，恢復(fù)患者的外形和功能。腫瘤切除后患者的功能和生活質(zhì)量恢復(fù)非常重要，比如腹部的手術(shù)，切開以后要主要考慮胃腸功能，外形可能沒那么重要，但是面部不一樣，如果將面部組織切除后，就要進(jìn)行缺損修復(fù)，讓患者擁有好的外形和生活質(zhì)量。

劉興亮: 林志穎本次手術(shù)費估計要花費多少錢？

張杰: 因為具體不清楚骨折程度，手術(shù)費用定價比較合理。具體到手術(shù)，一般會采用小鈦板進(jìn)行骨折斷端固定，鉚住骨折部位不讓其松動，六個月以后骨折愈合后，我們再通過手術(shù)將小鈦板取出，費用則是根據(jù)鈦板的使用數(shù)量來劃分，國產(chǎn)與進(jìn)口的價格也不同，依據(jù)材料而定。這類醫(yī)藥費也都是醫(yī)保覆蓋，價格方面老百姓也完全可以承受。

04

“換一張20歲的臉”要靠整形

劉興亮: 目前我們的3D重建效果怎么樣？林志穎可能能恢復(fù)到多少？

汪鋮杰: 從技術(shù)的角度來講，我們會去做量化評估。如果進(jìn)行重建，重建后的平均誤差與真實表面的誤差需達(dá)到一毫米到兩毫米，當(dāng)然這是偏學(xué)術(shù)的指標(biāo)。實際上普通人可能更關(guān)心重建后，通過觀察3D網(wǎng)格形狀能不能辨認(rèn)出重建模型。我們之前在內(nèi)部做過一輪實驗，通過重建3D模型，讓人們?nèi)ゲ聹y重建的人物是誰，結(jié)果發(fā)現(xiàn)有百分之七八十的概率能夠猜對。當(dāng)然這也和外貌、長相也有一定的關(guān)系，因為有一些人長相偏近于平均臉，猜測的難度相對較大。林志穎的臉部也是比較有特色，重建出來大部分還是能夠辨認(rèn)得出。

張杰: 我認(rèn)為從醫(yī)學(xué)的角度，我們會先給他進(jìn)行復(fù)位，先將輪廓搭起，但是比較重要的還是軟組織的恢復(fù)，因為人臉下面有皮膚肌肉等等，尤其是面部表情肌的附著在修復(fù)過程中，盡管最后完成修復(fù)，但效果可能并不會特別好。不過，恢復(fù)95%應(yīng)該是沒有問題，但是小表情或者個別精細(xì)的部位，可能還是和術(shù)前有不少的差異。

劉興亮: 3D重建技術(shù)我們可以通過圖片進(jìn)行3D建模，如果我是林志穎，我是不是可以選擇通過特定圖片恢復(fù)到二三十歲的樣子，這個承接技術(shù)上有沒有什么障礙？

汪鋮杰: 因為現(xiàn)在技術(shù)本質(zhì)上是接收輸入圖片，只要某個時間點的照片是完備的，那就可以基于圖片進(jìn)行3D還原。一些影視劇，它整個故事線可能會比較長，有20歲的故事情節(jié)，也有40歲的故事情節(jié)。我們的技術(shù)是可以實現(xiàn)從現(xiàn)在的狀態(tài)遷移回20歲。如果和醫(yī)學(xué)角度相比復(fù)雜度不在一個維度，AI技術(shù)從場景區(qū)別上還是要簡單一些。

張杰: 這是很大的問題，除了水平的問題，還涉及到抗衰老的概念。想恢復(fù)到20年前，雖然成年以后，骨頭不再發(fā)育，但變化的主要是軟組織，受重力影響，膠原蛋白流失，皮膚不斷下垂，出現(xiàn)皺紋等等，并不是說想恢復(fù)到20歲就可以恢復(fù)到20歲，這需要大量金錢的投入。

劉興亮: 在影視作品中，即使林志穎在面部修復(fù)后有差距，但根據(jù)后期的技術(shù)在此基礎(chǔ)上進(jìn)行復(fù)原呈現(xiàn)給大家有沒有問題？

汪鋮杰: 這類技術(shù)稱為內(nèi)容生成類技術(shù)，其本身具備學(xué)習(xí)能力，通過學(xué)習(xí)某個演員20歲時的狀態(tài)，包括面部的結(jié)構(gòu)、面部的紋理，都可以學(xué)習(xí)，完成后就可以遷移到現(xiàn)在的影視作品中，從視覺上來看相當(dāng)于回到最初的模樣。

05

AI換臉、整形和3D重建的關(guān)系

劉興亮: 現(xiàn)在一些影視劇會利用AI換臉來進(jìn)行角色替換，是不是也利用到這個技術(shù)？整形和3D重建技術(shù)有什么區(qū)別呢？兩者可以劃等號嗎？

汪鋮杰: AI換臉與3D人臉重建還是有區(qū)別的，現(xiàn)在普通的AI換臉還是能夠看出明顯的瑕疵或者效果，不是很自然，有時候會出現(xiàn)面部五官改變，但是輪廓沒有改變的情況。

影視領(lǐng)域，對面貌相關(guān)處理技術(shù)的要求比較高，需要技術(shù)和人共同配合。

隨著現(xiàn)在技術(shù)的發(fā)展，3D重建相關(guān)技術(shù)愈加成熟能夠很好的幫助電影制作者去發(fā)揮想象力，借助這些技術(shù)可以突破年齡變化等難題，從而專注在創(chuàng)意之中。

張杰: 整形是一個大類別屬于頜面外科，在我們醫(yī)院也是非常重點的一個科室。

現(xiàn)在人們生活條件提高，比如地包天或者小下巴，還有因為疾病導(dǎo)致腫瘤或面部偏斜，都是有條件通過整形手術(shù)來改善。借助3D的設(shè)計模型改變患者容貌，讓它符合大眾的審美的，增強患者的社會認(rèn)同感和自信心，這類手術(shù)就需要3D技術(shù)的運用，現(xiàn)在這類手術(shù)很熱門，而且是自費進(jìn)行。

06

3D重建在手機、數(shù)字人等領(lǐng)域已廣泛應(yīng)用

劉興亮: 今天所講的3D重建技術(shù)是在醫(yī)學(xué)領(lǐng)域。那除了醫(yī)學(xué)領(lǐng)域還有什么其他領(lǐng)域可以應(yīng)用？或者有相關(guān)的經(jīng)典應(yīng)用案例跟我們分享一下。

汪鋮杰: 3D技術(shù)的應(yīng)用場景很多，實際上這些場景都會去設(shè)計類似于偏娛樂互動型的3D應(yīng)用，當(dāng)然我們重點還是影視級的3D技術(shù)，也可以借助3D的重建去幫助藝術(shù)工作者“讓一個胖的人怎么變瘦”，未來算法也可以自動在影視作品中實現(xiàn)更多的可能。3D很多時候其實是隱藏在內(nèi)部，為其他顯式型技術(shù)提供支撐。

比如手機的人臉識別解鎖功能，也是通過3D掃描設(shè)備或者重建技術(shù)實現(xiàn)的。手機里面存在的3D模型，當(dāng)你去解鎖手機，兩個模型會去進(jìn)行比較，觀察是不是同一人。當(dāng)我們設(shè)置人臉解鎖時會讓我們轉(zhuǎn)動頭部，轉(zhuǎn)動的過程實際上就是在做3D的重建。

*LAP人臉3D重建(最右)效果與其他方案面部處理細(xì)節(jié)對比

我們現(xiàn)在很多技術(shù)，它可能在2D層面，如果加上3D信息，效果會明顯更好。舉個例子，我們?nèi)プ鋈四樀拿阑蛘呙缞y，其實在2D層面它可以完成，如果我們引入3D重建的信息就會更好。借助3D重建的技術(shù)，給演員去加妝容，3D就會顯得比較自然。

另外是整個行業(yè)中做比較多的數(shù)字人，它的數(shù)字虛擬過程，實際上就是3D技術(shù)在作用。比如我們想讓數(shù)字人去做一些表情或者唇部的動作，那么背后都有3D重建和3D驅(qū)動的技術(shù)在其中，如果想要數(shù)字人更真實、對話更自然，這都離不開3D技術(shù)的提升。

張杰: 這個數(shù)字人有什么用嗎？

汪鋮杰: 我們很多的行業(yè)中存在客服接待員成本的情況，客服通過網(wǎng)絡(luò)進(jìn)行處理接待，在這個過程中有客服真人去通過視頻或者語音與用戶進(jìn)行交流，它的問題在于人力成本會比較高，而且耗費時間會比較長。但數(shù)字人是可以實現(xiàn)與真人交流的這種體驗，并且不會發(fā)生資源等待、資源不足的情況。

劉興亮: 那我們在醫(yī)學(xué)領(lǐng)域可能還有什么方面會用到這個3D重建的技術(shù)？

張杰: 3D打印。通過3D打印硬組織修復(fù)人骨缺損，在遇到不規(guī)則型的修復(fù)部分，我們就需要設(shè)計完成后通過3D金屬打印修復(fù)體，直接進(jìn)行貼合修復(fù)。成品很規(guī)范，按照鏡像進(jìn)行設(shè)計?，F(xiàn)在醫(yī)學(xué)上也在做髖關(guān)節(jié)、頸椎的3D打印，逐漸的實現(xiàn)個性化的發(fā)展，這也是3D打印的大趨勢。而且醫(yī)院也有AR和VR的技術(shù)在手術(shù)過程中進(jìn)行實時的輔助，來實現(xiàn)計算機方面的技術(shù)需求。

劉興亮: 假如說兩位老師以后合作，能給對方提供什么支持呢？

張杰: 人工智能學(xué)習(xí)這方面，我們也進(jìn)行了不少題目研究，包括智能勾畫技術(shù)或者借助3D照相評估手術(shù)程度，可以幫助我們后期進(jìn)行經(jīng)驗積累。

*基于研究生成式對抗網(wǎng)絡(luò)GAN和3D技術(shù)的AI生成內(nèi)容方案

汪鋮杰: 主要現(xiàn)在AI可以完成很多任務(wù)，現(xiàn)在研究比較熱的概念叫對抗生成網(wǎng)絡(luò)，它可以完成生成式的任務(wù)。舉個例子，比如影視領(lǐng)域里有一張圖片，中間因為遮擋導(dǎo)致出現(xiàn)內(nèi)容空缺，算法技術(shù)則可以通過AI對該場景的理解將空缺部分彌補。

之前所提到的3D補缺骨組織，那機器未來說不定可以實現(xiàn)依據(jù)過往經(jīng)驗自動生成缺失部分。騰訊優(yōu)圖實驗室有提供機器學(xué)習(xí)的平臺Tione，可以根據(jù)各個行業(yè)自身所存在的一些問題，通過平臺學(xué)習(xí)來解決，我們也在嘗試將AI的能力進(jìn)行通用化或者平臺化，給到各行各業(yè)。像醫(yī)學(xué)CT領(lǐng)域，在細(xì)節(jié)的信息輸入上會更豐富一些，從AI模型學(xué)習(xí)角度來看，也會更容易一些，我相信AI在未來可以實現(xiàn)張杰老師希望有的技術(shù)和功能支持。

生成海報

免責(zé)聲明：此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評論性文章，所有文字和圖片版權(quán)歸作者所有，且僅代表作者個人觀點，與極客網(wǎng)無關(guān)。文章僅供讀者參考，并請自行核實相關(guān)內(nèi)容。投訴郵箱：editor@fromgeek.com。

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。