vivo影像技術(shù)分享會——影像白皮書

原標(biāo)題：vivo影像技術(shù)分享會——影像白皮書

目錄

V1芯片 解鎖影像的硬件級算法時代

• 需求在變，vivo對專業(yè)芯片的思考一直未變
• 定制化芯片V1，助力主芯片影像效果
• V1芯片特性：專業(yè)影像芯片，與主芯片協(xié)作，效果體驗(yàn)兼容兼得
• 將旗艦級桌面電腦吞吐能力搬到手機(jī)中
• V1創(chuàng)新算法輔助并強(qiáng)化主芯片的夜景影像效果
• 實(shí)時預(yù)覽：能力越強(qiáng)，能耗越低

器件優(yōu)化提升 “vivo蔡司聯(lián)合影像實(shí)驗(yàn)室”的極致追求

• 玻璃鏡片——不僅是手機(jī)行業(yè)天花板，更是專業(yè)鏡頭的翹楚
• 超高透玻璃鏡片——高透光率、超低色散、熱穩(wěn)定強(qiáng)
• AOA動態(tài)光學(xué)校準(zhǔn)工藝——保證光學(xué)品質(zhì)
• 多重鍍膜抑制眩光鬼影，與蔡司共同樹立行業(yè)高標(biāo)準(zhǔn)
• SWC鍍膜技術(shù)——提升影像純凈度
• ALD鍍膜工藝——0.4納米均勻分布膜層降低反射率
• 色素旋涂工藝——有效濾除花瓣鬼影

算法 拓寬移動影像發(fā)展之路

• 蔡司自然色彩，打造專業(yè)色彩表達(dá)
• 蔡司人像風(fēng)格，在手機(jī)上復(fù)刻經(jīng)典
• 還原鏡頭成像深度——3D-POP虛化效果
• 還原口徑蝕——建立像場分布模型
• 還原每個光斑——建立濾波核生成技術(shù)模型
• 更多功能，實(shí)現(xiàn)多維度影像體驗(yàn)

引領(lǐng)硬件級算法時代 不給場景設(shè)限、不給人設(shè)限、不給影像設(shè)限

• 自研芯片引領(lǐng)手機(jī)影像行業(yè)下一個時代——“硬件級算法時代”
• 手機(jī)影像為用戶帶來場景、人、影像的無界體驗(yàn)

V1芯片 解鎖vivo影像的硬件級算法時代

• 需求在變，vivo對專業(yè)芯片的思考一直未變

隨著手機(jī)攝影向生產(chǎn)力工具的演變、消費(fèi)者拍攝需求的增加，手機(jī)的計(jì)算能力面臨運(yùn)算量大和高能耗的問題。尤其是在復(fù)雜光源的夜景以及拍攝視頻時，運(yùn)算量呈指數(shù)級增長，對手機(jī)的算力提出了更高的要求。

傳統(tǒng)的軟件解決方案，并不能很好的滿足這一需求。

同時，vivo在引入專業(yè)芯片升級用戶體驗(yàn)上積累了大量經(jīng)驗(yàn)：在vivo X1、X Play中，vivo就將定制Hi-Fi芯片放入手機(jī)，提升手機(jī)行業(yè)的音頻體驗(yàn)。到2017年，vivo將定制的DSP圖像芯片放入到X9 Plus中，提升整個手機(jī)行業(yè)的影像HDR表現(xiàn)。

最終定制化芯片，成為了最終的解決辦法：通過自研影像芯片與主芯片軟件算法協(xié)作，實(shí)現(xiàn)軟硬結(jié)合，改善用戶的影像體驗(yàn)。還原眼之所見、超越眼之所見。

• 定制化芯片V1，助力主芯片影像效果

通過與手機(jī)SoC廠商深度合作，vivo完成了首顆自主研發(fā)的專業(yè)影像芯片：V1芯片。完整項(xiàng)目研發(fā)歷時24個月，投入研發(fā)團(tuán)隊(duì)超300人，V1芯片自身也擁有高算力、低時延、低功耗的特性。

• V1芯片特性：專業(yè)影像芯片，與主芯片協(xié)作，效果體驗(yàn)兼容兼得

V1是由vivo主導(dǎo)開發(fā)的，服務(wù)高速計(jì)算成像的專業(yè)影像芯片，是一顆全定制的特殊規(guī)格集成電路芯片。在整體影像系統(tǒng)設(shè)計(jì)中，V1可搭配不同主芯片和顯示屏，起到擴(kuò)充ISP高速成像算力，釋放主芯片ISP負(fù)載的作用，同時服務(wù)用戶拍照和錄像的需求，兼容兼得。

在既定的業(yè)務(wù)下，V1既可以像CPU一樣高速處理復(fù)雜運(yùn)算，也可以像GPU和DSP一樣，完成數(shù)據(jù)的并行處理。但不同的是，V1芯片在處理特定任務(wù)時具有高性能，低功耗的特點(diǎn)。面對大量的復(fù)雜運(yùn)算，V1在能效比上相比DSP和CPU有指數(shù)級提升。

• 將旗艦級桌面電腦吞吐能力搬到手機(jī)中

V1芯片具備超低能耗優(yōu)勢，為實(shí)現(xiàn)其同期處理能力最大化，vivo創(chuàng)新的優(yōu)化了數(shù)據(jù)在芯片內(nèi)部的儲存架構(gòu)和高速讀寫電路，實(shí)現(xiàn)等效32MB的超大緩存，全片上儲存。超越了目前旗艦級桌面電腦處理器16MB到24MB的數(shù)量級，讀寫速度高達(dá)35.84Gbps，做到1080P 60FPS的實(shí)時降噪插幀能力。

• V1創(chuàng)新算法輔助并強(qiáng)化主芯片的夜景影像效果

V1高速數(shù)據(jù)處理的針對性優(yōu)化設(shè)計(jì)，讓極其復(fù)雜的多個計(jì)算成像算法，在低功耗下并發(fā)實(shí)時處理變?yōu)榭赡?。在夜景拍攝下，降低噪點(diǎn)，呈現(xiàn)清晰夜景

在V1的協(xié)助下，主芯片可以在低光錄像時，以低功耗運(yùn)行4K 30FPS的MEMC去噪和插幀，這極大的輔助并強(qiáng)化了主芯片在夜景下的影像效果，提升用戶在夜景下的創(chuàng)作空間，配合主芯片ISP原有的降噪功能，實(shí)現(xiàn)二次提亮二次降噪。

• 實(shí)時預(yù)覽：能力越強(qiáng)，能耗越低

在主芯片ISP強(qiáng)大成像能力基礎(chǔ)上，疊加V1內(nèi)計(jì)算成像算法，得到1+1>2的成像效果。但提升效果并不意味著就要犧牲功耗，通過將軟件算法轉(zhuǎn)移至V1的專用硬件電路中，讓復(fù)雜的計(jì)算成像功能不僅存在于成片中，在默認(rèn)拍照和錄像預(yù)覽下即可開啟。在高速處理同等計(jì)算成像算法時，相比軟件實(shí)現(xiàn)的方式，V1的專用算法硬件電路功耗降低了50%，做到能力更強(qiáng)，能耗更低。

器件優(yōu)化提升 “vivo蔡司聯(lián)合影像實(shí)驗(yàn)室”的極致追求

• 玻璃鏡片——不僅是手機(jī)行業(yè)天花板，更是專業(yè)鏡頭的翹楚

人眼，是一個復(fù)雜的光學(xué)系統(tǒng)，而鏡頭作為手機(jī)的眼睛，同樣也有著自己的復(fù)雜結(jié)構(gòu)。vivo團(tuán)隊(duì)與蔡司團(tuán)隊(duì)根據(jù)雙方在光學(xué)技術(shù)領(lǐng)域上的認(rèn)知，把光學(xué)器件進(jìn)行拆解，從光線第一個到達(dá)的保護(hù)鏡片，到成像的鏡頭和濾光片，對每一個部件進(jìn)行優(yōu)化提升。

（GIF）

• 超高透玻璃鏡片——高透光率、超低色散、熱穩(wěn)定強(qiáng)

由于手機(jī)鏡頭高度集成化，過往行業(yè)內(nèi)大部分都選擇塑膠鏡片，但目前，塑膠材料在光學(xué)設(shè)計(jì)優(yōu)化方面已遇到瓶頸。vivo投入巨大研發(fā)成本，與蔡司團(tuán)隊(duì)經(jīng)過多輪驗(yàn)證，最終選擇高規(guī)格玻璃鏡片，實(shí)現(xiàn)高透光率、超低色散、熱穩(wěn)定強(qiáng)的效果。

鏡頭0.9F以內(nèi)，色差設(shè)計(jì)值比上代降低了70%以上，阿貝數(shù)達(dá)到了81.6，是目前手機(jī)行業(yè)中使用過的阿貝數(shù)最高的鏡片，可明顯改善高反差場景的紫邊、偽色等效果問題。

備注：阿貝數(shù)是衡量色散能力的權(quán)威指標(biāo)，阿貝數(shù)越高，色散越輕微，畫面越純凈。

相比于塑膠，玻璃的制作工藝難度更大，工藝步驟比原先增加了11步，工序復(fù)雜，整體生產(chǎn)良率在前期較低，每100片中才能挑選60片良品，成本更高。vivo為使影像達(dá)到更高純凈度，將這塊高規(guī)格玻璃鏡片的中心透過率提高至95%，同時在70℃高溫下，鏡頭后焦變化量從上一代純塑鏡頭的66um減小到6um，降低了91%，熱穩(wěn)定性更強(qiáng)。在保持大光圈前提下，使鏡頭高度比上一代降低了2.5%，為手機(jī)節(jié)省更多空間，利于大靶面Sensor的相機(jī)模組應(yīng)用。

（GIF）

• AOA動態(tài)光學(xué)校準(zhǔn)工藝——保證光學(xué)品質(zhì)

為了讓用戶獲得更高純凈度的影像，vivo采用超高透玻璃鏡片，克服工序復(fù)雜，工藝步驟多的難點(diǎn)，同時采用行業(yè)先進(jìn)的AOA動態(tài)光學(xué)校準(zhǔn)工藝，通過動態(tài)調(diào)整鏡頭里的部件，通過實(shí)時補(bǔ)償，調(diào)整鏡片厚度誤差和鏡片偏心誤差引起的清晰度降低問題。依靠這種動態(tài)調(diào)整與反饋機(jī)制，保證了最終鏡頭的光學(xué)品質(zhì)。

（GIF）

• 多重鍍膜抑制眩光鬼影，與蔡司共同樹立行業(yè)高標(biāo)準(zhǔn)
• SWC鍍膜——提升影像純凈度

vivo將SWC鍍膜技術(shù)應(yīng)用在保護(hù)玻璃上，從實(shí)際效果來看，未應(yīng)用SWC鍍膜前，反射率平均值為0.8%；應(yīng)用SWC鍍膜后，反射率最低降低到0.1%，下降幅度達(dá)90%，大幅改善拍照的炫光和鬼影問題，提升影像純凈度。

（GIF）

• ALD鍍膜——0.4納米均勻分布膜層降低反射率

為了降低反射，做到蔡司T*鍍膜要求，vivo采用了ALD鍍膜工藝，即通過特殊化學(xué)反應(yīng)，讓原子一層層沉積，形成每層約0.4納米均勻分布的膜層。

這是手機(jī)行業(yè)顛覆性鍍膜技術(shù)，是vivo在業(yè)界的首發(fā)，到目前為止也是行業(yè)獨(dú)家。這一技術(shù)讓反射率直接降低50%，均值達(dá)到0.25%，中心邊緣更一致，幾乎無角度偏移，有效改善鬼影問題，對拍照性能有顯性提升。

（GIF）

• 色素旋涂——有效濾除花瓣鬼影

色素旋涂技術(shù)具備紅光波段吸收效果，并解決色素與藍(lán)玻璃的附著力問題。技術(shù)難點(diǎn)在于整個涂層厚度只有2um左右，只要有0.5um的凹坑就會出現(xiàn)成像不良，經(jīng)過10次以上的不同工藝參數(shù)調(diào)試，降低色素由中心向邊緣擴(kuò)散的速度后，最終實(shí)現(xiàn)量產(chǎn)。

色素旋涂技術(shù)的應(yīng)用，對花瓣鬼影的解決有明顯效果，vivo也是國內(nèi)第一家應(yīng)用色素旋涂技術(shù)的廠商。

（GIF）

算法 拓寬移動影像發(fā)展之路

• 蔡司自然色彩，打造專業(yè)色彩表達(dá)

歷經(jīng)3年10款機(jī)型的打磨，vivo形成了自己“鮮活”“明快”“有質(zhì)感”的風(fēng)格，“vivo色彩”也受到廣大用戶喜愛。

本次“vivo”色彩再次升級。通過大量調(diào)研，vivo聯(lián)合蔡司共同研發(fā)了一款“蔡司自然色”，滿足專業(yè)用戶的色彩需求。

由于每個人對色彩的理解不盡相同，vivo選取色塊更豐富的140色卡進(jìn)行精細(xì)化的標(biāo)準(zhǔn)定義，選取了80個實(shí)拍場景進(jìn)行實(shí)景效果驗(yàn)收。借助更精細(xì)的色彩調(diào)試算法支撐效果實(shí)現(xiàn)，經(jīng)過粗調(diào)試和精細(xì)調(diào)整，最終使照片的色相準(zhǔn)確度ΔE收斂了約15.5%，為業(yè)內(nèi)領(lǐng)先，在較小的ΔE和仍然良好的飽和度中找到平衡。

• 蔡司人像風(fēng)格，在手機(jī)上復(fù)刻經(jīng)典

回顧蔡司175年歷史，為光學(xué)系統(tǒng)創(chuàng)造了很多經(jīng)典，在世界優(yōu)良的光學(xué)系統(tǒng)中占據(jù)最大比重。vivo選擇以蔡司Biotar 58/2.0和Biotar75/1.5為代表的Biotar鏡頭，將旋轉(zhuǎn)焦外成像特點(diǎn)為人像拍攝賦予絕佳的“氛圍感”，配合vivo在人像領(lǐng)域的軟硬件加持，在手機(jī)上重現(xiàn)蔡司經(jīng)典人像風(fēng)格。

• 還原鏡頭成像深度——3D-POP虛化效果

通過深度計(jì)算獲得圖片的深度信息，并給予圖像合理的虛化效果，實(shí)現(xiàn)鏡頭成像的深度還原。在計(jì)算攝影的理念之下，vivo采用了深度卷積網(wǎng)絡(luò)，學(xué)習(xí)了28萬張人像分割、10萬張手勢分割圖片，保證焦內(nèi)主體清晰，虛化過度自然

焦外物體虛化，前景到焦平面，焦平面到遠(yuǎn)景，每個鏡頭各不相同，都需要建立虛化模型。通過函數(shù)計(jì)算虛化程度和光斑大小，最終呈現(xiàn)出景深范圍內(nèi)清晰，景深范圍外深度漸進(jìn)的3D-POP虛化效果。

• 還原口徑蝕——建立像場分布模型

口徑蝕是鏡頭無法避免的一種現(xiàn)象。位于畫面邊緣的光斑，在通過光圈時僅有一部分光路通過，點(diǎn)狀光斑就會在口徑蝕和光圈形狀的共同影響下形成不同形狀，營造出鏡頭特殊的氛圍感。

根據(jù)蔡司專業(yè)鏡頭的焦外像場特性，建立像場分布式散焦模糊與光斑模型，通過智能光點(diǎn)檢測與焦外旋轉(zhuǎn)拉伸形變技術(shù)，實(shí)現(xiàn)焦外像場的口徑蝕變化，每個光斑模型都經(jīng)歷超過500次模擬和超過200次實(shí)拍的考驗(yàn)，保證蔡司鏡頭原汁原味。

• 還原每個光斑——建立濾波核生成技術(shù)模型

為了還原每一個鏡頭光斑的形狀，vivo建立了濾波核生成技術(shù)模型，模擬所有鏡頭每一個光斑形狀。vivo與蔡司團(tuán)隊(duì)將模擬效果與真實(shí)鏡頭效果進(jìn)行對比，從細(xì)節(jié)處對模型進(jìn)行調(diào)整和修正，最終在手機(jī)上準(zhǔn)確還原出Biotar和Sonnar的鏡頭效果。

• 更多功能，實(shí)現(xiàn)多維度影像體驗(yàn)
• AI人臉增強(qiáng)算法：突破硬件限制，補(bǔ)充更多面部細(xì)節(jié)，提升人像基礎(chǔ)畫質(zhì)。
• 延時攝影功能：將行業(yè)普遍使用的視頻抽幀方式改為照片序列方式，提升延時視頻的動態(tài)范圍、弱光拍攝能力及綜合畫質(zhì)表現(xiàn)，實(shí)現(xiàn)一鍵拍攝日轉(zhuǎn)夜、夜轉(zhuǎn)日的驚艷效果。
• Log模式：利用對數(shù)曲線，將畫面內(nèi)容壓縮成“灰片”的視頻記錄格式，最大限度保存?zhèn)鞲衅鞯膭討B(tài)范圍。
• 超級夜景RAWHDR3.0算法：RAWHDR算法是將超級夜景算法從YUV域挪到RAW域，以獲得更好的亮度和影調(diào)表現(xiàn)，全新RAWHDR3.0算法，讓處理流程更合理，對色彩調(diào)整更細(xì)致。
• SuperRAW：vivo的SuperRAW融合了自研的RAWHDR多幀算法，不論大光比逆光場景還是夜景環(huán)境，均能動態(tài)抓取最多10幀圖像在RAW域進(jìn)行超高位融合和降噪處理，輸出14bit位深的超強(qiáng)RAW文件，顯著提升信噪比和動態(tài)范圍，充分發(fā)揮手機(jī)影像的潛能。

引領(lǐng)硬件級算法時代 不給場景設(shè)限、不給人設(shè)限、不給影像設(shè)限

• 自研芯片引領(lǐng)手機(jī)影像行業(yè)下一個時代——“硬件級算法時代”

vivo將影像技術(shù)研發(fā)，看作系統(tǒng)性技術(shù)工程。就像人眼，每個人看到的畫面，都是通過眼球的感光細(xì)胞將信號傳輸給視神經(jīng)，經(jīng)視神經(jīng)最終傳送到大腦視覺中心，經(jīng)由大腦處理加工后的結(jié)果。手機(jī)也是如此，通過平臺、器件、算法等各方面的共同協(xié)作，決定最后的成像品質(zhì)，算法與硬件，缺一不可。通過V1芯片，引領(lǐng)手機(jī)影像行業(yè)的下一個時代——“硬件級算法時代”。

• 手機(jī)影像為用戶帶來場景、人、影像的無界體驗(yàn)

vivo希望通過對手機(jī)影像不斷的人文思考和技術(shù)探索，為用戶帶來場景、人、影像的無界體驗(yàn)。不給場景設(shè)限，何時何地想拍就拍；不給人設(shè)限，讓所有人都能拍出更好的作品；不給影像設(shè)限，讓手機(jī)影像的表達(dá)更加有力、直抵人心。vivo將在技術(shù)研發(fā)上不斷突破想象，在光學(xué)設(shè)計(jì)上不停追求極致，在人性化的專業(yè)影像道路上不斷前行。希望手機(jī)影像為人們的創(chuàng)作提供更大的可能性，讓每個人有機(jī)會成為藝術(shù)的創(chuàng)作者。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。