原標(biāo)題:赫卡忒的眼眸:微光手機“夜視儀”是怎樣煉成的?
古希臘神話中,有一位黑夜女神赫卡忒。她徘徊于夜幕之中,月色之下,是旅人與藝術(shù)家的守護者,甚至曾經(jīng)幫助過宙斯等主神,備受萬神的尊敬。
而赫卡忒也是一位樂意接受凡人祈禱的女神,夜色到來時,人們會來到山頂進行祭祀,期望地看到赫卡忒的真容。
如何讓我們的視線洞穿黑夜,是藝術(shù)史上永恒的主題。在攝影時代到來后,如何捕捉和表現(xiàn)夜色更是一個最復(fù)雜的命題。從前,攝影師需要用復(fù)雜的設(shè)備搭配昂貴的夜視攝像頭,才能完成。而在一次次手機影像突破,以及計算攝影的興起下,一雙能夠看清黑夜女神赫卡忒的眼眸,已經(jīng)來到普通人手中。
不久之前發(fā)布的vivo X80系列中,搭載了一項名為微光手機“夜視儀”的功能。在vivo發(fā)布的一系列唐宮主題視頻中,我們可以看到極夜實拍中大唐才子佳人的身影清晰可見。畫面干凈且純粹。在這一刻,手機簡直可以被當(dāng)作“夜視儀”來使用。
想要呈現(xiàn)這一幕其實并不容易,在夜拍環(huán)境下,算法、攝像頭、芯片都有能力的局限性。只有將每個領(lǐng)域的創(chuàng)新融合在一起,將能力協(xié)同到極致,才能帶來手機化身夜視儀的這個時刻。
一抹美麗夜色的背后,是一場計算攝影的錘煉,是一句用戶至上的承諾。
計算攝影的暗夜突圍
2010年,斯坦福大學(xué)舉辦了一場技術(shù)沙龍,主題是討論能不能在攝影時,讓攝影設(shè)備像計算機一樣去編程所拍到的影像。從而讓攝影不再是攝影師和精修師的天下,而是對所有普通人開放。
至此,計算攝影這一概念開始在業(yè)界流行開來。但從實驗室走向產(chǎn)業(yè)界,這段旅程足足跨越了十年。計算攝影的核心思路在于,手機攝影并不僅僅是一臺手機+一個攝像頭。而是希望在拍攝時就調(diào)動手機的計算能力、算法能力、硬件協(xié)同能力,從而達成單獨依靠影像器件難以完成的拍攝任務(wù)。
谷歌最開始在Pixel系列中啟動了計算攝影效果,通過將多張照片合二為一展現(xiàn)出超過單次拍攝的效果。隨后,蘋果等主流廠商也開始跟進。計算攝影逐漸成為了最具潛力的手機影像發(fā)展方向。
然而經(jīng)過幾年的發(fā)展,計算攝影的瓶頸也開始體現(xiàn)。由于計算模式相近,相關(guān)能力提升帶來的用戶可感知度太小。往往只能用數(shù)據(jù)和復(fù)雜的對比才能體現(xiàn)出計算攝影模塊的存在。而對于用戶來說,需要的是真正能夠解決重大問題??芍⒖筛?、可信的計算攝影能力。
向著暗夜突圍,很可能是計算攝影接下來的重要方向。
暗拍與夜色中的復(fù)雜光源處理,需要一系列復(fù)雜算法的輔助,這就給了計算攝影足夠的發(fā)揮空間。
vivo X80系列微光手機“夜視儀”的暗拍效果,運用了光學(xué)傳感器、芯片算力、AI夜視算法的融合。最終才達到了暗夜下的極致拍攝。這場夜色中的影像盛宴,也為計算攝影方向帶來了一場突破。
這是一次觀眾能夠清晰看到,感知到,體會到的計算攝影變遷。
“算”盡極夜,凝練赫卡忒之眸
希望在夜晚拍到令人滿意的照片,應(yīng)該是每一位用戶的期待。但為什么計算攝影發(fā)展了這么久,卻要等待vivo X80系列來完成這次突破?
這是因為夜色下的世界,并不是簡單的打光問題。光線駁雜、色彩失真,難以對焦,需要連續(xù)曝光、黑暗中背光面難以呈現(xiàn)等等困難都困擾著夜拍效果。即使造價昂貴的全畫幅單反也效果不佳,更遑論在手機端完成夜視儀級別的夜拍效果。
為了解決這些問題,需要的就不是一項能力,而是各項能力的協(xié)同、融合,互為支撐。在vivo X80系列中,我們可以看到鏡頭、計算、算法、芯片的相互支持,在全鏈路技術(shù)提升下,最終打造了赫卡忒之眸。vivo X80系列不僅搭載了強大的微光手機“夜視儀”功能,還將實時黑光夜視功能拓展至超廣角、前置鏡頭。
讓我們一層層來透視,這雙能夠凝望黑夜女神的眼睛是如何煉成的。
一、自研芯片之眸
能夠?qū)崟r完成夜景算法調(diào)配,給用戶無縫體驗的夜景拍攝體驗,最終離不開計算能力以及芯片。vivo X80系列搭載了自研的V1+芯片,能夠支持實時黑光夜視功能,讓用戶在極夜環(huán)境下可以看到更加清晰明亮的實時預(yù)覽。
主芯片負(fù)責(zé)常規(guī)拍攝工作,在諸如夜景視頻拍攝等高強度計算攝影的應(yīng)用場景下,自研芯片V1+會負(fù)責(zé)提亮降噪及實時預(yù)覽,具有非常高的合理性。這種分配協(xié)作能夠有效降低能耗,提升計算效率,但實踐起來卻非常復(fù)雜。
為了完成這項技術(shù)跨越,V1+芯片首先需要跨越硬件兼容性上的天塹,讓兩枚芯片真正做到“雙芯一用”。今年,vivo自研芯片在旗艦SoC平臺的兼容性上又邁出了關(guān)鍵一步,在原本驍龍平臺之外成功兼容了天璣9000平臺,成為行業(yè)內(nèi)唯一一家實現(xiàn)了自研影像芯片兼容多旗艦平臺的終端廠商,這也為“夜視儀”功能得以實現(xiàn)提供了前提基礎(chǔ)。
接下來,V1+芯片需要將消耗最大,最吃性能的算法,硬件化封裝到自身平臺當(dāng)中。硬件級的算法封裝可以保證運算有的放矢,將自身性能發(fā)揮到極致。經(jīng)過對用戶需求與使用場景的仔細(xì)衡量,V1+最終將3D實時立體夜景降噪、MEMC插幀和AI超分三個目前移動影像中最復(fù)雜的算法進行了封裝。實現(xiàn)了與主SoC合作極大激活硬件效率,數(shù)據(jù)吞吐速度可高效維持在約8GB/s,并且能效提高約300%,功耗降低了約72%。
這樣,“夜視儀”實時預(yù)覽這種非常吃性能,吃計算能力的功能,就可以由V1+針對性支持,實現(xiàn)了清晰干凈的硬件級夜景降噪,不會讓用戶“對夜盲拍”。而為了進一步提升微光手機“夜視儀”的使用體驗,vivo還針對這一功能對V1+進行了精細(xì)化調(diào)優(yōu),依靠V1+強大的極夜視頻降噪算法、速度快、功耗低的極速內(nèi)存管理系統(tǒng),以及攝像頭模組、主芯片、vivo自研算法提升等各方面的配合,最終實現(xiàn)在小于1lux環(huán)境下的極夜視頻功能。
并且在自研影像芯片的幫助下,vivo X80系列可以黑光夜視功能拓展到了超廣角鏡頭以及前置鏡頭,確保了“夜視”能力沒有死角。
二、SoC協(xié)同之眸
自研芯片V1+的加入,讓vivo X80系列獲得了“一體雙芯”的格局,這也讓主芯片SoC與自研影像芯片之間的協(xié)同互動有了更多可能。為了完成微光手機“夜視儀”的效果,vivo與芯片廠商進行了超越行業(yè)常規(guī)的緊密協(xié)作與聯(lián)合創(chuàng)新。以MediaTek的天璣9000為例,這枚芯片本身具有強大的基礎(chǔ)性能與AI專項處理能力。結(jié)合這些特點,vivo與MediaTek進行了深度合作,最終讓V1+芯片與天璣9000達成了緊密的影像協(xié)同。
一次極致的夜拍背后,是vivo與MTK技術(shù)的緊密配合,雙方技術(shù)的嵌合式合作,才最終將天璣9000的能力進行了最大化釋放,保證了極夜環(huán)境下的“透視級”效果。
在微光手機“夜視儀”背后,vivo與MTK進行了從底層硬件到軟件的多層面聯(lián)合打磨。一次夜拍背后,影像由旗艦級超大底主攝進入ISP;緊接著天璣9000的天璣 5G 開放架構(gòu)驅(qū)動對影像的處理,在確保降低頻寬功耗與畫面延遲的情況下提供高效率的 AI 畫質(zhì)計算;接下來是算法層,vivo獨特的獨特AI 降噪算法開始工作,完成夜晚場景的處理;而支撐這大量AI計算的,是天璣 9000的第五代 APU 590,能夠?qū)崿F(xiàn)AI 邊緣部署神經(jīng)架構(gòu)搜索技術(shù),NeuroPilot 模型深度硬件融合,A8W8混合A16W8高清解析算子,最終讓復(fù)雜的高清視頻算法實時處理變得可行,同時盡量降低能耗。
這種你中有我,我中有你的緊密配合,讓兩枚芯片各司其職,減少性能與功耗浪費的同時確保了全鏈路的夜視效果,釋放了技術(shù)上的協(xié)同優(yōu)勢。同時也打破了行業(yè)成規(guī),為終端廠商與芯片廠商的合作塑造了新的范式。
三、影像算法之眸
在算法方面,vivo X80系列升級了更加先進的夜景算法,搭載了蔡司超級夜景功能。基于vivo自研算法RAWHDR3.0,可以提升色彩表現(xiàn)的準(zhǔn)確性,配合蔡司T*鍍膜技術(shù)方案以及抗眩光算法,可以實現(xiàn)更加純凈的夜景效果。
近年來,“vivo色彩”漸漸成為了移動影像領(lǐng)域標(biāo)志性的色彩風(fēng)格,vivo影像能力對色彩的理解與調(diào)試逐漸成為了業(yè)界的標(biāo)桿之一。歷經(jīng)3年10款機型的打磨,vivo的記憶色體系形成了“鮮活”“明快”“有質(zhì)感”的風(fēng)格。另外,通過與蔡司的深度合作,蔡司自然色彩2.0以精細(xì)準(zhǔn)確的調(diào)校,還原人眼所見的自然原生色彩,讓色準(zhǔn)更準(zhǔn)確、觀感更自然。在vivo X80系列中,你既可以體驗極具風(fēng)格化的拍攝效果,也可以拍出人眼所見的真實色彩,vivo將選擇權(quán)交還給了用戶。
在算法層面,vivo推出了越來越多具有鮮明特色與技術(shù)前沿性的應(yīng)用成果。比如超級夜景RAWHDR3.0算法,可以將超級夜景算法從YUV域挪到RAW域,以獲得更好的亮度和影調(diào)表現(xiàn),從而讓夜景處理流程更合理,對夜色下的色彩調(diào)整更加細(xì)致。
再比如vivo的SuperRAW融合了自研的RAWHDR多幀算法,不論大光比逆光場景還是夜景環(huán)境,均能動態(tài)抓取最多10幀圖像在RAW域進行超高位融合和降噪處理,輸出14bit位深的超強RAW文件,顯著提升信噪比和動態(tài)范圍,充分發(fā)揮手機影像的潛能。
到了這代產(chǎn)品,可以看到vivo與蔡司的合作愈發(fā)爐火純青,雙方的技術(shù)兼容度達到了空前的水平,這讓vivo X80系列的光學(xué)能力全面超越了全球標(biāo)準(zhǔn)。
四、光學(xué)硬件之眸
影像器件是計算攝影與真實之間的窗戶,是實現(xiàn)“夜視儀”功能的基礎(chǔ)。vivo與蔡司有深度合作關(guān)系,使得vivo X80全系全鏡頭都達到了蔡司T*鍍膜標(biāo)準(zhǔn),以保證在白平衡、色準(zhǔn)、抗眩光和解析力等指標(biāo)上達到vivo的影像標(biāo)準(zhǔn)。
在傳感器上,vivo X80 Pro搭載了獨家定制的GNV超大底傳感器,X80則首發(fā)索尼IMX866 RGBW大底傳感器。在傳感器型號的背后,隱藏著許許多多不為人知的創(chuàng)新技術(shù)。例如GNV,通過定制濾光片,vivo再一次突破GN1的極限,并采用了1G +6P的高規(guī)格鏡片組合,以及頂格的鍍膜工藝。可以說vivo X80系列搭載的鏡頭模組,顆顆都是定制款,反映了vivo在硬件上的精益求精,不惜工本,已經(jīng)成為了vivo的標(biāo)志之一。
為了用戶的一次驚喜,赫卡忒之眸歷經(jīng)了層層雕琢。為了算盡極夜,vivo已經(jīng)準(zhǔn)備了太久太久。
千座山巒,一抹夜色
微光“夜視儀”的背后,真正可以體現(xiàn)出什么是手機影像的全鏈路創(chuàng)新。
接下來,無論是計算攝影的產(chǎn)業(yè)空間發(fā)展,還是手機突破紅海競爭,走向多元未來,都與廠商的全鏈路創(chuàng)新能力緊密相關(guān)。
回到vivo X80系列的夜視儀功能,可以看到這項垂直突破的背后,是器件、軟件、硬件的協(xié)同,是自研技術(shù)、自研芯片、產(chǎn)業(yè)合作等多重能力的整合。
“集結(jié)重兵力,解決真痛點”正在變成手機創(chuàng)新的新錨點。而這個思路背后是為了打破產(chǎn)業(yè)瓶頸,廠商需要以消費者需求為準(zhǔn)繩,盡一切可能性完成創(chuàng)新積累,最終呈現(xiàn)出厚積薄發(fā)的效果。
從使用全行業(yè)最高成本的玻璃鏡片,到與蔡司持續(xù)合作光學(xué)器件、光學(xué)算法創(chuàng)新,再到長周期、大成本研發(fā)的自研芯片,都可以看到vivo這種長期主義的戰(zhàn)略指引。
微光“夜視儀”看到的不僅是夜色,還有一段旅程。
旅程中,vivo的做法是逐步增強不可復(fù)制能力,最終將其融合在一起。達成N個1相加大于N的效果。登上千座山峰,只為了一抹不容替代的夜色。
vivo的創(chuàng)新觀念中,只要能夠讓消費者感知,做正確的事情,無論爬多少座山都是合理的。赫卡忒的眼眸,或許就是這樣煉成的。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 美媒聚焦比亞迪“副業(yè)”:電子代工助力蘋果,下個大計劃瞄準(zhǔn)AI機器人
- 微信零錢通新政策:銀行卡轉(zhuǎn)入資金提現(xiàn)免手續(xù)費引熱議
- 消息稱塔塔集團將收購和碩印度iPhone代工廠60%股份 并接管日常運營
- 蘋果揭秘自研芯片成功之道:領(lǐng)先技術(shù)與深度整合是關(guān)鍵
- 英偉達新一代Blackwell GPU面臨過熱挑戰(zhàn),交付延期引發(fā)市場關(guān)注
- 馬斯克能否成為 AI 部部長?硅谷與白宮的聯(lián)系日益緊密
- 余承東:Mate70將在26號發(fā)布,意外泄露引發(fā)關(guān)注
- 無人機“黑科技”亮相航展:全球首臺低空重力測量系統(tǒng)引關(guān)注
- 賽力斯發(fā)布聲明:未與任何伙伴聯(lián)合開展人形機器人合作
- 賽力斯觸及漲停,汽車整車股盤初強勢拉升
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。