快5G的慢動作!展銳5G芯片捕捉每一毫秒的精彩

日常生活中,手機早已成為我們形影不離的伙伴,手機的拍照和錄像功能為我們記錄了生活中點點滴滴,讓美好的記憶成為永恒。特別是視頻錄制功能,忠實地留存了身邊的精彩時刻。

普通視頻

對于普通視頻,手機中camera系統(tǒng)按照30fps采集圖像,即一秒內(nèi)均勻采集30張圖像,經(jīng)過camera系統(tǒng)的處理,最終也按照30fps的幀率,編碼成為視頻文件。播放視頻時,視頻播放器同樣按照30fps的幀率解碼視頻并顯示。用戶看到的是真實世界的原本回放,一切都如現(xiàn)實生活一樣。

為了增強視頻錄制功能,如今各大旗艦手機中,不約而同地設(shè)計了慢動作視頻錄制功能。

什么是慢動作視頻錄制功能呢?

慢動作視頻

所謂慢動作視頻錄制功能,它會將視頻中拍攝對象的運動變慢、變緩,用戶可以仔細(xì)地欣賞每一個動作的緩慢變化。

目前,大家看到的慢動作視頻錄制一般為120fps和240fps幀率。以240fps慢動作視頻錄制為例,當(dāng)用戶啟動拍攝240fps慢動作視頻時,手機中camera系統(tǒng)按照240fps幀率采集圖像,即一秒采集240張圖像,平均4毫秒采集一張,它更加精細(xì)地從現(xiàn)實中獲取了圖像數(shù)據(jù)。Camera系統(tǒng)對240幀圖像逐一處理,最后編碼成視頻文件。

視頻播放時,播放器依然按照30fps幀率播放。我們錄制時候的1秒240張圖像,播放時需要8秒顯示,視頻畫面被放慢了8倍,各種動作和變化全部變緩。這種視頻特別適合拍攝各種運動,或者轉(zhuǎn)瞬即逝的時刻。用戶看到了比普通視頻精細(xì)8倍的運動變化,欣賞了更多的變化細(xì)節(jié)。

高幀率慢動作瞬間視頻

既然已經(jīng)擁有了240fps這樣的慢動作視頻,為什么還要更高幀率慢動作瞬間視頻,如960fps視頻?

我們對技術(shù)的追求是無止境的,用戶對精彩的需求也是無限的。960fps慢動作瞬間視頻可以讓用戶體會到每一毫秒的畫面變化,欣賞到每一毫秒的精彩畫面。

錄制這種960fps高幀率慢動作視頻,不像240fps慢動作視頻那么簡單。Camera系統(tǒng)采集數(shù)據(jù)的sensor因硬件性能局限,普通camera sensor很難達(dá)到960fps這樣高的采集幀率。目前市面上的旗艦手機主流是采用240fps幀率的camera sensor。為了產(chǎn)生960fps視頻,camera系統(tǒng)必須采用FRC(Frame Rate Conversion)技術(shù),將按240fps幀率采集的圖像數(shù)據(jù)離線轉(zhuǎn)換為960fps幀率,之后完成視頻編碼。這樣用戶就能欣賞到每一秒的精彩瞬間。由于FRC技術(shù)性能和所需資源限制,camera系統(tǒng)一般只采集時長為三秒左右的圖像進(jìn)行處理,最終視頻播放時長可達(dá)10秒左右。該功能只有少數(shù)高端旗艦機具有,大大提升了這些手機的競爭力。

  紫光展銳第六代影像引擎Vivimagic

展銳唐古拉5G芯片T770,搭載了第六代影像引擎Vivimagic解決方案,首次采用四核ISP實現(xiàn)了三攝/四攝場景無縫變焦,支持長焦、廣角、超廣角、微距鏡頭,可實現(xiàn)3倍光學(xué)變焦,6倍混合變焦,30倍數(shù)字變焦。

四核ISP處理速度高達(dá)每秒16億像素,最高可支持拍攝1.08億像素照片,單攝零延遲拍照可達(dá)6400萬像素。

對于慢動作視頻錄制功能,最高支持480fps不限時高清慢動作視頻拍攝,用戶可以充分利用五億像素級處理速度來拍攝慢動作視頻;采用FRC技術(shù),用戶可抓拍高幀率高清慢動作瞬間視頻,捕捉毫秒級精彩細(xì)節(jié)。

FRC技術(shù)介紹

FRC(Frame Rate Conversion)技術(shù)用于提升視頻幀率,一般通過前后幀信息產(chǎn)生新的幀,增加單位時間內(nèi)采集到的圖像數(shù)據(jù)量,讓用戶獲得更多圖像信息。其中運動估計和運動補償算法至關(guān)重要。

快5G的慢動作!展銳5G芯片捕捉每一毫秒的精彩

運動估計和運動補償(Motion Estimation and Motion Compensation,簡稱MEMC),就是通過對圖像中物體的運動軌跡的估計和檢測運動矢量,然后利用原始幀和運動矢量信息,通過運動補償插值的方式構(gòu)建新的圖像幀(稱之為補償幀),最后在原始幀中間插入補償幀來提升畫面的流暢性。

以24fps插幀到60fps來舉例說明,因為60不是24的整數(shù)倍,所以必須采用3:2 pull up pull down的方式進(jìn)行幀重復(fù),也就是當(dāng)前幀重復(fù)3次,下一幀重復(fù)2次,依次類推,這樣就把24fps視頻的各幀圖像“相對均勻”的分配到60fps的時間節(jié)拍上。因為每一幀的重復(fù)次數(shù)不相同,所以產(chǎn)生了抖動(Judder)現(xiàn)象。

MEMC技術(shù),根據(jù)物體運動信息來動態(tài)的生成補償幀,可以非常有效的改善Judder現(xiàn)象。但由于所有新增的圖像幀都是運動預(yù)測計算出來的,因此預(yù)測的不準(zhǔn)確可能會帶來副作用,比如光環(huán)“Halo”效應(yīng)。通過對物體運動軌跡的精確計算,可以減小副作用。

另外一個可能的現(xiàn)象是小物體運動所對應(yīng)的小物體丟失,例如足球比賽中的足球,在一些補償幀中消失了。原因在于大部分的MEMC算法,基于運算復(fù)雜度和實現(xiàn)成本考慮,采用塊匹配方式來計算相鄰幀之間的物體的運動相關(guān)性,而不是采用像素級的預(yù)測,導(dǎo)致小物體的運動矢量估計不準(zhǔn)確,進(jìn)而導(dǎo)致小物體的丟失或出現(xiàn)重疊等現(xiàn)象。

優(yōu)秀的MEMC算法,除了解決去除Judder等基本問題之外,還需對隨之產(chǎn)生的光環(huán)Halo、小物體消失或重影等artifact有好的解決方案。

紫光展銳視頻編碼專家組基于MEMC算法研究出了高清視頻圖像四倍插幀算法,完美地實現(xiàn)了視頻序列的四倍插幀,為了高幀率慢動作瞬間視頻功能實現(xiàn)奠定了基礎(chǔ)。

高幀率慢動作瞬間視頻

展銳唐古拉5G芯片T770的camera系統(tǒng)具備強大處理能力,支持240fps 1080P和480fps 720P慢動作視頻錄制?;?40fps 720P圖像數(shù)據(jù),采用FRC技術(shù),借助多核CPU,可以實現(xiàn)960fps 720P高清慢動作瞬間視頻錄制。

對于更高幀率,如果camera sensor支持480fps 720P圖像采集,camera系統(tǒng)也可以實現(xiàn)1920fps的瞬間視頻編碼,這對手機性能有了更高要求。1920fps瞬間視頻,平均0.5毫秒一張圖像,將現(xiàn)實世界的運動放慢了64倍,用戶可以欣賞到更加細(xì)膩的精彩瞬間,給用戶帶來前所未有的視覺體驗。

隨著視頻技術(shù)的不斷發(fā)展,手機上camera系統(tǒng)會有越來越多的新穎功能出現(xiàn),為用戶帶來不同凡響的視覺體驗。高幀率慢動作瞬間視頻無疑是其中一抹靚麗風(fēng)景,展銳唐古拉5G芯片T770在影像方面擁有更優(yōu)秀的表現(xiàn)。

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )