安森美中國區(qū)汽車現場應用工程經理 William Chen
圖像傳感器的動態(tài)范圍是汽車成像中的一個關鍵指標。什么是動態(tài)范圍?維基百科定義,動態(tài)范圍(Dynamic Range)是可變化信號(例如聲音或光)最大值和最小值的比值。
可變化的信號S有多種,對一幀圖像而言,S的最小值為1,最大值受限于數據帶寬,即數據能夠存儲的最大值。一張8位的灰度圖,最大值255,此時理論上的動態(tài)范圍就是48dB,10位圖像動態(tài)范圍可到60dB,20位圖像動態(tài)范圍120dB。
實際上,動態(tài)范圍是一個通用的概念,不同的信號或者變量S都可以定義自己的動態(tài)范圍,圖像傳感器有動態(tài)范圍,顯示器,投影機,打印機等等都有自己的動態(tài)范圍。我們甚至可以定義一個人的動態(tài)范圍,如果這個人條件艱苦時能吃苦,條件優(yōu)渥時會享受,既能將就也會講究,這就是個高動態(tài)范圍的狠人。
圖像的動態(tài)范圍和場景的動態(tài)范圍,大多數情況是不一致的。
場景的信號S不是圖像的灰度值,它是場景發(fā)射光線的亮度。可以理解為S最大值是場景中最亮部分的亮度,S的最小值是場景中最黑部分的亮度。它與圖像動態(tài)范圍相關但不相等。同時圖像的后處理通常會把線性數據壓縮為非線性輸出,這也會放大圖像數值和場景動態(tài)范圍的差異。
Figure 1寬動態(tài)典型場景
如果把場景的亮度作為橫坐標,圖像傳感器輸出的數據作為縱坐標,我們就得到圖2所示的sensor輸出和場景的動態(tài)范圍映射關系。圖像傳感器把一定亮度范圍的場景采集并映射為自己的輸出,如圖中紅框所示。
Figure 2 場景到sensor的動態(tài)范圍映射
圖像傳感器實際動態(tài)范圍通常比場景的動態(tài)范圍低,傳感器的能力只能采集紅框對應橫坐標內場景的亮度范圍。紅框的位置需要動態(tài)調整移動,以適應場景亮度的變化,這是成像算法中自動曝光(auto exposure)模塊的任務。
對汽車高動態(tài)范圍的場景,會有同一場景中極亮和極暗部分同時出現的情況,例如夜間街道,既有車大燈也有街道的暗角,此時移動紅框已經無法同時看清楚兩個部分,必須把紅框做大,這就是汽車上用到的高動態(tài)范圍圖像傳感器。
從原理上講,紅框尺寸受限于傳感器的像素勢阱容量,受限于尺寸,很難簡單做大,車用圖像傳感器的高動態(tài)范圍技術是行業(yè)面臨的共同挑戰(zhàn)。過去二十年來,車載圖像傳感器的高動態(tài)范圍大致有如下四大技術流派。
第一個是動態(tài)改變像素的靈敏度擴充動態(tài)范圍。如圖3所示,圖像傳感器對場景亮度的映射變成非線性,隨著環(huán)境亮度增加,像素靈敏度逐漸下降,靈敏度從亮度的線性函數變成分段函數。如下圖所示,電荷積累分成三段,亮度低時靈敏度高,對應黑色電荷,然后亮度中等靈敏度也中等,對應藍色電荷,最后亮度最高靈敏度最低。從坐標圖中可以看到,此時像素的勢阱容量即縱坐標不增加,但映射的場景亮度范圍即橫坐標可以明顯加大,實現了增大動態(tài)范圍的目標。
安森美(onsemi)的車用圖像傳感器產品線早期推出過30萬像素的可變靈敏度sensor,就是基于此類技術,這個技術的最大挑戰(zhàn)在于它改變了像素的靈敏度特性,讓線性特性的靈敏度變成非線性,而這個折線的形狀對電壓、溫度和曝光時長敏感,一致性差,動態(tài)范圍擴展能力有限,只能勉強用于大尺寸像素黑白圖像的傳感器。目前這類技術已經逐漸被市場淘汰。
Figure 3 非線性化擴充動態(tài)范圍
第二個高動態(tài)范圍技術是時分多次曝光。這個是目前主流車用圖像傳感器所采用的技術。做法就是圖像傳感器改變曝光時間連續(xù)多次曝光得到多幀圖像,然后從中選擇合適像素合并成一幀圖像。如圖4示意,傳感器改變曝光時間,相當于自帶自動曝光功能,對場景不同亮度分別采樣,得到多個紅框,然后把動態(tài)范圍拼接起來。這個技術的優(yōu)點在于:像素勢阱容量不用額外做大,只需把數據帶寬做大;每個曝光的時長控制可以很精確,最終擬合的圖像亮度線性特性好;動態(tài)范圍擴展容易,僅用時分技術就能做到140dB的動態(tài)范圍。
時分多次曝光技術有一個難以克服的問題,由于sensor的連續(xù)曝光時間上是依次滯后的,當場景中有快速移動物體或光照劇烈變化例如LED頻閃情況下,多幀圖像擬合后會出現運動物體偽影和色彩噪聲。ADAS算法需要針對性地訓練這類噪聲。
Figure 4 多幀合并擴充動態(tài)范圍
第三個高動態(tài)范圍技術是空分多次曝光,業(yè)內也有稱之為大小像素技術。本質來說與時分多次曝光類似,由多幀融合,區(qū)別在于圖4中的多個紅框來源于空間尺寸上不同的兩種像素,兩種像素的圖像擬合成為一張圖像。由于兩種像素在曝光時間上是對齊的,可以避免了運動重影的問題,同時改善LED燈頻閃現象。
不過有得就有失:空分曝光,意味著像素數量翻倍, 例如1百萬像素傳感器實際上是1百萬大像素加1百萬小像素,增加了功耗和設計復雜度;小像素擠占了大像素的面積,降低了大像素的低照性能;大小像素的靈敏度差異大,線性特性差,小像素在光學上無法和大像素兼容,需要大量的光學標定工作以補償小像素的問題。這些都是用戶在產品應用開發(fā)中需要解決的工程挑戰(zhàn),此外,大小像素圖像傳感器受小像素尺寸限制,隨著技術演進會逐漸變成瓶頸,所以安森美在2009年就發(fā)明并申請了大小像素技術的專利,但并沒有推出相應的傳感器產品。
第四個高動態(tài)范圍技術就是直接擴展像素的勢阱容量。傳統(tǒng)圖像傳感器像素的感光二極管在感光的同時兼具電荷存儲的功能,因此像素的電荷勢阱容量受限于感光二極管尺寸。隨著像素尺寸越來越小,像素的容量也逐漸變小。安森美的超級曝光像素技術突破了這一限制,并在業(yè)內率先量產了基于這一技術的產品。技術路徑就是為感光二極管外掛了存儲電容,當容量飽和時,多余的電荷會被轉移到電容中存儲起來。這里的電容不參與光學感光,但擴充了像素的勢阱容量。如圖5示意,上面的小桶相當于感光二極管,下面的大桶相當于存儲電容。大桶不直接接水,只存儲小桶溢出的水。
Figure 5 感知和存儲分離
超級曝光像素把電荷存儲功能從感光二極管剝離出來,跳出了固有限制,實現了像素動態(tài)范圍和感光二極管的解耦。這一技術具有良好的線性特性,保留了單一像素架構,無需復雜的光學標定,并解決了時分導致的偽影和LED頻閃的問題。與感光二極管的解耦,看似簡單的一步,卻打開了未來更小像素,更大動態(tài)范圍產品的設計想象空間。
為了支持足夠高的動態(tài)范圍,業(yè)內產品通常會復用上述三種技術。一張高動態(tài)范圍的圖像,可能是時分多次曝光幀,大小像素幀,和超級曝光幀的復合擬合結果。這有點像汽車動力中的插混方案,動力可能來自自排發(fā)動機,渦輪增壓,以及電機直驅的并聯。這里多幀擬合的線性特性很像汽車駕駛動力變化的線性特性,保證輸出的平順與線性是高動態(tài)范圍圖像的巨大挑戰(zhàn)。一般來說,技術種類越少,線性特性越好。
小結一下,CMOS圖像傳感器的動態(tài)范圍是汽車應用中重要的參數指標,它是目前業(yè)內共同面臨的技術挑戰(zhàn),這里介紹了幾種傳統(tǒng)動態(tài)范圍擴展技術的特點,以及新出現的超級曝光像素技術,它的出現打破了既有技術的窠臼,我們預期會在市面上看到更多相關的優(yōu)秀產品涌現。
(免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。 )