近日,《中國安防》就AI攝像機領域向的盧深視進行邀稿,作為三維機器視覺領先者,的盧深視資深算法工程師崔哲博士分析三維機器視覺技術特性以及應用模式做出解答,并發(fā)表論文《三維視覺在安防網(wǎng)絡相機中的應用》,已在《中國安防》雜志刊出。據(jù)悉,《中國安防》是國內(nèi)安防行業(yè)最權威的雜志,提供權威準確的法規(guī)政策、標準信息、行業(yè)資訊,擁有全面詳實的安防產(chǎn)品庫、安防商家?guī)?、安防解決方案庫等。
目前安防領域的視頻監(jiān)控主要通過二維圖片與視頻信息對通行人員進行結(jié)構化信息提取,然而二維信息只是三維真實場景在成像平面的投影,因此還原真實的監(jiān)控場景存在很大的困難。目前,通過融合現(xiàn)有的安防網(wǎng)絡相機技術與最新的高精度三維成像技術, 除了能獲取場景的顏色、輪廓信息之外,還能獲取重要的深度信息。借助于深度信息,能突破現(xiàn)有二維成像技術的瓶頸,有效地采集場景內(nèi)的三維人體特征信息,為安防監(jiān)控系統(tǒng)提供更準確的情報。
背景介紹
為滿足反恐維穩(wěn)重點區(qū)域場所管控、重點人員識別跟蹤、立體化社會治安防控等業(yè)務需求,必須充分獲取三維監(jiān)控場景內(nèi)通行人員的結(jié)構化信息(如性別、年齡、身高、體型、民族等)。目前安防監(jiān)控市場上主流的視頻結(jié)構化服務都是基于傳統(tǒng)的二維視頻流,這是由于傳統(tǒng)的安防網(wǎng)絡相機僅能提供二維場景數(shù)據(jù),但是由于二維信息僅僅只是三維真實場景在像平面的投影,導致基于二維信息的視頻結(jié)構化服務魯棒性很差,視頻分析結(jié)果會受到遮擋、光照等問題的影響,從而產(chǎn)生誤識誤拒率高等諸多問題。
相比于二維視頻信息,三維視頻信息不僅僅可以提供傳統(tǒng)的彩色輪廓信息,還能額外提供真實場景的深度信息,通過深度數(shù)據(jù)我們可以計算出活動目標人體的大小、移動方向、速度,并重點突破目標跟蹤中的交疊問題,從而有效地提取目標人物身高、體型、步態(tài)特征。同時,可以充分利用彩色信息與深度數(shù)據(jù)之間的優(yōu)勢互補,突破當前二維視頻結(jié)構化技術的局限,準確地獲取人體身高、人體三維體貌、監(jiān)控場景內(nèi)目標人體的三維輪廓、目標人體之間的前后位置關系等信息,進而給用戶提供更準確的視頻結(jié)構化信息。
在三維成像領域,主流的深度相機主要采用結(jié)構光原理,如微軟公司研制的Kinect設備,英特爾公司研制的Realsense深度相機,蘋果公司新發(fā)布的智能手機所配備的三維采集設備。當前國內(nèi)外市場上的三維采集技術主要應用于體感、增強現(xiàn)實、消費電子等領域,還沒有專門針對安防場景下使用的高精度三維監(jiān)控相機產(chǎn)品出現(xiàn),主要原因在于當前深度相機在采集距離、采集精度、應用場景等方面還達不到安防監(jiān)控的需求。因此,研發(fā)一款適用于監(jiān)控場景、能同時獲取深度信息和顏色信息的安防相機成為目前三維機器視覺領域的重要研究課題之一。
三維網(wǎng)絡安防相機
為了迎合目前智能安防對于三維數(shù)據(jù)的迫切需求,的盧深視研制成功了一種適用于安防環(huán)境的三維網(wǎng)絡攝像機,該相機融合了二維彩色網(wǎng)絡攝像機和結(jié)構光深度相機技術,可以在譬如火車站、飛機場、地鐵站等室內(nèi)光照復雜環(huán)境下全天候的獲取通信人員的二維色彩與三維形狀信息。該相機系統(tǒng)構成如下:
圖一%20三維安防網(wǎng)絡攝像機系統(tǒng)構成
該相機有如下特點:
高精度三維信息
通過組合變焦鏡頭與特征點投射器,的盧深視設計出了一種可以在各個距離下都投射出足夠稠密特征的特征點投射系統(tǒng)。傳統(tǒng)的特征點投射器,光束的發(fā)散角以及特征點的數(shù)量是固定的,在遠距情況下,特征點會均勻的分布在場景內(nèi),造成感興趣區(qū)域內(nèi)特征點很少,譬如人臉,從而導致這些區(qū)域內(nèi)的點云稀疏、精度低。而通過這套變焦投射系統(tǒng),可以控制投射光束的發(fā)散角,從而控制特征點的密集程度,在遠距離情況下,可以把所有特征點投射到感興趣區(qū)域,從而獲取目標稠密、高精度的三維信息。
三維成像對環(huán)境光照魯棒性高
第一,該的三維成像系統(tǒng)通過使用940nm波長光源與紅外窄帶濾光片來抑制陽光與環(huán)境雜光影響。一般情況下,室內(nèi)環(huán)境雜光大部分都是可見光范疇,而且940nm又是太陽光波段的峰谷,因此使用940nm波長光源與紅外窄帶濾光片的組合可以濾除絕大部分環(huán)境雜光和太陽光的干擾,從而保證三維成像系統(tǒng)在各種復雜光照環(huán)境下的成像性能;
第二,三維成像系統(tǒng)通過一組彩色鏡頭與紅外鏡頭融合了雙目系統(tǒng)與結(jié)構光系統(tǒng),在深度恢復算法上,的盧深視也同樣融合了雙目算法與結(jié)構光算法,即使在極端光照情況下(譬如正午陽光),特征點投射系統(tǒng)投射出去的特征點已經(jīng)無法被紅外鏡頭捕捉,也可以通過雙目成像系統(tǒng)獲取目標場景的三維數(shù)據(jù)。
數(shù)據(jù)傳輸成本低
融合了目前二維安防網(wǎng)絡攝像機的數(shù)據(jù)傳輸技術,在H264編碼框架下,的盧深視通過對深度圖預處理,實現(xiàn)了基于H264編碼的三維數(shù)據(jù)低損傳輸技術。
三維深度圖不同于二維圖像,深度圖上每個像素值大小代表目標和相機的幾何距離,因此,深度圖對于圖像傳輸過程中的保真性要求很高,譬如兩個物體交界的邊界處,二維圖像可以容忍一定的邊界鋸齒和模糊現(xiàn)象,但是對于深度圖來說,邊界鋸齒和模糊都是絕對不能允許的。為此的盧深視設計了兩種預處理的方法來提高數(shù)據(jù)傳輸過程中的保真性:
第一,對深度圖的前后景進行分離,同一深度范圍內(nèi)的目標歸為一類,然后通過填充的方法對前后景圖像進行填充,消除邊界處的像素值階躍現(xiàn)象,避免在傳輸過程中產(chǎn)生誤碼;
第二,對深度圖的每個像素添加“數(shù)據(jù)校驗位”,在用戶上位機解碼的過程中,對數(shù)據(jù)校驗位進行校驗,去除不通過校驗的像素點,保證用戶獲取數(shù)據(jù)的正確性。
圖二%20相機獲取數(shù)據(jù)時形成的彩色圖、深度圖對比
相機運行穩(wěn)定性高
第一,數(shù)據(jù)傳輸使用網(wǎng)線傳輸,保證數(shù)據(jù)傳輸?shù)姆€(wěn)定性,相機支持碼率自動調(diào)節(jié)功能,保證在各種環(huán)境下都能穩(wěn)定的把數(shù)據(jù)傳給上位機;
第二,為了保證相機前端計算穩(wěn)定性,該相機使用一塊高速FPGA作為深度恢復算法的運算單元,硬件穩(wěn)定性高,已經(jīng)通過了安防網(wǎng)絡相機的各項環(huán)境指標測試,在高溫、高濕等惡劣環(huán)境下都能正常運行;
第三,使用全金屬外殼,內(nèi)部芯片以及高溫元器件通過金屬散熱片與外殼直接相連,通過這種優(yōu)化的散熱方式,保證相機可以在高溫環(huán)境下持續(xù)運行。
應用領域及發(fā)展
目前,三維網(wǎng)絡安防相機主要應用于安防反恐領域。尤其在邊檢安防領域,新疆新疆公安廳的反恐項目中早已開始使用三維人臉識別技術,并建立了全國首個省級“三維人像數(shù)據(jù)庫”。不僅如此,2018年10月通車的港珠澳大橋上,更是首次大規(guī)模應用了人臉識別身份核驗技術,智慧關卡全面采用“刷臉通行”,車輛可在無感的條件下8秒通關。
(鷹眼產(chǎn)品用于港珠澳大橋通關)
的盧深視認為,三維網(wǎng)絡安防相機有很大應用空間,由于技術特性,其可以實現(xiàn)物體重建、高精地圖重建等等工作?,F(xiàn)階段該技術主要聚焦在泛安防領域,未來會在更多商業(yè)、個人助手、消費電子領域拓展,和VR等行業(yè)結(jié)合,提供“識別后可交互”的服務,為更多場景賦能。
- 小米破百僅1.98秒的超跑手機,售價高達52.99萬元,你敢嘗試嗎?
- 小米首款超跑亮相:挑戰(zhàn)地表最快四門量產(chǎn)車,起售價52.99萬元起
- 小米未來之戰(zhàn):雷軍立下目標,2025年1月挑戰(zhàn)中國手機市場第二位,顛覆還是維持?
- DeepSeek開啟并行優(yōu)化新篇章:3項策略齊頭并進,技術突破引人矚目
- 百度文心大模型4.5版即將亮相:打破虛高預期,邁向真實價值的新起點
- 百度與寧德時代攜手共進:數(shù)智化與自動駕駛領域的新篇章
- 微信添新功能!雷軍成新首富:身家碾壓鐘睒睒,看這‘元寶下載’如何引領風潮?
- 意大利稅務部門調(diào)查X平臺,追繳巨額稅款:揭秘數(shù)字經(jīng)濟的稅收挑戰(zhàn)
- 百度與寧德時代聯(lián)手布局無人駕駛,探索數(shù)智化新未來
- 國產(chǎn)GPU巨頭啟動上市前裁員計劃,員工面臨大調(diào)整
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。