博覽：2021Photonics Research基于混合編碼孔徑的千萬像素快照壓縮成像

正文

博覽：2021Photonics Research基于混合編碼孔徑的千萬像素快照壓縮成像

技術(shù)背景：

高分辨率圖像易得，但是高分辨高速的視頻采集難以實現(xiàn)窄锅。機器視覺在機器人创千、無人機、自動駕駛汽車和手機應(yīng)用中的最新進展已將高分辨率圖像帶入我們的日常生活入偷。高速高分辨率視頻雖然在物理現(xiàn)象觀察签餐、生物熒光成像、體育直播等各個領(lǐng)域有著廣泛的應(yīng)用盯串，但現(xiàn)有相機工作在高分辨率模式下時氯檐，由于受到幀率有限、內(nèi)存体捏、帶寬和功率的限制冠摄，往往通量低糯崎。

關(guān)于高通量成像，快照壓縮成像（snapshot compressive imaging,SCI)被提出并成為廣泛使用的框架河泳。千萬像素(10-mega pixel )鏡頭和傳感器技術(shù)已經(jīng)成熟沃呢，但高速和高分辨率成像的主要挑戰(zhàn)在于當(dāng)前成像系統(tǒng)的處理能力不足。高速高分辨率記錄采集的海量數(shù)據(jù)給系統(tǒng)的存儲和傳輸模塊帶來巨大壓力拆挥，無法進行長時間的采集薄霜。近幾十年來，計算攝影的興起為研究人員提供了新思路纸兔，并在超分辨率惰瓜、去模糊、深度估計等許多與成像相關(guān)的領(lǐng)域取得了突破汉矿∑榉唬快照壓縮成像旨在實現(xiàn)從二維探測器捕獲的單個編碼快照中重建視頻和高光譜圖像等高維數(shù)據(jù)。視頻SCI系統(tǒng)通常由物鏡洲拇、隨時間變化的掩模奈揍、單色或彩色傳感器和一些額外的中繼鏡頭組成。在每次曝光期間赋续，數(shù)十個時間幀由相應(yīng)的隨時間變化的掩膜調(diào)制男翰，然后集成到單個快照中。SCI 系統(tǒng)中的高維數(shù)據(jù)重建可以表述為線性不適定模型(ill-posed linear model)纽乱。經(jīng)典 SCI 系統(tǒng)通常依賴于光刻技術(shù)產(chǎn)生的平移掩模(shifting mask)或空間光調(diào)制器投影的動態(tài)圖案作為隨時間變化的掩模奏篙。平移掩模方案可以提供高空間分辨率調(diào)制，但它依賴于平移臺的機械運動迫淹，存在不準(zhǔn)確或不穩(wěn)定秘通、難以緊湊集成的問題。對于空間光調(diào)制器生成的掩膜敛熬，它們可以通過微機械控制器快速切換肺稀，但其分辨率通常僅限于百萬像素級別，難以放大应民。

當(dāng)前不足：

現(xiàn)有的視頻SCI系統(tǒng)话原，當(dāng)空間分辨率達(dá)到千萬像素時，在硬件實現(xiàn)和算法開發(fā)上都難以實現(xiàn)(很少有SCI系統(tǒng)可以在現(xiàn)實場景中實現(xiàn)1000 × 1000像素分辨率的成像诲锹。通常分辨率大多為 256×256 或 512×512)繁仁。

文章創(chuàng)新點：

基于此，清華大學(xué)戴瓊海組的Zhihong Zhang(第一作者)等人提出了一種基于混合編碼孔徑的千萬像素快照壓縮成像方案归园。實現(xiàn)了千萬像素的SCI系統(tǒng)黄虱，用于采集高速場景，每秒通量高達(dá)4.6G體素(voxels)庸诱。

（1）通過聯(lián)合使用動態(tài) LCoS 和高分辨率光刻掩模捻浦，提出一種新穎的混合編碼孔徑快照壓縮成像 (HCA-SCI) 方案晤揣，該方案可以提供多路復(fù)用平移模式(shifting pattern)來編碼像平面，而無需物理移動掩模朱灿。

（2）受大規(guī)模SCI中的即插即用 (PnP) 算法的啟發(fā)昧识，提出了一種重建算法，該算法涉及全變分 (TV) 降噪器和基于學(xué)習(xí)的FastDVDNet降噪器的級聯(lián)和系列降噪過程盗扒。仿真結(jié)果表明跪楞，該算法能夠在合理的時間內(nèi)提供較好的重建結(jié)果。

（3）基于HCA-SCI方案和開發(fā)的重建算法,構(gòu)建了一個千萬像素的大規(guī)模 SCI 系統(tǒng)侣灶。實現(xiàn)了6甸祭、10、20炫隶、30的壓縮率，使得幀率為15fps的傳統(tǒng)相機可以實現(xiàn)高達(dá) 450 幀/秒的重建幀率阎曹，驗證了所提出方案在實際場景中的有效性伪阶。

原理解析：

（1）整個硬件系統(tǒng)集成在一塊面包板上。包含了主鏡頭(primary lens)处嫌、偏振分光棱鏡(polarizing beamsplitter,PBS)栅贴、偏振片、振幅調(diào)制LCoS(2048*1536像素熏迹，4.5k刷新率)檐薯、三個中繼鏡頭、光刻掩膜(lithography mask,5120*5120像素注暗，4.5um*4.5um像元尺寸)坛缕、cmos相機(5120*5120像素，4.5um*4.5um像元尺寸)以及固定支架等捆昏。實物圖見圖1a赚楚，光路圖見圖1b。入射光首先被主鏡頭采集聚焦到第一個虛擬像平面上(圖1b中的Image plane)骗卜。然后由兩個中繼鏡頭組成4f系統(tǒng)宠页，將第一個像經(jīng)編碼孔徑和光刻掩膜后傳遞到第二個虛擬像平面(圖1b中mask后相隔為d的虛線處)】懿郑孔徑編碼模組置于4f系統(tǒng)中央举户，包含了PBS、兩個偏振片和一個振幅調(diào)制LCoS遍烦。最后俭嘁，第二個虛擬像平面處的像由中繼鏡頭傳遞到CMOS相機上被采集。

（2）編碼掩膜生成服猪。如圖2所示兄淫，LCoS的有效區(qū)域(圖2中的aperture)被分成幾個子塊(即子孔徑)屯远，每一個子孔徑對應(yīng)著相應(yīng)的光束傳播方向。光刻掩膜置于像平面之前捕虽，當(dāng)不同的子孔徑打開的時候慨丐，相應(yīng)子孔徑的光束將投影到像平面的不同區(qū)域，從而生成相應(yīng)的平移編碼掩膜(shifting encoding mask)泄私。為了提高光通量房揭，多個子孔徑同時打開生成一個多路復(fù)用的掩膜被相機記錄。在一次相機曝光時間內(nèi)晌端，依照時間順序捅暴，積分記錄多個不同的多路復(fù)用掩膜，即將時間上的場景通過不同的編碼掩膜記錄在同一個相機幀上咧纠，實現(xiàn)時間上的壓縮蓬痒。同時大大縮小了需要存儲的數(shù)據(jù)量。(數(shù)學(xué)模型見附錄)

（3）重建算法漆羔。在PnP-GAP的基礎(chǔ)上梧奢，增加級聯(lián)降噪器，用于提升性能演痒。算法流程見Algorithm 1亲轨。（具體數(shù)學(xué)表述見附錄）

重建效果圖：

參考文獻：Zhang Z, Deng  chao, Liu Y, Yuan X, Suo J, Dai Q. 10-mega pixel snapshot compressive imaging with a hybrid coded aperture. Photonics Research [Internet]. The Optical Society; 2021 Aug 19

DOI：http://dx.doi.org/10.1364/prj.435256

附錄：

（1）掩膜生成數(shù)學(xué)模型

令O表示中心子孔徑打開時中心視角的掩膜，每一個由多個子孔徑多路復(fù)用生成的掩膜C可以表示成：

Si表示掩膜平移算子鸟顺，對應(yīng)第i個子孔徑惦蚊；mi取0或1，表示第i個子孔徑的開關(guān)狀態(tài)讯嫂；N是子孔徑的數(shù)量蹦锋。考慮一個大小為nx*ny*B的視頻X欧芽，B代表幀率晕粪。視頻X被B個編碼的掩膜C調(diào)制，并在相機上積分采集渐裸，生成一個快照編碼的測量γ：

⊙代表Hadamard product(即對應(yīng)元素相乘)巫湘。G是nx*ny大小的測量噪聲， 經(jīng)過簡單推導(dǎo)昏鹃，（2）可以轉(zhuǎn)化為：

y是向量化的γ尚氛，g是向量化的G，元素數(shù)都是nx*ny洞渤。

（2）系統(tǒng)校正

臨時移除光刻掩膜阅嘶，用Lambertian白板作為物，I是LCoS全亮?xí)r采集的圖像，B是LCoS全暗時采集的背景讯柔，C是加入光刻掩膜后記錄的每一張動態(tài)編碼掩膜圖案抡蛙。C‘是校正后的編碼掩膜。

（3）重建算法模型

Pnp-GAP:SCI 逆問題可以如下描述

求解x

求解v

再基于算法1應(yīng)用級聯(lián)降噪器降噪魂迄。

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是國內(nèi)知名光電產(chǎn)品專業(yè)代理商粗截，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿；產(chǎn)品包括各類激光器捣炬、光電調(diào)制器熊昌、光學(xué)測量設(shè)備、精密光學(xué)元件等湿酸，涉及應(yīng)用領(lǐng)域涵蓋了材料加工婿屹、光通訊、生物醫(yī)療推溃、科學(xué)研究昂利、國防及更細(xì)分的前沿市場如量子光學(xué)、生物顯微铁坎、物聯(lián)傳感蜂奸、精密加工、先進激光制造等厢呵；可為客戶提供完整的設(shè)備安裝窝撵，培訓(xùn)傀顾，硬件開發(fā)襟铭，軟件開發(fā)，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)短曾。

您可以通過昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息寒砖，或直接來電咨詢4006-888-532。

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)嫉拐。