首頁  技術(shù)文章  2018 Nature Photonics:單像素成像的原理和前景

2018 Nature Photonics:單像素成像的原理和前景

發(fā)布時間:2022-04-23 12:55:40 瀏覽量:9632 作者:LY.Young 光學(xué)前沿

摘要

像素數(shù)對于成像用的相機是很重要的驴剔。你的相機有多少像素省古?真正應(yīng)該問的問題是你的相機需要多少像素?用于數(shù)字圖像采集的硅基電荷耦合器件 (CCD) 和互補金屬氧化物半導(dǎo)體 (CMOS) 像素化傳感器的發(fā)展是一個快速變化的領(lǐng)域丧失。從手機到專業(yè)數(shù)碼單反相機豺妓,構(gòu)成傳感器芯片的像素數(shù)量既是性能指標,也是營銷必不可少的話題布讹。

正文


2018 Nature Photonics:單像素成像的原理和前



技術(shù)背景:

(1)像素數(shù)對于成像用的相機是很重要的琳拭。你的相機有多少像素?真正應(yīng)該問的問題是你的相機需要多少像素描验?用于數(shù)字圖像采集的硅基電荷耦合器件 (ccd) 和互補金屬氧化物半導(dǎo)體 (cmos) 像素化傳感器的發(fā)展是一個快速變化的領(lǐng)域白嘁。從手機到專業(yè)數(shù)碼單反相機,構(gòu)成傳感器芯片的像素數(shù)量既是性能指標膘流,也是營銷必不可少的話題絮缅。

(2)在不適合硅基陣列圖像傳感器應(yīng)用的場景,使用單像素探測器二維光柵掃描(raster-scanned)的成像效率與圖像像素數(shù)成反比『艄桑現(xiàn)代掃描技術(shù)通常采用一對振鏡耕魄,用于將光引導(dǎo)到單像素探測器上。光柵掃描系統(tǒng)通常用于需要在不適合硅基傳感器技術(shù)使用的波段進行傳感的應(yīng)用彭谁,在這些應(yīng)用中吸奴,硅基像素化傳感器變得昂貴或不切實際,例如紅外線或深紫外線缠局。然而奄抽,當(dāng)掃描來自自然場景的光時,任何單點掃描機制的效率都與圖像中的像素數(shù)成反比甩鳄。

(3)使用基于計算的方式的單像素相機不需要二維光柵掃描逞度。單像素相機已經(jīng)應(yīng)用于可見光成像、多光譜成像妙啃、高光譜成像档泽、紅外成像、太赫茲成像揖赴、氣體成像馆匿、實時視頻、后處理視頻燥滑、顯微鏡渐北、三維成像、偏振測量(polarimetry)铭拧、多模成像赃蛛、經(jīng)散射介質(zhì)成像恃锉、X射線衍射層析、光聲成像呕臂、全息破托、相位成像、核磁共振成像歧蒋、眼科成像土砂、血細胞計數(shù)、超快成像谜洽、長距成像等萝映。

英國格拉斯哥大學(xué)的Matthew P. Edgar, Graham M. Gibson & Miles J. Padgett等人撰寫綜述文章,介紹了單像素成像的原理和應(yīng)用前景阐虚。


單像素相機是如何工作的

(1)相機架構(gòu)

單像素相機有兩個主要部件:空間光調(diào)制(spatial light modulator, SLM)和單像素探測器序臂。SLM有兩種,一種是DMD敌呈,另一種是LCD贸宏。雖然LCD具有可調(diào)制相位和振幅的能力造寝,但是因為DMD具有出眾的調(diào)制速率(超過20kHz)磕洪,因此,在計算成像系統(tǒng)中常用的是DMD诫龙。文章所討論的LCD均指DMD析显。

本質(zhì)上,DMD是一個可編程的二進制傳輸掩碼(transmission mask)签赃。如圖1所示為計算成像的兩種結(jié)構(gòu)谷异。圖1(a)為物體經(jīng)成像透鏡成像在DMD上,DMD編程顯示一系列的二進制圖案锦聊,將物體的像調(diào)制后投射到單像素探測器上歹嘹。圖1(b)為DMD投射一系列的二進制圖案到物體上,調(diào)制物波前孔庭,zui終被單像素探測記錄下一系列的光強信號尺上。DMD的調(diào)制速率是單像素相機采集時間的瓶頸,因此圆到,壓縮感知的方法被用于避開這個限制怎抛。



(2)理解壓縮感知

對于壓縮感知在單像素成像中的應(yīng)用,即使我們知道圖像可以用稀疏基描述芽淡,但是自適應(yīng)感知策略并不一定起作用马绝。2006 年,Candes和Tao證明了當(dāng)壓縮測量策略是偽隨機的挣菲,并且與稀疏基完全無關(guān)時富稻,使用適當(dāng)?shù)挠嬎悴呗钥梢詮膲嚎s測量中以非常高的概率恢復(fù)正確的解掷邦。例如,圖像在小波基上可能是稀疏的唉窃,因此在通過應(yīng)用亞奈奎斯特數(shù)量的偽隨機模式獲得強度測量值后耙饰,一種方法是采用所謂的“匹配追蹤(matching pursuit)”算法來找到與這些偽隨機測量非常相關(guān)的小波。該小波特征從數(shù)據(jù)中移除纹份,并且重復(fù)該過程直到解被小波基的子集完全表示苟跪。或者蔓涧,可以采用所謂的“基追蹤(basis pursuit)”算法來找到滿足偽隨機測量的稀疏小波組合件已。重要的是,這種類型的問題(?1 zui小化)可以通過凸優(yōu)化方法計算元暴,這比傳統(tǒng)的zui小二乘法更有效篷扩。盡管如此,計算量仍然不可忽視茉盏,因此需要其它的z小化策略以加快重建時間鉴未。 


(3)采集和圖像重建策略

單像素成像的概念zui先由斯坦福大學(xué)的Sen等人于2005年證實,結(jié)合壓縮感知的方法鸠姨,使得在測量數(shù)低于圖像的總像素數(shù)時铜秆,可以將圖像恢復(fù)。使用什么策略來精確的壓縮感知圖像的特征(即如何采集)讶迁,以及用什么算法來重建圖像连茧,是單像素成像的研究重點之一。

a巍糯、使用與圖像的空間特性不相干(incoherent)的基(例如隨機模式)采樣啸驯,每次測量提供有關(guān)每個像素的少量信息,然后使用大計算量的優(yōu)化算法推測圖像祟峦。優(yōu)化算法可以基于z小化圖像強度模量的 ?1-范數(shù)罚斗、離散余弦變換、空間梯度(total variation, TV)或圖像曲率 宅楞。然而针姿,在已經(jīng)利用了壓縮感知的前提下,重建時間仍大大超過采集時間的情況并不少見咱筛。因此搓幌,在要求實時性的單像素相機應(yīng)用中不采用這種策略。盡管如此迅箩,對于不需要實時處理的應(yīng)用溉愁,這種策略通常會從顯著壓縮的數(shù)據(jù)中產(chǎn)生的圖像質(zhì)量和高幀速率視頻。

b、使用不一定與圖像的空間特性不相干的基進行采樣拐揭,圖像重建使用計算速度快的算法撤蟆。基可選的有Hadamard堂污、傅里葉家肯、小波等。例如盟猖,這可以是簡單地將采樣模式求和讨衣,根據(jù)它們測量的強度進行加權(quán)(即,與物相似的模式比相似性較低的模式的權(quán)重更大)式镐,或者通過快速算法實現(xiàn)重建 反镇。通常,壓縮感知采樣的基適合需要低到中等圖像分辨率以及更快甚至實時圖像重建的應(yīng)用娘汞。如果模式彼此正交歹茶,則對未知圖像強度進行完全采樣所需的模式數(shù)量等于所需圖像中的像素總數(shù) N。然而你弦,在任何一個基中惊豺,挑戰(zhàn)在于選擇恰當(dāng)?shù)幕淖蛹瘉聿蓸印?/p>

c、使用優(yōu)化的方法可以改善重建圖像質(zhì)量禽作。當(dāng)測量數(shù)等于像素數(shù)時尸昧,優(yōu)化展現(xiàn)的是降噪的效果,當(dāng)測量數(shù)小于像素數(shù)時领迈,優(yōu)化仍然有效彻磁。如圖2碍沐,展示了在不同測量數(shù)下狸捅,優(yōu)化與不優(yōu)化的重建效果。



d累提、在使用二進制采樣基時可以采取一定的方式消除或減少測量中的噪聲源尘喝。如使用Hadamard基時,它是一組取值為 1 (微鏡反射的光狀態(tài)為1斋陪,on state)的正交二元函數(shù)朽褪,這通常需要準確測量平均信號 S 或使用第二個像素來測量 –1 (微鏡反射的光狀態(tài)為0,off state)无虚〉拊或者,只使用一個像素友题,這可以通過先在某一圖案時記錄下強度信號嗤堰,然后顯示圖案的負片再記錄下強度的信號來實現(xiàn),其中該圖案的加權(quán)信號是兩次測量強度之間的差度宦,即外差檢測的一種形式踢匣。e告匠、單像素相機系統(tǒng)要求光源強度穩(wěn)定,探測器增益穩(wěn)定离唬,方可獲得高質(zhì)量的重建圖像后专。因為在單像素系統(tǒng)中,雖然整體光照水平較高输莺,但圖像信息對應(yīng)于信號中關(guān)于平均值的細微變化戚哎。

f、單像素探測器需要響應(yīng)速度快嫂用,面積足夠大建瘫,足夠穩(wěn)定和靈敏。如果要保證系統(tǒng)的光學(xué)效率尸折,由 DMD 的孔徑和成像的數(shù)值孔徑的乘積給出的成像系統(tǒng)的基礎(chǔ)擴展量(underpinning étendue)必須與單像素探測器的擴展量匹配啰脚,這意味著探測器孔徑為幾毫米。像素檢測器必須足夠快以測量圖案掩模變化時的信號实夹,足夠大以收集透射光橄浓,并且足夠穩(wěn)定和靈敏以測量透射強度的細微變化。


單像素成像的應(yīng)用和未來潛能

(1)單像素相機適用于沒有可用的二維陣列探測器亮航,或者二維陣列探測器非常昂貴的場景荸实。如,對甲烷氣體的探測缴淋。甲烷氣體的吸收峰在1.65um准给,此波段的相機價位不菲。圖4為可見光相機和單像素甲烷實時成像雙模態(tài)融合圖像重抖,用于測量甲烷泄露情況露氮。


原則上,DMD可以從紫外到大部分的紅外線施加掩模(mask)钟沛。即單像素相機可以在此范圍使用畔规。但是通過使用半導(dǎo)體和其它光調(diào)制技術(shù),單像素相機已經(jīng)可以在太赫茲頻率使用恨统。事實上叁扫,任何能夠提供時空輻射分布(spatiotemporal radiation distributions)的器件(如專門設(shè)計的THz-SLM81、基于超材料的調(diào)制器等)都可以使用計算成像策略畜埋。


(2)單像素相機適用于需要高時間分辨率的應(yīng)用莫绣。單像素相機可輕松實現(xiàn)接近皮秒的時間分辨率。這種時間分辨率適用于直接飛行時間測距(direct time-of-flight ranging)悠鞍,即LiDAR(激光雷達)对室。使用單像素相機時,如果照明是短脈沖,則檢測到的信號取決于測量模式與成像場景的重疊以及每個場景元素的距離软驰。因此涧窒,返回光的時間形式是一個復(fù)雜的脈沖結(jié)構(gòu),可用于導(dǎo)出場景中的整個三維信息锭亏。
將返回信號時間合并(binning)到定義的間隔中允許根據(jù)每個到達時間重建多個二維圖像纠吴,即獲得深度。當(dāng)時間合并分辨率足夠短時慧瘤,例如 1 ps戴已,這相當(dāng)于以每秒萬億幀的速度捕獲光的傳播,這似乎將光的運動減慢到蝸牛的速度锅减。圖 5 顯示了通過采用皮秒脈沖源的結(jié)構(gòu)化照明和光子計數(shù)光電倍增管的單像素相機獲得的實驗結(jié)果糖儡。



參考文獻:Edgar, M.P., Gibson, G.M. & Padgett, M.J. Principles and prospects for single-pixel imaging. Nature Photon 13, 13–20 (2019). https://doi.org/10.1038/s41566-018-0300-7


更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電

關(guān)于昊量光電:

上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商,產(chǎn)品包括各類激光器怔匣、光電調(diào)制器握联、光學(xué)測量設(shè)備、光學(xué)元件等每瞒,涉及應(yīng)用涵蓋了材料加工金闽、光通訊、生物醫(yī)療剿骨、科學(xué)研究代芜、國防、量子光學(xué)浓利、生物顯微挤庇、物聯(lián)傳感、激光制造等贷掖;可為客戶提供完整的設(shè)備安裝嫡秕,培訓(xùn),硬件開發(fā)羽资,軟件開發(fā)淘菩,系統(tǒng)集成等服務(wù)遵班。

您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息屠升,或直接來電咨詢4006-888-532。

 

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)狭郑。

国产福利姬视频在线观看,国产原创激情在线观看网站,亚洲欧美日韩激色国产精品,日韩精品亚洲国产