自然界中動物的視覺系統(tǒng)通常高度適應(yīng)其生存環(huán)境仰泻，而人類shi界中數(shù)字成像系統(tǒng)在被廣泛應(yīng)用于各種場景的情況下我纪，卻被設(shè)計成只模擬人眼慎宾。盡管這種通用設(shè)計在有些場合很成功丐吓，但是趟据，我們不禁要問：對于一個特定的任務(wù)券犁，什么樣的相機(jī)設(shè)計才是非常好的呢汹碱？為了回答這個問題，在過去的二十年里咳促，人們開始探索針對特定領(lǐng)域的計算相機(jī)。通過聯(lián)合設(shè)計相機(jī)光學(xué)和圖像處理算法跪腹，計算相機(jī)能比傳統(tǒng)通用成像系統(tǒng)在特定任務(wù)上具有更優(yōu)的性能褂删。計算相機(jī)已經(jīng)在一系列應(yīng)用中展現(xiàn)出其能力。如拓展景深冲茸，超分辨，寬動態(tài)范圍成像等难衰。
展示全部 
博覽:2018 ACM Trans. Graph.消色差拓展景深和超分辨成像的光學(xué)和圖像處理端到端優(yōu)化
技術(shù)背景：
自然界中動物的視覺系統(tǒng)通常高度適應(yīng)其生存環(huán)境逗栽，而人類shi界中數(shù)字成像系統(tǒng)在被廣泛應(yīng)用于各種場景的情況下，卻被設(shè)計成只模擬人眼彼宠。盡管這種通用設(shè)計在有些場合很成功鳄虱，但是兵志，我們不禁要問：對于一個特定的任務(wù)醇蝴，什么樣的相機(jī)設(shè)計才是非常好的呢？為了回答這個問題，在過去的二十年里按价，人們開始探索針對特定領(lǐng)域的計算相機(jī)惭适。通過聯(lián)合設(shè)計相機(jī)光學(xué)和圖像處理算法，計算相機(jī)能比傳統(tǒng)通用成像系統(tǒng)在特定任務(wù)上具有更優(yōu)的性能楼镐。計算相機(jī)已經(jīng)在一系列應(yīng)用中展現(xiàn)出其能力癞志。如拓展景深，超分辨凄杯，寬動態(tài)范圍成像等错洁。
當(dāng)前不足：
過往在計算相機(jī)上的探索是啟發(fā)式的戒突，并沒有考慮后處理后的圖像質(zhì)量屯碴。沒有一種端到端的方法來聯(lián)合優(yōu)化成像光學(xué)元件的參數(shù)和數(shù)據(jù)處理算法，為特定任務(wù)找到計算相機(jī)的任務(wù)仍然難以實現(xiàn)膊存。
文章創(chuàng)新點：
基于此隔崎，斯坦福大學(xué)的Vincent Sitzmann和Gordon Wetzstein等人提出了一種從成像的各個器件環(huán)節(jié)到zui終的圖像重建算法都考慮在內(nèi)的端到端優(yōu)化方法今艺。并將該端到端框架應(yīng)用于消色差拓展景深和快照超分辨成像。優(yōu)化完成的衍射元件用光刻技術(shù)加工爵卒，折射透鏡用金剛石車削加工。經(jīng)實驗驗證技潘，實際效果與模擬效果相符遥巴。
原理解析：
(1) 成像模型享幽。首先以近軸光學(xué)的方式，不考慮離軸像差拾弃，用平面波看作為一個無窮遠(yuǎn)處的點光源，其經(jīng)過光學(xué)元件的相位調(diào)制后豪椿，用波動光學(xué)理論在自由空間傳播到圖像傳感器表面得到的光強作為點擴(kuò)散函數(shù)。只考慮點擴(kuò)散函數(shù)為平移不變的情況搭盾，這樣可以簡化問題咳秉。圖像源與點擴(kuò)散函數(shù)卷積，在圖像傳感器每個像素上隨波長和時間積分鸯隅，加上傳感器的讀取噪聲，zui終成像蝌以。圖像重建可以看作為求解一個Tikhonov正則化zui小二乘問題炕舵。
(2) 端到端優(yōu)化框架跟畅。用隨機(jī)梯度法優(yōu)化有一個光學(xué)元件的計算相機(jī)咽筋。將成像模型的每一步描述為一個可微的模塊。光學(xué)元件的光學(xué)高度分布h是一個優(yōu)化變量蒜危，光學(xué)元件的尺寸、圖像傳感器像元尺寸睹耐、傳輸距離z和圖像傳感器讀取噪聲水平等舰褪，均為超參數(shù)。在一個RGB圖像數(shù)據(jù)集上優(yōu)化模型疏橄。損失函數(shù)為均方根誤差占拍。
(3) 消色差拓展景深晃酒。在成像建模的時候，考慮多色和多深度的場景：將整個光譜離散成三個波長(460,550和640nm),場景深度設(shè)計成五個深度(∞,2,1,0.67和0.5m)窄绒。從1244張高分辨率圖像數(shù)據(jù)集中進(jìn)行圖像采樣，隨機(jī)對圖像分配五個深度中的一個彰导，而三個波長同時考慮蛔翅。應(yīng)用上述成像模型成像。
實驗效果：
附錄：
(1) 波動光學(xué)點擴(kuò)散函數(shù)建模位谋。光學(xué)元件對復(fù)數(shù)波場的相位延遲與其厚度h成正比：
入射波場經(jīng)光學(xué)元件出射后的場為：
出射場在自由空間傳播一段距離z：
點擴(kuò)散函數(shù)在這里用一個平面波描述無窮遠(yuǎn)處的一個點源，經(jīng)過光學(xué)元件后掏父，在自由空間傳播一段距離z，到達(dá)圖像傳感器表面得到：
(2) 從PSF到圖像赊淑。獲得點擴(kuò)散函數(shù)以后爵政，圖像傳感器每一個彩色通道感應(yīng)的光強可以看作各個波長下圖像與點擴(kuò)散函數(shù)的卷積并乘以圖像傳感器的光譜靈敏曲線的積分。在這里認(rèn)為PSF是平移不變的陶缺，只考慮近軸情況，離軸像差不考慮饱岸。
(3) 傳感器上建模。傳感器上接收到的圖像建模為每個像素上的積分加上高斯讀取噪聲伶贰。
(4) 通過求解一個Tikhonov正則化zui小二乘問題重建蛛砰。
當(dāng)PSF離散化大小與圖像傳感器像素大小匹配時，像素積分算子S為恒等式黍衙，可以在圓形邊界條件的簡化假設(shè)下用維納濾波以封閉形式解決問題(7)泥畅，維納濾波操作為：
(5) 端到端優(yōu)化位仁。優(yōu)化求解loss函數(shù)為：
參考文獻(xiàn)：Vincent Sitzmann, Steven Diamond, Yifan Peng, Xiong Dun, Stephen Boyd, Wolfgang Heidrich, Felix Heide, and Gordon Wetzstein. 2018. End-to-end optimization of optics and image processing for achromatic extended depth of field and super-resolution imaging. ACM Trans. Graph. 37, 4, Article 114 (August 2018), 13 pages.
DOI：https://doi.org/10.1145/3197517.3201333
更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電
關(guān)于昊量光電：
上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商柑贞，產(chǎn)品包括各類激光器、光電調(diào)制器钧嘶、光學(xué)測量設(shè)備舀寓、光學(xué)元件等予借，涉及應(yīng)用涵蓋了材料加工污桦、光通訊空盼、生物醫(yī)療书幕、科學(xué)研究台汇、國防、量子光學(xué)篱瞎、生物顯微、物聯(lián)傳感俐筋、激光制造等牵素；可為客戶提供完整的設(shè)備安裝，培訓(xùn)两波，硬件開發(fā)，軟件開發(fā)闷哆，系統(tǒng)集成等服務(wù)。
您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息测蘑，或直接來電咨詢4006-888-532灌危。
本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)。
展示全部