博覽：2020 CVPR 用于單幀高動態(tài)范圍成像的深度光學(xué)

正文

博覽：2020 CVPR 用于單幀高動態(tài)范圍成像的深度光學(xué)

技術(shù)背景：

高動態(tài)范圍(High dynamic range,HDR)成像是使用廣泛的計算攝影(computational photography)技術(shù)之一同波。它具有許多的應(yīng)用鳄梅，如基于圖像的照明(image-based lighting)、HDR顯示未檩、圖像處理等戴尸。然而，相機圖像傳感器的動態(tài)范圍從根本上受限于其像素的滿阱容量冤狡。當(dāng)產(chǎn)生的光電子數(shù)量超過滿阱容量時(通常是在對具有高對比度的場景進行成像時)孙蒙，強度信息會因飽和而不可逆轉(zhuǎn)地丟失。不斷縮小的像素尺寸悲雳，例如在手機應(yīng)用中挎峦，會加劇這個問題，因為滿阱容量與像素尺寸成正比合瓢。

目前已經(jīng)開發(fā)了幾種不同的策略來克服可用圖像傳感器的有限動態(tài)范圍坦胶。一類技術(shù)使用固定或變化的曝光設(shè)置捕獲多個低動態(tài)范圍 (low dynamic range,LDR) 圖像。不幸的是歪玲，這種方法不適合捕捉動態(tài)場景迁央。另一類技術(shù)使用多個光學(xué)對齊的傳感器同時捕獲同一個場景掷匠，但對于此類專用相機滥崩，校準(zhǔn)、成本和設(shè)備外形因素是必須考慮的讹语，且此法實際使用時不一定總是可行钙皮。單次采集是一種有吸引力的解決方案，但通常需要在圖像傳感器上采取自定義曝光模式來實現(xiàn)多路復(fù)用顽决。zui近短条，還提出了從單個飽和LDR圖像產(chǎn)生幻覺(hallucinate)HDR圖像(如HDR-CNN)。

當(dāng)前不足：

雖然HDR-CNN在許多情況下都取得了成功才菠，但飽和的場景細節(jié)往往無法通過幻覺忠實地恢復(fù)茸时。

文章創(chuàng)新點：

基于此，美國斯坦福大學(xué)的Christopher A. Metzler和Gordon Wetzstein等人提出一種光學(xué)編碼赋访、計算解碼可都，編碼器和解碼器都以端到端方式訓(xùn)練缓待，實現(xiàn)單幀HDR成像的方法。不同于傳統(tǒng)的HDR-CNN渠牲，本文的方法通過具有優(yōu)化點擴散函數(shù)(PSF)的光學(xué)濾波器將亮像素值的信息編碼到附近像素中來保留飽和像素值的信息旋炒。使用光學(xué)濾波器對HDR像素信息進行編碼，并轉(zhuǎn)向機器學(xué)習(xí)來自動設(shè)計光學(xué)元件和端到端的重建算法签杈，從而z大化從HDR場景傳遞到低動態(tài)范圍的信息(LDR)測量瘫镇。

文章通過大量的模擬，證明深度光學(xué)通常比替代的單次HDR成像方法獲得更好的結(jié)果答姥。因為與HDR-CNN方法相比铣除，優(yōu)化的PSF具有更大的自由度來編碼圖像傳感器圖像中的場景信息，并且與其它光學(xué)編碼技術(shù)相比鹦付，這里使用與重建算法聯(lián)合優(yōu)化的光學(xué)元件 通孽，而不是啟發(fā)式選擇。且制造出的光學(xué)元件可以作為附件直接安裝在現(xiàn)有的光學(xué)鏡頭上睁壁。

原理解析(數(shù)學(xué)原理見附錄背苦，對公式恐懼可忽略)：

成像過程可以看作成像系統(tǒng)點擴散函數(shù)h與成像目標(biāo)x的卷積加上系統(tǒng)的噪聲η，經(jīng)相機響應(yīng)f后成一個像y潘明。文章的目標(biāo)是通過聯(lián)合優(yōu)化點擴散函數(shù)和重建算法行剂，從而能夠從y恢復(fù)x。

(1) 光學(xué)點擴散函數(shù)建模钳降。光學(xué)系統(tǒng)由普通單反鏡頭前端附加一個需要聯(lián)合優(yōu)化而來的衍射光學(xué)元件(diffractive optical element厚宰，DOE )組成。點擴散函數(shù)形成的物理機制可以建模為：點物從無窮遠處以平面波形式入射進光學(xué)系統(tǒng)遂填，經(jīng)DOE相位調(diào)制铲觉、自由空間傳播、單反鏡頭相位調(diào)制吓坚、自由空間傳播撵幽、在相機上產(chǎn)生點物的強度分布，即點擴散函數(shù)h礁击。

(2) 基于CNN的圖像重建盐杂。使用U-net架構(gòu)從測得的y恢復(fù)x。具體來說哆窿，U-net使用跳躍連接并且有5個尺度链烈，每個尺度有4個連續(xù)的下采樣操作(maxpool)和4個連續(xù)的上采樣操作。在U-Net 的每個尺度上挚躯，都包含一個額外的卷積層强衡；每個卷積層后跟一個修正線性單元(ReLU)。BatchNorm層在每個上采樣層之后和zui終卷積層之后使用码荔。這種架構(gòu)可以讓鏡頭表面輪廓的收斂速度更快漩勤。如圖1所示号涯，每個網(wǎng)絡(luò)層有 64 個特征圖。 

(3)端到端訓(xùn)練锯七。通過如圖1的端到端框架聯(lián)合優(yōu)化點擴散函數(shù)(PSF)和U-Net CNN链快。訓(xùn)練的時候使用數(shù)千張HDR圖片用于訓(xùn)練。簡單而言眉尸，一張HDR圖片經(jīng)光學(xué)系統(tǒng)傳輸域蜗，相機采集到具有噪聲且飽和了的LDR圖像，使用U-net重建HDR圖像噪猾。在訓(xùn)練過程中使用Tensorflow的自動微分功能計算相應(yīng)的損失函數(shù)來后向(BP)傳輸誤差霉祸，并更新網(wǎng)絡(luò)參數(shù)θ和需要加工的DOE的面型。訓(xùn)練和驗證集包含了2837張HDR圖片(來源不盡相同)袱蜡，對這些數(shù)據(jù)使用裁剪丝蹭、放縮、顏色和飽和度調(diào)整來做數(shù)據(jù)增強坪蚁。zui終的訓(xùn)練集為60000張不同的HDR圖片奔穿，分辨率為320 x 320像素。LDR/HDR圖像對的生成是這樣的敏晤，對經(jīng)過光學(xué)模型采集到的圖片讓其1%到2%的像素飽和贱田，生成LDR圖。優(yōu)化器為Adam,用100個epcochs訓(xùn)練嘴脾，耗時3天男摧。

(4)制造和集成。優(yōu)化完成后译打，可以得到DOE的面型參數(shù)耗拓，通過復(fù)制成形(replica molding)使用聚二甲基硅氧烷(polydimenthyl-siloxane,PDMS)制造DOE.圖2描述了優(yōu)化的高度輪廓以及利用輪廓儀測量加工出的直徑為5mm的DOE中心輪廓。兩者輪廓基本吻合奏司。真實測量的PSF相比仿真PSF的差異來源于額外的眩光乔询，這可能是由于制造誤差和透鏡元件之間的相互反射產(chǎn)生的。zui后將制造出的DOE作為一個附件安裝到標(biāo)準(zhǔn)的單反相機鏡頭上结澄。

限制概述

所提出的通過深度光學(xué)進行單次HDR成像的方法在許多情況下都是成功的哥谷。然而，它使計算處理成為成像的一個組成部分麻献，與傳統(tǒng)的LDR成像相比，這可能會增加計算負擔(dān)猜扮。與其它單次拍攝方法類似勉吻，此文的方法可能無法穩(wěn)健地估計測量中非常大的飽和區(qū)域的高對比度場景

實驗結(jié)果

附錄：

(1)場景經(jīng)成像系統(tǒng)成像可以描述為

，x里的所有元素做歸一化處理旅赢。η模擬與信號有關(guān)的讀取噪聲齿桃，h是相機鏡頭產(chǎn)生的點擴散函數(shù)惑惶，*代表二維卷積，f(·)是相機的響應(yīng)函數(shù)短纵。在這里認為h是平移不變的带污，但是更普遍的隨著橫向和縱向變化的點擴散函數(shù)也是可以采用的。

假設(shè)相機有一個線性的響應(yīng)函數(shù)香到，

優(yōu)化目標(biāo)為鱼冀，當(dāng)時，從y恢復(fù)x悠就。

(2)入射到DOE上的平面波描述為千绪，k為波矢。DOE面型Φ產(chǎn)生的相位調(diào)制為

(u,v)是DOE面的橫坐標(biāo)梗脾，A代表DOE的孔徑函數(shù)

鏡頭產(chǎn)生的相位延遲為

g是鏡頭的焦距荸型。zui終相機接收到的強度為

表示光場u在距離為d的空間中自由傳播。

(3)網(wǎng)絡(luò)的損失函數(shù)為

γ=1/2炸茧，ε是一個用于避免在0附近不可微的小常數(shù)瑞妇。

為了確保DOE能被加工出來，在訓(xùn)練的過程中將面型的高度值的范圍z大化梭冠，并對面型增加一個額外的平滑項以防止生成的表面輪廓包含了許多不連續(xù)的點踪宠。具體表現(xiàn)為增加一個損失函數(shù)

D是Laplacian filter,ν = 109是權(quán)重參數(shù)。

參考文獻：Metzler, C., Ikoma, H., Peng, Y., Wetzstein, G., Deep Optics for Single-shot High-dynamic-range Imaging, CVPR 2020 鏈接：https://arxiv.org/pdf/1908.00620.pdf

更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商妈嘹，產(chǎn)品包括各類激光器柳琢、光電調(diào)制器、光學(xué)測量設(shè)備润脸、光學(xué)元件等柬脸，涉及應(yīng)用涵蓋了材料加工、光通訊毙驯、生物醫(yī)療倒堕、科學(xué)研究、國防爆价、量子光學(xué)垦巴、生物顯微、物聯(lián)傳感铭段、激光制造等骤宣；可為客戶提供完整的設(shè)備安裝，培訓(xùn)序愚，硬件開發(fā)憔披，軟件開發(fā)，系統(tǒng)集成等服務(wù)。

您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息芬膝，或直接來電咨詢4006-888-532望门。

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)。