首頁  技術文章  神經全息钳幅,使用相機在環(huán)訓練

神經全息,使用相機在環(huán)訓練

發(fā)布時間:2022-04-07 14:00:34 瀏覽量:3229 作者:LY.Young 光學前沿

摘要

全息顯示擁有的直視顯示能力炎滞,適用于AR/VR應用(對于直視顯示,全息支持AR/VR系統(tǒng)無眼鏡三維顯示模式册赛。二維和三維全息有優(yōu)化focus cues钠导、vision correction、設備外形尺寸森瘪、圖像分辨率牡属、亮度、動態(tài)圖像扼睬、eyebox steering capabilities的潛力)逮栅。然而,計算機生成全息(computer-generated holography, CGH)的一個主要挑戰(zhàn)在于算法運行時間和可獲得圖像質量之間的權衡窗宇,這使得快速合成高質量全息圖像在目前來講還難以實現措伐。除此之外,大多數全息顯示的圖像質量差军俊,還在于顯示的實際光波傳輸與仿真模型之間存在失配問題。

正文


神經全息粪躬,使用相機在環(huán)訓練



技術背


全息顯示擁有的直視顯示能力,適用于AR/VR應用(對于直視顯示镰官,全息支持AR/VR系統(tǒng)無眼鏡三維顯示模式提前。二維和三維全息有優(yōu)化focus cues、vision correction朋魔、設備外形尺寸岖研、圖像分辨率、亮度、動態(tài)圖像孙援、eyebox steering capabilities的潛力)害淤。然而拓售,計算機生成全息(computer-generated holography, CGH)的一個主要挑戰(zhàn)在于算法運行時間和可獲得圖像質量之間的權衡窥摄,這使得快速合成高質量全息圖像在目前來講還難以實現。除此之外础淤,大多數全息顯示的圖像質量差崭放,還在于顯示的實際光波傳輸與仿真模型之間存在失配問題。


技術要點:


基于此鸽凶,斯坦福大學的Yifan Peng(一作)和Gordon Wetzstein(通訊)等提出了一種新的CGH框架,能產生前所未有的圖像保真度和實時幀率玻侥。這個框架包含了:相機在環(huán)優(yōu)化策略(直接優(yōu)化或訓練一個可解釋的光波傳輸模型來生成全息圖)决摧、神經網絡架構(第1個能實時生成1080p全彩高質量全息圖像的CGH算法)。


(1)全息顯示(所用空間光調制為相位型SLM)


相干光源產生的復值波場usrc(這個源場可以是平面波or球面波or高斯光束)入射到相位型SLM上凑兰,源場的相位以每SLM像素的方式延遲相位?掌桩,場繼續(xù)在自由空間或穿過某些光學元件傳播到目標平面。用戶或探測器可以在目標平面觀察到場的強度姑食。由SLM傳輸到目標平面的數學模型可以表示為:

?就是需要求解值,可以用常用的相位復原法(如GS音半,Fienup法等)求解则拷,也可以看作為一個優(yōu)化問題求解

s是一個固定的或學習的scale factor曹鸠。相位復原是找到一個相位函數?,而(2)是一個非凸優(yōu)化問題物延,具有無窮解宣旱,CGH可以選擇無窮解中的任何一個,因為它們都可以在目標平面上產生相同的強度叛薯。作者發(fā)現求解(2)用Adam可以獲得好得圖像質量浑吟。

缺點:這里的仿真數學模型與真實的光波傳播模型并不完全一致,因此耗溜,即使使用了Adam也會讓全息圖像質量存在不佳的問題组力,因而提出下述相機在環(huán)策略。



(2)使用光波傳播的相機在環(huán)相位優(yōu)化

設想直接用進行前向傳播燎字,然后求其梯度用于誤差反向傳播腥椒,這是不可能的,但是可以近似為:
啟用PyTorch的autodiff,將相機采集到的圖像送入損失函數蛉鹿,可以計算出滨砍。計算需要先將?(k?1)送入,然后同時將它顯示在SLM上妖异,通過相機采集到|f(?(k?1))|2惋戏,autodiff追蹤的梯度。使用梯度下降solver進行迭代求解:

式(3)和(4)就是相機在環(huán)全息圖優(yōu)化响逢,傳統(tǒng)的相位復原方法認為很接近,但是相機在環(huán)在前向傳播和誤差反向傳播都包含了棕孙,近似程度要更高龄句。


缺點:只使用相機在環(huán)優(yōu)化散罕,對于每一個目標圖像都需要校正一次,每一次校正優(yōu)化都需要幾分鐘傀蓉。


(3)使用相機在環(huán)模型訓練的全息圖合成
將優(yōu)化分成訓練和推測,訓練階段需要相機在環(huán)葬燎,推測階段可以不需要相機合成任意全息圖误甚。所要解決的優(yōu)化問題變?yōu)椋?/section>
其中波傳播模型成為一個參數化的模型谱净,將光源窑邦、系統(tǒng)的光學像差壕探、SLM的相位非線性冈钦、以及SLM不完美的衍射效率產生的非衍射光考慮在內,形式為:
缺點:相比單張圖像的相機在環(huán)校正瞧筛,圖像質量有所下降

神經全息,使用相機在環(huán)訓練


引入HoLoNet神經網絡架構导盅,以實時幀率獲得高質量的二維全息圖合成较幌。其損失函數為:


實驗結果:

多種CGH算法對比


參考文獻:Yifan Peng, Suyeon Choi, Nitish Padmanaban, and Gordon Wetzstein. 2020. Neural holography with camera-in-the-loop training. ACM Trans. Graph. 39, 6, Article 185 (December 2020), 14 pages.
DOI:https://doi.org/10.1145/3414685.3417802



更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電

關于昊量光電:

上海昊量光電設備有限公司是光電產品專業(yè)代理商乍炉,產品包括各類激光器、光電調制器、光學測量設備岛琼、光學元件等底循,涉及應用涵蓋了材料加工、光通訊衷恭、生物醫(yī)療此叠、科學研究、國防随珠、量子光學灭袁、生物顯微、物聯(lián)傳感窗看、激光制造等茸歧;可為客戶提供完整的設備安裝,培訓显沈,硬件開發(fā)软瞎,軟件開發(fā),系統(tǒng)集成等服務拉讯。

您可以通過我們昊量光電的官方網站www.wjjzl.com了解更多的產品信息涤浇,或直接來電咨詢4006-888-532。


本文章經光學前沿授權轉載,商業(yè)轉載請聯(lián)系獲得授權魔慷。

国产福利姬视频在线观看,国产原创激情在线观看网站,亚洲欧美日韩激色国产精品,日韩精品亚洲国产