博覽：2020 CVPR使用定向光錐變換的非視域曲面重建

正文

博覽：2020 CVPR使用定向光錐變換的非視域曲面重建

技術(shù)背景：

非視域(Non-line-of-sight,NLOS)成像可以對視域之外的目標(biāo)進(jìn)行成像膜楷，其應(yīng)用遍布遙感、國防贞奋、機器人視覺和自動駕駛等領(lǐng)域把将。通常，使用一個光源(如激光)不直接照射目標(biāo)場景忆矛，而是通過一個中介面將光反射到目標(biāo)場景上，目標(biāo)場景將光反射到中介面请垛，再由中介面反射到傳感器上催训。傳感器捕捉到由中介面反射回的場景信息，并將它們記錄為二維圖像(或瞬態(tài))的時間分辨序列宗收，通過計算的方法重建出場景圖像漫拭。除了基于瞬態(tài)的成像外，其它NLOS成像模式還包括基于散斑或非相干強度測量以及被動傳感和聲學(xué)成像技術(shù)的成像模式混稽。

基于瞬態(tài)的 NLOS 成像采驻，其隱藏的NLOS場景通常被渲染為空間的三維反照率體積审胚，或物體曲面的集合。在體積反照率模型中礼旅，目標(biāo)是估計場景體素的反照率值膳叨，而在曲面重建模型中，人們通過估計曲面法線來更直接地恢復(fù)三維場景中的目標(biāo)曲面痘系。

當(dāng)前不足：

當(dāng)前基于曲面重建的方法雖然比基體積反照率的方法在重建物體幾何細(xì)節(jié)上要更具有優(yōu)勢菲嘴，但是它局限在簡單的幾何物體，且對初始狀態(tài)敏感汰翠，計算量巨大龄坪。

文章創(chuàng)新點：

基于此，斯坦福大學(xué)的Sean I. Young和Gordon Wetzstein等人提出一種基于定向光錐變換(directional light-cone transform, D-LCT)复唤，聯(lián)合反照率(albedo)-法線(normal)的非視域場景重建方法健田，重建準(zhǔn)確性和計算速度都大有提升。

原理解析：

(1)算法概述佛纫。隱藏場景的反照率和曲面法線提供了場景的互補信息妓局，通過將場景曲面上任意一點的反照率和曲面單位法向量相乘，從而將由朗伯余弦定律引起的輻照度衰減考慮在內(nèi)雳旅，使得前向模型不再只適合均勻的發(fā)射點源跟磨，更符合實際的漫反射或朗伯曲面。所求模型從標(biāo)量計算轉(zhuǎn)為向量計算攒盈，并將光錐變換拓展到向量形式的定向光錐變換抵拘，將反照率和曲面法線的復(fù)原看作為一個向量解卷積問題，使用Cholesky-Wiener分解來求解型豁，通過在復(fù)原的法線上擬合曲面僵蛛，重建高度準(zhǔn)確的物體曲面(具體算法推導(dǎo)見附錄)。

(2)系統(tǒng)構(gòu)成迎变。高功率脈沖激光(35ps脈寬充尉，重復(fù)頻率10MHz, 出射激光平均光功率為1W@532nm)經(jīng)準(zhǔn)直和線偏振處理后經(jīng)過偏振分光棱鏡透射到二維振鏡上對場景進(jìn)行掃描，經(jīng)中介墻反射回來的光線沿著原光路返回衣形，并被偏振分光棱鏡反射后聚焦到單光子雪崩二極管(SPAD)上驼侠。時間相關(guān)單光子計數(shù)器以SPAD和激光的信號作為輸入，并將光子時間戳流輸出到計算機谆吴。

實驗結(jié)果：

附錄:

1倒源、體積反照率模型

將三維場景坐標(biāo)用(x,y,z)標(biāo)記，可見曲面用(x',y',z=0)標(biāo)記(見圖1)句狼。常見的瞬態(tài)成像模型是共焦體積反照率模型

ρ代表在有限場景空間Ω上的三維反照率體積笋熬。δ(·)將光的往返飛行時間和場景(x,y,z)與感知位置(x',y',z=0)之間距離的2倍聯(lián)系起來，c是光速腻菇。1/r4=(2/tc)4表示由于距離引起的輻照度衰減胳螟。

將模型(1)離散化昔馋，沿著x-,y-,z-軸分別用N,N,M個點采樣有限Ω空間。瞬態(tài)τ已經(jīng)被(2/tc)4預(yù)縮放糖耸。使用矩陣表示的方法將離散化模型(1)緊湊表示為

τ秘遏，ρ∈?NXNXM，K是由采樣δ(·)得到的二值矩陣蔬捷。由于K是一個高條件數(shù)的低通算子垄提，從給定的瞬態(tài)τ求解ρ是一個不適定問題，找到ρ作為正則化最小二乘問題的解周拐。

問題(3)可以使用光錐變換(light-cone transform铡俐，LCT)求解。記重采樣算子為T妥粟，讓=T*ρ审丘，=T*τ，問題(3)化為：

其中勾给，H=T*KT是一個三維濾波器滩报。

2、定向反照率模型

(1)式只適合各向同性的發(fā)射電源播急，不適合常見的漫反射或朗伯物體曲面脓钾，即(1)式忽略了由于朗伯余弦定律引起的輻照度衰減。將余弦項加入(1)式不僅可以使得前向傳播模型更準(zhǔn)確桩警，還能夠通過逆模型從瞬態(tài)恢復(fù)曲面法線可训。

記空間坐標(biāo)s=(x,y,z)，s'=(x',y',z=0)捶枢，更新模型(1)握截，得

其中，n(s)=(nx,ny,nz)(s)∈?3是在s處的曲面法線烂叔。當(dāng)

時谨胞，模型(5)退化為體積反照率模型(1)。

模型(5)中的反照率ρ(s)∈?是一個標(biāo)量蒜鸡，而n(s)∈?3是單位法向量胯努。將反照率和單位法向量合并成一個定向-反照率向量：

將(7)代入(5)，并讓r=||s'-s||,得到定向反照率模型

對(8)采取類似于(2)式在有限場景空間Ω內(nèi)離散化的操作逢防，得到

K矩陣與(2)同康聂。在Ω上采樣(s'-s)獲得S=(Sx,Sy,Sz)。求解問題是由給定的瞬態(tài)τ復(fù)原定向反照率

胞四，通過將(9)表示為一個正則化的最小二乘問題求解

3、定向光錐變換

盡管(10)有簡單的解析解(closed-form solution)：

但是伶椿，解析解求解計算量巨大辜伟，不適合實際問題求解氓侧。

為了高效求解(10),將(4)式所用的LCT技術(shù)進(jìn)一步推廣到向量問題來，從而將(10)寫為等效形式：

其中导狡，

是重采樣的變量约巷，=T*τ。

4旱捧、Cholesky-Wiener解卷積

與(12)相關(guān)的法線方程寫為：

其中独郎，Hx=HSx,Hy=HSy,Hz=HI。使用Cholesky分解求解(14)枚赡。使用Cholesky因式分解的LDL變形氓癌，將矩陣A=H*H+λI分解為A=LDL*，其中

L和D的元素為

三角化的系統(tǒng)LDL* =H*τ使用前向和后向置換(forward- and back-substitutions)求解:

5贫橙、曲面重建

獲得 之后贪婉，擬合曲面相當(dāng)于復(fù)原場景對象的指示函數(shù)

 ，使得 的梯度等于 卢肃。表示為一個優(yōu)化問題疲迂，從而有

G代表離散化的三維梯度算子。

參考文獻(xiàn)：Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein. 2020. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform. Proc. CVPR.

原文鏈接：http://www.computationalimaging.org/wpcontent/uploads/2020/03/dlct_cvpr2020.pdf

代碼：https://github.com/computational-imaging/nlos-dlct

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是國內(nèi)知名光電產(chǎn)品專業(yè)代理商莫湘，代理品牌均處于相關(guān)領(lǐng)域的發(fā)展前沿尤蒿；產(chǎn)品包括各類激光器、光電調(diào)制器幅垮、光學(xué)測量設(shè)備腰池、精密光學(xué)元件等，涉及應(yīng)用領(lǐng)域涵蓋了材料加工军洼、光通訊巩螃、生物醫(yī)療、科學(xué)研究匕争、國防及更細(xì)分的前沿市場如量子光學(xué)避乏、生物顯微、物聯(lián)傳感甘桑、精密加工拍皮、先進(jìn)激光制造等；可為客戶提供完整的設(shè)備安裝跑杭，培訓(xùn)铆帽，硬件開發(fā)，軟件開發(fā)德谅，系統(tǒng)集成等優(yōu)質(zhì)服務(wù)爹橱。

 

您可以通過昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息，或直接來電咨詢4006-888-532窄做。

 

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)愧驱。