博覽：2021 NaturePhotonics 具有可重構(gòu)衍射處理單元的大規(guī)模神經(jīng)形態(tài)光電計算

正文

博覽：2021 NaturePhotonics 具有可重構(gòu)衍射處理單元的大規(guī)模神經(jīng)形態(tài)光電計算

技術(shù)背景：

由電子驅(qū)動的計算處理器在過去十年中有了巨大的發(fā)展，從通用中央處理器 (CPU) 到專用計算平臺较解，例如圖形處理器 (GPU)、現(xiàn)場可編程門陣列(FPGA)和專用集成電路(ASIC)赴邻，以滿足日益增長的計算資源需求印衔。這些硅計算硬件平臺的進步通過允許訓(xùn)練更大規(guī)模和更復(fù)雜的模型，為人工智能 (AI) 的復(fù)興做出了巨大貢獻姥敛。各種神經(jīng)計算架構(gòu)在廣泛領(lǐng)域得到了廣泛應(yīng)用奸焙，例如卷積神經(jīng)網(wǎng)絡(luò) (convolutional neural networks,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò) (recurrent neural networks,RNN)彤敛、尖峰神經(jīng)網(wǎng)絡(luò)(spiking neural networks)和儲備池計算(reservoir computing)等忿偷。然而，隨著摩爾定律接近其物理極限臊泌，電子硬件實現(xiàn)的性能增長已經(jīng)達到了不可持續(xù)的水平鲤桥，其速度和能量從根本上受到寄生電容、隧道效應(yīng)和串?dāng)_的限制渠概。因此茶凳，盡管目前電子處理器占主導(dǎo)地位嫂拴，但下一代計算模式的發(fā)展更值得期待。

光計算使用光子代替電子進行計算贮喧，這一過程可以克服電子學(xué)的固有局限性筒狠，將能源效率、處理速度和計算吞吐量提高幾個數(shù)量級箱沦。這種非凡的特性已被用于構(gòu)建專用光學(xué)處理器辩恼，用于解決基本的數(shù)學(xué)和信號處理問題，其性能遠遠超出現(xiàn)有電子處理器的性能谓形。特別是灶伊，人工神經(jīng)網(wǎng)絡(luò) (ANN) 是非常有前途的光學(xué)計算模型之一，其中神經(jīng)元功能及其密集的互連性可以通過光電設(shè)備和光傳播的性質(zhì)有效地實現(xiàn)寒跳。zui近在光學(xué)加速神經(jīng)信息處理方面取得了重大進展聘萨，能夠完成一些高ji AI任務(wù)。

當(dāng)前不足：

（1）現(xiàn)有的光學(xué)AI加速器只能支持為特定神經(jīng)網(wǎng)絡(luò)架構(gòu)或任務(wù)定制的單一功能童太，無法適應(yīng)不同任務(wù)的不同AI算法米辐。

（2）當(dāng)前光神經(jīng)網(wǎng)絡(luò)的模型復(fù)雜度和實驗性能相當(dāng)?shù)停瑢?dǎo)致網(wǎng)絡(luò)性能（例如分類精度）與電子人工神經(jīng)網(wǎng)絡(luò)相比存在很大差距书释。造成這種情況的原因主要是由于光學(xué)中網(wǎng)絡(luò)設(shè)計空間的靈活性有限(例如翘贮，理想的非線性運算難以整合、難以靈活控制復(fù)雜的數(shù)據(jù)流爆惧、光學(xué)系統(tǒng)的不完善等導(dǎo)致模型的偏差和實際計算誤差的積累)狸页。

文章創(chuàng)新點：

基于此，清華大學(xué)戴瓊海組的Tiankuang Zhou(第1作者)等人提出了一種用于大規(guī)模神經(jīng)形態(tài)光電計算的可重構(gòu)衍射處理單元 (diffractive processing unit,DPU)检激，可以對其進行編程以改變其功能并構(gòu)建不同類型的ANN架構(gòu)肴捉。其幾乎所有的計算操作都是通過光學(xué)衍射實現(xiàn)腹侣，可編程性是通過電子方式控制叔收。作者展示了具有可支持?jǐn)?shù)百萬個神經(jīng)元的DPU的復(fù)雜衍射神經(jīng)網(wǎng)絡(luò) (DNN) 的靈活設(shè)計。并開發(fā)了一種自適應(yīng)訓(xùn)練方法來解決由不同誤差源（如對準(zhǔn)誤差和非理想器件特性）引起的模型偏差饺律，并獲得證明高性能的實驗結(jié)果。

原理解析(數(shù)學(xué)模型見附錄)：

（1）網(wǎng)絡(luò)架構(gòu)跺株。衍射處理單元(diffractive processing unit, DPU)是一個類似于感知機的光電計算模塊复濒，可以被編程用于構(gòu)建不同的衍射神經(jīng)網(wǎng)絡(luò)(diffractive neural networks,DNNs)。其功能示意見圖1a乒省，其物理原型見圖2巧颈。DPU的輸入數(shù)據(jù)被量化并電光轉(zhuǎn)換為復(fù)數(shù)值光場，用信息編碼模塊在幅度(DMD實現(xiàn))或相位分量(SLM實現(xiàn))上進行編碼袖扛。不同的輸入節(jié)點通過光衍射連接物理連接到單個輸出神經(jīng)元(sMOS上的像素)砸泛，其中控制連接強度的突觸權(quán)重由波前的衍射(瑞利-索末菲衍射理論)調(diào)制決定十籍。每個衍射光電神經(jīng)元對其加權(quán)輸入進行光場求和，并通過復(fù)激活函數(shù)(scmos的光電轉(zhuǎn)換過程)對復(fù)數(shù)入射光場生成單元輸出唇礁。如圖1c-e,通過DPU的不同組合(時間上或空間上)勾栗，可以產(chǎn)生衍射深度神經(jīng)網(wǎng)絡(luò)(diffractive deep neural network,D2NN)、網(wǎng)絡(luò)中的衍射網(wǎng)絡(luò)(diffractive network in network,D-NIN-1)盏筐、衍射循環(huán)神經(jīng)網(wǎng)絡(luò)(diffractive recurrent neural network,D-RNN)围俘。DMD和SLM作為光學(xué)調(diào)制器，擔(dān)當(dāng)輸入節(jié)點琢融，scmos作為光電探測器界牡，擔(dān)當(dāng)光電神經(jīng)元。

（2）網(wǎng)絡(luò)物理實現(xiàn)吏奸。如圖2欢揖，DMD對入射相干光進行振幅調(diào)制，L2和L3組成4f系統(tǒng)奋蔚，SLM上的光場與DMD上的光場共軛她混，兩個偏振片用于調(diào)節(jié)光強。SLM對入射光場進行相位調(diào)制泊碑。sCMOS用于接收衍射傳播的光場坤按，并利用自身的光電效應(yīng)類比復(fù)數(shù)激活函數(shù)，將復(fù)數(shù)光場轉(zhuǎn)化為強度值馒过。

（3）模型訓(xùn)練臭脓。首先在計算機上利用基于物理信息的前向模型，使用誤差反向傳播方法腹忽，損失函數(shù)使用zui后一層的輸出和ground truth之間的測量(均方根誤差或softmax交叉熵)來預(yù)訓(xùn)練出一個模型来累，即獲得SLM在每一層（指的是每一個DPU層）其相位調(diào)制的參數(shù)、DMD在每一層的顯示圖案以及sCMOS相機在光軸上的位置等窘奏。由于光學(xué)系統(tǒng)存在的實際誤差嘹锁，會導(dǎo)致預(yù)訓(xùn)練的模型預(yù)測能力不高，因此需要后續(xù)再采取自適應(yīng)訓(xùn)練法糾正模型的參數(shù)着裹，具體為先使用預(yù)訓(xùn)練的第1層參數(shù)獲得第1層實際輸出领猾，然后用第1層的實際輸出作為第二層的輸入，重新訓(xùn)練出后續(xù)網(wǎng)絡(luò)的物理參數(shù)骇扇，依次類推摔竿，得到符合真實物理場景的模型參數(shù)。優(yōu)化使用常見的Adam優(yōu)化器少孝。

參考文獻：Zhou, T., Lin, X., Wu, J. et al. Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit. Nat. Photonics 15, 367–373 (2021).

DOI：https://doi.org/10.1038/s41566-021-00796-w

視頻1：D2NN在 MNIST 數(shù)據(jù)庫上的實驗結(jié)果。

視頻2：D-RNN在Weizmann數(shù)據(jù)庫上的實驗結(jié)果

附錄：

DPU輸出與DPU輸入的前向模型為

損失函數(shù)

更多詳情請聯(lián)系昊量光電/歡迎直接聯(lián)系昊量光電

關(guān)于昊量光電：

上海昊量光電設(shè)備有限公司是光電產(chǎn)品專業(yè)代理商稍走，產(chǎn)品包括各類激光器袁翁、光電調(diào)制器冷溃、光學(xué)測量設(shè)備、光學(xué)元件等梦裂，涉及應(yīng)用涵蓋了材料加工似枕、光通訊、生物醫(yī)療年柠、科學(xué)研究凿歼、國防、量子光學(xué)冗恨、生物顯微答憔、物聯(lián)傳感、激光制造等掀抹；可為客戶提供完整的設(shè)備安裝虐拓，培訓(xùn)，硬件開發(fā)傲武，軟件開發(fā)蓉驹，系統(tǒng)集成等服務(wù)。

您可以通過我們昊量光電的官方網(wǎng)站www.wjjzl.com了解更多的產(chǎn)品信息揪利，或直接來電咨詢4006-888-532态兴。

本文章經(jīng)光學(xué)前沿授權(quán)轉(zhuǎn)載,商業(yè)轉(zhuǎn)載請聯(lián)系獲得授權(quán)。