本發(fā)明涉及光子人工智能芯片，具體地涉及一種光子神經(jīng)網(wǎng)絡(luò)。

背景技術(shù)：

1、傳統(tǒng)人工智能主要是通過計算來實現(xiàn)的，即通過編程等手段實現(xiàn)機器智能，尤其是深度學(xué)習(xí)，作為目前廣泛應(yīng)用的技術(shù)，通過采用多層權(quán)重求和加非線性激活的方式來構(gòu)造前饋神經(jīng)網(wǎng)絡(luò)實現(xiàn)智能識別、目標(biāo)檢測、數(shù)據(jù)分析等功能。這種技術(shù)涉及到大量的線性乘加操作，需要消耗大量的計算資源，給目前的電子計算芯片帶來了極大的性能和功耗挑戰(zhàn)。為此，近年來一些研究嘗試在光域來完成這些線性乘加操作，借助光的高帶寬、低時延和低能耗的優(yōu)勢來加速深度前饋神經(jīng)網(wǎng)絡(luò)模型的計算，包括空間調(diào)制器、馬赫曾德干涉儀(mach-zehnder?interferometer，簡稱mzi)、半導(dǎo)體光放大器(semi-conductor?opticalamplifier，簡稱soa)、微環(huán)諧振腔(micro-ring?resonator，簡稱mrr)等。

2、現(xiàn)階段，硅基光電混合人工智能(artificial?intelligence，簡稱ai)加速芯片主要用于卷積神經(jīng)網(wǎng)絡(luò)計算加速。而當(dāng)今主流的人工智能算法是基于轉(zhuǎn)換器(transformer)架構(gòu)構(gòu)建的大模型(即，大語言模型)，這類大模型與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)在計算特點上存在顯著區(qū)別。具體而言，卷積神經(jīng)網(wǎng)絡(luò)基于滑動卷積實現(xiàn)特征提取，而transformer網(wǎng)絡(luò)則基于自注意力機制捕獲全局依賴關(guān)系。這就導(dǎo)致，使用傳統(tǒng)用于卷積計算的光計算神經(jīng)網(wǎng)絡(luò)架構(gòu)進行transformer計算時，計算效率比較低。

技術(shù)實現(xiàn)思路

1、本發(fā)明解決的技術(shù)問題是提供一種改進的光子神經(jīng)網(wǎng)絡(luò)。

2、為解決上述技術(shù)問題，本發(fā)明實施例提供一種光子神經(jīng)網(wǎng)絡(luò)，包括：第一光子矩陣計算單元，用于對第一陣列的光學(xué)信號進行矩陣計算以得到第二陣列的光學(xué)信號，其中，所述矩陣計算至少包括矩陣乘法運算，所述第一陣列的光學(xué)信號根據(jù)待處理信號調(diào)制得到；第二光子矩陣計算單元，用于對第三陣列的光學(xué)信號進行矩陣計算以得到第四陣列的光學(xué)信號，其中，所述矩陣計算至少包括矩陣乘法運算，所述第四陣列的光學(xué)信號根據(jù)待處理信號調(diào)制得到；點積計算單元，分別耦接所述第一光子矩陣計算單元和所述第二光子矩陣計算單元，所述點積計算單元用于對所述第二陣列的光學(xué)信號和第四陣列的光學(xué)信號進行點積計算以得到第五陣列的光學(xué)信號；光接收單元，與所述點積計算單元耦接以接收所述第五陣列的光學(xué)信號，所述光接收單元基于所述第五陣列的光學(xué)信號獲取處理后信號。

3、可選的，所述點積計算單元包括：n列第一波導(dǎo)，用于接收所述第二陣列的光學(xué)信號；n行第二波導(dǎo)，用于接收所述第四陣列的光學(xué)信號；陣列排布的多個相干探測單元，分別與所述n列第一波導(dǎo)和所述n行第二波導(dǎo)耦接，以對所述第二陣列的光學(xué)信號和第四陣列的光學(xué)信號進行點積計算得到所述第五陣列的光學(xué)信號。

4、可選的，所述n列第一波導(dǎo)和所述n行第二波導(dǎo)具有多個交叉點，所述多個交叉點和所述多個相干探測單元一一對應(yīng)，對于每一所述相干探測單元，所述相干探測單元的第一輸入端耦接對應(yīng)交叉點的第一波導(dǎo)，所述相干探測單元的第二輸入端耦接對應(yīng)交叉點的第二波導(dǎo)。

5、可選的，所述第一波導(dǎo)和所述第二波導(dǎo)在所述交叉點處無光耦合。

6、可選的，對于每一所述相干探測單元，所述相干探測單元包括：2×2光調(diào)幅單元以及平衡探測器，所述2×2光調(diào)幅單元的兩個輸入端分別耦接所述第一波導(dǎo)和第二波導(dǎo)，所述2×2光調(diào)幅單元的兩個輸出端分別耦接所述平衡探測器，所述平衡探測器的輸出端耦接所述光接收單元。

7、可選的，所述第一波導(dǎo)和第二波導(dǎo)位于相同的波導(dǎo)層，所述第一波導(dǎo)與所述相干探測單元位于不同的波導(dǎo)層。

8、可選的，所述點積計算單元還包括：多個垂直耦合結(jié)構(gòu)，與所述多個相干探測單元一一對應(yīng)，對于每一所述垂直耦合結(jié)構(gòu)，所述垂直耦合結(jié)構(gòu)用于將所述第一波導(dǎo)和/或第二波導(dǎo)傳輸?shù)墓鈱W(xué)信號耦合至對應(yīng)的相干探測單元所在的波導(dǎo)層。

9、可選的，對于所述第一光子矩陣計算單元和所述第二光子矩陣計算單元中的任一光子矩陣計算單元，所述光子矩陣計算單元包括：光調(diào)制單元，用于將待處理信號調(diào)制到光；陣列排布的多個光調(diào)幅單元，用于接收輸入陣列的光學(xué)信號并產(chǎn)生輸出陣列的光學(xué)信號，所述輸入陣列的光學(xué)信號為所述第一陣列的光學(xué)信號或者所述第三陣列的光學(xué)信號，所述輸出陣列的光學(xué)信號為所述第二陣列的光學(xué)信號或第四陣列的光學(xué)信號。

10、可選的，所述光子矩陣計算單元還包括m行輸入波導(dǎo)以及n列輸出波導(dǎo)，m和n均為正整數(shù)，所述m行輸入波導(dǎo)和n列輸出波導(dǎo)具有多個交叉點，所述多個光調(diào)幅單元與所述多個交叉點一一對應(yīng)，對于每一所述光調(diào)幅單元，所述光調(diào)幅單元的輸入端耦接對應(yīng)交叉點的輸入波導(dǎo)，所述光調(diào)幅單元的輸出端耦接對應(yīng)交叉點的輸出波導(dǎo)。

11、可選的，所述輸入波導(dǎo)和所述輸出波導(dǎo)采用不同材料制成；和/或，所述輸入波導(dǎo)和所述輸出波導(dǎo)位于不同的波導(dǎo)層；和/或，所述輸入波導(dǎo)和所述輸出波導(dǎo)在所述交叉點處無光耦合。

12、可選的，對應(yīng)同一列輸出波導(dǎo)的多個光調(diào)幅單元的計算結(jié)果分時地從所述輸出波導(dǎo)輸出，或者，對應(yīng)同一列輸出波導(dǎo)的多個光調(diào)幅單元的計算結(jié)果累加后從所述輸出波導(dǎo)輸出。

13、可選的，所述光子矩陣計算單元還包括：陣列排布的多個移相器，與所述多個光調(diào)幅單元一一對應(yīng)，對于每一移相器，所述移相器耦接對應(yīng)的光調(diào)幅單元的輸出端。

14、可選的，對于所述矩陣計算和點積計算中的至少一種計算，所述光學(xué)信號的計算與所述光學(xué)信號的計算結(jié)果的傳輸在不同的波導(dǎo)層進行。

15、可選的，所述光學(xué)信號在硅波導(dǎo)層計算，所述光學(xué)信號在氮化硅波導(dǎo)層傳輸。

16、可選的，所述光接收單元還與所述第一光子矩陣計算單元耦接以接收所述第二陣列的光學(xué)信號，所述光接收單元基于所述第二陣列的光學(xué)信號獲取處理后信號；和/或，所述光接收單元還與所述第二光子矩陣計算單元耦接以接收所述第四陣列的光學(xué)信號，所述光接收單元基于所述第四陣列的光學(xué)信號獲取處理后信號。

17、可選的，所述光子神經(jīng)網(wǎng)絡(luò)至少用于生成式人工智能，所述生成式人工智能至少選自：語音生成、圖像生成以及文本生成。

18、與現(xiàn)有技術(shù)相比，本發(fā)明實施例的技術(shù)方案具有以下有益效果：

19、相較于現(xiàn)有用于卷積計算的光子神經(jīng)網(wǎng)絡(luò)僅能進行矩陣乘法運算，本實施方案能夠在全光域?qū)崿F(xiàn)向量乘法和點積運算，使得采用本實施方案的光子神經(jīng)網(wǎng)絡(luò)進行transformer計算時的計算效率更高、功耗更低。具體而言，第一光子矩陣計算單元對待處理信號進行卷積運算得到第一卷積運算結(jié)果(基于第二陣列的光學(xué)信號承載)，第二陣列的光學(xué)信號對待處理信號進行卷積運算得到第二卷積運算結(jié)果(基于第四陣列的光學(xué)信號承載)，第一卷積運算結(jié)果和第二卷積運算結(jié)果分別作為矩陣的行和列輸入點積計算單元進行點積計算，得到既包含特征提取又包含特征間依賴關(guān)系的運算結(jié)果(基于第五陣列的光學(xué)信號承載)。由此，實現(xiàn)同時對transformer神經(jīng)網(wǎng)絡(luò)中矩陣乘法計算(用于編碼)和點積計算(用于獲取依賴關(guān)系)進行加速的光計算網(wǎng)絡(luò)架構(gòu)。

20、進一步，本實施方案以transformer神經(jīng)網(wǎng)絡(luò)算法架構(gòu)為牽引，通過構(gòu)造兩個矩陣網(wǎng)絡(luò)(即第一光子矩陣計算單元以及第二光子矩陣計算單元)分別對輸入信號(即第一陣列的光學(xué)信號以及第三陣列的光學(xué)信號)進行編碼，獲得其對應(yīng)的查詢(query，q)、鍵(key，k)和信息提取值(value，v)。之后，對兩個矩陣網(wǎng)絡(luò)的輸出結(jié)果(即，第二陣列的光學(xué)信號以及第四陣列的光學(xué)信號)進行相干檢測，得到兩個計算結(jié)果的點積運算結(jié)果，并經(jīng)相干探測器輸出。由此，待處理信號進入光子神經(jīng)網(wǎng)絡(luò)后直到經(jīng)由光接收單元輸出，計算中間過程中無需經(jīng)過光-電-光轉(zhuǎn)換(即，無需經(jīng)過電域轉(zhuǎn)換)就可以完成矩陣乘法與點積操作，有效克服了現(xiàn)有神經(jīng)網(wǎng)絡(luò)技術(shù)方案功耗高、速率受限等問題。

21、進一步，本實施例所述光子神經(jīng)網(wǎng)絡(luò)的計算結(jié)果使用相干探測器陣列(即，陣列排布的多個相干探測單元)輸出，便于后續(xù)與電集成電路(integrated?circuit)的先進封裝。

22、進一步，所述第一光子矩陣計算單元和所述第二光子矩陣計算單元均采用“井”字型矩陣計算架構(gòu)，實現(xiàn)相位無關(guān)的幅度權(quán)值矩陣調(diào)控。光調(diào)幅單元可以采用馬赫曾德爾干涉儀(mach-zehnder?interferometer，簡稱mzi)幅度控制器，具體使用推挽式驅(qū)動方式實現(xiàn)相位無關(guān)的幅值調(diào)制。進一步，通過移相器補齊不同路徑的相位差，確保兩個光子矩陣計算單元輸出的光學(xué)信號在點積計算單元處正確進行相干探測。

23、進一步，初始光信號的輸入(例如，第一陣列的光學(xué)信號和第三陣列的光學(xué)信號的傳輸)以及實際運算(例如，矩陣計算、點積計算)在硅波導(dǎo)上實現(xiàn)，計算結(jié)果(例如，第二陣列的光學(xué)信號、第四陣列的光學(xué)信號)的傳輸則在氮化硅波導(dǎo)上實現(xiàn)，硅波導(dǎo)和氮化硅波導(dǎo)位于不同的波導(dǎo)層(例如，光學(xué)信號的計算位于第一層波導(dǎo)，光學(xué)信號的計算結(jié)果的傳輸位于第二層波導(dǎo)，這兩層波導(dǎo)可以是使用相同材料制成的不同層，也可以是使用不同材料制成的不同層如采用硅上氮化硅工藝制備的硅波導(dǎo)層和氮化硅波導(dǎo)層)以避免信號串?dāng)_影響運算結(jié)果。由此，本實施例所述光子神經(jīng)網(wǎng)絡(luò)采用硅上氮化硅工藝進行布局，自由度高方便擴展。

24、進一步，本實施方案提供一種具備通用性的光計算網(wǎng)絡(luò)，其中某一區(qū)域(例如，第一光子矩陣計算單元或第二光子矩陣計算單元)的運算結(jié)果可以單獨輸出以滿足卷積神經(jīng)網(wǎng)絡(luò)的計算需求。由此，本實施例所述光子神經(jīng)網(wǎng)絡(luò)能夠支持多種類型的神經(jīng)網(wǎng)絡(luò)模型，例如既支持卷積神經(jīng)網(wǎng)絡(luò)模型又支持transformer神經(jīng)網(wǎng)絡(luò)模型。