本發(fā)明涉及集成電路，尤其涉及一種基于存內(nèi)計算的多尺度視覺transformer加速器架構(gòu)、邊緣芯片及設(shè)備。

背景技術(shù)：

1、transformer模型是一類的神經(jīng)網(wǎng)絡(luò)模型，主要由多個transformer?encoder塊堆疊而成，每個塊包含一個多頭注意力(multi-head?attention，mha)層以及一個前饋網(wǎng)絡(luò)(feed-forward?network，ffn)層，目前已證明其可用于計算機(jī)視覺任務(wù)。與cnn相比，標(biāo)準(zhǔn)的視覺transformer(vision?transformer，vit)模型幾乎不具備任何跟圖像相關(guān)的歸納偏置，這使得其往往需要更多的參數(shù)與計算來學(xué)習(xí)相應(yīng)的視覺表示，從而使得它們難以在資源受限的邊緣端進(jìn)行部署。而卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?netowrk,cnn)在計算機(jī)視覺領(lǐng)域長期占據(jù)主導(dǎo)地位，發(fā)展相對成熟。

2、為利用transformer模型和cnn二者的優(yōu)點，出現(xiàn)了一種多尺度vit模型，其采用混合網(wǎng)絡(luò)結(jié)構(gòu)及具備多變的層尺寸，混合結(jié)構(gòu)中包含了更多的卷積計算，而多變的層尺寸采用類似現(xiàn)代cnn的多階段設(shè)計序列長度與頭數(shù)隨著不同的階段變化。為了提高空間率用率，已有的cnn加速器通常能夠支持動態(tài)數(shù)據(jù)流，能夠在計算過程中動態(tài)調(diào)整計算陣列的并行度分配，以高效支持不同尺寸的卷積運算；但是，這類加速器并沒有針對transformer中的mha層進(jìn)行優(yōu)化，無法消除mha矩陣乘運算時的額外中間數(shù)據(jù)搬運，因此，這種加速器并不能用于多尺度vit模型；而現(xiàn)有的transformer加速器設(shè)計時也未考慮與卷積計算兼容，不支持多變的卷積核形狀，而且由于transformer中mha中的softmax函數(shù)具有全局規(guī)約-廣播的性質(zhì)，通常難以動態(tài)地分配計算陣列的并行度，通常只適用于層尺寸固定的標(biāo)準(zhǔn)transformer，面對層尺寸多變的多尺度vit時，存在資源利用率下降的風(fēng)險，而且有可能增大計算延遲。因此，現(xiàn)有的加速器不適用于多尺度vit，需要設(shè)計新的適于多尺度vit的加速器。

技術(shù)實現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提供一種基于存內(nèi)計算的多尺度視覺transformer加速器架構(gòu)、邊緣芯片及設(shè)備，能夠適用卷積與mha兩者的動態(tài)數(shù)據(jù)流，能夠根據(jù)不同的層尺寸動態(tài)調(diào)整并行度以提高空間利用率，適合多尺度vit的部署。

2、本發(fā)明提供一種一種多尺度視覺transformer加速器架構(gòu)，包括：

3、指令隊列和指令調(diào)度器，用于接收中央處理單元的指令，并分發(fā)給imc陣列或直接內(nèi)存訪問引擎，以控制計算或數(shù)據(jù)傳輸；

4、統(tǒng)一緩存區(qū)，用于存儲卷積的輸入特征和輸出特征，以及mha的query矩陣及輸出矩陣；

5、imc陣列，用于存儲卷積的權(quán)重或mha的key、value矩陣，以及執(zhí)行卷積與mha計算；

6、直接內(nèi)存訪問引擎，用于加速器內(nèi)部存儲，以及與加速器片外dram之間的數(shù)據(jù)傳輸；

7、前處理模塊，用于從統(tǒng)一緩沖區(qū)中讀取卷積的輸入特征或mha的query矩陣，將數(shù)據(jù)對齊后送往imc陣列；

8、后處理模塊，用于收集imc陣列的輸出結(jié)果，與統(tǒng)一緩沖區(qū)中的部分和進(jìn)行累加，執(zhí)行相應(yīng)的激活函數(shù)及量化操作。

9、本發(fā)明還提供一種邊緣芯片，包括上述的多尺度視覺transformer加速器架構(gòu)。

10、本發(fā)明還提供一種邊緣設(shè)備，包括上述的邊緣芯片。

11、本發(fā)明實施例中通過對mha引入流水線重排，設(shè)計三階段softmax函數(shù)，避免了現(xiàn)有的計算方案中需要在計算塊之間進(jìn)行多次全局規(guī)約-廣播的通信開銷，提高了映射的靈活度；基于流水線重排設(shè)計了可重構(gòu)的imc引擎，通過不同的模式高效支持卷積與mha計算，對mha計算消除中間數(shù)據(jù)搬運開銷，對多尺度vit的混合網(wǎng)絡(luò)結(jié)構(gòu)友好；基于流水線重排設(shè)計了可重構(gòu)的分發(fā)網(wǎng)絡(luò)，高效支持卷積與mha的動態(tài)數(shù)據(jù)流，支持不同層尺寸的卷積與mha的靈活映射，有效提高部署多尺度vit的空間利用率。相比現(xiàn)有技術(shù)，本發(fā)明實現(xiàn)了卷積與mha兩者的動態(tài)數(shù)據(jù)流，能夠根據(jù)不同的層尺寸動態(tài)調(diào)整并行度以提高空間利用率，更加適合多尺度vit的部署。

技術(shù)特征：

1.一種多尺度視覺transformer加速器架構(gòu)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的加速器架構(gòu)，其特征在于，所述mha計算采用三階段計算softmax函數(shù)，第一階段在每個計算塊內(nèi)部進(jìn)行，完成取最大值、作差、求指數(shù)和求和運算，在第二階段對來自不同計算塊的計算結(jié)果進(jìn)行縮放相加，在第三階段執(zhí)行除法。

3.根據(jù)權(quán)利要求2所述的加速器架構(gòu)，其特征在于，所述imc陣列包括多個imc引擎及分發(fā)網(wǎng)絡(luò)，每個imc引擎包括：兩個基于sram的數(shù)字imc宏。

4.根據(jù)權(quán)利要求3所述的加速器架構(gòu)，其特征在于，imc引擎具有兩種工作模式：用于卷積計算的并行模式和用于注意力計算的流水線模式；當(dāng)工作在并行模式時，同一imc引擎中的兩個imc宏同步接收輸入并進(jìn)行計算，計算結(jié)果進(jìn)行相加后輸出；當(dāng)工作在流水線模式時，同一imc引擎中的兩個imc宏形成兩級流水線，分別計算mha中的兩個矩陣乘法，第一imc宏接收輸入數(shù)據(jù)并進(jìn)行第一個矩陣乘法操作，計算結(jié)果進(jìn)行第一階段softmax處理后作為第二imc宏的輸入，進(jìn)行第二個矩陣乘法操作，第二imc宏的輸出作為該imc引擎的輸出。

5.根據(jù)權(quán)利要求3所述的加速器架構(gòu)，其特征在于，所述分發(fā)網(wǎng)絡(luò)為可重構(gòu)分發(fā)網(wǎng)絡(luò)，采用樹形分發(fā)網(wǎng)絡(luò)連接imc陣列中的各個imc引擎。

6.根據(jù)權(quán)利要求5所述的加速器架構(gòu)，其特征在于，根據(jù)算子及并行度分配需要，分發(fā)網(wǎng)絡(luò)的每個節(jié)點具有四個工作模式：用于卷積的切分-合并模式、用于卷積的復(fù)制-拼接模式、用于mha的切分-合并模式和用于mha的復(fù)制-拼接模式。

7.一種邊緣芯片，其特征在于，包括如權(quán)利要求1-6中任一項所述的多尺度視覺transformer加速器架構(gòu)。

8.一種邊緣設(shè)備，其特征在于，包括如權(quán)利要求7中的邊緣芯片。

技術(shù)總結(jié)
本發(fā)明公開一種多尺度視覺Transformer加速器架構(gòu)、邊緣芯片及設(shè)備，其中加速器架構(gòu)，包括：指令隊列和指令調(diào)度器，用于接收CPU的指令，并分發(fā)給IMC陣列或DMA引擎；統(tǒng)一緩存區(qū)，用于存儲卷積的輸入特征和輸出特征，以及MHA的Query矩陣及輸出矩陣；IMC陣列，用于存儲卷積的權(quán)重或MHA的Key、Value矩陣，以及執(zhí)行卷積與MHA計算；DMA引擎，用于加速器內(nèi)部存儲及與加速器片外DRAM之間的數(shù)據(jù)傳輸；前處理模塊，用于讀取卷積的輸入特征或MHA的Query矩陣，將數(shù)據(jù)對齊后送往IMC陣列；后處理模塊，用于收集IMC陣列的輸出結(jié)果，及執(zhí)行相應(yīng)的激活函數(shù)及量化操作。本發(fā)明能夠根據(jù)不同的層尺寸動態(tài)調(diào)整并行度以提高空間利用率。

技術(shù)研發(fā)人員：馬宇飛,陳至遠(yuǎn),李可毅,葉樂
受保護(hù)的技術(shù)使用者：北京大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9