本公開涉及一種人工神經(jīng)網(wǎng)絡(luò)模型性能評(píng)估方法及使用該方法的系統(tǒng)。

背景技術(shù)：

1、人類擁有識(shí)別、分類、推理、預(yù)測(cè)和做出決策的智慧。人工智能(ai)試圖模仿人類這種認(rèn)知能力。人腦是許多神經(jīng)細(xì)胞(稱為神經(jīng)元)的復(fù)雜網(wǎng)絡(luò)。這些神經(jīng)元中的每一個(gè)都通過突觸與其他神經(jīng)元形成數(shù)百甚至數(shù)千個(gè)連接。為了復(fù)制人類智能，已提出人工神經(jīng)網(wǎng)絡(luò)(ann)的概念。這涉及到使用層結(jié)構(gòu)中連接的節(jié)點(diǎn)對(duì)生物神經(jīng)元的功能原理及其互連進(jìn)行建模。

技術(shù)實(shí)現(xiàn)思路

1、實(shí)施方案涉及一種人工神經(jīng)網(wǎng)絡(luò)(ann)系統(tǒng)。ann系統(tǒng)包括多個(gè)神經(jīng)處理器、存儲(chǔ)器和一個(gè)或多個(gè)操作處理器。神經(jīng)處理器包括第一配置的第一神經(jīng)處理器和與第一配置不同的第二配置的第二神經(jīng)處理器。一個(gè)或多個(gè)操作處理器接收ann模型、包括用于實(shí)例化ann模型的第一神經(jīng)處理器或第二神經(jīng)處理器中至少一者的一個(gè)或多個(gè)神經(jīng)處理器的第一選擇，以及編譯選項(xiàng)。一個(gè)或多個(gè)操作處理器通過根據(jù)編譯選項(xiàng)編譯ann模型，在第一選擇的一個(gè)或多個(gè)神經(jīng)處理器上實(shí)例化ann模型至少一層。一個(gè)或多個(gè)操作處理器通過第一選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層，對(duì)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集執(zhí)行處理，以及生成一個(gè)或多個(gè)第一性能參數(shù)，所述第一性能參數(shù)與通過第一選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層，對(duì)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集的處理相關(guān)聯(lián)。

2、在一個(gè)或多個(gè)實(shí)施方案中，ann系統(tǒng)進(jìn)一步包括計(jì)算設(shè)備。計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器，以及在其上存儲(chǔ)指令的存儲(chǔ)器。指令使一個(gè)或多個(gè)處理器經(jīng)由網(wǎng)絡(luò)從用戶設(shè)備接收對(duì)一個(gè)或多個(gè)神經(jīng)處理器的第一選擇、一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集和編譯選項(xiàng)。一個(gè)或多個(gè)處理器向一個(gè)或多個(gè)操作處理器發(fā)送對(duì)一個(gè)或多個(gè)神經(jīng)處理器的第一選擇、一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集和編譯選項(xiàng)。一個(gè)或多個(gè)處理器從一個(gè)或多個(gè)操作處理器接收一個(gè)或多個(gè)第一性能參數(shù)，并經(jīng)由網(wǎng)絡(luò)將接收到的一個(gè)或多個(gè)第一性能參數(shù)發(fā)送給用戶設(shè)備。

3、在一個(gè)或多個(gè)實(shí)施方案中，指令使一個(gè)或多個(gè)處理器通過數(shù)據(jù)加密、差分隱私和數(shù)據(jù)屏蔽中的至少一者來保護(hù)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集。

4、在一個(gè)或多個(gè)實(shí)施方案中，編譯選項(xiàng)包括使用量化算法、修剪算法、再訓(xùn)練算法、模型壓縮算法、基于人工智能(ai)的模型優(yōu)化算法，或知識(shí)提取算法中的至少一者進(jìn)行選擇來提高ann模型的性能。

5、在一個(gè)或多個(gè)實(shí)施方案中，至少第一神經(jīng)處理器包括內(nèi)部存儲(chǔ)器和乘法累加器，并且其中指令進(jìn)一步使一個(gè)或多個(gè)操作處理器基于第一配置自動(dòng)設(shè)置編譯選項(xiàng)中的至少一者。

6、在一個(gè)或多個(gè)實(shí)施方案中，指令進(jìn)一步使一個(gè)或多個(gè)處理器使用第一選擇的一個(gè)或多個(gè)神經(jīng)處理器，確定ann模型中的至少另一層是否可操作。

7、在一個(gè)或多個(gè)實(shí)施方案中，指令進(jìn)一步使一個(gè)或多個(gè)處理器響應(yīng)于使用第一選擇的一個(gè)或多個(gè)神經(jīng)處理器確定ann模型中的至少另一層不可操作而生成錯(cuò)誤報(bào)告。

8、在一個(gè)或多個(gè)實(shí)施方案中，ann系統(tǒng)進(jìn)一步包括圖形處理器，所述圖形處理器用于處理使用選擇的一個(gè)或多個(gè)神經(jīng)處理器被確定為不可操作的ann模型中的至少另一層。

9、在一個(gè)或多個(gè)實(shí)施方案中，圖形處理器進(jìn)一步執(zhí)行ann模型的再訓(xùn)練，以在第一選擇的一個(gè)或多個(gè)神經(jīng)處理器上進(jìn)行實(shí)例化。

10、在一個(gè)或多個(gè)實(shí)施方案中，一個(gè)或多個(gè)第一性能參數(shù)包括第一選擇的一個(gè)或多個(gè)神經(jīng)處理器的溫度分布、功耗、每秒每瓦的操作數(shù)、每秒幀(fps)、每秒推理(ips)，以及推理或預(yù)測(cè)的準(zhǔn)確性中的至少一者。

11、在一個(gè)或多個(gè)實(shí)施方案中，一個(gè)或多個(gè)操作處理器接收：包括用于實(shí)例化ann模型的第一神經(jīng)處理器或第二神經(jīng)處理器中至少一者的一個(gè)或多個(gè)神經(jīng)處理器的第二選擇。一個(gè)或多個(gè)操作處理器通過編譯ann模型在第二選擇的一個(gè)或多個(gè)神經(jīng)處理器上實(shí)例化ann模型至少一層；通過第二選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層，對(duì)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集執(zhí)行處理，以及生成一個(gè)或多個(gè)第二性能參數(shù)，所述第二性能參數(shù)與通過第二選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層，對(duì)一個(gè)或多個(gè)評(píng)價(jià)數(shù)據(jù)集的處理相關(guān)聯(lián)。

12、在一個(gè)或多個(gè)實(shí)施方案中，一個(gè)或多個(gè)操作處理器通過比較一個(gè)或多個(gè)第一性能參數(shù)和一個(gè)或多個(gè)第二性能參數(shù)來生成關(guān)于一個(gè)或多個(gè)神經(jīng)處理器的第一選擇或一個(gè)或多個(gè)神經(jīng)處理器的第二選擇的推薦，并將該推薦發(fā)送到用戶終端。

13、在一個(gè)或多個(gè)實(shí)施方案中，接收到的編譯選項(xiàng)表示多個(gè)預(yù)設(shè)選項(xiàng)中的一個(gè)，所述多個(gè)預(yù)設(shè)選項(xiàng)表示應(yīng)用(i)訓(xùn)練后量化(ptq)、(ii)ann模型的逐層再訓(xùn)練和(iii)量化感知再訓(xùn)練(qat)的組合。

14、實(shí)施方案還涉及顯示用于選擇一個(gè)或多個(gè)神經(jīng)處理器的選項(xiàng)，所述神經(jīng)處理器包括第一配置的第一神經(jīng)處理器和與第一配置不同的第二配置的第二神經(jīng)處理器。從用戶接收用于實(shí)例化人工神經(jīng)網(wǎng)絡(luò)(ann)模型至少一層的一個(gè)或多個(gè)神經(jīng)處理器的第一選擇。編譯選項(xiàng)與用于實(shí)例化至少一層的ann模型的編譯相關(guān)聯(lián)。從用戶接收對(duì)編譯選項(xiàng)的第一選擇。將第一選擇、選擇的編譯選項(xiàng)和一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集發(fā)送到耦合到一個(gè)或多個(gè)神經(jīng)處理器的計(jì)算設(shè)備。接收一個(gè)或多個(gè)第一性能參數(shù)，所述第一性能參數(shù)與通過使用第一選擇的編譯選項(xiàng)，第一選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層而對(duì)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集的處理相關(guān)聯(lián)。顯示一個(gè)或多個(gè)第一性能參數(shù)。

15、在一個(gè)或多個(gè)實(shí)施方案中，從用戶接收對(duì)一個(gè)或多個(gè)神經(jīng)處理器的第二選擇和對(duì)編譯選項(xiàng)的第二選擇。一個(gè)或多個(gè)神經(jīng)處理器的第二選擇和選擇的編譯選項(xiàng)被發(fā)送到與一個(gè)或多個(gè)神經(jīng)處理器耦合的計(jì)算設(shè)備。顯示一個(gè)或多個(gè)第二性能參數(shù)，所述第二性能參數(shù)與通過使用第二選擇的編譯選項(xiàng)，第二選擇的一個(gè)或多個(gè)神經(jīng)處理器實(shí)例化ann模型至少一層而對(duì)一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集的處理相關(guān)聯(lián)。

16、在一個(gè)或多個(gè)實(shí)施方案中，接收并顯示關(guān)于使用一個(gè)或多個(gè)神經(jīng)處理器的第一選擇或一個(gè)或多個(gè)神經(jīng)處理器的第二選擇的推薦。

技術(shù)特征：

1.一種人工神經(jīng)網(wǎng)絡(luò)(ann)系統(tǒng)，其包括：

2.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其進(jìn)一步包括計(jì)算設(shè)備，所述計(jì)算設(shè)備包括：

3.根據(jù)權(quán)利要求2所述的ann系統(tǒng)，其中所述指令使所述一個(gè)或多個(gè)處理器通過數(shù)據(jù)加密、差分隱私和數(shù)據(jù)屏蔽中的至少一個(gè)來保護(hù)所述一個(gè)或多個(gè)評(píng)估數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中所述編譯選項(xiàng)包括使用量化算法、修剪算法、再訓(xùn)練算法、模型壓縮算法、基于人工智能(ai)的模型優(yōu)化算法，或知識(shí)提取算法中的至少一者進(jìn)行選擇來提高所述ann模型的性能。

5.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中至少所述第一神經(jīng)處理器包括內(nèi)部存儲(chǔ)器和乘法累加器，并且其中所述指令進(jìn)一步使得所述一個(gè)或多個(gè)操作處理器基于所述第一配置自動(dòng)設(shè)置所述編譯選項(xiàng)中的所述至少一者。

6.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中所述指令進(jìn)一步使所述一個(gè)或多個(gè)處理器：

7.根據(jù)權(quán)利要求6所述的ann系統(tǒng)，其中所述指令進(jìn)一步使所述一個(gè)或多個(gè)處理器：

8.根據(jù)權(quán)利要求6所述的ann系統(tǒng)，其進(jìn)一步包括圖形處理器，所述圖形處理器被配置為處理所述ann模型中使用選擇的所述一個(gè)或多個(gè)神經(jīng)處理器被確定為不可操作的至少所述另一層。

9.根據(jù)權(quán)利要求8所述的ann系統(tǒng)，其中所述圖形處理器被進(jìn)一步配置為執(zhí)行所述ann模型的再訓(xùn)練，以在所述第一選擇的所述一個(gè)或多個(gè)神經(jīng)處理器上實(shí)例化。

10.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中所述一個(gè)或多個(gè)第一性能參數(shù)包括所述第一選擇的所述一個(gè)或多個(gè)神經(jīng)處理器的以下中的至少一項(xiàng)：溫度分布、功耗、每秒每瓦的操作數(shù)、每秒幀(fps)、每秒推理(ips)和推理或預(yù)測(cè)準(zhǔn)確度。

11.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中指令進(jìn)一步使得所述一個(gè)或多個(gè)操作處理器：

12.根據(jù)權(quán)利要求11所述的ann系統(tǒng)，其中指令進(jìn)一步使所述一個(gè)或多個(gè)操作處理器：

13.根據(jù)權(quán)利要求1所述的ann系統(tǒng)，其中，接收到的所述編譯選項(xiàng)表示多個(gè)預(yù)設(shè)選項(xiàng)中的一個(gè)，所述多個(gè)預(yù)設(shè)選項(xiàng)表示應(yīng)用(i)訓(xùn)練后量化(ptq)、(ii)所述ann模型的逐層再訓(xùn)練和(iii)量化感知再訓(xùn)練(qat)的組合。

14.一種方法，其包括：

15.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括：

16.根據(jù)權(quán)利要求15所述的方法，其進(jìn)一步包括：

17.根據(jù)權(quán)利要求14所述的方法，其中所述編譯選項(xiàng)包括使用量化算法、修剪算法、再訓(xùn)練算法、模型壓縮算法、基于人工智能(ai)的模型優(yōu)化算法或知識(shí)提取算法中的至少一個(gè)進(jìn)行選擇來提高所述ann模型的性能。

18.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括基于所述第一配置或所述第二配置自動(dòng)設(shè)置所述編譯選項(xiàng)中的至少一個(gè)。

19.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括：

20.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括：

21.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括：

22.根據(jù)權(quán)利要求14所述的方法，其中所述一個(gè)或多個(gè)第一性能參數(shù)包括所述第一選擇的所述一個(gè)或多個(gè)神經(jīng)處理器的以下中的至少一項(xiàng)：溫度分布、功耗、每秒每瓦的操作數(shù)、每秒幀(fps)、每秒推理(ips)和推理或預(yù)測(cè)準(zhǔn)確度。

23.根據(jù)權(quán)利要求14所述的方法，其進(jìn)一步包括：

24.根據(jù)權(quán)利要求23所述的方法，其進(jìn)一步包括：

25.根據(jù)權(quán)利要求14所述的方法，其中所述編譯選項(xiàng)表示多個(gè)預(yù)設(shè)選項(xiàng)中的一個(gè)，所述多個(gè)預(yù)設(shè)選項(xiàng)表示應(yīng)用(i)訓(xùn)練后量化(ptq)、(ii)所述ann模型的逐層再訓(xùn)練和(iii)量化感知再訓(xùn)練(qat)的組合。

26.一種方法，其包括：

27.根據(jù)權(quán)利要求26所述的方法，其進(jìn)一步包括：

28.根據(jù)權(quán)利要求27所述的方法，其進(jìn)一步包括：

技術(shù)總結(jié)
一種用于評(píng)估人工神經(jīng)網(wǎng)絡(luò)(ANN)模型的處理性能的方法，該方法包括選擇用于處理用戶的性能評(píng)估的至少一個(gè)神經(jīng)處理單元(NPU)的類型和數(shù)量，選擇要由選擇的至少一種NPU處理的人工神經(jīng)網(wǎng)絡(luò)(ANN)模型的多個(gè)編譯選項(xiàng)中的至少一者，上傳ANN模型和將由選擇的至少一個(gè)NPU處理的至少一個(gè)評(píng)估數(shù)據(jù)集，根據(jù)選擇的多個(gè)編譯選項(xiàng)中至少一者編譯ANN模型，以及通過在選擇的至少一個(gè)NPU上處理ANN模型來報(bào)告處理性能。

技術(shù)研發(fā)人員：金錄元
受保護(hù)的技術(shù)使用者：蒂普愛可斯有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9