本公開涉及計算機，尤其涉及一種神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)及系統(tǒng)組件。

背景技術(shù)：

1、npu(neural-network?processing?unit，神經(jīng)網(wǎng)絡(luò)處理器)作為專門被設(shè)計用于加速人工神經(jīng)網(wǎng)絡(luò)計算的芯片，已經(jīng)被廣泛用于各種ai應(yīng)用中。相比于傳統(tǒng)的cpu(centralprocessing?unit，中央處理器)、gpu(graphics?processing?unit，圖像處理器)等運算平臺，npu采用“數(shù)據(jù)驅(qū)動并行計算”的架構(gòu)，以專用于卷積運算的mac(multiply?accumulate，乘積累加運算)陣列為核心，因此更擅長處理視頻、圖像類等海量多媒體數(shù)據(jù)。由于人工神經(jīng)網(wǎng)絡(luò)模型通常需要大量的計算資源來進行訓(xùn)練和推理，單核npu可能無法滿足實際需求，而多核npu可以將多個模型或單個大模型拆分分配到不同的核心上進行并行計算，能夠顯著提高計算效率、實現(xiàn)更靈活的任務(wù)分配和負載均衡。

2、隨著核心數(shù)量和算力的不斷增加，npu需要一種高效的多核同步機制，來保證并行計算時多個核心間數(shù)據(jù)的一致性和計算結(jié)果的正確性，從而提高應(yīng)用的可靠性和穩(wěn)定性。截至目前，大多npu廠商采用基于鎖的方案來實現(xiàn)多核間的通信與同步。當(dāng)核心數(shù)量大幅增加時，容易出現(xiàn)鎖的競爭、鎖的開銷增加等缺陷，降低核間同步的效率。

技術(shù)實現(xiàn)思路

1、本公開提供一種神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)及系統(tǒng)組件。

2、本公開第一方面提供了一種神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，包括：神經(jīng)網(wǎng)絡(luò)處理器和系統(tǒng)組件；所述神經(jīng)網(wǎng)絡(luò)處理器包括任務(wù)調(diào)度處理器和多個核心；

3、所述系統(tǒng)組件分別與所述任務(wù)調(diào)度處理器、各所述核心通過系統(tǒng)總線連接；

4、所述系統(tǒng)組件，用于在所述任務(wù)調(diào)度處理器的控制下，在各所述核心之間通信以使得各所述核心同步執(zhí)行分配的模型任務(wù)。

5、本公開第二方面提供了一種系統(tǒng)組件，所述系統(tǒng)組件用于在神經(jīng)網(wǎng)絡(luò)處理器的任務(wù)調(diào)度處理器的控制下，在所述神經(jīng)網(wǎng)絡(luò)處理器各核心之間通信以使得各所述核心同步執(zhí)行分配的模型任務(wù)。

6、本公開具有如下優(yōu)點：

7、通過設(shè)置用于神經(jīng)網(wǎng)絡(luò)處理器中多核心同步的系統(tǒng)組件，由系統(tǒng)組件在神經(jīng)網(wǎng)絡(luò)處理器的任務(wù)調(diào)度處理器的控制下在多個核心之間通信，使得各核心同步執(zhí)行分配的模型任務(wù)，從而能夠為多核神經(jīng)網(wǎng)絡(luò)處理器提供高效的核心間通信和同步，實現(xiàn)核間同步的統(tǒng)一管理；多個核心之間的同步由系統(tǒng)組件完成，無需因核間同步而過多占用主機的中央處理器的資源，減輕了主機的中央處理器的運行負載；并且，通過系統(tǒng)組件提供多個核心之間的直連通道，縮短了交互路徑及成本，進而使得神經(jīng)網(wǎng)絡(luò)處理器能夠支持更復(fù)雜的人工智能模塊和更大規(guī)模的數(shù)據(jù)輸入。

技術(shù)特征：

1.一種神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，包括：神經(jīng)網(wǎng)絡(luò)處理器和系統(tǒng)組件；所述神經(jīng)網(wǎng)絡(luò)處理器包括任務(wù)調(diào)度處理器和多個核心；

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡(luò)處理器還包括共享緩存，用于存儲所述任務(wù)調(diào)度處理器和各所述核心的中間計算結(jié)果。

3.根據(jù)權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)還包括物理存儲器，通過系統(tǒng)總線連接所述共享緩存；

4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)組件包括中斷管理器，所述中斷管理器中包括各所述核心對應(yīng)的發(fā)起中斷寄存器和確認中斷寄存器；

5.根據(jù)權(quán)利要求4所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，

6.根據(jù)權(quán)利要求5所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)組件還用于：將各所述核心的中斷完成的信息合并后上報給主機的中央處理器。

7.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)組件包括事件管理器，所述事件管理器包括各所述核心對應(yīng)的事件寄存器；

8.根據(jù)權(quán)利要求7所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，

9.根據(jù)權(quán)利要求8所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述脈沖事件包括用于指示所述目標(biāo)核心進入休眠模式的休眠事件。

10.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)組件包括同步管理器，所述同步管理器中包括原子計數(shù)器；

11.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)，其特征在于，所述系統(tǒng)組件包括同步管理器，所述同步管理器包括原子計數(shù)器；

12.一種系統(tǒng)組件，其特征在于，所述系統(tǒng)組件用于在神經(jīng)網(wǎng)絡(luò)處理器的任務(wù)調(diào)度處理器的控制下，在所述神經(jīng)網(wǎng)絡(luò)處理器各核心之間通信以使得各所述核心同步執(zhí)行分配的模型任務(wù)。

技術(shù)總結(jié)
本公開提供了一種神經(jīng)網(wǎng)絡(luò)處理器中多核心同步系統(tǒng)及系統(tǒng)組件，屬于計算機技術(shù)領(lǐng)域。該系統(tǒng)包括：神經(jīng)網(wǎng)絡(luò)處理器和的系統(tǒng)組件；所述神經(jīng)網(wǎng)絡(luò)處理器包括任務(wù)調(diào)度處理器和多個核心；所述系統(tǒng)組件分別與所述任務(wù)調(diào)度處理器、各所述核心通過系統(tǒng)總線連接；所述系統(tǒng)組件，用于在所述任務(wù)調(diào)度處理器的控制下，在各所述核心之間通信以使得各所述核心同步執(zhí)行分配的模型任務(wù)。該系統(tǒng)用以高效的核心間通信和同步。

技術(shù)研發(fā)人員：郭瑩清
受保護的技術(shù)使用者：深圳市中興微電子技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9