本技術(shù)涉及電子,特別涉及一種處理器互聯(lián)資源調(diào)節(jié)方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù):
1、目前,隨著國內(nèi)信息化的加速以及電子信息制造業(yè)的快速發(fā)展,國產(chǎn)中央處理器cpu的快速崛起也為當(dāng)下各類基礎(chǔ)模型運算、成熟模型運算、國內(nèi)智能駕駛以及存儲軟件等相關(guān)的應(yīng)用帶來了新的硬件挑戰(zhàn),例如基礎(chǔ)模型運算包含數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)劃分、模型選擇、模型訓(xùn)練、函數(shù)運算、反向傳播算法與優(yōu)化,其不同的計算方式對cpu的核數(shù)、主頻、互聯(lián)帶寬、內(nèi)存性能等都有不同的要求。
2、服務(wù)器上現(xiàn)在使用的雙路cpu設(shè)計,cpu之間的互聯(lián)一般是固定的通道lane數(shù),在設(shè)計過程中,一般選擇cpu互聯(lián)帶寬最大的實現(xiàn)方案,從而保證cpu的互聯(lián)傳輸速度,但是國產(chǎn)的cpu互聯(lián)信號(例如高速并聯(lián)總線)與高速串行總線都是復(fù)用的,在cpu互聯(lián)信號最大化的情況下,高速串行總線的lane數(shù)就會響應(yīng)的減少,降低了設(shè)備的拓展性。
3、同時,并非所有的應(yīng)用設(shè)置都需要高帶寬的cpu互聯(lián),尤其是在當(dāng)前ai火爆的場景下,各種基礎(chǔ)算法模型層出不斷,對底層的硬件平臺也有不同的需求,而通用的硬件設(shè)計已經(jīng)無法滿足各類的應(yīng)用場景,硬件的開發(fā)迭代周期較長,與復(fù)雜需求場景的矛盾日益突出。
技術(shù)實現(xiàn)思路
1、為了克服上述技術(shù)缺陷,本技術(shù)的目的在于提供一種處理器互聯(lián)資源調(diào)節(jié)方法、裝置、設(shè)備及介質(zhì),所述方法包括:獲取所述第一處理器與第二處理器之間互聯(lián)帶寬速率和第一互聯(lián)帶寬速率;獲取所述處理器的第一性能數(shù)據(jù),其中,所述處理器的第一性能數(shù)據(jù)包括帶寬速率參數(shù)和延遲參數(shù);將當(dāng)前處理器互聯(lián)帶寬速率與所述第一互聯(lián)帶寬速率進行比對;根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式;通過所述目標硬件連接拓撲模式對所述處理器互聯(lián)資源進行調(diào)節(jié)。本技術(shù)可以通過算法模型對處理器之間互聯(lián)信號資源進行實時自適應(yīng)優(yōu)化,充分發(fā)揮處理器的性能。
2、本技術(shù)實施例提供的具體技術(shù)方案如下:
3、第一方面,本技術(shù)提供了一種處理器互聯(lián)資源調(diào)節(jié)方法,所述方法應(yīng)用于處理器互聯(lián)資源調(diào)節(jié)系統(tǒng),所述系統(tǒng)包括第一處理器、第二處理器以及交換機,所述第一處理器與所述第二處理器連接,所述第一處理器與第二處理器分別與所述交換機連接,所述方法包括:
4、獲取所述第一處理器與第二處理器之間互聯(lián)帶寬速率和第一互聯(lián)帶寬速率;其中,所述第一互聯(lián)帶寬速率為所述第一處理器與第二處理器之間理論互聯(lián)帶寬速率;
5、獲取所述處理器的第一性能數(shù)據(jù),其中,所述處理器的第一性能數(shù)據(jù)包括帶寬速率參數(shù)和延遲參數(shù);
6、將當(dāng)前處理器互聯(lián)帶寬速率與所述第一互聯(lián)帶寬速率進行比對;
7、根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式;
8、通過所述目標硬件連接拓撲模式對所述處理器互聯(lián)資源進行調(diào)節(jié)。
9、在其中一個實施例中,每個處理器包括若干個內(nèi)核,所述交換機包括若干個交換區(qū),所述處理器的各個內(nèi)核相互連通;所述第一處理器的第二內(nèi)核與所述第二處理器的第一內(nèi)核連接;所述第一處理器的第一內(nèi)核與所述第二處理器的第二內(nèi)核分別與所述交換機的第一交換區(qū)連接;所述第一處理器的第三內(nèi)核與所述第二處理器的第四內(nèi)核分別與所述交換機的第二交換區(qū)連接;所述第一處理器的第四內(nèi)核與所述第二處理器的第三內(nèi)核分別與所述交換機的第三交換區(qū)連接。
10、在其中一個實施例中,所述處理器與交換機之間的通道信號狀態(tài)包括:高速并聯(lián)總線信號與高速串行總線信號;
11、當(dāng)所述處理器與交換機之間的通道信號狀態(tài)為高速并聯(lián)總線信號時,則實現(xiàn)第一處理器與第二處理器之間的信號傳輸;
12、當(dāng)所述處理器與交換機之間的通道信號狀態(tài)為高速串行總線信號時,則實現(xiàn)第一處理器與交換機之間的信號傳輸或第二處理器與交換機之間的信號傳輸。
13、在其中一個實施例中,所述根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式,包括:
14、將首次獲取的處理器性能數(shù)據(jù)設(shè)定為第二性能數(shù)據(jù);
15、響應(yīng)于當(dāng)前處理器互聯(lián)帶寬速率與所述第一互聯(lián)帶寬速率接近,則對所述處理器與交換機之間的通道信號狀態(tài)進行第一次調(diào)節(jié),其中,所述第一調(diào)節(jié)包括增加處理器與交換機之間通道信號狀態(tài)為高速并聯(lián)總線信號的通道數(shù)量,減少處理器與交換機之間通道信號狀態(tài)為高速串行總線信號的通道數(shù)量;
16、獲取第一次調(diào)節(jié)后的處理器性能數(shù)據(jù);
17、將所述第一次調(diào)節(jié)后的處理器性能數(shù)據(jù)與所述第二性能數(shù)據(jù)進行比對;
18、響應(yīng)于所述第一次調(diào)節(jié)后的處理器性能數(shù)據(jù)參數(shù)值大于所述第二性能數(shù)據(jù)參數(shù)值,則更新所述處理器的性能數(shù)據(jù),繼續(xù)增加處理器與交換機之間通道信號狀態(tài)為高速并聯(lián)總線信號的通道數(shù)量,減少處理器與交換機之間通道信號狀態(tài)為高速串行總線信號的通道數(shù)量;
19、當(dāng)所述處理器互聯(lián)帶寬速率達到第二互聯(lián)帶寬速率時,則將所述處理器互聯(lián)帶寬速率達到第二互聯(lián)帶寬速率時的處理器性能數(shù)據(jù)設(shè)定為第三性能數(shù)據(jù)。
20、在其中一個實施例中,所述根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式,還包括:
21、響應(yīng)于當(dāng)前處理器互聯(lián)帶寬速率小于所述第一互聯(lián)帶寬速率,則對所述處理器與交換機之間的通道信號狀態(tài)進行第二次調(diào)節(jié),其中,所述第二調(diào)節(jié)包括減少處理器與交換機之間通道信號狀態(tài)為高速并聯(lián)總線信號的通道數(shù)量,增加處理器與交換機之間通道信號狀態(tài)為高速串行總線信號的通道數(shù)量;
22、獲取第二次調(diào)節(jié)后的處理器性能數(shù)據(jù);
23、將所述第二次調(diào)節(jié)后的處理器性能數(shù)據(jù)與所述第三性能數(shù)據(jù)進行比對;
24、響應(yīng)于所述第二次調(diào)節(jié)后的處理器性能數(shù)據(jù)參數(shù)值大于所述第三性能數(shù)據(jù)參數(shù)值,則更新所述處理器的性能數(shù)據(jù),繼續(xù)減少處理器與交換機之間通道信號狀態(tài)為高速并聯(lián)總線信號的通道數(shù)量,增加處理器與交換機之間通道信號狀態(tài)為高速串行總線信號的通道數(shù)量;
25、當(dāng)更新后的處理器性能數(shù)據(jù)參數(shù)值與第四性能數(shù)據(jù)的參數(shù)值相同時,則將更新后的處理器性能數(shù)據(jù)參數(shù)值與第四性能數(shù)據(jù)的參數(shù)值相同時的硬件連接拓撲模式確定為目標硬件連接拓撲模式。
26、在其中一個實施例中,所述處理器的各個內(nèi)核相互連通,包括:
27、所述第一處理器的第一內(nèi)核與所述第一處理器的第二內(nèi)核連接,所述第一處理器的第二內(nèi)核與所述第一處理器的第四內(nèi)核連接,所述第一處理器的第四內(nèi)核與所述第一處理器的第三內(nèi)核連接,所述第一處理器的第三內(nèi)核與所述第一處理器的第一內(nèi)核連接;所述第一處理器的第一內(nèi)核與所述第一處理器的第四內(nèi)核連接,所述第一處理器的第二內(nèi)核與所述第一處理器的第三內(nèi)核連接;
28、所述第二處理器的第一內(nèi)核與所述第二處理器的第二內(nèi)核連接,所述第二處理器的第二內(nèi)核與所述第二處理器的第四內(nèi)核連接,所述第二處理器的第四內(nèi)核與所述第二處理器的第三內(nèi)核連接,所述第二處理器的第三內(nèi)核與所述第二處理器的第一內(nèi)核連接;所述第二處理器的第一內(nèi)核與所述第二處理器的第四內(nèi)核連接,所述第二處理器的第二內(nèi)核與所述第二處理器的第三內(nèi)核連接。
29、在其中一個實施例中,所述方法,包括:
30、所述獲取所述處理器的第一性能數(shù)據(jù),包括:
31、通過監(jiān)控軟件采集所述處理器的性能測試數(shù)據(jù);
32、根據(jù)所述處理器的性能測試數(shù)據(jù)創(chuàng)建神經(jīng)網(wǎng)絡(luò)模型;
33、通過交叉驗證方式對所述神經(jīng)網(wǎng)絡(luò)模型進行測試;
34、對所述神經(jīng)網(wǎng)絡(luò)模型進行優(yōu)化及調(diào)整;
35、通過優(yōu)化后的神經(jīng)網(wǎng)絡(luò)模型獲取所述處理器的第一性能數(shù)據(jù);
36、所述方法,還包括:重新獲取所述處理器的第五性能數(shù)據(jù),根據(jù)處理器互聯(lián)帶寬速率比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及重新根據(jù)處理器的第五性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式。
37、第二方面,本技術(shù)還提供了一種處理器互聯(lián)資源調(diào)節(jié)裝置,所述裝置應(yīng)用于處理器互聯(lián)資源調(diào)節(jié)系統(tǒng),所述系統(tǒng)包括第一處理器、第二處理器以及交換機,所述第一處理器與所述第二處理器連接,所述第一處理器與第二處理器分別與所述交換機連接,所述裝置包括:
38、獲取模塊,用于獲取所述第一處理器與第二處理器之間互聯(lián)帶寬速率和第一互聯(lián)帶寬速率;獲取所述處理器的第一性能數(shù)據(jù),其中,所述處理器的第一性能數(shù)據(jù)包括帶寬速率參數(shù)和延遲參數(shù);
39、比對模塊,用于將當(dāng)前處理器互聯(lián)帶寬速率與所述第一互聯(lián)帶寬速率進行比對;
40、確定模塊,用于根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式;
41、調(diào)節(jié)模塊,用于通過所述目標硬件連接拓撲模式對所述處理器互聯(lián)資源進行調(diào)節(jié)。
42、第三方面,還提供了一種處理器互聯(lián)資源調(diào)節(jié)裝置,包括:
43、一個或多個處理器;
44、存儲裝置,用于存儲一個或多個程序;
45、當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行,使得所述一個或多個處理器實現(xiàn)如第一方面任一所述的處理器互聯(lián)資源調(diào)節(jié)方法。
46、第四方面,本技術(shù)還提供了一種計算機設(shè)備,所述設(shè)備包括:
47、存儲器、處理器及存儲在存儲器上的計算機程序,所述處理器執(zhí)行所述計算機程序以實現(xiàn)如第一方面任一所述的處理器互聯(lián)資源調(diào)節(jié)方法的步驟。
48、第五方面,本技術(shù)還提供了一種計算機程序產(chǎn)品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)第一方面任一所述的處理器互聯(lián)資源調(diào)節(jié)方法的步驟。
49、第六方面,本技術(shù)還提供了一種計算機存儲介質(zhì),所述介質(zhì)包括:
50、其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)第一方面任一所述的處理器互聯(lián)資源調(diào)節(jié)方法的步驟。
51、與現(xiàn)有技術(shù)相比,本技術(shù)實施例提供的技術(shù)方案所述方法包括:獲取所述第一處理器與第二處理器之間互聯(lián)帶寬速率和第一互聯(lián)帶寬速率;獲取所述處理器的第一性能數(shù)據(jù),其中,所述處理器的第一性能數(shù)據(jù)包括帶寬速率參數(shù)和延遲參數(shù);將當(dāng)前處理器互聯(lián)帶寬速率與所述第一互聯(lián)帶寬速率進行比對;根據(jù)比對結(jié)果對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié)以及根據(jù)處理器的第一性能數(shù)據(jù)更新計算,確定目標硬件連接拓撲模式;通過所述目標硬件連接拓撲模式對所述處理器互聯(lián)資源進行調(diào)節(jié)。本技術(shù)可以通過算法模型對處理器之間互聯(lián)信號資源進行實時自適應(yīng)優(yōu)化,對所述處理器與交換機之間的通道信號狀態(tài)進行調(diào)節(jié),實現(xiàn)在特定的應(yīng)用模型下,cpu互聯(lián)通道數(shù)及pcie交換機拓展通道數(shù)的最大化,從而快速制定該特定應(yīng)用模型所需要的硬件拓撲,實現(xiàn)上層應(yīng)用模型與底層硬件的架構(gòu)互補,同時也可以隨著應(yīng)用模型的變化而做出對應(yīng)的調(diào)整,實現(xiàn)底層硬件架構(gòu)的快速適配,充分發(fā)揮處理器的性能。