所屬的技術(shù)人員能夠理解，本公開的各個方面可以實現(xiàn)為系統(tǒng)、方法或程序產(chǎn)品。因此，本公開的各個方面可以具體實現(xiàn)為以下形式，即：完全的硬件實施方式、完全的軟件實施方式(包括固件、微代碼等)，或硬件和軟件方面結(jié)合的實施方式，這里可以統(tǒng)稱為“電路”、“模塊”或“系統(tǒng)”。下面參照圖8來描述根據(jù)本公開的這種實施方式的電子設(shè)備800。圖8顯示的電子設(shè)備800僅僅是一個示例，不應(yīng)對本公開實施例的功能和使用范圍帶來任何限制。如圖8所示，電子設(shè)備800以通用計算設(shè)備的形式表現(xiàn)。電子設(shè)備800的組件可以包括但不限于：上述至少一個處理單元810、上述至少一個存儲單元820、連接不同系統(tǒng)組件(包括存儲單元820和處理單元810)的總線830以及顯示單元840。其中，所述存儲單元存儲有程序代碼，所述程序代碼可以被所述處理單元810執(zhí)行，使得所述處理單元810執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施方式的步驟。例如，所述處理單元810可以執(zhí)行如圖1中所示的步驟s110：對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)進(jìn)行分析，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中所包括的模型層級結(jié)構(gòu)；步驟s120：根據(jù)所述模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征，對與該模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文；步驟s130：為所述任務(wù)計算上下文分配任務(wù)執(zhí)行節(jié)點，并基于所述任務(wù)執(zhí)行節(jié)點執(zhí)行所述任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果；步驟s140：對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行同步以及合并，得到參數(shù)更新結(jié)果，并基于所述參數(shù)更新結(jié)果對所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新。存儲單元820可以包括易失性存儲單元形式的可讀介質(zhì)，例如隨機存取存儲單元(ram)8201和/或高速緩存存儲單元8202，還可以進(jìn)一步包括只讀存儲單元(rom)8203。存儲單元820還可以包括具有一組(至少一個)程序模塊8205的程序/實用工具8204，這樣的程序模塊8205包括但不限于：操作系統(tǒng)、一個或者多個應(yīng)用程序、其它程序模塊以及程序數(shù)據(jù)，這些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)?？偩€830可以為表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲單元總線或者存儲單元控制器、外圍總線、圖形加速端口、處理單元或者使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。電子設(shè)備800也可以與一個或多個外部設(shè)備900(例如鍵盤、指向設(shè)備、藍(lán)牙設(shè)備等)通信，還可與一個或者多個使得用戶能與該電子設(shè)備800交互的設(shè)備通信，和/或與使得該電子設(shè)備800能與一個或多個其它計算設(shè)備進(jìn)行通信的任何設(shè)備(例如路由器、調(diào)制解調(diào)器等等)通信。這種通信可以通過輸入/輸出(i/o)接口850進(jìn)行。并且，電子設(shè)備800還可以通過網(wǎng)絡(luò)適配器860與一個或者多個網(wǎng)絡(luò)(例如局域網(wǎng)(lan)，廣域網(wǎng)(wan)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng))通信。如圖所示，網(wǎng)絡(luò)適配器860通過總線830與電子設(shè)備800的其它模塊通信。應(yīng)當(dāng)明白，盡管圖中未示出，可以結(jié)合電子設(shè)備800使用其它硬件和/或軟件模塊，包括但不限于：微代碼、設(shè)備驅(qū)動器、冗余處理單元、外部磁盤驅(qū)動陣列、raid系統(tǒng)、磁帶驅(qū)動器以及數(shù)據(jù)備份存儲系統(tǒng)等。通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實施方式可以通過軟件實現(xiàn)，也可以通過軟件結(jié)合必要的硬件的方式來實現(xiàn)。因此，根據(jù)本公開實施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是cd-rom，u盤，移動硬盤等)中或網(wǎng)絡(luò)上，包括若干指令以使得一臺計算設(shè)備(可以是個人計算機、服務(wù)器、終端裝置、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本公開實施方式的方法。在本公開的示例性實施例中，還提供了一種計算機可讀存儲介質(zhì)，其上存儲有能夠?qū)崿F(xiàn)本說明書上述方法的程序產(chǎn)品。在一些可能的實施方式中，本公開的各個方面還可以實現(xiàn)為一種程序產(chǎn)品的形式，其包括程序代碼，當(dāng)所述程序產(chǎn)品在終端設(shè)備上運行時，所述程序代碼用于使所述終端設(shè)備執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本公開各種示例性實施方式的步驟。根據(jù)本公開的實施方式的用于實現(xiàn)上述方法的程序產(chǎn)品，其可以采用便攜式緊湊盤只讀存儲器(cd-rom)并包括程序代碼，并可以在終端設(shè)備，例如個人電腦上運行。然而，本公開的程序產(chǎn)品不限于此，在本文件中，可讀存儲介質(zhì)可以是任何包含或存儲程序的有形介質(zhì)，該程序可以被指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用。所述程序產(chǎn)品可以采用一個或多個可讀介質(zhì)的任意組合。可讀介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)。可讀存儲介質(zhì)例如可以為但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件，或者任意以上的組合?？勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括：具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。計算機可讀信號介質(zhì)可以包括在基帶中或者作為載波一部分傳播的數(shù)據(jù)信號，其中承載了可讀程序代碼。這種傳播的數(shù)據(jù)信號可以采用多種形式，包括但不限于電磁信號、光信號或上述的任意合適的組合?？勺x信號介質(zhì)還可以是可讀存儲介質(zhì)以外的任何可讀介質(zhì)，該可讀介質(zhì)可以發(fā)送、傳播或者傳輸用于由指令執(zhí)行系統(tǒng)、裝置或者器件使用或者與其結(jié)合使用的程序?？勺x介質(zhì)上包含的程序代碼可以用任何適當(dāng)?shù)慕橘|(zhì)傳輸，包括但不限于無線、有線、光纜、rf等等，或者上述的任意合適的組合?？梢砸砸环N或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本公開操作的程序代碼，所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言—諸如java、c++等，還包括常規(guī)的過程式程序設(shè)計語言—諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。在涉及遠(yuǎn)程計算設(shè)備的情形中，遠(yuǎn)程計算設(shè)備可以通過任意種類的網(wǎng)絡(luò)，包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)，連接到用戶計算設(shè)備，或者，可以連接到外部計算設(shè)備(例如利用因特網(wǎng)服務(wù)提供商來通過因特網(wǎng)連接)。此外，上述附圖僅是根據(jù)本公開示例性實施例的方法所包括的處理的示意性說明，而不是限制目的。易于理解，上述附圖所示的處理并不表明或限制這些處理的時間順序。另外，也易于理解，這些處理可以是例如在多個模塊中同步或異步執(zhí)行的。本領(lǐng)域技術(shù)人員在考慮說明書及實踐這里發(fā)明的發(fā)明后，將容易想到本公開的其他實施例。本技術(shù)旨在涵蓋本公開的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本公開的一般性原理并包括本公開未發(fā)明的本中的公知常識或慣用技術(shù)手段。說明書和實施例僅被視為示例性的，本公開的真正范圍和精神由權(quán)利要求指出。

背景技術(shù)：

1、在相關(guān)的分布式大模型訓(xùn)練的過程中，存在任務(wù)劃分不細(xì)致，無法充分利用分布式計算資源，進(jìn)而使得分布式計算資源的利用率較低，且模型的整體訓(xùn)練效率也不高。

2、需要說明的是，在上述背景技術(shù)部分發(fā)明的信息僅用于加強對本公開的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實現(xiàn)思路

1、本公開的目的在于提供一種網(wǎng)絡(luò)模型的訓(xùn)練方法、網(wǎng)絡(luò)模型的訓(xùn)練裝置、計算機可讀存儲介質(zhì)以及電子設(shè)備，進(jìn)而至少在一定程度上克服由于相關(guān)技術(shù)的限制和缺陷而導(dǎo)致的分布式計算資源的利用率較低以及模型的整體訓(xùn)練效率較低的問題。

2、根據(jù)本公開的一個方面，提供一種網(wǎng)絡(luò)模型的訓(xùn)練方法，包括：

3、對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)進(jìn)行分析，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中所包括的模型層級結(jié)構(gòu)；

4、根據(jù)所述模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征，對與該模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文；

5、為所述任務(wù)計算上下文分配任務(wù)執(zhí)行節(jié)點，并基于所述任務(wù)執(zhí)行節(jié)點執(zhí)行所述任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果；

6、對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行同步以及合并，得到參數(shù)更新結(jié)果，并基于所述參數(shù)更新結(jié)果對所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新。

7、在本公開的一種示例性實施例中，根據(jù)所述模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征，對與該模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文，包括：

8、確定執(zhí)行與模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)所需要的第一當(dāng)前數(shù)據(jù)計算量、第一當(dāng)前數(shù)據(jù)依賴關(guān)系以及第一當(dāng)前計算資源需求量；

9、根據(jù)所述第一當(dāng)前數(shù)據(jù)計算量、第一當(dāng)前數(shù)據(jù)依賴關(guān)系以及第一當(dāng)前計算資源需求量，確定所述模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征；

10、根據(jù)所述模型層級結(jié)構(gòu)中包括的當(dāng)前子層級參數(shù)，確定所述模型層級結(jié)構(gòu)的當(dāng)前層級結(jié)構(gòu)特征；

11、根據(jù)所述當(dāng)前層級結(jié)構(gòu)特征以及當(dāng)前計算任務(wù)特征對所述當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文。

12、在本公開的一種示例性實施例中，確定執(zhí)行與模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)所需要的第一當(dāng)前數(shù)據(jù)計算量、第一當(dāng)前數(shù)據(jù)依賴關(guān)系以及第一當(dāng)前計算資源需求量，包括：

13、獲取執(zhí)行與模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)所需要的任務(wù)操作類型，并根據(jù)所述任務(wù)操作類型確定第一當(dāng)前數(shù)據(jù)計算量；

14、獲取執(zhí)行與模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)所需要的第一子數(shù)據(jù)塊的第一數(shù)據(jù)傳遞路徑以及第一子數(shù)據(jù)塊之間的第一依賴關(guān)系；

15、根據(jù)所述第一數(shù)據(jù)傳遞路徑以及第一依賴關(guān)系，確定第一當(dāng)前數(shù)據(jù)依賴關(guān)系，并根據(jù)所述第一當(dāng)前數(shù)據(jù)計算量以及第一當(dāng)前數(shù)據(jù)依賴關(guān)系，確定所述第一當(dāng)前計算資源需求量。

16、在本公開的一種示例性實施例中，根據(jù)當(dāng)前層級結(jié)構(gòu)特征以及當(dāng)前計算任務(wù)特征對當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文，包括：

17、獲取執(zhí)行與所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型對應(yīng)的模型訓(xùn)練任務(wù)的模型訓(xùn)練系統(tǒng)所具有的當(dāng)前系統(tǒng)資源；

18、根據(jù)所述當(dāng)前層級結(jié)構(gòu)特征、當(dāng)前計算任務(wù)特征以及當(dāng)前系統(tǒng)資源，生成所述當(dāng)前子層級計算任務(wù)的第一任務(wù)特征；

19、將所述第一任務(wù)特征輸入至訓(xùn)練完成的任務(wù)劃分模型中，得到所述任務(wù)計算上下文。

20、在本公開的一種示例性實施例中，為所述任務(wù)計算上下文分配任務(wù)執(zhí)行節(jié)點，包括：

21、根據(jù)所述模型層級結(jié)構(gòu)的第一當(dāng)前數(shù)據(jù)計算量、第一當(dāng)前數(shù)據(jù)依賴關(guān)系以及第一當(dāng)前計算資源需求量，確定所述任務(wù)計算上下文的第二當(dāng)前數(shù)據(jù)計算量、第二當(dāng)前數(shù)據(jù)依賴關(guān)系以及第二當(dāng)前計算資源需求量；

22、獲取當(dāng)前系統(tǒng)資源中包括的原始計算節(jié)點，并獲取所述原始計算節(jié)點所具有的原始節(jié)點計算資源；

23、根據(jù)所述第二當(dāng)前數(shù)據(jù)計算量、第二當(dāng)前計算資源需求量以及原始節(jié)點計算資源，從原始計算節(jié)點中匹配當(dāng)前計算節(jié)點；

24、根據(jù)所述第二當(dāng)前數(shù)據(jù)依賴關(guān)系從所述當(dāng)前計算節(jié)點中匹配與所述任務(wù)計算上下文對應(yīng)的任務(wù)執(zhí)行節(jié)點。

25、在本公開的一種示例性實施例中，根據(jù)第二當(dāng)前數(shù)據(jù)依賴關(guān)系從所述當(dāng)前計算節(jié)點中匹配與所述任務(wù)計算上下文對應(yīng)的任務(wù)執(zhí)行節(jié)點，包括：

26、根據(jù)所述第二當(dāng)前數(shù)據(jù)依賴關(guān)系，從執(zhí)行與模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)所需要的第一子數(shù)據(jù)塊中確定執(zhí)行任務(wù)計算上下文所需要的第二子數(shù)據(jù)塊；

27、根據(jù)所述第二子數(shù)據(jù)塊的第二數(shù)據(jù)傳遞路徑、第二數(shù)據(jù)大小以及所述當(dāng)前計算節(jié)點所具有的節(jié)點帶寬資源，從所述當(dāng)前計算節(jié)點中匹配所述任務(wù)執(zhí)行節(jié)點。

28、在本公開的一種示例性實施例中，基于所述任務(wù)執(zhí)行節(jié)點執(zhí)行所述任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果，包括：

29、基于預(yù)設(shè)的數(shù)據(jù)傳輸方式將所述任務(wù)計算上下文傳輸至所述任務(wù)執(zhí)行節(jié)點；其中，所述預(yù)設(shè)的數(shù)據(jù)傳輸方式包括多通道并行傳輸；

30、在檢測到所述任務(wù)計算上下文傳輸完成后，基于所述任務(wù)執(zhí)行節(jié)點執(zhí)行所述任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果。

31、在本公開的一種示例性實施例中，對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行同步以及合并，得到參數(shù)更新結(jié)果，包括：

32、根據(jù)所述任務(wù)執(zhí)行節(jié)點之間的節(jié)點距離，從所述任務(wù)執(zhí)行節(jié)點中確定目標(biāo)節(jié)點；

33、基于所述任務(wù)執(zhí)行節(jié)點中除開所述目標(biāo)節(jié)點以外的其他節(jié)點將所述當(dāng)前任務(wù)執(zhí)行結(jié)果傳遞至所述目標(biāo)節(jié)點；

34、基于所述目標(biāo)節(jié)點對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行合并，得到所述參數(shù)更新結(jié)果。

35、在本公開的一種示例性實施例中，將所述當(dāng)前任務(wù)執(zhí)行結(jié)果傳遞至所述目標(biāo)節(jié)點，包括：

36、根據(jù)所述當(dāng)前任務(wù)執(zhí)行結(jié)果的數(shù)據(jù)類型，確定與所述當(dāng)前任務(wù)執(zhí)行結(jié)果對應(yīng)的數(shù)據(jù)壓縮算法；

37、基于所述數(shù)據(jù)壓縮算法對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行數(shù)據(jù)壓縮，并將壓縮后的當(dāng)前任務(wù)執(zhí)行結(jié)果傳遞至所述目標(biāo)節(jié)點。

38、根據(jù)本公開的一個方面，提供一種網(wǎng)絡(luò)模型的訓(xùn)練裝置，包括：

39、模型結(jié)構(gòu)分析模塊，用于對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)進(jìn)行分析，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中所包括的模型層級結(jié)構(gòu)；

40、任務(wù)計算上下文劃分模塊，用于根據(jù)所述模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征，對與該模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文；

41、任務(wù)計算上下文執(zhí)行模塊，用于為所述任務(wù)計算上下文分配任務(wù)執(zhí)行節(jié)點，并基于所述任務(wù)執(zhí)行節(jié)點執(zhí)行所述任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果；

42、模型參數(shù)更新模塊，用于對所述當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行同步以及合并，得到參數(shù)更新結(jié)果，并基于所述參數(shù)更新結(jié)果對所述待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新。

43、根據(jù)本公開的一個方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述任意一項所述的網(wǎng)絡(luò)模型的訓(xùn)練方法。

44、根據(jù)本公開的一個方面，提供一種電子設(shè)備，包括：

45、處理器；以及

46、存儲器，用于存儲所述處理器的可執(zhí)行指令；

47、其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令來執(zhí)行上述任意一項所述的網(wǎng)絡(luò)模型的訓(xùn)練方法。

48、本公開實施例提供的一種網(wǎng)絡(luò)模型的訓(xùn)練方法，一方面，通過對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)進(jìn)行分析，得到待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型中所包括的模型層級結(jié)構(gòu)；然后根據(jù)模型層級結(jié)構(gòu)的當(dāng)前計算任務(wù)特征，對與該模型層級結(jié)構(gòu)對應(yīng)的當(dāng)前子層級計算任務(wù)進(jìn)行劃分，得到任務(wù)計算上下文；進(jìn)而為任務(wù)計算上下文分配任務(wù)執(zhí)行節(jié)點，并基于任務(wù)執(zhí)行節(jié)點執(zhí)行任務(wù)計算上下文，得到當(dāng)前任務(wù)執(zhí)行結(jié)果；最后對當(dāng)前任務(wù)執(zhí)行結(jié)果進(jìn)行同步以及合并，得到參數(shù)更新結(jié)果，并基于參數(shù)更新結(jié)果對待訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行參數(shù)更新，由于可以將模型訓(xùn)練任務(wù)劃分為多個任務(wù)計算上下文，進(jìn)而基于多個任務(wù)執(zhí)行節(jié)點分別各任務(wù)計算上下文，進(jìn)而提高了任務(wù)執(zhí)行節(jié)點的分布式計算資源的利用率；另一方面，由于可以基于多個任務(wù)執(zhí)行節(jié)點分別各任務(wù)計算上下文，進(jìn)而提高了模型的整體訓(xùn)練效率。

49、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。