本技術(shù)涉及人工智能領(lǐng)域，尤其涉及一種模型訓(xùn)練方法、裝置、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)：

1、隨著大模型在自然語言處理、計算機視覺、推薦系統(tǒng)等方面的良好的表現(xiàn)，大模型的研究已經(jīng)成為備受關(guān)注的方向。

2、大模型的訓(xùn)練過程通常需要高性能的算力資源的支持。在實際應(yīng)用過程中，通常大模型的訓(xùn)練所需的數(shù)據(jù)分布在邊緣側(cè)設(shè)備，但邊緣側(cè)設(shè)備能夠提供的算力資源有限，無法支持大模型的訓(xùn)練。在一些情況下，企業(yè)也會將數(shù)據(jù)傳輸至云端服務(wù)器，在云端服務(wù)器處完成大模型的訓(xùn)練，由于需要將數(shù)據(jù)傳輸至云端服務(wù)器，這一過程會產(chǎn)生數(shù)據(jù)泄露的風(fēng)險。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種模型訓(xùn)練方法、裝置、系統(tǒng)及存儲介質(zhì)，能夠充分利用云端服務(wù)器的算力資源和邊緣側(cè)設(shè)備的算力資源，無需將數(shù)據(jù)上傳至云端服務(wù)器，避免出現(xiàn)數(shù)據(jù)泄露。

2、為達到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，本技術(shù)提供一種模型訓(xùn)練方法，應(yīng)用于邊緣側(cè)設(shè)備，該方法包括：

4、獲取第一模型對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的模型處理結(jié)果；第一模型基于云端服務(wù)器訓(xùn)練得到；基于業(yè)務(wù)數(shù)據(jù)樣本、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始模型進行迭代訓(xùn)練得到第二模型，第二模型用于處理邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)。

5、結(jié)合上述第一方面，在一種可能的實現(xiàn)方式中，基于業(yè)務(wù)數(shù)據(jù)樣本、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始模型進行迭代訓(xùn)練得到第二模型，包括：

6、在任一次迭代中，將業(yè)務(wù)數(shù)據(jù)樣本輸入上一次迭代得到的模型中，得到本次迭代的模型訓(xùn)練結(jié)果；基于模型訓(xùn)練結(jié)果、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，確定第一梯度值；基于第一梯度值對模型的模型參數(shù)進行更新；響應(yīng)于迭代訓(xùn)練結(jié)束，將迭代訓(xùn)練得到的模型獲取為第二模型。

7、結(jié)合上述第一方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；獲取第一模型對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的模型處理結(jié)果，包括：

8、基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理，得到第一處理結(jié)果，將第一處理結(jié)果發(fā)送至云端服務(wù)器；接收云端服務(wù)器的第二子模型對第一處理結(jié)果進行處理得到的模型處理結(jié)果。

9、結(jié)合上述第一方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型與第二子模型均部署在邊緣側(cè)設(shè)備；獲取第一模型對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的模型處理結(jié)果，包括：

10、基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理，得到第一處理結(jié)果；基于第二子模型對第一處理結(jié)果進行處理，得到模型處理結(jié)果。

11、結(jié)合上述第一方面，在一種可能的實現(xiàn)方式中，第二子模型由邊緣側(cè)設(shè)備與云端服務(wù)器，基于業(yè)務(wù)數(shù)據(jù)樣本以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽進行迭代訓(xùn)練得到；該方法還包括：

12、在任一次迭代中，接收來自云端服務(wù)器的模型訓(xùn)練結(jié)果；基于本次迭代的模型訓(xùn)練結(jié)果與業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，確定第二梯度值；將第二梯度值發(fā)送至云端服務(wù)器，第二梯度值用于更新上一次迭代得到的模型的模型參數(shù)。

13、結(jié)合上述第一方面，在一種可能的實現(xiàn)方式中，第二模型的參數(shù)數(shù)量級小于第一模型的參數(shù)數(shù)量級。

14、基于上述技術(shù)方案，本技術(shù)提供的模型訓(xùn)練方法，通過借助云端服務(wù)器的高性能的算力資源，迭代訓(xùn)練得到的第一模型的訓(xùn)練效果好，基于第一模型處理后得到的模型處理結(jié)果能夠更好地表征業(yè)務(wù)數(shù)據(jù)樣本的特征，邊緣側(cè)設(shè)備通過獲取模型處理結(jié)果，能夠為第二模型的訓(xùn)練過程增加數(shù)據(jù)參考量，提升模型學(xué)習(xí)能力，避免模型訓(xùn)練過程中出現(xiàn)過擬合的現(xiàn)象，通過在邊緣側(cè)設(shè)備訓(xùn)練第二模型，能夠充分利用邊緣側(cè)設(shè)備的算力資源，實現(xiàn)了云端服務(wù)器的算力資源和邊緣側(cè)設(shè)備的算力資源的充分利用；基于業(yè)務(wù)數(shù)據(jù)樣本、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽訓(xùn)練得到的第二模型，能夠適配不同邊緣側(cè)設(shè)備在數(shù)據(jù)上的差異性，從而提高模型的準(zhǔn)確性。通過該模型訓(xùn)練方法，無需將業(yè)務(wù)數(shù)據(jù)樣本上傳至云端服務(wù)器，能夠在模型訓(xùn)練過程中保障數(shù)據(jù)安全性，避免數(shù)據(jù)泄露。

15、第二方面，本技術(shù)提供一種模型訓(xùn)練方法，應(yīng)用于云端服務(wù)器，該方法包括：

16、基于云端服務(wù)器訓(xùn)練得到第一模型，第一模型用于對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理后，得到模型處理結(jié)果；模型處理結(jié)果用于對初始模型進行迭代訓(xùn)練，得到第二模型，第二模型用于處理邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)。

17、結(jié)合上述第二方面，在一種可能的實現(xiàn)方式中，基于云端服務(wù)器訓(xùn)練得到第一模型之后，該方法包括：將模型處理結(jié)果發(fā)送至邊緣側(cè)設(shè)備。

18、結(jié)合上述第二方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；基于云端服務(wù)器訓(xùn)練得到第一模型之后，該方法包括：

19、將第二子模型發(fā)送至邊緣側(cè)設(shè)備，第二子模型用于對第一處理結(jié)果進行處理，得到模型處理結(jié)果，第一處理結(jié)果為邊緣側(cè)設(shè)備基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的。

20、結(jié)合上述第二方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；第二子模型的訓(xùn)練過程，包括：

21、接收邊緣側(cè)設(shè)備基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的第一處理結(jié)果；基于第一處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始子模型進行迭代訓(xùn)練；其中，在任一次迭代中，將第一處理結(jié)果輸入上一次迭代得到的模型中，得到本次迭代的模型訓(xùn)練結(jié)果，將模型訓(xùn)練結(jié)果發(fā)送至多個邊緣側(cè)設(shè)備；接收多個邊緣側(cè)設(shè)備基于模型訓(xùn)練結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽所確定的多個第二梯度值；基于多個第二梯度值對模型的模型參數(shù)進行更新；響應(yīng)于迭代訓(xùn)練結(jié)束，將迭代訓(xùn)練得到的模型獲取為第二子模型。

22、結(jié)合上述第二方面，在一種可能的實現(xiàn)方式中，基于多個第二梯度值對模型的模型參數(shù)進行更新，包括：

23、對多個第二梯度值進行聚合處理，得到聚合處理后的第二梯度值；基于聚合處理后的第二梯度值，對模型的模型參數(shù)進行更新。

24、基于上述技術(shù)方案，本技術(shù)提供的模型訓(xùn)練方法，通過借助云端服務(wù)器的高性能的算力資源，迭代訓(xùn)練得到的第一模型訓(xùn)練效果好，能夠提高模型的準(zhǔn)確性，基于第一模型處理后得到的模型處理結(jié)果能夠更好地表征業(yè)務(wù)數(shù)據(jù)樣本的特征，能夠為后續(xù)在邊緣側(cè)設(shè)備訓(xùn)練第二模型的過程中增加數(shù)據(jù)參考量，進而能夠提升模型的準(zhǔn)確性，實現(xiàn)云端服務(wù)器的算力資源和邊緣側(cè)設(shè)備的算力資源的充分利用。

25、第三方面，本技術(shù)提供一種模型訓(xùn)練裝置，該裝置位于邊緣側(cè)設(shè)備，該裝置包括：

26、獲取單元，用于獲取第一模型對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的模型處理結(jié)果；第一模型基于云端服務(wù)器訓(xùn)練得到；

27、第一訓(xùn)練單元，用于基于業(yè)務(wù)數(shù)據(jù)樣本、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始模型進行迭代訓(xùn)練得到第二模型，第二模型用于處理邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)。

28、結(jié)合上述第三方面，在一種可能的實現(xiàn)方式中，第一訓(xùn)練單元用于：

29、在任一次迭代中，將業(yè)務(wù)數(shù)據(jù)樣本輸入上一次迭代得到的模型中，得到本次迭代的模型訓(xùn)練結(jié)果；基于模型訓(xùn)練結(jié)果、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，確定第一梯度值；基于第一梯度值對模型的模型參數(shù)進行更新；響應(yīng)于迭代訓(xùn)練結(jié)束，將迭代訓(xùn)練得到的模型獲取為第二模型。

30、結(jié)合上述第三方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；獲取單元用于：

31、基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理，得到第一處理結(jié)果，將第一處理結(jié)果發(fā)送至云端服務(wù)器；接收云端服務(wù)器的第二子模型對第一處理結(jié)果進行處理得到的模型處理結(jié)果。

32、結(jié)合上述第三方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型與第二子模型均部署在邊緣側(cè)設(shè)備；獲取單元用于：

33、基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理，得到第一處理結(jié)果；基于第二子模型對第一處理結(jié)果進行處理，得到模型處理結(jié)果。

34、結(jié)合上述第三方面，在一種可能的實現(xiàn)方式中，第二子模型由邊緣側(cè)設(shè)備與云端服務(wù)器，基于業(yè)務(wù)數(shù)據(jù)樣本以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽進行迭代訓(xùn)練得到；該裝置還包括：

35、接收單元，用于在任一次迭代中，接收來自云端服務(wù)器的模型訓(xùn)練結(jié)果；確定單元，用于基于本次迭代的模型訓(xùn)練結(jié)果與業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，確定第二梯度值；第一發(fā)送單元，用于將第二梯度值發(fā)送至云端服務(wù)器，第二梯度值用于更新上一次迭代得到的模型的模型參數(shù)。

36、結(jié)合上述第三方面，在一種可能的實現(xiàn)方式中，第二模型的參數(shù)數(shù)量級小于第一模型的參數(shù)數(shù)量級。

37、第四方面，本技術(shù)提供一種模型訓(xùn)練裝置，該裝置位于云端服務(wù)器，該裝置包括：

38、第二訓(xùn)練單元，用于基于云端服務(wù)器訓(xùn)練得到第一模型，第一模型用于對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理后得到模型處理結(jié)果；模型處理結(jié)果用于對初始模型進行迭代訓(xùn)練，得到第二模型，第二模型用于處理邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)。

39、結(jié)合上述第四方面，在一種可能的實現(xiàn)方式中，該裝置還包括：第二發(fā)送單元，用于將模型處理結(jié)果發(fā)送至邊緣側(cè)設(shè)備。

40、結(jié)合上述第四方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；該裝置還包括：

41、處理單元，用于將第二子模型發(fā)送至邊緣側(cè)設(shè)備，第二子模型用于對第一處理結(jié)果進行處理，得到模型處理結(jié)果，第一處理結(jié)果為邊緣側(cè)設(shè)備基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的。

42、結(jié)合上述第四方面，在一種可能的實現(xiàn)方式中，第一模型包括第一子模型與第二子模型，第一子模型部署在邊緣側(cè)設(shè)備；第二子模型部署在云端服務(wù)器；第二訓(xùn)練單元用于：

43、接收邊緣側(cè)設(shè)備基于第一子模型對業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的第一處理結(jié)果；基于第一處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始子模型進行迭代訓(xùn)練；其中，在任一次迭代中，將第一處理結(jié)果輸入上一次迭代得到的模型中，得到本次迭代的模型訓(xùn)練結(jié)果，將模型訓(xùn)練結(jié)果發(fā)送至多個邊緣側(cè)設(shè)備；接收多個邊緣側(cè)設(shè)備基于模型訓(xùn)練結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽所確定的多個第二梯度值；基于多個第二梯度值對模型的模型參數(shù)進行更新；響應(yīng)于迭代訓(xùn)練結(jié)束，將迭代訓(xùn)練得到的模型獲取為第二子模型。

44、結(jié)合上述第四方面，在一種可能的實現(xiàn)方式中，第二訓(xùn)練單元用于：

45、對多個第二梯度值進行聚合處理，得到聚合處理后的第二梯度值；基于聚合處理后的第二梯度值，對模型的模型參數(shù)進行更新。

46、第五方面，本技術(shù)提供了一種模型訓(xùn)練裝置，包括：處理器和通信接口；通信接口和處理器耦合，處理器用于運行計算機程序或指令，以實現(xiàn)如第一方面及第一方面的任一種可能的實現(xiàn)方式中任一項所述的模型訓(xùn)練方法，或第二方面及第二方面的任一種可能的實現(xiàn)方式中任一項所述的模型訓(xùn)練方法。

47、第六方面，本技術(shù)提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)中存儲有指令，當(dāng)指令在邊緣側(cè)設(shè)備上運行時，使得邊緣側(cè)設(shè)備執(zhí)行如第一方面和第一方面的任一種可能的實現(xiàn)方式中描述的模型訓(xùn)練方法，或當(dāng)指令在云端服務(wù)器上運行時，使得云端服務(wù)器執(zhí)行如第二方面和第二方面的任一種可能的實現(xiàn)方式中描述的模型訓(xùn)練方法。

48、第七方面，本技術(shù)提供一種包含指令的計算機程序產(chǎn)品，當(dāng)計算機程序產(chǎn)品在邊緣側(cè)設(shè)備上運行時，使得邊緣側(cè)設(shè)備執(zhí)行如第一方面和第一方面的任一種可能的實現(xiàn)方式中所描述的模型訓(xùn)練方法，或當(dāng)計算機程序產(chǎn)品在云端服務(wù)器上運行時，使得云端服務(wù)器執(zhí)行如第二方面和第二方面的任一種可能的實現(xiàn)方式中所描述的模型訓(xùn)練方法。

49、第八方面，本技術(shù)提供一種芯片，芯片包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行計算機程序或指令，以實現(xiàn)如第一方面和第一方面的任一種可能的實現(xiàn)方式中所描述的模型訓(xùn)練方法，或?qū)崿F(xiàn)如第二方面和第二方面的任一種可能的實現(xiàn)方式中所描述的模型訓(xùn)練方法。

50、具體的，本技術(shù)中提供的芯片還包括存儲器，用于存儲計算機程序或指令。

51、需要說明的是，上述計算機指令可以全部或者部分存儲在計算機可讀存儲介質(zhì)上。其中，計算機可讀存儲介質(zhì)可以與裝置的處理器封裝在一起的，也可以與裝置的處理器單獨封裝，本技術(shù)對此不作限定。

52、第九方面，本技術(shù)提供一種模型訓(xùn)練系統(tǒng)，包括：邊緣側(cè)設(shè)備和云端服務(wù)器，其中云端服務(wù)器用于基于云端服務(wù)器訓(xùn)練得到第一模型，第一模型用于對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理后得到模型處理結(jié)果；邊緣側(cè)設(shè)備用于獲取第一模型對邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)樣本進行處理得到的模型處理結(jié)果；基于業(yè)務(wù)數(shù)據(jù)樣本、模型處理結(jié)果以及業(yè)務(wù)數(shù)據(jù)樣本的標(biāo)簽，對初始模型進行迭代訓(xùn)練得到第二模型，第二模型用于處理邊緣側(cè)設(shè)備的業(yè)務(wù)數(shù)據(jù)。

53、本技術(shù)中第三方面至第九方面的描述，可以參考第一方面的詳細(xì)描述，或參考第二方面的詳細(xì)描述；并且，第三方面至第九方面的描述的有益效果，可以參考第一方面的有益效果分析，或參考第二方面的有益效果分析，此處不再贅述。

54、在本技術(shù)中，上述模型訓(xùn)練裝置的名字對設(shè)備或功能模塊本身不構(gòu)成限定，在實際實現(xiàn)中，這些設(shè)備或功能模塊可以以其他名稱出現(xiàn)。只要各個設(shè)備或功能模塊的功能和本技術(shù)類似，屬于本技術(shù)權(quán)利要求及其等同技術(shù)的范圍之內(nèi)。

55、本技術(shù)的這些方面或其他方面在以下的描述中會更加簡明易懂。