本發(fā)明屬于無線通信領域，涉及一種基于莫羅包絡的群體個性化聯(lián)邦學習方法。

背景技術：

1、聯(lián)邦學習(fl)是一種新興的分布式機器學習范式，因其能夠在保護用戶數(shù)據(jù)隱私的情況下為所有參與的用戶設備訓練出一個合適的全局模型，現(xiàn)在已備受工業(yè)界和學術界的廣泛關注。然而，傳統(tǒng)的fl面臨著諸多挑戰(zhàn)，例如在面臨大量異構的設備數(shù)據(jù)時，fl性能會大打折扣，尤其是將fl應用于移動網(wǎng)絡邊緣時，這樣的問題會更加突出，導致最終訓練得到的全局模型并不能夠很好地推廣到每個用戶設備。

2、數(shù)據(jù)異構性源于用戶設備的屬性、偏好和數(shù)據(jù)采集模式等的不同，為了應對數(shù)據(jù)異構性帶給聯(lián)邦學習的挑戰(zhàn)，個性化聯(lián)邦學習(pfl)被提出，其核心在于為每個參與的用戶設備制定一套個性化方案，與傳統(tǒng)fl相比，pfl更加關注不同用戶設備之間的數(shù)據(jù)差異性，從而盡可能地提升模型性能。目前已經(jīng)有多種pfl能夠有效應對數(shù)據(jù)異構性的挑戰(zhàn)，但是其大多數(shù)設計方案只停留在個體層面。已被提出的群體個性化聯(lián)邦學習(gpfl)方法，例如注意力消息傳遞機制的同步群體個性化聯(lián)邦學習(amp-gpfl)，對用戶設備算力的需求較低，適用范圍比較局限。

技術實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種基于莫羅包絡的群體個性化聯(lián)邦學習方法。

2、為達到上述目的，本發(fā)明提供如下技術方案：

3、一種基于莫羅包絡的群體個性化聯(lián)邦學習方法，該方法包括以下步驟：

4、s1：建立一個由若干個用戶節(jié)點、若干個子服務器和一個邊緣服務器構成的邊緣網(wǎng)絡系統(tǒng)，其中，一個子服務器與其相連接的用戶節(jié)點構成一個邊緣群組；

5、s2：建立一個相互解耦的雙層并行優(yōu)化的個性化聯(lián)邦學習模型，包括基于莫羅包絡改進的邊緣群組間的優(yōu)化問題，以及一個邊緣群組內的fl優(yōu)化問題；

6、s3：用戶群組與關聯(lián)的子服務器協(xié)作訓練更新個性化模型，緊接著通過獲得的個性化模型更新對應的個性化群組模型；

7、s4：邊緣服務器收集來自子服務器的個性化群組模型，并以聚合的方式更新全局模型，然后返回到對應的子服務器；

8、s5：重復進行s3和s4，經(jīng)過若干次迭代后，將會達到收斂條件。

9、進一步，所述s1具體包括以下內容：

10、建立一個由n個用戶節(jié)點、m個子服務器和一個邊緣服務器構成的邊緣網(wǎng)絡系統(tǒng)；其中，用表示子服務器的集合，表示用戶節(jié)點的集合；子服務器與邊緣服務器通過有線回傳鏈路連接，每個子服務器服務于一組互不影響干涉的用戶節(jié)點；每個子服務器與其服務的這一組用戶節(jié)點構成一個邊緣群組m，其中子服務器與用戶節(jié)點之間通過無線信道進行通信，通信過程之中用戶設備會因電量不足、網(wǎng)絡連接不穩(wěn)定與子服務器失去連接，用戶設備并不總是可參與模型訓練的；使用一個二元隨機變量xm,n∈{0,1}表示群組m中用戶設備n的可用性狀態(tài)，xm,n＝1表示用戶設備n可以參與模型訓練，xm,n＝0表示用戶設備n不可以參與模型訓練；定義群組m中設備可參與模型訓練的概率為群組m中的用戶設備所使用的數(shù)據(jù)集表示為從而群組m的總數(shù)據(jù)集表示為并且群組m中每個用戶設備的數(shù)據(jù)集之間的分布是非獨立同分布non-iid的。

11、進一步，所述s2具體包括以下步驟：

12、建立用于邊緣群組間的fl優(yōu)化問題p1：

13、p1：

14、其中，w定義為全局模型，w*表示優(yōu)化問題p1的最優(yōu)解；fm(w)與莫羅包絡相關，定義為如下優(yōu)化問題p2：

15、p2：

16、其中，um定義為群組m的個性化模型；λ是一個正則化參數(shù)，用于控制um與w之間的差異；fm(um)表示群組m中所有用戶的訓練損失的總和，其中fn(um)表示個性化模型um在用戶設備的本地數(shù)據(jù)集上的損失函數(shù)；在p1和p2代表的雙層并行優(yōu)化過程中，問題p1為求解全局模型w的外層優(yōu)化問題，問題p2為求解個性化模型um的內層優(yōu)化問題，這兩個優(yōu)化問題是相互解耦的；定義個性化模型um的最優(yōu)解為問題p1的局部最優(yōu)解為其中進一步，局部最優(yōu)解通過下式計算得到：

17、

18、上述求解局部最優(yōu)解的計算過程采用梯度下降的方式，其中α為梯度下降步長。

19、進一步，所述s3具體包括以下步驟：

20、s31：子服務器發(fā)送最新的群組模型給對應的所有用戶節(jié)點，內容如下：

21、使用表示全局迭代索引，其中為t次全局迭代的索引集合；使用e∈e表示群組迭代的索引，其中為e次群組迭代的索引集合；群組m在第t次全局迭代的第e次群組迭代后的群組模型表示為

22、在每次全局迭代開始群組迭代之前，將群組模型初始化為wt-1；

23、子服務器m將最新的群組模型廣播給群組m內所有可參與訓練的用戶節(jié)點；

24、s32：用戶群組與關聯(lián)的子服務器協(xié)作訓練個性化模型，內容如下：

25、群組m中的用戶設備n通過執(zhí)行k步隨機梯度下降來計算本地用戶模型(用戶設備n基于本地數(shù)據(jù)集通過下式更新得到的模型)

26、

27、其中，ηt表示步長，fn(·)表示用戶設備的損失函數(shù)；

28、s33：子服務器聚合可用設備上傳的模型，更新得到的個性化模型并更新群組模型，內容如下：

29、1)子服務器m通過聚合群組m中所有可參與訓練用戶設備的模型來生成個性化模型：

30、

31、2)根據(jù)上述局部最優(yōu)解的計算過程，第e次群組迭代中群組模型的更新過程如下：

32、

33、3)經(jīng)過e次群組迭代之后，完成群組模型更新任務，得到個性化模型和群組模型

34、進一步，所述s4具體包括以下步驟：

35、s41：邊緣服務器收集群組模型，內容如下：

36、在模型第t次迭代時，邊緣服務器從所有子服務器獲取群組模型

37、s42：邊緣服務器聚合收集到的群組模型并更新全局模型，內容如下：

38、邊緣服務器通過下式聚合群組模型并更新全局模型：

39、

40、其中，常數(shù)β＞0用于控制群組模型聚合對全局模型wt的影響程度。

41、進一步，所述s5具體包括以下步驟：

42、重復進行s3和s4，每進行一次全局迭代，全局迭代索引t會更新為t+1，直到達到指定的全局迭代次數(shù)t，停止迭代，得到問題p1的解wt和問題p2的解

43、本發(fā)明的有益效果在于：

44、(1)本發(fā)明打破固有只面向個體的個性化聯(lián)邦學習方法的局面，提出一種基于莫羅包絡的群體個性化聯(lián)邦學習方法，將連接到同一邊緣子服務器的用戶設備節(jié)點組成一個群組，群組間通過雙層并行優(yōu)化機制訓練個性化群組模型，其中包括基于莫羅包絡的內層優(yōu)化問題和一個基于聯(lián)邦平均機制的優(yōu)化問題；群組內通過聯(lián)邦平均機制訓練群組模型；

45、(2)本發(fā)明通過群組間雙層并行優(yōu)化機制，促進邊緣子服務器與其連接的用戶設備節(jié)點協(xié)作訓練個性化群組模型，提高了模型的泛化能力，同時，面對算力更高的用戶設備，本發(fā)明最終的模型收斂效果更好；

46、(3)本發(fā)明通過群組內聯(lián)邦平均機制訓練群組模型，能夠減少設備可用性的變化對訓練造成的影響。

47、本發(fā)明的其他優(yōu)點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本發(fā)明的實踐中得到教導。本發(fā)明的目標和其他優(yōu)點可以通過下面的說明書來實現(xiàn)和獲得。