本發(fā)明涉及聯(lián)邦學(xué)習(xí)，特別地，涉及一種適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練方法及系統(tǒng)、電子設(shè)備、計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、隨著新能源技術(shù)的快速發(fā)展，越來(lái)越多的分布式新能源場(chǎng)站和終端設(shè)備被廣泛部署，這些終端設(shè)備產(chǎn)生的數(shù)據(jù)包含了大量的敏感信息，例如包括能源生產(chǎn)、消耗情況以及相關(guān)的環(huán)境參數(shù)等。然而，隨著數(shù)據(jù)的增加和共享需求的提高，隱私保護(hù)成為了一個(gè)重要的挑戰(zhàn)。傳統(tǒng)的集中式數(shù)據(jù)訓(xùn)練模型可能會(huì)涉及數(shù)據(jù)集中存儲(chǔ)和處理，從而存在隱私泄露和數(shù)據(jù)安全的風(fēng)險(xiǎn)，為了解決這些問(wèn)題，最近的研究趨勢(shì)是將聯(lián)邦學(xué)習(xí)技術(shù)引入新能源領(lǐng)域。聯(lián)邦學(xué)習(xí)是一種分布式機(jī)器學(xué)習(xí)方法，其允許在終端設(shè)備上進(jìn)行本地模型訓(xùn)練，而無(wú)需將原始數(shù)據(jù)傳輸?shù)街醒敕?wù)器進(jìn)行模型訓(xùn)練，終端設(shè)備在每輪訓(xùn)練后只需將其本地模型參數(shù)傳輸給中央服務(wù)器進(jìn)行模型聚合，以對(duì)全局模型進(jìn)行優(yōu)化更新，這種分布式的學(xué)習(xí)方法可以保護(hù)用戶(hù)數(shù)據(jù)的隱私，并減少數(shù)據(jù)傳輸?shù)男枨?。但是，由于分布式新能源?chǎng)站的數(shù)量較多，所有的分布式新能源場(chǎng)站均需將自身的本地模型參數(shù)傳輸給中央服務(wù)器，通信成本較大，還會(huì)導(dǎo)致模型聚合過(guò)程較為復(fù)雜，模型的訓(xùn)練速度較慢。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練方法及系統(tǒng)、電子設(shè)備、計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，可以有效地避免了因發(fā)送高度相似的局部模型權(quán)重參數(shù)而造成的通信成本浪費(fèi)，減少了模型聚合所需處理的數(shù)據(jù)量，簡(jiǎn)化了模型聚合過(guò)程，提高了訓(xùn)練速度。

2、根據(jù)本發(fā)明的一個(gè)方面，提供一種適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練方法，包括以下內(nèi)容：

3、對(duì)服務(wù)器的全局模型進(jìn)行初始化，并將其分發(fā)給所有的新能源場(chǎng)站，以作為每個(gè)新能源場(chǎng)站的局部模型進(jìn)行訓(xùn)練，每個(gè)新能源場(chǎng)站基于局部模型、服務(wù)器基于全局模型進(jìn)行第一輪聯(lián)邦訓(xùn)練；

4、在第二輪及后續(xù)輪次的聯(lián)邦訓(xùn)練過(guò)程中，判斷每個(gè)新能源場(chǎng)站的局部模型在當(dāng)前輪次的模型性能相比于上一輪次是否有提升，若有提升則將該新能源場(chǎng)站作為本輪模型聚合操作的參與者，否則該新能源場(chǎng)站在本輪輪空；

5、進(jìn)行多輪聯(lián)邦訓(xùn)練，直至全局模型的全局優(yōu)化損失函數(shù)收斂，則訓(xùn)練結(jié)束。

6、進(jìn)一步地，在第二輪及后續(xù)輪次的聯(lián)邦訓(xùn)練過(guò)程中，每輪聯(lián)邦訓(xùn)練過(guò)程包括以下內(nèi)容：

7、基于每個(gè)參與者的分布差異聚合和權(quán)重參數(shù)相似度聚合計(jì)算其聚合貢獻(xiàn)度，并將每個(gè)參與者的聚合貢獻(xiàn)度和局部模型權(quán)重參數(shù)發(fā)送給服務(wù)器；

8、基于所有參與者的聚合貢獻(xiàn)度和局部模型權(quán)重參數(shù)計(jì)算得到全局模型權(quán)重參數(shù)，以對(duì)服務(wù)器的全局模型進(jìn)行優(yōu)化更新，并將服務(wù)器的全局模型權(quán)重參數(shù)和所有參與者的局部模型權(quán)重參數(shù)分發(fā)給所有的新能源場(chǎng)站；

9、每個(gè)新能源場(chǎng)站基于全局模型權(quán)重參數(shù)和所有參與者的局部模型權(quán)重參數(shù)進(jìn)行自身局部模型的更新和訓(xùn)練。

10、進(jìn)一步地，基于下式計(jì)算每個(gè)參與者的分布差異聚合：

11、dj＝kl(dj,dglobal)

12、

13、其中，dj表示第j個(gè)參與者的本地?cái)?shù)據(jù)分布與服務(wù)器的數(shù)據(jù)分布之間的差異情況，dj表示第j個(gè)參與者的本地?cái)?shù)據(jù)分布，dglobal表示服務(wù)器的數(shù)據(jù)分布，其為均勻分布，kl()表示kl散度計(jì)算函數(shù)，nj表示第j個(gè)參與者的數(shù)據(jù)集相對(duì)大小，nj表示第j個(gè)參與者的數(shù)據(jù)集大小，c表示參與者的數(shù)量，ni表示第i個(gè)參與者的數(shù)據(jù)集大小，qj表示第j個(gè)參與者的分布差異聚合，max()表示取最大值函數(shù)，di表示第i個(gè)參與者的本地?cái)?shù)據(jù)分布與服務(wù)器的數(shù)據(jù)分布之間的差異情況，a表示超參數(shù)。

14、進(jìn)一步地，基于下式計(jì)算每個(gè)參與者的權(quán)重參數(shù)相似度聚合：

15、

16、其中，表示第j個(gè)參與者在第t輪的權(quán)重參數(shù)相似度聚合，β表示超參數(shù)，cosine()表示余弦相似度計(jì)算函數(shù)，和分別表示第j個(gè)參與者在第t-1輪和第t輪的局部模型權(quán)重參數(shù)，和分別表示第k個(gè)參與者在第t-1輪和第t輪的局部模型權(quán)重參數(shù)，ct表示第t輪的參與者數(shù)量。

17、進(jìn)一步地，所述每個(gè)新能源場(chǎng)站基于全局模型權(quán)重參數(shù)和所有參與者的局部模型權(quán)重參數(shù)進(jìn)行自身局部模型的更新和訓(xùn)練的過(guò)程包括以下內(nèi)容：

18、每個(gè)新能源場(chǎng)站計(jì)算自身的局部模型權(quán)重參數(shù)與所有參與者的局部模型權(quán)重參數(shù)之間的相似度，選擇相似度最大的局部模型權(quán)重參數(shù)，并將其與全局模型權(quán)重參數(shù)進(jìn)行加權(quán)求和后進(jìn)行自身局部模型的更新和訓(xùn)練。

19、進(jìn)一步地，基于下式計(jì)算全局模型的全局優(yōu)化損失函數(shù)值：

20、

21、其中，loss表示全局優(yōu)化損失函數(shù)值，m表示新能源場(chǎng)站的數(shù)量，qi表示第i個(gè)新能源場(chǎng)站的分布差異聚合，li表示第i個(gè)新能源場(chǎng)站的損失函數(shù)值。

22、進(jìn)一步地，當(dāng)某個(gè)新能源場(chǎng)站的輪空次數(shù)大于預(yù)設(shè)閾值，則將該新能源場(chǎng)站作為下一輪聯(lián)邦訓(xùn)練過(guò)程中模型聚合操作的參與者。

23、另外，本發(fā)明還提供一種適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練系統(tǒng)，包括：

24、初始化模塊，用于對(duì)服務(wù)器的全局模型進(jìn)行初始化，并將其分發(fā)給所有的新能源場(chǎng)站，以作為每個(gè)新能源場(chǎng)站的局部模型進(jìn)行訓(xùn)練，每個(gè)新能源場(chǎng)站基于局部模型、服務(wù)器基于全局模型進(jìn)行第一輪聯(lián)邦訓(xùn)練；

25、篩選模塊，用于在第二輪及后續(xù)輪次的聯(lián)邦訓(xùn)練過(guò)程中，判斷每個(gè)新能源場(chǎng)站的局部模型在當(dāng)前輪次的模型性能相比于上一輪次是否有提升，若有提升則將該新能源場(chǎng)站作為本輪模型聚合操作的參與者，否則該新能源場(chǎng)站在本輪輪空；

26、迭代訓(xùn)練模塊，用于進(jìn)行多輪聯(lián)邦訓(xùn)練，直至全局模型的全局優(yōu)化損失函數(shù)收斂，則訓(xùn)練結(jié)束。

27、進(jìn)一步地，所述篩選模塊在第二輪及后續(xù)輪次的聯(lián)邦訓(xùn)練過(guò)程中，基于每個(gè)參與者的分布差異聚合和權(quán)重參數(shù)相似度聚合計(jì)算其聚合貢獻(xiàn)度，并將每個(gè)參與者的聚合貢獻(xiàn)度和局部模型權(quán)重參數(shù)發(fā)送給服務(wù)器，并基于所有參與者的聚合貢獻(xiàn)度和局部模型權(quán)重參數(shù)計(jì)算得到全局模型權(quán)重參數(shù)，以對(duì)服務(wù)器的全局模型進(jìn)行優(yōu)化更新，并將服務(wù)器的全局模型權(quán)重參數(shù)和所有參與者的局部模型權(quán)重參數(shù)分發(fā)給所有的新能源場(chǎng)站，每個(gè)新能源場(chǎng)站基于全局模型權(quán)重參數(shù)和所有參與者的局部模型權(quán)重參數(shù)進(jìn)行自身局部模型的更新和訓(xùn)練。

28、進(jìn)一步地，所述篩選模塊基于下式計(jì)算每個(gè)參與者的分布差異聚合：

29、dj＝kl(dj,dglobal)

30、

31、其中，dj表示第j個(gè)參與者的本地?cái)?shù)據(jù)分布與服務(wù)器的數(shù)據(jù)分布之間的差異情況，dj表示第j個(gè)參與者的本地?cái)?shù)據(jù)分布，dglobal表示服務(wù)器的數(shù)據(jù)分布，其為均勻分布，kl()表示kl散度計(jì)算函數(shù)，nj表示第j個(gè)參與者的數(shù)據(jù)集相對(duì)大小，nj表示第j個(gè)參與者的數(shù)據(jù)集大小，c表示參與者的數(shù)量，ni表示第i個(gè)參與者的數(shù)據(jù)集大小，qj表示第j個(gè)參與者的分布差異聚合，max()表示取最大值函數(shù)，di表示第i個(gè)參與者的本地?cái)?shù)據(jù)分布與服務(wù)器的數(shù)據(jù)分布之間的差異情況，a表示超參數(shù)。

32、進(jìn)一步地，所述篩選模塊基于下式計(jì)算每個(gè)參與者的權(quán)重參數(shù)相似度聚合：

33、

34、其中，表示第j個(gè)參與者在第t輪的權(quán)重參數(shù)相似度聚合，β表示超參數(shù)，cosine()表示余弦相似度計(jì)算函數(shù)，和分別表示第j個(gè)參與者在第t-1輪和第t輪的局部模型權(quán)重參數(shù)，和分別表示第k個(gè)參與者在第t-1輪和第t輪的局部模型權(quán)重參數(shù)，ct表示第t輪的參與者數(shù)量。

35、進(jìn)一步地，每個(gè)新能源場(chǎng)站計(jì)算自身的局部模型權(quán)重參數(shù)與所有參與者的局部模型權(quán)重參數(shù)之間的相似度，選擇相似度最大的局部模型權(quán)重參數(shù)，并將其與全局模型權(quán)重參數(shù)進(jìn)行加權(quán)求和后進(jìn)行自身局部模型的更新和訓(xùn)練。

36、進(jìn)一步地，所述迭代訓(xùn)練模塊基于下式計(jì)算全局模型的全局優(yōu)化損失函數(shù)值：

37、

38、其中，loss表示全局優(yōu)化損失函數(shù)值，m表示新能源場(chǎng)站的數(shù)量，qi表示第i個(gè)新能源場(chǎng)站的分布差異聚合，li表示第i個(gè)新能源場(chǎng)站的損失函數(shù)值。

39、進(jìn)一步地，當(dāng)某個(gè)新能源場(chǎng)站的輪空次數(shù)大于預(yù)設(shè)閾值，則將該新能源場(chǎng)站作為下一輪聯(lián)邦訓(xùn)練過(guò)程中模型聚合操作的參與者。

40、另外，本發(fā)明還提供一種電子設(shè)備，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器通過(guò)調(diào)用所述存儲(chǔ)器中存儲(chǔ)的所述計(jì)算機(jī)程序，用于執(zhí)行如上所述的方法的步驟。

41、另外，本發(fā)明還提供一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，用于存儲(chǔ)適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行如上所述的方法的步驟。

42、本發(fā)明具有以下有益效果：

43、本發(fā)明的適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練方法，先對(duì)服務(wù)器的全局模型進(jìn)行初始化，并將其分發(fā)給所有新能源場(chǎng)站，作為每個(gè)新能源場(chǎng)站的局部模型，每個(gè)新能源場(chǎng)站利用自身數(shù)據(jù)對(duì)局部模型進(jìn)行訓(xùn)練，并將訓(xùn)練好的局部模型權(quán)重參數(shù)傳輸給服務(wù)器，以對(duì)全局模型權(quán)重參數(shù)進(jìn)行更新，從而完成第一輪聯(lián)邦訓(xùn)練。然后，在第二輪以及后續(xù)輪次的聯(lián)邦訓(xùn)練過(guò)程中，通過(guò)判斷每個(gè)新能源場(chǎng)站的局部模型在當(dāng)前輪次的模型性能相比于上一輪次是否有提升，若有提升則將該新能源場(chǎng)站作為本輪模型聚合操作的參與者，否則該新能源場(chǎng)站在本輪輪空，通過(guò)篩選具有性能提升的新能源場(chǎng)站參與模型聚合，有效地避免了因發(fā)送高度相似的局部模型權(quán)重參數(shù)而造成的通信成本浪費(fèi)，減少了模型聚合所需處理的數(shù)據(jù)量，簡(jiǎn)化了模型聚合過(guò)程，提高了訓(xùn)練速度。最后，通過(guò)多輪聯(lián)邦訓(xùn)練，直至全局模型的全局優(yōu)化損失函數(shù)收斂，則訓(xùn)練結(jié)束。

44、另外，本發(fā)明的適用于分布式新能源場(chǎng)站的隱私保護(hù)模型訓(xùn)練系統(tǒng)同樣具有上述優(yōu)點(diǎn)。

45、除了上面所描述的目的、特征和優(yōu)點(diǎn)之外，本發(fā)明還有其它的目的、特征和優(yōu)點(diǎn)。下面將參照?qǐng)D，對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。