技術(shù)特征：

1.一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推理方法，其特征在于，應(yīng)用于客戶端，所述客戶端包括本地模型，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述本地模型的損失函數(shù)，基于反向傳播對所述本地模型進行第一更新處理，確定經(jīng)過第一更新處理的本地模型，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)從預(yù)設(shè)的正態(tài)分布中采樣的高斯噪聲對所述經(jīng)過第一更新處理的本地模型進行第二更新處理，確定服從局部后驗分布的本地模型，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)經(jīng)過末次所述第一更新處理、末次所述第二更新處理后的服從局部后驗分布的本地模型和初始的本地模型，確定本地模型改變量，包括：

6.一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推理方法，其特征在于，應(yīng)用于服務(wù)器端，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述客戶端發(fā)送的本地模型改變量，確定更新的全局模型，包括：

8.一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推理系統(tǒng)，其特征在于，應(yīng)用于客戶端，所述客戶端包括本地模型，包括：

9.一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推理系統(tǒng)，其特征在于，應(yīng)用于服務(wù)器端，包括：

10.一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推理系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本公開提供一種基于互信息正則化的聯(lián)邦學(xué)習(xí)后驗推斷方法及系統(tǒng)，其中，方法，應(yīng)用于客戶端，包括：接收經(jīng)過初始化的全局模型或者更新的全局模型；根據(jù)經(jīng)過初始化的全局模型或者更新的全局模型，對本地模型進行初始化，確定經(jīng)過初始化的本地模型以及本地模型的先驗概率分布；采用本地數(shù)據(jù)對經(jīng)過初始化的本地模型進行模型訓(xùn)練，確定本地模型的損失函數(shù)；根據(jù)本地模型的損失函數(shù)，基于反向傳播對本地模型進行第一更新處理；根據(jù)從預(yù)設(shè)的正態(tài)分布中采樣的高斯噪聲對本地模型進行第二更新處理；確定本地模型改變量；將本地模型改變量發(fā)送至服務(wù)器端。通過本公開，引入全局模型與數(shù)據(jù)的互信息正則化，緩解后驗估計中的偏差，提高全局模型的泛化能力。

技術(shù)研發(fā)人員：李成林,張豪,闞諾文,鄭紫陽,戴文睿,鄒君妮,熊紅凱
受保護的技術(shù)使用者：上海交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2