本發(fā)明涉及機(jī)器學(xué)習(xí)域泛化，特別是涉及一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法及系統(tǒng)。

背景技術(shù)：

1、在機(jī)器學(xué)習(xí)領(lǐng)域，域泛化技術(shù)致力于提升模型對(duì)于未見目標(biāo)域的泛化能力。實(shí)際應(yīng)用中，模型訓(xùn)練往往涉及多個(gè)源域的數(shù)據(jù)，這些數(shù)據(jù)可能因隱私保護(hù)的需求而無法直接共享。因此，如何在不泄露隱私的前提下，有效利用多源數(shù)據(jù)提升模型泛化能力，成為一個(gè)亟待解決的問題?，F(xiàn)有域泛化技術(shù)多集中于單一源域的泛化能力提升，或簡單地合并多個(gè)源域數(shù)據(jù)進(jìn)行處理，往往忽視了數(shù)據(jù)隱私的重要性，未能充分利用多源數(shù)據(jù)的層次語義信息，也未能有效解決源域間數(shù)據(jù)分布的差異性問題。在多源數(shù)據(jù)融合過程中，現(xiàn)有技術(shù)缺乏對(duì)數(shù)據(jù)隱私的保護(hù)，容易在模型訓(xùn)練過程中造成用戶隱私的泄露。如一些基于對(duì)抗性訓(xùn)練的方法，如條件對(duì)抗域自適應(yīng)（cada），雖在處理源域與目標(biāo)域的分布差異上取得了進(jìn)展，但通常需要訪問目標(biāo)域的未標(biāo)記數(shù)據(jù)，這在實(shí)際應(yīng)用中往往不可行。

2、因此，傳統(tǒng)的域泛化技術(shù)假設(shè)所有源域數(shù)據(jù)可集中訪問和處理，這在隱私保護(hù)方面存在較大風(fēng)險(xiǎn)；即在處理多源數(shù)據(jù)時(shí)，往往沒有考慮到數(shù)據(jù)隱私性，存在數(shù)據(jù)泄漏帶來的危險(xiǎn)性問題。

技術(shù)實(shí)現(xiàn)思路

1、基于此，為了解決上述技術(shù)問題，提供一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法及系統(tǒng)，可以保護(hù)數(shù)據(jù)隱私，避免因數(shù)據(jù)泄漏帶來的風(fēng)險(xiǎn)。

2、一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，所述方法包括：

3、獲取源域數(shù)據(jù)，在每個(gè)源域上獨(dú)立訓(xùn)練得到源域模型，并通過所述源域模型對(duì)對(duì)應(yīng)的源域數(shù)據(jù)進(jìn)行優(yōu)化，提取和學(xué)習(xí)局部數(shù)據(jù)的語義特征；

4、將各個(gè)所述源域模型的參數(shù)在不同的網(wǎng)絡(luò)層級(jí)上進(jìn)行加權(quán)平均，并引入語義相似性度量進(jìn)行模型權(quán)重分配，得到融合后的源域模型，通過所述融合后的源域模型聚合各個(gè)語義特征；

5、利用注意力機(jī)制對(duì)聚合后的語義特征進(jìn)行跨層級(jí)的對(duì)齊校準(zhǔn)操作，得到校準(zhǔn)優(yōu)化特征；

6、基于所述校準(zhǔn)優(yōu)化特征，對(duì)所述融合后的源域模型進(jìn)行性能評(píng)估，并根據(jù)性能評(píng)估結(jié)果調(diào)整語義校準(zhǔn)的強(qiáng)度，得到目標(biāo)源域模型。

7、在其中一個(gè)實(shí)施例中，獲取源域數(shù)據(jù)，在每個(gè)源域上獨(dú)立訓(xùn)練得到源域模型，包括：

8、獲取各個(gè)源域數(shù)據(jù)，使用各個(gè)所述源域數(shù)據(jù)進(jìn)行模型訓(xùn)練；

9、分別提取出各個(gè)所述源域數(shù)據(jù)中的特征表示，基于各個(gè)所述特征表示最小化源域上的分類損失，完成源域模型的訓(xùn)練。

10、在其中一個(gè)實(shí)施例中，將各個(gè)所述源域模型的參數(shù)在不同的網(wǎng)絡(luò)層級(jí)上進(jìn)行加權(quán)平均，包括：

11、基于所述源域數(shù)據(jù)確定源域總數(shù)以及各個(gè)源域權(quán)重；

12、分別獲取各個(gè)所述源域模型在目標(biāo)網(wǎng)絡(luò)層級(jí)上的參數(shù)；

13、根據(jù)所述源域總數(shù)、源域權(quán)重、參數(shù)進(jìn)行加權(quán)平均計(jì)算，得到目標(biāo)網(wǎng)絡(luò)層級(jí)的融合后模型參數(shù)。

14、在其中一個(gè)實(shí)施例中，引入語義相似性度量進(jìn)行模型權(quán)重分配，得到融合后的源域模型，包括：

15、確定參考模型，并計(jì)算所述參考模型與所述源域數(shù)據(jù)在所述目標(biāo)網(wǎng)絡(luò)層級(jí)上的語義相似性度量；

16、獲取相似性控制系數(shù)，根據(jù)所述相似性控制系數(shù)、語義相似性度量計(jì)算出權(quán)重分配策略；

17、根據(jù)所述權(quán)重分配策略進(jìn)行模型權(quán)重分配，并調(diào)整不同網(wǎng)絡(luò)層級(jí)之間的連接權(quán)重，引入差分隱私技術(shù)，得到融合后的源域模型。

18、在其中一個(gè)實(shí)施例中，利用注意力機(jī)制對(duì)聚合后的語義特征進(jìn)行跨層級(jí)的對(duì)齊校準(zhǔn)操作，包括：

19、確定所述聚合后的語義特征的特征維度，獲取所述源域數(shù)據(jù)在所述特征維度上的注意力權(quán)重，并確定與所述特征維度對(duì)應(yīng)的映射函數(shù)；

20、根據(jù)所述融合后模型參數(shù)、注意力權(quán)重、映射函數(shù)，計(jì)算出注意力加權(quán)的特征表示；

21、對(duì)所述注意力加權(quán)的特征表示進(jìn)行跨層特征對(duì)齊，得到對(duì)齊的特征。

22、在其中一個(gè)實(shí)施例中，所述方法還包括：

23、確定網(wǎng)絡(luò)層級(jí)總數(shù)，計(jì)算出所述目標(biāo)網(wǎng)絡(luò)層級(jí)所有語義特征的特征平均值；

24、根據(jù)所述網(wǎng)絡(luò)層級(jí)總數(shù)、特征平均值計(jì)算出域不變性損失。

25、在其中一個(gè)實(shí)施例中，基于所述校準(zhǔn)優(yōu)化特征，對(duì)所述融合后的源域模型進(jìn)行性能評(píng)估，并根據(jù)性能評(píng)估結(jié)果調(diào)整語義校準(zhǔn)的強(qiáng)度，得到目標(biāo)源域模型，包括：

26、確定目標(biāo)域上的驗(yàn)證集，將所述目標(biāo)域上的驗(yàn)證集輸入至所述融合后的源域模型中，獲取所述融合后的源域模型的當(dāng)前性能；

27、將所述當(dāng)前性能與參考性能進(jìn)行比較，得到比較結(jié)果；

28、根據(jù)所述比較結(jié)果計(jì)算出動(dòng)態(tài)校準(zhǔn)強(qiáng)度，得到目標(biāo)源域模型。

29、在其中一個(gè)實(shí)施例中，所述方法還包括：

30、將所述動(dòng)態(tài)校準(zhǔn)強(qiáng)度應(yīng)用于源域模型中，并獲取所述域不變性損失；

31、根據(jù)所述動(dòng)態(tài)校準(zhǔn)強(qiáng)度、域不變性損失計(jì)算出加權(quán)校準(zhǔn)損失；

32、將所述加權(quán)校準(zhǔn)損失應(yīng)用于源域模型，優(yōu)化得到目標(biāo)源域模型。

33、一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化系統(tǒng)，所述系統(tǒng)包括：

34、局部語義獲取模塊，用于獲取源域數(shù)據(jù)，在每個(gè)源域上獨(dú)立訓(xùn)練得到源域模型，并通過所述源域模型對(duì)對(duì)應(yīng)的源域數(shù)據(jù)進(jìn)行優(yōu)化，提取和學(xué)習(xí)局部數(shù)據(jù)的語義特征；

35、語義聚合模塊，用于將各個(gè)所述源域模型的參數(shù)在不同的網(wǎng)絡(luò)層級(jí)上進(jìn)行加權(quán)平均，并引入語義相似性度量進(jìn)行模型權(quán)重分配，得到融合后的源域模型，通過所述融合后的源域模型聚合各個(gè)語義特征；

36、跨層語義校準(zhǔn)模塊，用于利用注意力機(jī)制對(duì)聚合后的語義特征進(jìn)行跨層級(jí)的對(duì)齊校準(zhǔn)操作，得到校準(zhǔn)優(yōu)化特征；

37、動(dòng)態(tài)語義校準(zhǔn)策略模塊，用于基于所述校準(zhǔn)優(yōu)化特征，對(duì)所述融合后的源域模型進(jìn)行性能評(píng)估，并根據(jù)性能評(píng)估結(jié)果調(diào)整語義校準(zhǔn)的強(qiáng)度，得到目標(biāo)源域模型。

38、上述基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法及系統(tǒng)，通過在每個(gè)源域上獨(dú)立訓(xùn)練源域模型，并進(jìn)行源域模型融合，能從多個(gè)源域中提取并融合關(guān)鍵的語義特征，可以增強(qiáng)模型的泛化性能；由于源域模型是在每個(gè)源域上獨(dú)立訓(xùn)練的，且通過數(shù)據(jù)無關(guān)的方式進(jìn)行語義聚合，避免了原始數(shù)據(jù)的直接共享，可以保護(hù)數(shù)據(jù)隱私，避免因數(shù)據(jù)泄漏帶來的風(fēng)險(xiǎn)；且根據(jù)模型性能評(píng)估結(jié)果對(duì)語義校準(zhǔn)的強(qiáng)度進(jìn)行動(dòng)態(tài)調(diào)整，可以使模型訓(xùn)練過程更加高效。

技術(shù)特征：

1.一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，獲取源域數(shù)據(jù)，在每個(gè)源域上獨(dú)立訓(xùn)練得到源域模型，包括：

3.根據(jù)權(quán)利要求1所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，將各個(gè)所述源域模型的參數(shù)在不同的網(wǎng)絡(luò)層級(jí)上進(jìn)行加權(quán)平均，包括：

4.根據(jù)權(quán)利要求3所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，引入語義相似性度量進(jìn)行模型權(quán)重分配，得到融合后的源域模型，包括：

5.根據(jù)權(quán)利要求3所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，利用注意力機(jī)制對(duì)聚合后的語義特征進(jìn)行跨層級(jí)的對(duì)齊校準(zhǔn)操作，包括：

6.根據(jù)權(quán)利要求3所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求6所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，基于所述校準(zhǔn)優(yōu)化特征，對(duì)所述融合后的源域模型進(jìn)行性能評(píng)估，并根據(jù)性能評(píng)估結(jié)果調(diào)整語義校準(zhǔn)的強(qiáng)度，得到目標(biāo)源域模型，包括：

8.根據(jù)權(quán)利要求7所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法，其特征在于，所述方法還包括：

9.一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化系統(tǒng)，其特征在于，所述系統(tǒng)包括：

10.根據(jù)權(quán)利要求9所述的基于多源層次語義融合和跨層校準(zhǔn)的域泛化系統(tǒng)，其特征在于，所述局部語義獲取模塊還用于：獲取各個(gè)源域數(shù)據(jù)，使用各個(gè)所述源域數(shù)據(jù)進(jìn)行模型訓(xùn)練；分別提取出各個(gè)所述源域數(shù)據(jù)中的特征表示，基于各個(gè)所述特征表示最小化源域上的分類損失，完成源域模型的訓(xùn)練。

技術(shù)總結(jié)
本發(fā)明涉及一種基于多源層次語義融合和跨層校準(zhǔn)的域泛化方法及系統(tǒng)，涉及機(jī)器學(xué)習(xí)域泛化技術(shù)領(lǐng)域。所述方法包括：在每個(gè)源域上獨(dú)立訓(xùn)練得到源域模型，提取和學(xué)習(xí)局部數(shù)據(jù)的語義特征；將各個(gè)源域模型的參數(shù)在不同的網(wǎng)絡(luò)層級(jí)上進(jìn)行加權(quán)平均，并引入語義相似性度量進(jìn)行模型權(quán)重分配，聚合各個(gè)語義特征；利用注意力機(jī)制對(duì)聚合后的語義特征進(jìn)行跨層級(jí)的對(duì)齊校準(zhǔn)操作，對(duì)融合后的源域模型進(jìn)行性能評(píng)估，并根據(jù)性能評(píng)估結(jié)果調(diào)整語義校準(zhǔn)的強(qiáng)度。從多個(gè)源域中提取并融合關(guān)鍵的語義特征，可以增強(qiáng)模型的泛化性能；由于源域模型是在每個(gè)源域上獨(dú)立訓(xùn)練的，且通過數(shù)據(jù)無關(guān)的方式進(jìn)行語義聚合，避免了原始數(shù)據(jù)的直接共享，可以保護(hù)數(shù)據(jù)隱私。

技術(shù)研發(fā)人員：胡波,劉洋,楊坤,楊濤,郝子若,劉靖,宋梁
受保護(hù)的技術(shù)使用者：復(fù)旦大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/28