本技術(shù)涉及人工智能領(lǐng)域，尤其涉及一種特征標(biāo)簽篩選方法、裝置、系統(tǒng)、電子設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著金融產(chǎn)品、金融業(yè)務(wù)的不斷迭代和推陳出新，標(biāo)簽的數(shù)量和種類日益增多，標(biāo)簽數(shù)量的上升雖然有效擴(kuò)充了用戶畫(huà)像特征和整體標(biāo)簽庫(kù)，但是其中的冗余標(biāo)簽不僅增加了數(shù)據(jù)中的噪音，使得從中提取有價(jià)值的信息變得更加困難，還可能會(huì)導(dǎo)致數(shù)據(jù)混淆，影響分析結(jié)果的準(zhǔn)確性和可靠性。

2、因此，如何有效篩選真正有利用價(jià)值的標(biāo)簽亟需解決。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選方法、裝置、系統(tǒng)、電子設(shè)備、介質(zhì)及產(chǎn)品，用以提升特征標(biāo)簽篩選的準(zhǔn)確率。

2、第一方面，本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選方法，包括：

3、獲取多個(gè)原始訓(xùn)練樣本，每一原始訓(xùn)練樣本包括多個(gè)原始特征標(biāo)簽以及各原始特征標(biāo)簽對(duì)應(yīng)的特征值；

4、針對(duì)每一原始訓(xùn)練樣本，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，所述注意力模型包括編碼器和解碼器，所述鍵矩陣和值矩陣是所述編碼器傳遞給所述解碼器的；

5、根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的注意力損失，確定第一總注意力損失；

6、基于多個(gè)目標(biāo)訓(xùn)練樣本和注意力模型，確定第二總注意力損失；所述目標(biāo)訓(xùn)練樣本包括至少一個(gè)第一特征標(biāo)簽及各第一特征標(biāo)簽對(duì)應(yīng)的特征值；所述第一特征標(biāo)簽是從所述原始訓(xùn)練樣本包括的多個(gè)原始特征標(biāo)簽中篩選出的；

7、根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，其中，所述第二特征標(biāo)簽為多個(gè)原始特征標(biāo)簽中除至少一個(gè)第一特征標(biāo)簽之外的特征標(biāo)簽。

8、在一種可能的實(shí)施方式中，所述注意力損失包括第一注意力損失；根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，包括：

9、獲取所述原始訓(xùn)練樣本對(duì)應(yīng)的真實(shí)鍵矩陣和真實(shí)值矩陣；

10、根據(jù)所述鍵矩陣、真實(shí)鍵矩陣，確定第一鍵相關(guān)損失，并根據(jù)所述值矩陣、真實(shí)值矩陣，確定第一值相關(guān)損失；

11、根據(jù)所述第一鍵相關(guān)損失和所述第一值相關(guān)損失，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的第一注意力損失。

12、在一種可能的實(shí)施方式中，根據(jù)所述鍵矩陣、真實(shí)鍵矩陣，確定第一鍵相關(guān)損失，并根據(jù)所述值矩陣、真實(shí)值矩陣，確定第一值相關(guān)損失，包括：

13、計(jì)算所述鍵矩陣和所述真實(shí)鍵矩陣的第一互信息，并根據(jù)所述第一互信息，確定第一鍵相關(guān)損失；

14、計(jì)算所述值矩陣和所述真實(shí)值矩陣的第二互信息，并根據(jù)所述第二互信息，確定第一值相關(guān)損失。

15、在一種可能的實(shí)施方式中，根據(jù)所述第一互信息，確定第一鍵相關(guān)損失，包括：

16、計(jì)算所述鍵矩陣和所述真實(shí)鍵矩陣的第一皮爾遜相關(guān)系數(shù)；

17、將所述第一互信息和所述第一皮爾遜相關(guān)系數(shù)相加，得到第一總和；

18、確定所述第一總和的一半為所述第一鍵相關(guān)損失；

19、相應(yīng)的，根據(jù)所述第二互信息，確定第一值相關(guān)損失，包括：

20、計(jì)算所述值矩陣和所述真實(shí)值矩陣的第二皮爾遜相關(guān)系數(shù)；

21、將所述第二互信息和所述第二皮爾遜相關(guān)系數(shù)相加，得到第二總和；

22、確定所述第二總和的一半為所述第一值相關(guān)損失。

23、在一種可能的實(shí)施方式中，所述注意力損失包括第二注意力損失；在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，包括：

24、在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣、值矩陣和查詢矩陣；

25、根據(jù)所述鍵矩陣、值矩陣和查詢矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的第二注意力損失。

26、在一種可能的實(shí)施方式中，根據(jù)所述鍵矩陣、值矩陣和查詢矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的第二注意力損失，包括：

27、獲取所述原始訓(xùn)練樣本對(duì)應(yīng)真實(shí)鍵矩陣、真實(shí)值矩陣和真實(shí)查詢矩陣；

28、根據(jù)所述鍵矩陣、真實(shí)鍵矩陣，確定第二鍵相關(guān)損失；

29、根據(jù)所述值矩陣、真實(shí)值矩陣，確定第二值相關(guān)損失；

30、根據(jù)所述查詢矩陣、真實(shí)查詢矩陣，確定查詢相關(guān)損失；

31、根據(jù)所述第二鍵相關(guān)損失、第二值相關(guān)損失和查詢相關(guān)損失，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的第二注意力損失。

32、在一種可能的實(shí)施方式中，所述真實(shí)鍵矩陣、真實(shí)值矩陣和真實(shí)查詢矩陣均包括多個(gè)元素，針對(duì)每一元素，若所述元素對(duì)應(yīng)的元素值為第一預(yù)設(shè)值，則說(shuō)明所述元素所在的位置應(yīng)被注意，若所述元素對(duì)應(yīng)的元素值為第二預(yù)設(shè)值，則說(shuō)明所述元素所在的位置不應(yīng)被注意。

33、在一種可能的實(shí)施方式中，根據(jù)所述鍵矩陣、真實(shí)鍵矩陣，確定第二鍵相關(guān)損失，包括：

34、將所述鍵矩陣中各元素對(duì)應(yīng)的元素值進(jìn)行尺度縮放，縮放至第一預(yù)設(shè)值與第二預(yù)設(shè)值之間，得到縮放后的鍵矩陣；

35、根據(jù)縮放后的鍵矩陣、真實(shí)鍵矩陣，確定第二鍵相關(guān)損失。

36、在一種可能的實(shí)施方式中，根據(jù)縮放后的鍵矩陣、真實(shí)鍵矩陣，確定第二鍵相關(guān)損失，包括：

37、針對(duì)縮放后的鍵矩陣中的每一元素，計(jì)算所述元素對(duì)應(yīng)的元素值與目標(biāo)元素對(duì)應(yīng)的元素值的差值；其中，所述目標(biāo)元素在所述真實(shí)鍵矩陣中的相對(duì)位置與所述元素在所述鍵矩陣中的相對(duì)位置相同；

38、計(jì)算縮放后的鍵矩陣中的各元素分別對(duì)應(yīng)的差值之和，得到第三總和；

39、根據(jù)所述第三總和，確定第二鍵相關(guān)損失。

40、在一種可能的實(shí)施方式中，根據(jù)所述第三總和，確定第二鍵相關(guān)損失，包括：

41、計(jì)算所述鍵矩陣和所述真實(shí)鍵矩陣的交并比，

42、確定所述交并比與所述第三總和的乘積為第二鍵相關(guān)損失。

43、在一種可能的實(shí)施方式中，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，包括：

44、在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣、值矩陣和查詢矩陣；

45、基于所述鍵矩陣和值矩陣，確定第一注意力損失；

46、基于所述鍵矩陣、值矩陣和查詢矩陣，確定第二注意力損失；

47、基于所述第一注意力損失和所述第二注意力損失，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失。

48、在一種可能的實(shí)施方式中，所述方法還包括：

49、獲取各原始訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽；

50、針對(duì)每一原始訓(xùn)練樣本，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出，并根據(jù)所述原始訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽和輸出，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出損失；

51、根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的輸出損失，確定第一總輸出損失；

52、針對(duì)每一目標(biāo)訓(xùn)練樣本，確定所述目標(biāo)訓(xùn)練樣本對(duì)應(yīng)的輸出，并根據(jù)所述目標(biāo)訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽和輸出，確定所述目標(biāo)訓(xùn)練樣本對(duì)應(yīng)的輸出損失；

53、根據(jù)各目標(biāo)訓(xùn)練樣本分別對(duì)應(yīng)的輸出損失，確定第二總輸出損失；

54、相應(yīng)的，根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，包括：

55、根據(jù)所述第一總注意力損失、第二總注意力損失、第一總輸出損失、第二總輸出損失，確定是否刪除第二特征標(biāo)簽。

56、在一種可能的實(shí)施方式中，根據(jù)所述第一總注意力損失、第二總注意力損失、第一總輸出損失、第二總輸出損失，確定是否刪除第二特征標(biāo)簽，包括：

57、根據(jù)所述第一總注意力損失和第一總輸出損失，確定第一總損失；

58、根據(jù)所述第二總注意力損失和第二總輸出損失，確定第二總損失；

59、在所述第二總損失與所述第一總損失的差值小于預(yù)設(shè)閾值時(shí)，確定刪除第二特征標(biāo)簽。

60、在一種可能的實(shí)施方式中，根據(jù)所述第一總注意力損失和第一總輸出損失，確定第一總損失，包括：

61、獲取所述第一總注意力損失對(duì)應(yīng)的第一權(quán)重和第一總輸出損失對(duì)應(yīng)的第二權(quán)重；

62、根據(jù)所述第一總注意力損失、第一總輸出損失、第一權(quán)重和第二權(quán)重，確定第一總損失。

63、在一種可能的實(shí)施方式中，各原始訓(xùn)練樣本對(duì)應(yīng)的輸出為分類概率值，所述分類概率值用于指示所述原始訓(xùn)練樣本被劃分為預(yù)設(shè)的多個(gè)類別中各類別的概率，根據(jù)所述原始訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽和輸出，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出損失，包括：

64、根據(jù)下述公式，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出損失；

65、

66、其中，l表示輸出損失，m表示預(yù)設(shè)的多個(gè)類別的總數(shù)，c表示類別，pc表示被劃分為第c類的概率，yc表示樣本標(biāo)簽，γ為大于1的常數(shù)。

67、在一種可能的實(shí)施方式中，各原始訓(xùn)練樣本對(duì)應(yīng)的輸出為分類概率值，所述分類概率值用于指示所述原始訓(xùn)練樣本被劃分為預(yù)設(shè)的多個(gè)類別中各類別的概率，根據(jù)所述原始訓(xùn)練樣本對(duì)應(yīng)的樣本標(biāo)簽和輸出，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出損失，包括：

68、根據(jù)下述公式，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的輸出損失；

69、

70、其中，l表示輸出損失，m表示預(yù)設(shè)的多個(gè)類別的總數(shù)，c表示類別，pc表示被劃分為第c類的概率，yc表示樣本標(biāo)簽，γ為大于1的常數(shù)。

71、第二方面，本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選方法，應(yīng)用于客戶端，包括：

72、獲取多個(gè)本地訓(xùn)練樣本，每一本地訓(xùn)練樣本包括多個(gè)本地特征標(biāo)簽以及各本地特征標(biāo)簽對(duì)應(yīng)的特征值；

73、針對(duì)每一本地訓(xùn)練樣本，對(duì)所述本地訓(xùn)練樣本對(duì)應(yīng)的各本地特征標(biāo)簽的特征值進(jìn)行加密，得到原始訓(xùn)練樣本，其中加密方式為添加拉普拉斯噪聲；

74、發(fā)送的多個(gè)原始訓(xùn)練樣本給服務(wù)器，每一原始訓(xùn)練樣本包括多個(gè)原始特征標(biāo)簽以及各原始特征標(biāo)簽對(duì)應(yīng)的特征值；以使服務(wù)器針對(duì)每一原始訓(xùn)練樣本，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，所述注意力模型包括編碼器和解碼器，所述鍵矩陣和值矩陣是所述編碼器傳遞給所述解碼器的；根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的注意力損失，確定第一總注意力損失；基于多個(gè)目標(biāo)訓(xùn)練樣本和注意力模型，確定第二總注意力損失；所述目標(biāo)訓(xùn)練樣本包括至少一個(gè)第一特征標(biāo)簽及各第一特征標(biāo)簽對(duì)應(yīng)的特征值；所述第一特征標(biāo)簽是從所述原始訓(xùn)練樣本包括的多個(gè)原始特征標(biāo)簽中篩選出的；根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，其中，所述第二特征標(biāo)簽為多個(gè)原始特征標(biāo)簽中除至少一個(gè)第一特征標(biāo)簽之外的特征標(biāo)簽。

75、在一種可能的實(shí)施方式中，所述方法還包括：

76、將各本地特征標(biāo)簽對(duì)應(yīng)的特征值歸一化到預(yù)設(shè)維度；

77、相應(yīng)的，對(duì)所述本地訓(xùn)練樣本對(duì)應(yīng)的各本地特征標(biāo)簽的特征值進(jìn)行加密，得到原始訓(xùn)練樣本，包括：

78、對(duì)所述本地訓(xùn)練樣本分別對(duì)應(yīng)的各歸一化后的特征值進(jìn)行加密，得到原始訓(xùn)練樣本。

79、第三方面，本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選系統(tǒng)，包括：

80、服務(wù)器，用于執(zhí)行第一方面所述的方法；

81、客戶端，用于執(zhí)行第二方面所述的方法。

82、第四方面，本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選裝置，包括：

83、獲取模塊，用于獲取多個(gè)原始訓(xùn)練樣本，每一原始訓(xùn)練樣本包括多個(gè)原始特征標(biāo)簽以及各原始特征標(biāo)簽對(duì)應(yīng)的特征值；

84、第一確定模塊，用于針對(duì)每一原始訓(xùn)練樣本，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，所述注意力模型包括編碼器和解碼器，所述鍵矩陣和值矩陣是所述編碼器傳遞給所述解碼器的；

85、第二確定模塊，用于根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的注意力損失，確定第一總注意力損失；

86、第三確定模塊，用于基于多個(gè)目標(biāo)訓(xùn)練樣本和注意力模型，確定第二總注意力損失；所述目標(biāo)訓(xùn)練樣本包括至少一個(gè)第一特征標(biāo)簽及各第一特征標(biāo)簽對(duì)應(yīng)的特征值；所述第一特征標(biāo)簽是從所述原始訓(xùn)練樣本包括的多個(gè)原始特征標(biāo)簽中篩選出的；

87、第四確定模塊，用于根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，其中，所述第二特征標(biāo)簽為多個(gè)原始特征標(biāo)簽中除至少一個(gè)第一特征標(biāo)簽之外的特征標(biāo)簽。

88、第四方面，本技術(shù)實(shí)施例提供一種特征標(biāo)簽篩選裝置，應(yīng)用于客戶端，包括：

89、獲取模塊，用于獲取多個(gè)本地訓(xùn)練樣本，每一本地訓(xùn)練樣本包括多個(gè)本地特征標(biāo)簽以及各本地特征標(biāo)簽對(duì)應(yīng)的特征值；

90、加密模塊，用于針對(duì)每一本地訓(xùn)練樣本，對(duì)所述本地訓(xùn)練樣本對(duì)應(yīng)的各本地特征標(biāo)簽的特征值進(jìn)行加密，得到原始訓(xùn)練樣本，其中加密方式為添加拉普拉斯噪聲；

91、發(fā)送模塊，用于發(fā)送的多個(gè)原始訓(xùn)練樣本給服務(wù)器，每一原始訓(xùn)練樣本包括多個(gè)原始特征標(biāo)簽以及各原始特征標(biāo)簽對(duì)應(yīng)的特征值；以使服務(wù)器針對(duì)每一原始訓(xùn)練樣本，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，所述注意力模型包括編碼器和解碼器，所述鍵矩陣和值矩陣是所述編碼器傳遞給所述解碼器的；根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的注意力損失，確定第一總注意力損失；基于多個(gè)目標(biāo)訓(xùn)練樣本和注意力模型，確定第二總注意力損失；所述目標(biāo)訓(xùn)練樣本包括至少一個(gè)第一特征標(biāo)簽及各第一特征標(biāo)簽對(duì)應(yīng)的特征值；所述第一特征標(biāo)簽是從所述原始訓(xùn)練樣本包括的多個(gè)原始特征標(biāo)簽中篩選出的；根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，其中，所述第二特征標(biāo)簽為多個(gè)原始特征標(biāo)簽中除至少一個(gè)第一特征標(biāo)簽之外的特征標(biāo)簽。

92、第五方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器，處理器；

93、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

94、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，使得所述處理器執(zhí)行上述任一方面所述的方法。

95、第六方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述任一方面所述的方法。

96、第七方面，本技術(shù)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任一方面所述的方法。本技術(shù)實(shí)施例提供的特征標(biāo)簽篩選方法、裝置、系統(tǒng)、電子設(shè)備、介質(zhì)及產(chǎn)品，通過(guò)獲取多個(gè)原始訓(xùn)練樣本，每一原始訓(xùn)練樣本包括多個(gè)原始特征標(biāo)簽以及各原始特征標(biāo)簽對(duì)應(yīng)的特征值；針對(duì)每一原始訓(xùn)練樣本，在所述原始訓(xùn)練樣本被輸入注意力模型后，得到鍵矩陣和值矩陣，并根據(jù)所述鍵矩陣和值矩陣，確定所述原始訓(xùn)練樣本對(duì)應(yīng)的注意力損失，所述注意力模型包括編碼器和解碼器，所述鍵矩陣和值矩陣是所述編碼器傳遞給所述解碼器的；根據(jù)各原始訓(xùn)練樣本分別對(duì)應(yīng)的注意力損失，確定第一總注意力損失；基于多個(gè)目標(biāo)訓(xùn)練樣本和注意力模型，確定第二總注意力損失；所述目標(biāo)訓(xùn)練樣本包括至少一個(gè)第一特征標(biāo)簽及各第一特征標(biāo)簽對(duì)應(yīng)的特征值；所述第一特征標(biāo)簽是從所述原始訓(xùn)練樣本包括的多個(gè)原始特征標(biāo)簽中篩選出的；根據(jù)所述第一總注意力損失和所述第二總注意力損失，確定是否刪除第二特征標(biāo)簽，其中，所述第二特征標(biāo)簽為多個(gè)原始特征標(biāo)簽中除至少一個(gè)第一特征標(biāo)簽之外的特征標(biāo)簽，本技術(shù)創(chuàng)造性地將注意力損失作為衡量特征標(biāo)簽的重要性的指標(biāo)，可以有效提升特征標(biāo)簽篩選的準(zhǔn)確性，并且通過(guò)篩選出最重要的特征標(biāo)簽，可以減少噪聲和冗余信息的干擾，使模型更專注于關(guān)鍵特征，提高模型的泛化能力和預(yù)測(cè)準(zhǔn)確性。