本技術(shù)涉及跨模態(tài)檢索領(lǐng)域，尤其涉及一種面向中文用戶的隱私保護(hù)的跨模態(tài)圖文檢索方法。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，個(gè)人以圖片和文本為主要類型的多媒體數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)，與之而來(lái)的是對(duì)數(shù)據(jù)存儲(chǔ)空間日益擴(kuò)大的需求。因此，越來(lái)越多的用戶傾向于將私人的多媒體數(shù)據(jù)存儲(chǔ)在第三方云服務(wù)器中以節(jié)約本地存儲(chǔ)空間，伴隨而來(lái)的是用戶的數(shù)據(jù)隱私安全問(wèn)題，如何在有效保護(hù)用戶數(shù)據(jù)隱私的同時(shí)，為用戶提供準(zhǔn)確、快速的跨模態(tài)數(shù)據(jù)檢索服務(wù)已成為隱私保護(hù)領(lǐng)域亟需研究的熱點(diǎn)問(wèn)題。

2、此外，現(xiàn)有的隱私保護(hù)的跨模態(tài)檢索方案都是基于英文數(shù)據(jù)集進(jìn)行設(shè)計(jì)和測(cè)試的，這限制了中文社區(qū)用戶的使用。雖然可以將中文用戶的數(shù)據(jù)先翻譯成英文再進(jìn)行存儲(chǔ)和檢索，但這造成了計(jì)算資源的浪費(fèi)，且在機(jī)器翻譯下難免會(huì)產(chǎn)生語(yǔ)義的失真和錯(cuò)誤。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。

2、本技術(shù)提出了一種面向中文用戶的隱私保護(hù)的跨模態(tài)圖文檢索方法。

3、根據(jù)本技術(shù)實(shí)施例的第一方面，提供一種面向中文用戶的隱私保護(hù)的跨模態(tài)圖文檢索方法，包括：

4、響應(yīng)于接收到用戶發(fā)送的圖文數(shù)據(jù)，利用其上部署的特征提取模型對(duì)所述圖文數(shù)據(jù)進(jìn)行特征提取，并將提取到的圖文數(shù)據(jù)的特征嵌入映射在同一語(yǔ)義空間下；

5、分別使用文本加密技術(shù)和圖片加密技術(shù)對(duì)用戶的圖文數(shù)據(jù)中的文本與圖片進(jìn)行加密，以及利用非對(duì)稱標(biāo)量積保留加密技術(shù)對(duì)提取到的圖文數(shù)據(jù)的特征進(jìn)行加密，將加密的圖文數(shù)據(jù)與加密的圖文數(shù)據(jù)特征集合發(fā)送至云服務(wù)器；

6、響應(yīng)于用戶發(fā)起查詢請(qǐng)求，對(duì)用戶輸入的查詢內(nèi)容進(jìn)行特征提取和加密，得到加密的查詢陷門并將其發(fā)送至云服務(wù)器；

7、響應(yīng)到接收到云服務(wù)器返回加密的查詢結(jié)果，對(duì)加密的查詢結(jié)果進(jìn)行解密，將解密后的明文查詢結(jié)果返回給用戶。

8、可選的，還包括：

9、所述特征提取模型以凍結(jié)原有的全部權(quán)重參數(shù)的中文多模態(tài)預(yù)訓(xùn)練大模型cn-clip為基礎(chǔ)模型，通過(guò)在原有基礎(chǔ)模型的文本端前加入general?adapter模塊構(gòu)建，所述general?adapter模型包括一組可學(xué)習(xí)的向量偽提示pseudo?prompts以及一個(gè)能夠?qū)⒖蓪W(xué)習(xí)的向量pseudo?prompts映射到特定語(yǔ)義空間下的模型組件prompt?encoder。

10、可選的，所述特征提取模型的訓(xùn)練過(guò)程，包括：

11、對(duì)于圖文檢索任務(wù)和圖片的零樣本分類任務(wù)，分別結(jié)合對(duì)比學(xué)習(xí)和多標(biāo)簽學(xué)習(xí)的訓(xùn)練方式，使用大規(guī)模的通用領(lǐng)域的中文圖文數(shù)據(jù)集對(duì)加入的general?adapter模塊進(jìn)行訓(xùn)練。

12、可選的，所述利用非對(duì)稱標(biāo)量積保留加密技術(shù)對(duì)提取到的圖文數(shù)據(jù)的特征進(jìn)行加密，還包括：

13、通過(guò)隨機(jī)密鑰生成算法，得到密鑰m1、m2和s，其中，m1和m2為維度是(n+3)×(n+3)的隨機(jī)的可逆矩陣，s為維度是1×(n+2)的隨機(jī)向量，且隨機(jī)向量s的值由隨機(jī)分布的0和1組成，其中，所有密鑰均對(duì)所述私有服務(wù)器開放訪問(wèn)和使用權(quán)限；

14、對(duì)于圖文數(shù)據(jù)特征e＝{e1,e2,…,em}中的第i條特征ei，生成隨機(jī)數(shù)εi，將ei變?yōu)?/p>

15、使用密鑰s將ei分解為e′i和e″i，分解的原則是：若s[j]＝0，則e′i[j]＝e″i[j]，否則，e′i[j]+e″i[j]＝ei[j]；

16、分別使用密鑰m1和m2對(duì)e′i和e″i進(jìn)行加密，特征ei被加密為{e′im1,e″im2}，記為

17、可選的，所述響應(yīng)于用戶發(fā)起查詢請(qǐng)求，對(duì)用戶輸入的查詢內(nèi)容進(jìn)行特征提取和加密，得到加密的查詢陷門并將其發(fā)送至云服務(wù)器，包括：

18、響應(yīng)于用戶發(fā)起查詢請(qǐng)求，對(duì)用戶輸入的查詢內(nèi)容進(jìn)行特征提取，對(duì)于得到用戶查詢的特征嵌入eq，根據(jù)隨機(jī)數(shù)將用戶查詢的特征嵌入eq變?yōu)楸磉_(dá)式為：

19、

20、其中，為變換后的特征嵌入，r與t為私有服務(wù)器生成的隨機(jī)數(shù)；

21、使用密鑰s將分解為e′q和e″q，分解的原則是：對(duì)于j∈[1,n+2]，若s[j]＝1，則e′q[j]＝e″q[j]；否則，則為e′q[j]+e″q[j]＝eq[j]；

22、分別使用密鑰和對(duì)e′q和e″q進(jìn)行加密，得到加密的查詢陷門，表達(dá)式為：

23、

24、其中，為加密的查詢陷門。

25、根據(jù)本技術(shù)實(shí)施例的第二方面，提供一種面向中文用戶的隱私保護(hù)的跨模態(tài)圖文檢索方法，包括：

26、響應(yīng)于接收到用戶輸入的加密的圖文數(shù)據(jù)與私有服務(wù)器發(fā)送的加密的圖文數(shù)據(jù)特征集合，利用其上部署的檢索模型對(duì)加密的數(shù)據(jù)特征集合進(jìn)行基于分層圖的索引構(gòu)建；

27、響應(yīng)于接收到私有服務(wù)器發(fā)送的加密的查詢陷門，在已建好的索引結(jié)構(gòu)中為該查詢陷門進(jìn)行近似最近鄰搜索，得到最符合的加密的查詢結(jié)果；

28、將最符合的加密的查詢結(jié)果返回給私有服務(wù)器。

29、可選的，所述利用其上部署的檢索模型對(duì)加密的數(shù)據(jù)特征集合進(jìn)行基于分層圖的索引構(gòu)建，包括：

30、創(chuàng)建一個(gè)空的圖結(jié)構(gòu)，將每一條加密的數(shù)據(jù)特征嵌入看作是一個(gè)向量節(jié)點(diǎn)，并依次插入節(jié)點(diǎn)，每個(gè)新節(jié)點(diǎn)會(huì)被隨機(jī)分配一個(gè)層級(jí)，層級(jí)越高，節(jié)點(diǎn)數(shù)越少；

31、在插入新節(jié)點(diǎn)時(shí)，從最高層級(jí)開始，通過(guò)貪婪搜索找到當(dāng)前節(jié)點(diǎn)所屬層級(jí)的最近鄰居，并在較低層級(jí)重復(fù)這一過(guò)程以確定更精確的鄰居節(jié)點(diǎn)；

32、在找到最近鄰居節(jié)點(diǎn)后，將插入的新節(jié)點(diǎn)與這些鄰居節(jié)點(diǎn)建立連接，并更新圖結(jié)構(gòu)。

33、可選的，所述響應(yīng)于接收到私有服務(wù)器發(fā)送的加密的查詢陷門，在已建好的索引結(jié)構(gòu)中為該查詢陷門進(jìn)行近似最近鄰搜索，得到最符合的加密的查詢結(jié)果，包括：

34、在進(jìn)行搜索時(shí)，從分層圖中最高層的入口節(jié)點(diǎn)開始，使用貪婪搜索尋找當(dāng)前層中與查詢向量距離最近的節(jié)點(diǎn)；

35、當(dāng)在當(dāng)前層中找到與查詢向量距離最近的節(jié)點(diǎn)后，逐層向下進(jìn)行搜索，每層都重復(fù)這個(gè)過(guò)程，以不斷接近查詢向量；

36、到達(dá)最底層后，通過(guò)精確搜索找到最接近查詢向量的節(jié)點(diǎn)。

37、可選的，還包括：

38、在搜索過(guò)程中，將余弦距離作為查詢陷門與索引結(jié)構(gòu)上的向量節(jié)點(diǎn)之間的距離，計(jì)算表達(dá)式為：

39、

40、其中，l為所述余弦距離，余弦距離的倒數(shù)表示加密的查詢陷門與索引結(jié)構(gòu)上的向量節(jié)點(diǎn)所對(duì)應(yīng)密文數(shù)據(jù)之間的余弦相似度；

41、將距離加密的查詢陷門最近的向量節(jié)點(diǎn)所對(duì)應(yīng)的密文數(shù)據(jù)，作為最符合的加密的查詢結(jié)果。

42、本技術(shù)的實(shí)施例提供的技術(shù)方案至少帶來(lái)以下有益效果：

43、本技術(shù)通過(guò)在中文預(yù)訓(xùn)練模型的文本端前加入由一組可學(xué)習(xí)向量和一個(gè)可訓(xùn)練的用于映射這些向量的編碼器所組成的general?adapter，結(jié)合對(duì)比學(xué)習(xí)和多標(biāo)簽學(xué)習(xí)的方法進(jìn)行訓(xùn)練，提升了模型對(duì)中文圖文數(shù)據(jù)的特征提取能力，并且在整個(gè)過(guò)程中，只需要訓(xùn)練general?adapter中的少量參數(shù)即可；通過(guò)使用非對(duì)稱標(biāo)量積保留加密技術(shù)，保護(hù)了用戶在云服務(wù)器上進(jìn)行數(shù)據(jù)存儲(chǔ)和檢索操作時(shí)的隱私安全；通過(guò)使用hnsw向量近似最近鄰搜索算法，提升了檢索模型在云服務(wù)器上為查詢陷門進(jìn)行匹配搜索時(shí)的效率。本技術(shù)在保護(hù)用戶數(shù)據(jù)隱私安全的前提下，具有較強(qiáng)的針對(duì)中文圖文數(shù)據(jù)集的跨模態(tài)檢索和圖片的零樣本分類能力，以及較低的訓(xùn)練開銷，本技術(shù)可用于對(duì)外包服務(wù)器上中文圖文數(shù)據(jù)的跨模態(tài)檢索。

44、本技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)踐了解到。