本技術(shù)涉及數(shù)據(jù)處理，具體而言，涉及一種素描人臉識(shí)別方法及裝置。

背景技術(shù)：

1、隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的快速發(fā)展，人臉識(shí)別技術(shù)得到了前所未有的重視，其在視頻監(jiān)控、門(mén)禁系統(tǒng)、網(wǎng)絡(luò)應(yīng)用等各個(gè)方面得到了廣泛的實(shí)際應(yīng)用。由于人臉的表現(xiàn)形式多樣，除最常見(jiàn)的光學(xué)圖像之外，還包括素描圖像、簡(jiǎn)筆畫(huà)、卡通圖像等，特別是刑偵領(lǐng)域，素描人臉識(shí)別(sketch?face?recognition，sfr)逐漸成為人臉識(shí)別技術(shù)領(lǐng)域中的研究熱點(diǎn)。

2、素描人臉識(shí)別的目的是實(shí)現(xiàn)素描圖像和光學(xué)圖像的身份匹配，即將給定的素描圖像與光學(xué)人臉數(shù)據(jù)庫(kù)中具有身份信息的光學(xué)圖像進(jìn)行比較，通過(guò)識(shí)別最相似的光學(xué)圖像來(lái)確定素描的身份，或者識(shí)別較為相似的一些光學(xué)圖像來(lái)縮小偵察范圍。但由于素描樣本難以獲取，導(dǎo)致素描人臉數(shù)據(jù)集較小，這個(gè)小樣本問(wèn)題使得素描圖像和光學(xué)圖像之間的跨模態(tài)識(shí)別難以實(shí)現(xiàn)。

3、此外，目前用于素描人臉識(shí)別的算法可以分為如下兩大類(lèi)：一是跨模態(tài)算法。跨模態(tài)算法又稱(chēng)模態(tài)內(nèi)算法，其依靠素描人臉合成，將人臉?biāo)孛鑸D像(光學(xué)圖像)轉(zhuǎn)化為光學(xué)圖像(素描圖像)，以減少模態(tài)之間的差異；二是共同子空間算法。共同子空間算法也稱(chēng)模態(tài)間算法，其將兩種不同模態(tài)的圖像特征劃分為公共空間，然后使用分類(lèi)器進(jìn)行識(shí)別。然而上述兩種方法仍是以卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network，cnn)為主干網(wǎng)絡(luò)，構(gòu)建提取光學(xué)圖像和素描圖像的特征的模型，這種模型不具備良好的泛化能力，其只適用于高質(zhì)量的數(shù)據(jù)集，無(wú)法滿(mǎn)足真實(shí)場(chǎng)景中低質(zhì)量素描圖像識(shí)別的需求。

4、針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種素描人臉識(shí)別方法及裝置，以至少解決相關(guān)素描人臉技術(shù)的識(shí)別準(zhǔn)確性較低的技術(shù)問(wèn)題。

2、根據(jù)本技術(shù)實(shí)施例的一個(gè)方面，提供了一種素描人臉識(shí)別方法，包括：獲取目標(biāo)素描人臉圖像和待匹配的光學(xué)人臉圖像庫(kù)，其中，光學(xué)人臉圖像庫(kù)內(nèi)包括多個(gè)光學(xué)人臉圖像；利用預(yù)訓(xùn)練的素描人臉合成模型對(duì)光學(xué)人臉圖像庫(kù)內(nèi)的各個(gè)光學(xué)人臉圖像和目標(biāo)素描人臉圖像進(jìn)行分析，得到多個(gè)目標(biāo)偽素描人臉圖像，其中，素描人臉合成模型包括全局素描合成模塊和多個(gè)局部素描細(xì)化模塊，且局部素描細(xì)化模塊用于對(duì)光學(xué)人臉圖像和素描人臉圖像內(nèi)各個(gè)人臉部位進(jìn)行局部分析，得到局部偽素描圖像；利用預(yù)訓(xùn)練的素描人臉識(shí)別模型對(duì)目標(biāo)素描人臉圖像、多個(gè)光學(xué)人臉圖像和對(duì)應(yīng)的目標(biāo)偽素描人臉圖像進(jìn)行分析，以從多個(gè)光學(xué)人臉圖像內(nèi)確定與目標(biāo)素描人臉圖像的相似度不低于預(yù)設(shè)相似度閾值的目標(biāo)光學(xué)人臉圖像。

3、可選地，素描人臉合成模型的訓(xùn)練過(guò)程包括：獲取第一訓(xùn)練集，其中，第一訓(xùn)練集包括第一訓(xùn)練樣本集和第一樣本標(biāo)簽集，且第一訓(xùn)練樣本集內(nèi)包括多個(gè)素描人臉樣本圖像和多個(gè)光學(xué)人臉樣本圖像，第一樣本標(biāo)簽集內(nèi)包括每個(gè)素描人臉樣本圖像的人臉標(biāo)簽以及每個(gè)光學(xué)人臉樣本圖像的人臉標(biāo)簽；構(gòu)建初始合成模型；利用第一訓(xùn)練集對(duì)初始合成模型進(jìn)行迭代訓(xùn)練，得到素描人臉合成模型。

4、可選地，全局素描合成模塊和每個(gè)局部素描細(xì)化模塊均包括生成器、判別器和塊特征提取器，其中，利用第一訓(xùn)練集對(duì)初始合成模型進(jìn)行迭代訓(xùn)練，得到素描人臉合成模型，包括：對(duì)于迭代訓(xùn)練過(guò)程中的每個(gè)訓(xùn)練批次，從第一訓(xùn)練樣本集中隨機(jī)選取預(yù)設(shè)數(shù)量的素描人臉樣本圖像和多個(gè)光學(xué)人臉樣本圖像，并從第一樣本標(biāo)簽集中確定所選取預(yù)設(shè)數(shù)量的多個(gè)素描人臉樣本圖像對(duì)應(yīng)的人臉標(biāo)簽和多個(gè)光學(xué)人臉樣本圖像對(duì)應(yīng)的人臉標(biāo)簽，得到多組第一訓(xùn)練樣本；對(duì)于每個(gè)訓(xùn)練批次對(duì)應(yīng)的各組第一訓(xùn)練樣本，均執(zhí)行如下步驟：利用全局生成器對(duì)光學(xué)人臉樣本圖像進(jìn)行處理，得到全局偽素描人臉樣本圖像，并利用多個(gè)局部生成器對(duì)光學(xué)人臉樣本圖像內(nèi)的各個(gè)人臉部位進(jìn)行處理，得到多個(gè)第一局部偽素描樣本圖像，其中，全局生成器內(nèi)包括編碼器和解碼器，且編碼器內(nèi)至少包括殘差塊；將全局偽素描人臉樣本圖像、光學(xué)人臉樣本圖像和素描人臉樣本圖像分別按照人臉部位進(jìn)行劃分，得到對(duì)應(yīng)的多個(gè)第二局部偽素描樣本圖像、多個(gè)局部光學(xué)樣本圖像和多個(gè)局部素描樣本圖像；利用全局判別器對(duì)全局偽素描人臉樣本圖像和素描人臉樣本圖像進(jìn)行判別分析，得到對(duì)應(yīng)的第一真實(shí)性判別結(jié)果，并利用多個(gè)局部判別器分別對(duì)相同人臉部位的第一局部偽素描樣本圖像和局部光學(xué)樣本圖像、第二局部偽素描樣本圖像和局部光學(xué)樣本圖像進(jìn)行判別分析，得到對(duì)應(yīng)的第二真實(shí)性判別結(jié)果和第三真實(shí)性判別結(jié)果；利用全局塊特征提取器對(duì)全局偽素描人臉樣本圖像、素描人臉樣本圖像進(jìn)行處理，得到全局偽素描人臉樣本圖像對(duì)應(yīng)的多個(gè)第一圖像塊、素描人臉樣本圖像對(duì)應(yīng)的多個(gè)第二圖像塊，并利用多個(gè)局部塊特征提取器分別對(duì)多個(gè)第一局部偽素描樣本圖像、多個(gè)第二局部偽素描樣本圖像和多個(gè)局部光學(xué)樣本圖像進(jìn)行處理，得到每個(gè)第一局部偽素描樣本圖像對(duì)應(yīng)的多個(gè)第三圖像塊、每個(gè)第二局部偽素描樣本圖像對(duì)應(yīng)的多個(gè)第四圖像塊和每個(gè)局部光學(xué)樣本圖像對(duì)應(yīng)的多個(gè)第五圖像塊，其中，第一圖像塊、第二圖像塊、第三圖像塊、第四圖像塊和第五圖像塊分別是對(duì)全局偽素描人臉樣本圖像、素描人臉樣本圖像、各個(gè)第一局部偽素描樣本圖像、各個(gè)第二局部偽素描樣本圖和各個(gè)局部光學(xué)樣本圖像在編碼器內(nèi)各個(gè)卷積層輸出的特征圖劃分所得；基于多組第一訓(xùn)練樣本的第一真實(shí)性判別結(jié)果、素描人臉樣本圖像和光學(xué)人臉樣本圖像構(gòu)建全局生成對(duì)抗損失函數(shù)，并基于多組第一訓(xùn)練樣本對(duì)應(yīng)的第一圖像塊、第二圖像塊構(gòu)建全局多層塊對(duì)比損失函數(shù)；基于多組第一訓(xùn)練樣本的第二真實(shí)性判別結(jié)果、多個(gè)第一局部偽素描樣本圖像和多個(gè)局部光學(xué)樣本圖像構(gòu)建第一類(lèi)局部生成對(duì)抗損失函數(shù)，并基于多組第一訓(xùn)練樣本的第三真實(shí)性判別結(jié)果、多個(gè)局部光學(xué)樣本圖像和多個(gè)第二局部偽素描樣本圖像構(gòu)建第二類(lèi)局部生成對(duì)抗損失函數(shù)；基于多組第一訓(xùn)練樣本對(duì)應(yīng)的第三圖像塊、第五圖像塊構(gòu)建第一類(lèi)多層塊對(duì)比損失函數(shù)，并基于多組第一訓(xùn)練樣本對(duì)應(yīng)的第四圖像塊、第五圖像塊構(gòu)建第二類(lèi)多層塊對(duì)比損失函數(shù)；基于多組第一訓(xùn)練樣本內(nèi)相同人臉部位的第一局部偽素描樣本圖像對(duì)應(yīng)的第三圖像塊和第二局部偽素描樣本圖像對(duì)應(yīng)的第四圖像塊構(gòu)建局部一致性損失函數(shù)；基于全局生成對(duì)抗損失函數(shù)、全局多層塊對(duì)比損失函數(shù)、第一類(lèi)局部生成對(duì)抗損失函數(shù)、第二類(lèi)局部生成對(duì)抗損失函數(shù)、第一類(lèi)多層塊對(duì)比損失函數(shù)、第二類(lèi)多層塊對(duì)比損失函數(shù)和局部一致性損失函數(shù)構(gòu)建第一目標(biāo)損失函數(shù)；利用第一目標(biāo)損失函數(shù)調(diào)整初始合成模型的模型參數(shù)，得到素描人臉合成模型。

5、可選地，利用全局塊特征提取器對(duì)全局偽素描人臉樣本圖像、素描人臉樣本圖像進(jìn)行處理，得到全局偽素描人臉樣本圖像對(duì)應(yīng)的多個(gè)第一圖像塊、素描人臉樣本圖像對(duì)應(yīng)的多個(gè)第二圖像塊，包括：獲取利用編碼器內(nèi)多個(gè)卷積層對(duì)全局偽素描人臉樣本圖像進(jìn)行編碼所得的多個(gè)第一特征圖，并利用全局塊特征提取器對(duì)各個(gè)第一特征圖進(jìn)行分塊處理，得到每個(gè)第一特征圖對(duì)應(yīng)的多個(gè)第一圖像塊；獲取利用編碼器內(nèi)多個(gè)卷積層對(duì)光學(xué)人臉樣本圖進(jìn)行編碼所得的多個(gè)第二特征圖，并利用全局塊特征提取器對(duì)各個(gè)第二特征圖進(jìn)行分塊處理，得到每個(gè)第二特征圖對(duì)應(yīng)的多個(gè)第二圖像塊，其中，將與第一圖像塊為相同卷積層輸出的特征圖內(nèi)相同位置的第二圖像塊作為正類(lèi)塊，將與第一圖像塊為相同卷積層輸出的特征圖內(nèi)不同位置的第二圖像塊作為負(fù)類(lèi)塊。

6、可選地，素描人臉識(shí)別模型的訓(xùn)練過(guò)程包括：獲取第二訓(xùn)練集，其中，第二訓(xùn)練集包括第二訓(xùn)練樣本集、第二樣本標(biāo)簽集，且第二訓(xùn)練樣本集內(nèi)包括：第一訓(xùn)練樣本集以及利用素描人臉合成模型對(duì)第一訓(xùn)練樣本集進(jìn)行處理所得的多個(gè)全局偽素描人臉樣本圖像，第二樣本標(biāo)簽集內(nèi)包括：每個(gè)素描人臉樣本圖像的人臉標(biāo)簽、每個(gè)光學(xué)人臉樣本圖像的人臉標(biāo)簽以及每個(gè)全局偽素描人臉樣本圖像的人臉標(biāo)簽；構(gòu)建初始識(shí)別模型，其中，初始識(shí)別模型內(nèi)至少包括：卷積神經(jīng)網(wǎng)絡(luò)、序列化模塊、多層分組transformer網(wǎng)絡(luò)、廣義平均池化層、域自適應(yīng)網(wǎng)絡(luò)，且每層分組transformer網(wǎng)絡(luò)內(nèi)均包括多頭自注意力模塊、跨組多頭自注意力模塊、前饋網(wǎng)絡(luò)模塊；利用第二訓(xùn)練集對(duì)初始識(shí)別模型進(jìn)行迭代訓(xùn)練，得到素描人臉識(shí)別模型。

7、可選地，利用第二訓(xùn)練集對(duì)初始識(shí)別模型進(jìn)行迭代訓(xùn)練，得到素描人臉識(shí)別模型，包括：對(duì)于迭代訓(xùn)練過(guò)程中的每個(gè)訓(xùn)練批次，從第二訓(xùn)練樣本集中隨機(jī)選取預(yù)設(shè)數(shù)量的光學(xué)人臉樣本圖像、素描人臉樣本圖像和全局偽素描人臉樣本圖像，并從第二樣本標(biāo)簽集內(nèi)確定所選取的預(yù)設(shè)數(shù)量的光學(xué)人臉樣本圖像、素描人臉樣本圖像和全局偽素描人臉樣本圖像各自的人臉標(biāo)簽，得到多組第二訓(xùn)練樣本，其中，每組第二訓(xùn)練樣本內(nèi)的光學(xué)人臉樣本圖像、素描人臉樣本圖像和全局偽素描人臉樣本圖像的人臉標(biāo)簽相同；利用多個(gè)訓(xùn)練批次對(duì)應(yīng)的各個(gè)多組第二訓(xùn)練樣本對(duì)初始識(shí)別模型進(jìn)行訓(xùn)練，得到素描人臉識(shí)別模型。

8、可選地，利用多個(gè)訓(xùn)練批次對(duì)應(yīng)的各個(gè)多組第二訓(xùn)練樣本對(duì)初始識(shí)別模型進(jìn)行訓(xùn)練，得到素描人臉識(shí)別模型，包括：對(duì)于每組第二訓(xùn)練樣本內(nèi)的任意一個(gè)目標(biāo)圖像，均執(zhí)行如下步驟：利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖像進(jìn)行卷積處理，得到低分辨率特征圖；利用序列化模塊對(duì)低分辨率特征圖進(jìn)行序列化處理，得到視覺(jué)標(biāo)記序列；利用多頭自注意力網(wǎng)絡(luò)對(duì)視覺(jué)標(biāo)記序列進(jìn)行分組，得到多個(gè)第一分組，并對(duì)各個(gè)第一分組內(nèi)的所有序列化特征進(jìn)行自注意力運(yùn)算，并將各組所得的自注意力建模結(jié)果進(jìn)行拼接，得到各個(gè)第一分組對(duì)應(yīng)的分組多頭自注意力建模結(jié)果；利用跨組多頭自注意力網(wǎng)絡(luò)對(duì)多個(gè)分組多頭自注意力建模結(jié)果進(jìn)行跨組組合，得到多個(gè)第二分組，并對(duì)各個(gè)第二分組內(nèi)的所有序列化特征進(jìn)行自注意力運(yùn)算，將各組所得的自注意力建模結(jié)果進(jìn)行拼接，得到各個(gè)第二分組對(duì)應(yīng)的跨組多頭自注意力建模結(jié)果；利用前饋網(wǎng)絡(luò)對(duì)多個(gè)跨組多頭自注意力建模結(jié)果與視覺(jué)標(biāo)記序列進(jìn)行分析，得到圖像特征向量，并利用廣義平均池化層對(duì)圖像特征向量進(jìn)行處理，得到目標(biāo)圖像特征向量；利用域自適應(yīng)網(wǎng)絡(luò)確定每組第二訓(xùn)練樣本內(nèi)的各個(gè)目標(biāo)圖像的目標(biāo)圖像特征向量之間的相似度；依據(jù)多組第二訓(xùn)練樣本內(nèi)各個(gè)目標(biāo)圖像的目標(biāo)圖像特征向量間的相似度構(gòu)建第二目標(biāo)損失函數(shù)，并利用第二目標(biāo)損失函數(shù)調(diào)整初始識(shí)別模型的模型參數(shù)，得到素描人臉識(shí)別模型。

9、可選地，前饋網(wǎng)絡(luò)包括：第一標(biāo)準(zhǔn)化層、線(xiàn)性層、第二標(biāo)準(zhǔn)化層，其中，利用前饋網(wǎng)絡(luò)對(duì)多個(gè)跨組多頭自注意力建模結(jié)果與視覺(jué)標(biāo)記序列進(jìn)行分析，得到圖像特征向量，包括：將多個(gè)跨組多頭自注意力建模結(jié)果與視覺(jué)標(biāo)記序列進(jìn)行跳躍連接，得到對(duì)應(yīng)的第一跳躍連接結(jié)果，并利用第一標(biāo)準(zhǔn)化層對(duì)第一跳躍連接結(jié)果進(jìn)行標(biāo)準(zhǔn)化處理，得到第一建模結(jié)果；利用線(xiàn)性層對(duì)第一建模結(jié)果進(jìn)行ffn映射，得到ffn映射結(jié)果，并將ffn映射結(jié)果和第一建模結(jié)果進(jìn)行跳躍連接，得到對(duì)應(yīng)的第二跳躍連接結(jié)果；利用第二標(biāo)準(zhǔn)化層對(duì)第二跳躍連接結(jié)果進(jìn)行標(biāo)準(zhǔn)化處理，得到第二建模結(jié)果；將第二建模結(jié)果與序列化特征進(jìn)行跳躍連接，得到圖像特征向量。

10、可選地，依據(jù)多組第二訓(xùn)練樣本內(nèi)各個(gè)目標(biāo)圖像的目標(biāo)圖像特征向量間的歐式距離構(gòu)建第二目標(biāo)損失函數(shù)，包括：根據(jù)歐式距離確定多組第二訓(xùn)練樣本內(nèi)的素描人臉樣本圖像在多組第二訓(xùn)練樣本內(nèi)的概率分布；根據(jù)概率分布構(gòu)建第二目標(biāo)損失函數(shù)。

11、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種素描人臉識(shí)別裝置，包括：獲取模塊，用于獲取目標(biāo)素描人臉圖像和待匹配的光學(xué)人臉圖像庫(kù)，其中，光學(xué)人臉圖像庫(kù)內(nèi)包括多個(gè)光學(xué)人臉圖像；合成模塊，用于利用預(yù)訓(xùn)練的素描人臉合成模型對(duì)光學(xué)人臉圖像庫(kù)內(nèi)的各個(gè)光學(xué)人臉圖像和目標(biāo)素描人臉圖像進(jìn)行分析，得到多個(gè)目標(biāo)偽素描人臉圖像，其中，素描人臉合成模型包括全局素描合成模塊和多個(gè)局部素描細(xì)化模塊，且局部素描細(xì)化模塊用于對(duì)光學(xué)人臉圖像和素描人臉圖像內(nèi)各個(gè)人臉部位進(jìn)行局部分析，得到局部偽素描圖像；識(shí)別模塊，用于利用預(yù)訓(xùn)練的素描人臉識(shí)別模型對(duì)目標(biāo)素描人臉圖像、多個(gè)光學(xué)人臉圖像和對(duì)應(yīng)的目標(biāo)偽素描人臉圖像進(jìn)行分析，以從多個(gè)光學(xué)人臉圖像內(nèi)確定與目標(biāo)素描人臉圖像的相似度不低于預(yù)設(shè)相似度閾值的目標(biāo)光學(xué)人臉圖像。

12、在本技術(shù)實(shí)施例中，利用素描人臉合成模型內(nèi)的全局素描合成模塊合成全局偽素描人臉圖像，并利用多個(gè)局部素描細(xì)化模塊對(duì)合成的全局偽素描人臉圖像的局部特征進(jìn)行細(xì)化，得到細(xì)節(jié)更加精細(xì)化的偽素描人臉圖像。再將偽素描人臉圖像、素描人臉樣本圖像和光學(xué)人臉圖像輸入至素描人臉識(shí)別模型中，得到待識(shí)別素描圖像與各光學(xué)圖像之間的相似度，并可以將相似度滿(mǎn)足預(yù)設(shè)條件的光學(xué)圖像作為所述目標(biāo)素描圖像的識(shí)別結(jié)果。其中，通過(guò)分組transformer網(wǎng)絡(luò)將復(fù)雜度高的自注意力機(jī)制優(yōu)化為分組自注意力和跨組自注意力兩個(gè)階段，分組自注意力將標(biāo)記分組執(zhí)行組內(nèi)自注意力以提高效率，跨組自注意力通過(guò)跨組重組實(shí)現(xiàn)不同組標(biāo)記的跨組交互以學(xué)習(xí)全局的上下文聯(lián)系，能夠捕獲長(zhǎng)距離特征，可以增強(qiáng)鑒別特征在素描人臉識(shí)別中的關(guān)鍵作用，從而可以有效提高素描人臉識(shí)別的準(zhǔn)確率，從而解決了相關(guān)素描人臉技術(shù)的識(shí)別準(zhǔn)確性較低技術(shù)問(wèn)題。