本發(fā)明涉及行人重檢測，尤其涉及一種基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)：

1、reid即行人重識別(person?re-identification)也稱行人再識別，是利用計算機(jī)視覺技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)。廣泛被認(rèn)為是一個圖像檢索的子問題。給定一個監(jiān)控行人圖像，檢索跨設(shè)備下的該行人圖像。旨在彌補(bǔ)固定的攝像頭的視覺局限，并可與行人檢測/行人跟蹤技術(shù)相結(jié)合，可廣泛應(yīng)用于智能視頻監(jiān)控、智能安保等領(lǐng)域。

2、由于不同攝像設(shè)備之間的差異，同時行人兼具剛性和柔性的特性，外觀易受穿著、尺度、遮擋、姿態(tài)和視角等影響，使得行人重識別成為計算機(jī)視覺領(lǐng)域中一個既具有研究價值同時又極具挑戰(zhàn)性的熱門課題。

3、現(xiàn)有技術(shù)中，目前大多數(shù)行人重識別的方法都是在可見光攝像頭下進(jìn)行檢測，然而對于在夜間紅外攝像頭下進(jìn)行行人重識別，目前沒有有效的檢測方法，且相比于單模態(tài)行人重識別，實現(xiàn)日夜跨度全天候下可見光和紅外光兩種不同模態(tài)下的行人重識別更加困難，因此，如何實現(xiàn)多模態(tài)reid檢測是當(dāng)前亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法、裝置、介質(zhì)及設(shè)備。

2、本發(fā)明的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實踐而習(xí)得。

3、根據(jù)本發(fā)明實施例的第一方面，提供了一種基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法，所述基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法包括：

4、s1、基于同一場景獲取原始數(shù)據(jù)集，基于所述原始數(shù)據(jù)集進(jìn)行模型訓(xùn)練，通過遷移學(xué)習(xí)方法將所述原始數(shù)據(jù)集中的多個標(biāo)注數(shù)據(jù)映射到同一特征空間后，訓(xùn)練得到多模態(tài)模塊；

5、s2、實時獲取待檢測的視頻流數(shù)據(jù)，對所述視頻流數(shù)據(jù)進(jìn)行解析，獲取單幀的待檢測圖像數(shù)據(jù)；

6、s3、對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉檢測處理，得到第一識別結(jié)果，確認(rèn)所述第一識別結(jié)果是否符合人臉質(zhì)量要求，在所述第一識別結(jié)果符合人臉質(zhì)量要求時，執(zhí)行步驟s4，在所述第一識別結(jié)果不符合人臉質(zhì)量要求時，執(zhí)行步驟s5；

7、s4、對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉識別處理，得到第二識別結(jié)果，確認(rèn)所述第二識別結(jié)果是否與人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配，在所述第二識別結(jié)果與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配時，執(zhí)行步驟s8，在所述第二識別結(jié)果與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)不匹配時，執(zhí)行步驟s5；

8、s5、基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測處理，得到第三識別結(jié)果，確認(rèn)所述第三識別結(jié)果是否滿足目標(biāo)質(zhì)量要求，在所述第三識別結(jié)果符合目標(biāo)質(zhì)量要求時，執(zhí)行步驟s6，在所述第三識別結(jié)果不符合目標(biāo)質(zhì)量要求時，舍棄所述待檢測圖像數(shù)據(jù)，并重新執(zhí)行步驟s2；

9、s6、基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行屬性識別處理，得到第四識別結(jié)果，確認(rèn)所述第四識別結(jié)果是否與屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配，在所述第四識別結(jié)果與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配時，執(zhí)行步驟s8，在所述第四識別結(jié)果與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)不匹配時，執(zhí)行步驟s7；

10、s7、基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行reid檢測處理，得到第五識別結(jié)果，確認(rèn)所述第五識別結(jié)果是否與reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配，在所述第五識別結(jié)果與所述reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配時，執(zhí)行步驟s8；

11、s8、輸出行人重識別檢測結(jié)果，所述行人重識別檢測結(jié)果表征在所述待檢測圖像數(shù)據(jù)中成功識別到行人。

12、在本發(fā)明的一些實施例中，在步驟s3中，所述對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉檢測識別處理，得到第一識別結(jié)果包括：

13、對所述待檢測圖像數(shù)據(jù)基于人臉檢測算法進(jìn)行處理，在檢測到人臉后獲取人臉質(zhì)量參數(shù)；

14、確認(rèn)所述待檢測圖像數(shù)據(jù)中的人臉質(zhì)量參數(shù)是否符合人臉質(zhì)量要求，得到所述第一識別結(jié)果。

15、在本發(fā)明的一些實施例中，在步驟s4中，所述對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉識別處理，得到第二識別結(jié)果包括：

16、對所述待檢測圖像數(shù)據(jù)基于人臉識別算法進(jìn)行處理，提取人臉特征數(shù)據(jù)，得到第二識別結(jié)果；

17、確認(rèn)所述人臉特征數(shù)據(jù)是否與人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配；

18、在所述人臉特征數(shù)據(jù)與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配時，執(zhí)行步驟s8；

19、在所述人臉特征數(shù)據(jù)與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)不匹配時，執(zhí)行步驟s5，并將所述人臉特征數(shù)據(jù)入庫存儲至所述人臉特征向量數(shù)據(jù)庫中。

20、在本發(fā)明的一些實施例中，在步驟s5中，所述基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測處理，得到第三識別結(jié)果包括：

21、對所述待檢測圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測處理，從所述待檢測圖像數(shù)據(jù)識別目標(biāo)人物區(qū)域；

22、截取所述目標(biāo)人物區(qū)域的圖像數(shù)據(jù)，確認(rèn)所述目標(biāo)人物區(qū)域的圖像數(shù)據(jù)的目標(biāo)質(zhì)量，得到第三識別結(jié)果。

23、在本發(fā)明的一些實施例中，在步驟s6中，所述基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行屬性識別處理，得到第四識別結(jié)果包括：

24、基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行屬性識別處理，提取屬性特征數(shù)據(jù)，得到第四識別結(jié)果；

25、確認(rèn)所述屬性特征數(shù)據(jù)是否與屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配；

26、在所述屬性特征數(shù)據(jù)與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配時，執(zhí)行步驟s8；

27、在所述屬性特征數(shù)據(jù)與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)不匹配時，執(zhí)行步驟s7，并將所述屬性特征數(shù)據(jù)入庫存儲至所述屬性特征向量數(shù)據(jù)庫中。

28、在本發(fā)明的一些實施例中，在步驟s7中，所述基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行reid檢測處理，得到第五識別結(jié)果包括：

29、基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行reid檢測處理，提取reid特征數(shù)據(jù)，得到第五識別結(jié)果；

30、確認(rèn)所述reid特征數(shù)據(jù)是否與reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配；

31、在所述reid特征數(shù)據(jù)與所述reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配時，執(zhí)行步驟s8；

32、在所述reid特征數(shù)據(jù)與所述reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)不匹配時，將所述reid特征數(shù)據(jù)入庫存儲至所述reid特征向量數(shù)據(jù)庫中。

33、在本發(fā)明的一些實施例中，所述原始數(shù)據(jù)集包括分別獲取的第一目標(biāo)樣本的可見光圖像數(shù)據(jù)、同源的第一紅外圖像數(shù)據(jù)以及不同源的第二圖像數(shù)據(jù)，以及獲取的第二目標(biāo)樣本的第三紅外圖像數(shù)據(jù)。

34、根據(jù)本發(fā)明實施例的第二方面，提供了一種基于遷移學(xué)習(xí)的多模態(tài)reid檢測裝置，所述基于遷移學(xué)習(xí)的多模態(tài)reid檢測裝置包括：

35、訓(xùn)練模塊，用于基于同一場景獲取原始數(shù)據(jù)集，基于所述原始數(shù)據(jù)集進(jìn)行模型訓(xùn)練，通過遷移學(xué)習(xí)方法將所述原始數(shù)據(jù)集中的多個標(biāo)注數(shù)據(jù)映射到同一特征空間后，訓(xùn)練得到多模態(tài)模塊；

36、圖像解析模塊，用于實時獲取待檢測的視頻流數(shù)據(jù)，對所述視頻流數(shù)據(jù)進(jìn)行解析，獲取單幀的待檢測圖像數(shù)據(jù)；

37、人臉檢測模塊，用于對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉檢測處理，得到第一識別結(jié)果，確認(rèn)所述第一識別結(jié)果是否符合人臉質(zhì)量要求，在所述第一識別結(jié)果符合人臉質(zhì)量要求時，輸出所述待檢測圖像數(shù)據(jù)至人臉識別模塊，在所述第一識別結(jié)果不符合人臉質(zhì)量要求時，輸出所述待檢測圖像數(shù)據(jù)至目標(biāo)檢測模塊；

38、人臉識別模塊，用于對所述待檢測圖像數(shù)據(jù)進(jìn)行人臉識別處理，得到第二識別結(jié)果，確認(rèn)所述第二識別結(jié)果是否與人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配，在所述第二識別結(jié)果與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)相匹配時，輸出所述待檢測圖像數(shù)據(jù)至結(jié)果輸出模塊，在所述第二識別結(jié)果與所述人臉特征向量數(shù)據(jù)庫中的人臉數(shù)據(jù)不匹配時，輸出所述待檢測圖像數(shù)據(jù)至目標(biāo)檢測模塊；

39、目標(biāo)檢測模塊，用于基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行目標(biāo)檢測處理，得到第三識別結(jié)果，確認(rèn)所述第三識別結(jié)果是否滿足目標(biāo)質(zhì)量要求，在所述第三識別結(jié)果符合目標(biāo)質(zhì)量要求時，輸出所述待檢測圖像數(shù)據(jù)至屬性識別模塊，在所述第三識別結(jié)果不符合目標(biāo)質(zhì)量要求時，舍棄所述待檢測圖像數(shù)據(jù)，并重新獲取下一幀的待檢測圖像數(shù)據(jù)；

40、屬性識別模塊，用于基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行屬性識別處理，得到第四識別結(jié)果，確認(rèn)所述第四識別結(jié)果是否與屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配，在所述第四識別結(jié)果與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)相匹配時，輸出所述待檢測圖像數(shù)據(jù)至結(jié)果輸出模塊，在所述第四識別結(jié)果與所述屬性特征向量數(shù)據(jù)庫中的屬性數(shù)據(jù)不匹配時，輸出所述待檢測圖像數(shù)據(jù)至reid檢測模塊；

41、reid檢測模塊，用于基于多模態(tài)模塊對所述待檢測圖像數(shù)據(jù)進(jìn)行reid檢測處理，得到第五識別結(jié)果，確認(rèn)所述第五識別結(jié)果是否與reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配，在所述第五識別結(jié)果與所述reid特征向量數(shù)據(jù)庫中的reid數(shù)據(jù)相匹配時，執(zhí)行步驟s8；

42、結(jié)果輸出模塊，用于輸出行人重識別檢測結(jié)果。

43、根據(jù)本發(fā)明實施例的第三方面，提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)中存儲有計算機(jī)程序指令，所述計算機(jī)程序指令由處理器加載并執(zhí)行以實現(xiàn)如上述任一項所述的方法所執(zhí)行的操作。

44、根據(jù)本發(fā)明實施例的第四方面，提供了一種電子設(shè)備，包括處理器和存儲器，所述存儲器存儲有能夠被所述處理器執(zhí)行的計算機(jī)程序指令，所述處理器執(zhí)行所述計算機(jī)程序指令時，實現(xiàn)如上述任一所述的方法的指令。

45、本發(fā)明實施例中提供的技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點：

46、本發(fā)明實施例提供了一種基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法、裝置、介質(zhì)及設(shè)備，本發(fā)明實施例所述的基于遷移學(xué)習(xí)的多模態(tài)reid檢測方法通過遷移學(xué)習(xí)方法重新構(gòu)建數(shù)據(jù)集，得到包括見光圖像數(shù)據(jù)以及紅外圖像數(shù)據(jù)的原始數(shù)據(jù)集，根據(jù)所述原始數(shù)據(jù)集訓(xùn)練得到多模態(tài)模塊，在進(jìn)行目標(biāo)檢測、屬性識別和行人重識別時，即便是夜視紅外、夜間等光線不充足的情況下，也可以獲得較高的檢測精度，具有較高的應(yīng)用推廣前景。

47、上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的具體實施方式。