本技術(shù)涉及圖像處理，應(yīng)用于銀行人體檢測(cè)場(chǎng)景中，尤其涉及一種物體檢測(cè)方法、裝置、設(shè)備及其存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在銀行的人員識(shí)別和檢測(cè)任務(wù)中，可能會(huì)出現(xiàn)兩種情況：漏檢和誤檢。漏檢指的是系統(tǒng)未能正確地識(shí)別和檢測(cè)出真實(shí)存在的人員。這可能發(fā)生在人員特征不明顯或者環(huán)境條件復(fù)雜的情況下，例如，當(dāng)客戶人員較為密集，流動(dòng)情況較大，會(huì)導(dǎo)致漏檢的情況發(fā)生。這種情況下，系統(tǒng)可能無法提供準(zhǔn)確的安全監(jiān)控，對(duì)銀行的安全性產(chǎn)生影響。誤檢則是指系統(tǒng)錯(cuò)誤地將非目標(biāo)人員識(shí)別為目標(biāo)人員。這種情況可能會(huì)發(fā)生在識(shí)別算法將類人體物體識(shí)別為人體的情況，例如：人體模型。

2、目前，為了應(yīng)對(duì)這些情況，銀行在人員識(shí)別和檢測(cè)任務(wù)中需要不斷改進(jìn)和優(yōu)化識(shí)別算法，提高對(duì)復(fù)雜場(chǎng)景和特殊情況的適應(yīng)能力，但是，一味的對(duì)檢測(cè)模型盲目的進(jìn)行不斷優(yōu)化和改進(jìn)，不僅需要耗費(fèi)大量的訓(xùn)練數(shù)據(jù)和精力，使得投入成本較大，最終檢驗(yàn)結(jié)果也無法有效保障，而且無法形成對(duì)比驗(yàn)證，導(dǎo)致無法快速篩選出漏檢/誤檢目標(biāo)，對(duì)銀行安保部門的輔助作用較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提出一種物體檢測(cè)方法、裝置、設(shè)備及其存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)在銀行人體目標(biāo)檢測(cè)場(chǎng)景中，無法快速篩選出漏檢/誤檢目標(biāo)，對(duì)銀行安保部門的輔助作用較低的問題。

2、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例提供物體檢測(cè)方法，采用了如下所述的技術(shù)方案：

3、一種物體檢測(cè)方法，包括下述步驟：

4、獲取待檢測(cè)視頻片段；

5、從所述待檢測(cè)視頻片段中抽取出目標(biāo)數(shù)量的待檢測(cè)圖像；

6、將所述目標(biāo)數(shù)量的待檢測(cè)圖像依次分別輸入到第一檢測(cè)模型和第二檢測(cè)模型；

7、獲取所述第一檢測(cè)模型輸出的整體性檢測(cè)結(jié)果；以及，

8、獲取所述第二檢測(cè)模型輸出的局部性檢測(cè)結(jié)果；

9、將同一待檢測(cè)圖像對(duì)應(yīng)的整體性檢測(cè)結(jié)果和局部性檢測(cè)結(jié)果一并輸入到預(yù)設(shè)的一致性驗(yàn)證模型；

10、根據(jù)預(yù)設(shè)的驗(yàn)證策略和風(fēng)險(xiǎn)評(píng)估策略，預(yù)測(cè)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)；

11、根據(jù)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)篩選出目標(biāo)處理措施。

12、進(jìn)一步的，所述第一檢測(cè)模型包括基于openpose的人體關(guān)節(jié)點(diǎn)檢測(cè)模型，所述獲取所述第一檢測(cè)模型輸出的整體性檢測(cè)結(jié)果的步驟，具體包括：

13、采用所述人體關(guān)節(jié)點(diǎn)檢測(cè)模型的特征提取組件對(duì)當(dāng)前檢測(cè)圖像進(jìn)行特征提取，獲得特征提取結(jié)果；

14、將所述特征提取結(jié)果輸入到特征關(guān)鍵點(diǎn)篩選組件，篩選出特征關(guān)鍵點(diǎn)，并根據(jù)先驗(yàn)知識(shí)對(duì)所述特征關(guān)鍵點(diǎn)進(jìn)行人體部位信息標(biāo)記；

15、將所述特征關(guān)鍵點(diǎn)輸入到關(guān)鍵點(diǎn)連接組件，獲得特征關(guān)鍵點(diǎn)線性連接圖；

16、將所述特征關(guān)鍵點(diǎn)線性連接圖作為當(dāng)前待檢測(cè)圖像對(duì)應(yīng)的整體性檢測(cè)結(jié)果。

17、進(jìn)一步的，所述人體關(guān)節(jié)點(diǎn)檢測(cè)模型的特征提取組件由cnn卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，所述采用所述人體關(guān)節(jié)點(diǎn)檢測(cè)模型的特征提取組件對(duì)當(dāng)前檢測(cè)圖像進(jìn)行特征提取，獲得特征提取結(jié)果的步驟，具體包括：

18、通過所述cnn卷積神經(jīng)網(wǎng)絡(luò)對(duì)當(dāng)前檢測(cè)圖像進(jìn)行卷積處理，獲取所述特征提取結(jié)果；

19、所述將所述特征提取結(jié)果輸入到特征關(guān)鍵點(diǎn)篩選組件，篩選出特征關(guān)鍵點(diǎn)，并根據(jù)先驗(yàn)知識(shí)對(duì)所述特征關(guān)鍵點(diǎn)進(jìn)行人體部位信息標(biāo)記的步驟，具體包括：

20、將所述特征提取結(jié)果輸入到與所述cnn卷積神經(jīng)網(wǎng)絡(luò)連接的池化層進(jìn)行下采樣處理；

21、從下采樣處理結(jié)果中獲得目標(biāo)通道對(duì)應(yīng)的圖像熱力圖；

22、從所述圖像熱力圖中篩選出熱力值超過預(yù)設(shè)的熱力值閾值的特征點(diǎn)作為初選的特征關(guān)鍵點(diǎn)，其中，所述熱力值指像素值；

23、采用預(yù)設(shè)的位置補(bǔ)償機(jī)制對(duì)所有初選的特征關(guān)鍵點(diǎn)分別進(jìn)行位置補(bǔ)償，根據(jù)位置補(bǔ)償結(jié)果確定最終的特征關(guān)鍵點(diǎn)，根據(jù)先驗(yàn)知識(shí)標(biāo)記所有特征關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位信息；

24、所述將所述特征關(guān)鍵點(diǎn)輸入到關(guān)鍵點(diǎn)連接組件，獲得特征關(guān)鍵點(diǎn)線性連接圖的步驟，具體包括：

25、根據(jù)openpose中的raf位置與肢體關(guān)聯(lián)方法，對(duì)所述最終的特征關(guān)鍵點(diǎn)進(jìn)行連線處理，獲取所述特征關(guān)鍵點(diǎn)線性連接圖。

26、進(jìn)一步的，在執(zhí)行所述獲取所述第一檢測(cè)模型輸出的整體性檢測(cè)結(jié)果的步驟之后，所述方法還包括：

27、對(duì)當(dāng)前檢測(cè)圖像對(duì)應(yīng)的特征關(guān)鍵點(diǎn)線性連接圖進(jìn)行分析統(tǒng)計(jì)；

28、統(tǒng)計(jì)所述特征關(guān)鍵點(diǎn)線性連接圖中所包含的人體線條圖數(shù)量，并對(duì)所有人體線條圖進(jìn)行編號(hào)處理，獲得第一編號(hào)信息；以及，

29、統(tǒng)計(jì)每個(gè)人體線條圖中所包含的特征關(guān)鍵點(diǎn)數(shù)量，并分別對(duì)每個(gè)人體線條圖中的特征關(guān)鍵點(diǎn)進(jìn)行編號(hào)處理，獲得第二編號(hào)信息；

30、根據(jù)每個(gè)特征關(guān)鍵點(diǎn)所處的人體線條圖，確定出每個(gè)特征關(guān)鍵點(diǎn)所對(duì)應(yīng)的第一編號(hào)信息；

31、拼接所述第一編號(hào)信息和所述第二編號(hào)信息，作為特征關(guān)鍵點(diǎn)在所述特征關(guān)鍵點(diǎn)線性連接圖中的編號(hào)標(biāo)識(shí)信息。

32、進(jìn)一步的，所述第二檢測(cè)模型包括基于改進(jìn)mask-rcnn的人體局部區(qū)域檢測(cè)模型，所述獲取所述第二檢測(cè)模型輸出的局部性檢測(cè)結(jié)果的步驟，具體包括：

33、步驟501，從當(dāng)前檢測(cè)圖像所對(duì)應(yīng)的特征關(guān)鍵點(diǎn)線性連接圖中依次篩選不同的特征關(guān)鍵點(diǎn)作為目標(biāo)關(guān)鍵點(diǎn)；

34、步驟502，根據(jù)所述目標(biāo)關(guān)鍵點(diǎn)的位置信息和預(yù)設(shè)的檢測(cè)區(qū)域大小，從所述當(dāng)前檢測(cè)圖像中提取出目標(biāo)人體局部區(qū)域圖像；

35、步驟503，采用所述人體局部區(qū)域檢測(cè)模型的特征圖提取組件對(duì)所述目標(biāo)人體局部區(qū)域圖像進(jìn)行多尺度特征圖提取和融合，獲得特征提取結(jié)果；

36、步驟504，將所述特征提取結(jié)果輸入到分類預(yù)測(cè)組件進(jìn)行人體部位類別預(yù)測(cè)，獲得人體部位類別預(yù)測(cè)結(jié)果；

37、步驟505，重復(fù)執(zhí)行步驟501至步驟504，獲得當(dāng)前檢測(cè)圖像中所有特征關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位類別預(yù)測(cè)結(jié)果作為所述局部性檢測(cè)結(jié)果；

38、在執(zhí)行所述獲取所述第二檢測(cè)模型輸出的局部性檢測(cè)結(jié)果的步驟之后，所述方法還包括：

39、將所述目標(biāo)關(guān)鍵點(diǎn)在所述特征關(guān)鍵點(diǎn)線性連接圖中的編號(hào)標(biāo)識(shí)信息，設(shè)置為所述目標(biāo)關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位類別預(yù)測(cè)結(jié)果的區(qū)別編號(hào)信息。

40、進(jìn)一步的，所述人體局部區(qū)域檢測(cè)模型的特征圖提取組件包括基于resnet-fpn網(wǎng)絡(luò)結(jié)構(gòu)的特征圖提取組件，所述采用所述人體局部區(qū)域檢測(cè)模型的特征圖提取組件對(duì)所述目標(biāo)人體局部區(qū)域圖像進(jìn)行多尺度特征圖提取和融合，獲得特征提取結(jié)果的步驟，具體包括：

41、采用所述resnet-fpn網(wǎng)絡(luò)結(jié)構(gòu)對(duì)所述目標(biāo)人體局部區(qū)域圖像進(jìn)行多尺度特征圖提取，獲得多尺度特征圖；

42、將所述多尺度特征圖統(tǒng)一縮放到所述目標(biāo)人體局部區(qū)域圖像的尺度大小，并進(jìn)行特征圖融合，獲得融合后的特征圖作為特征提取結(jié)果；

43、所述分類預(yù)測(cè)組件由所述改進(jìn)mask-rcnn的人體局部區(qū)域檢測(cè)模型的mask分支網(wǎng)絡(luò)構(gòu)成，所述將所述特征提取結(jié)果輸入到分類預(yù)測(cè)組件進(jìn)行人體部位類別預(yù)測(cè)，獲得人體部位類別預(yù)測(cè)結(jié)果的步驟，具體包括：

44、將所述特征提取結(jié)果輸入到所述mask分支網(wǎng)絡(luò)，獲取所述mask分支網(wǎng)絡(luò)輸出的人體部位信息，其中，在使用所述人體局部區(qū)域檢測(cè)模型之前，預(yù)先將所述mask分支網(wǎng)絡(luò)的分類預(yù)測(cè)類別設(shè)置為不同的人體部位。

45、進(jìn)一步的，所述根據(jù)預(yù)設(shè)的驗(yàn)證策略和風(fēng)險(xiǎn)評(píng)估策略，預(yù)測(cè)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)的步驟，具體包括：

46、根據(jù)當(dāng)前待檢測(cè)圖像所對(duì)應(yīng)的整體性檢測(cè)結(jié)果，識(shí)別出當(dāng)前待檢測(cè)圖像所包含的所有特征關(guān)鍵點(diǎn)；

47、獲取所述所有特征關(guān)鍵點(diǎn)分別對(duì)應(yīng)的人體部位標(biāo)記信息，以及獲取所述所有特征關(guān)鍵點(diǎn)分別對(duì)應(yīng)的編號(hào)標(biāo)識(shí)信息；

48、根據(jù)當(dāng)前待檢測(cè)圖像所對(duì)應(yīng)的局部性檢測(cè)結(jié)果，識(shí)別出當(dāng)前檢測(cè)圖像中所有特征關(guān)鍵點(diǎn)對(duì)應(yīng)的人體部位類別預(yù)測(cè)結(jié)果，以及獲取所有人體部位類別預(yù)測(cè)結(jié)果分別對(duì)應(yīng)的區(qū)別編號(hào)信息；

49、統(tǒng)計(jì)所述區(qū)別編號(hào)信息與所述編號(hào)標(biāo)識(shí)信息相同時(shí)，人體部位類別預(yù)測(cè)結(jié)果與人體部位標(biāo)記信息相一致的數(shù)量占比；

50、若所述數(shù)量占比超過了預(yù)設(shè)的第一比例閾值，則當(dāng)前檢測(cè)圖像不存在漏檢/誤檢；

51、若所述數(shù)量占比未超過預(yù)設(shè)的第一比例閾值，但超過了預(yù)設(shè)的第二比例閾值，則當(dāng)前檢測(cè)圖像存在較低的漏檢/誤檢風(fēng)險(xiǎn)，其中，所述第一比例閾值大于所述第二比例閾值；

52、若所述數(shù)量占比未超過預(yù)設(shè)的第二比例閾值，則當(dāng)前檢測(cè)圖像存在較高的漏檢/誤檢風(fēng)險(xiǎn)；

53、所述根據(jù)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)篩選出目標(biāo)處理措施的步驟，具體包括：

54、若當(dāng)前檢測(cè)圖像不存在漏檢/誤檢，則向檢測(cè)反饋界面發(fā)送檢測(cè)正常的提示；

55、若當(dāng)前檢測(cè)圖像存在較低的漏檢/誤檢風(fēng)險(xiǎn)，則向檢測(cè)執(zhí)行端發(fā)送繼續(xù)采樣檢測(cè)的指令，以及向所述檢測(cè)反饋界面發(fā)送正在繼續(xù)檢測(cè)的提示；

56、若當(dāng)前檢測(cè)圖像存在較高的漏檢/誤檢風(fēng)險(xiǎn)，則向所述檢測(cè)反饋界面發(fā)送人工進(jìn)行核驗(yàn)的提示。

57、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供物體檢測(cè)裝置，采用了如下所述的技術(shù)方案：

58、一種物體檢測(cè)裝置，包括：

59、檢測(cè)視頻獲取模塊，用于獲取待檢測(cè)視頻片段；

60、待檢測(cè)圖像抽取模塊，用于從所述待檢測(cè)視頻片段中抽取出目標(biāo)數(shù)量的待檢測(cè)圖像；

61、檢測(cè)圖像輸入模塊，用于將所述目標(biāo)數(shù)量的待檢測(cè)圖像依次分別輸入到第一檢測(cè)模型和第二檢測(cè)模型；

62、整體性檢測(cè)結(jié)果獲取模塊，用于獲取所述第一檢測(cè)模型輸出的整體性檢測(cè)結(jié)果；以及，

63、局部性檢測(cè)結(jié)果獲取模塊，用于獲取所述第二檢測(cè)模型輸出的局部性檢測(cè)結(jié)果；

64、驗(yàn)證輸入模塊，用于將同一待檢測(cè)圖像對(duì)應(yīng)的整體性檢測(cè)結(jié)果和局部性檢測(cè)結(jié)果一并輸入到預(yù)設(shè)的一致性驗(yàn)證模型；

65、檢測(cè)風(fēng)險(xiǎn)預(yù)測(cè)模塊，用于根據(jù)預(yù)設(shè)的驗(yàn)證策略和風(fēng)險(xiǎn)評(píng)估策略，預(yù)測(cè)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)；

66、處理措施篩選模塊，用于根據(jù)每個(gè)待檢測(cè)圖像的漏檢/誤檢風(fēng)險(xiǎn)篩選出目標(biāo)處理措施。

67、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，采用了如下所述的技術(shù)方案：

68、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)上述所述的物體檢測(cè)方法的步驟。

69、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，采用了如下所述的技術(shù)方案：

70、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述所述的物體檢測(cè)方法的步驟。

71、與現(xiàn)有技術(shù)相比，本技術(shù)實(shí)施例主要有以下有益效果：

72、本技術(shù)實(shí)施例所述物體檢測(cè)方法，通過采用兩個(gè)檢測(cè)模型，對(duì)同一檢測(cè)圖像中的人體部位分別進(jìn)行整體性檢測(cè)和局部性檢測(cè)，之后再進(jìn)行一致性驗(yàn)證，根據(jù)驗(yàn)證結(jié)果確定漏檢/誤檢的風(fēng)險(xiǎn)大小，根據(jù)漏檢/誤檢的風(fēng)險(xiǎn)大小選擇不同的后續(xù)處理措施，將所述的物體檢測(cè)方法應(yīng)用到銀行人體識(shí)別場(chǎng)景中，尤其是采用所述的物體檢測(cè)方法對(duì)銀行人體監(jiān)控視頻片段里的人體目標(biāo)進(jìn)行檢測(cè)，能夠從監(jiān)控視頻中快速篩選出漏檢/誤檢目標(biāo)，并給出相關(guān)處理措施，輔助銀行安保部門進(jìn)行銀行安全性防護(hù)，提高銀行安全性。