本發(fā)明涉及圖像處理，尤其涉及一種基于多模態(tài)的對象類別檢測方法、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，對象識別技術(shù)以其顯著的準(zhǔn)確率為智能設(shè)備和交互式智能產(chǎn)品提供了便捷性和智能性。一個(gè)安全的對象識別系統(tǒng)能夠防御照片打印、視頻重放、3d仿生面具等攻擊，為了保障對象識別系統(tǒng)的安全性，在進(jìn)行對象識別前，進(jìn)行對象類別檢測處理尤為重要。

2、目前，通過攝像頭采集待檢測圖像進(jìn)行特征分析確定待檢測圖像中的對象類別。但上述方式存在檢測準(zhǔn)確性低下的問題。

3、因此，亟需一種能夠提高對象類別檢測準(zhǔn)確性的對象類別檢測方法。

技術(shù)實(shí)現(xiàn)思路

1、本申請主要解決的技術(shù)問題是提供一種基于多模態(tài)的對象類別檢測方法、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，能夠提高對象類別的檢測準(zhǔn)確性。

2、為解決上述技術(shù)問題，本申請?zhí)峁┝艘环N基于多模態(tài)的對象類別檢測方法，所述方法包括：獲取第一模態(tài)圖像，所述第一模態(tài)圖像包括待檢測對象；對所述第一模態(tài)圖像進(jìn)行模態(tài)轉(zhuǎn)換處理，得到第二模態(tài)圖像；對所述第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，得到過濾后的第二模態(tài)圖像；基于所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像進(jìn)行類別檢測處理，得到所述待檢測對象的目標(biāo)類別。

3、在一實(shí)施例中，所述對所述第一模態(tài)圖像進(jìn)行模態(tài)轉(zhuǎn)換處理，得到第二模態(tài)圖像的步驟，包括：將所述第一模態(tài)圖像輸入目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的模態(tài)轉(zhuǎn)換模塊輸出的第二模態(tài)圖像，和/或；所述基于所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像進(jìn)行類別檢測處理，得到所述待檢測對象的目標(biāo)類別的步驟，包括：將所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像輸入所述目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的類別檢測模塊確定的所述待檢測對象的目標(biāo)類別。

4、在一實(shí)施例中，所述將所述第一模態(tài)圖像輸入目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的模態(tài)轉(zhuǎn)換模塊輸出的第二模態(tài)圖像的步驟，包括：通過所述模態(tài)轉(zhuǎn)換模塊對所述第一模態(tài)圖像進(jìn)行特征提取處理，得到所述第一模態(tài)圖像中各像素點(diǎn)的潛在空間特征；根據(jù)所述第一模態(tài)圖像中各像素點(diǎn)的潛在空間特征進(jìn)行模態(tài)轉(zhuǎn)換處理，得到所述第二模態(tài)圖像，所述第二模態(tài)圖像中包括各像素點(diǎn)的潛在空間特征；對所述第二模態(tài)圖像中各像素點(diǎn)的潛在空間特征進(jìn)行上采樣處理，得到所述第二模態(tài)圖像中各像素點(diǎn)的像素空間特征。

5、在一實(shí)施例中，所述將所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像輸入所述目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的類別檢測模塊確定的待檢測對象的目標(biāo)類別的步驟，包括：通過所述目標(biāo)類別檢測模型的類別檢測模塊對所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像進(jìn)行模態(tài)融合處理，得到模態(tài)融合圖像；根據(jù)所述模態(tài)融合圖像的模態(tài)融合特征確定所述類別檢測模塊輸出的檢測結(jié)果；響應(yīng)于所述檢測結(jié)果表征所述待檢測對象的類別屬于所述目標(biāo)類別的概率大于預(yù)設(shè)概率閾值，則確定所述待檢測對象的類別為所述目標(biāo)類別。

6、在一實(shí)施例中，所述對所述第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，得到過濾后的第二模態(tài)圖像的步驟，包括：對所述第二模態(tài)圖像中各像素點(diǎn)在第一方向上的光照信息進(jìn)行濾波處理，得到各像素點(diǎn)在第一方向上的第一濾波數(shù)據(jù)；對所述第二模態(tài)圖像中各像素點(diǎn)在第二方向上的光照信息進(jìn)行濾波處理，得到各像素點(diǎn)在第二方向上的第二濾波數(shù)據(jù)；根據(jù)所述第二模態(tài)圖像中各像素點(diǎn)的第一濾波數(shù)據(jù)和第二濾波數(shù)據(jù)進(jìn)行像素卷積運(yùn)算，得到所述過濾后的第二模態(tài)圖像。

7、在一實(shí)施例中，所述對所述第二模態(tài)圖像中各像素點(diǎn)在第一方向上的光照信息進(jìn)行濾波處理，得到各像素點(diǎn)在第一方向上的第一濾波數(shù)據(jù)的步驟，包括：獲取所述第二模態(tài)圖像中各像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；響應(yīng)于所述像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)之間的平方和大于預(yù)設(shè)閾值，則獲取所述像素點(diǎn)的縱坐標(biāo)和橫坐標(biāo)之間坐標(biāo)比值的反正切值；將所述坐標(biāo)比值的反正切值的余弦值與所述平方和之間的比值確定為所述像素點(diǎn)在第一方向上的第一濾波數(shù)據(jù)。

8、在一實(shí)施例中，所述方法還包括：獲取待訓(xùn)練的第一模態(tài)圖像樣本集，所述待訓(xùn)練的第一模態(tài)圖像樣本集包括待訓(xùn)練的第一模態(tài)圖像樣本和各第一模態(tài)圖像樣本的樣本標(biāo)簽，所述樣本標(biāo)簽表征所述第一模態(tài)圖像樣本中樣本對象的樣本類別；將所述待訓(xùn)練的第一模態(tài)圖像樣本集中的第一模態(tài)圖像樣本輸入待訓(xùn)練的類別檢測模型的模態(tài)轉(zhuǎn)換模塊中，得到所述待訓(xùn)練的類別檢測模型的模態(tài)轉(zhuǎn)換模塊輸出的第二模態(tài)圖像樣本數(shù)據(jù)，所述第二模態(tài)圖像樣本數(shù)據(jù)包括第二模態(tài)圖像樣本；根據(jù)各第一模態(tài)圖像樣本的樣本標(biāo)簽和對應(yīng)的第二模態(tài)圖像樣本數(shù)據(jù)確定模態(tài)轉(zhuǎn)換損失值；將所述第二模態(tài)圖像樣本和過濾后的第二模態(tài)圖像樣本輸入所述待訓(xùn)練的類別檢測模型的類別檢測模塊中，得到所述待訓(xùn)練的類別檢測模型的類別檢測模塊輸出的第一模態(tài)圖像樣本中樣本對象的類別為目標(biāo)類別的預(yù)測概率；根據(jù)各第一模態(tài)圖像樣本的樣本標(biāo)簽和所述預(yù)測概率確定類別檢測損失值；根據(jù)所述模態(tài)轉(zhuǎn)換損失值和/或所述類別檢測損失值對所述待訓(xùn)練的類別檢測模型進(jìn)行訓(xùn)練，直至得到滿足要求的所述目標(biāo)類別檢測模型。

9、在一實(shí)施例中，所述第二模態(tài)圖像樣本數(shù)據(jù)還包括所述第一模態(tài)圖像樣本的特征嵌入，所述根據(jù)各第一模態(tài)圖像樣本的樣本標(biāo)簽和對應(yīng)的第二模態(tài)圖像樣本數(shù)據(jù)確定模態(tài)轉(zhuǎn)換損失值的步驟，包括：根據(jù)各第一模態(tài)圖像樣本的特征嵌入和所述第一模態(tài)圖像樣本集中表征對應(yīng)圖像樣本的樣本對象的類別為所述目標(biāo)類別的樣本標(biāo)簽數(shù)量確定潛在特征對比損失值；根據(jù)所述第二模態(tài)圖像樣本、所述過濾后的第二模態(tài)圖像樣本以及所述樣本標(biāo)簽數(shù)量確定像素級損失值；根據(jù)所述潛在特征對比損失值和/或所述像素級損失值確定所述模態(tài)轉(zhuǎn)換損失值。

10、為解決上述技術(shù)問題，本申請?zhí)峁┮环N電子設(shè)備，包括存儲器和處理器，所述存儲器存儲有程序指令，所述處理器從所述存儲器調(diào)取所述程序指令以執(zhí)行上述的基于多模態(tài)的對象類別檢測方法。

11、為解決上述技術(shù)問題，本申請?zhí)峁┮环N計(jì)算機(jī)可讀存儲介質(zhì)包括儲存有程序數(shù)據(jù)，所述程序數(shù)據(jù)被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)上述的基于多模態(tài)的對象類別檢測方法。

12、上述方案，對獲取的第一模態(tài)圖像進(jìn)行模態(tài)轉(zhuǎn)換處理，得到第二模態(tài)圖像；并對第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，得到過濾后的第二模態(tài)圖像；之后基于第一模態(tài)圖像和過濾后的第二模態(tài)圖像進(jìn)行類別檢測處理，得到待檢測對象的目標(biāo)類別。一方面，通過多模態(tài)圖像進(jìn)行對象類別檢測，能夠提高對象類別檢測準(zhǔn)確性；另一方面，通過對第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，能夠抑制光照信息對對象類別檢測的影響，進(jìn)一步提高對象類別檢測準(zhǔn)確性。

技術(shù)特征：

1.一種基于多模態(tài)的對象類別檢測方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述對所述第一模態(tài)圖像進(jìn)行模態(tài)轉(zhuǎn)換處理，得到第二模態(tài)圖像的步驟，包括：

3.根據(jù)權(quán)利要求2所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述將所述第一模態(tài)圖像輸入目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的模態(tài)轉(zhuǎn)換模塊輸出的第二模態(tài)圖像的步驟，包括：

4.根據(jù)權(quán)利要求2所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述將所述第一模態(tài)圖像和所述過濾后的第二模態(tài)圖像輸入所述目標(biāo)類別檢測模型中，得到所述目標(biāo)類別檢測模型的類別檢測模塊確定的待檢測對象的目標(biāo)類別的步驟，包括：

5.根據(jù)權(quán)利要求1所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述對所述第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，得到過濾后的第二模態(tài)圖像的步驟，包括：

6.根據(jù)權(quán)利要求5所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述對所述第二模態(tài)圖像中各像素點(diǎn)在第一方向上的光照信息進(jìn)行濾波處理，得到各像素點(diǎn)在第一方向上的第一濾波數(shù)據(jù)的步驟，包括：

7.根據(jù)權(quán)利要求2所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述方法還包括：

8.根據(jù)權(quán)利要求7所述的基于多模態(tài)的對象類別檢測方法，其特征在于，所述第二模態(tài)圖像樣本數(shù)據(jù)還包括所述第一模態(tài)圖像樣本的特征嵌入，所述根據(jù)各第一模態(tài)圖像樣本的樣本標(biāo)簽和對應(yīng)的第二模態(tài)圖像樣本數(shù)據(jù)確定模態(tài)轉(zhuǎn)換損失值的步驟，包括：

9.一種電子設(shè)備，其特征在于，包括：存儲器和處理器，其中，所述存儲器存儲有程序指令，所述處理器從所述存儲器調(diào)取所述程序指令以執(zhí)行如權(quán)利要求1-8任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，包括：存儲有程序數(shù)據(jù)，所述程序數(shù)據(jù)被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1-8任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請公開了一種基于多模態(tài)的對象類別檢測方法、設(shè)備及計(jì)算機(jī)存儲介質(zhì)，該方法包括：獲取第一模態(tài)圖像，第一模態(tài)圖像包括待檢測對象；對第一模態(tài)圖像進(jìn)行模態(tài)轉(zhuǎn)換處理，得到第二模態(tài)圖像；對第二模態(tài)圖像中的光照信息進(jìn)行過濾處理，得到過濾后的第二模態(tài)圖像；基于第一模態(tài)圖像和過濾后的第二模態(tài)圖像進(jìn)行類別檢測處理，得到待檢測對象的目標(biāo)類別。由此提高了對象類別檢測的準(zhǔn)確性。

技術(shù)研發(fā)人員：張攀軍,汪鵬飛,馬子昂
受保護(hù)的技術(shù)使用者：杭州華橙軟件技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2