本發(fā)明涉及圖像處理，尤其涉及一種汽車(chē)夜視圖像分割方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在現(xiàn)有車(chē)輛自動(dòng)駕駛環(huán)境感知領(lǐng)域，圖像語(yǔ)義分割作為一種關(guān)鍵技術(shù)，能夠?qū)煌ǖ缆穲?chǎng)景圖像中的交通參與者、道路邊緣、前方障礙物等目標(biāo)物體進(jìn)行逐像素分類(lèi)，根據(jù)分割結(jié)果進(jìn)一步識(shí)別目標(biāo)類(lèi)型、獲取車(chē)輛前方障礙物信息、規(guī)劃出可通行區(qū)域車(chē)輛的可通行范圍等，從而為自動(dòng)駕駛系統(tǒng)提供相關(guān)環(huán)境感知結(jié)果。

2、在夜間工況中，由于光線不足，目標(biāo)特征不明顯，現(xiàn)有的圖像語(yǔ)義分割方法存在著分割效果差、準(zhǔn)確率低的問(wèn)題，且需要手動(dòng)對(duì)圖像特征進(jìn)行提取，只適用于較為簡(jiǎn)單的圖像場(chǎng)景，不適用于處理復(fù)雜、高維的圖像數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于提供一種汽車(chē)夜視圖像分割方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在解決夜間行車(chē)圖像特征準(zhǔn)確度不高的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提出一種汽車(chē)夜視圖像分割方法，所述汽車(chē)夜視圖像分割方法包括：

3、獲取車(chē)載紅外夜視系統(tǒng)采集的物體熱信號(hào)，并根據(jù)所述物體熱信號(hào)生成夜視灰度圖像；

4、根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征；

5、根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣；

6、根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果。

7、在一實(shí)施例中，所述根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣，還包括：

8、根據(jù)所述嵌入式特征集成模塊捕獲所述初步特征中的多尺度上下文特征信息；

9、根據(jù)所述空間注意力模塊獲取所述多尺度上下文特征信息中的目標(biāo)區(qū)域位置信息；

10、根據(jù)所述多尺度上下文特征信息及所述目標(biāo)區(qū)域位置信息獲取所述特征矩陣。

11、在一實(shí)施例中，所述根據(jù)所述嵌入式特征集成模塊捕獲所述初步特征中的多尺度上下文特征信息，還包括：

12、獲取所述夜視灰度圖像的高度信息和寬度信息；

13、獲取不同空洞卷積分支的膨脹率；

14、獲取所述初步特征進(jìn)行深度可分離卷積后的第一分離值；

15、根據(jù)所述高度信息、所述寬度信息、所述膨脹率及所述第一分離值獲取全局平均池化層輸出值；

16、根據(jù)所述全局平均池化層輸出值獲取所述多尺度上下文特征信息。

17、在一實(shí)施例中，所述根據(jù)所述全局平均池化層輸出值獲取所述多尺度上下文特征信息，還包括：

18、獲取第一全連接層的第一權(quán)重和第二全連接層的第二權(quán)重；

19、根據(jù)所述全局平均池化層輸出值、所述第一權(quán)重及所述第二權(quán)重獲取第一比例系數(shù)；

20、根據(jù)所述第一分離值及所述第一比例系數(shù)獲取第一通道輸出值；

21、獲取第一卷積層的第一參數(shù)和第二卷積層的第二參數(shù)；

22、根據(jù)所述第一通道輸出值、所述第一參數(shù)及所述第二參數(shù)獲取所述多尺度上下文特征信息。

23、在一實(shí)施例中，所述根據(jù)所述空間注意力模塊獲取所述多尺度上下文特征信息中的目標(biāo)區(qū)域位置信息，還包括：

24、獲取所述多尺度上下文特征信息進(jìn)行全局最大池化后的最大池化值，及進(jìn)行全局平均池化后的平均池化值；

25、根據(jù)所述最大池化值及所述平均池化值獲取所述目標(biāo)區(qū)域位置信息。

26、在一實(shí)施例中，所述根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征，還包括：

27、根據(jù)所述殘差網(wǎng)絡(luò)對(duì)所述灰度圖像進(jìn)行擴(kuò)張卷積，獲得所述灰度圖像的擴(kuò)張卷積結(jié)果；

28、從所述擴(kuò)張卷積結(jié)果中提取所述初步特征。

29、在一實(shí)施例中，所述根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果，還包括：

30、根據(jù)所述特征矩陣進(jìn)行二分類(lèi)獲取預(yù)設(shè)類(lèi)別的概率；

31、根據(jù)所述夜視灰度圖像獲取所述概率中對(duì)應(yīng)的分割結(jié)果。

32、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種汽車(chē)夜視圖像分割裝置，所述裝置包括：

33、圖像生成模塊，用于獲取車(chē)載紅外夜視系統(tǒng)采集的物體熱信號(hào)，并根據(jù)所述物體熱信號(hào)生成夜視灰度圖像；

34、特征獲取模塊，用于根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征；

35、矩陣生成模塊，用于根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣；

36、結(jié)果獲取模塊，用于根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果。

37、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種汽車(chē)夜視圖像分割設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上所述的汽車(chē)夜視圖像分割方法的步驟。

38、此外，為實(shí)現(xiàn)上述目的，本發(fā)明還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的汽車(chē)夜視圖像分割方法的步驟。

39、本發(fā)明提出一種汽車(chē)夜視圖像分割方法，所述汽車(chē)夜視圖像分割方法包括：獲取車(chē)載紅外夜視系統(tǒng)采集的物體熱信號(hào)，并根據(jù)所述物體熱信號(hào)生成夜視灰度圖像；根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征；根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣；根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果；本發(fā)明基于深度學(xué)習(xí)技術(shù)，提出了一種多尺度上下文注意力圖像分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)嵌入式特征集成模塊和空間注意力模塊，大大增強(qiáng)了對(duì)圖像特征的提取能力，進(jìn)而在夜晚光照不足，圖像模糊等場(chǎng)景下也能有較好的表現(xiàn)能力。

技術(shù)特征：

1.一種汽車(chē)夜視圖像分割方法，其特征在于，所述汽車(chē)夜視圖像分割方法包括：

2.如權(quán)利要求1所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣，還包括：

3.如權(quán)利要求2所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)所述嵌入式特征集成模塊捕獲所述初步特征中的多尺度上下文特征信息，還包括：

4.如權(quán)利要求3所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)所述全局平均池化層輸出值獲取所述多尺度上下文特征信息，還包括：

5.如權(quán)利要求2所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)所述空間注意力模塊獲取所述多尺度上下文特征信息中的目標(biāo)區(qū)域位置信息，還包括：

6.如權(quán)利要求1所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征，還包括：

7.如權(quán)利要求1所述的汽車(chē)夜視圖像分割方法，其特征在于，所述根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果，還包括：

8.一種汽車(chē)夜視圖像分割裝置，其特征在于，所述裝置包括：

9.一種汽車(chē)夜視圖像分割設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的汽車(chē)夜視圖像分割方法的步驟。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的汽車(chē)夜視圖像分割方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，公開(kāi)了一種汽車(chē)夜視圖像分割方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，包括：獲取車(chē)載紅外夜視系統(tǒng)采集的物體熱信號(hào)，并根據(jù)所述物體熱信號(hào)生成夜視灰度圖像；根據(jù)殘差網(wǎng)絡(luò)獲取所述灰度圖像的初步特征；根據(jù)嵌入式特征集成模塊及空間注意力模塊獲取所述初步特征對(duì)應(yīng)的特征矩陣；根據(jù)所述特征矩陣進(jìn)行二分類(lèi)后的夜視灰度圖像獲取分割結(jié)果；本發(fā)明基于深度學(xué)習(xí)技術(shù)，提出了一種多尺度上下文注意力圖像分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)嵌入式特征集成模塊和空間注意力模塊，大大增強(qiáng)了對(duì)圖像特征的提取能力，進(jìn)而在夜晚光照不足，圖像模糊等場(chǎng)景下也能有較好的表現(xiàn)能力。

技術(shù)研發(fā)人員：馬舟,陳龍,黃鐠,汪明
受保護(hù)的技術(shù)使用者：東風(fēng)汽車(chē)集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6