本申請(qǐng)涉及語(yǔ)義分割，尤其涉及一種語(yǔ)義分割方法、裝置、設(shè)備、介質(zhì)以及產(chǎn)品。

背景技術(shù)：

1、語(yǔ)義分割任務(wù)是像素級(jí)的圖像識(shí)別、目標(biāo)定位與檢測(cè)任務(wù)，是自動(dòng)駕駛領(lǐng)域的核心技術(shù)之一，而注意力機(jī)制是機(jī)器學(xué)習(xí)中的一種數(shù)據(jù)處理方法，在深度學(xué)習(xí)模型中注意力機(jī)制利用掩碼形成新的權(quán)重作用于圖片特征域，能夠使模型有選擇地關(guān)注有效信息、提高模型信息處理的效率和準(zhǔn)確性。

2、目前語(yǔ)義分割領(lǐng)域常見(jiàn)的注意力機(jī)制有：卷積注意力機(jī)制模塊(cbam)，卷積注意力機(jī)制模塊融合通道注意力和空間注意力機(jī)制，充分利用卷積神經(jīng)網(wǎng)絡(luò)的卷積計(jì)算特性，融合跨通道和空間信息加強(qiáng)特征提取，但是該方法僅僅關(guān)注通道特征和空間信息，無(wú)法解決多尺度目標(biāo)分割的問(wèn)題。

3、上述內(nèi)容僅用于輔助理解本申請(qǐng)的技術(shù)方案，并不代表承認(rèn)上述內(nèi)容是現(xiàn)有技術(shù)。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種語(yǔ)義分割方法、裝置、設(shè)備、介質(zhì)以及產(chǎn)品，旨在解決現(xiàn)有技術(shù)在進(jìn)行語(yǔ)義分割時(shí)對(duì)于不同尺度大小的目標(biāo)對(duì)象難以準(zhǔn)確辨別的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N語(yǔ)義分割方法，所述方法包括：

3、將預(yù)設(shè)的圖像數(shù)據(jù)進(jìn)行預(yù)處理后輸入骨干網(wǎng)絡(luò)resnet50中，通過(guò)所述resnet50進(jìn)行特征提取，得到中間特征；

4、通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果。

5、在一實(shí)施例中，所述通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟包括：

6、通過(guò)所述多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行池化，得到第三特征向量；

7、通過(guò)所述多尺度注意力平臺(tái)中的若干卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第四特征向量；

8、根據(jù)所述第四特征向量進(jìn)行卷積得到最終特征向量，并基于所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果。

9、在一實(shí)施例中，所述通過(guò)所述多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行池化，得到第三特征向量的步驟包括：

10、通過(guò)所述多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行平均池化，得到第一特征向量；

11、通過(guò)所述多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行最大池化，得到第二特征向量；

12、對(duì)所述第一特征向量以及第二特征向量進(jìn)行級(jí)聯(lián)得到第三特征向量。

13、在一實(shí)施例中，所述若干卷積核包括第一卷積核、第二卷積核以及第三卷積核，所述通過(guò)所述多尺度注意力平臺(tái)中的若干卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第四特征向量的步驟包括：

14、通過(guò)所述第一卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第一中間向量；

15、通過(guò)所述第二卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第二中間向量；

16、通過(guò)所述第三卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第三中間向量；

17、對(duì)所述第三特征向量進(jìn)行全局平均池化操作，得到第四中間向量；

18、對(duì)所述第一中間向量、第二中間向量、第三中間向量以及第四中間向量進(jìn)行級(jí)聯(lián)，得到第四特征向量。

19、在一實(shí)施例中，所述根據(jù)所述第四特征向量進(jìn)行卷積得到最終特征向量，并基于所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟包括：

20、將所述第四特征向量輸入所述第一卷積核進(jìn)行卷積后，通過(guò)歸一化指數(shù)函數(shù)softmax進(jìn)行處理，得到權(quán)重向量；

21、將所述權(quán)重向量以及中間特征相乘得到最終特征向量；

22、對(duì)所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果。

23、在一實(shí)施例中，所述對(duì)所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟之后，所述方法包括：

24、接收用戶的操作指令；

25、分析所述操作指令，得到操作任務(wù)，所述操作任務(wù)包括圖像識(shí)別、目標(biāo)定位以及規(guī)劃控制中的一種或多種；

26、基于所述分割結(jié)果執(zhí)行所述操作任務(wù)，得到執(zhí)行結(jié)果。

27、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種語(yǔ)義分割裝置，所述語(yǔ)義分割裝置包括：

28、提取模塊，用于將預(yù)設(shè)的圖像數(shù)據(jù)進(jìn)行預(yù)處理后輸入骨干網(wǎng)絡(luò)resnet50中，通過(guò)所述resnet50進(jìn)行特征提取，得到中間特征；

29、分割模塊，用于通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果。

30、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種語(yǔ)義分割設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的語(yǔ)義分割方法的步驟。

31、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的語(yǔ)義分割方法的步驟。

32、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的語(yǔ)義分割方法的步驟。

33、本申請(qǐng)?zhí)岢龅囊粋€(gè)或多個(gè)技術(shù)方案，至少具有以下技術(shù)效果：

34、本申請(qǐng)實(shí)施例提出的一種語(yǔ)義分割方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品，通過(guò)將預(yù)設(shè)的圖像數(shù)據(jù)進(jìn)行預(yù)處理后輸入骨干網(wǎng)絡(luò)resnet50中，通過(guò)所述resnet50進(jìn)行特征提取，得到中間特征；通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果。由此，將預(yù)先得到的圖像數(shù)據(jù)經(jīng)過(guò)預(yù)處理后輸出骨干網(wǎng)絡(luò)resnet50中進(jìn)行特征提取，得到中間特征，再通過(guò)多尺度注意力平臺(tái)對(duì)中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果，解決了現(xiàn)有技術(shù)在進(jìn)行語(yǔ)義分割時(shí)對(duì)于不同尺度大小的目標(biāo)對(duì)象難以準(zhǔn)確辨別的問(wèn)題，提高了語(yǔ)義分割的準(zhǔn)確性。

技術(shù)特征：

1.一種語(yǔ)義分割方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述通過(guò)所述多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行池化，得到第三特征向量的步驟包括：

4.如權(quán)利要求2所述的方法，其特征在于，所述若干卷積核包括第一卷積核、第二卷積核以及第三卷積核，所述通過(guò)所述多尺度注意力平臺(tái)中的若干卷積核對(duì)所述第三特征向量進(jìn)行卷積，得到第四特征向量的步驟包括：

5.如權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述第四特征向量進(jìn)行卷積得到最終特征向量，并基于所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟包括：

6.如權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述最終特征向量進(jìn)行語(yǔ)義分割，得到分割結(jié)果的步驟之后，所述方法包括：

7.一種語(yǔ)義分割裝置，其特征在于，所述裝置包括：

8.一種語(yǔ)義分割設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的語(yǔ)義分割方法的步驟。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的語(yǔ)義分割方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的語(yǔ)義分割方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種語(yǔ)義分割方法、裝置、設(shè)備、介質(zhì)以及產(chǎn)品，涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，方法包括：將預(yù)設(shè)的圖像數(shù)據(jù)進(jìn)行預(yù)處理后輸入骨干網(wǎng)絡(luò)ResNet50中，通過(guò)所述ResNet50進(jìn)行特征提取，得到中間特征；通過(guò)多尺度注意力平臺(tái)對(duì)所述中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果。由此，將預(yù)先得到的圖像數(shù)據(jù)經(jīng)過(guò)預(yù)處理后輸出骨干網(wǎng)絡(luò)ResNet50中進(jìn)行特征提取，得到中間特征，再通過(guò)多尺度注意力平臺(tái)對(duì)中間特征進(jìn)行語(yǔ)義分割，得到分割結(jié)果，解決了現(xiàn)有技術(shù)在進(jìn)行語(yǔ)義分割時(shí)對(duì)于不同尺度大小的目標(biāo)對(duì)象難以準(zhǔn)確辨別的問(wèn)題，提高了語(yǔ)義分割的準(zhǔn)確性。

技術(shù)研發(fā)人員：宋朝忠,鐘應(yīng)鵬,付雨晨
受保護(hù)的技術(shù)使用者：廣東易勝創(chuàng)新智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6