本公開涉及計(jì)算機(jī)視覺，尤其涉及一種圖像分割方法、圖像分割裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)與電子設(shè)備。

背景技術(shù)：

1、圖像分割是指將圖像分割成若干個(gè)具有特定性質(zhì)的區(qū)域，以及識(shí)別區(qū)域信息。圖像分割算法大多基于機(jī)器學(xué)習(xí)模型來實(shí)現(xiàn)。相關(guān)技術(shù)中，為了保證圖像分割的準(zhǔn)確性，將模型設(shè)計(jì)的較為復(fù)雜，由此增加了模型的參數(shù)量與計(jì)算量，限制了圖像分割在移動(dòng)端等輕量化場(chǎng)景中的應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本公開提供一種圖像分割方法、圖像分割裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)與電子設(shè)備，以至少在一定程度上降低圖像分割所需的計(jì)算量并保證準(zhǔn)確性。

2、根據(jù)本公開的第一方面，提供一種圖像分割方法，包括：獲取待處理圖像，并獲取查詢信息；利用圖像特征提取網(wǎng)絡(luò)從所述待處理圖像中提取多個(gè)尺度的圖像特征；利用語(yǔ)義特征處理網(wǎng)絡(luò)對(duì)所述多個(gè)尺度的圖像特征進(jìn)行處理，得到所述待處理圖像的區(qū)域分布特征；通過將所述查詢信息和所述區(qū)域分布特征融合，得到注意力掩碼；利用transformer(一種神經(jīng)網(wǎng)絡(luò)模型)解碼器對(duì)所述圖像特征、所述查詢信息、所述注意力掩碼進(jìn)行處理，得到更新后的查詢信息；基于所述更新后的查詢信息得到所述待處理圖像的圖像分割結(jié)果。

3、根據(jù)本公開的第二方面，提供一種圖像分割裝置，包括：數(shù)據(jù)獲取單元，被配置為獲取待處理圖像，并獲取查詢信息；圖像特征提取單元，被配置為利用圖像特征提取網(wǎng)絡(luò)從所述待處理圖像中提取多個(gè)尺度的圖像特征；區(qū)域分布特征提取單元，被配置為利用語(yǔ)義特征處理網(wǎng)絡(luò)對(duì)所述多個(gè)尺度的圖像特征進(jìn)行處理，得到所述待處理圖像的區(qū)域分布特征；注意力掩碼處理單元，被配置為通過將所述查詢信息和所述區(qū)域分布特征融合，得到注意力掩碼；信息更新單元，被配置為利用transformer解碼器對(duì)所述圖像特征、所述查詢信息、所述注意力掩碼進(jìn)行處理，得到更新后的查詢信息；圖像分割結(jié)果輸出單元，被配置為基于所述更新后的查詢信息得到所述待處理圖像的圖像分割結(jié)果。

4、根據(jù)本公開的第三方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面的圖像分割方法及其可能的實(shí)現(xiàn)方式。

5、根據(jù)本公開的第四方面，提供一種電子設(shè)備，包括：處理器；以及存儲(chǔ)器，用于存儲(chǔ)所述處理器的可執(zhí)行指令；其中，所述處理器配置為經(jīng)由執(zhí)行所述可執(zhí)行指令，來執(zhí)行上述第一方面的圖像分割方法及其可能的實(shí)現(xiàn)方式。

6、本公開的技術(shù)方案具有以下有益效果：

7、采用輕量化的圖像特征提取網(wǎng)絡(luò)提取圖像特征，有利于降低網(wǎng)絡(luò)的參數(shù)量與計(jì)算量，并通過更新查詢信息的方式，將圖像特征的信息傳遞到查詢信息中，最終基于更新后的查詢信息得到圖像分割結(jié)果，這使得圖像分割過程更為穩(wěn)定與可靠。因此，本方案能夠在降低網(wǎng)絡(luò)參數(shù)量與計(jì)算量的情況下保證圖像分割的準(zhǔn)確性。

技術(shù)特征：

1.一種圖像分割方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像特征提取網(wǎng)絡(luò)包括依次連接的第一特征提取層至第m特征提取層，m為不小于2的正整數(shù)；所述利用圖像特征提取網(wǎng)絡(luò)從所述待處理圖像中提取多個(gè)尺度的圖像特征，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述語(yǔ)義特征處理網(wǎng)絡(luò)包括語(yǔ)義提取模塊、特征優(yōu)化模塊、區(qū)域分布提取模塊；所述利用語(yǔ)義特征處理網(wǎng)絡(luò)對(duì)所述多個(gè)尺度的圖像特征進(jìn)行處理，得到所述待處理圖像的區(qū)域分布特征，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述由所述特征優(yōu)化模塊基于所述全局語(yǔ)義特征對(duì)所述多個(gè)尺度的圖像特征進(jìn)行優(yōu)化處理，得到所述多個(gè)尺度的語(yǔ)義注入特征，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述由所述區(qū)域分布提取模塊對(duì)所述多個(gè)尺度的語(yǔ)義注入特征融合并進(jìn)行處理，得到所述待處理圖像的區(qū)域分布特征，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過將所述查詢信息和所述區(qū)域分布特征融合，得到注意力掩碼，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述多個(gè)尺度包括尺寸遞減的第一尺度至第m尺度，m為不小于2的正整數(shù)；所述利用transformer解碼器對(duì)所述圖像特征、所述查詢信息、所述注意力掩碼進(jìn)行處理，得到更新后的查詢信息，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像分割結(jié)果包括所述待處理圖像中的一個(gè)或多個(gè)目標(biāo)的類別預(yù)測(cè)結(jié)果和區(qū)域預(yù)測(cè)結(jié)果；所述基于所述更新后的查詢信息得到所述待處理圖像的圖像分割結(jié)果，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述查詢信息包括第一查詢信息和第二查詢信息；所述transformer解碼器包括第一transformer解碼器和第二transformer解碼器；所述圖像分割結(jié)果包括語(yǔ)義分割結(jié)果和實(shí)例分割結(jié)果；

10.一種圖像分割裝置，其特征在于，包括：

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至9任一項(xiàng)所述的方法。

12.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本公開提供一種圖像分割方法、圖像分割裝置、存儲(chǔ)介質(zhì)與電子設(shè)備，涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域。該方法包括：獲取待處理圖像，并獲取查詢信息；利用圖像特征提取網(wǎng)絡(luò)從所述待處理圖像中提取多個(gè)尺度的圖像特征；利用語(yǔ)義特征處理網(wǎng)絡(luò)對(duì)所述多個(gè)尺度的圖像特征進(jìn)行處理，得到所述待處理圖像的區(qū)域分布特征；通過將所述查詢信息和所述區(qū)域分布特征融合，得到注意力掩碼；利用transformer解碼器對(duì)所述圖像特征、所述查詢信息、所述注意力掩碼進(jìn)行處理，得到更新后的查詢信息；基于所述更新后的查詢信息得到所述待處理圖像的圖像分割結(jié)果。本公開能夠降低圖像分割所需的計(jì)算量并圖像分割的保證準(zhǔn)確性。

技術(shù)研發(fā)人員：王愈,蘇偉博,張璐,盧湖川
受保護(hù)的技術(shù)使用者：OPPO廣東移動(dòng)通信有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2