本發(fā)明涉及圖像處理，具體為一種針對(duì)超高分辨率遙感影像的智能分割方法。

背景技術(shù)：

1、隨著我國(guó)經(jīng)濟(jì)與社會(huì)的不斷發(fā)展，衛(wèi)星遙感技術(shù)水平也不斷提高。目前，我國(guó)自主發(fā)射的高分2號(hào)衛(wèi)星可以采集到分辨率為2m的地表信息，能夠?yàn)槌鞘幸?guī)劃、環(huán)境污染等問(wèn)題提供大量有效數(shù)據(jù)。通過(guò)衛(wèi)星遙感技術(shù)實(shí)時(shí)獲取高分辨率的影像數(shù)據(jù)，全面掌握各地的變化情況，可以監(jiān)測(cè)違章建筑的擴(kuò)張、違規(guī)排放等情況，幫助相關(guān)部門及時(shí)發(fā)現(xiàn)問(wèn)題，進(jìn)而采取相應(yīng)的措施加以解決。

2、然而，針對(duì)海量衛(wèi)星遙感數(shù)據(jù)，目前主流使用的人工分析費(fèi)時(shí)費(fèi)力，難以與海量遙感數(shù)據(jù)匹配，大大降低了遙感影像的利用效率。因此，使用計(jì)算機(jī)視覺(jué)技術(shù)準(zhǔn)確、快速地分析遙感數(shù)據(jù)勢(shì)在必行。近些年來(lái)以深度神經(jīng)網(wǎng)絡(luò)為代表的計(jì)算機(jī)視覺(jué)方法逐漸在圖像分析領(lǐng)域得到廣泛應(yīng)用，為遙感影像的智能分割提供了可能。

3、遙感圖像的多個(gè)領(lǐng)域的相關(guān)事實(shí)可以證明，傳統(tǒng)基于人工的分析方法與基于深度學(xué)習(xí)的人工智能分析方法存在較大差距，而現(xiàn)有的針對(duì)圖像的計(jì)算機(jī)智能分析方法中，多數(shù)都基于自然圖像的特征設(shè)計(jì)，直接在遙感影像上使用時(shí)，圖片裁剪的尺寸選擇就成了大問(wèn)題。由于遙感影像分辨率高，當(dāng)圖片裁剪尺寸較小時(shí)，會(huì)出現(xiàn)單張圖片包含信息量較少，難以對(duì)目標(biāo)地物進(jìn)行分類的問(wèn)題。若增大圖片的裁剪尺寸，由于計(jì)算資源的有限，往往會(huì)在輸入神經(jīng)網(wǎng)絡(luò)前對(duì)圖片進(jìn)行縮放，則會(huì)出現(xiàn)細(xì)節(jié)丟失的問(wèn)題。

4、本發(fā)明提出一種基于多尺度圖像內(nèi)容互補(bǔ)的遙感影像智能語(yǔ)義分割方法，針對(duì)高分辨率下遙感影像尺寸難以選擇的問(wèn)題，重新設(shè)計(jì)了能夠輸入多尺寸圖像的語(yǔ)義分割框架，能夠同時(shí)輸入一張小尺度的切片圖像和一張環(huán)繞切片圖像的大尺度的內(nèi)容補(bǔ)充圖像，既利用了切片圖像包含的細(xì)節(jié)信息，也利用了內(nèi)容補(bǔ)充圖像提供的額外的信息量，從而解決了高分辨率下遙感影像尺寸難以選擇的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種針對(duì)超高分辨率的遙感影像進(jìn)行語(yǔ)義分割的方法，其特征在于，所述方法包括：

2、步驟1，將高分辨率遙感影像均勻地、低重疊地裁剪成多個(gè)易于分割的小尺度切片圖像及環(huán)繞切片圖像的大尺度內(nèi)容補(bǔ)充圖像；

3、步驟2，將切片圖像與縮放后的內(nèi)容補(bǔ)充圖像輸入基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取得到不同尺度的特征；

4、步驟3，將不同尺度的特征進(jìn)行自注意力加權(quán)融合與交叉注意力加權(quán)融合；

5、步驟4，所述融合特征輸入解碼器與分割網(wǎng)絡(luò)，得到所屬遙感影像的語(yǔ)義分割結(jié)果；

6、具體地，在步驟1中，將所述超高分辨率遙感影像以s的重疊率裁剪為邊長(zhǎng)為x(x的取值為一般的遙感影像分割網(wǎng)絡(luò)常用圖像邊長(zhǎng)，根據(jù)實(shí)際使用情況通常取512)個(gè)像素的切片圖像，其中，s取x/4；同時(shí)，將為每個(gè)切片圖像裁剪一個(gè)環(huán)繞切片圖像的內(nèi)容補(bǔ)充圖像，其中心點(diǎn)與上述切片圖像中心點(diǎn)重合，邊長(zhǎng)取x*y，其中y為大于等于2的正整數(shù)，需要根據(jù)先驗(yàn)知識(shí)自主調(diào)整；

7、具體地，在步驟2中，根據(jù)解碼器深度，提取編碼器不同分辨率的特征。當(dāng)使用四層的unet解碼器時(shí)，提取編碼器倒數(shù)四個(gè)不同分辨率的輸出fp1，fp2，fp3，fp4，作為四個(gè)不同尺度的切片圖像特征，以及對(duì)應(yīng)的fc1，fc2，fc3，fc4，四個(gè)不同尺度的內(nèi)容補(bǔ)充圖像特征；所述編碼器為resnet網(wǎng)絡(luò)，選取其4倍、8倍、16倍和32倍下采樣的輸出作為對(duì)應(yīng)四個(gè)不同尺度的圖像特征；

8、具體地，步驟3中，對(duì)fp4和fc4分別乘以一個(gè)降維矩陣d，得到與注意力計(jì)算模塊維度相同的特征fp4′和fc4′；將fp4′和fc4′分別通過(guò)一個(gè)自注意力模塊，完成基于自身的感興趣區(qū)域激活與非感興趣區(qū)域的抑制，得到fp4″和fc4″；將fp4″和fc4″通過(guò)一個(gè)交叉注意力模塊，利用fp4″激活fc4″中的感興趣區(qū)域，抑制fc4″中的不感興趣區(qū)域，再通過(guò)殘差結(jié)構(gòu)與fp4″連接，從而完成不同圖片之間的信息交換與信息融合，得到自適應(yīng)最終的加權(quán)融合特征fp4″′；將fp4″′與fc4″分別通過(guò)一個(gè)升維矩陣，使其與fp4和fc4維度相同，并替換fp4和fc4作為下一步輸入解碼器的特征；

9、具體地，步驟4中，將上述圖像特征輸入解碼器與分割網(wǎng)絡(luò)，得到所屬遙感影像的語(yǔ)義分割結(jié)果；最終分割網(wǎng)絡(luò)的輸出結(jié)果為每個(gè)像素點(diǎn)屬于各個(gè)類別的可能概率，即圖片對(duì)應(yīng)的概率分布圖；設(shè)置閾值τ，判斷每個(gè)像素點(diǎn)的最大可能概率是否大于τ，若是，則標(biāo)記該像素點(diǎn)屬于最大概率對(duì)應(yīng)的類；否則，則標(biāo)記該像素點(diǎn)屬于無(wú)意義的背景類。對(duì)于得到的分類圖按照預(yù)先設(shè)定的顏色表進(jìn)行染色，得到便于觀察的分類結(jié)果；

10、具體的，步驟1-4中所述的編碼器、解碼器與分割頭共同構(gòu)成了一個(gè)基于深度學(xué)習(xí)的語(yǔ)義分割網(wǎng)絡(luò)，需要通過(guò)訓(xùn)練優(yōu)化所述語(yǔ)義分割網(wǎng)絡(luò)模型才能準(zhǔn)確分割目標(biāo)類別，具體為，基于訓(xùn)練樣本數(shù)據(jù)集，利用切片圖像和環(huán)繞切片圖像的內(nèi)容補(bǔ)充圖像作為輸入，利用切片圖像和內(nèi)容補(bǔ)充圖像對(duì)應(yīng)的標(biāo)簽作為監(jiān)督，采用有監(jiān)督的學(xué)習(xí)方式，通過(guò)預(yù)設(shè)損失函數(shù)訓(xùn)練優(yōu)化所述語(yǔ)義分割網(wǎng)絡(luò)模型，得到能夠進(jìn)行智能分割的網(wǎng)絡(luò)模型；

11、具體的，所述預(yù)設(shè)損失函數(shù)包括分類損失函數(shù)以及對(duì)比損失函數(shù)。分類損失函數(shù)包含切片圖像的分類交叉熵?fù)p失與內(nèi)容補(bǔ)充圖片的分類交叉熵?fù)p失，以1比0.25的比例進(jìn)行加權(quán)。對(duì)比損失函數(shù)描述了切片圖片與內(nèi)容補(bǔ)充圖片重合區(qū)域的分割結(jié)果的相似程度，具體的，將內(nèi)容補(bǔ)充圖片中與切片圖像重疊區(qū)域記為r，將切片圖像對(duì)應(yīng)的概率分布圖縮放至與r相同大小后，利用kl散度計(jì)算r對(duì)應(yīng)的概率分布圖與縮放后切片圖像的概率分布圖之間的相似程度；

12、本發(fā)明針對(duì)現(xiàn)有遙感影像分割方法中，低分辨率遙感影像缺少細(xì)節(jié)、高分辨率遙感影像中信息量缺少的情況，以高分辨率的遙感影像為分割對(duì)象，提出一種基于多尺度圖像內(nèi)容互補(bǔ)的遙感影像智能分割方法，從而極大地提高了分割的精度。

技術(shù)特征：

1.一種基于多尺度圖像內(nèi)容互補(bǔ)的遙感影像智能分割方法，其特征在于，所述方法包括以下步驟：

2.如權(quán)利要求1所述的遙感影像智能分割方法，其特征在于，在步驟1中，將所述超高分辨率遙感影像以s的重疊率裁剪為邊長(zhǎng)為x(x的取值為一般的遙感影像分割網(wǎng)絡(luò)常用圖像邊長(zhǎng)，根據(jù)實(shí)際使用情況通常取512)個(gè)像素的切片圖像，其中，s取x/4；同時(shí)，將為每個(gè)切片圖像裁剪一個(gè)環(huán)繞切片圖像的內(nèi)容補(bǔ)充圖像，其中心點(diǎn)與上述切片圖像中心點(diǎn)重合，邊長(zhǎng)取x*y，其中y為大于等于2的正整數(shù)，需要根據(jù)先驗(yàn)知識(shí)自主調(diào)整。

3.如權(quán)利要求1所述的遙感影像智能分割方法，其特征在于，在步驟2中，提取編碼器倒數(shù)四個(gè)不同分辨率的輸出fp1，fp2，fp3，fp4，作為四個(gè)不同尺度的切片圖像特征，以及對(duì)應(yīng)的fc1，fc2，fc3′fc4，四個(gè)不同尺度的內(nèi)容補(bǔ)充圖像特征；所述編碼器為resnet網(wǎng)絡(luò)，選取其4倍、8倍、16倍和32倍下采樣的輸出作為對(duì)應(yīng)四個(gè)不同尺度的圖像特征。

4.如權(quán)利要求3所述的遙感影像智能分割方法，其特征在于，在步驟3中，具體為：

5.如權(quán)利要求1所述的遙感影像智能分割方法，其特征在于，在步驟4中，具體為：

6.如權(quán)利要求5所述的遙感影像智能分割方法，其特征在于，τ的取值為0.5。

7.如權(quán)利要求1-6任一項(xiàng)所述的遙感影像智能分割方法，其特征在于，上述的編碼器、解碼器與分割頭共同構(gòu)成了一個(gè)基于深度學(xué)習(xí)的語(yǔ)義分割網(wǎng)絡(luò)，需要通過(guò)訓(xùn)練優(yōu)化所述語(yǔ)義分割網(wǎng)絡(luò)模型才能準(zhǔn)確分割目標(biāo)類別，具體為，基于訓(xùn)練樣本數(shù)據(jù)集，利用切片影像和環(huán)繞切片影像的內(nèi)容補(bǔ)充圖像作為輸入，利用切片影像和內(nèi)容補(bǔ)充圖像對(duì)應(yīng)的標(biāo)簽作為監(jiān)督，采用有監(jiān)督的學(xué)習(xí)方式，通過(guò)預(yù)設(shè)損失函數(shù)訓(xùn)練優(yōu)化所述語(yǔ)義分割網(wǎng)絡(luò)模型，得到能夠進(jìn)行智能分割的網(wǎng)絡(luò)模型。

8.如權(quán)利要求7所述的遙感影像智能分割方法，其特征在于，所述預(yù)設(shè)損失函數(shù)包括基于切片圖像標(biāo)簽和基于內(nèi)容補(bǔ)充圖像標(biāo)簽的分類損失函數(shù)，和基于切片影像對(duì)應(yīng)輸出與內(nèi)容補(bǔ)充圖像對(duì)應(yīng)輸出的對(duì)比損失函數(shù)。

技術(shù)總結(jié)
本發(fā)明提供了一種基于多尺度圖像內(nèi)容互補(bǔ)的遙感影像智能分割方法。所述方法包括：將高分辨率遙感數(shù)字圖像均勻地、低重疊地裁剪成多個(gè)易于分割的小尺度切片圖像及環(huán)繞切片圖像的大尺度內(nèi)容補(bǔ)充圖像；將切片圖像與縮放后的內(nèi)容補(bǔ)充圖像輸入基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取得到不同尺度的特征；將不同尺度的特征通過(guò)自注意力加權(quán)融合，將融合后的特征再與交叉注意力加權(quán)融合，送入解碼器與分割網(wǎng)絡(luò)進(jìn)行計(jì)算，最后輸出影像的分割結(jié)果。本發(fā)明能夠有效緩解遙感影像在高分辨率下信息量缺少、低分辨率下細(xì)節(jié)缺失的問(wèn)題，同時(shí)有效提升分割的精度。

技術(shù)研發(fā)人員：趙志誠(chéng),蘇菲,王安埸
受保護(hù)的技術(shù)使用者：北京郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2