本發(fā)明屬于氣象觀測與人工智能，具體涉及一種基于多尺度特征提取與篩選的地基云圖多類分割方法。

背景技術(shù)：

1、云在是氣候系統(tǒng)中水循環(huán)和能量平衡的重要組成部分。通過觀測云的種類、分布和變化，氣象學(xué)家可以更準(zhǔn)確地預(yù)測天氣、理解氣候變化，并對極端天氣事件做出預(yù)警。通過人工觀測得到的云狀信息帶有主觀誤差，并且人工成本高昂。因此，研究者們使用全天空成像儀等地面設(shè)備采集大量地基云圖，然后通過計(jì)算機(jī)視覺技術(shù)自動提取云圖中的云狀信息，從而實(shí)現(xiàn)對云的自動化觀測。

2、對地基云的自動化觀測主要聚焦在云圖分類以及云圖分割這兩種任務(wù)。在云圖分類任務(wù)中，研究者的目的是識別出圖像中面積最大的一類云并給出對應(yīng)的標(biāo)簽。而云圖分割的目的是將圖像中的云視作前景，天空視作背景，做像素級別的二元分割。然而，當(dāng)一幅云圖中同時(shí)出現(xiàn)多種類型的云時(shí)，先前研究提出的大多數(shù)分類和分割方法就體現(xiàn)出局限性：云圖分類給出的標(biāo)簽不包含云的位置和面積信息，而云圖分割只能夠區(qū)分云像素與天空像素，忽略了云的類型。因此，需要一種對地基云圖按云類分割的方法，從而得到每類云狀的云量，使得地基云圖的自動化觀測結(jié)果更加詳細(xì)。實(shí)際上，按云類分割是一個(gè)針對地基云圖的語義分割問題，它整合了云圖分類任務(wù)和云圖分割任務(wù)。由于不同云類之間的相似度高難以區(qū)分，與二元分割相比，地基云圖語義分割是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。

3、目前，僅有少數(shù)研究工作與地基云圖語義分割有關(guān)。dev等人使用聚類算法針對薄云與厚云進(jìn)行語義分割；fabel等人使用半監(jiān)督學(xué)習(xí)針對高云、中云、低云進(jìn)行語義分割。這些工作僅僅將云分類為2類或3類，而現(xiàn)在與云圖分類相關(guān)的工作一般將云分為6類或9類甚至更多。因此，需要一種對云的分類更加細(xì)致的地基云圖語義分割方法。ye等人通過超像素特征提取以及逐類測度學(xué)習(xí)方法，對8類云進(jìn)行語義分割。雖然受數(shù)據(jù)量的限制，在他們提出的對比實(shí)驗(yàn)中全卷積網(wǎng)絡(luò)的表現(xiàn)不佳。但隨著近年來unet等表現(xiàn)更好的網(wǎng)絡(luò)的出現(xiàn)，以及日益豐富的云圖數(shù)據(jù)，有理由相信卷積神經(jīng)網(wǎng)絡(luò)更適合處理地基云圖語義分割這一任務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于全局特征提取與篩選的地基云圖多類分割方法。通過卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的特征提取能力，并利用深度可分離卷積減少網(wǎng)絡(luò)參數(shù)，以及注意力機(jī)制幫助網(wǎng)絡(luò)理解遠(yuǎn)距離像素間的依賴關(guān)系，該方法實(shí)現(xiàn)了對10類地基云的精準(zhǔn)分割。為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明構(gòu)建了一種基于多尺度特征提取與篩選的地基云圖語義分割網(wǎng)絡(luò)。具體包含以下步驟：

2、步驟1：主干結(jié)構(gòu)；

3、該結(jié)構(gòu)使用4個(gè)堆疊的殘差塊來提取地基云圖中多層級的視覺特征。其中，第2、3、4個(gè)殘差塊都包含了一個(gè)2×2大小的池化層用于擴(kuò)大感受野，并應(yīng)用relu激活函數(shù)幫助網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的模式。輸入圖像在經(jīng)過主干結(jié)構(gòu)后，最終輸出的特征圖的長寬尺寸都縮減至原來的1/8。

4、步驟2：多尺度特征提取模塊；

5、為了增強(qiáng)網(wǎng)絡(luò)的全局特征提取能力，主干網(wǎng)絡(luò)輸出的特征圖fh×w×c被分別輸入到x個(gè)并行的池化層中，其中h、w和c分別表示特征圖的長、寬和通道數(shù)。對于第i個(gè)池化層，特征圖首先被池化為更小尺寸的特征圖之后，使用大小為1×1×(c/x)的卷積核減少特征圖fi的通道數(shù)，得到再后，使用雙線性插值將池化后的特征圖上采樣為原始特征圖的尺寸，得到將所有還原后的特征圖與原始特征圖按照通道維度進(jìn)行拼接，最終多尺度特征提取模塊的輸出p為：

6、

7、其中，表示拼接操作。

8、步驟3：特征篩選模塊；

9、特征篩選模塊被插在步驟2所聲明的多尺度特征提取模塊之后，以幫助模型從多尺度特征中選擇出更重要的特征。特征圖ph×w×c首先被輸入至x個(gè)并行的卷積分支中，每個(gè)分支使用大小不同的深度可分離卷積核提取特征，生成特征圖然后，將得到的x個(gè)特征圖相加，得到多尺度融合特征圖uh×w×c。通過全局平均池化，每個(gè)通道上的特征圖都被壓縮為一個(gè)實(shí)數(shù)，即特征向量s1×1×c。全局平均池化的公式如下：

10、

11、其中uc(i,j)表示特征圖u的第c個(gè)通道在位置(i,j)的像素值，sc是第c個(gè)通道經(jīng)過全局平均池化后的輸出值。將s1×1×c分別輸入至x個(gè)并行的卷積核大小為k的1維卷積后，得到x個(gè)維度與s相同的特征向量利用sigmoid函數(shù)，將歸一化后的權(quán)重與分離輸入后的特征圖逐通道相乘，生成x個(gè)加權(quán)后的特征圖。最后，將這些特征圖相加，得到特征篩選模塊的輸出特征圖kh×w×c。

12、步驟4：解碼器；

13、解碼器使用轉(zhuǎn)置卷積，將特征篩選模塊的輸出進(jìn)行步長為2的上采樣。上采樣后的特征圖的長和寬為上采樣前的2倍。之后，將得到的特征圖與步驟1中第3個(gè)殘差塊的輸出特征圖進(jìn)行拼接，以融合深層特征與淺層特征。最終，將融合后的特征圖通過上采樣恢復(fù)至與輸入云圖的長寬相同。通過softmax函數(shù)判斷每個(gè)像素點(diǎn)的所屬類別為某一種云或背景。

14、本發(fā)明設(shè)計(jì)了一種基于多尺度特征提取與篩選的地基云圖語義分割模型。該模型利用并行池化層提取不同尺度特征，并利用注意力機(jī)制實(shí)現(xiàn)卷積核尺度的動態(tài)選擇，迫使網(wǎng)絡(luò)將計(jì)算資源傾斜至更重要的特征尺度，實(shí)現(xiàn)特征篩選的效果。與其它類似結(jié)構(gòu)網(wǎng)絡(luò)相比，本發(fā)明增強(qiáng)了網(wǎng)絡(luò)在全局特征方面的提取能力，減少了將某種云分類為另一種云的概率，從而提升了地基云圖語義分割的準(zhǔn)確率。

技術(shù)特征：

1.一種基于多尺度特征提取與篩選的地基云圖多類分割方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多尺度特征提取與篩選的地基云圖多類分割方法，其特征在于：設(shè)計(jì)一種主干結(jié)構(gòu)用于提取多個(gè)層級的視覺特征；主干結(jié)構(gòu)包括4個(gè)疊加的具有殘差結(jié)構(gòu)的卷積塊卷積頭、卷積層1、卷積層2和卷積層3以及3次下采樣，用于提取淺層和深層的云圖特征；首先輸入大小為256×256的rgb地基云圖；經(jīng)過卷積頭輸出長×寬×通道數(shù)為256×256×64的特征圖；然后經(jīng)過大小為2的平均池化，特征圖長寬減半，大小為128×128×64；之后，特征圖每經(jīng)過一個(gè)卷積塊，通道數(shù)加倍；每經(jīng)過一次池化，長寬減半；最終，主干網(wǎng)絡(luò)得到大小為32×32×512的特征圖f32×32×512。

3.根據(jù)權(quán)利要求1所述的一種基于多尺度特征提取與篩選的地基云圖多類分割方法，其特征在于：使用多尺度特征提取模塊以增強(qiáng)網(wǎng)絡(luò)的全局特征提取能力；主干網(wǎng)絡(luò)輸出的特征圖f32×32×512被分別輸入到4個(gè)并行的池化層中；所述池化層具有不同的池化尺寸，分別為1×1、2×2、3×3和6×6，每種尺寸都對應(yīng)一個(gè)層級；在每個(gè)層級上，特征圖首先被平均池化為更小尺寸的特征圖；在第三層，即池化尺寸為3×3的層級上，特征圖將被池化為之后，使用大小為1×1×128的卷積核減少特征圖fi的通道數(shù)，得到使用雙線性插值將池化后的特征圖上采樣為原始特征圖的尺寸，得到將所有還原后的特征圖與原始特征圖按照通道維度進(jìn)行拼接，最終多尺度特征提取模塊的輸出p為：

4.根據(jù)權(quán)利要求1所述的一種基于多尺度特征提取與篩選的地基云圖多類分割方法，其特征在于：所述特征篩選模塊包擴(kuò)深度可分離卷積模塊和自適應(yīng)注意力機(jī)制模塊；多尺度特征提取模塊的輸出p32×32×1024首先被分別輸入到4個(gè)并行的卷積分支中；卷積分支使用不同尺寸的卷積核以捕獲不同尺度的空間特征；特征篩選模塊使用深度可分離卷積以減少模型的計(jì)算復(fù)雜度和參數(shù)數(shù)量；具體地，每個(gè)卷積分支中的卷積核都分為深度卷積和逐點(diǎn)卷積兩部分；在深度卷積中，每個(gè)輸入通道分別被一個(gè)單獨(dú)的卷積核處理；與輸入p32×32×1024的通道數(shù)相對應(yīng)，每個(gè)分支都有1024個(gè)深度卷積核，其大小分別為1×1、2×2、3×3以及5×5；每個(gè)卷積核僅在其對應(yīng)的單一輸入通道上滑動并進(jìn)行卷積運(yùn)算；在深度卷積之后，逐點(diǎn)卷積使用1×1的卷積核來處理深度卷積的輸出；逐點(diǎn)卷積增加了非線性，從各個(gè)獨(dú)立處理的通道中提取特征；對于輸入p32×32×1024，多分支深度分離卷積結(jié)構(gòu)將輸出4個(gè)特征圖其中i表示第i分支；將4個(gè)分支得到的特征圖相加，得到融合特征圖u32×32×1024；將該特征圖u做全局平均池化后，得到特征向量s1×1×1024；將s分別輸入至4個(gè)并行的卷積核大小為5的1維卷積后，得到4個(gè)特征向量最后用sigmoid激活函數(shù)將得到的特征向量歸一化，得到將4個(gè)歸一化后的特征向量與分離輸入后的特征圖逐通道相乘，生成4個(gè)加權(quán)后的特征圖，將特征圖相加得到特征篩選模塊的最終輸出特征圖k32×32×1024。

5.根據(jù)權(quán)利要求1所述的一種基于多尺度特征提取與篩選的地基云圖多類分割方法，其特征在于：設(shè)計(jì)一種融合不同層級特征的解碼方式；第一次上采樣使用轉(zhuǎn)置卷積，將特征篩選模塊的輸出k32×32×1024的長和寬為增加為2倍，通道數(shù)減少為1/4，得到k64×64×256；之后，將得到的特征圖與卷積層2的輸出特征圖進(jìn)行拼接，得到特征圖c64×64×512；將深層特征與淺層特征融合，增強(qiáng)了網(wǎng)絡(luò)的魯棒性；特征圖c64×64×512再經(jīng)過三個(gè)卷積塊以及2次上采樣，最終得到大小為256×256×11的特征圖；通過softmax函數(shù)對每個(gè)像素點(diǎn)對應(yīng)的通道向量z進(jìn)行歸一化得到概率掩碼，判斷該像素點(diǎn)屬于何種類別。

技術(shù)總結(jié)
本發(fā)明公開了一種基于多尺度特征提取與篩選的地基云圖多類分割方法。包括：1)使用四個(gè)堆疊的殘差塊作為主干結(jié)構(gòu)提取多層級視覺特征；2)多尺度特征提取模塊通過并行池化層處理主干網(wǎng)絡(luò)輸出的特征圖，利用1×1卷積核減少通道數(shù)，并通過雙線性插值上采樣，實(shí)現(xiàn)全局特征提??；3)特征篩選模塊進(jìn)一步從多尺度特征中篩選重要特征，使用多分支深度可分離卷積和混合注意力機(jī)制進(jìn)行特征融合；4)解碼器通過轉(zhuǎn)置卷積上采樣并融合深淺層特征，最終通過softmax函數(shù)完成像素級分類。相較于其他算法，在處理地基云圖語義分割任務(wù)時(shí)，顯著提高了分割準(zhǔn)確率，尤其在細(xì)分不同類型云類的能力上表現(xiàn)優(yōu)異，大幅減少誤分類情況，驗(yàn)證其在全局特征提取方面的優(yōu)勢。

技術(shù)研發(fā)人員：賈克斌,孫繼飛
受保護(hù)的技術(shù)使用者：北京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6