本發(fā)明涉及圖像處理，尤其涉及一種農(nóng)作物葉片病害圖像語義分割方法。

背景技術(shù)：

1、農(nóng)作物葉片病害是世界各地農(nóng)業(yè)生產(chǎn)中的主要問題之一。葉片病害對農(nóng)作物的生長、發(fā)育和產(chǎn)量造成了嚴(yán)重的影響。農(nóng)作物葉片病害圖像語義分割可以幫助及時準(zhǔn)確地識別和監(jiān)控病害，從而采取有效措施防治病害、提高農(nóng)作物產(chǎn)量和質(zhì)量。然而，這一任務(wù)面臨諸多挑戰(zhàn)，包括葉片病害形態(tài)多樣性、類內(nèi)差異性大、類間相似性高等問題，這些因素都給準(zhǔn)確分割葉片病害區(qū)域帶來困難。

2、目前，國內(nèi)外學(xué)者對農(nóng)作物葉片病害種類的識別的研究集中在圖像分類領(lǐng)域，關(guān)于語義分割的技術(shù)相對較少。對于一片葉子中出現(xiàn)多種不同種類的病害等類似問題，僅靠圖像分類方法無法解決，且在實(shí)際應(yīng)用中，識別準(zhǔn)確率不高，給農(nóng)業(yè)生產(chǎn)帶來不便。相比于目前主流的圖像分類方法，語義分割任務(wù)允許在一張圖像中同時識別和分割出多個物體，其可以將圖像中的每個像素分配到特定的語義類別的特點(diǎn)，對于分割出物體的輪廓和邊界起到關(guān)鍵作用。

3、在語義分割領(lǐng)域，農(nóng)作物葉片病害具有類內(nèi)差異性大、類間相似性高、病害區(qū)域大小和位置的多樣性的特點(diǎn)，現(xiàn)有研究中，沒有針對這些特點(diǎn)的解決方案，導(dǎo)致語義分割的準(zhǔn)確率偏低。同時，語義分割模型的性能在很大程度上取決于給定標(biāo)簽(ground?truth)的質(zhì)量，而人工手動標(biāo)注的標(biāo)簽往往存在邊界界定不準(zhǔn)確的問題，在現(xiàn)有研究中，沒有增強(qiáng)標(biāo)簽質(zhì)量的方式，導(dǎo)致模型無法充分學(xué)習(xí)特征。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了解決上述技術(shù)問題，提供了一種農(nóng)作物葉片病害圖像語義分割方法，其通過對標(biāo)簽進(jìn)行圖像增強(qiáng)，使人工標(biāo)注的標(biāo)簽更接近真實(shí)葉片病害區(qū)域，通過在unet網(wǎng)絡(luò)的編碼器與解碼器之間添加多尺度上下文聚合模塊更好地捕捉和處理復(fù)雜葉片病害特征，從而能夠快速、準(zhǔn)確對農(nóng)作物葉片病害圖像進(jìn)行語義分割。

2、為了解決上述問題，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)：

3、本發(fā)明的一種農(nóng)作物葉片病害圖像語義分割方法，包括以下步驟：

4、s1：采集農(nóng)作物葉片病害圖像，對農(nóng)作物葉片病害圖像進(jìn)行人工標(biāo)注標(biāo)簽，建立農(nóng)作物葉片病害圖像數(shù)據(jù)集，將農(nóng)作物葉片病害圖像數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

5、s2：對訓(xùn)練集中的標(biāo)簽進(jìn)行圖像增強(qiáng)；

6、s3：對農(nóng)作物葉片病害圖像數(shù)據(jù)集進(jìn)行預(yù)處理；

7、s4：將多尺度上下文聚合模塊添加到unet網(wǎng)絡(luò)的編碼器與解碼器之間，將unet網(wǎng)絡(luò)的上采樣的轉(zhuǎn)置卷積替換為雙線性插值，得到特征提取神經(jīng)網(wǎng)絡(luò)模型；

8、s5：構(gòu)建用于評估真實(shí)值與預(yù)測值之間差距的損失函數(shù)；

9、s6：采用經(jīng)過在線數(shù)據(jù)增強(qiáng)的訓(xùn)練集對遷移參數(shù)權(quán)重的特征提取神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將訓(xùn)練得到的特征提取神經(jīng)網(wǎng)絡(luò)模型作為語義分割網(wǎng)絡(luò)模型；

10、s7：采用測試集對語義分割網(wǎng)絡(luò)模型進(jìn)行測試；

11、s8：獲取待分割農(nóng)作物葉片病害圖像，將待分割農(nóng)作物葉片病害圖像輸入語義分割網(wǎng)絡(luò)模型，語義分割網(wǎng)絡(luò)模型輸出語義分割結(jié)果。

12、作為優(yōu)選，所述步驟s1中采集農(nóng)作物葉片病害圖像，對農(nóng)作物葉片病害圖像進(jìn)行人工標(biāo)注標(biāo)簽，建立農(nóng)作物葉片病害圖像數(shù)據(jù)集的方法如下：

13、采集農(nóng)作物不同種類葉片病害的原始圖像，使用圖像標(biāo)注工具對收集的原始圖像上的病害區(qū)域進(jìn)行人工標(biāo)注標(biāo)簽，得到農(nóng)作物葉片病害圖像數(shù)據(jù)集；

14、標(biāo)注標(biāo)簽的方法為：在原始圖像上繪制病害區(qū)域并為其分配語義標(biāo)簽。

15、作為優(yōu)選，所述步驟s2中對標(biāo)簽進(jìn)行圖像增強(qiáng)的方法如下：

16、將標(biāo)簽的原圖像轉(zhuǎn)換為灰度圖像，得到灰度圖像矩陣igray；

17、生成與灰度圖像矩陣igray尺寸一致的噪聲矩陣，噪聲矩陣中的每個值都是從標(biāo)準(zhǔn)正態(tài)分布中抽取的隨機(jī)值；

18、將噪聲矩陣乘以權(quán)重η得到加權(quán)噪聲矩陣；

19、將灰度圖像矩陣igray與加權(quán)噪聲矩陣相加，得到添加噪聲后的灰度圖像矩陣inoisy；

20、使用邊緣檢測算法對灰度圖像矩陣inoisy進(jìn)行邊緣檢測得到掩膜；

21、將掩膜反轉(zhuǎn)后應(yīng)用于標(biāo)簽的原圖像，得到圖像增強(qiáng)后的標(biāo)簽。

22、作為優(yōu)選，所述步驟s3包括以下步驟：將農(nóng)作物葉片病害圖像數(shù)據(jù)集中的所有圖像統(tǒng)一轉(zhuǎn)換為jpg格式，接著對所有圖像進(jìn)行壓縮并調(diào)整為大小是512×512像素的圖像。

23、作為優(yōu)選，所述特征提取神經(jīng)網(wǎng)絡(luò)模型包括編碼器、解碼器、多尺度上下文聚合模塊，所述編碼器包括依次設(shè)置的conv1層、conv2層、conv3層、conv4層、conv5層，所述解碼器包括依次設(shè)置的up_concat4層、up_concat3層、up_concat2層、up_concat1層、final層，所述多尺度上下文聚合模塊包括atrous_conv1層、atrous_conv1層、atrous_convl層、atrous_conv1層、global_pooling層、concat層。

24、作為優(yōu)選，所述atrous_conv1層用于將conv5層輸出的32×32×512的特征圖通過卷積核大小為1×1的512通道的卷積，生成一個32×32×512的特征圖，接著采用全局上下文模塊進(jìn)行特征融合與增強(qiáng)，輸出32×32×512的特征圖；

25、所述atrous_conv2層用于將conv5層輸出的32×32×512的特征圖通過卷積核大小為3×3，空洞率為6，通道數(shù)為512的空洞卷積，生成一個32×32×512的特征圖，接著采用全局上下文模塊進(jìn)行特征融合與增強(qiáng)，輸出32×32×512的特征圖；

26、所述atrous_conv3層用于將conv5層輸出的32×32×512的特征圖通過卷積核大小為3×3，空洞率為12，通道數(shù)為512的空洞卷積，生成一個32×32×512的特征圖，接著采用全局上下文模塊進(jìn)行特征融合與增強(qiáng)，輸出32×32×512的特征圖；

27、所述atrous_conv4層用于將conv5層輸出的32×32×512的特征圖通過卷積核大小為3×3，空洞率為18，通道數(shù)為512的空洞卷積，生成一個32×32×512的特征圖，接著采用全局上下文模塊進(jìn)行特征融合與增強(qiáng)，輸出32×32×512的特征圖；

28、所述global_pooling層用于將conv5層輸出的32×32×512的特征圖實(shí)施全局平均池化，將特征圖尺寸從32×32×512降為1×1×512，隨后使用1×1的卷積核進(jìn)行512通道的卷積，最終通過relu激活函數(shù)提升非線性特征表達(dá)，輸出1×1×512的全局池化特征圖；

29、所述concat層用于將atrous_conv1層、atrous_conv2層、atrous_conv3層、atrous_conv4層、global_pooling層的輸出特征圖在深度維度上進(jìn)行疊加，生成32×32×2560的綜合特征圖，使用卷積核大小為1×1的卷積對32×32×2560的綜合特征圖進(jìn)行卷積處理，將通道數(shù)降低至512，最后通過relu激活函數(shù)增強(qiáng)非線性特征表達(dá)，最終輸出32×32×512大小的特征圖到up_concat4層。

30、作為優(yōu)選，所述up_concat4層用于將concat層輸出的32×32×512的特征圖通過雙線性插值法進(jìn)行上采樣，得到64×64×512的特征圖，將64×64×512的特征圖與conv4層輸出的64×64×512的特征圖進(jìn)行合并，得到64×64×1024的特征圖，64×64×1024的特征圖通過兩次卷積核大小為3×3，通道數(shù)為512的卷積，再通過relu激活函數(shù)進(jìn)一步提煉特征，最終輸出64×64×512的特征圖；

31、所述up_concat3層用于將up_concat4層的輸出的64×64×512的特征圖通過雙線性插值法進(jìn)行上采樣，得到128×128×512的特征圖，將128×128×512的特征圖與conv3層輸出的128×128×256的特征圖進(jìn)行合并，得到128×128×768的特征圖，128×128×768的特征圖通過兩次卷積核大小為3×3，通道數(shù)為256的卷積，再通過relu激活函數(shù)進(jìn)一步提煉特征，最終輸出128×128×256的特征圖；

32、所述up_concat2層用于將up_concat3層輸出的128×128×256的特征圖通過雙線性插值法進(jìn)行上采樣，得到256×256×256的特征圖，將256×256×256的特征圖與conv2層輸出的256×256×128的特征圖進(jìn)行合并，得到256×256×384的特征圖，256×256×384的特征圖通過兩次卷積核大小為3×3，通道數(shù)為128的卷積，再通過relu激活函數(shù)進(jìn)一步提煉特征，最終輸出256×256×128的特征圖；

33、所述up_concat1層用于將up_concat2層輸出的256×256×128的特征圖通過雙線性插值法進(jìn)行上采樣，得到512×512×128的特征圖，將512×512×128的特征圖與conv1層輸出的512×512×64的特征圖進(jìn)行合并，得到512×512×192的特征圖，512×512×192的特征圖通過兩次卷積核大小為3×3，通道數(shù)為64的卷積，再通過relu激活函數(shù)進(jìn)一步提煉特征，最終輸出512×512×64的特征圖；

34、所述final層用于將up_concat1層輸出的512×512×64的特征圖進(jìn)行卷積核大小為1×1的卷積，使用k個輸出通道進(jìn)行處理，將每個像素點(diǎn)的64通道特征映射到k個類別的預(yù)測概率上。

35、作為優(yōu)選，所述步驟s5包括以下步驟：

36、構(gòu)建交叉熵?fù)p失函數(shù)lce：

37、

38、構(gòu)建dice損失函數(shù)ldice：

39、

40、構(gòu)建混合損失函數(shù)ltotal：

41、ltotal＝α*ldice+β*lce，

42、其中，n是像素數(shù)，d是類別數(shù)，ti，c是第i個像素在第c類的真實(shí)標(biāo)簽，是第i個像素在第c類的預(yù)測概率，α、β為權(quán)重系數(shù)；

43、將混合損失函數(shù)ltotal作為用于評估真實(shí)值與預(yù)測值之間差距的損失函數(shù)。

44、作為優(yōu)選，所述步驟s6中采用經(jīng)過在線數(shù)據(jù)增強(qiáng)的訓(xùn)練集對遷移參數(shù)權(quán)重的特征提取神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的方法如下：

45、m1：下載unet網(wǎng)絡(luò)在公共圖像數(shù)據(jù)集imagenet中進(jìn)行預(yù)訓(xùn)練的模型參數(shù)權(quán)重，對特征提取神經(jīng)網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)；

46、m2：采用訓(xùn)練集對經(jīng)過遷移學(xué)習(xí)的特征提取神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，每次迭代訓(xùn)練過程前對訓(xùn)練集進(jìn)行如下操作：將訓(xùn)練集中的圖像樣本統(tǒng)一進(jìn)行隨機(jī)裁剪并調(diào)整為大小是512×512像素的圖像；將圖像樣本統(tǒng)一進(jìn)行概率為0.5的隨機(jī)水平翻轉(zhuǎn)；對圖像樣本統(tǒng)一進(jìn)行概率為0.2、縱橫比范圍在2/100到1/3之間的隨機(jī)遮擋。

47、作為優(yōu)選，對特征提取神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的優(yōu)化策略使用adam方法，初始學(xué)習(xí)率設(shè)置為0.0001，訓(xùn)練輪數(shù)epoch設(shè)為150。

48、本發(fā)明的有益效果是：通過對語義分割標(biāo)簽圖像進(jìn)行增強(qiáng)，使人工標(biāo)注的標(biāo)簽更接近真實(shí)葉片病害區(qū)域；通過在unet網(wǎng)絡(luò)的編碼器與解碼器之間添加多尺度上下文聚合模塊獲取圖像多尺度上下文特征信息，更好地捕捉和處理復(fù)雜葉片病害特征；通過構(gòu)建的混合損失函數(shù)能夠較好地分割出細(xì)小病斑的輪廓；實(shí)現(xiàn)了穩(wěn)定地對農(nóng)作物葉片病害圖像進(jìn)行分割的目的，提高了分割準(zhǔn)確率，具有更高效的識別效果、更平穩(wěn)的收斂過程，具有較好的魯棒性。