本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)識(shí)別，尤其涉及一種用于農(nóng)業(yè)植物葉片病害的二元神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)。

背景技術(shù)：

1、深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域、自然語(yǔ)言處理、多式聯(lián)運(yùn)應(yīng)用等領(lǐng)域取得了重大進(jìn)展。然而，一些網(wǎng)絡(luò)需要大量的計(jì)算能力和存儲(chǔ)空間，這限制了它們?cè)谥悄苁謾C(jī)和嵌入式系統(tǒng)等資源受限平臺(tái)上的部署。為了應(yīng)對(duì)這一挑戰(zhàn)，研究人員提出了各種模型壓縮和加速算法，例如網(wǎng)絡(luò)量化、網(wǎng)絡(luò)剪枝、知識(shí)蒸餾以及輕量化架構(gòu)設(shè)計(jì)。其中，網(wǎng)絡(luò)二值化是一種極端的量化形式，將神經(jīng)網(wǎng)絡(luò)的32位浮點(diǎn)參數(shù)壓縮為二進(jìn)制形式(-1或+1)。它利用xnor和popcount等邏輯運(yùn)算代替?zhèn)鹘y(tǒng)的卷積計(jì)算，從而顯著降低存儲(chǔ)要求和計(jì)算復(fù)雜性。二值化將模型大小減少了32倍，并將計(jì)算速度提高了58倍。網(wǎng)絡(luò)二值化在實(shí)際使用中，與相應(yīng)的全精度網(wǎng)絡(luò)相比，經(jīng)常會(huì)損失精度。

2、農(nóng)業(yè)植物葉片病害是指影響植物葉片正常生長(zhǎng)和功能的各類疾病。這些病害通常由病原體（如真菌、細(xì)菌、病毒和線蟲）引起，也可能是非生物因素（如營(yíng)養(yǎng)不良、環(huán)境脅迫等）導(dǎo)致的。葉片病害對(duì)農(nóng)作物的產(chǎn)量和品質(zhì)有顯著影響，嚴(yán)重時(shí)甚至?xí)?dǎo)致植株死亡，因此植物葉片病害的早期檢測(cè)對(duì)于農(nóng)作物的健康生長(zhǎng)至關(guān)重要。傳統(tǒng)的病害識(shí)別方法依賴于人工觀察和經(jīng)驗(yàn)判斷，效率低下且容易出錯(cuò)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行自動(dòng)識(shí)別成為一種趨勢(shì)。然而，現(xiàn)有的二元神經(jīng)網(wǎng)絡(luò)在處理復(fù)雜背景下的葉片圖像時(shí)仍存在一定的局限性，無(wú)法滿足農(nóng)業(yè)植物葉片病害的識(shí)別需求。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種用于農(nóng)業(yè)植物葉片病害的二元神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)，用于提升二元神經(jīng)網(wǎng)絡(luò)對(duì)農(nóng)業(yè)植物葉片病害的識(shí)別精度。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：一種用于農(nóng)業(yè)植物葉片病害的二元神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng)，包括：

3、深度監(jiān)督模塊，用于將二元神經(jīng)網(wǎng)絡(luò)的訓(xùn)練框架劃分為主干網(wǎng)絡(luò)和多個(gè)輔助分類器，所述輔助分類器包括：

4、殘差特征提取模塊，用于從所述主干網(wǎng)絡(luò)中提取中間特征；

5、全連接層，連接所述殘差特征提取模塊，用于將所述中間特征轉(zhuǎn)化為預(yù)測(cè)值輸出；

6、所述深度監(jiān)督模塊連接所述全連接層，所述深度監(jiān)督模塊還用于在所述二元神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間，根據(jù)所述預(yù)測(cè)值與真實(shí)標(biāo)簽之間的差異計(jì)算得到深度監(jiān)督損失；

7、自蒸餾模塊，連接所述深度監(jiān)督模塊，用于在所述二元神經(jīng)網(wǎng)絡(luò)的每個(gè)訓(xùn)練循環(huán)中，計(jì)算各所述輔助分類器輸出的所述預(yù)測(cè)值，并選擇預(yù)測(cè)性能最佳的所述輔助分類器作為自蒸餾的教師分類器，進(jìn)而根據(jù)預(yù)測(cè)性能最佳的所述輔助分類器和相應(yīng)所述預(yù)測(cè)值計(jì)算得到自蒸餾損失；

8、總損失計(jì)算模塊，分別連接所述深度監(jiān)督模塊和所述自蒸餾模塊，用于根據(jù)所述深度監(jiān)督損失、所述自蒸餾損失計(jì)算得到總訓(xùn)練損失；

9、網(wǎng)絡(luò)優(yōu)化模塊，連接所述總損失計(jì)算模塊，用于根據(jù)所述總訓(xùn)練損失更新所述二元神經(jīng)網(wǎng)絡(luò)的參數(shù)，以生成優(yōu)化二元神經(jīng)網(wǎng)絡(luò)，所述優(yōu)化二元神經(jīng)網(wǎng)絡(luò)用于根據(jù)輸入的農(nóng)業(yè)植物病害圖片生成葉片病害識(shí)別結(jié)果。

10、進(jìn)一步地，所述全連接層將所述中間特征轉(zhuǎn)化為所述預(yù)測(cè)值的轉(zhuǎn)換公式配置為：

11、，

12、其中，用于表示所述輔助分類器的個(gè)數(shù)，用于表示所述主干網(wǎng)絡(luò)的層數(shù)，用于表示第個(gè)所述預(yù)測(cè)值，用于表示第個(gè)所述全連接層，用于表示第個(gè)所述殘差特征提取模塊，用于表示第-1個(gè)所述中間特征。

13、進(jìn)一步地，所述深度監(jiān)督損失的計(jì)算公式配置為：

14、，

15、其中，用于表示所述深度監(jiān)督損失，用于表示所述主干網(wǎng)絡(luò)的層與層之間的所述預(yù)測(cè)值，用于表示交叉熵?fù)p失函數(shù)。

16、進(jìn)一步地，所述殘差特征提取模塊包括：

17、深度卷積單元，用于利用多個(gè)卷積層來(lái)捕獲所述主干網(wǎng)絡(luò)中的多尺度特征表示；

18、逐點(diǎn)卷積單元，用于利用1×1卷積核線性組合特征通道；

19、殘差連接單元，用于在所述二元神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層之間添加直接連接，以使各網(wǎng)絡(luò)層學(xué)習(xí)輸入與輸出之間的殘差。

20、進(jìn)一步地，所述自蒸餾損失的計(jì)算公式配置為：

21、，

22、其中，用于表示所述自蒸餾損失，用于表示預(yù)測(cè)性能最佳的所述輔助分類器，用于表示預(yù)測(cè)性能最佳的所述輔助分類器對(duì)應(yīng)的所述預(yù)測(cè)值，用于表示kl損失函數(shù)。

23、進(jìn)一步地，所述總訓(xùn)練損失的計(jì)算公式配置為：

24、，

25、其中，用于表示所述總訓(xùn)練損失，用于表示交叉熵?fù)p失，用于表示所述深度監(jiān)督損失的權(quán)重參數(shù)，用于表示所述自蒸餾損失的權(quán)重參數(shù)。

26、進(jìn)一步地，在所述優(yōu)化二元神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段和推理階段，配置有分類器調(diào)用策略，所述分類器調(diào)用策略配置為：

27、在訓(xùn)練階段，利用所述深度監(jiān)督模塊和所述自蒸餾模塊對(duì)全部所述輔助分類器進(jìn)行訓(xùn)練；在推理階段，忽略全部所述輔助分類器，只保留所述主干網(wǎng)絡(luò)進(jìn)行推理。

28、進(jìn)一步地，還包括：

29、葉片參數(shù)生成模塊，用于獲取預(yù)先配置的植物葉片病害數(shù)據(jù)集中的多張農(nóng)業(yè)植物病害圖片的關(guān)鍵特征，并根據(jù)各所述關(guān)鍵特征生成所述植物葉片病害數(shù)據(jù)集的葉片調(diào)整參數(shù)；

30、網(wǎng)絡(luò)參數(shù)獲取模塊，連接所述葉片參數(shù)生成模塊，用于在所述優(yōu)化二元神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，獲取所述優(yōu)化二元神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層數(shù)、學(xué)習(xí)率、批量大小、閾值；

31、權(quán)重優(yōu)化模塊，連接所述葉片參數(shù)生成模塊、所述網(wǎng)絡(luò)參數(shù)獲取模塊和所述網(wǎng)絡(luò)優(yōu)化模塊，用于將所述網(wǎng)絡(luò)層數(shù)、所述學(xué)習(xí)率、所述批量大小、所述閾值和所述葉片調(diào)整參數(shù)輸入權(quán)重優(yōu)化公式中，計(jì)算得到所述深度監(jiān)督損失的權(quán)重參數(shù)與所述自蒸餾損失的權(quán)重參數(shù)的權(quán)重占比，根據(jù)所述權(quán)重占比調(diào)整所述總訓(xùn)練損失的計(jì)算公式。

32、進(jìn)一步地，所述權(quán)重優(yōu)化公式配置為：

33、，

34、其中，用于表示所述權(quán)重占比，用于表示所述網(wǎng)絡(luò)層數(shù)，用于表示所述學(xué)習(xí)率，用于表示所述批量大小，用于表示所述閾值，用于表示所述葉片調(diào)整參數(shù)，用于表示網(wǎng)絡(luò)的節(jié)點(diǎn)數(shù)，用于表示隱藏層數(shù)量，分別用于表示預(yù)設(shè)的第一變量、第二變量、第三變量、第四變量和第五變量，用于表示預(yù)設(shè)的第一常數(shù)系數(shù)、第二常數(shù)系數(shù)、第三常數(shù)系數(shù)和第四常數(shù)系數(shù)。

35、進(jìn)一步地，所述關(guān)鍵特征包括葉片微觀特征、葉片光譜特征、葉片紋理特征和葉片顏色特征。

36、本發(fā)明的有益效果：

37、本發(fā)明利用深度監(jiān)督模塊將二元神經(jīng)網(wǎng)絡(luò)的訓(xùn)練框架劃分為主干網(wǎng)絡(luò)和多個(gè)輔助分類器，并將每個(gè)輔助分類器分成殘差特征提取模塊和全連接層，利用殘差特征提取模塊從主干網(wǎng)絡(luò)中提取中間特征，利用該過(guò)程中的殘差連接實(shí)現(xiàn)了對(duì)信息傳播和梯度更新的改進(jìn)；全連接層根據(jù)中間特征生成預(yù)測(cè)值，深度監(jiān)督模塊在二元神經(jīng)網(wǎng)絡(luò)訓(xùn)練期間，根據(jù)預(yù)測(cè)值與真實(shí)標(biāo)簽之間的差異計(jì)算得到深度監(jiān)督損失；

38、本發(fā)明還利用自蒸餾模塊在二元神經(jīng)網(wǎng)絡(luò)的每個(gè)訓(xùn)練循環(huán)中，預(yù)測(cè)性能最佳的輔助分類器作為自蒸餾的教師分類器，根據(jù)預(yù)測(cè)性能最佳的輔助分類器和相應(yīng)預(yù)測(cè)值計(jì)算得到自蒸餾損失；進(jìn)而根據(jù)深度監(jiān)督損失、自蒸餾損失計(jì)算得到總訓(xùn)練損失，利用總訓(xùn)練損失更新二元神經(jīng)網(wǎng)絡(luò)的參數(shù)，以生成優(yōu)化二元神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)二元神經(jīng)網(wǎng)絡(luò)的深度優(yōu)化；

39、因此本發(fā)明通過(guò)將深度監(jiān)督技術(shù)和自蒸餾技術(shù)結(jié)合，實(shí)現(xiàn)對(duì)二元神經(jīng)網(wǎng)絡(luò)的優(yōu)化，顯著提升了提升二元神經(jīng)網(wǎng)絡(luò)對(duì)農(nóng)業(yè)植物葉片病害的識(shí)別精度。