本發(fā)明涉及機器學(xué)習(xí)，尤其涉及一種改進型植物病害數(shù)據(jù)增強方法。

背景技術(shù)：

1、植物病害對全球農(nóng)業(yè)構(gòu)成重大威脅，影響作物產(chǎn)量和質(zhì)量，進而影響糧食安全和經(jīng)濟穩(wěn)定，隨著世界人口持續(xù)增長，提高農(nóng)業(yè)生產(chǎn)力的需求需要有效的疾病管理策略。傳統(tǒng)的植物病害分類方法通常依賴于專家知識和人工檢查，需要大量手動注釋的葉子圖像，該過程耗時、費力且容易出現(xiàn)人為錯誤。

2、基于此，few-shot學(xué)習(xí)方法被廣泛應(yīng)用在植物病害分類中，目前的few-shot方法主要分為三種：基于元學(xué)習(xí)的方法，基于遷移學(xué)習(xí)的方法以及基于數(shù)據(jù)增強的方法。元學(xué)習(xí)通過跨多個任務(wù)進行學(xué)習(xí)，使模型能夠快速適應(yīng)新任務(wù)。然而，它需要大量的計算資源，其有效性取決于任務(wù)之間的相關(guān)性。同樣，遷移學(xué)習(xí)利用從一項任務(wù)獲取的知識來提高另一項相關(guān)任務(wù)的性能，從而顯著減少目標任務(wù)所需的數(shù)據(jù)量。遷移學(xué)習(xí)在實際應(yīng)用中非常流行，但存在負遷移的風(fēng)險，其中預(yù)訓(xùn)練模型的缺陷可能會對新任務(wù)產(chǎn)生不利影響。此外，預(yù)訓(xùn)練模型通常很大，可能會增加存儲和計算需求。

3、傳統(tǒng)的數(shù)據(jù)增強方法通過圖像翻轉(zhuǎn)、旋轉(zhuǎn)等對原始訓(xùn)練數(shù)據(jù)進行變換來生成新的樣本，以增加數(shù)據(jù)多樣性，提高模型的泛化能力。然而，這些方法產(chǎn)生的多樣性非常有限，過度的轉(zhuǎn)換可能會導(dǎo)致數(shù)據(jù)樣本不具有代表性從而可能誤導(dǎo)模型。因此傳統(tǒng)的數(shù)據(jù)增強方法具有較大的局限性，無法滿足高質(zhì)量的植物病害數(shù)據(jù)獲取需求。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種改進型植物病害數(shù)據(jù)增強方法，用于提升生成的植物病害數(shù)據(jù)的質(zhì)量。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下技術(shù)方案：一種改進型植物病害數(shù)據(jù)增強方法，包括：

3、步驟s1，引入植物病害數(shù)據(jù)集和潛在擴散模型，所述植物病害數(shù)據(jù)集中包含有多張植物圖片，將各所述植物圖片作為所述潛在擴散模型的輸入，將預(yù)先設(shè)置的多組提示文本作為所述潛在擴散模型的文本提示條件，所述潛在擴散模型用于輸出多張包含有植物病害數(shù)據(jù)的植物病害圖片；

4、步驟s2，將controlnet算法集成進所述潛在擴散模型的神經(jīng)網(wǎng)絡(luò)架構(gòu)中，利用所述controlnet算法提取所述植物圖片中的圖像特征，并將所述圖像特征作為指導(dǎo)調(diào)整所述潛在擴散模型的輸出，以對所述潛在擴散模型初步優(yōu)化；

5、步驟s3，利用lora優(yōu)化算法維持所述潛在擴散模型的原始權(quán)重矩陣不變，更新所述潛在擴散模型中權(quán)重調(diào)整矩陣的低秩分解，以對所述潛在擴散模型再次優(yōu)化；

6、步驟s4，利用文本嵌入指導(dǎo)模型提取各所述提示文本中的文本特征，將所述文本特征嵌入所述潛在擴散模型的去噪網(wǎng)絡(luò)中，以對所述潛在擴散模型進一步優(yōu)化。

7、進一步地，所述潛在擴散模型基于ldm模型，所述潛在擴散模型的訓(xùn)練步驟包括前向擴散步驟和反向去噪步驟，所述前向擴散步驟包括：

8、步驟s11，將各所述植物圖片作為訓(xùn)練樣本，利用vae的編碼器將所述訓(xùn)練樣本轉(zhuǎn)化為潛在空間特征變量；

9、步驟s12，在前向擴散過程中，逐漸在所述潛在空間特征變量中添加高斯噪聲，將其轉(zhuǎn)化為純噪聲；

10、所述反向去噪步驟包括：

11、步驟s13，將所述純噪聲作為所述去噪網(wǎng)絡(luò)的輸入，利用所述去噪網(wǎng)絡(luò)進行預(yù)測并逐步去除其中的噪聲得到去噪空間特征變量；

12、步驟s14，利用vae的解碼器將所述去噪空間特征變量轉(zhuǎn)化為所述植物病害圖片。

13、進一步地，所述前向擴散步驟的數(shù)學(xué)表達式配置為：

14、

15、

16、其中，用于表示所述潛在空間特征變量，用于表示所述訓(xùn)練樣本，用于表示所述純噪聲，、和用于表示添加了噪聲的強度系數(shù)，是所述前向擴散步驟中添加的高斯噪聲；

17、所述反向去噪步驟的數(shù)學(xué)表達式配置為：

18、

19、

20、其中，用于表示參數(shù)為的去噪網(wǎng)絡(luò)給出的時間步長為處的預(yù)測噪聲，用于表示與時間相關(guān)的縮放因子，用于表示所述反向去噪步驟中的高斯噪聲項；

21、所述潛在擴散模型的最小期望損失計算過程配置為：

22、

23、其中，用于表示期望，用于表示時間步長，用于表示所述文本特征，用于表示參數(shù)為的去噪網(wǎng)絡(luò)給出的預(yù)測噪聲，該預(yù)測噪聲以為條件。

24、進一步地，所述步驟s2包括：

25、步驟s21，將controlnet算法集成到預(yù)訓(xùn)練的所述潛在擴散模型中，利用所述controlnet算法提取所述植物圖片中的canny特征，softedge特征或者depth特征作為所述圖像特征；

26、步驟s22，將所述圖像特征作為圖像特征條件，并將所述圖像特征條件轉(zhuǎn)化為所述潛在擴散模型的輸出；

27、步驟s23，將交叉注意力機制與所述文本提示條件結(jié)合控制原始網(wǎng)絡(luò)的sd解碼器，以優(yōu)化所述潛在擴散模型。

28、進一步地，所述潛在擴散模型的輸出數(shù)學(xué)表達式配置為：

29、

30、其中，用于表示所述潛在擴散模型的輸出，用于表示參數(shù)為的去噪網(wǎng)絡(luò)，用于零卷積塊，所述零卷積塊為初始值為0的卷積模塊，用于表示所述圖像特征條件，分別用于表示復(fù)制網(wǎng)絡(luò)塊和零卷積塊的參數(shù)。

31、進一步地，所述步驟s3包括：

32、步驟s31，將所述權(quán)重調(diào)整矩陣低秩分解為兩個較小的矩陣和矩陣；

33、步驟s32，根據(jù)所述矩陣和所述矩陣生成殘差；

34、步驟s33，根據(jù)所述殘差和所述原始權(quán)重矩陣生成所述潛在擴散模型的隱藏層的輸出量，以優(yōu)化所述潛在擴散模型。

35、進一步地，所述潛在擴散模型的隱藏層的輸出計算公式配置為：

36、

37、其中，用于表示所述隱藏層的輸出量，用于表示輸入向量，用于表示所述權(quán)重調(diào)整矩陣，用于表示所述原始權(quán)重矩陣。

38、進一步地，在所述植物病害數(shù)據(jù)集中，還包括采集各所述植物圖片時實時獲取的外部環(huán)境參數(shù)和鏡頭參數(shù)，所述外部環(huán)境參數(shù)包括環(huán)境溫度、環(huán)境濕度和光照強度，所述鏡頭參數(shù)包括初始透光率和初始信噪比；

39、則所述步驟s2中所述controlnet算法提取所述圖像特征過程中，根據(jù)所述環(huán)境溫度、所述環(huán)境濕度和所述光照強度對所述初始透光率和所述初始信噪比處理得到實際透光率和實際信噪比，并根據(jù)所述實際透光率、所述實際信噪比與預(yù)設(shè)的標準透光率、標準信噪比之間生成優(yōu)化圖像特征，并將所述優(yōu)化圖像特征作為指導(dǎo)調(diào)整所述潛在擴散模型的輸出。

40、進一步地，所述實際透光率的計算公式配置為：

41、

42、其中，用于表示所述實際透光率，用于表示所述初始透光率，用于表示所述環(huán)境溫度，用于表示所述環(huán)境濕度，用于表示所述光照強度，、、分別用于表示預(yù)設(shè)的初始溫度、初始濕度和初始光照，、、分別用于表示預(yù)設(shè)的第一透光干擾系數(shù)、第二透光干擾系數(shù)和第三透光干擾系數(shù)；

43、所述實際信噪比的計算公式配置為：

44、

45、其中，用于表示所述實際信噪比，用于表示所述初始信噪比，、、分別用于表示預(yù)設(shè)的第一透光干擾系數(shù)、第二透光干擾系數(shù)和第三透光干擾系數(shù)。

46、進一步地，所述優(yōu)化圖像特征的計算公式配置為：

47、

48、其中，用于表示所述優(yōu)化圖像特征，用于表示所述圖像特征，、分別用于表示預(yù)設(shè)的透光率轉(zhuǎn)換系數(shù)和信噪比轉(zhuǎn)換系數(shù)，、分別用于表示所述標準透光率和所述標準信噪比。

49、本發(fā)明的有益效果：

50、本發(fā)明首先引入潛在擴散模型，并利用controlnet算法提取圖像特征以調(diào)整潛在擴散模型的輸出，實現(xiàn)對潛在擴散模型初步優(yōu)化；同時還利用lora優(yōu)化算法更新潛在擴散模型中權(quán)重調(diào)整矩陣的低秩分解，以對潛在擴散模型再次優(yōu)化；此外還利用文本嵌入指導(dǎo)模型提取各提示文本中的文本特征，將文本特征嵌入潛在擴散模型的去噪網(wǎng)絡(luò)中，以對潛在擴散模型進一步優(yōu)化；

51、因此本發(fā)明綜合了controlnet算法、lora優(yōu)化算法以及文本嵌入指導(dǎo)模型對潛在擴散模型進行多次優(yōu)化調(diào)整，顯著提升了最終輸出的植物病害圖片中植物病害數(shù)據(jù)的質(zhì)量，利于植物病害管理，同時提升了潛在擴散模型的泛化能力。