本發(fā)明屬于枸杞地農(nóng)殘分析,尤其涉及一種基于決策樹的枸杞地農(nóng)殘分析方法及系統(tǒng)。
背景技術(shù):
1、枸杞作為一種廣受歡迎的滋補(bǔ)食材,其質(zhì)量安全問題一直備受關(guān)注。在枸杞種植過程中,農(nóng)戶為了提高產(chǎn)量和防治病蟲害,往往會(huì)使用各種農(nóng)藥,導(dǎo)致枸杞果實(shí)表面殘留農(nóng)藥,危害消費(fèi)者健康。傳統(tǒng)的農(nóng)殘檢測(cè)方法需要對(duì)枸杞樣品進(jìn)行前處理,耗時(shí)耗力,難以實(shí)現(xiàn)大批量樣品的快速篩選。而近紅外光譜法作為一種快速、無損的檢測(cè)技術(shù),可以在不破壞枸杞果實(shí)的情況下獲取其光譜信息,但如何從海量的光譜數(shù)據(jù)中準(zhǔn)確判別農(nóng)殘含量,并建立光譜特征與農(nóng)殘含量的關(guān)聯(lián)模型,是一個(gè)亟待解決的技術(shù)難題。
2、此外,由于枸杞果實(shí)表面的農(nóng)殘分布不均勻,加之枸杞品種、產(chǎn)地、采收時(shí)間等因素的差異,導(dǎo)致獲取的光譜信息存在較大的波動(dòng)性和不確定性,給模型的建立和優(yōu)化帶來了挑戰(zhàn)。同時(shí),如何在海量的光譜數(shù)據(jù)中篩選出與農(nóng)殘含量相關(guān)性最大的特征波段,并構(gòu)建穩(wěn)健高效的決策樹模型,也是一個(gè)技術(shù)難點(diǎn)。如何平衡模型的復(fù)雜度和泛化能力,避免過擬合和欠擬合,需要在算法設(shè)計(jì)和參數(shù)調(diào)優(yōu)方面進(jìn)行深入研究。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述技術(shù)問題,本發(fā)明提出了一種基于決策樹的枸杞地農(nóng)殘分析方法及系統(tǒng),以解決上述現(xiàn)有技術(shù)存在的問題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明提供了一種基于決策樹的枸杞地農(nóng)殘分析方法,包括:
3、獲取不同枸杞品種、產(chǎn)地和采收時(shí)間的枸杞樣本的光譜特征與農(nóng)殘含量的關(guān)聯(lián)數(shù)據(jù)集;
4、對(duì)所述關(guān)聯(lián)數(shù)據(jù)集進(jìn)行預(yù)處理,獲得特征波段數(shù)據(jù)集;
5、基于偏最小二乘回歸法構(gòu)建模型,通過所述特征波段數(shù)據(jù)集對(duì)所述模型進(jìn)行訓(xùn)練,獲得關(guān)聯(lián)模型;
6、獲取實(shí)時(shí)枸杞光譜數(shù)據(jù),基于所述關(guān)聯(lián)模型對(duì)所述實(shí)時(shí)枸杞光譜數(shù)據(jù)進(jìn)行計(jì)算,生成計(jì)算結(jié)果,通過決策樹算法對(duì)所述計(jì)算結(jié)果進(jìn)行判別,將枸杞劃分為合格品和不合格品。
7、優(yōu)選地,所述獲取不同枸杞品種、產(chǎn)地和采收時(shí)間的枸杞樣本的光譜特征與農(nóng)殘含量的關(guān)聯(lián)數(shù)據(jù)集的過程包括:
8、采用近紅外光譜儀獲取不同枸杞品種、產(chǎn)地和采收時(shí)間的枸杞樣本的光譜信息;
9、通過高效液相色譜法測(cè)定枸杞表面農(nóng)殘含量;
10、基于所述枸杞樣本的光譜信息和所述枸杞表面農(nóng)殘含量建立光譜特征與農(nóng)殘含量的關(guān)聯(lián)數(shù)據(jù)集。
11、優(yōu)選地,對(duì)所述關(guān)聯(lián)數(shù)據(jù)集進(jìn)行預(yù)處理,獲得特征波段數(shù)據(jù)集的過程包括:
12、將所述關(guān)聯(lián)數(shù)據(jù)集劃分為初始光譜數(shù)據(jù)集和農(nóng)殘含量數(shù)據(jù)集;
13、對(duì)所述初始光譜數(shù)據(jù)集進(jìn)行去噪和歸一化預(yù)處理后,構(gòu)建光譜數(shù)據(jù)矩陣;
14、針對(duì)所述光譜數(shù)據(jù)矩陣進(jìn)行主成分分析,通過特征值分解和特征向量提取,獲得數(shù)據(jù)矩陣的主成分的累積貢獻(xiàn)率;
15、根據(jù)所述主成分的累積貢獻(xiàn)率,確定新的特征波段,得到降維后的光譜特征數(shù)據(jù);
16、將所述降維后的光譜特征數(shù)據(jù)和農(nóng)殘含量數(shù)據(jù)集進(jìn)行結(jié)合,獲得所述特征波段數(shù)據(jù)集。
17、優(yōu)選地,所述獲得數(shù)據(jù)矩陣的主成分的累積貢獻(xiàn)率的過程包括:
18、針對(duì)所述光譜數(shù)據(jù)矩陣進(jìn)行主成分分析,得到各主成分的貢獻(xiàn)率;
19、根據(jù)所述各主成分的貢獻(xiàn)率,繪制累積貢獻(xiàn)率曲線,確定所述曲線的拐點(diǎn)位置,完成主成分的累積貢獻(xiàn)率的獲取。
20、優(yōu)選地,所述基于偏最小二乘回歸法構(gòu)建模型,通過所述特征波段數(shù)據(jù)集對(duì)所述模型進(jìn)行訓(xùn)練,獲得關(guān)聯(lián)模型的過程包括:
21、采用偏最小二乘回歸算法,以所述特征波段為自變量,所述農(nóng)殘含量為因變量,建立預(yù)測(cè)模型;
22、基于所述特征波段數(shù)據(jù)集對(duì)所述預(yù)測(cè)模型進(jìn)行訓(xùn)練,獲得所述關(guān)聯(lián)模型。
23、優(yōu)選地,基于所述特征波段數(shù)據(jù)集對(duì)所述預(yù)測(cè)模型進(jìn)行訓(xùn)練,獲得所述關(guān)聯(lián)模型的過程包括:
24、通過交叉驗(yàn)證方法,確定所述預(yù)測(cè)模型的最佳主成分?jǐn)?shù);
25、通過所述預(yù)測(cè)模型預(yù)測(cè)所述特征波段數(shù)據(jù)集的農(nóng)藥殘留量,將預(yù)測(cè)值與實(shí)測(cè)值進(jìn)行比對(duì),評(píng)估所述預(yù)測(cè)模型的預(yù)測(cè)精度;若所述預(yù)測(cè)精度未達(dá)到預(yù)設(shè)閾值,則調(diào)整模型參數(shù),重新建立定量關(guān)系模型,直至所述預(yù)測(cè)精度滿足要求。
26、優(yōu)選地,通過交叉驗(yàn)證方法,確定所述預(yù)測(cè)模型的最佳主成分?jǐn)?shù)的過程包括:
27、采用k折交叉驗(yàn)證方法,將所述預(yù)處理后的數(shù)據(jù)集劃分為k個(gè)子集;
28、針對(duì)每一折交叉驗(yàn)證,使用對(duì)應(yīng)的訓(xùn)練集構(gòu)建偏最小二乘回歸模型;
29、分析所述k折交叉驗(yàn)證的結(jié)果,確定最佳主成分?jǐn)?shù);
30、根據(jù)所述最佳主成分?jǐn)?shù),在所述預(yù)處理后的數(shù)據(jù)集上訓(xùn)練偏最小二乘回歸模型,得到所述預(yù)測(cè)模型。
31、優(yōu)選地,所述通過決策樹算法對(duì)所述計(jì)算結(jié)果進(jìn)行判別,將枸杞劃分為合格品和不合格品的過程包括:構(gòu)建決策樹算法,將所述計(jì)算結(jié)果輸入至所述決策樹算法中,通過所述決策樹的分支結(jié)構(gòu)和節(jié)點(diǎn)閾值進(jìn)行定性判別,若農(nóng)殘含量低于預(yù)設(shè)閾值,則判定該枸杞樣本為合格品,否則判定為不合格品。
32、為實(shí)現(xiàn)上述目的,本發(fā)明還提供了一種基于決策樹的枸杞地農(nóng)殘分析系統(tǒng),包括:
33、數(shù)據(jù)獲取模塊,用于獲取不同枸杞品種、產(chǎn)地和采收時(shí)間的枸杞樣本的光譜特征與農(nóng)殘含量的關(guān)聯(lián)數(shù)據(jù)集;
34、預(yù)處理模塊,用于對(duì)所述關(guān)聯(lián)數(shù)據(jù)集進(jìn)行預(yù)處理,獲得特征波段數(shù)據(jù)集;
35、模型構(gòu)建模塊,用于基于偏最小二乘回歸法構(gòu)建模型,通過所述特征波段數(shù)據(jù)集對(duì)所述模型進(jìn)行訓(xùn)練,獲得關(guān)聯(lián)模型;
36、判別模塊,用于獲取實(shí)時(shí)枸杞光譜數(shù)據(jù),基于所述關(guān)聯(lián)模型對(duì)所述實(shí)時(shí)枸杞光譜數(shù)據(jù)進(jìn)行計(jì)算,生成計(jì)算結(jié)果,通過決策樹算法對(duì)所述計(jì)算結(jié)果進(jìn)行判別,將枸杞劃分為合格品和不合格品。
37、與現(xiàn)有技術(shù)相比,本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果:
38、本發(fā)明公開了一種基于近紅外光譜技術(shù)和化學(xué)計(jì)量學(xué)方法快速、無損檢測(cè)枸杞農(nóng)殘含量的方法。通過采集不同品種、產(chǎn)地和采收時(shí)間枸杞樣本的光譜信息,并與高效液相色譜法測(cè)定的農(nóng)殘含量建立關(guān)聯(lián)數(shù)據(jù)集。對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理后,采用主成分分析提取特征波段,再通過偏最小二乘回歸建立光譜特征與農(nóng)殘含量的定量關(guān)聯(lián)模型,并結(jié)合決策樹算法對(duì)枸杞農(nóng)殘含量進(jìn)行定性判別。本發(fā)明可實(shí)現(xiàn)枸杞農(nóng)殘含量的快速、準(zhǔn)確、無損檢測(cè),為枸杞質(zhì)量安全控制提供有力的技術(shù)手段。
1.一種基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,所述獲取不同枸杞品種、產(chǎn)地和采收時(shí)間的枸杞樣本的光譜特征與農(nóng)殘含量的關(guān)聯(lián)數(shù)據(jù)集的過程包括:
3.根據(jù)權(quán)利要求1所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,對(duì)所述關(guān)聯(lián)數(shù)據(jù)集進(jìn)行預(yù)處理,獲得特征波段數(shù)據(jù)集的過程包括:
4.根據(jù)權(quán)利要求3所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,所述獲得數(shù)據(jù)矩陣的主成分的累積貢獻(xiàn)率的過程包括:
5.根據(jù)權(quán)利要求1所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,所述基于偏最小二乘回歸法構(gòu)建模型,通過所述特征波段數(shù)據(jù)集對(duì)所述模型進(jìn)行訓(xùn)練,獲得關(guān)聯(lián)模型的過程包括:
6.根據(jù)權(quán)利要求5所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,基于所述特征波段數(shù)據(jù)集對(duì)所述預(yù)測(cè)模型進(jìn)行訓(xùn)練,獲得所述關(guān)聯(lián)模型的過程包括:
7.根據(jù)權(quán)利要求6所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,通過交叉驗(yàn)證方法,確定所述預(yù)測(cè)模型的最佳主成分?jǐn)?shù)的過程包括:
8.根據(jù)權(quán)利要求1所述的基于決策樹的枸杞地農(nóng)殘分析方法,其特征在于,所述通過決策樹算法對(duì)所述計(jì)算結(jié)果進(jìn)行判別,將枸杞劃分為合格品和不合格品的過程包括:構(gòu)建決策樹算法,將所述計(jì)算結(jié)果輸入至所述決策樹算法中,通過所述決策樹的分支結(jié)構(gòu)和節(jié)點(diǎn)閾值進(jìn)行定性判別,若農(nóng)殘含量低于預(yù)設(shè)閾值,則判定該枸杞樣本為合格品,否則判定為不合格品。
9.根據(jù)權(quán)利要求1-8任一項(xiàng)所述的基于決策樹的枸杞地農(nóng)殘分析方法的分析系統(tǒng),其特征在于,包括: