本發(fā)明應(yīng)用于圖像分割和農(nóng)業(yè)氣象觀測(cè)領(lǐng)域，具體涉及圖像特征提取與識(shí)別。研究基于深度學(xué)習(xí)的作物與背景的自動(dòng)分割問(wèn)題，提出基于rgb和hsi先驗(yàn)閾值優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)(rgb-hsi-cnn)的作物圖像分割提取覆蓋度方法，保留綠色植物的邊緣并解決光照等影響，區(qū)分作物與雜草及土地，得到綠色作物的覆蓋度。

背景技術(shù)：

農(nóng)作物生長(zhǎng)觀測(cè)是農(nóng)業(yè)氣象觀測(cè)的一個(gè)重要部分，通過(guò)對(duì)作物特征參數(shù)的觀測(cè)可及時(shí)了解作物的生長(zhǎng)狀況，便于采取各種管理措施，從而保證作物的正常生長(zhǎng)。目前我國(guó)農(nóng)業(yè)氣象觀測(cè)依然主要依靠地面觀測(cè)人員按照《農(nóng)業(yè)氣象觀測(cè)規(guī)范》中的標(biāo)準(zhǔn)對(duì)農(nóng)作物進(jìn)行實(shí)地取樣測(cè)量來(lái)完成，農(nóng)業(yè)氣象現(xiàn)代化建設(shè)相對(duì)滯后，迫切需要提高地面觀測(cè)及農(nóng)業(yè)氣象的自動(dòng)化觀測(cè)能力。

作物的覆蓋度是其生長(zhǎng)過(guò)程中重要生長(zhǎng)參數(shù)，它們直接或間接地反映了環(huán)境對(duì)作物綜合影響的結(jié)果，也對(duì)作物的其它生長(zhǎng)特征參數(shù)和產(chǎn)量具有一定的指向作用。計(jì)算機(jī)視覺(jué)的出現(xiàn)，一定程度上解決了這個(gè)問(wèn)題，自20上世紀(jì)50年代出現(xiàn)至今，已廣泛應(yīng)用于該領(lǐng)域。

1997年，slaughter等研究基于色相計(jì)算機(jī)視覺(jué)技術(shù)的農(nóng)業(yè)栽培建成自動(dòng)控制系統(tǒng)用來(lái)除去田地里的雜草,并于兩年后根據(jù)植物形狀特征的差異識(shí)別作物和雜草，研制出智能雜草控制系統(tǒng)，以便對(duì)雜草進(jìn)行精準(zhǔn)噴施，lukina等提出植被覆蓋比例的概念，并找到了小麥冠層覆蓋度與冬小麥冠層生物量之間的數(shù)學(xué)關(guān)系。1998年，紀(jì)壽文等采用雙峰法濾除了土壤背景,根據(jù)雜草投影的面積、葉長(zhǎng)、葉寬等與作物的特征差異，確定了其位置，對(duì)生長(zhǎng)后期的玉米和棉花田間的單子葉雜草進(jìn)行了識(shí)別。2004年，毛文華等依靠形狀分析法分辨雜草信息，確定其位置后對(duì)水稻田中的雜草進(jìn)行了在線的識(shí)別研究，并于2005年根據(jù)植物的位置來(lái)識(shí)別作物苗期田間雜草，建立了基于機(jī)器視覺(jué)的分割苗期田間雜草的算法dbw。2007年，毛罕平等引入顏色特征和顏色閾值，并結(jié)合貝葉斯理論，提高了雜草圖像的分割精度，tellaeche等在根據(jù)已知作物位置的前提下，利用顏色特征將背景和雜草分離。2015年，何姣以棉花為實(shí)驗(yàn)樣本，將其覆蓋度與人工觀測(cè)的葉面積指數(shù)、植株高度所結(jié)合，得參數(shù)之間的數(shù)學(xué)關(guān)系并建立了關(guān)系模型。

但這些算法均存在計(jì)算精度相對(duì)較低、跨算法運(yùn)算等問(wèn)題，隨著深度學(xué)習(xí)2012年之后在計(jì)算機(jī)視覺(jué)領(lǐng)域的爆發(fā)，這些問(wèn)題也得以解決。2014年，黃永禎等通過(guò)對(duì)imagenet庫(kù)上圖像分類任務(wù)中alexkrizhevsky提出的alexnet網(wǎng)絡(luò)進(jìn)行微調(diào)(fine-tuning)得到的卷積神經(jīng)網(wǎng)絡(luò)解決了人物的前景與背景分割問(wèn)題。2016年，賀嬌瑜等首次利用卷積神經(jīng)網(wǎng)絡(luò)、超像素優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)以及全卷積神經(jīng)網(wǎng)絡(luò)將氣象觀測(cè)中毫米波云雷達(dá)圖的圖像分割問(wèn)題轉(zhuǎn)化為對(duì)毫米波云雷達(dá)圖像的像素及區(qū)域間關(guān)系的二分類識(shí)別問(wèn)題，作為毫米波云圖像的云分類系統(tǒng)的濾波模塊。

綜上所述，傳統(tǒng)的作物分割提取覆蓋度算法需要復(fù)雜的跨算法運(yùn)算處理且精讀較低，還需要手工提取特征用來(lái)分割或是通過(guò)閾值判斷進(jìn)行分割等。本發(fā)明研究基于深度學(xué)習(xí)的作物與背景的自動(dòng)分割問(wèn)題，提出基于rgb和hsi關(guān)系閾值優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的作物圖像分割提取覆蓋度方法。首先利用rgb先驗(yàn)閾值分割法對(duì)作物圖進(jìn)行初分割，保留作物主體和雜草，去除土地背景，再通過(guò)hsi閾值分割法保留綠色植物的邊緣并解決光照等影響，最后將圖像輸入為區(qū)分作物與雜草及土地背景顏色、梯度特征而生成的卷積神經(jīng)網(wǎng)絡(luò)分類器模型中，利用分類結(jié)果對(duì)圖像進(jìn)行分割，將三個(gè)步驟所得的圖像結(jié)合起來(lái)，得到最后的覆蓋度分割圖，同時(shí)解決了雜草檢測(cè)及覆蓋度提取的任務(wù)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于rgb和hsi先驗(yàn)閾值優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)的作物圖像分割提取覆蓋度方法，用于解決傳統(tǒng)的先驗(yàn)閾值分割法受作物圖像中存在的田間雜物、下過(guò)雨或施肥后的土地以及光照陰影影響比較大而存在誤分割的問(wèn)題，如圖1所示，其對(duì)于農(nóng)作物病蟲(chóng)草害中作物間存在的雜草也會(huì)很難判斷，(a)、(c)為待分割的原圖，(b)、(d)為利用傳統(tǒng)的先驗(yàn)閾值分割法分割后得到的結(jié)果圖，可以看出圖(a)中的設(shè)備陰影沒(méi)有被分區(qū)分開(kāi)，圖(c)中由于施肥后受影響的土地也沒(méi)有被區(qū)分開(kāi),所以我們希望提出一種能夠利用圖像特征解決綠色植物分割的方法。針對(duì)這些誤分割現(xiàn)象，我們希望將已經(jīng)趨于成熟的深度學(xué)習(xí)，應(yīng)用于農(nóng)業(yè)氣象觀測(cè)中作物覆蓋度的提取檢測(cè)生長(zhǎng)狀態(tài)以及農(nóng)作物病蟲(chóng)草害的識(shí)別、監(jiān)測(cè)與防治領(lǐng)域。首先利用較為嚴(yán)格的rgb閾值保留作物主體和雜草，再通過(guò)可以在一定程度上解決光照影響的hsi閾值保留綠色植物邊緣和視覺(jué)上較為特殊的土地和雜物，最后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)之前保留下來(lái)的所有像素點(diǎn)逐一進(jìn)行圖像分類，結(jié)合分類結(jié)果對(duì)圖像進(jìn)行分割，得到覆蓋度分割圖，算法流程圖如圖2所示,卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

下邊介紹一下這種作物圖像分割方法的具體步驟：

1、基于rgb、hsi閾值限定的圖像預(yù)處理：

本方法意在解決算法的效率問(wèn)題，通過(guò)先驗(yàn)閾值分割保留需要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)來(lái)判斷的像素點(diǎn)，將以往對(duì)圖像中全部像素點(diǎn)一一處理轉(zhuǎn)化為對(duì)一部分需要進(jìn)行判斷的像素點(diǎn)進(jìn)行處理，在一定程度上解決了對(duì)整張圖像的所有像素點(diǎn)進(jìn)行逐一分類造成的低效率問(wèn)題，使算法更高效、準(zhǔn)確。

由于農(nóng)業(yè)氣象觀測(cè)圖像中，大多數(shù)情況作物和雜草像素rgb值的綠色分量與紅色分量的差要多于土地背景的，所以我們首先設(shè)定一個(gè)嚴(yán)格閾值。當(dāng)像素關(guān)系滿足該閾值時(shí)，該像素點(diǎn)屬于作物的可能性更大，我們需要將保留，通過(guò)這個(gè)步驟就可以保留作物主體和雜草，去除土地背景。

在很多情況下，陽(yáng)光照在作物的邊緣，會(huì)造成其反射較強(qiáng)的光，此時(shí)作物的邊緣的亮度較大；同樣，若作物之間存在著當(dāng)條件，則會(huì)造成陰影影響，此時(shí)作物的邊緣亮度較小，這兩種情況的出現(xiàn)，使得rgb閾值并不能夠很好地將前景與背景區(qū)分，而將rgb轉(zhuǎn)化為hsi空間，我們需要再設(shè)定一個(gè)較為寬泛的閾值。

這樣，我們就將完成了算法中的預(yù)處理工作，將綠色植物(包含作物、雜草以及一些雜物等)與土地分割出來(lái)了，如圖4所示，通過(guò)rgb先驗(yàn)閾值分割可以得到的作物主體，通過(guò)hsi閾值分割法則能保留的綠色植物邊緣，其余的像素點(diǎn)均作為圖像的背景，不再參與后續(xù)的算法運(yùn)算，這樣在一定程度上解決了對(duì)整張圖像的所有像素點(diǎn)進(jìn)行逐一分類造成的低效率問(wèn)題，使算法更高效、準(zhǔn)確。

2、訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集的制作

我們提取圖像的顏色、形狀及梯度等特征，利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類器，將問(wèn)題轉(zhuǎn)化為對(duì)圖像進(jìn)行前景(作物)和背景(雜草、土壤)的二分類，利用分類結(jié)果進(jìn)行分割。

本發(fā)明的數(shù)據(jù)集主要有訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集三個(gè)方面。這三方面的制作原理完全相同，只是選取的數(shù)據(jù)范圍有差異，故我們只對(duì)其中一種的獲取方式做詳細(xì)的介紹：

由于作物觀測(cè)圖是利用河北固城觀象臺(tái)試驗(yàn)站圖像分辨率為1700萬(wàn)像素的canoneos1200d單反相機(jī)拍攝的觀測(cè)圖，沒(méi)有公開(kāi)的數(shù)據(jù)集，所以我們需要制作groundtruth圖作為訓(xùn)練cnn網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，具體預(yù)處理操作如下：

(1)生成groundtruth。如圖5所示，(a)為原始作物觀測(cè)圖，(b)為利用photoshop等畫(huà)圖軟件手工將觀測(cè)圖像中前景和背景區(qū)域以分別以白顏色和黑顏色區(qū)分后標(biāo)注的原始作物觀測(cè)圖所對(duì)應(yīng)的groundtruth。我們需要從作物圖像中選擇不同的生長(zhǎng)階段的若干張圖像，并選中與之對(duì)應(yīng)的groundtruth圖，用于下一步的cnn網(wǎng)絡(luò)訓(xùn)練和測(cè)試樣本集的生成。

(2)圖像尺寸調(diào)整。為了消除在裁剪和采集訓(xùn)練集圖像時(shí)，圖像邊緣的影響，從而使實(shí)驗(yàn)?zāi)軌虿杉秸麖垐D像任何位置的區(qū)域，我們首先對(duì)作物觀測(cè)圖像的邊界進(jìn)行了延伸，即為尺寸為w*h的云圖像增加了d/2個(gè)像素的背景圖像邊界，此時(shí)圖像變?yōu)?w+d)*(h+d)。

(3)樣本集的采集和生成。訓(xùn)練樣本集和驗(yàn)證樣本集是對(duì)帶有g(shù)roundtruth的不同生長(zhǎng)階段w*h大小的作物觀測(cè)圖進(jìn)行處理；測(cè)試樣本集則是對(duì)更多一部分的處理，由于三個(gè)樣本集采集方法幾乎完全一致，故我們不再贅述。具體操作如下：

a.以圖像中的每個(gè)像素點(diǎn)p為中心截取其鄰域關(guān)系的子圖c1，圖像的尺寸為d×d，形成包含該像素點(diǎn)顏色、形狀、梯度等特征的圖像，根據(jù)標(biāo)簽圖中該點(diǎn)的分類情況制作標(biāo)簽。

b.對(duì)于a中的每一個(gè)像素點(diǎn)p，我們都可以在其所對(duì)應(yīng)的groundtruth圖中找到對(duì)應(yīng)的像素點(diǎn)p’，并制作格式為“絕對(duì)路徑/圖像名稱標(biāo)簽屬性”的標(biāo)簽，其中每個(gè)像素點(diǎn)的標(biāo)簽屬性前景或背景，用1或0表示。

c.對(duì)于訓(xùn)練集合和驗(yàn)證集合的所有圖像，我們需要保留其標(biāo)簽文本文件，訓(xùn)練集合作為訓(xùn)練cnn網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，驗(yàn)證集合用于檢驗(yàn)我們的網(wǎng)絡(luò)模型的準(zhǔn)確程度；而對(duì)于測(cè)試集，我們不需要生成標(biāo)簽，但是需要利用其groundtruth圖與分割結(jié)果圖進(jìn)行對(duì)比，來(lái)評(píng)價(jià)方法的客觀性。需要注意的是為了客觀驗(yàn)證網(wǎng)絡(luò)的準(zhǔn)確性，三個(gè)樣本集合之間應(yīng)當(dāng)不相交。

3、基于卷積神經(jīng)網(wǎng)絡(luò)的作物圖像分割算法

本發(fā)明采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該分類器是利用自己構(gòu)造的訓(xùn)練集和測(cè)試集，對(duì)imagenet這個(gè)數(shù)據(jù)量為千萬(wàn)級(jí)的圖像數(shù)據(jù)庫(kù)中的圖像，在由krizhevsky提出的alexnet網(wǎng)絡(luò)進(jìn)行微調(diào)得到的。當(dāng)然我們也可以拿幾千張或者幾萬(wàn)張圖像來(lái)訓(xùn)練一個(gè)屬于我們這個(gè)領(lǐng)域自己的網(wǎng)絡(luò)模型，但是訓(xùn)練新的網(wǎng)絡(luò)是比較復(fù)雜的，而且參數(shù)不好調(diào)整，數(shù)據(jù)量也遠(yuǎn)遠(yuǎn)不能達(dá)到imagenet的等級(jí)，因此微調(diào)就是一個(gè)比較理想的選擇。

該網(wǎng)絡(luò)由5個(gè)卷積層、2個(gè)全連接層和1個(gè)softmax層組成，層1、層2和層5加入了pooling層，相當(dāng)于是在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類器。層8的神經(jīng)元個(gè)數(shù)是2個(gè)，相當(dāng)于實(shí)現(xiàn)前景和背景的2分類。系統(tǒng)由三個(gè)五層卷積網(wǎng)絡(luò)構(gòu)成，卷積層的第一、第二、第五層是按照krizhevsky等人進(jìn)行初始化的。

我們篩選步驟(3)中生成的數(shù)據(jù)集，選取了背景(地面和雜草)、前景(作物)各若干張作為訓(xùn)練集，背景(地面和雜草)、前景(作物)各若干張作為驗(yàn)證集，以此數(shù)據(jù)集對(duì)此卷積神經(jīng)網(wǎng)絡(luò)做訓(xùn)練，用圖5中的參考圖生成的標(biāo)簽作為監(jiān)督信號(hào)，進(jìn)行微調(diào)。

當(dāng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)趨于平穩(wěn),且模型準(zhǔn)確率超過(guò)95％的時(shí)候，我們可以將測(cè)試的圖像輸入到我們訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中來(lái)預(yù)測(cè)每個(gè)像素點(diǎn)的標(biāo)簽，最后結(jié)合分類結(jié)果得到的分割結(jié)果圖。

4、分割評(píng)價(jià)

我們選取了若干張圖像作為訓(xùn)練集，若干張圖像作為驗(yàn)證集，進(jìn)行微調(diào)網(wǎng)絡(luò)訓(xùn)練，其中驗(yàn)證集的圖像與訓(xùn)練集獨(dú)立，不參與訓(xùn)練，得到模型準(zhǔn)確度98.3％。

我們對(duì)比了基于傳統(tǒng)先驗(yàn)閾值分割法(左)和本文的方法(右)，如圖6所示，可以看出來(lái)本方法對(duì)于作物的邊緣以及光照情況都有很好的分割效果，而傳統(tǒng)的先驗(yàn)閾值分割法會(huì)將作物的邊緣全部分割掉。

為了驗(yàn)證本發(fā)明的客觀性，還采用像素誤差的評(píng)價(jià)方法來(lái)衡量分割結(jié)果。像素誤差反映了分割圖片與原始標(biāo)簽的像素相似度，其計(jì)算方法是統(tǒng)計(jì)給定待測(cè)的分割標(biāo)簽l中每一個(gè)像素點(diǎn)以及其真實(shí)的數(shù)據(jù)標(biāo)簽l’中每一個(gè)像素點(diǎn)的漢明距：

epixcel＝||l-l’||²(2)

按照這種方法，本發(fā)明試驗(yàn)于10張作物觀測(cè)圖上，得到了97.53％的像素誤差。

綜上所述，該方法的優(yōu)點(diǎn)體現(xiàn)在以下三點(diǎn)：

1)作物圖分割是判別作物前景和以土地和雜草為主的背景邊界的二分類方法。

2)結(jié)合了傳統(tǒng)閾值分割法，避免了對(duì)圖像中所有像素點(diǎn)進(jìn)行運(yùn)算而造成的效率較低運(yùn)算時(shí)間較長(zhǎng)的缺點(diǎn)，同時(shí)提高了分割的精確性，達(dá)到了傳統(tǒng)閾值分割法不能區(qū)分作物與雜草的缺陷。

3)基于rgb和hsi先驗(yàn)閾值法優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)的提出，將作物的分割準(zhǔn)確度達(dá)到了97.53％，為作物覆蓋度的獲取提供了有力支持。

附圖說(shuō)明

圖1為本發(fā)明中的原始云圖像示例：

(a)、(c)待分割原圖，

(b)、(d)利用傳統(tǒng)的先驗(yàn)閾值分割法結(jié)果圖

圖2為本發(fā)明所設(shè)計(jì)的分割框架；

圖3為本發(fā)明采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

圖4為閾值法效果示意圖：

(a)、(c)待分割原圖，

(b)、(d)分別利用rgb和hsi先驗(yàn)閾值分割法對(duì)應(yīng)結(jié)果圖

圖5為原始圖像與其標(biāo)簽參考圖：

(a)原始圖像,

(b)標(biāo)簽參考圖

圖6為基于傳統(tǒng)先驗(yàn)閾值分割法和本文的方法的對(duì)比：

(a)基于傳統(tǒng)先驗(yàn)閾值分割法結(jié)果

(b)本文的方法的結(jié)果

具體實(shí)施方式

本發(fā)明將先驗(yàn)閾值分割與卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，提供了一種基于rgb和hsi先驗(yàn)閾值法優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)(rgb-hsi-cnn)的作物圖像分割提取覆蓋度方法。該發(fā)明的實(shí)現(xiàn)步驟如下：

1、基于rgb、hsi閾值限定的圖像預(yù)處理：

本方法意在解決算法的效率問(wèn)題，通過(guò)先驗(yàn)閾值分割保留需要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)來(lái)判斷的像素點(diǎn)，將以往對(duì)圖像中全部像素點(diǎn)一一處理轉(zhuǎn)化為對(duì)一部分需要進(jìn)行判斷的像素點(diǎn)進(jìn)行處理，在一定程度上解決了對(duì)整張圖像的所有像素點(diǎn)進(jìn)行逐一分類造成的低效率問(wèn)題，使算法更高效、準(zhǔn)確。

由于農(nóng)業(yè)氣象觀測(cè)圖像中，大多數(shù)情況作物和雜草像素rgb值的綠色分量與紅色分量的差要多于土地背景的，所以我們首先設(shè)定一個(gè)嚴(yán)格閾值:

其中，標(biāo)注為1的像素對(duì)應(yīng)于前景，標(biāo)注為零的像素則對(duì)應(yīng)背景，由公式可知，當(dāng)像素點(diǎn)的綠色分量與紅色分量之差大于16且綠色分量大于48時(shí)，該點(diǎn)偏綠色，屬于作物的可能性更大，我們需要將保留，這樣就可以保留作物主體和雜草，去除土地背景。

在很多情況下，陽(yáng)光照在作物的邊緣，會(huì)造成其反射較強(qiáng)的光，此時(shí)作物的邊緣的亮度較大；同樣，若作物之間存在著當(dāng)條件，則會(huì)造成陰影影響，此時(shí)作物的邊緣亮度較小，這兩種情況的出現(xiàn)，使得rgb閾值并不能夠很好地將前景與背景區(qū)分，而將rgb轉(zhuǎn)化為hsi空間，我們需要再設(shè)定一個(gè)較為寬泛的閾值:

60°<h<150°

這樣，我們就將完成了算法中的預(yù)處理工作，將綠色植物(包含作物、雜草以及一些雜物等)與土地分割出來(lái)了，如圖4所示，通過(guò)rgb先驗(yàn)閾值分割可得到的作物主體，通過(guò)hsi閾值分割法則可以保留的綠色植物邊緣，其余的像素點(diǎn)均作為圖像的背景，不再參與后續(xù)的算法運(yùn)算，這樣在一定程度上解決了對(duì)整張圖像的所有像素點(diǎn)進(jìn)行逐一分類造成的低效率問(wèn)題，使算法更高效、準(zhǔn)確。

2、訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集的制作

我們提取圖像的顏色、形狀及梯度等特征，利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類器，將問(wèn)題轉(zhuǎn)化為對(duì)圖像進(jìn)行前景(作物)和背景(雜草、土壤)的二分類，利用分類結(jié)果進(jìn)行分割。

本發(fā)明的數(shù)據(jù)集主要有訓(xùn)練樣本集、驗(yàn)證樣本集及測(cè)試樣本集三個(gè)方面。這三方面的制作原理完全相同，只是選取的數(shù)據(jù)范圍有差異，故我們只對(duì)其中一種的獲取方式做詳細(xì)的介紹：

由于作物觀測(cè)圖是利用河北固城觀象臺(tái)試驗(yàn)站圖像分辨率為1700萬(wàn)像素的canoneos1200d單反相機(jī)拍攝的觀測(cè)圖，沒(méi)有公開(kāi)的數(shù)據(jù)集，所以我們需要制作groundtruth圖作為訓(xùn)練cnn網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，具體預(yù)處理操作如下：

(1)生成groundtruth。如圖5所示，(a)為原始作物觀測(cè)圖，(b)為利用photoshop等畫(huà)圖軟件手工將觀測(cè)圖像中前景和背景區(qū)域以分別以白顏色和黑顏色區(qū)分后標(biāo)注的原始作物觀測(cè)圖所對(duì)應(yīng)的groundtruth。我們需要從作物圖像中選擇不同的生長(zhǎng)階段的若干張圖像，并選中與之對(duì)應(yīng)的groundtruth圖，用于下一步的cnn網(wǎng)絡(luò)訓(xùn)練和測(cè)試樣本集的生成。

(4)圖像尺寸調(diào)整。為了消除在裁剪和采集訓(xùn)練集圖像時(shí)，圖像邊緣的影響，從而使實(shí)驗(yàn)?zāi)軌虿杉秸麖垐D像任何位置的區(qū)域，我們首先對(duì)作物觀測(cè)圖像的邊界進(jìn)行了延伸，即為尺寸為4272*2848的云圖像增加了28個(gè)像素的背景圖像邊界，此時(shí)圖像變?yōu)?328*2904。

(5)樣本集的采集和生成。訓(xùn)練樣本集和驗(yàn)證樣本集是對(duì)帶有g(shù)roundtruth的不同生長(zhǎng)階段4272*2848大小的作物觀測(cè)圖進(jìn)行處理；測(cè)試樣本集則是對(duì)更多一部分的處理，由于三個(gè)樣本集采集方法幾乎完全一致，故我們不再贅述。具體操作如下：

d.以圖像中的每個(gè)像素點(diǎn)p為中心截取其鄰域關(guān)系的子圖c1，圖像的尺寸為57*57，形成包含該像素點(diǎn)顏色、形狀、梯度等特征的圖像，根據(jù)標(biāo)簽圖中該點(diǎn)的分類情況制作標(biāo)簽。

e.對(duì)于a中的每一個(gè)像素點(diǎn)p，我們都可以在其所對(duì)應(yīng)的groundtruth圖中找到對(duì)應(yīng)的像素點(diǎn)p’，并制作格式為“絕對(duì)路徑/圖像名稱標(biāo)簽屬性”的標(biāo)簽，其中每個(gè)像素點(diǎn)的標(biāo)簽屬性前景或背景，用1或0表示。

f.對(duì)于訓(xùn)練集合和驗(yàn)證集合的所有圖像，我們需要保留其標(biāo)簽文本文件，訓(xùn)練集合作為訓(xùn)練cnn網(wǎng)絡(luò)時(shí)候的監(jiān)督信號(hào)，驗(yàn)證集合用于檢驗(yàn)我們的網(wǎng)絡(luò)模型的準(zhǔn)確程度；而對(duì)于測(cè)試集，我們不需要生成標(biāo)簽，但是需要利用其groundtruth圖與分割結(jié)果圖進(jìn)行對(duì)比，來(lái)評(píng)價(jià)方法的客觀性。需要注意的是為了客觀驗(yàn)證網(wǎng)絡(luò)的準(zhǔn)確性，三個(gè)樣本集合之間應(yīng)當(dāng)不相交。

3、基于卷積神經(jīng)網(wǎng)絡(luò)的作物圖像分割算法

本發(fā)明采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該分類器是利用自己構(gòu)造的訓(xùn)練集和測(cè)試集，對(duì)imagenet這個(gè)數(shù)據(jù)量為千萬(wàn)級(jí)的圖像數(shù)據(jù)庫(kù)中的圖像，在由krizhevsky提出的alexnet網(wǎng)絡(luò)進(jìn)行微調(diào)得到的。當(dāng)然我們也可以拿幾千張或者幾萬(wàn)張圖像來(lái)訓(xùn)練一個(gè)屬于我們這個(gè)領(lǐng)域自己的網(wǎng)絡(luò)模型，但是訓(xùn)練新的網(wǎng)絡(luò)是比較復(fù)雜的，而且參數(shù)不好調(diào)整，數(shù)據(jù)量也遠(yuǎn)遠(yuǎn)不能達(dá)到imagenet的等級(jí)，因此微調(diào)就是一個(gè)比較理想的選擇。

該網(wǎng)絡(luò)由5個(gè)卷積層、2個(gè)全連接層和1個(gè)softmax層組成，層1、層2和層5加入了pooling層，相當(dāng)于是在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類器。層8的神經(jīng)元個(gè)數(shù)是2個(gè)，相當(dāng)于實(shí)現(xiàn)前景和背景的2分類。系統(tǒng)由三個(gè)五層卷積網(wǎng)絡(luò)構(gòu)成，卷積層的第一、第二、第五層是按照krizhevsky等人進(jìn)行初始化的。

我們篩選步驟(3)中生成的數(shù)據(jù)集，選取了200張出苗期的地面、300張三葉期、七葉期、拔節(jié)期的地面和雜草作為背景的訓(xùn)練集，215張出苗期的作物、330張三葉期的作物、300張七葉期的作物、300張拔節(jié)期的作物作為前景的訓(xùn)練集，60張出苗期地面、100張三葉期、七葉期、拔節(jié)期的地面和雜草作為背景的驗(yàn)證集，90張出苗期的作物、130張三葉期的作物、120張七葉期的作物、100張拔節(jié)期的作物作為前景的驗(yàn)證集，以此數(shù)據(jù)集對(duì)此卷積神經(jīng)網(wǎng)絡(luò)做訓(xùn)練，用圖5中的參考圖生成的標(biāo)簽作為監(jiān)督信號(hào)，進(jìn)行微調(diào)，計(jì)算迭代次數(shù)為5000次，學(xué)習(xí)率為0.00001。

當(dāng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)趨于平穩(wěn),且模型準(zhǔn)確率超過(guò)95％的時(shí)候，我們可以將測(cè)試的圖像輸入到我們訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中來(lái)預(yù)測(cè)每個(gè)像素點(diǎn)的標(biāo)簽，最后結(jié)合分類結(jié)果得到的分割結(jié)果圖。

4、分割評(píng)價(jià)

我們選取了1645張圖像作為訓(xùn)練集，600張圖像作為驗(yàn)證集，進(jìn)行微調(diào)網(wǎng)絡(luò)訓(xùn)練，迭代5000次，其中驗(yàn)證集的圖像與訓(xùn)練集獨(dú)立，不參與訓(xùn)練，得到模型準(zhǔn)確度98.3％。

我們對(duì)比了基于傳統(tǒng)先驗(yàn)閾值分割法(左)和本文的方法(右)，如圖6所示，可以看出來(lái)本方法對(duì)于作物的邊緣以及光照情況都有很好的分割效果，而傳統(tǒng)的先驗(yàn)閾值分割法會(huì)將作物的邊緣全部分割掉。

為了驗(yàn)證本發(fā)明的客觀性，還采用像素誤差的評(píng)價(jià)方法來(lái)衡量分割結(jié)果。像素誤差反映了分割圖片與原始標(biāo)簽的像素相似度，其計(jì)算方法是統(tǒng)計(jì)給定待測(cè)的分割標(biāo)簽l中每一個(gè)像素點(diǎn)以及其真實(shí)的數(shù)據(jù)標(biāo)簽l’中每一個(gè)像素點(diǎn)的漢明距：

epixcel＝||l-l’||²(2)

按照這種方法，本發(fā)明試驗(yàn)于10張作物觀測(cè)圖上，得到了97.53％的像素誤差。