本發(fā)明涉及預(yù)測(cè)分類技術(shù)領(lǐng)域，具體來(lái)說(shuō)是一種基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)圖像分類方法。
背景技術(shù)：
害蟲(chóng)是農(nóng)作物生長(zhǎng)中的大敵，在農(nóng)作物整個(gè)生長(zhǎng)期內(nèi)都有發(fā)生，可造成農(nóng)作物大量減產(chǎn)?，F(xiàn)行的害蟲(chóng)識(shí)別、分類工作主要是依靠少數(shù)植保專家和農(nóng)技人員來(lái)完成的。但害蟲(chóng)種類繁多，每一位植保專家窮其所能也只能識(shí)別部分害蟲(chóng)。越來(lái)越多的跡象表明，對(duì)害蟲(chóng)分類需求的增多與害蟲(chóng)分類專家相對(duì)較少的矛盾已日益加劇。當(dāng)今在模式識(shí)別領(lǐng)域，基于深度學(xué)習(xí)的學(xué)習(xí)算法成為眾多學(xué)者研究的熱點(diǎn)，在計(jì)算機(jī)視覺(jué)領(lǐng)域被廣泛應(yīng)用，如人臉識(shí)別、圖像分類、圖像分割等，并取得了較好的效果。然而，應(yīng)用在害蟲(chóng)圖像自動(dòng)分類方法及系統(tǒng)則出現(xiàn)識(shí)別率不高、魯棒性較差的問(wèn)題，這也是由于害蟲(chóng)樣本的多樣性、特征復(fù)雜度所導(dǎo)致的。
因此，如何針對(duì)害蟲(chóng)的樣本標(biāo)簽，利用有監(jiān)督的神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)害蟲(chóng)識(shí)別已經(jīng)成為急需解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中害蟲(chóng)圖像分類正確率低的缺陷，提供一種基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)圖像分類方法來(lái)解決上述問(wèn)題。
為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下：
一種基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)圖像分類方法，包括以下步驟：
對(duì)訓(xùn)練圖像進(jìn)行收集和預(yù)處理，收集若干幅圖像作為訓(xùn)練圖像，所有訓(xùn)練圖像均進(jìn)行大小歸一化處理，將其處理為256×256像素，得到若干個(gè)訓(xùn)練樣本；
對(duì)圖像樣本數(shù)據(jù)進(jìn)行標(biāo)注，對(duì)樣本圖片內(nèi)容進(jìn)行人工標(biāo)注，標(biāo)注出圖像分割邊界、類別和害蟲(chóng)種類，將圖像分割成害蟲(chóng)、作物、背景三類，結(jié)合訓(xùn)練樣本作為訓(xùn)練樣本數(shù)據(jù)集合；
訓(xùn)練基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的分類模型，訓(xùn)練基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的分類模型，將訓(xùn)練樣本作為輸入，完成神經(jīng)網(wǎng)絡(luò)分類模型的訓(xùn)練；
對(duì)待測(cè)圖像進(jìn)行預(yù)處理，將待測(cè)的害蟲(chóng)圖像按256×256像素進(jìn)行歸一化處理，得到新的待測(cè)圖像；
基于分級(jí)模型自動(dòng)進(jìn)行害蟲(chóng)圖像分類，將處理后的待測(cè)圖像輸入經(jīng)過(guò)訓(xùn)練的分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)模型中，進(jìn)行害蟲(chóng)圖像種類的自動(dòng)識(shí)別。
所述的訓(xùn)練基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的分類模型包括以下步驟：
訓(xùn)練基于fcnn的圖像分割網(wǎng)絡(luò)模型；
設(shè)置層數(shù)為7層的全卷積網(wǎng)絡(luò)層，輸入訓(xùn)練樣本，使用人工標(biāo)注的病蟲(chóng)、作物、背景分割結(jié)果作為學(xué)習(xí)標(biāo)注，利用深度學(xué)習(xí)框架caffe進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，輸出為能夠?qū)οx(chóng)圖像進(jìn)行分割的全卷積神經(jīng)網(wǎng)絡(luò)模型；
訓(xùn)練基于cnn的圖像分類模型，
設(shè)置層數(shù)為8層的卷積分類網(wǎng)絡(luò)，將根據(jù)訓(xùn)練好的分割模型分割后獲得的害蟲(chóng)、作物、背景三幅圖像，加上未分割的整體圖像，總共四幅圖像作為輸入，人工標(biāo)注的害蟲(chóng)分類結(jié)果作為學(xué)習(xí)標(biāo)注，利用深度學(xué)習(xí)框架caffe進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，輸出圖像分類模型。
所述的基于分級(jí)模型自動(dòng)進(jìn)行害蟲(chóng)圖像分類包括以下步驟：
將待測(cè)圖像輸入到訓(xùn)練好fcnn分割模型中，獲得圖像中害蟲(chóng)、作物、背景的分割預(yù)測(cè)結(jié)果；
根據(jù)分割預(yù)測(cè)結(jié)果對(duì)原始圖像進(jìn)行分割，得到三幅新圖像：害蟲(chóng)圖像、作物圖像、背景圖像；
將待測(cè)圖像和分割得到的害蟲(chóng)圖像、作物圖像、背景圖像共四幅圖像作為輸入，輸入到訓(xùn)練完成的基于cnn的分類模型中，預(yù)測(cè)得到可能性最大的分類作為分類結(jié)果輸出。
所述的訓(xùn)練基于fcnn的圖像分割網(wǎng)絡(luò)模型包括以下步驟：
構(gòu)建7層全卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層卷積網(wǎng)絡(luò)的大小如下：
第一層卷積核大小為11x11，特征圖個(gè)數(shù)為96；第二層卷積核為5x5，特征圖個(gè)數(shù)為256；第三、四、五層卷積核均為3x3，特征圖個(gè)數(shù)分別為384、384、256；第六、七層卷積核均為1x1，特征圖個(gè)數(shù)分別為512、3；
最后一個(gè)卷積層的輸出大小為27x27x3，其中27x27是圖像二維空間大小，3是分割類的數(shù)目，任意27x27位置上的3個(gè)目標(biāo)值根據(jù)其每個(gè)位置感受野所屬的害蟲(chóng)、作物還是背景來(lái)定，如果感受野中包括不止一個(gè)類別，使用占最多像素個(gè)數(shù)的那個(gè)類別來(lái)作為標(biāo)注；
針對(duì)27x27的每個(gè)位置，在3個(gè)類別上進(jìn)行softmax操作，最終損失函數(shù)為在27x27位置上的softmax損失之和l，其計(jì)算公式如下：
其中
基于網(wǎng)絡(luò)和目標(biāo)函數(shù)的定義，輸入訓(xùn)練樣本數(shù)據(jù)，基于隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練優(yōu)化。
所述的訓(xùn)練基于cnn的圖像分類模型包括以下步驟：
構(gòu)建4個(gè)5層的全卷積特征提取網(wǎng)絡(luò)，分別對(duì)全圖像、害蟲(chóng)圖像、作物圖像、背景圖像進(jìn)行卷積提取特征；
其卷積層的配置前四層一致，其卷積核大小分別為11、5、3、3，特征圖個(gè)數(shù)分別為96、256、384、384；在最后一層卷積上，卷積核大小均為3，全圖像特征圖個(gè)數(shù)為256，害蟲(chóng)圖像為96，作物圖像48，背景圖像12；
構(gòu)建三層的全連接分類網(wǎng)絡(luò)，使用特征提取的卷積網(wǎng)絡(luò)輸出作為輸入，構(gòu)建3層的分類網(wǎng)絡(luò)，第一層和第二層的大小設(shè)置為4096，第三層分類層的大小是害蟲(chóng)種類的個(gè)數(shù)82；
針對(duì)最后一層的輸出，進(jìn)行82個(gè)值的softmax操作，學(xué)習(xí)目標(biāo)損失函數(shù)定義如下：
其中
基于網(wǎng)絡(luò)和目標(biāo)函數(shù)的定義，輸入訓(xùn)練樣本數(shù)據(jù)，基于隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練優(yōu)化。
有益效果
本發(fā)明的一種基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)圖像分類方法，與現(xiàn)有技術(shù)相比采用了分級(jí)預(yù)測(cè)框架，先預(yù)測(cè)圖像的分割結(jié)果然后再結(jié)合整體圖像，共同進(jìn)行最終的分類預(yù)測(cè)。本發(fā)明所述的方法擁有比現(xiàn)有技術(shù)更加豐富的特征表達(dá)和去噪能力，根據(jù)分割圖像進(jìn)行初級(jí)預(yù)測(cè)分割，重點(diǎn)關(guān)注害蟲(chóng)信息，減少了噪聲干擾，為預(yù)測(cè)提供了更加豐富和更有針對(duì)性的特征。
附圖說(shuō)明
圖1為本發(fā)明的方法順序圖。
具體實(shí)施方式
為使對(duì)本發(fā)明的結(jié)構(gòu)特征及所達(dá)成的功效有更進(jìn)一步的了解與認(rèn)識(shí)，用以較佳的實(shí)施例及附圖配合詳細(xì)的說(shuō)明，說(shuō)明如下：
如圖1所示，本發(fā)明所述的一種基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的害蟲(chóng)圖像分類方法，包括以下步驟：
第一步，對(duì)訓(xùn)練圖像進(jìn)行收集和預(yù)處理。收集若干幅圖像作為訓(xùn)練圖像，所有訓(xùn)練圖像均進(jìn)行大小歸一化處理，將其處理為256×256像素，得到若干個(gè)訓(xùn)練樣本。
第二步，對(duì)圖像樣本數(shù)據(jù)進(jìn)行標(biāo)注。對(duì)樣本圖片內(nèi)容進(jìn)行人工標(biāo)注，標(biāo)注出圖像分割邊界、類別和害蟲(chóng)種類，將圖像分割成害蟲(chóng)、作物、背景三類，結(jié)合訓(xùn)練樣本作為訓(xùn)練樣本數(shù)據(jù)集合。在此，圖像被分割成害蟲(chóng)、作物、背景三類，并結(jié)合后續(xù)的標(biāo)注共同作為模型訓(xùn)練的數(shù)據(jù)。
第三步，訓(xùn)練基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的分類模型。訓(xùn)練基于分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)的分類模型，將訓(xùn)練樣本作為輸入，完成神經(jīng)網(wǎng)絡(luò)分類模型的訓(xùn)練。其包括以下步驟：
(1)訓(xùn)練基于fcnn的圖像分割網(wǎng)絡(luò)模型。圖像分割模型是整個(gè)分級(jí)預(yù)測(cè)網(wǎng)絡(luò)中的第一級(jí)，所以需要先完成該模型的訓(xùn)練，對(duì)輸入圖像進(jìn)行分割預(yù)測(cè)后，才能通過(guò)預(yù)測(cè)結(jié)果結(jié)合原始輸入圖像得到在第二級(jí)的分類網(wǎng)絡(luò)中各個(gè)輸入，如害蟲(chóng)圖像、作物圖像、背景圖像。
設(shè)置層數(shù)為7層全卷積網(wǎng)絡(luò)層，輸入訓(xùn)練樣本，使用人工標(biāo)注的病蟲(chóng)、作物、背景分割結(jié)果作為學(xué)習(xí)標(biāo)注，利用深度學(xué)習(xí)框架caffe進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，輸出為能夠?qū)οx(chóng)圖像進(jìn)行分割的全卷積神經(jīng)網(wǎng)絡(luò)模型。
a、構(gòu)建7層全卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層卷積網(wǎng)絡(luò)的大小如下：
第一層卷積核大小為11x11，特征圖個(gè)數(shù)為96；第二層卷積核為5x5，特征圖個(gè)數(shù)為256；第三、四、五層卷積核均為3x3，特征圖個(gè)數(shù)分別為384、384、256；第六、七層卷積核均為1x1，特征圖個(gè)數(shù)分別為512、3。
b、最后一個(gè)卷積層的輸出大小為27x27x3，其中27x27是圖像二維空間大小，3是分割類的數(shù)目，最后一層設(shè)置為3的原因是害蟲(chóng)圖像分割是分割成3類，當(dāng)然可以根據(jù)需求設(shè)置成更多的類。任意27x27位置上的3個(gè)目標(biāo)值根據(jù)其每個(gè)位置感受野所屬的害蟲(chóng)、作物還是背景來(lái)定，如果感受野中包括不止一個(gè)類別，使用占最多像素個(gè)數(shù)的那個(gè)類別來(lái)作為標(biāo)注。
c、為了能夠最終得到每個(gè)位置所屬的類別，即獲得分類預(yù)測(cè)結(jié)果，針對(duì)27x27的每個(gè)位置，在3個(gè)類別上進(jìn)行softmax操作，最終損失函數(shù)為在27x27位置上的softmax損失之和l，其計(jì)算公式如下：
其中
d、基于網(wǎng)絡(luò)和目標(biāo)函數(shù)的定義，輸入訓(xùn)練樣本數(shù)據(jù)，按傳統(tǒng)的隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練優(yōu)化。
(2)訓(xùn)練基于cnn的圖像分類模型。目前，圖像分類的最高水平是基于cnn的深度學(xué)習(xí)算法，因此這里也采用了cnn網(wǎng)絡(luò)，并根據(jù)當(dāng)前任務(wù)進(jìn)行適當(dāng)優(yōu)化。具體網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練流程如下：
設(shè)置層數(shù)為8層的卷積分類網(wǎng)絡(luò)，將根據(jù)訓(xùn)練好的分割模型分割后獲得的害蟲(chóng)、作物、背景三幅圖像，加上未分割的整體圖像，總共四幅圖像作為輸入，人工標(biāo)注的害蟲(chóng)分類結(jié)果作為學(xué)習(xí)標(biāo)注，利用深度學(xué)習(xí)框架caffe進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，輸出圖像分類模型。
a、構(gòu)建4個(gè)5層的全卷積特征提取網(wǎng)絡(luò)，分別對(duì)全圖像、害蟲(chóng)圖像、作物圖像、背景圖像進(jìn)行卷積提取特征。這里用4個(gè)卷積網(wǎng)絡(luò)分別對(duì)四幅圖像進(jìn)行獨(dú)立特征提取操作，設(shè)置5層的卷積是與目前最優(yōu)水平的分類網(wǎng)絡(luò)一致，并且從實(shí)驗(yàn)結(jié)果看，確實(shí)5層的卷積在效率和效果的平衡上能達(dá)到最優(yōu)；
其卷積層的配置前四層一致，其卷積核大小分別為11、5、3、3，特征圖個(gè)數(shù)分別為96、256、384、384；在最后一層卷積上，卷積核大小均為3，全圖像特征圖個(gè)數(shù)為256，害蟲(chóng)圖像為96，作物圖像48，背景圖像12。
b、構(gòu)建三層的全連接分類網(wǎng)絡(luò)，使用特征提取的卷積網(wǎng)絡(luò)輸出作為輸入，構(gòu)建3層的分類網(wǎng)絡(luò)，第一層和第二層的大小設(shè)置為4096，第三層分類層的大小是害蟲(chóng)種類的個(gè)數(shù)82。
c、針對(duì)最后一層的輸出，進(jìn)行82個(gè)值的softmax操作，學(xué)習(xí)目標(biāo)損失函數(shù)定義如下：
其中
d、基于網(wǎng)絡(luò)和目標(biāo)函數(shù)的定義，輸入訓(xùn)練樣本數(shù)據(jù)，基于隨機(jī)梯度下降算法進(jìn)行模型訓(xùn)練優(yōu)化。
第四步，對(duì)待測(cè)圖像進(jìn)行預(yù)處理。將待測(cè)的害蟲(chóng)圖像按256×256像素進(jìn)行歸一化處理，得到新的待測(cè)圖像。
第五步，基于分級(jí)模型自動(dòng)進(jìn)行害蟲(chóng)圖像分類。采用分級(jí)預(yù)測(cè)框架將處理后的待測(cè)圖像輸入經(jīng)過(guò)訓(xùn)練的分級(jí)預(yù)測(cè)卷積神經(jīng)網(wǎng)絡(luò)模型中，進(jìn)行害蟲(chóng)圖像種類的自動(dòng)識(shí)別。其具體步驟如下：
(1)先預(yù)測(cè)圖像的分割結(jié)果，將待測(cè)圖像輸入到訓(xùn)練好fcnn分割模型中，獲得圖像中害蟲(chóng)、作物、背景的分割預(yù)測(cè)結(jié)果。
(2)根據(jù)分割預(yù)測(cè)結(jié)果對(duì)原始圖像進(jìn)行分割，得到三幅新圖像：害蟲(chóng)圖像、作物圖像、背景圖像。
(3)結(jié)合整體圖像共同進(jìn)行最終的分類預(yù)測(cè)，將待測(cè)圖像和分割得到的害蟲(chóng)圖像、作物圖像、背景圖像共四幅圖像作為輸入，輸入到訓(xùn)練完成的基于cnn的分類模型中，預(yù)測(cè)得到可能性最大的分類作為分類結(jié)果輸出。
以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說(shuō)明書(shū)中描述的只是本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明的范圍內(nèi)。本發(fā)明要求的保護(hù)范圍由所附的權(quán)利要求書(shū)及其等同物界定。