本發(fā)明涉及圖像檢測(cè)
技術(shù)領(lǐng)域：
，特別涉及一種從圖像中檢測(cè)物體的方法及裝置。
背景技術(shù)：
：深度學(xué)習(xí)的出現(xiàn)為圖像中的物體檢測(cè)(ObjectDetection)提供了強(qiáng)有力的技術(shù)支撐，讓物體檢測(cè)從實(shí)時(shí)性和準(zhǔn)確性方面較傳統(tǒng)的檢測(cè)方法都有了很大的提升?；趫D像區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-basedConvolutionalNeuralNetworks,RCNNs)的深度學(xué)習(xí)算法對(duì)于物體檢測(cè)具有長(zhǎng)足發(fā)展。其中Faster-RCNN方法的提出，將基于深度學(xué)習(xí)的物體檢測(cè)技術(shù)引入了實(shí)際生產(chǎn)生活中。物體檢測(cè)(ObjectDetection)現(xiàn)階段主流方法是在基于圖像區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-basedConvolutionalNeuralNetworks,RCNNs)的基礎(chǔ)上實(shí)現(xiàn)的，其主要實(shí)現(xiàn)原理是通過(guò)選擇性搜索(SelectiveSearch)采樣得到的圖像區(qū)域依次送入卷積神經(jīng)網(wǎng)絡(luò)，進(jìn)行圖像區(qū)域在整幅圖像上坐標(biāo)點(diǎn)的回歸和圖像區(qū)域物體的分類預(yù)測(cè)。Fast-RCNN的主要原理是輸入任意尺度的圖像，在卷積層后接入ROIPooling層，將SelectiveSearch采樣的圖像區(qū)域?qū)?yīng)的第五卷積層(CONV5層)特征進(jìn)行提取，送入神經(jīng)網(wǎng)絡(luò)進(jìn)行回歸和分類，使得從圖像中檢測(cè)物體的準(zhǔn)確率和時(shí)效性都具有較大提升。Faster-RCNN是目前使用最多的物體檢測(cè)方法，其主要改進(jìn)是使用全卷積結(jié)構(gòu)取代SelectiveSearch的傳統(tǒng)方法，壓縮檢測(cè)速度。然而，如何對(duì)現(xiàn)有的物體檢測(cè)技術(shù)進(jìn)行改進(jìn)，以提高從圖像中檢測(cè)物體的準(zhǔn)確性，一直是人們關(guān)注的焦點(diǎn)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明解決的一個(gè)技術(shù)問(wèn)題是，如何提高從圖像中檢測(cè)物體的準(zhǔn)確性。根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種從圖像中檢測(cè)物體的方法，包括：將待檢測(cè)圖像輸入深度學(xué)習(xí)模型進(jìn)行處理，通過(guò)深度學(xué)習(xí)模型的卷積層提取待檢測(cè)圖像的特征，通過(guò)深度學(xué)習(xí)模型的Proposal層獲得物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)，通過(guò)深度學(xué)習(xí)模型的全連接層提取待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息；將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)、待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息輸入級(jí)聯(lián)處理層，利用待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)；將待檢測(cè)圖像的特征以及物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)輸入級(jí)聯(lián)ROIPooling層進(jìn)行池化處理，得到物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征；將物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征輸入級(jí)聯(lián)全連接層進(jìn)行坐標(biāo)回歸處理，得到待檢測(cè)圖像中物體的修正分類信息和修正坐標(biāo)回歸信息；根據(jù)待檢測(cè)圖像中物體的修正分類信息確定待檢測(cè)圖像中物體的分類，并利用待檢測(cè)圖像中物體的修正坐標(biāo)回歸信息對(duì)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行修正，確定物體在待檢測(cè)圖像中的修正坐標(biāo)。在一個(gè)實(shí)施例中，利用待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)包括：確定每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)的置信度最高的坐標(biāo)回歸信息和分類信息；利用待檢測(cè)圖像中每個(gè)物體的置信度最高的坐標(biāo)回歸信息和分類信息，將每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為每個(gè)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)。在一個(gè)實(shí)施例中，該方法還包括：在深度學(xué)習(xí)模型的輸出端依次接入級(jí)聯(lián)處理層、級(jí)聯(lián)ROI-data層、級(jí)聯(lián)ROIPooling層以及級(jí)聯(lián)全連接層，構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型；其中，級(jí)聯(lián)ROI-data層存有物體在圖像中的實(shí)際坐標(biāo)，級(jí)聯(lián)ROIPooling層接收深度學(xué)習(xí)模型中的卷積層輸出的圖像的特征；將訓(xùn)練圖像輸入級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練圖像中物體的分類信息和物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)輸入級(jí)聯(lián)ROI-data層以及深度學(xué)習(xí)模型中的ROI-data層，將訓(xùn)練圖像中物體的分類信息輸入級(jí)聯(lián)全連接層以及深度學(xué)習(xí)模型中的全連接層，從而對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。在一個(gè)實(shí)施例中，通過(guò)卷積層獲得待檢測(cè)圖像的特征包括：提取第五個(gè)卷積層中的信息作為待檢測(cè)圖像的特征；通過(guò)全連接層獲得待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息包括：提取全連接層的回歸結(jié)果層中的信息作為待檢測(cè)圖像中物體的坐標(biāo)回歸信息；提取全連接層的分類結(jié)果層中的信息作為待檢測(cè)圖像中物體的分類信息。在一個(gè)實(shí)施例中，深度學(xué)習(xí)模型為更快速基于圖像區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN。在一個(gè)實(shí)施例中，該方法還包括：確定置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類；將置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類顯示在圖片中。根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，提供了一種從圖像中檢測(cè)物體的裝置，其特征在于，包括：初步信息獲取模塊，用于將待檢測(cè)圖像輸入深度學(xué)習(xí)模型進(jìn)行處理，通過(guò)深度學(xué)習(xí)模型的卷積層提取待檢測(cè)圖像的特征，通過(guò)深度學(xué)習(xí)模型的Proposal層獲得物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)，通過(guò)深度學(xué)習(xí)模型的全連接層提取待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息；預(yù)測(cè)坐標(biāo)修正模塊，用于將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)、待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息輸入級(jí)聯(lián)處理層，利用待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)；區(qū)域特征獲取模塊，用于將待檢測(cè)圖像的特征以及物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)輸入級(jí)聯(lián)ROIPooling層進(jìn)行池化處理，得到物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征；修正信息獲取模塊，用于將物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征輸入級(jí)聯(lián)全連接層進(jìn)行坐標(biāo)回歸處理，得到待檢測(cè)圖像中物體的修正分類信息和修正坐標(biāo)回歸信息；物體信息確定模塊，用于根據(jù)待檢測(cè)圖像中物體的修正分類信息確定待檢測(cè)圖像中物體的分類，并利用待檢測(cè)圖像中物體的修正坐標(biāo)回歸信息對(duì)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行修正，確定物體在待檢測(cè)圖像中的修正坐標(biāo)。在一個(gè)實(shí)施例中，預(yù)測(cè)坐標(biāo)修正模塊包括：信息確定單元，用于確定每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)的置信度最高的坐標(biāo)回歸信息和分類信息；坐標(biāo)修正單元，用于利用待檢測(cè)圖像中每個(gè)物體的置信度最高的坐標(biāo)回歸信息和分類信息，將每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為每個(gè)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)。在一個(gè)實(shí)施例中，該裝置還包括：級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊，用于在深度學(xué)習(xí)模型的輸出端依次接入級(jí)聯(lián)處理層、級(jí)聯(lián)ROI-data層、級(jí)聯(lián)ROIPooling層以及級(jí)聯(lián)全連接層，構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型；其中，級(jí)聯(lián)ROI-data層存有物體在圖像中的實(shí)際坐標(biāo)，級(jí)聯(lián)ROIPooling層接收深度學(xué)習(xí)模型中的卷積層輸出的圖像的特征；級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模塊，用于將訓(xùn)練圖像輸入級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練圖像中物體的分類信息和物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)輸入級(jí)聯(lián)ROI-data層以及深度學(xué)習(xí)模型中的ROI-data層，將訓(xùn)練圖像中物體的分類信息輸入級(jí)聯(lián)全連接層以及深度學(xué)習(xí)模型中的全連接層，從而對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。在一個(gè)實(shí)施例中，初步信息獲取模塊用于：提取第五個(gè)卷積層中的信息作為待檢測(cè)圖像的特征；提取全連接層的回歸結(jié)果層中的信息作為待檢測(cè)圖像中物體的坐標(biāo)回歸信息；提取全連接層的分類結(jié)果層中的信息作為待檢測(cè)圖像中物體的分類信息。在一個(gè)實(shí)施例中，深度學(xué)習(xí)模型為更快速基于圖像區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN。在一個(gè)實(shí)施例中，該裝置還包括：類別確定模塊，用于確定置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和圖像中物體的分類；顯示模塊，用于將置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類顯示在圖片中。根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，提供了一種從圖像中檢測(cè)物體的裝置，包括：存儲(chǔ)器；以及耦接至存儲(chǔ)器的處理器，處理器被配置為基于存儲(chǔ)在存儲(chǔ)器中的指令，執(zhí)行上述的從圖像中檢測(cè)物體的方法。根據(jù)本發(fā)明實(shí)施例的再一個(gè)方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)指令，指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的從圖像中檢測(cè)物體的方法。本發(fā)明在深度學(xué)習(xí)模型的基礎(chǔ)上構(gòu)建了新的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，通過(guò)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型檢測(cè)圖像中的物體，能夠?qū)ξ矬w在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行修正，從而提高了檢測(cè)圖像中物體的準(zhǔn)確性。通過(guò)以下參照附圖對(duì)本發(fā)明的示例性實(shí)施例的詳細(xì)描述，本發(fā)明的其它特征及其優(yōu)點(diǎn)將會(huì)變得清楚。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1示出Faster-RCNN的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。圖2A示出級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的一個(gè)實(shí)施例的示意圖。圖2B示出使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型檢測(cè)圖像中的物體的一個(gè)實(shí)施例的示意圖。圖3示出訓(xùn)練級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的一個(gè)實(shí)施例的流程示意圖。圖4示出本發(fā)明從圖像中檢測(cè)物體的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)圖。圖5示出本發(fā)明從圖像中檢測(cè)物體的裝置的另一個(gè)實(shí)施例的結(jié)構(gòu)圖。圖6示出本發(fā)明從圖像中檢測(cè)物體的裝置的又一個(gè)實(shí)施例的結(jié)構(gòu)圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。以下對(duì)至少一個(gè)示例性實(shí)施例的描述實(shí)際上僅僅是說(shuō)明性的，決不作為對(duì)本發(fā)明及其應(yīng)用或使用的任何限制?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。本文以深度學(xué)習(xí)模型為Faster-RCNN進(jìn)行舉例，描述如何在現(xiàn)有的深度學(xué)習(xí)模型基礎(chǔ)上構(gòu)建出新的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，并對(duì)新構(gòu)建的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練后，利用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型從圖像中檢測(cè)物體。首先描述如何構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。圖1示出Faster-RCNN的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。如圖1所示，F(xiàn)aster-RCNN在結(jié)構(gòu)上可以劃分為卷積層、RPN(RegionProposalNetwork，區(qū)域建議網(wǎng)絡(luò))、Proposal建議層、級(jí)聯(lián)ROI-data(RegionOfInterestdata，感興趣區(qū)域數(shù)據(jù))層、ROIPooling(RegionOfInterestPooling，感興趣區(qū)域池化)層以及全連接層。圖2A示出級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的一個(gè)實(shí)施例的示意圖。如圖2A所示，在Faster-RCNN中的Proposal層以及全連接層的輸出端依次接入級(jí)聯(lián)處理層、級(jí)聯(lián)ROI-data層、級(jí)聯(lián)ROIPooling層以及級(jí)聯(lián)全連接層，以構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型。級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中各個(gè)層的工作過(guò)程在級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程和級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的檢測(cè)過(guò)程中進(jìn)行描述。構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型之后，需要對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練的過(guò)程可以離線進(jìn)行。下面結(jié)合圖3描述級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程。圖3示出訓(xùn)練級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的一個(gè)實(shí)施例的流程示意圖。如圖3所示，級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程包括：步驟S302，將訓(xùn)練圖像在保留長(zhǎng)寬比的情況下進(jìn)行縮放。對(duì)訓(xùn)練圖像在保留長(zhǎng)寬比的情況下進(jìn)行縮放的目的是，在保留訓(xùn)練圖像中原有物體比例的情況下，調(diào)整訓(xùn)練圖像中的像素個(gè)數(shù)。如果訓(xùn)練圖像中的像素個(gè)數(shù)過(guò)多，可能減緩級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的收斂速度，延長(zhǎng)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間；如果訓(xùn)練圖像中的像素個(gè)數(shù)太少，又不足以為級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型提供足夠多的樣本，影響級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練效果。在實(shí)際應(yīng)用當(dāng)中，可以將訓(xùn)練圖像在保留長(zhǎng)寬比的情況下縮放為600至1000個(gè)像素。步驟S304，將訓(xùn)練圖像中物體的分類信息和物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)輸入級(jí)聯(lián)ROI-data層以及Faster-RCNN中的ROI-data層。其中，物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)可以由物體在訓(xùn)練圖像中的左上角坐標(biāo)以及右下角坐標(biāo)這兩個(gè)坐標(biāo)點(diǎn)來(lái)表示。步驟S306，將物體的分類信息輸入級(jí)聯(lián)全連接層以及Faster-RCNN中的全連接層。例如，物體的類別總共有15類，則相應(yīng)的將圖像中的每個(gè)物體的類別輸入入級(jí)聯(lián)全連接層以及Faster-RCNN中的全連接層。步驟S308，將訓(xùn)練圖像輸入級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。通過(guò)訓(xùn)練圖像、物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)以及物體的分類信息，可以對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中各個(gè)層的相關(guān)參數(shù)。下面結(jié)合圖2B描述級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的圖片檢測(cè)過(guò)程。圖2B示出使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型檢測(cè)圖像中的物體的一個(gè)實(shí)施例的示意圖。與圖2A相區(qū)別，在使用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行圖像檢測(cè)過(guò)程中，F(xiàn)aster-RCNN中的ROI-data層以及級(jí)聯(lián)ROI-data層不再對(duì)數(shù)據(jù)進(jìn)行處理。原因是Faster-RCNN中的ROI-data層以及級(jí)聯(lián)ROI-data層僅用于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程。如圖2B所示，級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的圖片檢測(cè)過(guò)程包括：步驟S202，將待檢測(cè)圖像輸入級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的卷積層。其中，可以參照步驟S302中的方法對(duì)待檢測(cè)圖像進(jìn)行縮放。步驟S204，卷積層提取待檢測(cè)圖像的特征，并將待檢測(cè)圖像的特征輸入RPN層以及ROIPooling層。其中，可以提取第五個(gè)卷積層CONV5層中的信息作為待檢測(cè)圖像的特征，將待檢測(cè)圖像的特征分別用來(lái)進(jìn)行圖像物體區(qū)域的采樣提取和分類回歸。步驟S206，RPN在待檢測(cè)圖像的特征的基礎(chǔ)上進(jìn)行采樣，并將是否為一個(gè)可檢測(cè)物體的分?jǐn)?shù)輸入Proposal層。其中，RPN在CONV5層特征的基礎(chǔ)上通過(guò)全卷積對(duì)于每個(gè)像素點(diǎn)按照9個(gè)可能物體的范圍進(jìn)行采樣，并給出是否為一個(gè)可檢測(cè)物體的分?jǐn)?shù)輸入Proposal層，步驟S208，Proposal層將得到的信息進(jìn)行解析采樣出物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)，并將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)輸入ROIPooling層。其中，Proposal層輸出ROIS信息，ROIS信息中包含了物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)。例如，ROIS信息可以表示出待檢測(cè)圖像中的128個(gè)建議框，每個(gè)建議框表示建議框中的圖像區(qū)域中具有一個(gè)物體，建議框的位置信息表示物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)。步驟S210，將待檢測(cè)圖像的特征以及物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)輸入ROIPooling層進(jìn)行池化處理，得到物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征，并將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征輸入全連接層。步驟S212，通過(guò)全連接層獲得待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息。其中，提取全連接層的回歸結(jié)果層中的信息作為待檢測(cè)圖像中物體的坐標(biāo)回歸信息bbox_pred，并提取全連接層的分類結(jié)果層中的信息作為待檢測(cè)圖像中物體的分類信息cls_prob。步驟S214，將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)、待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息輸入級(jí)聯(lián)處理層。例如，級(jí)聯(lián)處理層通過(guò)Proposal層獲得物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)中包含128個(gè)建議框，每個(gè)建議框表示一個(gè)可能的物體。如果物體的類別總共有15類，那么級(jí)聯(lián)處理層通過(guò)Fast-RCNN的全連接層提取待檢測(cè)圖像中物體的分類信息cls_prob中，每個(gè)建議框?qū)τ诿總€(gè)類別都存在一個(gè)置信度，表示該建議框中的物體屬于該類別的可能性。因此，cls_prob中包含128×15個(gè)數(shù)據(jù)。相應(yīng)的，級(jí)聯(lián)處理層通過(guò)Fast-RCNN的全連接層提取待檢測(cè)圖像中物體的坐標(biāo)回歸信息bbox_pred中具有128×15組修正數(shù)據(jù)，其中每組數(shù)據(jù)中包含四個(gè)能夠表示修正坐標(biāo)的坐標(biāo)數(shù)據(jù)，每組數(shù)據(jù)表示一個(gè)建議框在建議框中的物體屬于某一類時(shí)的建議框修正坐標(biāo)。步驟S216，利用待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)。其中，可以先確定每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)的置信度最高的坐標(biāo)回歸信息和分類信息。例如，通過(guò)每個(gè)建議框所對(duì)應(yīng)的置信度最高的坐標(biāo)回歸信息和分類信息，得到128個(gè)坐標(biāo)回歸信息和分類信息。然后，利用待檢測(cè)圖像中每個(gè)物體的置信度最高的坐標(biāo)回歸信息和分類信息，將每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為每個(gè)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)，得到修正后的預(yù)測(cè)坐標(biāo)信息bbox。例如，通過(guò)128個(gè)坐標(biāo)回歸信息和分類信息進(jìn)行修正后可以得到修正后的預(yù)測(cè)坐標(biāo)信息bbox中存在128組數(shù)據(jù)。步驟S218，將待檢測(cè)圖像的特征以及物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)輸入級(jí)聯(lián)ROIPooling層進(jìn)行池化處理，得到物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征。級(jí)聯(lián)ROIPooling層的具體處理過(guò)程可以參照步驟S210。步驟S220，將物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征輸入級(jí)聯(lián)全連接層進(jìn)行坐標(biāo)回歸處理，得到待檢測(cè)圖像中物體的修正分類信息和修正坐標(biāo)回歸信息。級(jí)聯(lián)全連接層的具體處理過(guò)程可以參照步驟S212。步驟S222，根據(jù)待檢測(cè)圖像中物體的修正分類信息確定待檢測(cè)圖像中物體的分類，并利用待檢測(cè)圖像中物體的修正坐標(biāo)回歸信息對(duì)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行修正，確定物體在待檢測(cè)圖像中的修正坐標(biāo)。步驟S222的具體處理過(guò)程可以參照步驟S216。步驟S224，確定置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類，并將置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類顯示在圖片中。例如，可以將置信度大于0.8的物體在待檢測(cè)圖像中的修正坐標(biāo)(20，30，300，400)和待檢測(cè)圖像中物體的分類為貓類顯示在圖片中。上述實(shí)施例中，使用構(gòu)建的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像中的物體進(jìn)行檢測(cè)，能夠?qū)ξ矬w在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行深度修正，從而得到與物體在待檢測(cè)圖像中的實(shí)際坐標(biāo)更加接近的物體在待檢測(cè)圖像中的修正坐標(biāo)，從而提高了檢測(cè)圖像中物體的準(zhǔn)確性。此外，由于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)層進(jìn)行處理所需時(shí)間較短，因此能夠?qū)崿F(xiàn)保證圖像檢測(cè)的時(shí)效性的同時(shí)提高檢測(cè)圖像中物體的準(zhǔn)確性。下面通過(guò)實(shí)驗(yàn)結(jié)果對(duì)本發(fā)明的技術(shù)效果進(jìn)行說(shuō)明。在CentOS7.1系統(tǒng)，64G內(nèi)存以及NVIDIATeslaK20上得到的實(shí)驗(yàn)結(jié)果如下：表1示出采用VOC2007數(shù)據(jù)庫(kù)(應(yīng)用于圖像檢測(cè)的通用數(shù)據(jù)庫(kù))時(shí)，使用MAP(Meanaverageprecision)指標(biāo)進(jìn)行評(píng)測(cè)的實(shí)驗(yàn)結(jié)果。表1使用模型Faster-RCNN本發(fā)明MAP指標(biāo)0.60720.6233其中，MAP指標(biāo)表示多張圖像檢測(cè)結(jié)果單張召回的準(zhǔn)確率的平均值。從表1可以看出，在PASCALVOC2007數(shù)據(jù)集上，本發(fā)明相比Faster-RCNN的MAP指標(biāo)提高1.61％。表2示出采用某商家商品數(shù)據(jù)庫(kù)時(shí)，使用MAP指標(biāo)以及IOU(Intersectionoverunion)指標(biāo)進(jìn)行評(píng)測(cè)的實(shí)驗(yàn)結(jié)果。表1使用模型Faster-RCNN本發(fā)明MAP指標(biāo)0.86160.8852IOU>0.5指標(biāo)0.90870.9153其中，IOU指標(biāo)表示模型檢測(cè)書來(lái)的目標(biāo)窗口和原來(lái)標(biāo)記窗口的交疊率。從表2可以看出，在某商家商品數(shù)據(jù)庫(kù)上，本發(fā)明相比Faster-RCNN的MAP指標(biāo)提高2.36％，IOU>0.5的指標(biāo)提高0.66％。下面結(jié)合圖4描述本發(fā)明一個(gè)實(shí)施例的從圖像中檢測(cè)物體的裝置。圖4示出本發(fā)明從圖像中檢測(cè)物體的裝置的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。如圖4所示，該實(shí)施例的從圖像中檢測(cè)物體的裝置40包括：初步信息獲取模塊403，用于將待檢測(cè)圖像輸入深度學(xué)習(xí)模型進(jìn)行處理，通過(guò)深度學(xué)習(xí)模型的卷積層提取待檢測(cè)圖像的特征，通過(guò)深度學(xué)習(xí)模型的Proposal層獲得物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)，通過(guò)深度學(xué)習(xí)模型的全連接層提取待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息。預(yù)測(cè)坐標(biāo)修正模塊404，用于將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)、待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息輸入級(jí)聯(lián)處理層，利用待檢測(cè)圖像中物體的坐標(biāo)回歸信息和分類信息將物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)；區(qū)域特征獲取模塊405，用于將待檢測(cè)圖像的特征以及物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)輸入級(jí)聯(lián)ROIPooling層進(jìn)行池化處理，得到物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征；修正信息獲取模塊406，用于將物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)圖像區(qū)域的特征輸入級(jí)聯(lián)全連接層進(jìn)行坐標(biāo)回歸處理，得到待檢測(cè)圖像中物體的修正分類信息和修正坐標(biāo)回歸信息；物體信息確定模塊407，用于根據(jù)待檢測(cè)圖像中物體的修正分類信息確定待檢測(cè)圖像中物體的分類，并利用待檢測(cè)圖像中物體的修正坐標(biāo)回歸信息對(duì)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)進(jìn)行修正，確定物體在待檢測(cè)圖像中的修正坐標(biāo)。上述實(shí)施例中，使用構(gòu)建的級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型對(duì)圖像中的物體進(jìn)行檢測(cè)，能夠?qū)ξ矬w在待檢測(cè)圖像中的坐標(biāo)進(jìn)行深度修正，從而得到與物體在待檢測(cè)圖像中的實(shí)際坐標(biāo)更加接近的物體在待檢測(cè)圖像中的修正坐標(biāo)，從而提高了檢測(cè)圖像中物體的準(zhǔn)確性。此外，由于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的各個(gè)層進(jìn)行處理所需時(shí)間較短，因此能夠?qū)崿F(xiàn)保證圖像檢測(cè)的時(shí)效性的同時(shí)提高檢測(cè)圖像中物體的準(zhǔn)確性。在一個(gè)實(shí)施例中，預(yù)測(cè)坐標(biāo)修正模塊404包括：信息確定單元4042，用于確定每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)所對(duì)應(yīng)的置信度最高的坐標(biāo)回歸信息和分類信息；坐標(biāo)修正單元4044，用于利用待檢測(cè)圖像中每個(gè)物體的置信度最高的坐標(biāo)回歸信息和分類信息，將每個(gè)物體在待檢測(cè)圖像中的初步預(yù)測(cè)坐標(biāo)修正為每個(gè)物體在待檢測(cè)圖像中的預(yù)測(cè)坐標(biāo)。在一個(gè)實(shí)施例中，從圖像中檢測(cè)物體的裝置40還包括：級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型構(gòu)建模塊401，用于在深度學(xué)習(xí)模型的輸出端依次接入級(jí)聯(lián)處理層、級(jí)聯(lián)ROI-data層、級(jí)聯(lián)ROIPooling層以及級(jí)聯(lián)全連接層，構(gòu)建級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型；其中，級(jí)聯(lián)ROI-data層存有物體在圖像中的實(shí)際坐標(biāo)，級(jí)聯(lián)ROIPooling層接收深度學(xué)習(xí)模型中的卷積層輸出的圖像的特征；級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練模塊402，用于將訓(xùn)練圖像輸入級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型，將訓(xùn)練圖像中物體的分類信息和物體在訓(xùn)練圖像中的實(shí)際坐標(biāo)輸入級(jí)聯(lián)ROI-data層以及深度學(xué)習(xí)模型中的ROI-data層，將訓(xùn)練圖像中物體的分類信息輸入級(jí)聯(lián)全連接層以及深度學(xué)習(xí)模型中的全連接層，從而對(duì)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。在一個(gè)實(shí)施例中，初步信息獲取模塊403用于：提取第五個(gè)卷積層中的信息作為待檢測(cè)圖像的特征；提取全連接層的回歸結(jié)果層中的信息作為待檢測(cè)圖像中物體的坐標(biāo)回歸信息；提取全連接層的分類結(jié)果層中的信息作為待檢測(cè)圖像中物體的分類信息。在一個(gè)實(shí)施例中，深度學(xué)習(xí)模型為更快速基于圖像區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN。在一個(gè)實(shí)施例中，從圖像中檢測(cè)物體的裝置40還包括：類別確定模塊408，用于確定置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和圖像中物體的分類。顯示模塊409，用于將置信度大于預(yù)設(shè)值的物體在待檢測(cè)圖像中的修正坐標(biāo)和待檢測(cè)圖像中物體的分類顯示在圖片中。圖5示出了本發(fā)明從圖像中檢測(cè)物體的裝置的另一個(gè)實(shí)施例的結(jié)構(gòu)圖。如圖5所示，該實(shí)施例的從圖像中檢測(cè)物體的裝置50包括：存儲(chǔ)器510以及耦接至該存儲(chǔ)器510的處理器520，處理器520被配置為基于存儲(chǔ)在存儲(chǔ)器510中的指令，執(zhí)行前述任意一個(gè)實(shí)施例中的從圖像中檢測(cè)物體的方法。其中，存儲(chǔ)器510例如可以包括系統(tǒng)存儲(chǔ)器、固定非易失性存儲(chǔ)介質(zhì)等。系統(tǒng)存儲(chǔ)器例如存儲(chǔ)有操作系統(tǒng)、應(yīng)用程序、引導(dǎo)裝載程序(BootLoader)以及其他程序等。圖6示出了本發(fā)明從圖像中檢測(cè)物體的裝置的又一個(gè)實(shí)施例的結(jié)構(gòu)圖。如圖6所示，該實(shí)施例從圖像中檢測(cè)物體的裝置60包括：存儲(chǔ)器510以及處理器520，還可以包括輸入輸出接口630、網(wǎng)絡(luò)接口640、存儲(chǔ)接口650等。這些接口630，640，650以及存儲(chǔ)器510和處理器520之間例如可以通過(guò)總線650連接。其中，輸入輸出接口630為顯示器、鼠標(biāo)、鍵盤、觸摸屏等輸入輸出設(shè)備提供連接接口。網(wǎng)絡(luò)接口640為各種聯(lián)網(wǎng)設(shè)備提供連接接口。存儲(chǔ)接口650為SD卡、U盤等外置存儲(chǔ)設(shè)備提供連接接口。本發(fā)明還包括一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)指令，該指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任意一個(gè)實(shí)施例中的基于遺傳算法的調(diào)度方法。本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用非瞬時(shí)性存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁(yè)1 2 3