本發(fā)明屬于視頻監(jiān)控
技術(shù)領(lǐng)域：
，涉及一種基于深度學(xué)習(xí)的監(jiān)控圖像多類物體檢測(cè)與識(shí)別方法。
背景技術(shù)：
：隨著中國(guó)汽車(chē)數(shù)量的逐年增加以及國(guó)家對(duì)道路，小區(qū)的監(jiān)控設(shè)備的持續(xù)投入，如何有效利用與解析如此大數(shù)量監(jiān)控視頻或圖像成為目前亟需解決的問(wèn)題。對(duì)這些圖像內(nèi)容的分析與理解無(wú)論是在交通、安防，或是在視頻偵查方面都具有重要的應(yīng)用。圖像物體檢測(cè)作為理解與解析圖像的第一個(gè)步驟，其性能直接影響了后續(xù)步驟的效果。在監(jiān)控圖像中，人，機(jī)動(dòng)車(chē)，非機(jī)動(dòng)車(chē)這幾類作為關(guān)注的主要主體，如何更好的檢測(cè)這類物體是本發(fā)明主要解決的問(wèn)題。目前已有的技術(shù)從路線上講，主要有基于傳統(tǒng)的圖像處理方法或機(jī)器學(xué)習(xí)方法，比如《對(duì)圖像中的車(chē)輛的檢測(cè)-200980137706.x》，《一種基于圖像的車(chē)輛檢測(cè)方法-201310259434.9》，《一種基于圖像的夜間車(chē)輛檢測(cè)方法-201410104987.1》等，此類方法存在的缺點(diǎn)包括對(duì)環(huán)境及場(chǎng)景嚴(yán)重依賴，對(duì)時(shí)間依賴以及只能實(shí)現(xiàn)單類檢測(cè)，檢測(cè)性能低下等，這嚴(yán)重制約了這些技術(shù)的真正實(shí)用性。第二種路線是基于深度學(xué)習(xí)方法，比如《一種基于快速r-cnn深度神經(jīng)網(wǎng)絡(luò)的車(chē)型識(shí)別方法-201610563184.1》，《一種基于深度學(xué)習(xí)的交通圖像多類型車(chē)輛檢測(cè)方法-201610397819.5》，《一種基于深度學(xué)習(xí)的多方向車(chē)型檢測(cè)識(shí)別系統(tǒng)-201610316159.3》，《基于深度學(xué)習(xí)ssd框架的道路車(chē)輛實(shí)時(shí)檢測(cè)方法-201511183427.5》。這類方法無(wú)論從性能或者耗時(shí)方面都優(yōu)于前述的傳統(tǒng)方法。技術(shù)實(shí)現(xiàn)要素：為了應(yīng)付目前急劇增長(zhǎng)的視頻圖像內(nèi)容，提高視頻圖像分析的效果，本發(fā)明通過(guò)利用已公開(kāi)的ssd深度學(xué)習(xí)檢測(cè)框架，在此框架上重新設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)及相應(yīng)的各種參數(shù)，使其能夠快速地檢測(cè)到監(jiān)控視頻圖像中受關(guān)注的物體(人，機(jī)動(dòng)車(chē)，非機(jī)動(dòng)車(chē))，為后續(xù)的圖像理解打下堅(jiān)實(shí)的基礎(chǔ)。本發(fā)明解決技術(shù)問(wèn)題所采取的技術(shù)手段為：步驟1、收集不同地方的道路，小區(qū)監(jiān)控視頻圖像數(shù)據(jù)，標(biāo)注感興趣的物體。步驟2、把步驟1中標(biāo)注信息轉(zhuǎn)成ssd支持的xml標(biāo)注格式并準(zhǔn)備訓(xùn)練所需要labelmap.prototxt以及val_name_size.txt，按一定的比例分為訓(xùn)練集與驗(yàn)證集。步驟3、設(shè)計(jì)訓(xùn)練網(wǎng)絡(luò)：3a).結(jié)合vgg，squeezenet,resnet網(wǎng)絡(luò)重新設(shè)計(jì)網(wǎng)絡(luò)。由于ssd原始框架用的是vgg網(wǎng)絡(luò)，該網(wǎng)絡(luò)參數(shù)比較多，計(jì)算量龐大，導(dǎo)致速度較慢。為了克服這一缺點(diǎn)，本發(fā)明基于速度與性能方面的考慮，重新設(shè)計(jì)了網(wǎng)絡(luò)結(jié)構(gòu)：第一用squeezenet的網(wǎng)絡(luò)替換了原vgg網(wǎng)絡(luò)conv1～conv5，第二個(gè)是用1x3,3x1的網(wǎng)絡(luò)取代了原始網(wǎng)絡(luò)3x3的部分。通過(guò)這兩個(gè)改進(jìn)，能夠大大減少網(wǎng)絡(luò)參數(shù)，降低網(wǎng)絡(luò)計(jì)算量。第三個(gè)是在conv6～conv8中非提取框的卷積層引入resnet模塊，這個(gè)能夠在不增加很多計(jì)算量的前提下，保留更多的上層信息，從而能夠提升網(wǎng)絡(luò)性能。通過(guò)這些改進(jìn)，本發(fā)明所采用的方法在性能上基本上與公開(kāi)的文獻(xiàn)中采用vgg持平，但是速度上提高了7-10倍。3b).統(tǒng)計(jì)所有標(biāo)注的信息，設(shè)置不同提取框的特征層的aspect_ratio。步驟4、根據(jù)步驟3b的統(tǒng)計(jì)及實(shí)際應(yīng)用需求，按wxh的大小生成leveldb/lmdb的數(shù)據(jù)庫(kù)格式用于訓(xùn)練。步驟5、設(shè)計(jì)loss函數(shù)：其中，c，l，g，x分別表示屬于某個(gè)類別的概率，預(yù)測(cè)框，真實(shí)框，以及預(yù)測(cè)框與真實(shí)框匹配的標(biāo)記(匹配為1，否則為0)；n表示的是與標(biāo)注框匹配的數(shù)量；lloc(x,l,g)為定位損失函數(shù)；lconf(x,c)表示分類損失函數(shù)。為了消除樣本不均衡產(chǎn)生的影響，本發(fā)明重新定義分類損失函數(shù)lconf(x,c)如下：這里wi表示不同類別的權(quán)重，其計(jì)算公式為：表示類別為ci的數(shù)量，m為總的框的數(shù)量。步驟6、利用caffe-ssd檢測(cè)框架以上一步提出的函數(shù)為優(yōu)化目標(biāo)訓(xùn)練檢測(cè)分類器。步驟7、利用步驟6訓(xùn)練得到的檢測(cè)分類器模型，輸入測(cè)試圖片或視頻的一幀，再做同類別間的非極大值抑制(nonmaximumsuppression,nms)，得到每一圖像/幀的輸出，此輸出包括檢測(cè)到的物體數(shù)量，以及每個(gè)物體的位置、類別和置信度。步驟8、統(tǒng)計(jì)訓(xùn)練集中每個(gè)類別在圖像中出現(xiàn)的概率，得到每一類別在縮放圖像上的概率熱力圖。步驟9、利用步驟8得到的概率熱力圖重新計(jì)算每一類別的置信度的值，然后再利用nms合并不同類別的框。步驟10、根據(jù)實(shí)際情況對(duì)不同類別設(shè)計(jì)不同的置信度閾值，把低于本類置信度閾值的結(jié)果過(guò)濾掉，從而得到最終的輸出結(jié)果。本發(fā)明的有益效果：相對(duì)傳統(tǒng)的圖像處理方法來(lái)說(shuō)，本發(fā)明采用深度學(xué)習(xí)能夠自動(dòng)學(xué)習(xí)更有效更豐富的特征，從而具有較高的魯棒性。相對(duì)其他深度學(xué)習(xí)方法來(lái)說(shuō)，本發(fā)明利用采用一些輕量的網(wǎng)絡(luò)模塊，重新設(shè)計(jì)目標(biāo)函數(shù)，并引入了殘差模塊及概率熱力圖，從而保持了速度與性能上的優(yōu)勢(shì)?？偟谜f(shuō)來(lái)，本發(fā)明的方法能高效快速檢測(cè)到圖像中的感興趣物體，并且能夠被推廣到更通用的物體檢測(cè)領(lǐng)域。附圖說(shuō)明圖1為本發(fā)明方法流程圖。圖2為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖。具體實(shí)施方式下面結(jié)合附圖1對(duì)本發(fā)明進(jìn)行詳細(xì)闡述，本發(fā)明的具體步驟如下：步驟1、收集不同地方的道路，小區(qū)監(jiān)控視頻圖像數(shù)據(jù)，并把圖像中的人，兩輪車(chē)，三輪車(chē)，車(chē)頭，車(chē)尾標(biāo)注出來(lái)。步驟2、把步驟1中標(biāo)注信息轉(zhuǎn)成ssd支持的xml標(biāo)注格式并準(zhǔn)備訓(xùn)練所需要labelmap.prototxt以及val_name_size.txt，并按4:1比例分訓(xùn)練集與驗(yàn)證集。步驟3、設(shè)計(jì)訓(xùn)練網(wǎng)絡(luò):3a).結(jié)合vgg，squeezenet,resnet網(wǎng)絡(luò)重新設(shè)計(jì)網(wǎng)絡(luò),如圖2所示；3b).統(tǒng)計(jì)所有標(biāo)注的信息，設(shè)置不同提取框的特征層的aspect_ratio，如下表所示。特征層值squeeznet_4(0.25,0.5，0.75，1,1.25)squeezenet_9(0.5,0.8,1,1.3,1.6)convblock_2(0.4,0.8,1,1.4,1.7)convblock_3(0.4,0.8,1,1.4,1.7)convblock_4(0.5,0.8,1,1.2,1.8)globalpooling_1(0.8,1,1.25,1.6,2)步驟4、根據(jù)步驟3b的統(tǒng)計(jì)及實(shí)際應(yīng)用需求，按wxh(384x2556)的大小生成leveldb/lmdb的數(shù)據(jù)庫(kù)格式用于訓(xùn)練。步驟5、設(shè)計(jì)loss函數(shù)：其中l(wèi)loc(x,l,g)為定位的損失，具體定義參見(jiàn)ssd論文。lconf(x,c)的定義重新設(shè)計(jì)成如下函數(shù)：這里n表示的是與標(biāo)注框匹配的數(shù)量。wi表示不同類別的權(quán)重，其計(jì)算公式為：表示類別為ci的數(shù)量，m為總的框的數(shù)量。在本例中，類別數(shù)量為5類，根據(jù)上面的公式wi的取值按順序?yàn)?0.17,0.22,0.34,0.12,0.15)。步驟6、利用caffe-ssd檢測(cè)框架訓(xùn)練檢測(cè)分類器，訓(xùn)練所用的solver參數(shù)下表所示。參數(shù)值base_lr0.001max_iter400000lr_polcystepgamma0.8momentum0.95weight_decay0.0005stepsize40000average_loss10typesgd6a)先用squeezenet1.0的預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練20萬(wàn)次，得到一個(gè)模型；6b)用6a)訓(xùn)練得到的模型重新訓(xùn)練40萬(wàn)次。步驟7、利用步驟6訓(xùn)練得到的檢測(cè)分類器模型，輸入測(cè)試圖片或視頻的一幀，再做同類別間的非極大值抑制(nonmaximumsuppression,nms)，得到每一圖像/幀的輸出，此輸出包括檢測(cè)到的物體數(shù)量，以及每個(gè)物體的位置，類別，置信度。步驟8、統(tǒng)計(jì)訓(xùn)練集中每個(gè)類別在圖像中出現(xiàn)的概率，得到每一類別在縮放圖像上的概率熱力圖。步驟9、利用步驟8得到的概率熱力圖重新計(jì)算每一類別的置信度的值，然后再利用nms合并不同類別的框。步驟10、根據(jù)實(shí)際情況對(duì)不同類別設(shè)計(jì)不同的置信度閾值，五個(gè)類別的置信度分別設(shè)置為(0.6,0.6,0.4,0.8,0.85)，低于相應(yīng)類置信度的結(jié)果會(huì)被丟棄，從而輸出該張圖像所含有的物體類別以及每個(gè)物體所對(duì)應(yīng)的坐標(biāo)和置信度。本實(shí)施例部分內(nèi)容參考如下：ssd:singleshotmultiboxdetector,eccv,2016.squeezenet:alexnet-levelaccuracywith50xfewerparametersand<0.5mbmodelsize,arxiv,2016.deepresiduallearningforimagerecognition,cvpr,2016本發(fā)明可以同時(shí)檢測(cè)監(jiān)控圖像中所有感興趣的物體并具性能與速度上都有所提高。同時(shí)計(jì)算量大幅減少，能夠同時(shí)檢測(cè)圖像中的人，非機(jī)動(dòng)車(chē)及機(jī)動(dòng)車(chē)，速度上能夠達(dá)到在nvidiam40上面達(dá)到85幀/秒，遠(yuǎn)超最后一個(gè)專利25幀/秒。當(dāng)前第1頁(yè)12