本發(fā)明涉及航天領(lǐng)域，尤其涉及一種基于mapreduce的視頻人員模糊檢索并行化方法。

背景技術(shù)：

隨著視頻監(jiān)控?cái)?shù)據(jù)量的快速增長(zhǎng)，以及攝像頭高清化、超高清化的趨勢(shì)的加強(qiáng)，監(jiān)控視頻在違法人員的追捕中發(fā)揮著越來(lái)越重要的作用。但現(xiàn)有技術(shù)中利用模板匹配的方式進(jìn)行目標(biāo)檢索，識(shí)別準(zhǔn)確率低，不適用于實(shí)時(shí)高效的在線檢索。

因此，現(xiàn)有技術(shù)中存在對(duì)一種能夠大幅度提高監(jiān)控視頻的人員目標(biāo)識(shí)別自動(dòng)化程度、速率和準(zhǔn)確率以及提高監(jiān)控視頻數(shù)據(jù)的利用率的檢索方法的需要。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述現(xiàn)有技術(shù)的現(xiàn)狀，本發(fā)明提供一種基于mapreduce的視頻人員模糊檢索并行化方法，大幅度提高監(jiān)控視頻的人員目標(biāo)識(shí)別自動(dòng)化程度、速率和準(zhǔn)確率以及提高監(jiān)控視頻數(shù)據(jù)的利用率。

本發(fā)明提供的基于mapreduce的視頻人員模糊檢索并行化方法，其改進(jìn)之處在于，所述方法包括如下步驟：

(1)將視頻數(shù)據(jù)傳到原始數(shù)據(jù)模塊的hdfs模塊中，所述hdfs模塊對(duì)所述視頻進(jìn)行切分后存儲(chǔ)到原始數(shù)據(jù)模塊的hbase數(shù)據(jù)庫(kù)中；

(2)利用hadoop的mapreduce模型，在映射前，根據(jù)所述視頻文件計(jì)算輸入分片，每個(gè)輸入分片針對(duì)一個(gè)映射任務(wù)，在每一個(gè)映射任務(wù)中，利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)和特定的方法進(jìn)行解碼，并利用運(yùn)動(dòng)物體檢測(cè)方法，檢測(cè)出所述視頻中運(yùn)動(dòng)的物體；

(3)利用深度學(xué)習(xí)方法，檢測(cè)所述運(yùn)動(dòng)的物體是否是人員，是則進(jìn)行下一步，否則返回步驟(1)進(jìn)行下個(gè)視頻數(shù)據(jù)的傳送；

(4)利用所述深度學(xué)習(xí)方法和傳統(tǒng)方法結(jié)合的方式提取所述人員的服飾特征，包括，衣服種類(lèi)，顏色信息等；

(5)利用所述深度學(xué)習(xí)方法和先驗(yàn)知識(shí)對(duì)所述人員進(jìn)行檢索，識(shí)別出所述人員外貌信息，包括高矮、胖瘦、男女等；

(6)將所述外貌信息保存到處理結(jié)果存儲(chǔ)模塊的hbase數(shù)據(jù)庫(kù)中，按照相似度高低排序，將所述視頻與所述外貌信息進(jìn)行一一對(duì)應(yīng)，在客戶端發(fā)送查看請(qǐng)求時(shí)，將所述視頻與所述外貌信息進(jìn)行整合，反饋給客戶端，實(shí)現(xiàn)識(shí)別結(jié)果的可視化。

優(yōu)選的，所述步驟(3)利用深度學(xué)習(xí)方法，檢測(cè)所述運(yùn)動(dòng)的物體是否是人員的步驟包括：

a)對(duì)所述視頻進(jìn)行解碼；

b)利用vibe、幀差法或光流法，檢測(cè)出視頻中運(yùn)動(dòng)的物體；

c)利用訓(xùn)練好的cnn識(shí)別網(wǎng)絡(luò)，判斷出運(yùn)動(dòng)的物體是否是人員。

較優(yōu)選的，所述傳統(tǒng)方法包括中位切分法、八叉樹(shù)方法、k-means方法和色彩建模方法。

較優(yōu)選的，所述特定的方法包括ssd方法和yolo方法。該兩者都屬于cnn識(shí)別網(wǎng)絡(luò)的延伸，其中ssd方法的優(yōu)勢(shì)在于它結(jié)合了多模型，實(shí)現(xiàn)了對(duì)多尺度下目標(biāo)的有效識(shí)別，提高了對(duì)多尺度目標(biāo)的識(shí)別準(zhǔn)確率。yolo方法的優(yōu)勢(shì)在于識(shí)別目標(biāo)的同時(shí)對(duì)目標(biāo)進(jìn)行定位，縮短了識(shí)別時(shí)間，提高了識(shí)別效率。

較優(yōu)選的，步驟(5)利用所述深度學(xué)習(xí)方法和先驗(yàn)知識(shí)對(duì)所述人員進(jìn)行檢索，是指針對(duì)所述人員相對(duì)于整幅圖像的占比以及目標(biāo)自身的長(zhǎng)寬比，當(dāng)所述人員相對(duì)于整幅圖像的占比高于閾值則認(rèn)為該人員是高的，反之則認(rèn)為該人員是矮的；當(dāng)所述人員相對(duì)于整幅圖像的占比高于閾值則認(rèn)為該人員是胖的，反之則認(rèn)為該人員是瘦的。

較優(yōu)選的，利用mapreduce模型將人員檢索移植到基于hadoop的分布式集群中，提升檢索的速度。

本發(fā)明的技術(shù)方案中，利用深度學(xué)習(xí)方法顯著的提高了對(duì)目標(biāo)人員的特征提取準(zhǔn)確率；利用mapreduce大大的加快了視頻處理的速度。大幅度提高監(jiān)控視頻的人員目標(biāo)識(shí)別自動(dòng)化程度、速率和準(zhǔn)確率以及提高監(jiān)控視頻數(shù)據(jù)的利用率。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的基于mapreduce的視頻人員模糊檢索并行化方法的流程圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉出優(yōu)選實(shí)施例，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。然而，需要說(shuō)明的是，說(shuō)明書(shū)中列出的許多細(xì)節(jié)僅僅是為了使讀者對(duì)本發(fā)明的一個(gè)或多個(gè)方面有一個(gè)透徹的理解，即便沒(méi)有這些特定的細(xì)節(jié)也可以實(shí)現(xiàn)本發(fā)明的這些方面。

本實(shí)施例采用高性能計(jì)算機(jī)實(shí)現(xiàn)，其圖像信號(hào)處理器采用英偉達(dá)gpu泰坦系列硬件平臺(tái)，軟件代碼通用java語(yǔ)言實(shí)現(xiàn)，在eclipse平臺(tái)下編譯并運(yùn)行。本實(shí)施例通過(guò)在gpu服務(wù)器集群上部署識(shí)別網(wǎng)絡(luò)，運(yùn)用mapreduce并行計(jì)算技術(shù)完成大批量離線數(shù)據(jù)的識(shí)別任務(wù)。mapreduce在歷史的視頻數(shù)據(jù)中檢索目標(biāo)人物，從之前保存到hdfs中的數(shù)據(jù)作為hadoop的mapreduce的輸入，在mapreduce中利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)和特定的方法進(jìn)行解碼識(shí)別，利用多層篩選器對(duì)目標(biāo)人員進(jìn)行模糊檢索。

圖1示出了本發(fā)明實(shí)施例的基于mapreduce的視頻人員模糊檢索并行化方法的流程圖。參見(jiàn)圖1，基于mapreduce的視頻人員模糊檢索并行化方法包括如下步驟。

(1)將視頻數(shù)據(jù)傳到原始數(shù)據(jù)模塊的hdfs模塊中，視頻在hdfs模塊中按照sequencefile的形式存儲(chǔ)，在存入sequencefile之前，需要將視頻文件進(jìn)行切分，按照方法復(fù)雜度，將每一段視頻的處理時(shí)間控制在5分鐘左右。

(2)利用hadoop的mapreduce模型，在映射(map)前，根據(jù)所述視頻文件計(jì)算輸入分片(inputsplit)，每個(gè)輸入分片針對(duì)一個(gè)映射任務(wù)，在每一個(gè)映射任務(wù)中，利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)和特定的方法進(jìn)行解碼，并利用運(yùn)動(dòng)物體檢測(cè)方法，檢測(cè)出所述視頻中運(yùn)動(dòng)的物體；

(3)利用深度學(xué)習(xí)方法，檢測(cè)所述運(yùn)動(dòng)的物體是否是人員，是則進(jìn)行下一步，否則返回步驟(1)進(jìn)行下個(gè)視頻數(shù)據(jù)的傳送；其中，利用深度學(xué)習(xí)方法，檢測(cè)所述運(yùn)動(dòng)的物體是否是人員的步驟包括：

a)對(duì)所述視頻進(jìn)行解碼；

b)利用vibe、幀差法或光流法，檢測(cè)出視頻中運(yùn)動(dòng)的物體；

c)利用訓(xùn)練好的cnn識(shí)別網(wǎng)絡(luò)，判斷出運(yùn)動(dòng)的物體是否是人員。

(4)利用所述深度學(xué)習(xí)方法和傳統(tǒng)方法結(jié)合的方式提取所述人員的服飾特征，包括，衣服種類(lèi)，顏色信息等；其中，傳統(tǒng)方法包括中位切分法、八叉樹(shù)方法、k-means方法和色彩建模方法。

(5)利用所述深度學(xué)習(xí)方法和先驗(yàn)知識(shí)對(duì)所述人員進(jìn)行檢索，識(shí)別出所述人員外貌信息，包括高矮、胖瘦、男女等。具體的，指針對(duì)所述人員相對(duì)于整幅圖像的占比以及目標(biāo)自身的長(zhǎng)寬比，當(dāng)所述人員相對(duì)于整幅圖像的占比高于閾值則認(rèn)為該人員是高的，反之則認(rèn)為該人員是矮的；當(dāng)所述人員相對(duì)于整幅圖像的占比高于閾值則認(rèn)為該人員是胖的，反之則認(rèn)為該人員是瘦的。

(6)將所述外貌信息保存到處理結(jié)果存儲(chǔ)模塊的hbase數(shù)據(jù)庫(kù)中，按照相似度高低排序，將所述視頻與所述外貌信息進(jìn)行一一對(duì)應(yīng)，在客戶端發(fā)送查看請(qǐng)求時(shí)，將所述視頻與所述外貌信息進(jìn)行整合，反饋給客戶端，實(shí)現(xiàn)識(shí)別結(jié)果的可視化。

根據(jù)本發(fā)明的實(shí)施例，利用深度學(xué)習(xí)方法顯著的提高了對(duì)目標(biāo)人員的特征提取準(zhǔn)確率；利用mapreduce大大的加快了視頻處理的速度。大幅度提高監(jiān)控視頻的人員目標(biāo)識(shí)別自動(dòng)化程度、速率和準(zhǔn)確率以及提高監(jiān)控視頻數(shù)據(jù)的利用率。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。