一種多模型和模糊顏色的行人檢索方法
【專利摘要】本發(fā)明公開(kāi)了一種多模型和模糊顏色的行人檢索方法，步驟一：對(duì)輸入的行人檢測(cè)結(jié)果進(jìn)行界定，以獲得初步前景，然后對(duì)初步前景進(jìn)行計(jì)算以得到最終前景并保存；步驟二：綜合步驟一中得出的前景和輸入的行人檢測(cè)結(jié)果中的位置信息，計(jì)算每個(gè)行人的CEDD特征和模糊顏色特征并保存；步驟三：根據(jù)給定的搜索特征對(duì)數(shù)據(jù)庫(kù)內(nèi)所儲(chǔ)存的對(duì)象進(jìn)行檢索，若給定為行人和前景特征，則計(jì)算給定行人的CEDD特征，并與CEDD特征庫(kù)的每條記錄比較得出特征距離，并將記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果；若給定為顏色特征，則計(jì)算給定顏色的模糊顏色直方圖，并與模糊顏色特征庫(kù)的每條記錄比較得出特征距離，并將記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果。
【專利說(shuō)明】一種多模型和模糊顏色的行人檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種多模型和模糊顏色的行人檢索方法。

【背景技術(shù)】
[0002] 目前針對(duì)靜態(tài)圖像的行人檢測(cè)和前景提取是一個(gè)技術(shù)難點(diǎn)。雖然行人檢測(cè)方法很 多，但是易于前景提取的檢測(cè)方法很少，主要是DPM，即：
[0003] 可變形部件模型（DPM:DeformablePartModel)
[0004] ObjectDetectionwithDiscriminativelyTrainedPartBasedModels， P.FelzenszwalbjR.Girshickj 2010 ；
[0005] CascadeObjectDetectionwithDeformablePartModelsjP-FelzenszwalbjR. Girshick，2010。
[0006] 目前許多行人檢測(cè)和前景提取都基于視頻，其原因是利用了其中的運(yùn)動(dòng)信息以達(dá) 到較好的檢測(cè)效果。
[0007] 大多數(shù)行人檢測(cè)的結(jié)果是一個(gè)行人的外圍方框，從中提取行人前景是難點(diǎn)，目前 的方法有：基于DPM的部件，基于level-set的方法。
[0008] 但是，從檢索的角度，前景提取需要達(dá)到什么樣的精確度，是否需要分析行人的各 個(gè)部分，以及這些方法能否適應(yīng)實(shí)際的監(jiān)控和拍攝的圖像，目前的研宄很少。
[0009] 對(duì)于前景提取后的行人，采取何種特征是另一個(gè)難題，實(shí)際行人有各種典型的特 征，如：紋理、單色、多色等；而實(shí)際情況是希望能用1種方法盡可能多的包含上述行人特 征。目前許多研宄是對(duì)1個(gè)圖像建立幾種特征，如：建立顏色特征，紋理特征，形成多個(gè)分類(lèi) 檢索結(jié)果，導(dǎo)致應(yīng)用起來(lái)低效和復(fù)雜。還有一些檢索方法基于整個(gè)行人方框，導(dǎo)致檢索誤差 較大。
[0010] 另外對(duì)于一些只有模糊特征，而沒(méi)有給定行人目標(biāo)的情況，如：找一個(gè)穿紅衣服的 人；這種檢索的目的是希望盡可能多的提供具有相似性的結(jié)果，這就需要一種精確性不太 強(qiáng)，但是覆蓋面廣的檢索方法，但目前尚未有相應(yīng)的方法能達(dá)到較好的檢索效果。


【發(fā)明內(nèi)容】

[0011] 為了克服目前對(duì)于靜態(tài)圖像的行人檢測(cè)方法檢測(cè)率低、誤報(bào)率高，且不能達(dá)到根 據(jù)綜合特征進(jìn)行行人檢索的技術(shù)問(wèn)題，本發(fā)明提供一種針對(duì)靜態(tài)圖像實(shí)現(xiàn)高效前景提取， 且檢測(cè)率高、誤報(bào)率低，能實(shí)現(xiàn)綜合特征檢索的多模型和模糊顏色的行人檢索方法。
[0012] 為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是，
[0013] 一種多模型和模糊顏色的行人檢索方法，包括以下步驟：
[0014] 步驟一：輸入行人檢測(cè)結(jié)果作為需要檢索的對(duì)象并進(jìn)行前景提取，首先以人體上 半身作為所需要的檢索敏感區(qū)域即前景范圍進(jìn)行界定，以獲得初步前景，然后對(duì)初步前景 進(jìn)行canny邊緣計(jì)算以得到最終前景；
[0015] 步驟二：綜合步驟一中得出的最終前景和輸入的行人檢測(cè)結(jié)果中檢測(cè)方框所表示 的位置信息，計(jì)算每個(gè)行人的改進(jìn)CEDD特征和模糊顏色特征，并將這兩個(gè)特征分別存入改 進(jìn)CEDD特征庫(kù)和模糊顏色特征庫(kù)中；這里的位置信息表示行人在一幀圖像中的位置；
[0016] 步驟三：根據(jù)給定的搜索特征對(duì)特征數(shù)據(jù)庫(kù)內(nèi)所儲(chǔ)存的對(duì)象進(jìn)行檢索，若給定為 行人圖像和前景特征，則計(jì)算給定行人的改進(jìn)CEDD特征，并與改進(jìn)CEDD特征庫(kù)中的每條記 錄比較得出特征距離，再將記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果；若給定為顏色特 征，則計(jì)算給定顏色的模糊顏色特征，并與模糊顏色特征庫(kù)的每條記錄比較得出特征距離， 并將記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果。
[0017] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟一中，輸入的行人檢 測(cè)結(jié)果由DPM模型進(jìn)行檢測(cè)獲得。
[0018] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟一中，獲得最終前景 的步驟包括：
[0019] 首先將行人檢測(cè)結(jié)果中的部件方框按圖片上的縱坐標(biāo)自上而下排序，并按照順序 選擇預(yù)設(shè)的多個(gè)部件作為人體的上半身，然后將組成人體上半身的各部件方框轉(zhuǎn)換為前景 掩碼圖，并充部件間的空隙以形成DPM初步前景；
[0020] 對(duì)DPM初步前景計(jì)算canny邊緣，得到邊緣圖，然后在邊緣圖的DPM初步前景區(qū)域 內(nèi)逐行掃描，在每一行中，從初步前景的左右兩個(gè)邊界點(diǎn)向人體中間尋找組成canny邊緣 的像素點(diǎn)，若在一定鄰域范圍內(nèi)找到邊緣像素點(diǎn)，則將該邊緣像素點(diǎn)作為該行的左或右邊 界點(diǎn)，完成后即得到DPM最終前景。
[0021] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟一中，輸入的行人檢 測(cè)結(jié)果由ICF模型進(jìn)行檢測(cè)獲得。
[0022] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟一中，獲得最終前景 的步驟包括：
[0023] 首先對(duì)檢測(cè)結(jié)果中的行人方框進(jìn)行上半身范圍界定，然后取一個(gè)高度等同上半身 范圍、寬度為預(yù)設(shè)像素的左右滑動(dòng)窗口，在界定的上半身范圍內(nèi)由寬度方向的一端向另一 端移動(dòng)；再取一個(gè)寬度等同上半身范圍、高度為預(yù)設(shè)像素的上下滑動(dòng)窗口，在界定的上半身 范圍內(nèi)由高度方向的一端向另一端移動(dòng)；
[0024] 在左右滑動(dòng)窗口移動(dòng)過(guò)程中統(tǒng)計(jì)窗口內(nèi)的邊緣像素點(diǎn)的數(shù)目，形成一個(gè)以圖像X 軸坐標(biāo)為X值、以每個(gè)X坐標(biāo)處的邊緣點(diǎn)數(shù)目為y值的2維曲線，然后在圖像的左半部分和 右半部分中分別找到最大峰值，作為左右邊界；同樣統(tǒng)計(jì)上下滑動(dòng)窗口內(nèi)的邊緣像素點(diǎn)的 數(shù)目，形成一個(gè)以圖像y軸坐標(biāo)為X值、以每個(gè)y坐標(biāo)的邊緣點(diǎn)數(shù)目為y值的2維曲線，然后 在圖像的上半部分和下半部分中分別找到最大峰值，作為上下邊界，即得到ICF初步前景；
[0025] 對(duì)ICF初步前景計(jì)算canny邊緣，得到邊緣圖，然后在邊緣圖的ICF初步前景區(qū)域 內(nèi)逐行掃描，在每一行中，從初步前景的左右兩個(gè)邊界點(diǎn)向人體中間尋找組成canny邊緣 的像素點(diǎn)，若在一定鄰域范圍內(nèi)找到邊緣像素點(diǎn)，則將該邊緣像素點(diǎn)作為該行的左或右邊 界點(diǎn)，完成后即得到ICF最終前景。
[0026] 所述的一種多模型和模糊顏色的行人檢索方法，步驟二和步驟三中計(jì)算行人的改 進(jìn)CEDD特征的步驟包括：
[0027] 首先輸入行人檢測(cè)方框和最終前景，然后將行人檢測(cè)方框平均劃分為64個(gè)方格， 對(duì)每個(gè)方格進(jìn)行檢查，若方格內(nèi)像素點(diǎn)全部為最終前景中像素點(diǎn)，則定位為有效方格，并計(jì) 算此方格的CEDD特征，否則不進(jìn)行計(jì)算，最后將有效方格的CEDD特征累加，即得到前景區(qū) 域的改進(jìn)CEDD特征。
[0028] 所述的一種多模型和模糊顏色的行人檢索方法，步驟二和步驟三中計(jì)算行人的模 糊顏色特征的步驟包括：
[0029] 首先輸入行人檢測(cè)方框和最終前景，然后在前景區(qū)域采用模糊顏色算法計(jì)算包含 10個(gè)模糊顏色分量的直方圖，再計(jì)算前景區(qū)域內(nèi)的平均亮度，組成11維的模糊顏色特征向 量；"模糊顏色算法"是"改進(jìn)CEDD特征"計(jì)算算法中的一個(gè)步驟；所述的平均亮度計(jì)算過(guò) 程為：先將rgb顏色值轉(zhuǎn)換為HSV顏色值，再計(jì)算前景區(qū)域內(nèi)的V值的平均值。這里提及的 模糊顏色算法是CEDD算法中的第一步，屬于公知方法。
[0030] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟三中，根據(jù)所計(jì)算的 給定行人和前景特征得出的改進(jìn)CEDD特征與改進(jìn)CEDD特征庫(kù)中每條記錄的特征距離的步 驟包括：
[0031] 將給定行人和前景特征所計(jì)算出的改進(jìn)CEDD特征和步驟二中存入特征庫(kù)中的一 條改進(jìn)CEDD特征進(jìn)行比較，先用Tanimoto法計(jì)算特征距離distancel，若未超過(guò)預(yù)設(shè)的最 大值M，則將distancel輸出為最終結(jié)果distance;M可以取任意的正數(shù)，一般取100 ;
[0032] 若distancel超過(guò)最大值M，則計(jì)算distance2,并令distance=distance2+M，作 為輸出的特征距離。
[0033] 所述的一種多模型和模糊顏色的行人檢索方法，所述的distance〗的計(jì)算方法 為：對(duì)于輸入特征tl和t2中所包含的每個(gè)元素對(duì)應(yīng)一個(gè)維序號(hào)，將包含的元素按元素值以 降序排序，取排序?yàn)榍?個(gè)元素值所對(duì)應(yīng)的維序號(hào)，形成1個(gè)3維向量，這樣得到2個(gè)3維 向量，求這2個(gè)3維向量的對(duì)應(yīng)元素的差值的絕對(duì)值，并對(duì)絕對(duì)值根據(jù)排序次序取權(quán)值后求 和，將和作為distance〗。
[0034] 所述的一種多模型和模糊顏色的行人檢索方法，所述的步驟三中，根據(jù)給定顏色 特征來(lái)得出與模糊顏色特征庫(kù)中每條記錄的特征距離的步驟包括：
[0035] 首先根據(jù)給定顏色來(lái)計(jì)算給定顏色的模糊顏色特征；
[0036] 然后將模糊顏色特征與模糊顏色特征庫(kù)的記錄逐一單個(gè)比較，模糊顏色特征作為 特征向量，維數(shù)為顏色的數(shù)目，每個(gè)元素表示1種顏色，元素值即為顏色值；找出其中顏色 值大于預(yù)設(shè)閾值且顏色值最大的k個(gè)顏色元素，其中k不大于4且大于0,將基本距離dl預(yù) 設(shè)為k，接下來(lái)逐一檢測(cè)這k個(gè)顏色元素，按照每個(gè)顏色元素對(duì)應(yīng)的顏色序號(hào)即維序號(hào)，從 模糊顏色特征庫(kù)的1個(gè)記錄中得到對(duì)應(yīng)顏色元素值，若獲得的顏色元素值也大于上述的預(yù) 設(shè)閾值，則距離值減1，這樣檢查完k個(gè)顏色成分后，得到1個(gè)距離值，設(shè)為h，則基本距離dl =(h/k)，這里提及的1個(gè)記錄即為1個(gè)特征向量；
[0037] 若給定顏色為黑色、灰色或白色，則計(jì)算2個(gè)模糊顏色特征的亮度成分之差；其中 亮度為利用hsv特征計(jì)算的平均V值得到；最終距離為：distance=dl+亮度差；否則計(jì)算 模糊直方圖前3個(gè)主要顏色成分的顏色值之差的絕對(duì)值之和，再與基本距離相加，即最終 距離為：dl+(直方圖第1主要成分顏色值之差）+ (直方圖第2主要成分顏色值之差）+ (直 方圖第3主要成分顏色值之差）。
[0038] 本發(fā)明的技術(shù)效果在于：（1)可用于靜態(tài)圖像；（2)高效準(zhǔn)確的前景分析算法，可 以適應(yīng)各種行人檢測(cè)模型；（3)采用"廣義上半身"作為檢索敏感區(qū)域，既包含了身體主要 部分的顏色和紋理特征，又刪去了對(duì)檢索效果影響不大且難以分析的身體部件；(4)采用 統(tǒng)一的特征同時(shí)表示紋理和顏色，特征計(jì)算和特征距離的計(jì)算都比較高效；(5)較高的綜 合檢索準(zhǔn)確率；

【專利附圖】

【附圖說(shuō)明】
[0039] 圖1為本發(fā)明前景提取和特征庫(kù)建立原理圖；
[0040] 圖2為給定目標(biāo)的檢索原理圖；
[0041] 圖3為檢索敏感區(qū)域，如景和掩碼圖的說(shuō)明不意圖；
[0042] 圖4為DPM部件掩碼圖；
[0043]圖5為初步前景的計(jì)算原理圖，圖5A為包含部件的檢測(cè)結(jié)果圖，圖5B為基本前景 圖，圖5C為填充縫隙后的初步前景圖，其中圖5A和圖5B中的綠色部分為"廣義上半身"前 景區(qū)域和原圖像融合后的顯示效果；
[0044] 圖6為基于邊緣的前景優(yōu)化計(jì)算原理即DPM前景提取的最終結(jié)果示意圖，其中圖 6A為待檢測(cè)圖片中的行人檢測(cè)方框圖，圖6B為已得到的初步前景圖，圖6C為邊緣圖，圖6D 為邊緣融合初步前景優(yōu)化前的示意圖，圖6E為優(yōu)化后示意圖，圖6F為優(yōu)化后的最終前景 圖，其中圖片中綠色部分為"廣義上半身"前景區(qū)域和原圖像融合后的顯示效果；
[0045] 圖7為基于邊緣點(diǎn)統(tǒng)計(jì)特征的前景提取算法原理圖；
[0046] 圖8為基于邊緣點(diǎn)統(tǒng)計(jì)的前景分析原理圖，其中圖8A為檢測(cè)方框示意圖，圖8B為 邊緣圖，圖8C為確定左右邊界不意圖，圖8D為確定肩部和腰部不意圖，圖8E為初步如景 圖；
[0047] 圖9為支持ROI的CEDD特征計(jì)算原理圖，其中圖9A為基本CEDD的計(jì)算示意圖， 圖9B為支持ROI的CEDD特征計(jì)算示意圖；
[0048] 圖10為改進(jìn)的CEDD特征距離計(jì)算過(guò)程示意圖；
[0049] 圖11為模糊顏色特征距離計(jì)算過(guò)程示意圖；
[0050] 圖12為CEDD和模糊顏色檢索對(duì)比效果圖，其中圖12A為使用使用CEDD特征的檢 索結(jié)果示意圖，圖12B為使用模糊顏色特征距離的檢索結(jié)果示意圖。

【具體實(shí)施方式】
[0051] 本發(fā)明中提及的簡(jiǎn)稱包括：
[0052] HOG ：Histograms of Oriented Gradients；
[0053] FHOG :Felzenszwalb' s HOG ;
[0054]DPM:Deformable Part Model ;可變形部件模型；開(kāi)源軟件；
[0055]ICF: Integral Channel Features ;集成通道模型；開(kāi)源軟件；
[0056]FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM ;模糊顏色和紋理直方圖；開(kāi)源軟件；
[0057] CEDD:Color and Edge Directivity Descriptor ;顏色和邊緣方向描述符；開(kāi)源 軟件；
[0058] ROI: Region Of Interest ;感興趣區(qū)域；
[0059] CBIR :Content_based image retrieval ;基于內(nèi)容的圖像檢索；
[0060] lire :Lucene Image REtrieval ;開(kāi)源cbir引擎，集成了多種圖像特征；
[0061] 本發(fā)明中提及的前景提取，可在以下公開(kāi)文獻(xiàn)中獲得相關(guān)說(shuō)明：
[0062] [a]Level-SetPersonSegmentationandTrackingwithMulti-Region AppearanceModelsandTop-DownShapeInformation,EstherHorbert，Konstantinos RematasjBastianLeibej 2011 ；
[0063] [b]SemanticSegmentationwithSecond-OrderPooling，Jo?ao Carreiraj 2012 ；
[0064] 本發(fā)明中提及的特征計(jì)算，可在以下公開(kāi)文獻(xiàn)中獲得相關(guān)說(shuō)明：
[0065] [a]FCTH:FUZZY COLOR AND TEXTURE HISTOGRAM A LOW LEVEL FEATURE FOR ACCURATE IMAGE RETRIEVAL，Savvas A. Chatzichristofis and Yiannis S. Boutalisj2008 ；
[0066] [b]CEDD:ColorandEdgeDirectivityDescriptor.ACompactDescriptor forImageIndexingandRetrieval,SavvasA.ChatzichristofisandYiannis S.Boutalisj 2008 ；
[0067] [b]Image retrieval based on fuzzy color histogram processing, K. Konstantinidisj2004 ；
[0068] 本發(fā)明中提及的檢索和匹配，可在以下公開(kāi)文獻(xiàn)中獲得相關(guān)說(shuō)明：
[0069] [a]Part-based Clothing Segmentation for Person Retrieval, Michael Weber, 2011；
[0070] [b]PersonRe-identificationUsingSpatialCovarianceRegionsofHuman BodyParts,SiawomirBak, 2004 ;
[0071] [c]PersonReidentificationUsingSpatiotemporalAppearance,Niloofar Gheissari, 2006；
[0072] 本發(fā)明方法包括三個(gè)主要步驟：
[0073] (1) "檢索敏感區(qū)域"的提取；（2)特征計(jì)算并存入特征數(shù)據(jù)庫(kù)；（3)根據(jù)給定信息 檢索相似的行人。
[0074] 本文的檢索系統(tǒng)的輸入可以是2種行人檢測(cè)結(jié)果：（I)DPM模型的檢測(cè)結(jié)果，包含 行人外圍方框和各個(gè)身體部件的小方框；（2)ICF模型或其他行人檢測(cè)模型的檢測(cè)結(jié)果，只 包含行人的外圍方框。
[0075] 在"檢索敏感區(qū)域"（也就是前景）的提取階段，根據(jù)檢測(cè)結(jié)果的種類(lèi)，分別采取不 同的提取算法。檢索敏感區(qū)域?yàn)閺募缰链笸鹊?廣義上半身"，不包含頭部。
[0076] 對(duì)于分析完畢的每一個(gè)"檢索敏感區(qū)域"，計(jì)算2種特征：（1)基于ROI的改進(jìn)的 CEDD，由1個(gè)特征同時(shí)包含顏色和紋理；（2)模糊顏色。并將這2種存入特征數(shù)據(jù)庫(kù)。特征 庫(kù)中為每一個(gè)檢測(cè)到的行人建立一條記錄，記錄中包含以下信息：行人對(duì)象所屬圖像編號(hào)， 行人對(duì)象在所屬圖像中的位置，行人對(duì)象的前景掩碼圖，行人對(duì)象的改進(jìn)的CEDD特征，行 人對(duì)象的模糊顏色特征。
[0077] 特征庫(kù)創(chuàng)建之后，在檢索階段，待查詢信息可以表示為2種：（1)給定的行人，并手 工或自動(dòng)標(biāo)記行人的"檢索敏感區(qū)域"，自動(dòng)方法可用行人檢測(cè)和前景分析方法；（2)無(wú)給 定的行人，只給定顏色。對(duì)于情況（1)，根據(jù)給定行人的"檢索敏感區(qū)域"，計(jì)算改進(jìn)的CEDD 特征，并與特征庫(kù)中的每個(gè)對(duì)象的CEDD比較，然后按相似度排序，作為主要的檢索結(jié)果；再 計(jì)算模糊顏色特征，并與特征庫(kù)中的每個(gè)對(duì)象的模糊顏色特征比較，然后按相似度排序，作 為輔助的檢索結(jié)果。對(duì)于情況（2)，根據(jù)給定的顏色，計(jì)算模糊顏色特征，并與特征庫(kù)中的每 個(gè)對(duì)象的模糊顏色特征比較，然后按相似度排序。
[0078] 行人前景提取完成后，希望選擇其中的部分區(qū)域，使得搜索的準(zhǔn)確度最高，搜索方 法最簡(jiǎn)單。
[0079] 一些方法對(duì)于整個(gè)人體計(jì)算特征，效果不理想，原因在于：完整人體前景提取比較 困難，尤其在人群中，腿部的前景分析誤差較大，同時(shí)絕多數(shù)人的頭部特征都相似。
[0080] 一些方法將人體分為2個(gè)部分，S卩：上下半身，這對(duì)于一些比較簡(jiǎn)單的服裝和顏色 效果較好，但是對(duì)于復(fù)雜情況搜索的準(zhǔn)確性較差，原因在于：有些著裝難以判斷上下半身， 比如：短褲，連衣裙，大衣，而且有時(shí)衣服有大塊的顏色分段。圖8中為一種難分析的情況， 對(duì)于腰間的另外一件衣服，算作上半身還是下半身，似乎比較難決定，冬天的"短裙+長(zhǎng)褲" 的著裝也存在類(lèi)似問(wèn)題。分為2個(gè)部分后，如何形成檢索結(jié)果也成為一個(gè)難題，因?yàn)榭赡苡?3種結(jié)果：[a]僅上身；[b]僅下身；[c]上下半身；這增加了應(yīng)用的復(fù)雜性。
[0081] 本文選擇的敏感區(qū)域?yàn)閺募缰链笸鹊?廣義上半身"，不包含頭部，這一部分區(qū)域 的前景分析的準(zhǔn)確性較高，避免了易引起前景分析錯(cuò)誤的小腿和腳；這一部分也去掉了區(qū) 分性能不大的頭部；同時(shí)也避免了上下半身的判斷，可以較好的處理復(fù)雜著裝的情況。
[0082] 這里的檢索敏感區(qū)域，也可以稱為前景，前景指圖像中對(duì)于用戶或者應(yīng)用有價(jià)值 的區(qū)域，而不是前景的區(qū)域則為背景，在圖像和視頻中都可以存在前景和背景。對(duì)于行人檢 測(cè)，前景可以為包含行人的方框；對(duì)于行人檢索，前景可以進(jìn)一步精確為行人所占據(jù)的圖像 區(qū)域；而從檢索的敏感性和準(zhǔn)確性角度，可以選取上述前景中的一部分，即"廣義上半身"， 下文中的前景提取，都指的是分析檢索敏感區(qū)域。對(duì)于已提取前景的圖像，可以生成關(guān)聯(lián)的 掩碼圖（或稱為Mask，ROI)，掩碼圖的用途是標(biāo)記前景和背景，掩碼圖的尺寸和輸入圖像相 同。掩碼圖一般為二值圖像，其中前景區(qū)域?yàn)?，背景區(qū)域?yàn)? ;在有些情況，掩碼圖也可以 是彩色圖像，而不是二值圖像，這時(shí)前景為某一種顏色（如紅色、藍(lán)色等），背景為另一種顏 色（如黑色）。
[0083] 本文提出的基于DPM模型的前景提取過(guò)程，主要包括3個(gè)步驟：
[0084] 1、人工標(biāo)注DPM的人體部件的前景掩碼；
[0085] 2、對(duì)于行人檢測(cè)結(jié)果中的人體部件，用DPM模型的部件掩碼進(jìn)行替換，并將除人 體部件之外的區(qū)域都設(shè)為背景，這樣得到初步的前景；
[0086] 3、用邊緣優(yōu)化算法對(duì)初步的前景進(jìn)行優(yōu)化，消除前景中的錯(cuò)誤部分（就是應(yīng)為背 景，錯(cuò)判為前景的部分）。DPM模型包含8個(gè)部件，表示人體的8個(gè)部位，這些部件的位置可 以在一定范圍內(nèi)變化。
[0087] DPM模型的檢測(cè)結(jié)果包含9個(gè)方框個(gè)外圍方框和8個(gè)部件小方框，如圖4中所 示。檢測(cè)結(jié)果的8個(gè)部件與DPM模型的8個(gè)部件--對(duì)應(yīng)。對(duì)于DPM模型中的每個(gè)部件， 都具有FHOG特征，而FHOG特征體現(xiàn)了人體部件的輪廓，可以沿部件的輪廓和人體結(jié)構(gòu)常識(shí) 用手工方法標(biāo)注每個(gè)"部件小方框"內(nèi)的前景和背景。如圖4中的左肩部件小方框，先根據(jù) 人體結(jié)構(gòu)常識(shí)和模型的輪廓線，可以估計(jì)肩部輪廓的大致范圍，然后在此范圍內(nèi)選擇并連 接亮度值較大的FHOG特征線段，組成輪廓，對(duì)于左肩，將輪廓的左邊標(biāo)記為背景，將輪廓的 右邊標(biāo)記為前景。
[0088] 對(duì)于DPM模型的檢測(cè)結(jié)果，共包含8個(gè)部件，前景分析時(shí)先將這個(gè)8個(gè)部件按縱座 標(biāo)（y軸）從上向下排序，然后選擇第2?5個(gè)部件組成"廣義上半身"，這里認(rèn)為第1個(gè)部 件（也就是最高位置的部件）為頭部，第2?5個(gè)部件的序號(hào)可見(jiàn)圖4。
[0089] 然后將包含部件小方框的圖像轉(zhuǎn)換為以"廣義上半身"為前景的掩碼圖，方法為： 先將圖像中除第2?5個(gè)部件之外的區(qū)域標(biāo)記為背景，可以規(guī)定將背景標(biāo)記為黑色，然后將 第2?5個(gè)部件的小方框用部件的前景掩碼圖代替，這樣將部件2?5進(jìn)行融合，得到基本 的前景。再填充部件之間的縫隙，形成初步的前景。計(jì)算過(guò)程如圖5所示。
[0090] 由于初步前景由DPM模型的部件的掩碼構(gòu)成，和實(shí)際的行人前景有一些誤差，需 要進(jìn)一步的處理，消除初步前景中的錯(cuò)誤部分（實(shí)際為背景，誤判為前景）。
[0091] 對(duì)于初步的前景，使用"邊緣收縮算法"來(lái)優(yōu)化前景。計(jì)算過(guò)程可見(jiàn)圖6,過(guò)程為： 先計(jì)算初步前景內(nèi)的canny邊緣，得到邊緣圖，然后在邊緣圖的初步前景區(qū)域內(nèi)掃描每一 行，在每一行中，先得到初步前景的左右邊界，圖6中的藍(lán)色橫線表示一行被掃描的像素， 左右邊界即前景區(qū)域（綠色區(qū)域）的左右邊界，然后從左右兩個(gè)邊界點(diǎn)向人體中間尋找組 成canny邊緣的像素點(diǎn)，若在邊界點(diǎn)的一定鄰域范圍內(nèi)找到canny邊緣像素點(diǎn)，則將新的左 或右邊界點(diǎn)移到canny邊緣像素點(diǎn)；對(duì)于左邊界點(diǎn)，則鄰域?yàn)榇诉吔琰c(diǎn)和邊界點(diǎn)右側(cè)的一 部分區(qū)域；對(duì)于右邊界點(diǎn)，則鄰域?yàn)榇诉吔琰c(diǎn)和邊界點(diǎn)左側(cè)的一部分區(qū)域。
[0092] 用這種方法，可以刪除每一行的左右邊界附近的錯(cuò)誤前景，得到優(yōu)化后的最終前 景。這種方法簡(jiǎn)單高效，準(zhǔn)確性高。
[0093] 除了DPM模型的行人檢測(cè)方法之外，還有類(lèi)似ICF的多種行人檢測(cè)方法，這些方 法的特點(diǎn)是只能得到行人的外圍方框，不能提供各個(gè)人體部件的位置，這樣需要一種與DPM 不同的前景提取算法，故提出一種基于邊緣點(diǎn)統(tǒng)計(jì)特征的前景提取方法，流程為：
[0094] 1、計(jì)算行人方框內(nèi)圖像的canny邊緣圖；
[0095] 2、求"廣義上半身"的左右邊界；
[0096] 圖7和圖8中，對(duì)于y坐標(biāo)軸，方框頂部對(duì)應(yīng)y座標(biāo)值0,方框底部對(duì)應(yīng)y座標(biāo)值 的最大值（即方框高度）。首先估計(jì)上半身在方框中的范圍，此為預(yù)定義值，可以用行人方 框y座標(biāo)值與y座標(biāo)值最大值（即方框高度）之間的比例來(lái)表示，一般為30%?70%，可 見(jiàn)圖8 ;然后在此y座標(biāo)值范圍內(nèi)定義一個(gè)高度等于預(yù)定義范圍、寬度為3個(gè)像素的滑動(dòng)窗 口，從左向右移動(dòng)；此滑動(dòng)窗口即為圖8中"c.確定左右邊界"中的綠色方框；
[0097] 圖8中，X座標(biāo)值為整數(shù)，0對(duì)應(yīng)行人方框的左邊界，X座標(biāo)值的最大值為行人方框 的一行所包含的像素點(diǎn)的數(shù)目。在滑動(dòng)窗口的移動(dòng)過(guò)程中，步長(zhǎng)為1個(gè)像素，統(tǒng)計(jì)滑動(dòng)窗口 內(nèi)的組成邊緣的像素點(diǎn)（即圖8中的"b.邊緣圖"中的白色像素點(diǎn)）的數(shù)目；這樣，對(duì)于每 個(gè)X座標(biāo)值，都對(duì)應(yīng)1個(gè)統(tǒng)計(jì)值。當(dāng)滑動(dòng)窗口從行人方框的左端移動(dòng)到右端，得到1個(gè)由二 維數(shù)據(jù)元素組成的數(shù)組：{(xl，統(tǒng)計(jì)值1)，（χ2,統(tǒng)計(jì)值2)，（x3,統(tǒng)計(jì)值3)…}，可以將此數(shù) 組表示為曲線，如圖7所示，然后將曲線分為左半部分和右半部分，如圖7中的垂直藍(lán)色線 表示X座標(biāo)值變化范圍的中間點(diǎn)（即行人方框的水平方向的中間點(diǎn)）；在左半部分曲線和 右半部分曲線中分別找到最大峰值，以這2個(gè)峰值點(diǎn)處的X座標(biāo)值作為行人的左右邊界。
[0098] 圖7中的多條曲線，是在垂直方向（y軸）上分段統(tǒng)計(jì)的結(jié)果，如將上半身預(yù)定義 范圍劃分為4段，每段的高度為預(yù)定義范圍高度的1/4,這樣形成4個(gè)分段滑動(dòng)窗口得到的 曲線和1個(gè)整個(gè)高度范圍的滑動(dòng)窗口得到的曲線，然后將這5個(gè)曲線累加，得到最終的檢測(cè) 曲線，以期望得到更加穩(wěn)定的檢測(cè)。圖7中標(biāo)記了曲線1?3的滑動(dòng)窗口在y軸方向的位 置。
[0099] 3、求肩和腰的水平線；
[0100] 肩和腰的范圍都是預(yù)設(shè)值，分別為行人方框垂直y軸的10%?30%和40%? 70%〇
[0101] 此時(shí)仍然使用和⑵類(lèi)似的滑動(dòng)窗口法，移動(dòng)方向改為從上向下，滑動(dòng)窗口的左 右邊界為（2)中分析的結(jié)果，高度為3個(gè)像素；得到由二維數(shù)據(jù)元素組成的數(shù)組：{(yl，統(tǒng) 計(jì)值1)，（y2,統(tǒng)計(jì)值2)，（y3,統(tǒng)計(jì)值3)…}，然后表示為曲線，再根據(jù)曲線峰值判斷肩和腰 的水平線的y座標(biāo)值；
[0102] 4、得到整個(gè)"廣義上半身"的范圍，形成由一個(gè)矩形區(qū)域表示的初步前景，如圖8 中所示的藍(lán)色斜線區(qū)域；
[0103] 5、按照前述的基于邊緣的前景優(yōu)化對(duì)4中的范圍進(jìn)行優(yōu)化，得到最終結(jié)果，與圖6 類(lèi)似。
[0104] 目前存在許多種類(lèi)的顏色和紋理特征，表示顏色的有：rgb直方圖等，表示紋理的 有：小波、gabor，綜合表示顏色和紋理的有：mpeg-7-color_layout、CEDD、FCTH。
[0105] 對(duì)于給定行人的情況，希望有一種特征能夠綜合顏色和紋理，同時(shí)有較高的檢索 效率。經(jīng)過(guò)測(cè)試和論文的介紹，CEDD符合這一要求。
[0106] CEDD指：ColorandEdgeDirectivityDescriptor，為 144 維的向量，特征中包 含了邊緣的顏色，可以同時(shí)體現(xiàn)紋理和顏色的特征?；綜EDD為開(kāi)源軟件，原理來(lái)自論 文：''CEDD:ColorandEdgeDirectivityDescriptor.ACompactDescriptorforImage IndexingandRetrieval,SavvasA.ChatzichristofisandYiannisS.Boutalis,2008"，
[0107]算法程序來(lái)自："http://chatzichristofis. info/?page_id= 15"。
[0108] 基本的CEDD針對(duì)矩形區(qū)域，而上述的行人前景為不規(guī)則區(qū)域，所以需要對(duì)基本 CEDD算法進(jìn)行改進(jìn)。
[0109] 基本CEDD算法提供了推薦的特征距離（體現(xiàn)相似度）計(jì)算方法，此方法對(duì)于一些 特征會(huì)達(dá)到最大值，導(dǎo)致無(wú)法排序，也需要進(jìn)行改進(jìn)。
[0110] 另外，mpeg-7-color-layout的原理和算法可見(jiàn)：
[0111] http://en.wikipedia.org/wiki/Color_Layout_Descriptor；
[0112] 小波紋理和gabor紋理的算法可見(jiàn)：http://www. semanticmetadata. net/lire/ ;
[0113] 根據(jù)論文介紹和測(cè)試，F(xiàn)CTH和CEDD的檢索效率相差較小，所以本文中只考慮 CEDD，不考慮FCTH;
[0114] 下文中用特征距離來(lái)表示相似度，2個(gè)圖像區(qū)域的特征距離越小，表示相似程度越 大，即越相似；而特征距離越大，表示差別的程度越大，即越"不相似"。
[0115] 基本的CEDD算法為針對(duì)整個(gè)圖像，即方形區(qū)域，現(xiàn)在改為支持ROI。
[0116] 基本的CEDD將一個(gè)方形區(qū)域分為64個(gè)小方格，分別計(jì)算每個(gè)小方格的特征，再將 這些特征進(jìn)行累加，得到總的特征。為支持R0I，現(xiàn)在改為只計(jì)算位于ROI內(nèi)的小方格的特 征。這里的ROI可以是前景區(qū)域。
[0117] 基本算法和改進(jìn)算法的原理可見(jiàn)圖9,原理圖中僅標(biāo)識(shí)了方格作為示意，沒(méi)有畫(huà)出 64個(gè)方格。改進(jìn)算法計(jì)算過(guò)程為：
[0118] (1)輸入為行人的方框和"廣義上半身"的前景，如圖6中所示；
[0119] (2)按照基本CEDD相同的方法將行人方框劃分為64個(gè)方格；
[0120] (3)檢查每個(gè)方格，若方格內(nèi)的像素點(diǎn)全部屬于前景，則定位有效方格，并計(jì)算此 方格的CEDD特征；
[0121] (4)將有效方格的CEDD特征累加，得到前景區(qū)域的CEDD特征。
[0122] 基本CEDD采用Tanimoto方法計(jì)算相似度（與特征距離成反比），即：

【權(quán)利要求】
1. 一種多模型和模糊顏色的行人檢索方法，其特征在于，包括以下步驟： 步驟一：輸入行人檢測(cè)結(jié)果作為需要檢索的對(duì)象并進(jìn)行前景提取，首先以人體上半身 作為所需要的檢索敏感區(qū)域即前景范圍進(jìn)行界定，以獲得初步前景，然后對(duì)初步前景進(jìn)行 canny邊緣計(jì)算以得到最終前景； 步驟二：綜合步驟一中得出的最終前景和輸入的行人檢測(cè)結(jié)果中檢測(cè)方框所表示的 位置信息，計(jì)算每個(gè)行人的改進(jìn)CEDD特征和模糊顏色特征，并將這兩個(gè)特征分別存入改進(jìn) CEDD特征庫(kù)和模糊顏色特征庫(kù)中； 步驟三：根據(jù)給定的搜索特征對(duì)特征數(shù)據(jù)庫(kù)內(nèi)所儲(chǔ)存的對(duì)象進(jìn)行檢索，若給定為行人 圖像和前景特征，則計(jì)算給定行人的改進(jìn)CEDD特征，并與改進(jìn)CEDD特征庫(kù)中的每條記錄比 較得出特征距離，再將記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果；若給定為顏色特征，則 計(jì)算給定顏色的模糊顏色特征，并與模糊顏色特征庫(kù)的每條記錄比較得出特征距離，并將 記錄按照特征距離進(jìn)行排序以得到檢索結(jié)果。
2. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟一中，輸入的行人檢測(cè)結(jié)果由DPM模型進(jìn)行檢測(cè)獲得。
3. 根據(jù)權(quán)利要求2所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟一中，獲得最終前景的步驟包括： 首先將行人檢測(cè)結(jié)果中的部件方框按圖片上的縱坐標(biāo)自上而下排序，并按照順序選擇 預(yù)設(shè)的多個(gè)部件作為人體的上半身，然后將組成人體上半身的各部件方框轉(zhuǎn)換為前景掩碼 圖，并充部件間的空隙以形成DPM初步前景； 對(duì)DPM初步前景計(jì)算canny邊緣，得到邊緣圖，然后在邊緣圖的DPM初步前景區(qū)域內(nèi)逐 行掃描，在每一行中，從初步前景的左右兩個(gè)邊界點(diǎn)向人體中間尋找組成canny邊緣的像 素點(diǎn)，若在一定鄰域范圍內(nèi)找到邊緣像素點(diǎn)，則將該邊緣像素點(diǎn)作為該行的左或右邊界點(diǎn)， 完成后即得到DPM最終前景。
4. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟一中，輸入的行人檢測(cè)結(jié)果由ICF模型進(jìn)行檢測(cè)獲得。
5. 根據(jù)權(quán)利要求4所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟一中，獲得最終前景的步驟包括： 首先對(duì)檢測(cè)結(jié)果中的行人方框進(jìn)行上半身范圍界定，然后取一個(gè)高度等同上半身范 圍、寬度為預(yù)設(shè)像素的左右滑動(dòng)窗口，在界定的上半身范圍內(nèi)由寬度方向的一端向另一端 移動(dòng)；再取一個(gè)寬度等同上半身范圍、高度為預(yù)設(shè)像素的上下滑動(dòng)窗口，在界定的上半身范 圍內(nèi)由高度方向的一端向另一端移動(dòng)； 在左右滑動(dòng)窗口移動(dòng)過(guò)程中統(tǒng)計(jì)窗口內(nèi)的邊緣像素點(diǎn)的數(shù)目，形成一個(gè)以圖像x軸坐 標(biāo)為x值、以每個(gè)x坐標(biāo)處的邊緣點(diǎn)數(shù)目為y值的2維曲線，然后在圖像的左半部分和右半 部分中分別找到最大峰值，作為左右邊界；同樣統(tǒng)計(jì)上下滑動(dòng)窗口內(nèi)的邊緣像素點(diǎn)的數(shù)目， 形成一個(gè)以圖像y軸坐標(biāo)為x值、以每個(gè)y坐標(biāo)的邊緣點(diǎn)數(shù)目為y值的2維曲線，然后在圖 像的上半部分和下半部分中分別找到最大峰值，作為上下邊界，即得到ICF初步前景； 對(duì)ICF初步前景計(jì)算canny邊緣，得到邊緣圖，然后在邊緣圖的ICF初步前景區(qū)域內(nèi)逐 行掃描，在每一行中，從初步前景的左右兩個(gè)邊界點(diǎn)向人體中間尋找組成canny邊緣的像 素點(diǎn)，若在一定鄰域范圍內(nèi)找到邊緣像素點(diǎn)，則將該邊緣像素點(diǎn)作為該行的左或右邊界點(diǎn)， 完成后即得到ICF最終前景。
6. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，步驟 二和步驟三中計(jì)算行人的改進(jìn)CEDD特征的步驟包括： 首先輸入行人檢測(cè)方框和最終前景，然后將行人檢測(cè)方框平均劃分為64個(gè)方格，對(duì)每 個(gè)方格進(jìn)行檢查，若方格內(nèi)像素點(diǎn)全部為最終前景中像素點(diǎn)，則定位為有效方格，并計(jì)算此 方格的CEDD特征，否則不進(jìn)行計(jì)算，最后將有效方格的CEDD特征累加，即得到前景區(qū)域的 改進(jìn)CEDD特征。
7. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，步驟 二和步驟三中計(jì)算行人的模糊顏色特征的步驟包括： 首先輸入行人檢測(cè)方框和最終前景，然后在前景區(qū)域采用模糊顏色算法計(jì)算包含10 個(gè)模糊顏色分量的直方圖，再計(jì)算前景區(qū)域內(nèi)的平均亮度，組成11維的模糊顏色特征向 量；"模糊顏色算法"是"改進(jìn)CEDD特征"計(jì)算算法中的一個(gè)步驟；所述的平均亮度計(jì)算過(guò) 程為：先將rgb顏色值轉(zhuǎn)換為HSV顏色值，再計(jì)算前景區(qū)域內(nèi)的V值的平均值。
8. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟三中，根據(jù)所計(jì)算的給定行人和前景特征得出的改進(jìn)CEDD特征與改進(jìn)CEDD特征庫(kù) 中每條記錄的特征距離的步驟包括： 將給定行人和前景特征所計(jì)算出的改進(jìn)CEDD特征和步驟二中存入特征庫(kù)中的一條改 進(jìn)CEDD特征進(jìn)行比較，先用Tanimoto法計(jì)算特征距離distancel，若未超過(guò)預(yù)設(shè)的最大值 M，則將distancel輸出為最終結(jié)果distance ; 若distancel超過(guò)最大值M，則計(jì)算distance〗，并令distance = distance2+M，作為輸 出的特征距離。
9. 根據(jù)權(quán)利要求8所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的distance〗的計(jì)算方法為：對(duì)于輸入特征tl和t2中所包含的每個(gè)元素對(duì)應(yīng)一個(gè)維序號(hào)， 將包含的元素按元素值以降序排序，取排序?yàn)榍?個(gè)元素值所對(duì)應(yīng)的維序號(hào)，形成1個(gè)3維 向量，這樣得到2個(gè)3維向量，求這2個(gè)3維向量的對(duì)應(yīng)元素的差值的絕對(duì)值，并對(duì)絕對(duì)值 根據(jù)排序次序取權(quán)值后求和，將和作為distance。
10. 根據(jù)權(quán)利要求1所述的一種多模型和模糊顏色的行人檢索方法，其特征在于，所述 的步驟三中，根據(jù)給定顏色特征來(lái)得出與模糊顏色特征庫(kù)中每條記錄的特征距離的步驟包 括： 首先根據(jù)給定顏色來(lái)計(jì)算給定顏色的模糊顏色特征； 然后將模糊顏色特征與模糊顏色特征庫(kù)的記錄逐一單個(gè)比較，模糊顏色特征作為特征 向量，維數(shù)為顏色的數(shù)目，每個(gè)元素表示1種顏色，元素值即為顏色值；找出其中顏色值大 于預(yù)設(shè)閾值且顏色值最大的k個(gè)顏色元素，其中k不大于4且大于0,將基本距離dl預(yù)設(shè) 為k，接下來(lái)逐一檢測(cè)這k個(gè)顏色元素，按照每個(gè)顏色元素對(duì)應(yīng)的顏色序號(hào)即維序號(hào)，從模 糊顏色特征庫(kù)的1個(gè)記錄中得到對(duì)應(yīng)顏色元素值，若獲得的顏色元素值也大于上述的預(yù)設(shè) 閾值，則距離值減1，這樣檢查完k個(gè)顏色成分后，得到1個(gè)距離值，設(shè)為h，則基本距離dl =(h/k)； 若給定顏色為黑色、灰色或白色，則計(jì)算2個(gè)模糊顏色特征的亮度成分之差，其中亮度 為利用hsv特征計(jì)算的平均v值得到，最終距離為：distance = dl+亮度差；否則計(jì)算模 糊直方圖前3個(gè)主要顏色成分的顏色值之差的絕對(duì)值之和，再與基本距離相加，即最終距 離為：dl+ (直方圖第1主要成分顏色值之差）+ (直方圖第2主要成分顏色值之差）+ (直方 圖第3主要成分顏色值之差）。
【文檔編號(hào)】G06K9/00GK104484324SQ201410502268
【公開(kāi)日】2015年4月1日 申請(qǐng)日期:2014年9月26日 優(yōu)先權(quán)日:2014年9月26日
【發(fā)明者】徐曉暉 申請(qǐng)人:徐曉暉