基于聯(lián)合檢測模型的部分遮擋行人檢測方法
【專利摘要】本發(fā)明公開了一種基于聯(lián)合檢測模型的部分遮擋行人檢測方法，選擇遮擋等級較低的單行人訓(xùn)練正樣本和遮擋等級較高的雙行人訓(xùn)練正樣本，結(jié)合負樣本分別訓(xùn)練單行人可形變部件混合模型和雙行人可形變部件混合模型，同時分別訓(xùn)練單行人包圍框預(yù)測器和雙行人包圍框預(yù)測器；對于待檢測圖像分別兩種可形變部件混合模型進行行人目標(biāo)行檢測，得到檢測結(jié)果；然后根據(jù)重疊度判斷得到雙行人檢測結(jié)果和單行人檢測結(jié)果中的同一目標(biāo)檢測結(jié)果，去除響應(yīng)得分較低的檢測結(jié)果，對篩選后的檢測結(jié)果進行包圍框預(yù)測，得到每個行人目標(biāo)的包圍框，然后再對包圍框去重，得到最終的行人目標(biāo)檢測結(jié)果。采用本發(fā)明可以有效提高遮擋程度較高的行人目標(biāo)的檢測能力。
【專利說明】
基于聯(lián)合檢測模型的部分遮擋行人檢測方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于計算機視覺技術(shù)領(lǐng)域，更為具體地講，涉及一種基于聯(lián)合檢測模型的 部分遮擋行人檢測方法。
【背景技術(shù)】
[0002] 行人檢測就是把行人看成是目標(biāo)檢測的主體，判斷輸入圖像或者視頻流中是否包 含人體目標(biāo)，如果有，就將其位置信息標(biāo)定出來。由于行人具有非剛性特征，在檢測中容易 受外界環(huán)境因素的影響，遮擋問題就是行人檢測中的一大難題。在實際情況中，行人產(chǎn)生遮 擋問題主要源于拍攝的角度，由于攝像頭無法對行人目標(biāo)進行全方位檢測，固定的拍攝角 度必然會產(chǎn)生遮擋，所以，遮擋問題也是行人檢測領(lǐng)域普遍存在的問題。由于身體被部分遮 擋，在檢測過程中有用的信息相對減少，從而導(dǎo)致漏檢測的發(fā)生?，F(xiàn)今許多優(yōu)秀的行人檢測 算法，對于完整的行人目標(biāo)有很好的檢測效果，一旦遇到遮擋問題，這些算法的檢測效果就 大打折扣，所以，遮擋問題一直是行人檢測中的難點之一。關(guān)鍵之處在于如何通過未被遮擋 的部分來估計出行人目標(biāo)的位置。
[0003] 行人檢測中的遮擋大致分為以下兩類:物體遮擋和行人之間的自遮擋。在相對擁 擠的環(huán)境中，行人之間的自遮擋出現(xiàn)頻繁，所以行人的遮擋問題主要集中在行人與行人之 間的相互遮擋。Felzenszwalb提出的基于圖結(jié)構(gòu)的可形變部件模型（Deformable Part Model，簡稱DPM)將整體信息和局部信息很好的結(jié)合在一起，能夠解決遮擋程度較低行人的 遮擋問題，對于嚴(yán)重的遮擋問題(遮擋程度在50%以上)卻無能為力。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于聯(lián)合檢測模型的部分遮擋 行人檢測方法，通過單行人可形變部件混合模型和雙行人可形變部件混合模型的配合，有 效提高了遮擋程度較高的行人目標(biāo)的檢測能力，從而提高了對遮擋行人的檢測率。
[0005] 為實現(xiàn)上述發(fā)明目的，本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法包括以 下步驟：
[0006] S1:選擇訓(xùn)練樣本，其中單行人訓(xùn)練樣本中的正樣本為行人自遮擋等級小于閾值T 或者被靜止物體遮擋的行人樣本圖像，每個行人作為一個目標(biāo);雙行人訓(xùn)練樣本中的正樣 本為遮擋等級大于閾值T的行人自遮擋樣本圖像，每兩個相互遮擋的行人作為一個目標(biāo);負 樣本為沒有行人目標(biāo)的樣本圖像;每個樣本圖像對應(yīng)一個標(biāo)注文件，標(biāo)注文件包括圖像中 出現(xiàn)的每個目標(biāo)的類別以及目標(biāo)的包圍框；
[0007] S2:根據(jù)預(yù)設(shè)的單行人正樣本聚類數(shù)隊和雙行人正樣本聚類數(shù)Nd，按照每個正樣本 中的目標(biāo)包圍框長寬比，采用聚類算法分別對單行人訓(xùn)練樣本和雙行人訓(xùn)練樣本的正樣本 進行聚類；
[0008] S3:采用步驟S2聚類得到的正樣本圖像以及負樣本圖像，分別訓(xùn)練單行人可形變 部件混合模型和雙行人可形變部件混合模型，其中單行人可形變部件混合模型包括N s個可 形變部件模型，雙行人可形變部件混合模型包括Nd個可形變部件模型；
[0009] S4:對于單行人和雙行人訓(xùn)練樣本中的正樣本，分別采用對應(yīng)的可形變部件混合 模型的檢測結(jié)果作為輸入，正樣本中的每個單個行人目標(biāo)包圍框作為輸出，訓(xùn)練得到對應(yīng) 的單行人包圍框預(yù)測器和雙行人包圍框預(yù)測器；
[0010] S5:對于待檢測圖像，分別采用單行人可形變部件混合模型和雙行人可形變部件 混合模型進行行人目標(biāo)檢測，得到檢測結(jié)果，每個檢測結(jié)果包括行人目標(biāo)對應(yīng)的根濾波器 位置和部件濾波器相對位置及行人目標(biāo)的響應(yīng)得分；
[0011] S6:記單行人可形變部件混合模型的檢測結(jié)果集合戈
Ms表示 單行人可形變部件混合模型的檢測結(jié)果數(shù)量;雙行人可形變部件混合模型的檢測結(jié)果集合 %
，Md表示雙行人可形變部件混合模型的檢測結(jié)果數(shù)量;對每個單行人 檢測結(jié)果，分別計算其根濾波器目標(biāo)框與每個雙行人檢測結(jié)果中根濾波器目標(biāo)框的重疊 度，如果重疊度大于閾值，則認為這兩個檢測結(jié)果所對應(yīng)的行人目標(biāo)相同，將其中響應(yīng)得分 較低的檢測結(jié)果刪除；將篩選過后得到的單行人檢測結(jié)果集合記為A'，雙行人檢測結(jié)果集 合記為V ;
[0012] S7:對于單行人檢測結(jié)果集合f中的每個檢測結(jié)果采用單行人包圍框預(yù)測器進行 目標(biāo)包圍框預(yù)測，對雙行人檢測結(jié)果集合V中的每個檢測結(jié)果采用雙行人包圍框預(yù)測器進 行包圍框預(yù)測，得到每個單個行人目標(biāo)的包圍框，將行人目標(biāo)包圍框所對應(yīng)檢測結(jié)果的響 應(yīng)得分作為該包圍框的得分；
[0013] S8:將步驟S7得到的包圍框記為集合C= (Cl，C2，…，CK)，K表示包圍框數(shù)量;每次從 集合C中選擇得分最高的包圍框一作為行人目標(biāo)，加入行人目標(biāo)集合0，并從集合C中刪除， 計算包圍框f與集合C中所有包圍框的重疊度，如果某個包圍框與包圍框f的重疊度大于閾 值，則說明該包圍框所對應(yīng)目標(biāo)與包圍框一所對應(yīng)目標(biāo)重復(fù)，將該包圍框從集合C中刪除； 直到集合C = 0 ,將當(dāng)前的行人目標(biāo)集合0作為最終的行人目標(biāo)集合。
[0014] 本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法，選擇遮擋等級低的單行人訓(xùn) 練正樣本和遮擋等級較高的雙行人訓(xùn)練正樣本，結(jié)合負樣本分別訓(xùn)練單行人可形變部件混 合模型和雙行人可形變部件混合模型，同時根據(jù)正樣本分別訓(xùn)練單行人包圍框預(yù)測器和雙 行人包圍框預(yù)測器;對于待檢測圖像，分別采用單行人可形變部件混合模型和雙行人可形 變部件混合模型進行行人目標(biāo)行檢測，得到檢測結(jié)果;然后根據(jù)重疊度判斷得到雙行人檢 測結(jié)果和單行人檢測結(jié)果中的同一目標(biāo)檢測結(jié)果，去除響應(yīng)得分較低的檢測結(jié)果，對篩選 后的檢測結(jié)果進行包圍框預(yù)測，得到每個行人目標(biāo)的包圍框，然后再對包圍框去重，得到最 終的行人目標(biāo)檢測結(jié)果。
[0015] 本發(fā)明融合了單行人可形變部件混合模型和雙行人可形變部件混合模型的優(yōu)勢， 通過雙行人模型組件中部件濾波器對行人未遮擋部分進行模板匹配，預(yù)測出遮擋行人的位 置信息，從而能夠有效的解決行人相互遮擋問題，同時單行人模型組件對單個行人有很好 的魯棒性，從而使得在相對較擁擠的環(huán)境中能夠有效提高行人檢測的檢測率。本發(fā)明通過 單行人可形變部件混合模型和雙行人可形變部件混合模型的配合，有效提高了遮擋程度較 尚的彳丁人目標(biāo)的檢測能力，從而提尚了對遮擋彳丁人的檢測率。
【附圖說明】
[0016]圖1是本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法的流程圖；
[0017]圖2是訓(xùn)練樣本正樣本的示例圖；
[0018] 圖3是本實施例中5個可形變部件模型的可視圖；
[0019] 圖4是檢測結(jié)果篩選示例圖；
[0020] 圖5是本發(fā)明中包圍框篩選流程圖；
[0021] 圖6是包圍框篩選示例圖；
[0022] 圖7是7張待檢測圖像的行人檢測結(jié)果。
【具體實施方式】
[0023] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】進行描述，以便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計的詳細描述也許 會淡化本發(fā)明的主要內(nèi)容時，這些描述在這里將被忽略。
[0024] 實施例
[0025] 圖1是本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法的流程圖。如圖1所示， 本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法包括以下步驟：
[0026] S101:獲取訓(xùn)練樣本：
[0027] 本發(fā)明中包含了單行人可形變部件模型和雙行人可形變部件模型，因此需要分別 選擇訓(xùn)練樣本。單行人訓(xùn)練樣本中的正樣本圖像為行人自遮擋等級（也就是某個行人被另 一行人遮擋的面積占該行人目標(biāo)總面積的百分比）小于閾值T或者被靜止物體遮擋的行人 樣本圖像，每個行人作為一個目標(biāo);雙行人訓(xùn)練樣本中的正樣本圖像為遮擋等級為遮擋等 級大于閾值T的行人自遮擋樣本圖像，每兩個相互遮擋的行人作為一個目標(biāo)。負樣本為沒有 行人目標(biāo)的樣本圖像，單行人模型和雙行人模型可以共用一個負樣本集，也可以分別使用 一個負樣本集。每個樣本圖像對應(yīng)一個標(biāo)注文件，標(biāo)注文件包括圖像中出現(xiàn)的每個目標(biāo)的 類別以及目標(biāo)的包圍框。
[0028] 圖2是訓(xùn)練樣本正樣本的示例圖。如圖2所示，本實施例中的訓(xùn)練樣本來一部分來 自于INRIA、Calteth等現(xiàn)有的數(shù)據(jù)集，另一部分來自于在隨機采集的圖片。為了使模型在訓(xùn) 練過程中快速收斂，將所有訓(xùn)練樣本進行尺寸歸一化，本實施例的歸一化尺寸為90 X 120。 行人自遮擋等級閾值T=10%，單行人訓(xùn)練樣本中正樣本的行人自遮擋等級小于10%，雙行 人訓(xùn)練樣本中正樣本的行人自遮擋等級大于10%。
[0029] S102:訓(xùn)練樣本聚類：
[0030] 本發(fā)明中采用了聯(lián)合檢測模型，是由多個可形變部件模型構(gòu)成的，因此需要對訓(xùn) 練樣本進行聚類。本發(fā)明中的聚類標(biāo)準(zhǔn)目標(biāo)包圍框的長寬比，長寬比主要是用來區(qū)分同一 類目標(biāo)的外觀變化。根據(jù)預(yù)設(shè)的單行人正樣本聚類數(shù)N s和雙行人正樣本聚類數(shù)Nd，按照每個 正樣本中的目標(biāo)包圍框長寬比，采用聚類算法分別對單行人訓(xùn)練樣本和雙行人訓(xùn)練樣本的 正樣本進行聚類，每一類的正樣本圖像中的目標(biāo)包圍框具有相似的長寬比。本實施例中設(shè) 置隊=2、仏=3,即將單行人正樣本聚類為2類，雙行人正樣本聚類為3類。
[0031] S103:訓(xùn)練可形變部件模型：
[0032] 采用步驟S102聚類得到的正樣本圖像以及負樣本圖像，分別訓(xùn)練單行人可形變部 件混合模型和雙行人可形變部件混合模型，其中單行人可形變部件混合模型包括N s個可形 變部件模型，雙行人可形變部件混合模型包括Nd個可形變部件模型。
[0033] 可形變部件混合模型中的濾波器實際上一個權(quán)重矩陣，一個濾波器的響應(yīng)得分， 是在特征圖上相應(yīng)位置特征向量與權(quán)重向量的點積。每個可形變部件模型包括一個根濾波 器和一組部件濾波器，一般來說，根濾波器在一個低分辨率的圖像上掃描，獲取目標(biāo)的整體 信息，而部件濾波器在一個兩倍于根濾波器分辨率的圖像上掃描，獲取目標(biāo)的部件信息。 [0034]本發(fā)明中，單行人可形變部件混合模型包含N s個根濾波器和Ns組部件濾波器，單行 人可形變部件混合模型包含Nd個根濾波器和Nd組部件濾波器，其訓(xùn)練方法是一樣的。對于可 形變部件混合模型，其訓(xùn)練過程主要包括以下幾個步驟：
[0035] 1)初始化根濾波器
[0036]先對正、負樣本提取H0G特征金字塔，然后提取正、負樣本的特征向量，根據(jù)聚類數(shù) 采用標(biāo)準(zhǔn)SVM(Support Vector Machine，支持向量機)訓(xùn)練得到Ns或Nd個根濾波器。
[0037] 2)合并組件：
[0038]將隊或⑷個根濾波器合并成混合模型，在完整數(shù)據(jù)集(未分類數(shù)據(jù))上重新訓(xùn)練根 濾波器混合模型。在此訓(xùn)練過程中，一般會采用難例挖掘、隨機梯度下降算法等算法來進行 模型參數(shù)向量的優(yōu)化。
[0039] 3)初始化部件濾波器
[0040] 根據(jù)訓(xùn)練好的根濾波器來初始化每個根濾波器的部件濾波器。本實施例中采用啟 發(fā)式算法來初始化部件濾波器。本實施例中設(shè)置部件數(shù)量為8,每個大小為6X6。在確定部 件濾波器的位置時，需要在根濾波器中無窮搜索大小為6X6的高能量的矩形區(qū)域，然后將 部件放置在該區(qū)域，以此類推，直到8個部件濾波器的位置都確定。
[0041] 4)整體訓(xùn)練
[0042] 對完整的混合模型進行整體訓(xùn)練，更新每個濾波器。同樣地，在此訓(xùn)練過程中，一 般會采用難例挖掘、隨機梯度下降算法等算法來進行模型參數(shù)向量的優(yōu)化。
[0043] 可形變部件混合模型訓(xùn)練的具體過程可以參見文獻"P . Fe 1 z en s z wa 1 b， R.B.Grishick，D.McAllister，and D.Ramanan.Object detection with discriminatively trained part based models[J].TPAMI，32:1627_1645,2010, 〇
[0044] 圖3是本實施例中5個可形變部件模型的可視圖。如圖3所示，每列表示1個可形變 部件模型，其中前2個為單行人可形變部件模型，構(gòu)成單行人可形變部件混合模型，后3個為 雙行人可形變部件模型，構(gòu)成雙行人可形變部件混合模型。
[0045] S104:訓(xùn)練包圍框預(yù)測器：
[0046] 對于訓(xùn)練樣本中的正樣本，分別采用對應(yīng)的可形變部件混合模型的檢測結(jié)果作為 輸入，正樣本中的每個單個行人目標(biāo)包圍框作為輸出，訓(xùn)練得到對應(yīng)的單行人包圍框預(yù)測 器和雙行人包圍框預(yù)測器。顯然，單行人可形變部件混合模型和雙行人可形變部件模型分 別有一個包圍框預(yù)測器，由于單行人圖像中每個檢測得到的目標(biāo)只有一個行人，因此包圍 框預(yù)測器對每個目標(biāo)的輸出結(jié)果為一個包圍框，而雙行人圖像中每個目標(biāo)有兩個行人，需 其每個目標(biāo)的包圍框預(yù)測器對每個目標(biāo)的輸出結(jié)果為兩個包圍框。
[0047] 本實施例中，采用回歸模型作為包圍框預(yù)測器，其訓(xùn)練方法為線性最小二乘法，其 輸出為包圍框的兩個對角線頂點。顯然，單行人所對應(yīng)的包圍框預(yù)測器中包含一個回歸模 型，輸出為一個包圍框，而雙行人所對應(yīng)的包圍框預(yù)測器中包含兩個回歸模型，輸出為兩個 包圍框。
[0048] S105:行人目標(biāo)檢測：
[0049] 對于待檢測圖像，分別采用單行人可形變部件混合模型和雙行人可形變部件混合 模型進行行人目標(biāo)行檢測，得到檢測結(jié)果，每個檢測結(jié)果包括行人目標(biāo)對應(yīng)的根濾波器位 置和部件濾波器相對位置及行人目標(biāo)的響應(yīng)得分。根據(jù)根濾波器位置和部件濾波器相對位 置可以得到根濾波器和部件濾波器各自的目標(biāo)框。
[0050] 在可形變部件混合模型中，最常用的方式是采用滑動窗口搜索，在H0G特征金字塔 中不同尺度的特征圖上對目標(biāo)進行搜索。檢測模型的根濾波器和部件濾波器分別對不同分 辨率下特征圖進行卷積運算，計算出響應(yīng)得分，相對于特征圖來說，整個模型是一個濾波算 子，濾波算子在特征圖上進行匹配，相似程度越高，響應(yīng)得分也就越高。當(dāng)響應(yīng)得分與閾值 比較，如果大于閾值就認定為行人目標(biāo)檢測結(jié)果，反之則不是。行人目標(biāo)的響應(yīng)得分等于每 個濾波器在各自位置的得分(從數(shù)據(jù)來看)減去此位置相對于根位置的變形花費(從空間來 看)再加上偏差值。目標(biāo)匹配和響應(yīng)得分的算法是可形變部件混合模型的必要技術(shù)手段，其 過程在此不再贅述。
[0051 ] S106:檢測結(jié)果篩選：
[0052] 由于本發(fā)明采用單行人可形變部件混合模型和雙行人可形變部件混合模型對同 一張待檢測圖像進行檢測，因此有可能會對同一目標(biāo)有不同的重疊檢測。因此本發(fā)明首先 對兩個混合模型的檢測結(jié)果進行篩選，以抑制不準(zhǔn)確的檢測結(jié)果。記單行人可形變部件混 合模型的檢測結(jié)果集合為
),MS表示單行人可形變部件混合模型的檢測 結(jié)果數(shù)量;雙行人可形變部件混合模型的檢測結(jié)果集合為
Md表示雙行 人可形變部件混合模型的檢測結(jié)果數(shù)量。對每個單行人檢測結(jié)果，分別計算其根濾波器目 標(biāo)框與每個雙行人檢測結(jié)果中根濾波器目標(biāo)框的重疊度，如果重疊度大于閾值，則認為這 兩個檢測結(jié)果所對應(yīng)的行人目標(biāo)相同，將其中響應(yīng)得分較低的檢測結(jié)果刪除。將篩選過后 得到的單行人檢測結(jié)果集合記為Y，雙行人檢測結(jié)果集合記為V。重疊度閾值的大小根據(jù) 需要進行設(shè)置，經(jīng)實驗得到重疊度閾值設(shè)置為0.5至0.8之間可以取得較為良好的效果。
[0053] 采用以上方式對檢測結(jié)果進行篩選，主要是因為單行人可形變部件混合模型相對 于雙行人可形變部件混合模型，在對多個行人進行檢測是會產(chǎn)生一個較低的得分。雙行人 可形變部件混合模型對于單行人目標(biāo)，一般是不會得到檢測結(jié)果。因此，檢測結(jié)果篩選主要 是為了抑制單行人模型組件對多個行人不準(zhǔn)確的檢測結(jié)果。圖4是檢測結(jié)果篩選示例圖。如 圖4所示，該圖像中包括3個行人目標(biāo)，且相互之間存在遮擋，采用單行人可形變部件混合模 型檢測得到檢測結(jié)果1，雙行人可變形部件混合模型檢測得到檢測結(jié)果2和3,顯然檢測結(jié)果 1和檢測結(jié)果2的重疊度很高，并且檢測結(jié)果1的響應(yīng)得分較低，因此將檢測結(jié)果1刪除。顯 然，由于圖4中只有多行人目標(biāo)，因此最終的單行人檢測結(jié)果集合為空集當(dāng)一幅待檢測圖像 中既有單行人目標(biāo)又有雙行人或多行人目標(biāo)時，則單行人檢測結(jié)果和雙行人檢測結(jié)果集合 均不為空。
[0054] S107:包圍框預(yù)測
[0055] 對于單行人檢測結(jié)果集合Y中的每個檢測結(jié)果采用單行人包圍框預(yù)測器進行目 標(biāo)包圍框預(yù)測，對雙行人檢測結(jié)果集合V中的每個檢測結(jié)果采用雙行人包圍框預(yù)測器進行 包圍框預(yù)測，得到每個單個行人目標(biāo)的包圍框，將行人目標(biāo)包圍框所對應(yīng)檢測結(jié)果的響應(yīng) 得分作為該包圍框的得分。
[0056] S108:包圍框篩選：
[0057] 經(jīng)過包圍框檢測后，會得到多個包圍框，有可能某個行人目標(biāo)會對應(yīng)多個包圍框， 特別是多行人目標(biāo)情況下采用雙行人檢測結(jié)果預(yù)測到的包圍框。由于每個包圍框?qū)?yīng)一個 得分，因此本發(fā)明采用得分來進行篩選。圖5是本發(fā)明中包圍框篩選流程圖。如圖5所示，本 發(fā)明中包圍框篩選的具體方法包括以下步驟：
[0058] S501 :初始化包圍框集合：
[0059] 將步驟S106得到的包圍框記為集合C = (ci，C2，…，ck)，Κ表示包圍框數(shù)量。
[0060] S502:選擇行人目標(biāo)：
[0061 ]選擇集合C中得分最高的包圍框f作為行人目標(biāo)，加入行人目標(biāo)集合0,并從集合C 中刪除。
[0062] S503:判斷是否集合C = 0，如果不是，進入步驟S504,否則當(dāng)前的行人目標(biāo)集合0 即為最終的行人目標(biāo)集合，篩選結(jié)束。
[0063] S504:刪除重復(fù)目標(biāo)：
[0064] 計算包圍框f與集合C所有包圍框的重疊度，如果某個包圍框與包圍框f的重疊度 大于閾值，則說明該包圍框所對應(yīng)目標(biāo)與包圍框一所對應(yīng)目標(biāo)重復(fù)，將該包圍框從集合C中 刪除。
[0065] S505:判斷判斷是否集合C二0，如果不是，返回步驟S502,否則當(dāng)前的行人目標(biāo) 集合〇即為最終的行人目標(biāo)集合，篩選結(jié)束。
[0066] 圖6是包圍框篩選示例圖。如圖6所示，該圖像中包含3個行人，采用雙行人可形變 部件混合模型檢測，得到2個包圍框(如圖6(a))。然后通過雙行人包圍框預(yù)測，每個雙行人 檢測結(jié)果得到2個包圍框，共計4個包圍框(如圖6(b))，編號分別為1、2、3、4。假設(shè)4個包圍框 按照得分降序排列為1、3、2、4,重疊度閾值設(shè)置為0.5。首先選擇1號包圍框放入行人目標(biāo)集 合，可見沒有任何包圍框與1號包圍框重疊度大于閾值，因此3、2、4號包圍框保留不變。然后 選擇3號包圍框放入行人目標(biāo)集合，顯然此時包圍框2和包圍框3的重疊度很高，大于0.5,因 此將包圍框2刪除。最后剩下包圍框4，放入行人目標(biāo)集合，篩選結(jié)束。最終得到3個包圍框， 分別對應(yīng)1個行人(如圖6(c))。
[0067] 為了說明本發(fā)明的技術(shù)效果，采用7張待檢測圖像進行檢測。圖7是7張待檢測圖像 的行人檢測結(jié)果。如圖7所示，這些待檢測圖像中既有單行人目標(biāo)、被靜止物體遮擋的單行 人或雙行人目標(biāo)、被行人遮擋的行人目標(biāo)，且遮擋程度各不相同。根據(jù)檢測結(jié)果可知，本發(fā) 明對于各種遮擋程度下的行人目標(biāo)均具有良好的檢測結(jié)果。
[0068] 特別針對行人的自遮擋問題，在UESTC遮擋數(shù)據(jù)集中分別使用本發(fā)明基于聯(lián)合檢 測模型的部分遮擋行人檢測方法和傳統(tǒng)的單行人可形變部件模型對行人自遮擋樣本的實 驗結(jié)果進行了統(tǒng)計，UESTC數(shù)據(jù)集中包含了4個等級的遮擋問題，分別是0~10%、20~40%、 50~70%、多70%。表1是單行人可形變部件模型的實驗統(tǒng)計結(jié)果。表2是本發(fā)明基于聯(lián)合檢 測模型的部分遮擋行人檢測方法的實驗統(tǒng)計結(jié)果。
[0069] L0072J 表 2
[0073] 如表1和表2所示，雖然隨著樣本遮擋等級的提高，本發(fā)明和單行人可形變部件模 型的檢測準(zhǔn)確率都有所降低，但是本發(fā)明的檢測率下降程度明顯低于傳統(tǒng)的單行人可形變 部件模型，即使在遮擋等級多70 %時，檢測準(zhǔn)確率仍然能保持在70 %以上。
[0074] 同時采用本發(fā)明基于聯(lián)合檢測模型的部分遮擋行人檢測方法和單行人可形變部 件模型在公開的INRIA行人數(shù)據(jù)集上進行了實驗，并對實驗結(jié)果進行統(tǒng)計。單行人可形變部 件模型的檢測準(zhǔn)確率達到86.9%，而本發(fā)明的檢測準(zhǔn)確率達到88.2%，可見本發(fā)明的檢測 效果具有明顯提升。
[0075] 盡管上面對本發(fā)明說明性的【具體實施方式】進行了描述，以便于本技術(shù)領(lǐng)域的技術(shù) 人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于【具體實施方式】的范圍，對本技術(shù)領(lǐng)域的普通技 術(shù)人員來講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些 變化是顯而易見的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護之列。
【主權(quán)項】
1. 一種基于聯(lián)合檢測模型的部分遮擋行人檢測方法，其特征在于，包括W下步驟： S1:選擇訓(xùn)練樣本，其中單行人訓(xùn)練樣本中的正樣本為行人自遮擋等級小于闊值T或者 被靜止物體遮擋的行人樣本圖像，每個行人作為一個目標(biāo);雙行人訓(xùn)練樣本中的正樣本為 遮擋等級為遮擋等級大于闊值T的行人自遮擋樣本圖像，每兩個相互遮擋的行人作為一個 目標(biāo);負樣本為沒有行人目標(biāo)的樣本圖像;每個樣本圖像對應(yīng)一個標(biāo)注文件，標(biāo)注文件包括 圖像中出現(xiàn)的每個目標(biāo)的類別W及目標(biāo)的包圍框； S2:根據(jù)預(yù)設(shè)的單行人正樣本聚類數(shù)化和雙行人正樣本聚類數(shù)Nd，按照每個正樣本中的 目標(biāo)包圍框長寬比，采用聚類算法分別對單行人訓(xùn)練樣本和雙行人訓(xùn)練樣本的正樣本進行 聚類； S3:采用步驟S2聚類得到的正樣本圖像W及負樣本圖像，分別訓(xùn)練單行人可形變部件 混合模型和雙行人可形變部件混合模型，其中單行人可形變部件混合模型包括化個可形變 部件模型，雙行人可形變部件混合模型包括Nd個可形變部件模型； S4:對于單行人和雙行人訓(xùn)練樣本中的正樣本，分別采用對應(yīng)的可形變部件混合模型 的檢測結(jié)果作為輸入，正樣本中的每個單個行人目標(biāo)包圍框作為輸出，訓(xùn)練得到對應(yīng)的單 行人包圍框預(yù)測器和雙行人包圍框預(yù)測器； S5:對于待檢測圖像，分別采用單行人可形變部件混合模型和雙行人可形變部件混合 模型進行行人目標(biāo)檢測，得到檢測結(jié)果，每個檢測結(jié)果包括行人目標(biāo)對應(yīng)的根濾波器位置 和部件濾波器相對位置及行人目標(biāo)的響應(yīng)得分； S6:記單行人可形變部件混合模型的檢測結(jié)果集合為^二口，，…，口A )，Ms表示單行 人可形變部件混合模型的檢測結(jié)果數(shù)量;雙行人可形變部件混合模型的檢測結(jié)果集合為 及二，磚，:···，6%^，Μ<ι表示雙行人可形變部件混合模型的檢測結(jié)果數(shù)量;對每個單行人檢 測結(jié)果，分別計算其根濾波器目標(biāo)框與每個雙行人檢測結(jié)果中根濾波器目標(biāo)框的重疊度， 如果重疊度大于闊值，則認為運兩個檢測結(jié)果所對應(yīng)的行人目標(biāo)相同，將其中響應(yīng)得分較 低的檢測結(jié)果刪除；將篩選過后得到的單行人檢測結(jié)果集合記為Α/，雙行人檢測結(jié)果集合 記為β/ ; S7:對于單行人檢測結(jié)果集合y中的每個檢測結(jié)果采用單行人包圍框預(yù)測器進行目標(biāo) 包圍框預(yù)測，對雙行人檢測結(jié)果集合B/中的每個檢測結(jié)果采用雙行人包圍框預(yù)測器進行包 圍框預(yù)測，得到每個單個行人目標(biāo)的包圍框，將行人目標(biāo)包圍框所對應(yīng)檢測結(jié)果的響應(yīng)得 分作為該包圍框的得分； S8:將步驟S7得到的包圍框記為集合C= ，C2，…，CK)，K表示包圍框數(shù)量;每次從集合 C中選擇得分最高的包圍框乍為行人目標(biāo)，加入行人目標(biāo)集合0,并從集合C中刪除，計算 包圍框(3^與集合(：中所有包圍框的重疊度，如果某個包圍框與包圍框(3^勺重疊度大于闊值， 將該包圍框包圍框人集合C中刪除；直到集合C = 0，將當(dāng)前的行人目標(biāo)集合0作為最終 的行人目標(biāo)集合。2. 根據(jù)權(quán)利要求1所述的部分遮擋行人檢測方法，其特征在于，所述的單行人包圍框預(yù) 測器包括一個回歸模型，雙行人包圍框預(yù)測器包括兩個回歸模型。3. 根據(jù)權(quán)利要求1所述的部分遮擋行人檢測方法，其特征在于，所述的重疊度闊值的取 值范圍為0.5至0.8。
【文檔編號】G06K9/62GK105975925SQ201610284144
【公開日】2016年9月28日
【申請日】2016年5月3日
【發(fā)明人】康波, 江鷗, 王冰峰, 趙輝, 李云霞
【申請人】電子科技大學(xué)