基于兩級融合的不完整屬性標記行人重識別方法與系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于監(jiān)控視頻檢索技術(shù)領(lǐng)域，尤其涉及一種基于兩級融合的不完整屬性標 記行人重識別方法與系統(tǒng)。
【背景技術(shù)】
[0002] 在實際視頻偵查中，偵查員需要根據(jù)指定行人對象在多攝像頭下的活動畫面和軌 跡來快速排查、追蹤和鎖定嫌疑目標，在偵查過程中，偵查員經(jīng)常會手動標注一些信息，視 覺屬性中的圖片信息和語義描述因此得以收集，然而，實際中往往花費大量的人力物力和 時間信息在匹配這些不同的標記上，這嚴重影響破案效率，容易錯過最佳的破案時機。
[0003] 行人重識別是一種針對特定行人對象的跨攝像頭監(jiān)控視頻自動檢索技術(shù)，它僅僅 利用圖像特征對進行目標查詢，偵查員所標記的不完整語義屬性并未得到利用，充分利用 偵查員所標注的信息并結(jié)合已有的行人重識別技術(shù)用以輔助視頻偵查員快速、準確地發(fā)現(xiàn) 嫌疑目標的活動畫面和軌跡，對公安部門提高破案率、維護人民群眾生命財產(chǎn)安全具有重 要意義。
[0004] 目前行人重識別技術(shù)所面臨的挑戰(zhàn)主要是來自于多攝像頭下的行人圖像往往存 在視角變化、光照變化、姿態(tài)變化和尺寸變化等，使得相同行人之間的差異甚至比不同行人 之間的還要大?，F(xiàn)有行人重識別技術(shù)大致可以分為三類：基于特征表示的行人重識別技術(shù)、 基于尺度學(xué)習(xí)的行人重識別技術(shù)、基于排序優(yōu)化的行人重識別技術(shù)?，F(xiàn)有行人重識別技術(shù) 中基于特征方法包括基于低層特征的行人重識別技術(shù)，如[文獻1]所述的基于局部特征驅(qū) 動的行人重識別技術(shù)、[文獻2]所述的基于語義色彩的行人重識別技術(shù)、[文獻3]所述的 基于局部互動的排序優(yōu)化行人重識別技術(shù)等等以及基于高層語義特征的行人重識別技術(shù)、 如[文獻4]所述的基于屬性的行人重識別技術(shù)。現(xiàn)有基于尺度學(xué)習(xí)的重識別技術(shù)，如[文 獻5]所述的KISSME算法。
[0005] 基于特征表示的行人重識別方法，其中低層視覺特征在面對視角變化、光照變化、 姿態(tài)變化時不夠魯棒，圖像高層特征相對而言魯棒性更強，從圖像內(nèi)容中得到的普通高層 屬性特征較為完整卻因分類器的精度限制而不準確，人工標注的高層屬性特征盡管不完整 卻較為精確。
[0006] 基于屬性特征距離度量的行人重識別，很少考慮到如[文獻6]所述信息檢索中考 慮到屬性關(guān)注度和屬性顯著度的概念，而關(guān)注度-顯著度匹配模型在度量屬性時卻是非常 有效果的。
[0007] 基于重排的行人重識別認為基于低層特征的行人重識別在行人外貌變化不大的 前提下更為精準，而基于高層的屬性特征對外貌變化魯棒性更強，但相對不精準。
[0008] [文 南犬 1]M. Farenzena, L. Bazzani, A. Perina, V. Murino, and M. Cristani. Person re-identification by symmetry-driven accumulation of local features. In CVPRj 2010.
[0009] [文獻2] Y. Yang，J. Yang，J. Yan，S. Liao, D. Yi，and S. Z. Li. Salient color names for person re-identification. In ECCV. 2014.
[0010] [文獻 3] Z. Wang，R. Hu，C. Liang，Q. Leng，and K. Sun. Region-based interactive ranking optimization for person re-identification. In PCM. 2014.
[0011] [文獻 4]R. Layne，Τ·Μ· Hospedales，S. Gong，and Q. Mary. Person re-identification by attributes. In BMVCj2012.
[0012] [文獻 5]M. Kostinger，M. Hirzer，P. Wohlhart，P. M. Roth，and H. Bischof. Large scale metric learning from equivalence constraints. In CVPRj 2012.
[0013] [文獻 6]G. Salton，A. Wong，and C. _S. Yang. A vector space model for automatic indexing. Communications of the ACM, 1975.

【發(fā)明內(nèi)容】

[0014] 針對現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種基于兩級融合的不完整屬性標記行 人重識別方法與系統(tǒng)。
[0015] 本發(fā)明的方法所采用的技術(shù)方案是：一種基于兩級融合的不完整屬性標記行人重 識別方法，其特征在于，包括以下步驟：
[0016] 步驟1 :針對任一圖片，為其定義"普通低層特征向量、普通高層屬性向量、人工標 記屬性向量"三種屬性向量；
[0017] ⑴普通低層特征向量f，/e Wwi.，Nf是特征向量的維度，Nf是一個常數(shù)；普通特 征向量需要較強的判別力和面對光照視角變化的魯棒性要求；
[0018] ⑵普通高層屬性向量ag，Na是屬性分類器個數(shù)，即Na種屬性，某個分類 器的分類的結(jié)果ag取值為[-11]，+1代表圖片具有該屬性，-1代表圖片不具有該屬性；通 過若干個訓(xùn)練出的屬性分類器學(xué)習(xí)出的普通高層屬性向量，普通高層屬性向量包含所有分 類器所對應(yīng)的屬性，信息完整；
[0019] ⑶人工標記屬性向量8|11表不，*對任一種屬性，出現(xiàn)屬性標記為+1，未出 現(xiàn)屬性標記為-1，未標記的屬性為〇 ;由偵查員任選屬性進行標記；
[0020] 步驟2 :基于跨層稀疏重構(gòu)一致性考慮，利用普通低層特征向量、普通高層屬性向 量、人工標記屬性向量進行前融合，得到完備高層屬性向量；
[0021] 其具體實現(xiàn)包括以下子步驟：
[0022] 步驟2. 1 :基于收集獲得的訓(xùn)練集形成特征字典Df，e 用Df重構(gòu)普通低 層特征向量f，通過目標函數(shù)?f，對應(yīng)f稀疏重構(gòu)權(quán)重向量α ;
[0023] 步驟2. 2 :基于訓(xùn)練集形成屬性字典Da，A wS用1重構(gòu)普通高層屬性屬性 向量ag，通過目標函數(shù)Θ3，對應(yīng)a g稀疏重構(gòu)權(quán)重向量β ;
[0024] 步驟2. 3 :基于跨層稀疏重構(gòu)一致性考慮，特征字典Df和屬性字典D a列間對應(yīng)于 一張圖片，寫出聯(lián)合優(yōu)化目標函數(shù)?，求出跨層一致約束下的稀疏重構(gòu)權(quán)重向量α和β ;
[0025] 步驟2. 4 :基于上述α和β，結(jié)合人工標記屬性向量信息，得出完備高層屬性向量 a ；
[0026] 步驟3 :構(gòu)建高層屬性向量度量模型，即關(guān)注度-顯著度匹配模型，其具體實現(xiàn)包 括以下子步驟：
[0027] 步驟3. 1 :關(guān)注度形式化表達；如果某些屬性特征較另外一些屬性特征被偵查員 標記次數(shù)多，證明該種屬性的關(guān)注度高，反之低；關(guān)注度形式化表達為dom 1;
[0028] 步驟3. 2 :顯著度形式化表達；如果某種屬性出現(xiàn)次數(shù)比其他屬性出現(xiàn)次數(shù)少，它 引人注目的可能性就越大，從而更具有區(qū)分性，該種屬性理應(yīng)賦予更高的權(quán)重；顯著度形式 化表達為sal 1;
[0029] 步驟3. 3 :屬性向量間度量方式；結(jié)合關(guān)注度和顯著度得到高層屬性向量度量模 型 d (a, a'）；
[0030] 步驟4:進行普通低層特征向量和高層屬性特征排序結(jié)果的后融合，其具體實現(xiàn) 包括以下子步驟：
[0031] 步驟4. 1 :基于步驟1得出圖像普通特征向量f得到基于低層特征的細粒度排序 結(jié)果RF，其中RF = {RF1，RF2,…RFM}，M為查詢集中被標記的行人數(shù)；
[0032] 步驟4. 2 :基于步驟2得出的圖像高層屬性向量a、步驟3得出的高層屬性向量度 量模型d(a，a'），得到基于高層特征的粗粒度排序結(jié)果RA，其中RA = {RA1，RA2,…RAM}，M為 查詢集中被標記的行人數(shù)；
[0033] 步驟4. 3 :對RA進行分組G = {G1，G2,…}，出于屬性特征向量的粗粒度考慮，普通 特征向量排序結(jié)果不變，調(diào)整屬性特征向量排序結(jié)果，得到最終組合排序結(jié)果。
[0034] 作為優(yōu)選，步驟2. 1中所述的目標函數(shù)?f定義為：
[0035]
[0036] 其中I I I L、I I I I2分別為LJPL2范數(shù)，a (a e Rnxi)是f目標稀疏權(quán)重向量，λ 是協(xié)調(diào)因子。
[0037] 作為優(yōu)選，步驟2. 2中所述的目標函數(shù)?a定義為：
[0038]
[0039] 其中I I I u I I |2分別為L# L2范數(shù)，β (β e Rnxi)是\目標稀疏權(quán)重向量，ω 是協(xié)調(diào)因子。
[0040] 作為優(yōu)選，步驟2. 3中所述的聯(lián)合優(yōu)化目標函數(shù)Θ定義為：
[0041 ]
[0042] 其中||α-冰是跨層一致性限制，V是懲罰α和β差異的協(xié)調(diào)因子，I是 選擇引導(dǎo)限制，τ選擇引導(dǎo)限制的協(xié)調(diào)因子。
[0043] 作為優(yōu)選，步驟2. 4中所述的完備尚層屬性向量a為：
[0044] a = Da β · *Not (am) +am，
[0045] 其中Not( ·)是取反作用符號，式子含義為：當ani為0時，即沒有標記信息時，某 個屬性用DaP表示