一種基于不完整文本描述的特定行人檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于監(jiān)控視頻檢索技術(shù)領(lǐng)域，涉及一種行人檢索方法，尤其涉及一種基于 不完整文本描述的特定行人檢索方法。
【背景技術(shù)】
[0002] 傳統(tǒng)的特定行人檢索方法（行人重識(shí)別）都是基于行人的視覺影像，但在更加實(shí) 際的視頻監(jiān)控應(yīng)用中，只能獲得一些文本的描述，比如目擊者向警察這樣描述犯罪嫌疑人： "一個(gè)背著雙肩包身穿紅色休閑服的年輕女士"。這類行人特征描述很顯然是不完整的，傳 統(tǒng)的行人檢索方法對(duì)此便無(wú)能為力。
[0003] 在上述情況下，僅依賴于給定的屬性來(lái)解決特定行人檢索問(wèn)題是至關(guān)重要的。在 [文獻(xiàn)1]中，這些特定屬性主要從口頭描述中抽象而來(lái)。相關(guān)的行人重識(shí)別研宄也提出了 一些基于屬性的方法。Layne在[文獻(xiàn)2]中使用了一種通過(guò)篩選和加權(quán)中層語(yǔ)義屬性的方 法來(lái)描述行人；Liu在[文獻(xiàn)1]中提出了 ARLTM(屬性受限的潛在主題模型），將目標(biāo)編碼 進(jìn)語(yǔ)義查詢；Nguyen在[文獻(xiàn)3]提出基于屬性間關(guān)系的方法，該方法利用屬性間的關(guān)系來(lái) 改善屬性檢測(cè)的結(jié)果。然而上述的方法不適合本文描述的問(wèn)題，因?yàn)閷?duì)于該問(wèn)題，用于檢索 的圖片信息是無(wú)法獲得的。因此需要研宄一種新方法來(lái)解決此問(wèn)題。
[0004] 另外，正如[文獻(xiàn)4]所描述的那樣，用戶提供的屬性經(jīng)常是不完整的。這些不完 整的屬性很可能導(dǎo)致行人檢索應(yīng)用性能倒退（參見[文獻(xiàn)1])。而且，從更廣泛的層面上來(lái) 講，這種屬性補(bǔ)全問(wèn)題主要采用傳統(tǒng)的TBIR(基于標(biāo)簽的圖片檢索）。在監(jiān)控視頻檢索領(lǐng) 域，這類問(wèn)題是被忽視了的。
[0005] [文獻(xiàn) 1]X. Liu, M. Song, Q.Zhao, D.Tao, and etal. Attribute-restricted latent topic model forpersonre-identification. In PR, 2012.
[0006] [文獻(xiàn) 2] R. Layne，T. M. Hospedales，S. Gong，and Q. Mary. Person re-identification byattributes. In BMVC, 2012.
[0007] [文獻(xiàn) 3] N. N. B，N. V. H，D. T. N，and et al. Attrel: An approach to person re-identification byexploitingattribute relationships. In MMM, 2015.
[0008] [文獻(xiàn) 4]L Wu，R. Jin，and A. Jain. Tag completion for imageretrieval. In PAMI, 2013.

【發(fā)明內(nèi)容】

[0009] 為了解決上述的技術(shù)問(wèn)題，本發(fā)明提供了一種基于不完整文本描述的特定行人檢 索方法。
[0010] 本發(fā)明所采用的技術(shù)方案是：一種基于不完整文本描述的特定行人檢索方法，由 兩部分組成：離線處理和在線處理；其特征在于：所述的離線處理包括對(duì)圖像庫(kù)中的訓(xùn)練 圖片訓(xùn)練屬性分類器和距離尺度學(xué)習(xí)；所述的在線處理首先把用戶針對(duì)查詢文本進(jìn)行的不 完整的描述轉(zhuǎn)化為一個(gè)初始屬性向量，然后采用線性稀疏重建的方法將初始屬性向量重建 成一個(gè)完整的向量I最后使用基于屬性的尺度學(xué)習(xí)得到的矩陣M進(jìn)行距離計(jì)算；使用訓(xùn) 練得到的屬性分類器提取圖像庫(kù)中的測(cè)試圖片屬性向量，使用向量7 >圖像庫(kù)中測(cè)試圖片 的屬性向量和矩陣M，獲得查詢文本與圖像庫(kù)中的測(cè)試圖片的距離，根據(jù)得到的距離進(jìn)行升 序排列，即可相應(yīng)的對(duì)圖像庫(kù)中的測(cè)試圖片進(jìn)行排名。
[0011] 作為優(yōu)選，所述的離線處理，預(yù)先計(jì)算測(cè)試圖片的視覺特征向量和屬性向量，其中 將尺度學(xué)習(xí)引入到屬性向量的距離計(jì)算；具體實(shí)現(xiàn)包括以下子步驟：
[0012] 步驟1. 1:采用線性SVM來(lái)訓(xùn)練屬性分類器，訓(xùn)練數(shù)據(jù)包含兩部分：視覺特征向量 和已標(biāo)簽化的屬性；對(duì)于每一種屬性，都會(huì)訓(xùn)練一個(gè)分類器，其中所有包含該屬性的樣本視 為正樣本，而其余的則視為負(fù)樣本；
[0013] 步驟1. 2 :在訓(xùn)練分類器的基礎(chǔ)上，提取測(cè)試圖片的屬性向量；因?yàn)榉诸惼鲗?duì)每個(gè) 屬性的輸出值是從負(fù)無(wú)窮到正無(wú)窮，所以使用logistic函數(shù)將輸出值變換到（0, 1)區(qū)間 內(nèi)；所述的logistic函數(shù)為：
[0014]
【主權(quán)項(xiàng)】
1. 一種基于不完整文本描述的特定行人檢索方法，由兩部分組成：離線處理和在線處 理；其特征在于：所述的離線處理包括對(duì)圖像庫(kù)中的訓(xùn)練圖片訓(xùn)練屬性分類器和距離尺度 學(xué)習(xí)；所述的在線處理首先把用戶針對(duì)查詢文本進(jìn)行的不完整的描述轉(zhuǎn)化為一個(gè)初始屬性 向量，然后采用線性稀疏重建的方法將初始屬性向量重建成一個(gè)完整的向量I最后使用 基于屬性的尺度學(xué)習(xí)得到的矩陣M進(jìn)行距離計(jì)算；使用訓(xùn)練得到的屬性分類器提取圖像庫(kù) 中的測(cè)試圖片屬性向量，使用向量7 \圖像庫(kù)中測(cè)試圖片的屬性向量和矩陣M，獲得查詢文 本與圖像庫(kù)中的測(cè)試圖片的距離，根據(jù)得到的距離進(jìn)行升序排列，即可相應(yīng)的對(duì)圖像庫(kù)中 的測(cè)試圖片進(jìn)行排名。
2. 根據(jù)權(quán)利要求1所述的基于不完整文本描述的特定行人檢索方法，其特征在于：所 述的離線處理，預(yù)先計(jì)算測(cè)試圖片的視覺特征向量和屬性向量，其中將尺度學(xué)習(xí)引入到屬 性向量的距離計(jì)算；具體實(shí)現(xiàn)包括以下子步驟： 步驟I. 1 :采用線性SVM來(lái)訓(xùn)練屬性分類器，訓(xùn)練數(shù)據(jù)包含兩部分：視覺特征向量和已 標(biāo)簽化的屬性；對(duì)于每一種屬性，都會(huì)訓(xùn)練一個(gè)分類器，其中所有包含該屬性的樣本視為正 樣本，而其余的則視為負(fù)樣本； 步驟1. 2 :在訓(xùn)練分類器的基礎(chǔ)上，提取測(cè)試圖片的屬性向量；因?yàn)榉诸惼鲗?duì)每個(gè)屬性 的輸出值是從負(fù)無(wú)窮到正無(wú)窮，所以使用logistic函數(shù)將輸出值變換到（0, 1)區(qū)間內(nèi)；所 述的logistic函數(shù)為：
其中，X為分類器的原始輸出，y為變換值，表明擁有該屬性的可能性； 步驟1. 3 :基于屬性的尺度學(xué)習(xí)；給定一對(duì)樣本Xi,XjUi,XjGRd)，它們之間的馬氏距離 定義如下：
yij= 1表示相似樣本對(duì)的協(xié)方差矩陣，yU= 0表示不相似樣本對(duì)的協(xié)方差矩陣；矩陣M用來(lái)計(jì)算屬性向量之間的距離。
3. 根據(jù)權(quán)利要求1所述的基于不完整文本描述的特定行人檢索方法，其特征在于：所 述的在線處理，具體實(shí)現(xiàn)包括以下子步驟： 步驟2. 1 :把用戶不完整的文本描述轉(zhuǎn)化為一個(gè)初始屬性向量t1Xn，其中n是指預(yù)定義 屬性的個(gè)數(shù)，對(duì)于用戶提供的屬性，n標(biāo)記為1，否則，n標(biāo)記為O; 步驟2. 2 :對(duì)于初始屬性向量t1Xn，給定訓(xùn)練屬性矩陣^其中M是訓(xùn)練圖像的個(gè) 數(shù)；令W表示重建的權(quán)重向量，第i組的重建權(quán)重定義為沿=叫 (i，j)表示權(quán)重向量w中第i組的第j個(gè)權(quán)重，則重建問(wèn)題能用公式表示如下：
其中：^為字典矩陣，包含了訓(xùn)練圖像的屬性向量;Wmxi為客觀的重建權(quán)重向量； 入為調(diào)整因子，用于平衡組的稀疏性；組的稀疏性2^=1Ibzl2將Ll范式和L2范式結(jié)合在一 起；定義一個(gè)對(duì)角矩陣Wi;i=exp(tJ，用來(lái)衡量t初始的重建權(quán)重； 步驟2. 2:使用線性稀疏重建，得到一個(gè)最優(yōu)的權(quán)重矩陣W，則重建向量j=^u,。
【專利摘要】本發(fā)明公開了一種基于不完整文本描述的特定行人檢索方法，主要思想是把用戶不完整的文本描述轉(zhuǎn)化為一個(gè)屬性向量，然后采用一種屬性完善的算法來(lái)豐富這個(gè)屬性向量的描述能力。在檢索階段，基于完善后的屬性向量的檢索過(guò)程被分為成對(duì)的兩個(gè)流程：離線處理和在線處理。對(duì)于離線處理，需要訓(xùn)練幾個(gè)屬性分類器來(lái)檢測(cè)庫(kù)中圖片的屬性；另外，還應(yīng)從屬性向量中學(xué)習(xí)一個(gè)距離度量標(biāo)準(zhǔn)。對(duì)于在線處理，首先采用線性稀疏重建方法來(lái)完善用戶提供的屬性，然后將離線學(xué)習(xí)得到的距離度量標(biāo)準(zhǔn)運(yùn)用到完善后的屬性向量中。實(shí)驗(yàn)證明，本發(fā)明的方法在兩個(gè)具有代表性的數(shù)據(jù)集上獲得了優(yōu)越的性能。
【IPC分類】G06F17-30, G06K9-62
【公開號(hào)】CN104715071
【申請(qǐng)?zhí)枴緾N201510153983
【發(fā)明人】胡瑞敏, 葉茫, 梁超, 柳東靜, 王正, 陳軍, 劉俊
【申請(qǐng)人】武漢大學(xué)
【公開日】2015年6月17日
【申請(qǐng)日】2015年4月2日