迭代視頻圖片檢索方法與裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種迭代視頻圖片檢索方法與裝置，更具體而言，涉及一種大規(guī)模視頻監(jiān)控系統(tǒng)中的迭代視頻圖片檢索方法與裝置。
【背景技術(shù)】
[0002]視頻監(jiān)控系統(tǒng)在社會安防方面得到了廣泛的應(yīng)用。在各個城市，每年均有數(shù)十萬攝像頭被部署。中國現(xiàn)有的城市大規(guī)模監(jiān)控系統(tǒng)當(dāng)中，大量監(jiān)控設(shè)備已經(jīng)有所部署，包括攝像頭、編解碼設(shè)備、數(shù)字視頻錄像機(jī)、存儲和回放系統(tǒng)等等。其中，相當(dāng)一部分的攝像頭均符合720P或者1080P高清標(biāo)準(zhǔn)。每天在視頻監(jiān)控系統(tǒng)運(yùn)行的過程中，會產(chǎn)生大量的視頻數(shù)據(jù)，同時視頻監(jiān)控系統(tǒng)的運(yùn)營要求將這些視頻數(shù)據(jù)保留3個月到I年不等的時間。這些積累的視頻數(shù)據(jù)，不僅占用非常大的存儲空間和網(wǎng)絡(luò)帶寬，而且對于視頻內(nèi)容并沒有有效的分析和組織。當(dāng)需要在海量視頻內(nèi)容中查找所需的目標(biāo)物體的時候(如人臉，車，不明行李等等)，需要操作人員花費(fèi)大量的時間，進(jìn)行人工觀看排查。這樣做不僅會耗費(fèi)大量的人力和時間，也會使查找的精度降低很多。更重要的是，在公共安全領(lǐng)域，案件發(fā)生后的線索追查時間非常寶貴，如果可以利用信息技術(shù)顯著提高視頻監(jiān)控內(nèi)容的排查速度，這對于公民安全和社會穩(wěn)定都具有非常重要的意義。
[0003]近些年來，一些大規(guī)模的視頻分析和檢索系統(tǒng)逐漸被采納使用。此類系統(tǒng)對視頻內(nèi)容進(jìn)行實時或者在線的分析，并將分析后得到的對應(yīng)敏感特征(比如說人臉、車輛等)的描述(一般為特征向量)存儲在數(shù)據(jù)庫當(dāng)中。當(dāng)用戶需要針對某個敏感特征進(jìn)行排查的時候，可以將敏感特征輸入到數(shù)據(jù)庫當(dāng)中，進(jìn)行比對排查，從而可以快速定位這些敏感特征或者目標(biāo)物體在海量視頻內(nèi)容里出現(xiàn)的情況。這樣做，一方面可以大大提高海量視頻內(nèi)容中查找目標(biāo)物體所需的時間，節(jié)省了人力和物力；另一方面，可以避免由于人員疲勞而帶來的查找精度降低的情況。在基于內(nèi)容的視頻檢索的過程中，一般將目標(biāo)物體的特征描述向量與海量視頻內(nèi)容所對應(yīng)的特征數(shù)據(jù)中的特征向量進(jìn)行比對，計算特征向量之間的相似度(一般是特征向量之間的差別)，最后將檢索的結(jié)果集按照相似度由高到低(特征向量的差別由小到大)的順序展現(xiàn)給用戶終端。
[0004]在小規(guī)模視頻監(jiān)控應(yīng)用系統(tǒng)中，以上的方法已經(jīng)可以支持高速高精度的視頻檢索。然而，在大規(guī)模視頻監(jiān)控應(yīng)用系統(tǒng)中，簡單采用這樣的檢索方法會造成檢索精度的降低。主要原因是大量的視頻內(nèi)容中，同樣的目標(biāo)物體或者敏感特征在不同的攝像頭、不同地點、不同時間出現(xiàn)時，展現(xiàn)出的特征向量有些許差別。由于光照、角度、環(huán)境等多方面的影響，其他非該目標(biāo)物體的特征向量可能會展現(xiàn)更好的相似度。同時，目標(biāo)物體可能在某個時間和地點集中長時出現(xiàn)，這樣可能在單次檢索中集中展現(xiàn)在用戶界面上，而該目標(biāo)物體在其他時間和地點的出現(xiàn)情況沒有得到有效展現(xiàn)。因此，需要針對大規(guī)模視頻監(jiān)控場景，對視頻檢索進(jìn)行優(yōu)化和提升。
[0005]之前的一些工作已經(jīng)涉及到這方面的內(nèi)容。
[0006]在專利文獻(xiàn)I中描述了一種大規(guī)模視頻檢索的架構(gòu)設(shè)計。在這套架構(gòu)中，重點強(qiáng)調(diào)如何使用并行計算來加速檢索的流程，然而如何解決大規(guī)模視頻監(jiān)控系統(tǒng)中的視頻檢索精度的問題，沒有有效的手段。
[0007]在專利文獻(xiàn)2中描述了一種利用文本標(biāo)注和基于內(nèi)容的特征進(jìn)行視頻檢索的方法。這種方法簡單地使用文本標(biāo)注和對比結(jié)合基于內(nèi)容的視頻檢索在一起，提高檢索精度。但是，在大規(guī)模視頻監(jiān)控系統(tǒng)中，全面的文本標(biāo)注是不可能完成的事情。同時，相當(dāng)多的目標(biāo)物體和敏感特征無法用文本來表征。
[0008]在專利文獻(xiàn)3中提出了一種多資源的視頻元數(shù)據(jù)檢索及相關(guān)的業(yè)務(wù)框架。在這里，更多的提及如何使用多種標(biāo)注信息來進(jìn)行視頻檢索的業(yè)務(wù)和方法，并沒有提及如何來提升基于內(nèi)容的視頻檢索的精度。在大規(guī)模視頻監(jiān)控系統(tǒng)中，這種方法無法保證高精度的檢索結(jié)果。
[0009]在專利文獻(xiàn)4中提出了一種支持視頻內(nèi)容檢索的設(shè)備。在該設(shè)備中，可以將視頻和音頻的內(nèi)容進(jìn)行混合檢索，從而提高精度。但是，如何在大規(guī)模視頻監(jiān)控系統(tǒng)中，僅適用視頻內(nèi)容的檢索來提高精度并沒有有效手段。
[0010]現(xiàn)有技術(shù)文獻(xiàn)
[0011]專利文獻(xiàn)
[0012]專利文獻(xiàn)1:美國專利US 2014/0164406 Al
[0013]專利文獻(xiàn)2:專利 WO 2014/082288
[0014]專利文獻(xiàn)3:美國專利US 2013/0326573 Al
[0015]專利文獻(xiàn)4:美國專利US 2014/0188834

【發(fā)明內(nèi)容】

[0016]本發(fā)明鑒于上述問題而研發(fā)，目的在于提出一種迭代視頻圖片檢索方法與裝置，可以在大規(guī)模視頻監(jiān)控系統(tǒng)中，有效排除相關(guān)的干擾，提升檢索的精度。
[0017]本發(fā)明的一個方面涉及一種迭代視頻圖片檢索方法，其特征在于，通過多次迭代來得到檢索結(jié)果，包括:迭代策略設(shè)定步驟，設(shè)定迭代深度、每層迭代的檢索線索數(shù)目；檢索線索輸入步驟，根據(jù)由所述迭代策略設(shè)定步驟設(shè)定的所述檢索線索數(shù)目，從用戶側(cè)輸入進(jìn)行首次檢索用的用于描述目標(biāo)物體的特征的特征向量，作為檢索線索集；檢索步驟，記錄檢索起點，并將檢索線索集中的各個檢索線索的特征向量發(fā)送給檢索服務(wù)器進(jìn)行檢索；輸出步驟，從所述檢索服務(wù)器接收檢索結(jié)果的特征向量集，并將其輸出到用戶側(cè)；迭代深度判斷步驟，判斷當(dāng)前檢索步驟是否已經(jīng)達(dá)到了由所述迭代策略設(shè)定步驟所設(shè)定的迭代深度；中間結(jié)果確定步驟，在所述迭代深度判斷步驟中判斷為未達(dá)到所設(shè)定的迭代深度的情況下，根據(jù)由所述迭代策略設(shè)定步驟設(shè)定的所述檢索線索數(shù)目，查詢迭代記錄庫，選擇確定下一步迭代檢索用的檢索線索集，執(zhí)行所述檢索步驟；迭代記錄庫更新步驟，在所述迭代深度判斷步驟中判斷為已經(jīng)達(dá)到了所設(shè)定的迭代深度的情況下，在用戶完成檢索結(jié)果的標(biāo)注后記錄到迭代記錄庫；迭代進(jìn)度判斷步驟，判斷各步迭代的檢索步驟中是否已經(jīng)完成檢索線索集中的所有檢索線索的檢索；檢索線索更新步驟，在由所述迭代進(jìn)度判斷步驟判斷為未完成檢索線索集中的所有檢索線索的檢索的情況下，將檢索樹上最近的一個未完成的檢索線索，作為下次迭代檢索的檢索線索，執(zhí)行所述檢索步驟；以及結(jié)束步驟，在由所述迭代進(jìn)度判斷步驟判斷為完成了檢索線索集中的所有檢索線索的檢索的情況下，結(jié)束迭代視頻圖片檢索處理。
[0018]另外，在本發(fā)明中優(yōu)選:在所述中間結(jié)果確定步驟中，在查詢迭代記錄庫從而選擇確定了下一步迭代檢索用的檢索線索集之后，將所選擇的下一步迭代檢索用的檢索線索集輸出到用戶側(cè)，并且利用用戶選擇的下一步迭代檢索用的檢索線索集，執(zhí)行所述檢索步驟。
[0019]另外，在本發(fā)明中優(yōu)選:對于檢索線索集中的檢索線索，按照先序、中序或者后序的順序在迭代樹上的下一個檢索線索開始執(zhí)行所述檢索步驟。
[0020]另外，在本發(fā)明中優(yōu)選:將目標(biāo)物體的特征向量與海量視頻內(nèi)容所對應(yīng)的特征數(shù)據(jù)中的特征向量進(jìn)行比對，計算特征向量之間的相似度，將檢索結(jié)果的特征向量集按照相似度由高到低的順序展現(xiàn)在用戶側(cè)。
[0021]另外，在本發(fā)明中優(yōu)選:在所述中間結(jié)果確定步驟中，由用戶來選擇確定下一步迭代檢索用的檢索線索集，或者根據(jù)迭代記錄庫的參考信息來自動選擇確定下一步迭代檢索用的檢索線索集。
[0022]另外，在本發(fā)明中優(yōu)選:所述參考信息，通過復(fù)用本次檢索之前的檢索中基于用戶的評價信息建立的各個目標(biāo)向量之間的關(guān)系來確定。
[0023]另外，在本發(fā)明中優(yōu)選:所述參考信息，通過利用大數(shù)據(jù)分析工具得到不同環(huán)境下目標(biāo)向量之間的參考?xì)v史反饋向量來確定。
[0024]本發(fā)明的另一方面涉及一種迭代視頻圖片檢索裝置，其特征在于，通過多次迭代來得到檢索結(jié)果，包括:迭代策略設(shè)定單元，設(shè)定迭代深度、每層迭代的檢索線索數(shù)目；檢索線索輸入單元，根據(jù)由所述迭代策略設(shè)定單元設(shè)定的所述檢索線索數(shù)目，從用戶側(cè)輸入進(jìn)行首次檢索用的用于描述目標(biāo)物體的特征的特征向量，作為檢索線索集；檢索單元，記錄檢索起點，并將檢索線索集中的各個檢索線索的特征向量發(fā)送給檢索服務(wù)器進(jìn)行檢索；輸出單元，從所述檢索服務(wù)器接收檢索結(jié)果的特征向量集，并將其輸出到用戶側(cè)；迭代深度判斷單元，判斷當(dāng)前檢索單元是否已經(jīng)達(dá)到了由所述迭代策略設(shè)定單元所設(shè)定的迭代深度；中間結(jié)果確定單元，在所述迭代深度判斷單元中判斷為未達(dá)到所設(shè)定的迭代深度的情況下，根據(jù)由所述迭代策略設(shè)定單元設(shè)定的所述檢索線索數(shù)目，查詢迭代記錄庫，選擇確定下一步迭代檢索用的檢索線索集，調(diào)用所述檢索單元；迭代記錄庫更新單元，在所述迭代深度判斷單元中判斷為已經(jīng)達(dá)到了所設(shè)定的迭代深度的情況下，在用戶完成檢索結(jié)果的