本發(fā)明屬于大數(shù)據(jù)、數(shù)據(jù)庫、數(shù)據(jù)挖掘等領(lǐng)域，具體涉及一種視頻數(shù)據(jù)分布式檢索方法及系統(tǒng)。

背景技術(shù)：

1、視頻檢索是指從大規(guī)模視頻數(shù)據(jù)中檢索出與查詢條件相關(guān)的視頻內(nèi)容，主要分為基于內(nèi)容的視頻檢索和基于文本的視頻檢索?，F(xiàn)有的檢索方法主要基于倒排索引和近似最近鄰查詢方法構(gòu)建，這兩類方法均來自于傳統(tǒng)的文本檢索方法，在處理高維視頻數(shù)據(jù)時(shí)具有較高的計(jì)算復(fù)雜度。目前最新的檢索方法是基于多模態(tài)融合的方法，需要結(jié)合視覺信息、音頻信息、文本信息等多模態(tài)信息來提高檢索準(zhǔn)確率。

2、目前視頻檢索技術(shù)的主要難點(diǎn)和挑戰(zhàn)在于：1)視頻數(shù)據(jù)的快速激增對(duì)現(xiàn)有檢索方法的延展性帶來較大挑戰(zhàn)；2)對(duì)視頻內(nèi)容的深入理解和有效特征抽取仍然具有較大困難；3)視頻監(jiān)控和直播等真實(shí)應(yīng)用場(chǎng)景對(duì)實(shí)時(shí)檢索技術(shù)具有較高要求，而現(xiàn)有方法查詢性能難以滿足。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，實(shí)現(xiàn)對(duì)視頻數(shù)據(jù)索引空間的大幅壓縮，以顯著提升查詢效率的目的，本發(fā)明采用如下技術(shù)方案：

2、一種高效的視頻數(shù)據(jù)分布式檢索方法，包括如下步驟：

3、(1)圖像幀特征抽取，將視頻數(shù)據(jù)的每幀圖像轉(zhuǎn)化為一組多維特征矢量序列；

4、(2)數(shù)據(jù)索引構(gòu)建，以各維度為單位分離該組多維特征矢量序列，得到各維度的子特征序列，以構(gòu)建索引；

5、(3)查詢處理，將檢索視頻的每幀圖像轉(zhuǎn)化為一組多維的檢索視頻特征矢量序列，以各維度為單位分離該組多維的檢索視頻特征矢量序列，得到各維度的檢索視頻子特征序列，基于檢索視頻子特征序列和索引上的視頻數(shù)據(jù)子特征序列，計(jì)算相似性，將相似度高的索引節(jié)點(diǎn)所包含的視頻對(duì)象作為中間候選集；

6、(4)后續(xù)處理，對(duì)各維度子特征上查詢的中間候選集取交集，將得到的最終候選集對(duì)應(yīng)的原始視頻數(shù)據(jù)與檢索視頻進(jìn)行相似性比較，得到查詢結(jié)果。

7、進(jìn)一步地，所述步驟(2)中，通過各維度的子特征序列，抽取子特征序列的前綴序列特征，以構(gòu)建索引；所述步驟(3)中，通過各維度的檢索視頻子特征序列，抽取檢索視頻子特征序列的前綴特征，在所述索引上依次計(jì)算檢索視頻的前綴特征與每個(gè)索引節(jié)點(diǎn)對(duì)應(yīng)的前綴特征的歐氏距離；基于前綴特征的歐氏距離是多元?jiǎng)討B(tài)時(shí)間彎曲距離的下界距離，可以保證查詢結(jié)果的完備性，即在原始數(shù)據(jù)上基于多元?jiǎng)討B(tài)時(shí)間彎曲距離查詢的結(jié)果必然包含在基于前綴特征歐氏距離查詢的中間候選集中。

8、進(jìn)一步地，所述步驟(2)中，抽取每個(gè)子特征序列等長前綴序列的起始值、最終值、最大值、最小值作為其前綴特征；所述步驟(3)中，抽取每個(gè)檢索視頻子特征序列等長前綴序列的起始值、最終值、最大值、最小值作為其前綴特征。

9、進(jìn)一步地，所述步驟(2)中，在視頻數(shù)據(jù)庫各子特征序列的前綴特征集合上，構(gòu)建度量索引或空間索引。

10、進(jìn)一步地，所述步驟(3)中，在所述索引上，依次計(jì)算檢索視頻的每個(gè)子特征序列的前綴特征，到索引節(jié)點(diǎn)對(duì)應(yīng)的視頻數(shù)據(jù)的前綴特征的歐氏距離，將距離值大于查詢閾值的節(jié)點(diǎn)及其子樹進(jìn)行剪枝，返回所有距離值小于等于查詢閾值的葉節(jié)點(diǎn)所包含的視頻對(duì)象作為中間候選集。

11、進(jìn)一步地，所述步驟(1)中，利用sift尺度不變特征變換方法，降維抽取每個(gè)視頻數(shù)據(jù)每幀圖像的多個(gè)維度尺度不變特征矢量，得到一組多維特征矢量序列。

12、進(jìn)一步地，所述步驟(4)中，由于得到的最終候選集為地址值，需要通過磁盤i/o依次讀取最終候選集對(duì)應(yīng)的原始視頻數(shù)據(jù)，計(jì)算每個(gè)原始視頻數(shù)據(jù)的特征矢量序列與檢索視頻的特征矢量序列的多元?jiǎng)討B(tài)時(shí)間彎曲距離，將小于等于查詢閾值的視頻對(duì)象作為查詢結(jié)果。

13、進(jìn)一步地，所述步驟(4)中，多元?jiǎng)討B(tài)時(shí)間彎曲距離的計(jì)算，具體包括以下子步驟：

14、(4.1)構(gòu)建兩個(gè)多元時(shí)間序列的點(diǎn)對(duì)距離矩陣，矩陣中每個(gè)單元值是兩個(gè)序列相應(yīng)位置采樣矢量的歐氏距離；

15、(4.2)在點(diǎn)對(duì)距離矩陣上利用動(dòng)態(tài)規(guī)劃算法尋找最優(yōu)彎曲路徑，使路徑上元素值的累加和最小，以該路徑累加和作為最終距離度量值，以判斷相似性。

16、一種高效的視頻數(shù)據(jù)分布式檢索方法的檢索系統(tǒng)，應(yīng)用于分布式數(shù)據(jù)庫，所述系統(tǒng)包括視頻特征抽取模塊、數(shù)據(jù)索引構(gòu)建模塊、查詢處理模塊和后續(xù)處理模塊，分別用于所述視頻特征抽取、所述數(shù)據(jù)索引構(gòu)建、所述查詢處理和所述后續(xù)處理，所述各維度的子特征序列部署于所述分布式數(shù)據(jù)庫。

17、本發(fā)明的優(yōu)勢(shì)和有益效果在于：

18、1.傳統(tǒng)的視頻檢索方法在所有圖像幀上統(tǒng)一構(gòu)建索引，圖像幀的高維特性使得下界距離不夠緊湊，導(dǎo)致中間候選集規(guī)模較大，而本發(fā)明的分布式索引通過交集運(yùn)算可顯著降低候選集規(guī)模，極大地提升查詢效率；

19、2.視頻數(shù)據(jù)占用存儲(chǔ)空間較大，而傳統(tǒng)的統(tǒng)一索引結(jié)構(gòu)要求數(shù)據(jù)集中存儲(chǔ)，對(duì)數(shù)據(jù)庫的存儲(chǔ)容量和擴(kuò)容能力提出較高要求；而本發(fā)明提出的分布式索引方法可以有效實(shí)現(xiàn)大規(guī)模視頻數(shù)據(jù)的分布式存儲(chǔ)和檢索，同時(shí)子特征索引之間相互獨(dú)立，使得索引結(jié)構(gòu)具有較高的延展性；

20、3.傳統(tǒng)的視頻檢索方法僅支持歐氏距離度量，而本發(fā)明采用的前綴序列特征上的歐氏距離是動(dòng)態(tài)時(shí)間彎曲距離的下界，可以有效支持基于動(dòng)態(tài)時(shí)間彎曲距離的完備查詢，具有更高的檢索準(zhǔn)確率，并且可支持時(shí)長不等視頻的檢索；

技術(shù)特征：

1.一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(2)中，通過各維度的子特征序列，抽取子特征序列的前綴特征，以構(gòu)建索引；所述步驟(3)中，通過各維度的檢索視頻子特征序列，抽取檢索視頻子特征序列的前綴特征，在所述索引上依次計(jì)算檢索視頻的前綴特征與每個(gè)索引節(jié)點(diǎn)對(duì)應(yīng)的前綴特征的歐氏距離。

3.根據(jù)權(quán)利要求2所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(2)中，抽取每個(gè)子特征序列等長前綴序列的起始值、最終值、最大值、最小值作為其前綴特征；所述步驟(3)中，抽取每個(gè)檢索視頻子特征序列等長前綴序列的起始值、最終值、最大值、最小值作為其前綴特征。

4.根據(jù)權(quán)利要求2所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(2)中，在視頻數(shù)據(jù)庫各子特征序列的前綴特征集合上，構(gòu)建度量索引或空間索引。

5.根據(jù)權(quán)利要求2所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(3)中，在所述索引上，依次計(jì)算檢索視頻的每個(gè)子特征序列的前綴特征，到索引節(jié)點(diǎn)對(duì)應(yīng)的視頻數(shù)據(jù)的前綴特征的歐氏距離，將距離值大于查詢閾值的節(jié)點(diǎn)及其子樹進(jìn)行剪枝，返回所有距離值小于等于查詢閾值的葉節(jié)點(diǎn)所包含的視頻對(duì)象作為中間候選集。

6.根據(jù)權(quán)利要求1所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(1)中，利用sift尺度不變特征變換方法，降維抽取每個(gè)視頻數(shù)據(jù)每幀圖像的多個(gè)維度尺度不變特征矢量，得到一組多維特征矢量序列。

7.根據(jù)權(quán)利要求1所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(4)中，通過磁盤i/o依次讀取最終候選集對(duì)應(yīng)的原始視頻數(shù)據(jù)，計(jì)算每個(gè)原始視頻數(shù)據(jù)的特征矢量序列與檢索視頻的特征矢量序列的多元?jiǎng)討B(tài)時(shí)間彎曲距離，將小于等于查詢閾值的視頻對(duì)象作為查詢結(jié)果。

8.根據(jù)權(quán)利要求7所述的一種高效的視頻數(shù)據(jù)分布式檢索方法，其特征在于：所述步驟(4)中，多元?jiǎng)討B(tài)時(shí)間彎曲距離的計(jì)算，具體包括以下子步驟：

9.一種根據(jù)權(quán)利要求1所述的一種高效的視頻數(shù)據(jù)分布式檢索方法的檢索系統(tǒng)，應(yīng)用于分布式數(shù)據(jù)庫，其特征在于：所述系統(tǒng)包括視頻特征抽取模塊、數(shù)據(jù)索引構(gòu)建模塊、查詢處理模塊和后續(xù)處理模塊，分別用于所述視頻特征抽取、所述數(shù)據(jù)索引構(gòu)建、所述查詢處理和所述后續(xù)處理，所述各維度的子特征序列部署于所述分布式數(shù)據(jù)庫。

技術(shù)總結(jié)
本發(fā)明公開了一種高效的視頻數(shù)據(jù)分布式檢索方法及系統(tǒng)，首先，通過圖像特征抽取技術(shù)將視頻數(shù)據(jù)轉(zhuǎn)換為特征向量序列；其后，通過數(shù)據(jù)索引構(gòu)建抽取樣本子特征序列的前綴特征，并在各子特征維度上分別構(gòu)建空間索引；最后，通過查詢處理，在各子索引上分別基于下界距離查詢過濾候選集，通過對(duì)候選集取交集和后續(xù)處理過程完成精確的視頻檢索。應(yīng)用本發(fā)明提出的多元時(shí)間序列數(shù)據(jù)分布式相似性查詢方法，可以實(shí)現(xiàn)大規(guī)模視頻數(shù)據(jù)的分布式存儲(chǔ)和高效查詢，針對(duì)給定的視頻段落或語義描述，在海量的視頻數(shù)據(jù)庫中快速識(shí)別和定位查詢內(nèi)容。本發(fā)明提出的視頻數(shù)據(jù)分布式索引結(jié)構(gòu)可以有效支持時(shí)長不等的視頻檢索，并且具有較高的空間延展性，在大數(shù)據(jù)和數(shù)據(jù)挖掘、數(shù)據(jù)庫等領(lǐng)域可發(fā)揮重要作用。

技術(shù)研發(fā)人員：蔡青林,陳蕾英,吳雨潼,邵健,魯偉明,陳嶺
受保護(hù)的技術(shù)使用者：東海實(shí)驗(yàn)室
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30