本發(fā)明屬于圖像檢索領(lǐng)域，具體涉及一種視頻索引方法。

背景技術(shù)：
隨著互聯(lián)網(wǎng)與多媒體技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)中充斥著各種各樣的多媒體信息。人們對(duì)于視頻信息檢索的需求也變得越來越大。傳統(tǒng)的視頻檢索技術(shù)采用基于關(guān)鍵字的檢索方式，這種方式主要是根據(jù)該視頻所在URL、文件名、標(biāo)簽和視頻周圍的文本等外部信息進(jìn)行檢索或者通過手工視頻標(biāo)注來檢索。不可否認(rèn)，手工標(biāo)注可以提供快速的視頻檢索，但是，手工標(biāo)注耗時(shí)費(fèi)力，且手工標(biāo)注視頻信息難免出現(xiàn)漏洞，摻進(jìn)了人的主觀偏見，于是基于內(nèi)容的視頻檢索（CBVR，ContentBasedonVideoRetrieval）應(yīng)運(yùn)而生?；趦?nèi)容的視頻檢索系統(tǒng)允許用戶輸入一張圖片，以查找包含具有相同或相似內(nèi)容的圖片的視頻?；趦?nèi)容的視頻檢索系統(tǒng)的核心是使用圖像的可視特征對(duì)圖像進(jìn)行檢索。它的實(shí)現(xiàn)依賴于兩個(gè)關(guān)鍵技術(shù)：特征提取與索引結(jié)構(gòu)。選擇和提取具有代表性的特征，直接關(guān)系到基于內(nèi)容的視頻檢索系統(tǒng)的性能。由于要利用低層視覺特征，提取高層語義特征，將之用于檢索，實(shí)現(xiàn)難度很大，所以現(xiàn)在視頻檢索主要集中在對(duì)低層特征的檢索。低層特征根據(jù)提取區(qū)域不同又可以分為局部特征和全局特征。由于局部特征數(shù)目過多，內(nèi)存占用太大，所以現(xiàn)在一般采用全局特征。常用的全局描述符有BOF（Bag-of-Features）、GIST、VLAD（VectorsofLocallyAggregatedDescriptors）等。BOC描述符是由法國自動(dòng)化研究所在2011年提出一種采用學(xué)習(xí)方式生成的顏色描述符，BOF是最先使用的聚合描述符，它能提供較高的查詢準(zhǔn)確率，為基于內(nèi)容的圖像檢索開辟了一個(gè)新的方向，同時(shí)帶來了一系列有待解決的新問題，如何聚合一副圖像中大量的高維局部特征向量以獲得一個(gè)最佳的圖像聚合向量。由于BOF只統(tǒng)計(jì)了局部特征對(duì)應(yīng)的視覺單詞的詞頻信息，因此BOF描述符的辨別能力受到了限制。為了進(jìn)一步提高BOF的準(zhǔn)確率，Jegou提出了VLAD，VLAD描述符是先從圖像中提取SIFT描述符，然后聚類，將各個(gè)聚類的結(jié)果拼接起來形成最終的全局描述符。VLAD描述符對(duì)于遮擋、旋轉(zhuǎn)具有較強(qiáng)的穩(wěn)定性。索引結(jié)構(gòu)用于對(duì)海量高維圖像特征數(shù)據(jù)進(jìn)行有效的組織和管理，是加快圖像檢索速度和提高檢索準(zhǔn)確度的關(guān)鍵因素。近幾十年來，研究人員在索引結(jié)構(gòu)方面進(jìn)行了大量的研究，提出了多種樹型索引結(jié)構(gòu)，并在維度較低的特征空間獲得較好的檢索效果，但是傳統(tǒng)的數(shù)型索引結(jié)構(gòu)在處理高維數(shù)據(jù)時(shí)會(huì)面臨“維度災(zāi)難”。于是，Indyk等人提出了基于位置敏感哈希的索引結(jié)構(gòu)。這類索引結(jié)構(gòu)在一定程度上緩解了“維度災(zāi)難”，但是由于其占用內(nèi)存空間過大，因此無法滿足海量圖片的檢索需求。為了減少索引結(jié)構(gòu)占用內(nèi)存空間的大小，基于詞袋模型的圖像索引結(jié)構(gòu)應(yīng)運(yùn)而生。在基于詞袋模型的索引結(jié)構(gòu)中，Chen提出的基于殘差量化的倒排索引結(jié)構(gòu)能夠提供較高的檢索性能。殘差量化倒排索引結(jié)構(gòu)將特征向量進(jìn)行分層量化，逐步求精，減小誤差，提高了查詢的準(zhǔn)確率。雖然基于內(nèi)容的視頻索引領(lǐng)域取得了很大的進(jìn)步，但是還有許多問題需要克服。從VLAD的生成過程可以看出，局部特征向量到訓(xùn)練好的聚類中的分配采用的是硬分配策略，即每個(gè)局部特征向量只能量化到與其最近的一個(gè)聚類中，但是實(shí)際情況下，即使兩個(gè)描述符之間的距離非常的近，也有可能被分配到完全不同的聚類中。而且描述符VLAD它只利用了圖像的灰度信息，忽略了圖像的顏色信息索引結(jié)構(gòu)方面，不能充分的表達(dá)圖像的內(nèi)容。多特征有利于提高圖像檢索準(zhǔn)確度，但是殘差量化倒排索引結(jié)構(gòu)只是針對(duì)單一特征，無法適應(yīng)基于多特征的圖像檢索。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的在于提供一種基于多特征的視頻索引方法，其目的在于通過優(yōu)化圖像特征描述符的生成，利用基于多特征的索引結(jié)構(gòu)，從而解決提高視頻檢索系統(tǒng)的性能的問題。實(shí)現(xiàn)本發(fā)明目的所采用的具體技術(shù)方案如下：一種基于多特征的視頻索引方法，利用查詢圖片對(duì)視頻的關(guān)鍵幀圖像進(jìn)行查詢，從而完成視頻的檢索，其特征在于，該方法包括：從關(guān)鍵幀圖像中選取樣本圖像，生成多個(gè)圖像特征，包括局部聚合描述符和BOC描述符；根據(jù)關(guān)鍵幀圖像的局部聚合描述符和BOC描述符，訓(xùn)練殘差編碼本，并構(gòu)建視頻圖像的多特征分層索引；利用查詢圖片對(duì)所構(gòu)建的多特征分層索引進(jìn)行查詢，獲得候選集；根據(jù)鏡頭類型，確定視頻圖像的局部聚合描述符和BOC描述符賦予不同的權(quán)重，優(yōu)化候選集排序結(jié)果，即可完成視頻索引。本發(fā)明采用軟分配思想改進(jìn)局部聚合描述符的生成過程，將其與BOC（bagofcolor）描述符、鏡頭類型共同作為圖像特征構(gòu)建多特征分層索引，最后用于多特征分層索引查詢和重排序。具體步驟如下：（1）生成描述符SA-VLAD（SoftAssignment-VectorsofLocallyAggregatedDescriptors）通過訓(xùn)練樣本集合，獲得包含k個(gè)聚類的編碼本；然后，根據(jù)局部特征向量與k個(gè)聚類中心的遠(yuǎn)近，選取最近的t個(gè)聚類中心；最后，根據(jù)到t個(gè)聚類中心的距離計(jì)算隸屬度，分配局部特征向量，拼接各個(gè)聚類即可獲得SA-VLAD向量。（2）多特征分層索引構(gòu)建首先，對(duì)訓(xùn)練樣本集進(jìn)行訓(xùn)練，獲得殘差量化編碼本；其次，根據(jù)殘差編碼本，對(duì)關(guān)鍵幀的SA-VLAD描述符和BOC描述符進(jìn)行殘差量化，獲得殘差編碼；最后，將關(guān)鍵幀特征插入索引中，即根據(jù)SA-VLAD、BOC描述符的殘差編碼和鏡頭類型，計(jì)算部分距離并將其與編碼放入相應(yīng)的倒排鏈表中去。（3）多特征分層索引查詢首先，根據(jù)兩種描述符的殘差編碼本，生成距離查找表，用于加速精確距離計(jì)算；其次，通過查詢圖片的BOC描述符和SA-VLAD描述符查找距離最近的w條倒排鏈表；最后依據(jù)鏡頭類型，將倒排鏈表中的候選對(duì)象取出作為候選集。（4）候選集重排序候選集排序過程中，通過鏡頭類型選取不同的權(quán)重配比，采用SA-VLAD和BOC特征的相似度加權(quán)和計(jì)算最終的圖像相似度，并根據(jù)圖像相似度返回檢索結(jié)果。在遠(yuǎn)鏡頭中，BOC描述符權(quán)重較高；在非遠(yuǎn)鏡頭中，SA-VLAD描述符權(quán)重較高。本發(fā)明在分析視頻的特點(diǎn)的基礎(chǔ)上，優(yōu)化了局部聚合描述符的生成，設(shè)計(jì)了結(jié)合非對(duì)稱距離計(jì)算、殘差量化編碼和倒排索引的索引方法——多特征分層索引，以及基于多特征的候選集查詢和排序算法，提高了視頻檢索系統(tǒng)的性能。具體而言，本發(fā)明具有以下優(yōu)點(diǎn)：（1）提高描述符的識(shí)別率，本發(fā)明將軟分配思想與VLAD相結(jié)合，優(yōu)化了局部聚合描述符的生成，提高了局部聚合描述符的識(shí)別率。（2）優(yōu)化查詢結(jié)果準(zhǔn)確率，本發(fā)明結(jié)合多特征，將索引劃分為不同的特征索引層，在保證查詢速度的情況下，提高了查詢準(zhǔn)確率。附圖說明圖1為本發(fā)明實(shí)施例的SA-VLAD生成流程圖。圖2為本發(fā)明實(shí)施例的多特征分層索引邏輯結(jié)構(gòu)圖。圖3為本發(fā)明實(shí)施例的殘差量化器訓(xùn)練過程示意圖。圖4為本發(fā)明實(shí)施例的多特征分層索引構(gòu)建過程索引。圖5為本發(fā)明實(shí)施例的殘差量化編碼過程示意圖。圖6為本發(fā)明實(shí)施例的多特征分層檢索過程流程圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明實(shí)施例中的視頻優(yōu)選為足球視頻，采用sift特征作為圖像的局部特征。本發(fā)明實(shí)施例主要分為三個(gè)部分：訓(xùn)練模塊，訓(xùn)練樣本圖像，生成各種編碼本；索引構(gòu)建模塊，提取圖像庫中圖像的特征，將其存入索引結(jié)構(gòu)中去；查詢模塊，用戶提交圖片，在索引結(jié)構(gòu)中查找相似圖片，并返回結(jié)果。本實(shí)施例中，數(shù)據(jù)庫圖片由互聯(lián)網(wǎng)上足球視頻的關(guān)鍵幀圖像構(gòu)成，查詢圖片由用戶提供。本發(fā)明采用軟分配思想改進(jìn)局部聚合描述符的生成過程，將其與BOC描述符、鏡頭類型共同作為圖像特征構(gòu)建多特征分層索引，最后用于多特征分層索引查詢和重排序。具體地，本實(shí)施例的基于多特征的視頻索引方法具體包括如下步驟。（1）生成描述符SA-VLADSA-VLAD描述符的生成包括兩個(gè)子步驟：訓(xùn)練編碼本和生成SA-VLAD向量。首先隨機(jī)選取n張樣本圖片，從圖片中提取sift局部特征，然后訓(xùn)練sift局部特征集合得到k個(gè)聚類中心，一般采用kmeans作為訓(xùn)練方法，聚類中心稱為碼字，碼字構(gòu)成的集合即為編碼本。得到編碼本后，聚合每幅圖像的sift局部特征向量為一個(gè)SA-VLAD向量。如圖1，具體步驟如下：（1.1）從每幅圖像中提取出sift特征；（1.2）初始化SA-VLAD為維度為k*d的零向量sν。其中，k為聚類中心數(shù)目，d為圖像sift特征向量的維度；（1.3）針對(duì)每個(gè)sift特征向量S在所有聚類中心中通過近鄰查找得到t個(gè)與其距離最近的聚類中心；其中，t為整數(shù)，t小于k。（1.4）使用距離差閾值α過濾距離過大的聚類中心。S與其近鄰的各聚類中心距離分別為dm，1<m≤t，與其最近聚類中心距離為d1，當(dāng)且僅當(dāng)dm-d1<α?xí)r，第m個(gè)近鄰聚類中心才參與sift特征分配，其中距離差閾值α可根據(jù)實(shí)際情況確定，一般通過實(shí)驗(yàn)調(diào)整選取。（1.5）分配sift特征。根據(jù)sift特征向量與步驟（1.4）篩選得到的近鄰聚類中心的歐氏距離，計(jì)算隸屬權(quán)值，并根據(jù)隸屬權(quán)值，將sift特征的一部分放入相應(yīng)的近鄰聚類中去，隸屬權(quán)值計(jì)算方法如下；（1.6）一個(gè)圖像所有sift局部特征向量與其近鄰聚類中心的差值的集合即為其SA-VLAD。sνi為d維度的向量，表示圖像的SA-VLAD在第i個(gè)聚類中心位置上的差值和，得sνi為：sν=[sν1,…,sνi,…,sνk]（2）多特征分層索引構(gòu)建該步驟主要是將數(shù)據(jù)庫中的圖片運(yùn)用步驟（1）產(chǎn)生SA-VLAD向量和BOC向量等圖像特征，并進(jìn)行有效的存儲(chǔ)，盡可能的使索引更小，查詢速度更快更準(zhǔn)，包括兩個(gè)子步驟：訓(xùn)練殘差編碼本和插入數(shù)據(jù)庫數(shù)據(jù)。對(duì)原始的基于殘差量化編碼的倒排索引進(jìn)行了擴(kuò)充。將索引結(jié)構(gòu)分為兩層，第一層為BOC特征層，第二層為SA-VLAD特征層，在末端節(jié)點(diǎn)連接的倒排鏈表根據(jù)鏡頭類型的不同，分裂為兩條鏈表：遠(yuǎn)鏡頭鏈表和非遠(yuǎn)鏡頭鏈表。索引結(jié)構(gòu)的邏輯示意圖如圖2所示。該步驟具體過程如下：（2.1）訓(xùn)練殘差編碼本。隨機(jī)從圖像庫中選取一定數(shù)量的圖片作為訓(xùn)練圖片，采用步驟（1）的方法生成SA-VLAD樣本向量集和BOC樣本向量集，將他們作為輸入，進(jìn)行多次k-means聚類，獲得殘差編碼本，即每一次聚類獲得的聚類中心。SA-VALD特征的關(guān)鍵幀圖像編碼本訓(xùn)練過程如下：首先，提取訓(xùn)練圖片的sift特征，形成SA-VLAD向量，將這些向量作為訓(xùn)練SA-VLAD特征的殘差編碼本樣本集合；然后對(duì)樣本集合進(jìn)行第一次kmeans訓(xùn)練，獲得k個(gè)聚類中心，將這k個(gè)聚類中心作為第一級(jí)子量化器的碼書；然后，輸入向量減去最近的聚類中心獲得量化誤差最為第二級(jí)子量化器的訓(xùn)練樣本。最后，反復(fù)執(zhí)行L次kmeans，獲得L級(jí)子量化器，將L級(jí)子量化器組合，便形成了SA-VLAD特征的殘差編碼本。本實(shí)施例中以兩級(jí)殘差量化器的訓(xùn)練過程為例對(duì)殘差編碼進(jìn)行說明，其他級(jí)別的殘差量化器的訓(xùn)練過程可同樣進(jìn)行。如圖3所示，兩級(jí)殘差量化器訓(xùn)練過程為：訓(xùn)練數(shù)據(jù)集X通過k-means進(jìn)行聚類，將聚類中心作為第一級(jí)量化器Q1存儲(chǔ)下來。整個(gè)訓(xùn)練對(duì)象由第一級(jí)量化器進(jìn)行量化得到ΔX1，即距離最近的聚類中心，其量化誤差集剩余向量為E1，然后將E1作為第二級(jí)量化器的訓(xùn)練數(shù)據(jù)集，得到第二級(jí)量化器Q2，至此兩級(jí)殘差量化器訓(xùn)練過程結(jié)束。（2.2）插入數(shù)據(jù)庫數(shù)據(jù)如圖4所示插入數(shù)據(jù)庫數(shù)據(jù)的過程如下：（2.2.1）提取數(shù)據(jù)庫圖片的BOC向量yboc、SA-VLAD向量ysa-vlad和鏡頭類型。（2.2.2）對(duì)yboc和ysa-vlad進(jìn)行殘差量化，分別獲取殘差編碼序列。yboc的殘差量化過程如下：首先，輸入向量yboc在第一級(jí)子量化器中找到最近的聚類中心，將其ID存儲(chǔ)下來，量化誤差為向量yboc減去最近聚類中心所得的剩余向量；然后，將第一級(jí)量化器產(chǎn)生的量化誤差作為第二級(jí)子量化器的輸入；最后經(jīng)過L級(jí)子量化器量化后，將每級(jí)量化的聚類中心ID存儲(chǔ)下來，即可獲得輸入向量Y的殘差編碼序列j=1…Lboc，同理獲得ysa-vlad的殘差編碼序列j=1…Lsa-vlad。為闡述上述過程，本實(shí)施例以兩級(jí)殘差量化器為例，則量化過程如圖5所示。（2.2.3）根據(jù)BOC描述向量的殘差量化編碼計(jì)算第一特征層指向的倒排鏈表的ID，根據(jù)SA-VLAD描述符的殘差編碼計(jì)算第二層索引的ID。最后，根據(jù)數(shù)據(jù)庫圖像的鏡頭類型，將數(shù)據(jù)庫圖像的相關(guān)信息存入相應(yīng)的倒排鏈表中。（3）多特征分層檢索該步驟結(jié)合非對(duì)稱距離計(jì)算和殘差量化近似近鄰查詢，通過三種特征，層層過濾，不斷縮小候選集，從而加速檢索速度，提高查詢準(zhǔn)確率。檢索流程如圖6所示。該過程步驟如下：（3.1）生成查找表。查找表的作用是加快精確距離計(jì)算。這一步主要生成BOC特征索引層和SA-VLAD特征索引層兩個(gè)查找表。其中BOC特征查找表中記錄了查詢圖片的BOC描述符xboc與相應(yīng)的殘差編碼量化器Cboc之間的點(diǎn)積1≤i≤Lboc,1≤j≤Kboc，相同的，SA-VLAD特征查找表中記錄了查詢圖片的SA-VLAD描述向量xsa-vlad與對(duì)應(yīng)的殘差編碼量化器Csa-vlad之間的點(diǎn)積1≤i≤Lsa-vlad,1≤j≤Ksa-vlad。（3.2）根據(jù)查詢圖像的BOC特征，在BOC特征索引層找到距離最近的wboc個(gè)倒排鏈表。圖像的BOC特征向量與倒排鏈表之間的歐式距離為粗糙距離，該粗糙距離計(jì)算公式如下：由粗糙距離計(jì)算公式可知，由于已經(jīng)在索引建立階段計(jì)算并存儲(chǔ)了下來，可以在生成的查找表中查到，所以計(jì)算粗糙距離時(shí)，只需要計(jì)算以及將上述各個(gè)分量相加減。為部分距離，即BOC描述符對(duì)應(yīng)部分維上的歐氏距離。（3.3）根據(jù)查詢圖像的SA-VLAD特征，在SA-VLAD特征索引層找到距離最近的wsa-vlad個(gè)倒排鏈表。計(jì)算過程與BOC特征層類似。（3.4）根據(jù)查詢圖片的鏡頭類型選擇相應(yīng)的倒排鏈表。如果查詢圖片的鏡頭類型是遠(yuǎn)鏡頭，則將遠(yuǎn)鏡頭倒排鏈表中的元素作為候選集進(jìn)行精確距離計(jì)算，否則將非遠(yuǎn)鏡頭倒排鏈表中的元素作為候選集。（4）候選集重排序該步驟主要對(duì)步驟（3）查詢得到的候選集進(jìn)行重排序，盡可能地提高用戶體驗(yàn)。包括兩個(gè)子步驟：精確距離計(jì)算和相似度計(jì)算。利用已經(jīng)得到的粗糙距離和查找表，加速精確距離的計(jì)算。對(duì)SA-VLAD描述符和BOC描述符的距離進(jìn)行加權(quán)求和，充分利用多特征包含的信息，重現(xiàn)計(jì)算相似度得分，排序候選集合。該步驟具體如下：（4.1）精確距離計(jì)算。利用已經(jīng)生成的查找表和前面計(jì)算的粗糙距離，分別計(jì)算查詢圖像SA-VLAD描述符與BOC描述符跟數(shù)據(jù)庫圖片相應(yīng)特征的精確距離。由于兩種描述符的粗糙距離已經(jīng)在檢索候選集合時(shí)計(jì)算過了，并且在建立索引的時(shí)候計(jì)算并存儲(chǔ)在倒排鏈表中，<x,ci,j>計(jì)算并存儲(chǔ)在查找表中，所以計(jì)算精確距離時(shí)，只需要執(zhí)行L-L1+2次查表操作和L-L1+2加法運(yùn)算。（4.2）根據(jù)距離和鏡頭類型計(jì)算相似度得分并排序。由于遠(yuǎn)鏡頭和非遠(yuǎn)鏡頭圖像的相差較大，所以BOC描述符的權(quán)重wboc和SA-VLAD描述符的權(quán)重wsa-vlad會(huì)依據(jù)鏡頭類型的不同而不同，可根據(jù)實(shí)際情況具體確定。相似度得分計(jì)算公式如下：其中為查詢圖像BOC描述符與數(shù)據(jù)庫圖片之間的距離，為查詢圖像SA-VLAD描述符與數(shù)據(jù)庫圖片之間的距離。其中相似度得分越大說明其兩幅圖像越相似。