專利名稱：：基于視頻摘要元數(shù)據(jù)的檢索方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻信息處理領(lǐng)域，具體涉及針對視頻檢索提出一種新的快速的基于視頻摘要元數(shù)據(jù)的檢索方法。
背景技術(shù)：
：視頻檢索就是從海量的視頻數(shù)據(jù)中檢索到自己需要的視頻片斷。視頻摘要即是對一長段視頻內(nèi)容的簡短的總結(jié)。更加明確一點,視頻摘要就是一連串靜止或運動的圖像,它們用精簡的方式代表了原視頻的內(nèi)容，而保留了原內(nèi)容的要點。隨著電視臺視頻節(jié)目的積累、網(wǎng)上數(shù)字視頻的增加，以及數(shù)字圖書館、視頻點播、遠程教學等大量的多媒體應用，如何在海量視頻中快速檢索出所需要的資料顯得至關(guān)重要。由于視頻數(shù)據(jù)量大，具有時間及空間結(jié)構(gòu)，其表達、存儲、傳輸、組織具有更大的難度，只有合理地組織這些視頻數(shù)據(jù)，才能有效地瀏覽、檢索這些信息。比較經(jīng)典的視頻檢索技術(shù)是基于內(nèi)容的視頻檢索，這是一種比較具體的視覺內(nèi)容描述(更接近人類的感知)，可以充分發(fā)揮人類感知能力的交互方法，用戶不僅可以借助文字查詢方法，也可以借助視覺瀏覽和視覺范例查詢方法利用搜索引擎進入索引進行檢索，這種技術(shù)是直接根據(jù)圖像內(nèi)容進行圖像信息的査詢，即抽取整幅圖像的特征，與所要檢索圖像的特征進行比較，根據(jù)一定的相似性匹配準則來判斷其相似性。它是基于兩幅圖片整個信息的比較，而用戶需求的是一幅圖片中的一部分，那么其他的無關(guān)信息就影響了計算量，和判斷圖片相關(guān)性的準確性。這樣一種視頻檢索技術(shù)也沒有生成一個有效的視頻結(jié)構(gòu)來供用戶來瀏覽、檢索視頻信息。
發(fā)明內(nèi)容本發(fā)明克服了上述已有視頻檢索算法的缺陷，提供了一種高效、快速的基于視頻摘要元數(shù)據(jù)的檢索方法。本發(fā)明解決其技術(shù)問題所采取的技術(shù)方案是一種基于視頻摘要元數(shù)據(jù)的檢索方法，包括如下步驟提取視頻數(shù)據(jù)中的關(guān)鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數(shù)；利用灰度分布和概率密度函數(shù)建立元數(shù)據(jù)，存入數(shù)據(jù)庫；根據(jù)用作檢索的原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要的元數(shù)據(jù)進行比對，取相似度最高的視頻圖像為檢索結(jié)果。在所述提取視頻數(shù)據(jù)中的關(guān)鍵幀的步驟，進一步包括對視頻數(shù)據(jù)進行鏡頭歸類，分別從各自歸類后的鏡頭中選取當前鏡頭中的指定幀作為關(guān)鍵幀。對視頻摘要中的每幀圖像進行劃分，對劃分后的各部分分別求出灰度分布和概率密度函數(shù)。所述對視頻摘要中的每幀圖像進行劃分，包括將圖像劃分為場景部分和主題部分。所述鏡頭的歸類，可根據(jù)利用相鄰圖像幀的交互信息量，根據(jù)設定的閾值進行歸類。所述相似度的比對具體為，逐一計算所述原始圖像中的元數(shù)據(jù)和所述各視頻摘要中的元數(shù)據(jù)的交互信息量，取交互信息量最大者為相似度最高的視頻圖像。根據(jù)用作檢索的原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要的元數(shù)據(jù)進行比對的步驟，進一步為將原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要中劃分后各部分的元數(shù)據(jù)進行比對。本發(fā)明根據(jù)視頻圖像中關(guān)鍵幀的灰度分布和概率密度函數(shù)來產(chǎn)生視頻摘要的元數(shù)據(jù)，利用對元數(shù)據(jù)的相似性的比對，獲取視頻檢索結(jié)果，相比傳統(tǒng)的基于內(nèi)容的視頻檢索系統(tǒng)中的方法，可以更快速、準確的檢索出用戶所需要的視頻內(nèi)容。圖1是本發(fā)明中生成視頻元數(shù)據(jù)的流程圖2是本發(fā)明中新聞視頻片段的圖像間交互信息量實驗數(shù)據(jù)結(jié)果圖3是本發(fā)明中利用元數(shù)據(jù)來判斷兩段視頻所在場景的相似性的流程圖。具體實施例方式本發(fā)明提供了一種基于視頻摘要元數(shù)據(jù)的檢索方法，主要是根據(jù)視頻信息的元數(shù)據(jù)結(jié)構(gòu)進行視頻檢索，通過結(jié)構(gòu)化的元數(shù)據(jù)搜索并確定用戶所需要的視頻內(nèi)容。其具體實現(xiàn)過程如下1.通過閾值^來進行鏡頭歸類及提取關(guān)鍵幀，并用這些關(guān)鍵幀建立視頻摘要。通過多次實驗，計算兩相鄰圖像交互信息量，合理設定閾值^，當兩相鄰圖像的交互信息量超過該閾值e時，則認為鏡頭中的畫面已經(jīng)發(fā)生轉(zhuǎn)換，對鏡頭進行歸類，并從歸類后的鏡頭中選取當前鏡頭中的指定幀作為關(guān)鍵幀，例如一組鏡頭中的首幀、尾幀或中間幀。2.把視頻摘要中的每一幀圖像進行劃分，并分別求出劃分后各部分的灰度分布和概率密度函數(shù)。如圖1中所示，從視頻摘要中生成視頻元數(shù)據(jù)的流程圖，首先逐個讀取視頻摘要幀序列中的各個幀，將每一幀圖像進行劃分，例如，根據(jù)場景和主題圖像內(nèi)容的不同，按比例K劃分為場景和主題兩個部分，對于一幅單獨的圖像，計算場景部分或主題部分的灰度分布和概率密度，保存得到的結(jié)果?？梢哉J為其各自象素的灰度值為獨立的樣本，則這幅圖像的灰度分布為<formula>formulaseeoriginaldocumentpage7</formula>，其中尸,為灰度值為/的象素點的個數(shù)與圖像總的象素點之比。設被比較的兩個圖像A、B具有相同的灰度級別(如都是256級灰度圖像)，設圖像的灰度級為L，令A(")和/VZ))分別表示圖像A、B的概率密度函數(shù)，概率密度函數(shù)可以方便的由圖像的直方圖除以圖像總的象素個數(shù)得到，令i^(",6)表示圖像A、B的聯(lián)合概率密度，它在求出的圖像A、B的聯(lián)合灰度直方圖的基礎(chǔ)上，除以圖像總的象素個數(shù)得到。在鏡頭檢測方法中，對于相鄰的連續(xù)兩幀，分別獨立地計算其三個RGB分量的交互信息量。相鄰圖像幀C+1在^分量上的交互信息量可以表示為<formula>formulaseeoriginaldocumentpage7</formula>同理可以得到相鄰圖像幀W+1在G、B分量上的交互信息量，則圖像W+1之間總的交互信息量可表示為<formula>formulaseeoriginaldocumentpage7</formula>圖2示出了一段新聞視頻的各幀圖像間交互信息量實驗數(shù)據(jù)結(jié)果圖，可以看出，對于一幀圖像，其灰度分布和概率密度是表達圖像內(nèi)容的兩個重要參數(shù)，而交互信息量很好的描述了圖像之間的相關(guān)3.建立視頻信息元數(shù)據(jù)結(jié)構(gòu)，首先，要生成視頻元數(shù)據(jù)，即通過第二步中統(tǒng)計的每一幀圖像的場景或主題部分的灰度分布，計算概率密度函數(shù)W"，得到多個元數(shù)據(jù)。其次，對生成的視頻元數(shù)據(jù)進行結(jié)構(gòu)化處理；結(jié)構(gòu)化視頻元數(shù)據(jù)，其結(jié)構(gòu)定義為序列號，視頻文件名，場景名，主題名和元數(shù)據(jù)。其中元數(shù)據(jù)由圖像灰度分布和圖像的概率密度函數(shù)組成。所述元數(shù)據(jù)是具有描述、解釋、定位信息資源功能的結(jié)構(gòu)化信息，有了元數(shù)據(jù)可以使得獲取、使用和管理信息更加容易，通俗來講，元數(shù)據(jù)就是描述數(shù)據(jù)的數(shù)據(jù)，或者描述信息的信息，我們使用與視頻相關(guān)的元數(shù)據(jù)來描述視頻的主要內(nèi)容，從視頻中提取信息來生成元數(shù)據(jù)，然后在后續(xù)的進行檢索時，用元數(shù)據(jù)進行比較。本發(fā)明生成視頻的元數(shù)據(jù)來進行視頻檢索，定義圖像灰度分布和圖像的概率密度函數(shù)作為該圖片的元數(shù)據(jù)，組成作為該圖片的元數(shù)據(jù)，保存元數(shù)據(jù)的格式定義，主要項如下〈pictureMeta〉〈灰度分布meant"灰度值為i的象素點的個數(shù)與圖像總的象素點的比值"><象素〉<灰度〉<value>i<\value〉<\灰度><個數(shù)〉〈value〉number〈\value〉〈個數(shù)〉〈\象素〉<\灰度分布〉〈概率密度函數(shù)mean^〃圖像直方圖與圖像的總的像素個數(shù)的比值〃〉〈象素〉〈灰度〉<value>i<\value〉<\灰度〉<個數(shù)〉<value>number<\value><個數(shù)〉<\象素><\概率密度函數(shù)〉<\pictureMeta〉即，形成如下表中的視頻元數(shù)據(jù)結(jié)構(gòu)<table>tableseeoriginaldocumentpage9</column></row><table>4.最后，視頻元數(shù)據(jù)的使用，利用元數(shù)據(jù)來判斷原始檢索圖片與圖片數(shù)據(jù)庫中場景或主題的相似性。如圖3中所示，為本發(fā)明中利用元數(shù)據(jù)來判斷兩段視頻所在場景的相似性的流程圖。首先對輸入的用作檢索的原始圖像A，根據(jù)上述2、3步驟中方法計算該圖像的灰度分布S和概率密度P(a)，然后逐一取出數(shù)據(jù)庫中記錄的視頻元數(shù)據(jù)，計算兩者的交互信息量，從而通過判斷二者的相似性，取相似性最高者獲得檢索結(jié)果。通過在步驟2中對圖像幀的劃分，便于對特定要素的檢索，例如檢索特定主題的進行視頻圖像，或檢索特定場景的視頻圖像等，而且，可以根據(jù)實際需要進行其他形式的劃分，例如，根據(jù)圖像幀中的不同顏色進行劃分等。以上對本發(fā)明所提供的基于視頻摘要元數(shù)據(jù)的檢索方法進行了詳細介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應理解為對本發(fā)明的限制。權(quán)利要求1.一種基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于，包括如下步驟提取視頻數(shù)據(jù)中的關(guān)鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數(shù)；利用灰度分布和概率密度函數(shù)建立元數(shù)據(jù)，存入數(shù)據(jù)庫；根據(jù)用作檢索的原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要的元數(shù)據(jù)進行比對，取相似度最高的視頻圖像為檢索結(jié)果。2.根據(jù)權(quán)利要求1所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于在所述提取視頻數(shù)據(jù)中的關(guān)鍵幀的步驟，進一步包括對視頻數(shù)據(jù)進行鏡頭歸類，分別從各自歸類后的鏡頭中選取當前鏡頭中的指定幀作為關(guān)鍵幀。3.根據(jù)權(quán)利要求2所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于所述鏡頭的歸類，可根據(jù)利用相鄰圖像幀的交互信息量，根據(jù)設定的閾值進行歸類。4.根據(jù)權(quán)利要求1所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于對視頻摘要中的每幀圖像進行劃分，對劃分后的各部分分別求出灰度分布和概率密度函數(shù)。5.根據(jù)權(quán)利要求4所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于所述對視頻摘要中的每幀圖像進行劃分，包括將圖像劃分為場景部分和主題部分。6.根據(jù)權(quán)利要求15中任一項所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于所述相似度的比對具體為，逐一計算所述原始圖像中的元數(shù)據(jù)和所述各視頻摘要中的元數(shù)據(jù)的交互信息量，取交互信息量最大者為相似度最高的視頻圖像。7.根據(jù)權(quán)利要求4或5所述的基于視頻摘要元數(shù)據(jù)的檢索方法，其特征在于根據(jù)用作檢索的原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要的元數(shù)據(jù)進行比對的步驟，進一步為將原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要中劃分后各部分的元數(shù)據(jù)進行比對。全文摘要本發(fā)明涉及視頻信息處理領(lǐng)域，具體涉及針對視頻檢索提出一種新的快速的基于視頻摘要元數(shù)據(jù)的檢索方法，包括提取視頻數(shù)據(jù)中的關(guān)鍵幀，建立視頻摘要；對視頻摘要中的每幀圖像，分別求出灰度分布和概率密度函數(shù)；利用灰度分布和概率密度函數(shù)建立元數(shù)據(jù)，存入數(shù)據(jù)庫；根據(jù)用作檢索的原始圖像的元數(shù)據(jù)與數(shù)據(jù)庫中的各視頻摘要的元數(shù)據(jù)進行比對，取相似度最高的視頻圖像為檢索結(jié)果。本發(fā)明根據(jù)視頻圖像中關(guān)鍵幀的灰度分布和概率密度函數(shù)來產(chǎn)生視頻摘要的元數(shù)據(jù)，利用對元數(shù)據(jù)的相似性的比對，獲取視頻檢索結(jié)果，相比傳統(tǒng)的基于內(nèi)容的視頻檢索系統(tǒng)中的方法，可以更快速、準確的檢索出用戶所需要的視頻內(nèi)容。文檔編號G06F17/30GK101369281SQ200810170219公開日2009年2月18日申請日期2008年10月9日優(yōu)先權(quán)日2008年10月9日發(fā)明者萬守杰,宋繪宏,廣方,偉李,楊黎東,沈未名,種衍文,蔣霜霜,魏小莉,盛魯申請人:湖北科創(chuàng)高新網(wǎng)絡視頻股份有限公司