專利名稱：基于局部線性嵌入的視頻拷貝檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于局部線性嵌入的視頻拷貝檢測方法，屬于視頻、多媒體信號 處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著多媒體技術(shù)和Internet的發(fā)展，網(wǎng)絡(luò)視頻變的越來越豐富，因此視頻檢索在 網(wǎng)絡(luò)中的應(yīng)用也越來越廣泛。但在對互聯(lián)網(wǎng)上視頻的檢索結(jié)果進行研究時發(fā)現(xiàn)，平均有 27%的檢索結(jié)果屬于視頻拷貝(Video Copy)；特別地，在對最大的視頻網(wǎng)站Youtube的檢 索統(tǒng)計中，某些熱點視頻的檢索結(jié)果中，視頻拷貝的比例甚至高達93%，這大大降低了視頻 檢索的效率。與此同時，互聯(lián)網(wǎng)上對于海量視頻的管理卻是缺乏規(guī)劃和統(tǒng)一性，常常引起一 些諸如知識產(chǎn)權(quán)等的糾紛。作為視頻檢索的一個分支，視頻拷貝檢測被提出并成為了解決 上述問題的主要方法?；趦?nèi)容的視頻拷貝檢測(Content-BasedVideo Copy Detection-CBVCD)與數(shù) 字視頻水印技術(shù)不同，它不需要在視頻發(fā)布或者傳播之前，人工地在視頻對象中嵌入附加 信息，因此，CBVCD對于尚未發(fā)布和已經(jīng)發(fā)布的視頻都有效；同時，由于不需要在視頻上嵌 入附加信息，CBVCD解決了數(shù)字視頻水印技術(shù)中水印的不可見性和魯棒性之間的矛盾，從而 提高了 CBVCD對于常見攻擊的魯棒性。利用CBVCD技術(shù)不但可以在視頻檢索中搜索到多余 的視頻拷貝，并將其屏蔽，而且有助于規(guī)范數(shù)字視頻版權(quán)、數(shù)字視頻傳播等的管理；同時，從 另一個方面，也可以通過CBVCD來對商業(yè)視頻及其視頻拷貝進行跟蹤分析，以獲得有價值 的營銷策略信息。因此，在個人視頻制作與網(wǎng)絡(luò)傳播日益流行的情況下，CBVCD具有重要的 理論價值和應(yīng)用價值，已經(jīng)成為了多媒體信息處理領(lǐng)域的研究熱點。但現(xiàn)有的視頻拷貝檢測技術(shù)大多關(guān)注于視頻各幀的空域特性，而在某種程度上忽 略了視頻在時域上的變化特性，這對于表達視頻的總體特征是不利的。同時，現(xiàn)有的算法， 大多集中在視頻像素、紋理或其頻域的特性，其實這些特性存在于一個高維的空間中，對提 取視頻特征是不利的。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有視頻拷貝檢測技術(shù)存在的不足，提供一種具有較好的魯棒性和區(qū) 分性的基于局部線性嵌入的視頻拷貝檢測方法。本發(fā)明的基于局部線性嵌入的視頻拷貝檢測方法，包括以下步驟(1)預(yù)處理將視頻幀的尺寸標(biāo)準(zhǔn)化，改變視頻的分辨率，但是不改變視頻內(nèi)容；(2)關(guān)鍵幀的選取根據(jù)視頻層析成像技術(shù)和一個服從均勻分布的向量來選取視 頻關(guān)鍵幀；(3)高維空間視頻特征的提取利用四階累積量的離散余弦變換(DCT)作為每幀 的高維特征；(4)以關(guān)鍵幀的累積量的離散余弦變換(DCT)系數(shù)作為局部線性嵌入的輸入，利用局部線性嵌入的算法，把視頻各幀映射成低維平面的點，以點的范數(shù)構(gòu)成哈希序列作為 視頻特征； (5)以一個動態(tài)的滑動窗來實現(xiàn)不同長度的視頻匹配。所述步驟(2)的具體實現(xiàn)步驟是①掃描視頻各幀特定列的像素點的亮度分量，構(gòu)造一個視頻層析成像圖像，從而 劃分視頻鏡頭；②利用一個服從均勻分布的向量來在每一個鏡頭里選擇代表幀，最終構(gòu)成關(guān)鍵 幀；所述步驟(3)的具體實現(xiàn)步驟是①計算每個關(guān)鍵幀的四階累積量；②計算每幀累積量的離散余弦變換(DCT)系數(shù)，取最大的40個系數(shù)待用，因為其 包含了主要的信息和能量。所述步驟(4)的具體實現(xiàn)步驟是①選取每幀四階累積量離散余弦變換(DCT)變換最大的40個系數(shù)作為關(guān)鍵幀在 高維空間里的坐標(biāo)；②把關(guān)鍵幀進行8x8分塊，根據(jù)視頻相鄰關(guān)鍵幀對應(yīng)塊之間的離散余弦變換 (DCT)變換中頻系數(shù)的差值，來判斷是否為鄰居，設(shè)定一閾值，若相鄰關(guān)鍵幀所有對應(yīng)塊之 間的差值的平均值小于閾值，則說明兩幀是鄰居，計算出每個關(guān)鍵幀的鄰居數(shù)目，選擇一個 最小的作為所有幀的鄰居數(shù)目；③利用局部線性嵌入把關(guān)鍵幀投影成低維平面上的點，計算各點的范數(shù)，并依據(jù) 一個密鑰來把此序列量化成一個二值序列，此即為該視頻的哈希序列。所述步驟(5)的具體實現(xiàn)步驟是①將兩個視頻做比較，以較短的視頻的長度作為動態(tài)窗的寬度；②若前一次比較的錯誤碼元數(shù)為d，則下一次動態(tài)窗滑動的步長為d。③以所有比較中最小的錯誤碼元數(shù)作為兩個視頻的距離，然后計算誤碼率，若誤 碼率小于給定閾值，則說明兩個視頻中其一為拷貝。上述方法首先利用視頻層析成像技術(shù)和服從均勻分布的向量對視頻進行鏡頭分 割和關(guān)鍵幀提取，然后以高階累計量作為視頻在高維空間的特征并利用局部線性嵌入進行 降維，得到視頻在三維空間中的軌跡，利用三維空間中點的范數(shù)構(gòu)造視頻哈希來實現(xiàn)視頻 拷貝檢測本發(fā)明在考慮視頻時空特性的基礎(chǔ)上，把視頻投影到一個低維空間中來提取特 征，具有較好的魯棒性和區(qū)分性，利用局部線性嵌入的方法把視頻由高維的空間降低到低 維空間，克服了在高維空間中的計算復(fù)雜性，在低維空間中生成的哈希序列既簡單又具有 較高的魯棒性。


圖1是本發(fā)明方法的步驟框架示意圖。圖2是視頻層析成像形成的示意圖。圖3是利用局部線性嵌入對視頻降維的示意圖。
圖4是本發(fā)明對于各種攻擊后的誤碼率示意圖(左上)隨機噪聲；(右上)幀旋 轉(zhuǎn)；(左下)幀隨機丟棄；(右下)幀像素平移。
具體實施例方式
下面結(jié)合附圖對本發(fā)明的加以詳細(xì)的說明。具體實施中采用視頻切片技術(shù)進行視 頻鏡頭分割，然后利用均勻分布的向量標(biāo)記關(guān)鍵幀。本領(lǐng)域技術(shù)人員根據(jù)說明，也可采用其 他方法進行關(guān)鍵提取。視頻的降維技術(shù)采用局部線性嵌入的方法，哈希序列的形成采用二 值量化的方法。本發(fā)明的方法按圖1所示流程，包括如下具體步驟(1)預(yù)處理視頻在傳輸?shù)倪^程中，因為干擾和攻擊會導(dǎo)致視頻幀的大小發(fā)生變化，為了解決 這個問題，增加算法的魯棒性，首先在預(yù)處理的工程中對視頻幀的尺寸標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化的工 程使視頻的分辨率改變，但是不改變視頻內(nèi)容。在本發(fā)明的方法中，可以只對關(guān)鍵幀進行尺 寸標(biāo)準(zhǔn)化，幀放縮處理函數(shù)S定義如下fk = S (Fk)其中Fk e Rmxn和fk e Rwxh分別代表標(biāo)準(zhǔn)化前后的第k幀，且w < m，h < η。(2)關(guān)鍵幀選?、倮靡曨l層析成像技術(shù)進行視頻鏡頭分割，視頻層析成像是由視頻各幀在特定 方向上的像素在二維平面上的投影形成的圖像。假設(shè)視頻V共有η幀，分別為f\ f^fn.每 幀的分辨率是wXh。則通過下式可得到視頻V的視頻層析成像圖像VT。VT (k，) = [diag (fk)，indiag (fk) ]，1 彡 k 彡 η·層析成像如圖2所示。②采取基于均勻分布的隨機變量ijndex作為密鑰來在一個鏡頭中選擇關(guān)鍵幀。i_index = {tj i = 1,2, ...Ν，、ε{1，2， ...，Μ}其中M是一個鏡頭的視頻幀數(shù)目，N是選取的關(guān)鍵幀的數(shù)目，一般定義的ijndex 的長度為M的五分之一到四分之一即可。以均勻分布的隨機變量作為關(guān)鍵幀選取的索引， 既增加了方法的安全性同時又保證了關(guān)鍵幀分布于每個時間片段上。(3)視頻哈希序列的生成①鄰居的選取在局部線性嵌入的算法流程中，一個非常重要的步驟就是高維數(shù)據(jù)點鄰居的選 取，根據(jù)不同的應(yīng)用可以選擇不同的度量標(biāo)準(zhǔn)來選取鄰居，對于視頻拷貝檢測來說，最重要 的原則就是對一些非惡意修改的強魯棒性。本發(fā)明采用幀間塊的DCT系數(shù)差值作為鄰居選 取的度量標(biāo)準(zhǔn)，具體實現(xiàn)的算法如下視頻幀鄰居選取算法輸入原始視頻V。(N幀)·以開始For k = 1 =N Do//對每幀采取相同的操作.把該幀分為8X8塊，并對每塊的亮度進行分塊DCT變換。
對每塊DCT系數(shù)進行zigzag拉伸，定義為-AQ: ·Λ引< m;l《《64}。m是每幀的塊數(shù)。取每塊的中間30%的DCT交流系數(shù)并相加，構(gòu)成向量IS <m}。EndFor k = 1 :NFor t = 1 :NIf丄頃給定閾值。
m =ι則第t幀和第k幀互為鄰居.EndEndEnd輸出對于每幀F(xiàn)k，得到鄰居數(shù)目Nk，為計算方便，取所有幀一個公共的鄰居數(shù)目K，即K = min {Nk | 1 彡 k 彡 N}。End②計算四階累積量對于不改變視頻內(nèi)容的攻擊可以建模成一高斯過程，而高階累積量具有去高斯 性，因此選擇高階累積量作為視頻高維空間的特征是具有很強魯棒性的，本發(fā)明取四階累 積量作為高維特征。對于含有wXh個像素的幀，可以得到wXh個累積量系數(shù)，這個數(shù)目可能會非常 大，為減少計算量，本文對累計量系數(shù)進行DCT變換，取前40個系數(shù)作為特征，即視頻所在 高維特征空間的維數(shù)為40，每個坐標(biāo)的大小即相應(yīng)的累積量DCT系數(shù)的值。③利用局部線性嵌入對視頻降維視頻每幀可以看作以累積量的DCT系數(shù)為坐標(biāo)的高維空間中的點，利用局部線性 嵌入，可把視頻投影到一個三維的空間上，具體過程如下 提取給定視頻的關(guān)鍵幀，并為每個關(guān)鍵幀尋找鄰居。 對于每個關(guān)鍵幀，計算其亮度系數(shù)的四階累計量并進行DCT變換，取 前40個較大的DCT系數(shù)，定義為竭，N是關(guān)鍵幀的數(shù)目。并組成矩陣 D40xjv :D,0:1 仏"}。 利用局部線性嵌入的方法，把視頻各幀投影到三維空間中，得到點列ν = IvJixn，計算每個點的F-范數(shù)Il Vi Il F，則得到一個范數(shù)序列=KIV,.IIjBKW，并用 來生成視頻哈希序列。圖3是一個利用局部線性嵌入對視頻降維例子的示意圖，其中左圖(a)是一段視 頻片段，右圖(b)是該段視頻片段在三維空間中的投影軌跡。④哈希序列的計算魯棒的哈希值是整個拷貝檢測的關(guān)鍵，本發(fā)明采用如下的方法。首先生成一個范 圍在W，1]，零均值服從均勻分布的隨機序列P = IpkI作為密鑰，根據(jù)下式，生成哈希序列 h = IhJ。
權(quán)利要求
1.一種基于局部線性嵌入的視頻拷貝檢測方法，其特征在于包括以下步驟(1)預(yù)處理將視頻幀的尺寸標(biāo)準(zhǔn)化，改變視頻的分辨率，但是不改變視頻內(nèi)容；(2)關(guān)鍵幀的選取根據(jù)視頻層析成像技術(shù)和一個服從均勻分布的向量來選取視頻關(guān) 鍵幀；(3)高維空間視頻特征的提取利用四階累積量的離散余弦變換(DCT)作為每幀的高 維特征；(4)以關(guān)鍵幀的累積量的離散余弦變換(DCT)系數(shù)作為局部線性嵌入的輸入，利用局 部線性嵌入的算法，把視頻各幀映射成低維平面的點，以點的范數(shù)構(gòu)成哈希序列作為視頻 特征；(5)以一個動態(tài)的滑動窗來實現(xiàn)不同長度的視頻匹配。
2.根據(jù)權(quán)利要求1所述的基于局部線性嵌入的視頻拷貝檢測方法，其特征在于所述 步驟(2)的具體實現(xiàn)步驟是①掃描視頻各幀特定列的像素點的亮度分量，構(gòu)造一個視頻層析成像圖像，從而劃分 視頻鏡頭；②利用一個服從均勻分布的向量來在每一個鏡頭里選擇代表幀，最終構(gòu)成關(guān)鍵幀。
3.根據(jù)權(quán)利要求1所述的基于局部線性嵌入的視頻拷貝檢測方法，其特征在于所述 步驟(3)的具體實現(xiàn)步驟是①計算每個關(guān)鍵幀的四階累積量；②計算每幀累積量的離散余弦變換(DCT)系數(shù)，取最大的40個系數(shù)待用，因為其包含 了主要的信息和能量。
4.根據(jù)權(quán)利要求1所述的基于局部線性嵌入的視頻拷貝檢測方法，其特征在于所述 步驟(4)的具體實現(xiàn)步驟是①選取每幀四階累積量離散余弦變換(DCT)變換最大的40個系數(shù)作為關(guān)鍵幀在高維 空間里的坐標(biāo)；②把關(guān)鍵幀進行8x8分塊，根據(jù)視頻相鄰關(guān)鍵幀對應(yīng)塊之間的離散余弦變換(DCT)變 換中頻系數(shù)的差值，來判斷是否為鄰居，設(shè)定一閾值，若相鄰關(guān)鍵幀所有對應(yīng)塊之間的差值 的平均值小于閾值，則說明兩幀是鄰居，計算出每個關(guān)鍵幀的鄰居數(shù)目，選擇一個最小的作 為所有幀的鄰居數(shù)目；③利用局部線性嵌入把關(guān)鍵幀投影成低維平面上的點，計算各點的范數(shù)，并依據(jù)一個 密鑰來把此序列量化成一個二值序列，此即為該視頻的哈希序列。
5.根據(jù)權(quán)利要求1所述的基于局部線性嵌入的視頻拷貝檢測方法，其特征在于所述 步驟(5)的具體實現(xiàn)步驟是①將兩個視頻做比較，以較短的視頻的長度作為動態(tài)窗的寬度；②若前一次比較的錯誤碼元數(shù)為d，則下一次動態(tài)窗滑動的步長為d。③以所有比較中最小的錯誤碼元數(shù)作為兩個視頻的距離，然后計算誤碼率，若誤碼率 小于給定閾值，則說明兩個視頻中其一為拷貝。
全文摘要
本發(fā)明提供了一種基于局部線性嵌入的視頻拷貝檢測方法，包括以下步驟(1)預(yù)處理將視頻幀的尺寸標(biāo)準(zhǔn)化；(2)關(guān)鍵幀的選取根據(jù)視頻層析成像技術(shù)和一個服從均勻分布的向量來選取視頻關(guān)鍵幀；(3)高維空間視頻特征的提取利用四階累積量的離散余弦變換作為每幀的高維特征；(4)以關(guān)鍵幀的累積量的離散余弦變換系數(shù)作為局部線性嵌入的輸入，利用局部線性嵌入的算法，把視頻各幀映射成低維平面的點，以點的范數(shù)構(gòu)成哈希序列作為視頻特征；(5)以一個動態(tài)的滑動窗來實現(xiàn)不同長度的視頻匹配。本發(fā)明在考慮視頻時空特性的基礎(chǔ)上，把視頻投影到一個低維空間中來提取特征，具有較好的魯棒性和區(qū)分性。
文檔編號G06K9/00GK102034085SQ20101029294
公開日2011年4月27日 申請日期2010年9月27日 優(yōu)先權(quán)日2010年9月27日
發(fā)明者劉琚, 孫建德, 聶秀山 申請人:山東大學(xué)