專利名稱：指導(dǎo)對(duì)于畫面修改和幀速率轉(zhuǎn)換不敏感的視頻簽名的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻信號(hào)的處理，并且更具體地涉及從視頻信號(hào)提取特征以標(biāo)識(shí)信號(hào)的處理。貫穿本公開，術(shù)語"視頻信號(hào)"和"視頻內(nèi)容"是指代表意欲用于視覺感知的圖像的信號(hào)和內(nèi)容。
背景技術(shù)：
試圖探測(cè)接收信號(hào)的授權(quán)和未授權(quán)視頻內(nèi)容的應(yīng)用
(application)，常常依賴于分析接收信號(hào)的內(nèi)容以產(chǎn)生某種類型的內(nèi)容標(biāo)識(shí)符或簽名的處理。這些應(yīng)用使用基于分析的結(jié)果，以確定接收的內(nèi)容是否是某種基準(zhǔn)內(nèi)容的拷貝。對(duì)于這些應(yīng)用中的許多來說，重要的是，即使當(dāng)接收的信號(hào)的內(nèi)容已經(jīng)被無意或有意地修改而使其與基準(zhǔn)內(nèi)容不同、但仍然可由人類觀察者識(shí)別為與基準(zhǔn)內(nèi)容大體相同時(shí)，仍獲得可靠的標(biāo)識(shí)。如果在基準(zhǔn)內(nèi)容與修改內(nèi)容之間的感覺差別小，那么優(yōu)選地，簽名產(chǎn)生處理應(yīng)該從基準(zhǔn)和修改內(nèi)容產(chǎn)生彼此非常相似的簽名。
對(duì)于信號(hào)內(nèi)容的無意修改的例子包括噪聲在傳輸通道中和在存儲(chǔ)介質(zhì)上插入或添加到信號(hào)。對(duì)于視頻信號(hào)有意修改的例子包括亮度和顏色修改(如對(duì)比度/亮度調(diào)節(jié)、伽馬校正、亮度直方圖均衡、顏色飽和度調(diào)節(jié)及用于白平衡的顏色校正)，包括幾何修改(諸如，圖像剪輯和尺寸改變、圖像旋轉(zhuǎn)和倒轉(zhuǎn)(flip)、拉伸、斑點(diǎn)去除、模糊化、銳化(sharpen)及邊緣加強(qiáng))，并且包括編碼技術(shù)(諸如，有損壓縮和幀速率轉(zhuǎn)換)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種標(biāo)識(shí)處理，即使內(nèi)容已經(jīng)通過諸如以上提到的那些之類的機(jī)理修改了 ，該標(biāo)識(shí)處理也可用于獲得視頻內(nèi)容的
可靠標(biāo)識(shí)。
由下面描述的本發(fā)明實(shí)現(xiàn)這個(gè)目的。
通過參考下面的討論和附圖可以更好地理解本發(fā)明的各種特征和其優(yōu)選實(shí)施例，在附圖中，類似附圖標(biāo)記指在幾個(gè)圖中的類似元素。下面的討論和附圖的內(nèi)容僅作為例子被敘述，并且不應(yīng)該理解成代表對(duì)本發(fā)明范圍的限制。


圖1和2是視頻簽名產(chǎn)生器的示意方塊圖，該視頻簽名產(chǎn)生器可以用于獲得視頻信號(hào)的可靠標(biāo)識(shí)。
圖3是在圖像預(yù)處理器的一種實(shí)施方式中執(zhí)行的處理的示意框圖。
圖4是由空間域處理器獲得的較低分辨率圖像的示意框圖。圖5是分段布置的視頻幀的示意框圖。
圖6是處理視頻內(nèi)容段以產(chǎn)生一組視頻簽名的視頻簽名產(chǎn)生器的示意框圖。
圖7是管理用于視頻內(nèi)容拷貝的探測(cè)的簽名數(shù)據(jù)庫的系統(tǒng)的示意框圖。
圖8是可以用于實(shí)施本發(fā)明的各種方面的裝置的示意框圖。
具體實(shí)施方式
A.引言
本發(fā)明的各種方面可以有利地用在系統(tǒng)中，該系統(tǒng)用于通過分析該內(nèi)容的段和產(chǎn)生對(duì)每一個(gè)段的簽名來標(biāo)識(shí)該內(nèi)容。在信號(hào)的間隔(interval)中對(duì)這些段產(chǎn)生的簽名形成簽名組，該簽名組可在該間隔中用作內(nèi)容的可靠標(biāo)識(shí)。如下的公開首先描述可以用于對(duì)單個(gè)段產(chǎn)生簽名的處理，并且然后描述簽名組的產(chǎn)生和使用。
圖1是視頻簽名產(chǎn)生器100的示意框圖，該視頻簽名產(chǎn)生器100分析信號(hào)段3中的視頻內(nèi)容，以產(chǎn)生視頻簽名193，該視頻簽名193標(biāo)識(shí)或代表該內(nèi)容。在示出的例子中，段3包括一系列視頻幀3a至3d。如果視頻信號(hào)傳送(convey)音頻內(nèi)容以及視頻內(nèi)容，則可以通過按各種方式處理音頻內(nèi)容而獲得代表音頻內(nèi)容的音頻簽名，這些方式包括在Regunathan Radhakrishnan等的、在2006年11月30日提交的、標(biāo)題為"Extracting Features of Video and Audio Signal Contentto Provide a Reliable Identification of the Signals (提取視頻和音頻信號(hào)內(nèi)容的特征以提供信號(hào)的可靠標(biāo)識(shí))，，的美國臨時(shí)專利申請(qǐng)第60/872,090號(hào)中公開的那些，這里通過參考并入該專利申請(qǐng)的全部?jī)?nèi)容。
B.視頻簽名提取器
視頻簽名產(chǎn)生器100的一種實(shí)施方式被示出在圖2中。在這種實(shí)施方式中，圖4象預(yù)處理器110對(duì)在幀3a、 3b、 3c、 3d中傳送的畫面獲得 一 系列格式獨(dú)立的圖像，空間域處理器130下取樣(down-samples )格式獨(dú)立的圖像以產(chǎn)生格式獨(dú)立的圖像的一 系列較低分辨率表示(representation)，時(shí)間域處理器l50產(chǎn)生代表較低分辨率表示的一系列的合成的值，并且視頻簽名處理器170將散列函數(shù)應(yīng)用到合成值上，以產(chǎn)生代表和標(biāo)識(shí)段3的內(nèi)容的視頻簽名193?？梢园锤鞣N方式實(shí)施由處理器110、 130、 150及170執(zhí)行的處理。下面描述這些處理的優(yōu)選實(shí)施方式。
1.圖像預(yù)處理器
對(duì)于一種示例性實(shí)施方式，段3中的每一個(gè)碎見頻幀3a、 3b、 3c、3d傳送由像素D的陣列代表的畫面。圖像預(yù)處理器110對(duì)每一個(gè)幀推導(dǎo)(derive)畫面的格式獨(dú)立的圖像。格式獨(dú)立的圖像由像素F的陣列代表?？梢园锤鞣N方式進(jìn)行格式獨(dú)立的圖像的推導(dǎo)。下面描述少量例子。
在一種應(yīng)用中，視頻簽名產(chǎn)生器100產(chǎn)生對(duì)電視視頻信號(hào)的簽名，這些電視視頻信號(hào)按各種格式傳送視頻內(nèi)容，包括以480x640像素的標(biāo)準(zhǔn)-清晰度(SD)分辨率和1080x1920像素的高-清晰度(HD)分辨率逐行掃描和隔行掃描。圖像預(yù)處理器110將每一個(gè)幀中的畫面
轉(zhuǎn)換成格式獨(dú)立的圖像，該格式獨(dú)立的圖像具有對(duì)所有感興趣的信號(hào)格式來說共同的格式。在優(yōu)選實(shí)施方式中，通過下取樣在幀中的像素
D而獲得格式獨(dú)立的圖像中的像素F,以減小對(duì)修改(當(dāng)視頻的幀在不同格式之間轉(zhuǎn)換時(shí)可能發(fā)生)的敏感性。
在一個(gè)例子中，格式獨(dú)立的圖像的分辨率選擇成具有120x160像素的分辨率，這對(duì)于電視信號(hào)是方便的選擇，這些電視信號(hào)對(duì)于逐行掃描和隔行掃描格式都按HD和SD分辨率傳送圖像。圖像預(yù)處理器110通過按因數(shù)4下取樣在每一個(gè)幀畫面中的像素，將SD-格式視頻內(nèi)容轉(zhuǎn)換成格式獨(dú)立的圖像。圖像預(yù)處理器110通過剪輯每一個(gè)幀
得具有1080x1440像素分辨率的中間圖像、并且按因數(shù)9下取樣在中間圖像中的像素，將HD-格式視頻內(nèi)容轉(zhuǎn)換成格式獨(dú)立的圖像。
如果視頻信號(hào)按其中視頻的幀布置在兩個(gè)字段(field )中的隔行掃描格式傳送內(nèi)容，則可以在獲得格式獨(dú)立的圖像之前將所述信號(hào)轉(zhuǎn)換成逐行掃描格式。可選擇地，可通過僅從在逐行掃描幀中的其中一個(gè)字段獲得格式獨(dú)立的圖像，實(shí)現(xiàn)與掃描格式的選擇的較大獨(dú)立性。例如，可僅從每一個(gè)幀中的第一字段或僅從每一個(gè)幀中的第二字段獲得格式獨(dú)立的圖像。在其它字段中的視頻內(nèi)容可被忽略。此處理避免在獲得格式獨(dú)立的圖像之前轉(zhuǎn)換到逐行掃描格式的需要。
如果使用適當(dāng)?shù)募糨嫼拖氯?，則得到的圖像基本上獨(dú)立于幀畫面格式，從而隨后的簽名產(chǎn)生處理對(duì)于不同的格式和對(duì)于由格式之間的轉(zhuǎn)換產(chǎn)生的修改不敏感。這種解決方案增大了從一 系列格式獨(dú)立的圖像所產(chǎn)生的視頻簽名在即使這些畫面已經(jīng)進(jìn)行了格式轉(zhuǎn)換的情況下也將正確地標(biāo)識(shí)一 系列幀畫面中的視頻內(nèi)容的可能性。
優(yōu)選地，格式獨(dú)立的圖像排除可能由有意修改影響的畫面區(qū)域。對(duì)于諸如電視之類的視頻應(yīng)用，例如，這可以通過剪輯以排除圖像的角部和邊緣而實(shí)現(xiàn)，在這些角部和邊緣處，標(biāo)志或其它圖形對(duì)象可能被插入到視頻內(nèi)容中。圖3提供通過由圖像預(yù)處理器110執(zhí)行的處理112獲得的結(jié)果的 示意說明，該處理112包括以上描述的剪輯和下取樣操作。段3內(nèi)的 幀3a中的畫面被剪輯，以提取在畫面的中央部分中的像素D。在這 個(gè)中央部分中的像素D被下取樣，以獲得在格式獨(dú)立的圖像5a中的 像素F。對(duì)于在段3中的每一個(gè)幀3a、 3b、 3c、 3d，獲得在一系列圖 像5中的格式獨(dú)立的圖像5a、 5b、 5c、 5d。處理112可以表達(dá)為 {Fm}=IP[{Dm}]對(duì)于0《m<M (1) 其中，{Fm—對(duì)于幀m在格式獨(dú)立的圖像中的像素的組； IP[-應(yīng)用于幀m中的畫面的圖像預(yù)處理器操作；
(DmH對(duì)于幀m在畫面中的像素的組；及 ]\1=在段中的幀數(shù)量。 為了格式轉(zhuǎn)換而改變畫面尺寸的剪輯操作可以與排除畫面可能 受諸如標(biāo)志插入之類的有意修改的影響的區(qū)域的剪輯操作相結(jié)合，或 者被分離地執(zhí)行?？梢栽谙氯硬僮髦盎蛑髨?zhí)行這些剪輯操作。 例如，可以通過剪輯視頻內(nèi)容和隨后下取樣剪輯的圖像而獲得格式獨(dú) 立的圖像，可通過下取樣視頻內(nèi)容和隨后剪輯該下取樣的圖像而獲得
它。p , 、 、 ， b 、 ，
如果每一個(gè)視頻幀傳送包括例如由紅、綠及藍(lán)(RGB)值代表 的像素的彩色圖像，則可以對(duì)每一個(gè)幀中的紅、綠及藍(lán)值中的每一個(gè) 獲得分離的格式獨(dú)立的圖像。優(yōu)選地，對(duì)于每一個(gè)幀，可由從幀中的 紅、綠及藍(lán)值推導(dǎo)的像素的亮度或輝度獲得一個(gè)格式獨(dú)立的圖像。如 果每一個(gè)視頻幀傳送單色圖像，則可以從該幀中的各個(gè)像素的強(qiáng)度獲 得格式獨(dú)立的圖像。 2.空間域處理器
在示例性實(shí)施方式中，空間域處理器130通過將在格式獨(dú)立的圖 像的每一個(gè)中的像素F分組成GX個(gè)像素寬和GY個(gè)像素高的區(qū)域， 獲得格式獨(dú)立的圖像的下取樣的較低分辨率表示。通過計(jì)算每一個(gè)區(qū) 域中的像素的平均強(qiáng)度，從相應(yīng)格式獨(dú)立的圖像中的像素F的強(qiáng)度推導(dǎo)具有畫面元素E的較低分辨率圖像。每一個(gè)較低分辨率圖像具有 KxL元素的分辨率。這示意地示出在圖4中?？梢酝ㄟ^執(zhí)行實(shí)施如下 表達(dá)式的處理而獲得畫面元素E:
<formula>formula see original document page 10</formula>
(2)
其中Em(k，l)-對(duì)于幀m在較低分辨率圖像中的畫面元素； GX二按像素F的數(shù)量表達(dá)的像素組的寬度； GY-按像素F的數(shù)量表達(dá)的像素組的高度； K-較低分辨率圖像的水平分辨率； L-較低分辨率圖像的垂直分辨率；及 Fm(i，j戶對(duì)于幀m在格式獨(dú)立的圖像中的像素。 組的水平尺寸GX被選擇成使得K.GX-RH，并且組的垂直尺寸 GY被選擇成使得L.GY-RV，其中RH和RV分別是格式獨(dú)立的圖像 的水平和垂直分辨率。對(duì)于產(chǎn)生具有120x160像素的分辨率的下取樣 的格式獨(dú)立的圖像中的元素的以上討論的示例性實(shí)施方式，所述組的 一種適當(dāng)尺寸是8x8，這提供具有120/8x160/8=15x20畫面元素的分 辨率的較低分辨率圖像。
可選擇地，由空間域處理器130執(zhí)行的分組可與由圖像預(yù)處理器 110執(zhí)行的處理相組合，或者在其之前被執(zhí)行。
通過使用較低分辨率畫面元素E產(chǎn)生視頻簽名而不是較高分辨 率像素F,產(chǎn)生的視頻簽名對(duì)于改變視頻信號(hào)內(nèi)容的細(xì)節(jié)但保留平均 強(qiáng)度的處理較不敏感。 3, 時(shí)間域處理器
在時(shí)間域處理器150的示例性實(shí)施方式中，由相應(yīng)畫面元素E 的時(shí)間平均值和方差獲得代表較低分辨率圖像的系列的合成的值。
可以由如下表達(dá)式計(jì)算每一個(gè)相應(yīng)畫面元素E(k,l)的時(shí)間平均值 Z(k，l):
<formula>formula see original document page 10</formula> (3a)可選擇地，可以通過從如下表達(dá)式中所示的畫面元素的加^又和
(weighted sum)計(jì)算時(shí)間平均值而給予在段3內(nèi)選中的幀的^f見頻內(nèi) 容較大的重要性
z(yt，/)-丄g^.對(duì)于0Sk〈K; 0《1<L ( 3b )
其中wm二用于在從幀m的視頻內(nèi)容推導(dǎo)的較低分辨率圖像中
的畫面元素的加4又因數(shù)。
如果希望，在由表達(dá)式2代表的空間域處理之前，可以執(zhí)行由表 達(dá)式3a或3b代表的時(shí)間域處理。
值Z(k，l)代表在時(shí)間和空間上對(duì)每一個(gè)畫面元素E(k，l)的平均強(qiáng) 度；因此，這些平均值不傳送關(guān)于可以由段3的視頻內(nèi)容代表的任何 運(yùn)動(dòng)的太多信息。通過計(jì)算每一個(gè)畫面元素E(k，l)的方差可以獲得運(yùn) 動(dòng)的表示。
如果如在表達(dá)式3a中示出的那樣計(jì)算每一個(gè)畫面元素E(k，l)的 平均值Z(k，l),則每一個(gè)相應(yīng)畫面元素E(k，l)的方差V(k，l)可以由如下 表達(dá)式計(jì)算
1 H 2 , , 、
f^,/^丄S(^(/t，/)—對(duì)于0《k〈K; OSKL ( 4a )
如果如在表達(dá)式3b中示出的那樣計(jì)算每一個(gè)畫面元素的平均 值，則每一個(gè)相應(yīng)畫面元素E(k，l)的方差V(k，l)可以由如下表達(dá)式計(jì)
算 2
蜂， iS(w,K(W)-雄，,2對(duì)于0《k<K; 0《1<L ( 4b )
在優(yōu)選實(shí)施方式中，代表較低分辨率圖像的系列的合成的值是在
分別從時(shí)間平均值和方差陣列Z和V推導(dǎo)的兩個(gè)秩矩陣Zr和Vr中的 元素的值。在秩矩陣中的每一個(gè)元素的值代表其在關(guān)聯(lián)陣列中的相應(yīng)
元素的秩順序(rank order)。例如，如果元素Z(2，3)是在平均值陣 列Z中的第四大元素，則在秩矩陣Zr中的對(duì)應(yīng)Zr(2，3)的值等于4。 對(duì)于這種優(yōu)選實(shí)施方式，合成值QZ和QV可以表達(dá)為
QZ(k，l)=Zr(k,l)對(duì)于0《k《；0《1<L (5) QV(k，l)=Vr(k，l)對(duì)于0Sk<K; 0《1<L (6)秩矩陣的使用是可選的。在可選的實(shí)施方式中，代表較低分辨率
圖像的系列的合成的值是在時(shí)間平均值和方差陣列Z和V中的元素的 值。對(duì)于這種可選的實(shí)施方式，合成值QZ和QV可以表達(dá)為 QZ(k,l)=Z(k，l)對(duì)于0《k《；0《1<L (7) QV(k,l)=V(k，l)對(duì)于0《k《；OSKL (8) 4.視頻簽名處理器
視頻簽名處理器170將散列函數(shù)應(yīng)用于合成值QZ和QV的KxL 陣列，以產(chǎn)生兩組散列位。這兩組散列位的組合構(gòu)成標(biāo)識(shí)段3的內(nèi)容 的視頻簽名。優(yōu)選地，散列函數(shù)對(duì)于合成值的變化較不敏感，并且對(duì) 于在可能使用的任何散列密鑰的變化較敏感。不像對(duì)于其輸入的甚至 單個(gè)位的變化其輸出都顯著地變化的典型的密碼散列函數(shù)，用于這種 應(yīng)用的優(yōu)選散列函數(shù)提供對(duì)于輸入合成值的小變化僅經(jīng)歷小變化的 輸出。這允許產(chǎn)生的視頻簽名關(guān)于對(duì)視頻內(nèi)容的小變化僅輕微地變 化。
一種適當(dāng)?shù)纳⒘泻瘮?shù)使用 一組Nz基矩陣產(chǎn)生用于QZ合成值的 一組Nz散列位，并且使用一組Nv基矩陣產(chǎn)生用于QV合成值的一組 Ny散列位?；仃嚨拿恳粋€(gè)為元素的KxL陣列。這些元素代表優(yōu)選 地彼此正交或幾乎正交的一組向量。在下面描述的實(shí)施方式中，在基 矩陣的元素代表彼此正交或幾乎正交的一組向量的假設(shè)下，這些元素 由隨機(jī)數(shù)產(chǎn)生器產(chǎn)生。
供合成值QZ —起使用的每一個(gè)基矩陣PZn的矩陣元素pzn(k，l) 可以從如下表達(dá)式產(chǎn)生
;^(A,/):i GiV-;^對(duì)于lSn《Nz, 0《k<K，0《1<L (9)
其中RNG-隨機(jī)數(shù)產(chǎn)生器的輸出；并且 ^=對(duì)于每一個(gè)矩陣由RNG產(chǎn)生的數(shù)的平均值。
與合成值QV —起使用的每一個(gè)基矩陣PVn的矩陣元素pvn(k，l) 可以從如下表達(dá)式產(chǎn)生
pv (yU) = / GA^ 對(duì)于l《n《Nv, 0《k<K， 0《1<L (10)
產(chǎn)生器RNG產(chǎn)生在范圍[O，l中均勻分布的隨機(jī)或偽-隨機(jī)值?？梢酝ㄟ^散列密鑰初始化產(chǎn)生器的初始狀態(tài)，這使散列函數(shù)和產(chǎn)生的視 頻簽名密碼上更可靠。
通過首先將合成值QZ投影到Nz基矩陣的每一個(gè)上獲得一組散 列位BZn，這可以表達(dá)為
hz =U|^z0m)./^0u)對(duì)于1《n《Nz (11)
其中HZ^合成值QZ到基矩陣PZn上的投影。 然后通過將每一個(gè)投影與所有投影的中間值相比較、并且如果投 影等于或超過闊值則將散列位設(shè)置為第 一值以及如果投影小于閾值 則將散列位設(shè)置為第二值而獲得散列位的組BZn。這個(gè)處理的一個(gè)例 子可以表達(dá)為
SZ =sgn(//Z -5Z) (12)
其中 sgn(x)=
0 對(duì)于義<0 并且
1 舒&0
^z-所有投影HZn的中間值。 如在如下表達(dá)式中示出的那樣，以類似方式獲得另一組散列位
BVn:
= HI^M 由)對(duì)于l《nSNv (13 )
/t = 0 /=0
5F =sgn(i/K —(14)
其中 HV^合成值QV到基矩陣PVn上的投影；并且 萬產(chǎn)所有投影HVn的中間值。
從兩組散列位的結(jié)合(concatenation )獲得視頻簽名，該結(jié)合形 成具有等于Nz+Nv的總位長(zhǎng)度的值。用于Nz和Ny的值可以被設(shè)置 成提供希望的總位長(zhǎng)度，以及衡量(weight)合成值QZ和QV對(duì) 于最終視頻簽名的相對(duì)貢獻(xiàn)。在產(chǎn)生用于電視信號(hào)的視頻簽名的以上 提到的一種應(yīng)用中，Nz和Ny都設(shè)置成等于十八。
C.應(yīng)用
1.簽名組
由視頻簽名產(chǎn)生器100產(chǎn)生的簽名代表段的視頻內(nèi)容，從該視頻 內(nèi)容產(chǎn)生簽名。可通過對(duì)于在該間隔中包括的段產(chǎn)生一組簽名而獲得在比段長(zhǎng)得多的信號(hào)的間隔中的視頻內(nèi)容的可靠標(biāo)識(shí)。
在圖5中示出的圖是包括視頻幀的幾個(gè)段的信號(hào)的間隔的示意 說明。五個(gè)段被示出。信號(hào)的第一段3包括視頻幀3a至3d。每一個(gè) 隨后段4、 5、 6、 7分別包括^f見頻幀4a至4d、 5a至5d、 6a至6d及 7a至7d。如以上描述的那樣，對(duì)于這些段，通過使用視頻信號(hào)產(chǎn)生 器IOO處理在每一個(gè)段中的視頻幀的內(nèi)容，可產(chǎn)生一組簽名。
每一個(gè)段包含整數(shù)的視頻幀。優(yōu)選地，在每一個(gè)段中的幀的系列 在等于標(biāo)定長(zhǎng)度L的時(shí)間間隔上或在標(biāo)定長(zhǎng)度L的一個(gè)幀時(shí)段內(nèi)傳送 視頻內(nèi)容。術(shù)語"幀時(shí)段"是指由一個(gè)幀傳送的視頻內(nèi)容的持續(xù)時(shí)間。 用于相繼的段的標(biāo)定開始時(shí)間t弁彼此分離偏移AT。這個(gè)偏移可以設(shè)置 成等于待由視頻簽名產(chǎn)生器100處理的信號(hào)的最低幀速率的幀時(shí)段。 例如，如果待處理的最低速率是十二幀每秒，則偏移AT可以設(shè)置成 等于1/12秒，或者約83.3毫秒。
可以選擇標(biāo)定長(zhǎng)度L，以平衡減小隨后產(chǎn)生的視頻簽名對(duì)于內(nèi)容 修改(如幀速率轉(zhuǎn)換)的敏感性和增大由視頻簽名提供的表示的時(shí)間 分辨率的矛盾的好處。經(jīng)驗(yàn)研究已經(jīng)表明，與視頻內(nèi)容的大約兩秒相 對(duì)應(yīng)的標(biāo)定段長(zhǎng)度L為多種應(yīng)用提供良好結(jié)果。
提到的段長(zhǎng)度L和偏移量AT的具體值僅僅是例子。如果偏移AT 不等于整數(shù)的幀時(shí)段，則在相繼的段的實(shí)際開始時(shí)間之間的偏移可如 在圖中示出的那樣變化不同偏移量A1和A2。如果希望，在實(shí)際開始 時(shí)間之間的偏移的長(zhǎng)度可以保持在標(biāo)定偏移AT的一個(gè)幀時(shí)段內(nèi)。
圖6是示意框圖，示出分別從段3至7的視頻內(nèi)容產(chǎn)生的一組視 頻簽名193至197。參照?qǐng)D5和6，視頻簽名產(chǎn)生器100獲得在標(biāo)定 開始時(shí)間tl處開始的段3的^見頻內(nèi)容，并且處理這個(gè)^L頻內(nèi)容以產(chǎn)生 視頻簽名193。視頻簽名產(chǎn)生器100然后獲得在標(biāo)定開始時(shí)間t2處開 始的段4的視頻內(nèi)容，并且處理這個(gè)視頻內(nèi)容以產(chǎn)生視頻簽名194。 產(chǎn)生器繼續(xù)通過分別處理在標(biāo)定開始時(shí)間t3、 t4及t5處開始的段5、 6及7的視頻內(nèi)容以產(chǎn)生視頻簽名195、 196及197?？梢詫?duì)可能希望 的基本上任何數(shù)量的段產(chǎn)生簽名。標(biāo)定開始時(shí)間不必與可能伴隨視頻內(nèi)容的任何具體時(shí)間數(shù)據(jù)相 對(duì)應(yīng)。在原理上，在標(biāo)定開始時(shí)間與視頻內(nèi)容之間的對(duì)準(zhǔn)是任意的。 例如，在一種實(shí)施方式中，標(biāo)定開始時(shí)間表達(dá)為從待處理的信號(hào)的開 始的相對(duì)偏移。每一個(gè)段從傳送具有開始時(shí)間的視頻內(nèi)容的視頻幀開 始，該開始時(shí)間最靠近其相應(yīng)標(biāo)定開始時(shí)間?？蛇x擇地，每一個(gè)段可
從跨(span)用于該段的標(biāo)定開始時(shí)間的視頻幀開始?；旧峡梢允?用在開始幀與標(biāo)定開始時(shí)間之間的任何對(duì)準(zhǔn)。 2.拷貝的探測(cè)
從視頻內(nèi)容段產(chǎn)生的簽名組可用于標(biāo)識(shí)內(nèi)容，即使當(dāng)內(nèi)容已經(jīng)由 包括以上提到的那些的各種處理修改時(shí)也是如此?？砂锤鞣N方式使用 可靠地確定規(guī)定視頻內(nèi)容(即使修改了)是否為基準(zhǔn)內(nèi)容的拷貝的能 力，這些方式包括如下
參未授權(quán)拷貝的探測(cè)對(duì)等服務(wù)器的網(wǎng)絡(luò)的使用可便利于內(nèi)容的 分布，但它們也能增加探測(cè)私有內(nèi)容的未授權(quán)或侵權(quán)拷貝的難度，因 為內(nèi)容的多個(gè)拷貝可存在于對(duì)等服務(wù)器中。設(shè)施能夠通過對(duì)于從網(wǎng)絡(luò) 可獲得的所有內(nèi)容產(chǎn)生簽名組并且相對(duì)于基準(zhǔn)簽名組的數(shù)據(jù)庫檢查 這些簽名組，自動(dòng)地確定任何未授權(quán)拷貝是否存在于網(wǎng)絡(luò)中。
,廣播的確認(rèn)與分發(fā)規(guī)定視頻內(nèi)容的廣播網(wǎng)絡(luò)訂立合同的企業(yè) (business )能夠通過從由廣播接收機(jī)接收的信號(hào)產(chǎn)生簽名組并且將 這些簽名組與對(duì)規(guī)定內(nèi)容的基準(zhǔn)簽名組相比較，確認(rèn)滿足合同的條 款。
參接收的標(biāo)識(shí)為廣播網(wǎng)絡(luò)提供排名(rating)的企業(yè)能夠通過由 接收信號(hào)產(chǎn)生簽名組并且將這些簽名組與基準(zhǔn)簽名組相比較，標(biāo)識(shí)由 接收機(jī)接收的內(nèi)容。
圖7是可以用于實(shí)施各種應(yīng)用(如在前面清單中提到的那些)的 系統(tǒng)的示意框圖。視頻簽名產(chǎn)生器100由從路徑31接收的視頻內(nèi)容 的基準(zhǔn)流產(chǎn)生基準(zhǔn)視頻簽名組。產(chǎn)生的基準(zhǔn)視頻簽名組被存儲(chǔ)在簽名 數(shù)據(jù)庫180中?；鶞?zhǔn)簽名組可以與可能便利于應(yīng)用的實(shí)施的其它信息 一起存儲(chǔ)。例如，基準(zhǔn)簽名組可以與基礎(chǔ)內(nèi)容本身或與關(guān)于內(nèi)容的信息(如內(nèi)容所有者、內(nèi)容許可條款、內(nèi)容的標(biāo)題或內(nèi)容的文本描述) 一起存儲(chǔ)。每一個(gè)基準(zhǔn)簽名組具有數(shù)據(jù)庫搜索密鑰?？梢园纯赡芟Ｍ?的任何方式推導(dǎo)這個(gè)密鑰。優(yōu)選地，密鑰基于在關(guān)聯(lián)基準(zhǔn)簽名組中的 簽名，或者從其推導(dǎo)。
可以相對(duì)于在簽名數(shù)據(jù)庫中存儲(chǔ)的一個(gè)或多個(gè)簽名組代表的基 準(zhǔn)內(nèi)容檢查任何規(guī)定視頻內(nèi)容。待檢查的內(nèi)容在這里被稱作測(cè)試內(nèi)
容。通過使視頻簽名產(chǎn)生器101由從路徑33接收的測(cè)試視頻內(nèi)容產(chǎn) 生一個(gè)或多個(gè)測(cè)試視頻簽名組并且將測(cè)試視頻簽名組送到視頻搜索 引擎185,檢查測(cè)試視頻內(nèi)容的身份。視頻搜索引擎185試圖在簽名 數(shù)據(jù)庫180中找到與測(cè)試視頻簽名組準(zhǔn)確或接近匹配的基準(zhǔn)視頻簽名 組。
在一種實(shí)施方式中，視頻搜索引擎185從視頻簽名產(chǎn)生器101 接收一 個(gè)或多個(gè)測(cè)試簽名組。每一 個(gè)測(cè)試簽名組包括按它們從測(cè)試內(nèi) 容產(chǎn)生的順序定序的測(cè)試簽名Stest的系列。視頻搜索引擎185經(jīng)路 徑182從簽名數(shù)據(jù)庫180接收基準(zhǔn)簽名組。每一個(gè)基準(zhǔn)簽名組包括按 它們從對(duì)應(yīng)基準(zhǔn)內(nèi)容產(chǎn)生的順序定序的基準(zhǔn)簽名SREF的系列。視頻搜 索引擎185通過計(jì)算在用于測(cè)試內(nèi)容的測(cè)試簽名組與用于具體基準(zhǔn)內(nèi) 容的基準(zhǔn)簽名組之間的相異性DSM的度量，確定在測(cè)試內(nèi)容與具體 基準(zhǔn)內(nèi)容之間的相似性。從在用于測(cè)試簽名組的簽名系列中的對(duì)應(yīng)簽 名與用于具體基準(zhǔn)內(nèi)容的基準(zhǔn)簽名組之間的漢明(Hamming)距離推 導(dǎo)相異性DSM的這種度量?？梢园炊喾N方式計(jì)算這種度量，這些方 式包括如下表達(dá)式的任一種
ZXSM - Z(M^艦(》^孤^)]) (15a )
(15b)
其中 DSM-相異性的計(jì)算度量；
HD[x，y-在簽名x與y之間的漢明距離； Sref(s)-在基準(zhǔn)答名的系列中的第s個(gè)簽名；及
STEST(S)-在測(cè)試簽名的系列中的第s個(gè)簽名。視頻搜索引擎185從簽名數(shù)據(jù)庫180中搜索產(chǎn)生與測(cè)試簽名組的 最小相異性度量的基準(zhǔn)簽名組。與這個(gè)基準(zhǔn)簽名組相關(guān)聯(lián)的基準(zhǔn)內(nèi)容 是在數(shù)據(jù)庫中與測(cè)試內(nèi)容共享共同起源的最可能的候選對(duì)象。如果相 異性度量小于某個(gè)分類閾值，則認(rèn)為與測(cè)試簽名組相關(guān)聯(lián)的測(cè)試內(nèi)容 和基準(zhǔn)內(nèi)容共享共同起源或者是該基準(zhǔn)內(nèi)容的拷貝，該基準(zhǔn)內(nèi)容與匹 配的基準(zhǔn)簽名組相關(guān)聯(lián)。經(jīng)驗(yàn)結(jié)果建議，如果在每一個(gè)簽名組中的簽 名的系列代表大約兩秒的視頻內(nèi)容，那么對(duì)于使用的各種視頻內(nèi)容， 可以獲得良好的結(jié)果。
為了在如下討論中容易解釋，如果測(cè)試內(nèi)容與規(guī)定基準(zhǔn)內(nèi)容共享 共同起源，則說測(cè)試內(nèi)容和某種規(guī)定基準(zhǔn)內(nèi)容"匹配"。
為以上提到的分類閾值選擇的值影響測(cè)試和基準(zhǔn)內(nèi)容將正確地 被識(shí)別為彼此匹配或不匹配的可能性。它也影響做出錯(cuò)誤決定的可能 性。當(dāng)分類閾值的值減小時(shí)，匹配內(nèi)容將被錯(cuò)誤地分類為不匹配的內(nèi) 容的"錯(cuò)誤否定決定"的概率增大。相反，當(dāng)分類閾值的值增大時(shí)，不 匹配內(nèi)容將被錯(cuò)誤地分類為匹配的內(nèi)容的"錯(cuò)誤肯定決定"的概率增 大。
可以按可能希望的任何方式設(shè)置分類閾值?？梢杂糜谠O(shè)置分類閾 值的值的一種方法獲得由在數(shù)據(jù)庫180中的基準(zhǔn)簽名代表的原始視頻 內(nèi)容，并且創(chuàng)建這個(gè)原始內(nèi)容的多個(gè)拷貝。按各種方式修改拷貝，如 通過幀速率轉(zhuǎn)換和以上描述的其它有意和無意修改的任一種。該方法 對(duì)于每一個(gè)拷貝產(chǎn)生測(cè)試簽名，并且計(jì)算在測(cè)試簽名組與基準(zhǔn)簽名組 之間的第一組相異性度量DSM。該方法也計(jì)算在測(cè)試簽名組與用于 不與原始內(nèi)容共享共同起源的其它視頻內(nèi)容的簽名組之間的第二組 相異性度量DSM。在兩個(gè)組中的值的范圍不能重疊。如果它們重疊， 則重疊量典型地為每一個(gè)組中的值的范圍的非常小的部分?；蛘呷绻?兩個(gè)范圍不重疊，則將分類閾值設(shè)置為在重疊內(nèi)的值或者它們之間的 值。根據(jù)應(yīng)用的需要可以調(diào)節(jié)這個(gè)閾值，以平衡發(fā)生錯(cuò)誤肯定決定或 錯(cuò)誤否定決定的危險(xiǎn)。
D.實(shí)施包括本發(fā)明的各種方面的裝置可以按各種方式實(shí)施，包括由計(jì)算 機(jī)或某種其它裝置執(zhí)行的軟件，該其它裝置包括更專用的元件，如聯(lián) 接到與在通用計(jì)算機(jī)中存在的那些相似的元件上的數(shù)字信號(hào)處理器
(DSP)。圖8是可以用于實(shí)施本發(fā)明的方面的裝置70的示意框圖。 處理器72提供計(jì)算資源。RAM 73是由用于處理的處理器72使用的 系統(tǒng)隨機(jī)存取存儲(chǔ)器(RAM) 。 ROM74代表某種形式的持久存儲(chǔ)裝 置，如用于存儲(chǔ)操作裝置70和可能用于執(zhí)行本發(fā)明的各種方面所需 要的程序的只讀存儲(chǔ)器(ROM) 。 1/0控制75代表經(jīng)由通信通道76、 77接收和傳輸信號(hào)的接口電路。在示出的實(shí)施方式中，所有主要系統(tǒng) 元件都連接到總線71上，該總線71可以代表多于一條物理或邏輯總 線；然而，不要求總線體系結(jié)構(gòu)來實(shí)施本發(fā)明。
在由通用計(jì)算機(jī)系統(tǒng)實(shí)施的實(shí)施例中，為了與諸如鍵盤或鼠標(biāo)和 顯示器之類的裝置進(jìn)行連接、和為了控制具有諸如磁帶或磁盤、或光 學(xué)介質(zhì)之類的存儲(chǔ)介質(zhì)的存儲(chǔ)裝置78，可以包括輔助元件。存儲(chǔ)介質(zhì) 可以用于記錄用于操作系統(tǒng)、設(shè)備和應(yīng)用的指令的程序，并且可以包 括實(shí)現(xiàn)本發(fā)明的各種方面的程序。
可由元件執(zhí)行實(shí)踐本發(fā)明的各種方面要求的功能，這些元件按各 種各樣的方式實(shí)施，包括分立邏輯元件、集成電路、 一個(gè)或多個(gè)ASIC 和/或程序控制處理器。實(shí)施這些元件的方式對(duì)于本發(fā)明并不重要。
本發(fā)明的軟件實(shí)施可以由各種機(jī)器可讀介質(zhì)傳送，如遍及包括從 超聲波到紫外線頻率的頻譜的基帶或調(diào)制通信路徑、或基本上使用任 何記錄技術(shù)傳送信息的存儲(chǔ)介質(zhì)，該記錄技術(shù)包括磁帶、磁卡或磁盤、 光卡或光盤、及在包括紙的介質(zhì)上的可探測(cè)標(biāo)記。
權(quán)利要求
1.一種方法，包括接收視頻信號(hào)段中的一系列幀，該視頻信號(hào)段傳送視頻內(nèi)容，所述視頻內(nèi)容代表具有規(guī)定的分辨率的一系列畫面；處理由所述段傳送的視頻內(nèi)容，以計(jì)算表達(dá)一系列低分辨率圖像中的畫面元素的平均值和方差的合成值，每一個(gè)低分辨率圖像至少代表具有第二分辨率的一系列畫面中的相應(yīng)畫面的一部分，該第二分辨率低于所述規(guī)定的分辨率；及通過將散列函數(shù)應(yīng)用于從所述合成值獲得的一組值上，產(chǎn)生標(biāo)識(shí)所述視頻信號(hào)段的視頻內(nèi)容的簽名。
2. 根據(jù)權(quán)利要求1所述的方法，其中，該一組值中的每一個(gè)值 等于相應(yīng)的合成值。
3. 根據(jù)權(quán)利要求1所述的方法，包括從所述合成值的秩矩陣 獲得該一組值。
4. 根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，包括通過剪輯 和下取樣代表所述一 系列畫面的像素，產(chǎn)生所述一 系列低分辨率圖 像；以及，從像素組的強(qiáng)度的平均值產(chǎn)生所述畫面元素。
5. 根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，包括 通過剪輯和下取樣代表所述一系列畫面的像素，產(chǎn)生一系列格式獨(dú)立的圖像；和從每一個(gè)格式獨(dú)立的圖像中的像素組的強(qiáng)度的平均值產(chǎn)生所述 畫面元素。
6. 根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中，將散列函 數(shù)應(yīng)用于從所述合成值獲得的一組值包括將該一組值投影到一組隨 機(jī)向量上，并且其中，所述簽名的每一個(gè)分量是從該一組值到相應(yīng)隨 機(jī)向量上的投影推導(dǎo)的。
7. 根據(jù)權(quán)利要求6所述的方法，其中所述一組隨機(jī)向量中的每一個(gè)相應(yīng)的向量具有向量元素，這些向量元素具有從處于零到一的范圍內(nèi)的均勻分布隨機(jī)變量與對(duì)相應(yīng)向量的所有向量元素的均勻分布隨機(jī)變量的平均值之間的差獲得的值； 所述中間值到相應(yīng)隨機(jī)向量上的投影是從中間值與相應(yīng)向量的向量元素的內(nèi)積獲得的；以及所述簽名的每一個(gè)分量在所述中間值到對(duì)應(yīng)隨機(jī)向量上的投影大于閾值時(shí)具有第一值，或者，在所述中間值到對(duì)應(yīng)隨機(jī)向量上的投影小于閾值時(shí)具有第二值，其中，所述閾值等于中間值到所述一組隨機(jī)向量上的投影的中值。
8. 根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法，包括 接收多個(gè)視頻信號(hào)段；對(duì)所述多個(gè)視頻信號(hào)段中的每一個(gè)段，計(jì)算合成值；以及產(chǎn)生標(biāo)識(shí)所述多個(gè)視頻信號(hào)段的視頻內(nèi)容的多個(gè)簽名，以獲得簽名組，對(duì)所述多個(gè)視頻信號(hào)段中的每一個(gè)段產(chǎn)生了所述多個(gè)簽名中的相應(yīng)的簽名。
9. 根據(jù)權(quán)利要求8所述的方法，其中所述視頻信號(hào)段以 一幀速率傳送代表一 系列畫面的幀中的視頻 內(nèi)容，在相鄰的幀之間具有幀時(shí)段；并且所述方法包括形成在相繼的段的對(duì)之間具有偏移的多個(gè)視頻信 號(hào)段，該偏移是可變化的并且在等于標(biāo)定時(shí)間間隔的一個(gè)幀時(shí)段內(nèi)。
10. 根據(jù)權(quán)利要求8所述的方法，包括獲得具有多個(gè)標(biāo)識(shí)第一視頻信號(hào)的段的視頻內(nèi)容的簽名的第一 簽名組，第 一視頻信號(hào)的段以第 一幀速率傳送代表一 系列畫面的幀中 的視頻內(nèi)容，在相鄰的幀之間具有第一時(shí)段；獲得具有多個(gè)標(biāo)識(shí)第二視頻信號(hào)的段的視頻內(nèi)容的簽名的第二 簽名組，第二視頻信號(hào)的段以第二幀速率傳送代表一 系列畫面的幀中 的視頻內(nèi)容，在相鄰的幀之間具有第二時(shí)段；以及推導(dǎo)第 一簽名組與第二簽名組之間的相異性的度量，以確定第一 視頻信號(hào)和第二視頻信號(hào)是否傳送代表源于共同畫面源的相應(yīng)畫面 系列的視頻內(nèi)容。
11. 根據(jù)權(quán)利要求10所述的方法，其中，相繼的段的對(duì)傳送在彼此偏移大于或等于第一時(shí)段并且大于或等于第二時(shí)段的時(shí)間間隔 的相應(yīng)時(shí)間處開始的碎見頻內(nèi)容。
12. 才艮據(jù);f又利要求11所述的方法，包括形成在相繼的段的對(duì)之間具有偏移的第一視頻信號(hào)的段，該偏移 是可變化的并且在等于標(biāo)定時(shí)間間隔的一個(gè)第一時(shí)段內(nèi)；和形成在相繼的段的對(duì)之間具有偏移的第二視頻信號(hào)的段，該偏移 是可變化的并且在等于所述標(biāo)定時(shí)間間隔的一個(gè)第二時(shí)段內(nèi)。
13. 根據(jù)權(quán)利要求10所述的方法，其中，第一幀速率與第二幀 速率不同，并且所述方法包括形成具有代表一個(gè)第一時(shí)段內(nèi)的視頻內(nèi)容的間隔的第一數(shù)量的 幀的第一視頻信號(hào)的段，所述第一時(shí)段等于標(biāo)定段長(zhǎng)度；和形成具有代表一個(gè)第二時(shí)段內(nèi)的視頻內(nèi)容的間隔的第二數(shù)量的 幀的第二視頻信號(hào)的段，所述第二時(shí)段等于所述標(biāo)定段長(zhǎng)度，第二數(shù) 量不等于第一數(shù)量。
14. 一種設(shè)備，包括用于執(zhí)行權(quán)利要求1至13中任一項(xiàng)所述方 法的步驟的裝置。
15. —種傳送可由裝置運(yùn)行以執(zhí)行權(quán)利要求1至13中任一項(xiàng)所 述方法的指令的程序的介質(zhì)。
全文摘要
通過首先計(jì)算在低分辨率合成圖像中的畫面元素的平均值和方差而產(chǎn)生可用于標(biāo)識(shí)在一系列視頻幀中的視頻內(nèi)容的簽名，該低分辨率合成圖像代表在所述一系列幀中的視頻內(nèi)容的時(shí)間和空間合成。通過將散列函數(shù)應(yīng)用于從平均值和方差合成表示推導(dǎo)的值上而產(chǎn)生簽名。信號(hào)的視頻內(nèi)容由對(duì)在信號(hào)內(nèi)的多個(gè)幀系列所產(chǎn)生的一組簽名代表。一組簽名不管對(duì)于內(nèi)容的有意和無意修改都可提供可靠標(biāo)識(shí)。
文檔編號(hào)G06F17/30GK101681373SQ200880016427
公開日2010年3月24日 申請(qǐng)日期2008年5月1日 優(yōu)先權(quán)日2007年5月17日
發(fā)明者C·鮑爾, R·拉達(dá)克里希南 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司