專利名稱:具有標(biāo)識多媒體內(nèi)容的簽名指針的搜索樹的漸進式構(gòu)造的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及可以用于組織和搜索標(biāo)識表示旨在供人感知的刺激的信號的內(nèi)容的大簽名集合的處理及數(shù)據(jù)結(jié)構(gòu)。兩種示例類型的信號是視頻信號及音頻信號。在本公開中，術(shù)語“視頻信號”及“視頻內(nèi)容”是指表示旨在供視覺感知的圖像的信號及內(nèi)容，并且術(shù)語“音頻信號”及“音頻內(nèi)容”是指表示旨在供聽覺感知的聲音的信號及內(nèi)容。
背景技術(shù)：
試圖標(biāo)識視頻信號內(nèi)容或音頻信號內(nèi)容的應(yīng)用(包括試圖檢測由視頻信號及音頻信號傳送的盜版內(nèi)容的應(yīng)用或者試圖將已解除關(guān)聯(lián)的視頻信號及音頻信號再同步的應(yīng)用)通常依賴于檢查信號內(nèi)容以導(dǎo)出表示并標(biāo)識該內(nèi)容的簽名集合的處理。對于許多這些應(yīng)用，重要的是即使在信號的內(nèi)容已被無意地或有意地修改的情況下也獲得那些信號的可靠標(biāo)識，使得觀察者仍然能夠識別出經(jīng)修改的內(nèi)容與原始內(nèi)容基本相同。如果所感知到的原始信號的內(nèi)容與經(jīng)修改的信號的內(nèi)容之間的差異小，則優(yōu)選的是，標(biāo)識處理可以根據(jù)彼此非常相似的原始信號及經(jīng)修改的信號導(dǎo)出簽名集合。在由Regunathan Radhakrishnan等人于 2006 年 11 月 30 日提交的題為 “Extracting Features of Video and Audio SignalContent to Provide aReliable Identification of the Signals” 的美國臨時專利申請第60/872，090號以及由Regunathan Radhakrishnan等人于2007年5月17日提交的題為“Deriving Video Signatures That Are Insensitive to PictureModification andFrame-Rate Conversion”的美國臨時專利申請第60/930,905號中公開了可以用于導(dǎo)出視頻信號及音頻信號的簽名集合的一些處理，通過引用將它們的內(nèi)容合并在此。
試圖標(biāo)識某些測試信號內(nèi)容的應(yīng)用通常獲得表示參考內(nèi)容庫的大量參考簽名集合，將參考簽名集合布置為某種類型的數(shù)據(jù)結(jié)構(gòu)，根據(jù)測試信號內(nèi)容導(dǎo)出測試簽名集合，然后搜索所述數(shù)據(jù)結(jié)構(gòu)以確定是否存在與測試簽名集合相匹配的參考簽名集合。如果存在可接受程度的匹配，則測試信號內(nèi)容與對應(yīng)的參考內(nèi)容可能共享公共源。如果參考內(nèi)容是原始內(nèi)容，則認(rèn)為測試信號內(nèi)容是該參考內(nèi)容的副本。
對于許多視頻應(yīng)用及音頻應(yīng)用，上文提到的庫包含大量參考內(nèi)容，并且所述數(shù)據(jù)結(jié)構(gòu)包括非常大量的簽名集合。需要非常大量的存儲來記錄實現(xiàn)所述數(shù)據(jù)結(jié)構(gòu)所需的所有簽名集合，并且需要大量處理資源來搜索所述數(shù)據(jù)結(jié)構(gòu)。

發(fā)明內(nèi)容
本發(fā)明的目的是減少實現(xiàn)并搜索表示參考內(nèi)容(諸如，圖像、聲音或其它旨在供人感知的刺激)的參考簽名集合的結(jié)構(gòu)所需的存儲資源及處理資源。還一個目的是使得便于標(biāo)識在參考內(nèi)容內(nèi)與匹配測試內(nèi)容相對應(yīng)的位置。
根據(jù)本發(fā)明的一個方面，通過使選擇窗沿參考簽名序列前進并修改有根樹結(jié)構(gòu)以反映基于該選擇窗內(nèi)的參考簽名組的參考簽名集合的改變成員，來將測試內(nèi)容的測試簽名 集合與參考內(nèi)容的參考簽名集合相比較以標(biāo)識所述測試內(nèi)容。通過獲得表示測試內(nèi)容的測試簽名集合并搜索有根樹結(jié)構(gòu)以確定在該樹中是否存在與參考簽名集合相對應(yīng)并且提供的與測試簽名集合的相似水平超過閾值的葉節(jié)點，來檢查測試內(nèi)容的標(biāo)識。[0007]根據(jù)本發(fā)明的另一方面，通過沿參考簽名序列移動選擇窗并基于該選擇窗內(nèi)的參考簽名構(gòu)造表示參考簽名集合的集的有根樹結(jié)構(gòu)、記錄表示該有根樹結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)、并且記錄表示所述選擇窗在所述參考簽名序列內(nèi)的位置并指向所述數(shù)據(jù)結(jié)構(gòu)的位置索引，來構(gòu)造用于在標(biāo)識測試內(nèi)容時使用的樹結(jié)構(gòu)。重復(fù)該處理以針對多個選擇窗位置構(gòu)造多個有根樹結(jié)構(gòu)并記錄表示多個有根樹結(jié)構(gòu)及選擇窗位置的數(shù)據(jù)結(jié)構(gòu)及位置索引。
根據(jù)本發(fā)明的又一方面，介質(zhì)記錄表示有根樹結(jié)構(gòu)的數(shù)據(jù)，所述有根樹結(jié)構(gòu)包括分別與表示簽名序列的數(shù)據(jù)元素串中的數(shù)據(jù)元素子串相關(guān)聯(lián)的多個單層次節(jié)點及一個或更多個多層次節(jié)點。每個單層次節(jié)點與具有固定長度的數(shù)據(jù)元素子串相關(guān)聯(lián)。每個多層次節(jié)點與長度等于所述固定長度的兩倍或更多倍的整數(shù)的數(shù)據(jù)元素子串相關(guān)聯(lián)。單層次節(jié)點或多層次節(jié)點中的一些節(jié)點是與表示構(gòu)成簽名集合的所有簽名的數(shù)據(jù)元素子串相關(guān)聯(lián)的葉節(jié)點。指針與多層次節(jié)點相關(guān)聯(lián)，并指向在表示與所述多層次節(jié)點相關(guān)聯(lián)的簽名的數(shù)據(jù)元素串內(nèi)的位置。
通過參照后續(xù)討論及附圖可以更好地理解本發(fā)明及其優(yōu)選實施例的各個特征，在附圖中的幾幅圖中，相似的附圖標(biāo)記表示相似的元件。后續(xù)討論的內(nèi)容及附圖僅作為示例闡述，而不應(yīng)將其理解為表示對本發(fā)明范圍的限制。


圖I是可以用于生成視頻簽名及音頻簽名的系統(tǒng)的示意框圖。
圖2是簽名序列及簽名集合的示意圖。
圖3是管理用于標(biāo)識視頻內(nèi)容或音頻內(nèi)容的簽名數(shù)據(jù)庫的系統(tǒng)的示意框圖。
圖4是捕捉參考簽名以及用于同步視頻/音頻內(nèi)容流的校準(zhǔn)信息的系統(tǒng)的示意框圖。
圖5是可以用于恢復(fù)視頻/音頻內(nèi)容流之間的同步的系統(tǒng)的部分的示意框圖。
圖6及圖7是有根樹結(jié)構(gòu)的示意圖。
圖8是具有壓縮節(jié)點的有根樹結(jié)構(gòu)的示意圖。
圖9是具有壓縮節(jié)點及簽名指針的有根樹結(jié)構(gòu)的示意圖。
圖IOA是簽名序列及簽名集合的示意圖。
圖IOB是圖IOA中所示的簽名集合的搜索樹的示意圖。
圖IOC是與圖IOB中所示的搜索樹相對應(yīng)的具有壓縮節(jié)點的搜索樹的示意圖。
圖IlA是簽名序列及簽名集合的示意圖。
圖IlB是圖IlA中所示的簽名集合的搜索樹的示意圖。
圖IlC是與圖IlB中所示的搜索樹相對應(yīng)的具有壓縮節(jié)點的搜索樹的示意圖。
圖12A是簽名序列及簽名集合的示意圖。
圖12B是圖12A中所示的簽名集合的搜索樹的示意圖。
圖12C是與圖12B中所示的搜索樹相對應(yīng)的具有壓縮節(jié)點的搜索樹的示意圖。
圖13是可以用于實現(xiàn)本發(fā)明的各個方面的裝置的示意框圖。
具體實施方式
Α·引言
圖I是可以包含本發(fā)明的各個方面的示例性系統(tǒng)300的示意框圖。系統(tǒng)300檢查視頻/音頻信號的片段3a至3d的內(nèi)容以產(chǎn)生該信號的可靠標(biāo)識。在該示例中，所述標(biāo)識由生成標(biāo)識視頻內(nèi)容的視頻簽名 (SV)集合199a至199d的視頻簽名生成器100以及生成標(biāo)識音頻內(nèi)容的音頻簽名(SA)集合299a至299d的音頻簽名生成器200提供。
僅作為示例示出生成視頻內(nèi)容及音頻內(nèi)容的視頻簽名及音頻簽名的諸如系統(tǒng)300的系統(tǒng)?？梢詫⒈景l(fā)明的各方面合并到生成信號的簽名的其它系統(tǒng)中，所述信號傳送表示一種或更多種類型的旨在供人感知的刺激(例如，視覺圖像、聲音或觸覺感受)的內(nèi)容。在本公開的其余部分中，更具體地論及表示視覺及聽覺刺激的內(nèi)容。
I.簽名及簽名集合
可以使用多種處理來生成簽名。盡管簽名生成處理的選擇可能對系統(tǒng)的性能有顯著的實際后果，但是原則上不存在對本發(fā)明而言關(guān)鍵的特定處理。例如，上文引用的專利申請中所描述的處理可以用于生成視頻簽名及音頻簽名。
在針對視頻內(nèi)容及音頻內(nèi)容的很多應(yīng)用中，視頻簽名及音頻簽名是根據(jù)從表示運動圖像及聲音的間隔的內(nèi)容片段導(dǎo)出的信息生成的。在圖I中所示的示例中，視頻內(nèi)容及音頻內(nèi)容的各個簽名與視頻/音頻信號的各個片段相對應(yīng)。片段與簽名之間的該特定對應(yīng)僅作為示例提出。其它布置是可行的。例如，可以針對表示約33毫秒的視頻內(nèi)容的NTSC視頻信號幀生成視頻簽名，并且可以針對表示約10毫秒的音頻內(nèi)容的音頻信號采樣塊生成音頻簽名。作為另一示例，可以針對一系列的NTSC視頻信號幀生成視頻簽名，并且可以針對一系列的音頻信號采樣塊生成音頻簽名。
在相關(guān)技術(shù)中有時稱作“指紋”并且在這里稱作簽名集合的連續(xù)簽名集合旨在標(biāo)識內(nèi)容的間隔。可以通過使用如上文引用的專利申請中所討論的那些簽名生成處理的簽名生成處理，在內(nèi)容的改變幾乎沒有感知效果或沒有感知效果的情況下生成不顯著改變的簽名，來提高標(biāo)識的可靠性。
可以在如圖3中所示的標(biāo)識系統(tǒng)的標(biāo)識系統(tǒng)中使用可靠的標(biāo)識以確定在參考內(nèi)容庫中是否已經(jīng)存在特定信號的內(nèi)容，并且可以在如圖5中所示的同步系統(tǒng)的同步系統(tǒng)中使用可靠的標(biāo)識以測量并校正關(guān)聯(lián)的音頻內(nèi)容與視頻內(nèi)容之間的時間校準(zhǔn)誤差。通過生成要標(biāo)識的內(nèi)容間隔的一個或更多個簽名集合，然后將這些簽名集合與表示已知內(nèi)容的集的簽名集合相比較，來進行標(biāo)識。如果要標(biāo)識的內(nèi)容間隔的簽名集合與已知內(nèi)容間隔的簽名集合相同或非常相似，則這兩個內(nèi)容間隔可能共享公共源并且這兩個間隔接近校準(zhǔn)(inclose alignment)。
為了易于討論，本文中將要標(biāo)識的內(nèi)容及其關(guān)聯(lián)的簽名及簽名集合分別稱作測試內(nèi)容、測試簽名及測試簽名集合,并且本文中將已知內(nèi)容及其相關(guān)的簽名及簽名集合分別稱作參考內(nèi)容、參考簽名及參考簽名集合。
2.簽名集合的分辨率
測試內(nèi)容與參考內(nèi)容之間的接近校準(zhǔn)對于提供測試簽名集合與參考簽名集合之間的有意義的比較是重要的。所述比較的粒度或分辨率受限于生成簽名集合的處理的分辨率或步長。例如，如果每個音頻簽名表示10毫秒的音頻內(nèi)容，則可以通過生成步長等于一個簽名的一系列簽名集合來實現(xiàn)分辨率為10毫秒的簽名集合的集。圖2中例示了一個示
例。在該示例中，簽名序列5包括各自表示10毫秒的內(nèi)容的12個簽名SI、S2.....S12。
一系列簽名集合SSI、SS2.....SS4各自包括與90毫秒的內(nèi)容相對應(yīng)的9個相鄰的簽名。
每個簽名集合的范圍由標(biāo)記每個簽名集合在簽名序列5內(nèi)的起始及終止的窄線來示出。
在許多應(yīng)用中，例如，生成表示長得多的內(nèi)容間隔(諸如，2秒)的簽名集合。該系列的簽名集合的時間分辨率或粒度受控于相繼的簽名集合的起始點之間的間隔或偏移，這在所例示的示例中是一個簽名的長度。優(yōu)選的是，使用諸如上文引用的專利申請中所公開的那些技術(shù)的技術(shù)生成簽名集合的簽名，使得測試簽名與參考簽名之間的最接近匹配與測試內(nèi)容與參考內(nèi)容之間的最小校準(zhǔn)誤差相對應(yīng)。
3.匹配簽名集合
許多應(yīng)用實現(xiàn)搜索與測試簽名集合相似但不相同的參考簽名集合的處理。共享公共源的測試內(nèi)容及參考內(nèi)容的簽名集合通常由于兩個原因中的任一原因或兩個原因而不同。第一個原因是測試內(nèi)容與參考內(nèi)容可能不同；一個可能是另一個的修改版本。第二個原因是即使測試內(nèi)容與參考內(nèi)容相同，但是用于生成簽名的內(nèi)容片段可能未精確校準(zhǔn)。由于這些原因中的任一個或兩個，使用不同的內(nèi)容片段生成測試簽名及參考簽名；因此，即使測試內(nèi)容及參考內(nèi)容共享公共源，所生成的測試內(nèi)容及參考內(nèi)容的簽名及簽名集合通常不同。如果兩個不同信號的內(nèi)容彼此相同，或者彼此不同但是表示同一原始內(nèi)容的不同版本，則將這兩個信號的內(nèi)容稱作“共享公共源”。
如果不同的簽名集合之間的某一相似度測量超過閾值，則可以認(rèn)為這兩個簽名集合匹配?？梢允褂玫囊粋€相似度測量是兩個集合之間的漢明(Hamming)距離的倒數(shù)。兩個二進制數(shù)據(jù)項之間的漢明距離等于這兩個項中彼此不同的對應(yīng)位的數(shù)量。例如，如果Xl =0101102且乂2 = IIOOIi2，則兩個值中的第一位、第四位及第六位不同，從而Xl與X2之間的漢明距離等于3。Xl與X2之間的漢明距離等于零指示這兩個項是相同的。如果簽名集合由簽名序列組成并且每個簽名由分別的位串表示,則簽名集合本身可以由其組成簽名的一連串的位串表示。兩個簽名集合之間的漢明距離是它們的兩個分別的位串之間的不同位的數(shù)量。
在一些實現(xiàn)中，上述標(biāo)識系統(tǒng)及同步系統(tǒng)試圖通過找到與測試簽名集合的漢明距離最小的參考簽名集合來找到提供與測試簽名集合的最佳匹配的參考簽名集合。然而，無論使用何種相似度測量，由于在最佳匹配搜索中必須檢查非常大量的簽名集合，因此該處理一般較繁瑣。
4.數(shù)據(jù)結(jié)構(gòu)
應(yīng)當(dāng)使用簽名集合及其組成簽名的某一類型的數(shù)據(jù)結(jié)構(gòu)以便于搜索?？梢允褂玫囊环N類型的數(shù)據(jù)結(jié)構(gòu)公知為有根樹結(jié)構(gòu)。
有根樹結(jié)構(gòu)由以分級層次布置并且通過分支或鏈接相互連接的元素或節(jié)點組成。 樹的一個層次中的節(jié)點通過鏈接而連接到該樹中的下一較低層次處的一個或更多個節(jié)點中的每一個節(jié)點。將不具有任何低于其的節(jié)點的節(jié)點稱作葉節(jié)點。將不具有任何高于其的節(jié)點的節(jié)點稱作根節(jié)點。鏈接定義根節(jié)點與每個葉節(jié)點之間的唯一路徑。本文中將沿由一系列鏈接定義的路徑的處理稱作遍歷那些鏈接。
有根樹結(jié)構(gòu)可以用于通過將某一搜索準(zhǔn)則與每個鏈接相關(guān)聯(lián)來方便搜索處理。許多布置是可行的。圖6中示出了有根樹結(jié)構(gòu)的一個示例。樹的節(jié)點由圓圈表示，并且節(jié)點之間的鏈接由連接圓圈的線表示。該特定樹是對稱的并具有16個葉節(jié)點。針對每個鏈接的搜索準(zhǔn)則由附連在該鏈接的低端處的節(jié)點中出現(xiàn)的符號表示。
圖6中所示的樹可以用于搜索表示兩個2位數(shù)的連串序列的葉節(jié)點。開始于根節(jié)點NO處，搜索處理將搜索值X的前兩位與針對直接在根節(jié)點下的鏈接的準(zhǔn)則相比較。例如，針對到節(jié)點NI的鏈接的2比特搜索準(zhǔn)則為00。搜索處理確定滿足哪個鏈接準(zhǔn)則，然后遍歷到下一節(jié)點的該鏈接。對樹的更低層次繼續(xù)該處理，直到達到葉節(jié)點。例如，如果搜索值X等于0101，則搜索處理開始于根節(jié)點NO處，并且確定針對到節(jié)點N2的鏈接的準(zhǔn)則01與搜索值的前兩位相匹配。該處理遍歷到該節(jié)點的鏈接，隨后確定針對到節(jié)點N22的鏈接的準(zhǔn) 則01與搜索值的下兩位相匹配。因為節(jié)點N22是葉節(jié)點，所以搜索處理遍歷到該節(jié)點的鏈接并終止。
樹結(jié)構(gòu)不必對稱，并且它們不必“完整”或被節(jié)點填滿。例如，圖7中所示的樹與圖6中所示的樹相對應(yīng)，但省略了一些節(jié)點及鏈接。被省略的節(jié)點及鏈接用虛線示出。如果搜索值X不嚴(yán)格地對應(yīng)于葉節(jié)點中的一個，則搜索處理可以報告不存在匹配葉節(jié)點，或者可以標(biāo)識提供與搜索值的最接近匹配的葉節(jié)點。例如，如果搜索值X等于0000，則搜索處理開始于根節(jié)點NO，并且確定針對到節(jié)點NI的鏈接的準(zhǔn)則00是對搜索值的前兩位的精確匹配。搜索處理遍歷到節(jié)點NI的鏈接，隨后確定針對節(jié)點N13的準(zhǔn)則10對于搜索值的下兩位而言是比針對節(jié)點N14的準(zhǔn)則11更接近的匹配。因為節(jié)點N13是葉節(jié)點，所以搜索處理遍歷到該節(jié)點的鏈接并終止。由葉節(jié)點N13表示的位串0010不與搜索值X = 0000嚴(yán)格地匹配，但是它與該搜索值的漢明距離等于1，該漢明距離小于針對該特定樹中任一其它葉節(jié)點的漢明距離。如果將漢明距離的倒數(shù)用作相似度測量，則與葉節(jié)點N13相關(guān)的位串提供對搜索值X的最接近匹配。
樹結(jié)構(gòu)中的每個葉節(jié)點與沿從根節(jié)點到該葉節(jié)點遍歷的路徑所遇到的一系列鏈接準(zhǔn)則相對應(yīng)。特定系列的鏈接準(zhǔn)則通常對應(yīng)于一個簽名集合；然而，同一系列的準(zhǔn)則可以對應(yīng)于多于一個簽名序列。于是，葉節(jié)點可以對應(yīng)于多于一個簽名集合。位于沿從根節(jié)點到葉節(jié)點的路徑的中間節(jié)點中的每個中間節(jié)點表示構(gòu)成與該葉節(jié)點相對應(yīng)的一個或更多個簽名集合中的簽名的數(shù)據(jù)元素串中的一個或更多個數(shù)據(jù)元素。例如，如果簽名集合由二進制值數(shù)據(jù)元素串或位串表示，則每個中間節(jié)點表示一個或更多個位。從節(jié)點傳下的鏈接表示可以由這些位表示的不同值。
在許多應(yīng)用中，每個簽名包括幾個字節(jié)的二進制數(shù)據(jù)，并且每個簽名集合包括一系列幾百個簽名。對于這些應(yīng)用，樹結(jié)構(gòu)的簡便實現(xiàn)將每個中間節(jié)點與簽名集合的數(shù)據(jù)元素串中的八個位或一個字節(jié)的二進制數(shù)據(jù)相關(guān)聯(lián)。一個字節(jié)的二進制數(shù)據(jù)可以表示從零至255的值；因此，每個中間節(jié)點可以具有多達256個后代節(jié)點。樹中的層次的數(shù)量等于表示每個簽名集合所需的數(shù)據(jù)的字節(jié)數(shù)。
下文討論用于存儲、構(gòu)造及使用樹結(jié)構(gòu)的技術(shù)。
B.搜索樹
I.存儲
本發(fā)明的各個方面可以用于減少記錄表示有根樹結(jié)構(gòu)的數(shù)據(jù)所需的存儲量。
在很多針對視頻內(nèi)容及音頻內(nèi)容的應(yīng)用中，樹結(jié)構(gòu)可能具有數(shù)千個層次并且包括數(shù)百萬個節(jié)點。例如，Miller 等人的 “Audio Fingerprinting Nearest Neighbor Searchin High Dimensional Binary Spaces” (2002 IEEEfforkshop on Multimedia SignalProcessing, 2002年12月，182-185頁)中所討論的系統(tǒng)使用8192位或1024字節(jié)長的簽名集合。具有所有可能的節(jié)點及分支的完整樹具有28192 = 2561024 IO2466個葉節(jié)點。完整樹中的節(jié)點的總數(shù)也在IO2466量級。存儲表示這種樹的數(shù)據(jù)所需的存儲量是非常巨大的。所幸的是，典型的多媒體應(yīng)用并不需要完整樹。
數(shù)千小時多媒體內(nèi)容的表示可能需要10億個在Miller的論文中所描述的簽名集合，這比上述完整樹中的葉節(jié)點的數(shù)量少得多。結(jié)果，用于多媒體應(yīng)用的有根樹結(jié)構(gòu)可以是非常稀疏的，尤其是在接近葉節(jié)點的較低層次中。盡管如此，10億(109)是很大的數(shù)，并且需要相當(dāng)多的存儲容量來記錄表示這么多簽名集合的樹結(jié)構(gòu)?？梢允褂孟挛拿枋龅募夹g(shù)來減少記錄用于許多多媒體應(yīng)用的樹結(jié)構(gòu)所需的存儲量。
a)虛擬表示
這里討論的示例假定樹中的中間節(jié)點表示8位的簽名數(shù)據(jù)。緊接根節(jié)點下的樹的第一層次可以具有多達(28)1 = 256個節(jié)點。緊接第一層次下的第二層次可以具有多達
(28)2 = 65，536個節(jié)點。緊接第二層次下的第三層次可以具有多達(28)3 = 16，777，216個節(jié)點。如果樹表示10億個簽名集合，則在每個第三層次節(jié)點下有平均約60個葉節(jié)點。很有可能存在所有第三層次節(jié)點。幾乎肯定存在所有第一層次節(jié)點及第二層次節(jié)點。換言之，很可能需要完整樹結(jié)構(gòu)來表示第一層次、第二層次及第三層次中的節(jié)點。
可以使用一維數(shù)組來提供完整樹結(jié)構(gòu)的有效表示。該數(shù)組的每個元素對應(yīng)于節(jié)點?？梢愿鶕?jù)期望對數(shù)組中的元素進行排序，但是一個方便的實現(xiàn)反映從左到右、從頂?shù)降着判蚬?jié)點。
可選擇地，這些頂部層次可以按虛擬方式而不是由記錄在存儲器中的數(shù)據(jù)來表示。這些頂部層次中的特定節(jié)點的256個鏈接中的每個鏈接可以由搜索處理在遍歷從一個層次到下一層次的鏈接時以編程方式(progra_atically)表示。例如,該技術(shù)可以用于第一層次及第二層次中的節(jié)點，并且第三層次中的節(jié)點可以由(28)3 1.6X107個元素的一維數(shù)組表示，其中每個元素表示一個第三層次節(jié)點。如果希望，可以僅針對特定樹結(jié)構(gòu)中實際存在的那些節(jié)點分配數(shù)組元素，并且節(jié)點的存在或不存在可以由具有與每個節(jié)點相關(guān)聯(lián)的分別的標(biāo)記的一位標(biāo)記集合指示。
下面的源代碼程序例示搜索處理可以使用節(jié)點的虛擬表示的一種方式。該程序片段包括C++編程語言的句法特征，但其并不旨在成為完整的或?qū)嶋H的實現(xiàn)。僅為了說明原理而示出它。源代碼的每個語句之前的數(shù)字為后續(xù)討論提供方便的參考。
權(quán)利要求
1.一種用于標(biāo)識表示視覺或聽覺刺激的測試內(nèi)容的方法，所述方法包括 (a)使選擇窗沿參考簽名序列前進等于一個或更多個參考簽名的間隔，其中，所述參考簽名表示參考內(nèi)容片段序列，所述參考內(nèi)容表示視覺或聽覺刺激，其中，所述選擇窗內(nèi)的參考簽名構(gòu)成選擇參考簽名組； (b)修改有根樹結(jié)構(gòu)中的節(jié)點及連接所述節(jié)點的鏈接，以反映參考簽名集的集合中的參考簽名集的改變成員關(guān)系，其中，所述參考簽名集的集合中的每個參考簽名集包括所述選擇參考簽名組內(nèi)的一系列參考簽名，所述有根樹結(jié)構(gòu)中的節(jié)點與所述一系列參考簽名中的參考簽名相關(guān)聯(lián)，并且所述節(jié)點中的一些節(jié)點是均與相應(yīng)的參考簽名集相對應(yīng)的葉節(jié)點，并且其中通過包括以下步驟的處理修改所述節(jié)點及鏈接 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落 在所述選擇窗內(nèi)的新參考簽名； 將所述新參考簽名添加到所述選擇參考簽名組； 對所述參考簽名集的集合添加新參考簽名集，其中，所述新參考簽名集包括所述選擇參考簽名組中以所述新參考簽名結(jié)尾的一系列參考簽名； 對所述有根樹結(jié)構(gòu)添加包括新葉節(jié)點的一個或更多個新節(jié)點以及一個或更多個新鏈接，其中，所述新葉節(jié)點與所述新參考簽名集相對應(yīng)，并且所述一個或更多個新鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個新節(jié)點； 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗外的舊參考簽名； 將所述舊參考簽名從所述選擇參考簽名組中去除； 從所述參考簽名集的集合中去除舊參考簽名集，其中，所述舊參考簽名集包括以所述舊參考簽名開始的一系列參考簽名；以及 從所述有根樹結(jié)構(gòu)中去除包括舊葉節(jié)點的一個或更多個舊節(jié)點以及一個或更多個舊鏈接，其中，所述舊葉節(jié)點與所述舊參考簽名集相對應(yīng)，并且所述一個或更多個舊鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個舊節(jié)點； (C)獲得包括表示所述測試內(nèi)容的一系列片段的一系列測試簽名的測試簽名集； (d)遍歷有根樹結(jié)構(gòu)中的連接所述節(jié)點的所述鏈接，以確定所述有根樹結(jié)構(gòu)中是否存在匹配葉節(jié)點，所述匹配葉節(jié)點與參考簽名集相對應(yīng)并且提供超過閾值的與所述測試簽名集的相似水平；以及 (e)生成指示所述有根樹結(jié)構(gòu)中是否存在匹配節(jié)點的匹配狀態(tài)信號。
2.根據(jù)權(quán)利要求
I所述的方法，包括獲得與所述匹配葉節(jié)點相關(guān)聯(lián)的、標(biāo)識在所述參考內(nèi)容片段序列內(nèi)的對應(yīng)位置的參考位置信息。
3.根據(jù)權(quán)利要求
2所述的方法，其中，所述參考位置信息指定在所述參考簽名序列中的對應(yīng)位置。
4.根據(jù)權(quán)利要求
3所述的方法，其中，在所述參考簽名序列中的所述對應(yīng)位置是指定簽名在構(gòu)成由所述匹配葉節(jié)點表示的參考簽名集的一系列簽名中的位置。
5.根據(jù)權(quán)利要求
2到4中任一個所述的方法，包括 獲得與所述測試簽名集相關(guān)聯(lián)的、標(biāo)識在測試內(nèi)容片段序列內(nèi)的對應(yīng)位置的測試位置信息；導(dǎo)出由所述參考位置信息標(biāo)識的位置與所述測試位置信息標(biāo)識的位置之間的偏移；以及 生成表不所述偏移的信號。
6.一種用于構(gòu)造在標(biāo)識表示視覺或聽覺刺激的內(nèi)容時使用的樹結(jié)構(gòu)的方法，所述方法包括 (a)在表示參考內(nèi)容片段序列的參考簽名序列內(nèi)的位置處建立選擇窗，所述參考內(nèi)容表示視覺或聽覺刺激，其中，所述選擇窗內(nèi)的參考簽名構(gòu)成表示所述參考內(nèi)容的部分的選擇參考簽名組； (b)構(gòu)造包括根、多個節(jié)點及連接所述節(jié)點的多個鏈接的有根樹結(jié)構(gòu)，以反映參考簽名集的集合中的參考簽名集的成員關(guān)系，其中，所述參考簽名集的集合中的每一個參考簽名 集包括所述選擇參考簽名組內(nèi)的一系列參考簽名，所述有根樹結(jié)構(gòu)中的所述節(jié)點與所述一系列參考簽名中的參考簽名相關(guān)聯(lián)，并且所述節(jié)點中的一些節(jié)點是均與相應(yīng)的參考簽名集相對應(yīng)的葉節(jié)點； (C)記錄表示所述有根樹結(jié)構(gòu)中的所述根、所述節(jié)點以及所述鏈接的數(shù)據(jù)結(jié)構(gòu)； (d)記錄表示所述選擇窗在所述參考簽名序列內(nèi)的位置并指向所述數(shù)據(jù)結(jié)構(gòu)的位置索引；以及 (e)重復(fù)步驟(a)到(d)，以針對所述參考內(nèi)容的不同部分的多個選擇窗位置構(gòu)造多個有根樹結(jié)構(gòu)，并記錄表示所述多個有根樹結(jié)構(gòu)及所述多個選擇窗位置的相應(yīng)的數(shù)據(jù)結(jié)構(gòu)及位置索引，其中 對步驟(a)的重復(fù)通過使所述選擇窗沿所述參考簽名序列前進小于所述選擇窗的長度的間隔來建立多個選擇窗位置，使得相鄰位置的選擇窗彼此交疊；并且 對步驟(b)的重復(fù)包括 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗內(nèi)的新參考簽名； 將所述新參考簽名添加到所述選擇參考簽名組； 對所述參考簽名集的集合添加新參考簽名集，其中，所述新參考簽名集包括所述選擇參考簽名組中以所述新參考簽名結(jié)尾的一系列參考簽名； 對所述有根樹結(jié)構(gòu)添加包括新葉節(jié)點的一個或更多個新節(jié)點以及一個或更多個新鏈接，其中，所述新葉節(jié)點與所述新參考簽名集相對應(yīng)，并且所述一個或更多個新鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個新節(jié)點； 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗外的舊參考簽名； 將所述舊參考簽名從所述選擇參考簽名組中去除； 從所述參考簽名集的集合中去除舊參考簽名集，其中，所述舊參考簽名集包括以所述舊參考簽名開始的一系列參考簽名；以及 從所述有根樹結(jié)構(gòu)中去除包括舊葉節(jié)點的一個或更多個舊節(jié)點以及一個或更多個舊鏈接，其中，所述舊葉節(jié)點與所述舊參考簽名集相對應(yīng)，并且所述一個或更多個舊鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個舊節(jié)點。
7.根據(jù)權(quán)利要求
6所述的方法，包括記錄每一個葉節(jié)點的標(biāo)識在所述參考內(nèi)容片段序列內(nèi)的對應(yīng)位置的參考位置信息。
8.根據(jù)權(quán)利要求
7所述的方法，其中，所述參考位置信息指定在所述參考簽名序列中的對應(yīng)位置。
9.根據(jù)權(quán)利要求
8所述的方法，其中，在所述參考簽名序列中的所述對應(yīng)位置是指定簽名在構(gòu)成由相應(yīng)葉節(jié)點表示的參考簽名集的一系列簽名中的位置。
10.一種用于標(biāo)識表示視覺或聽覺刺激的測試內(nèi)容的設(shè)備，所述設(shè)備包括 用于使選擇窗沿參考簽名序列前進等于一個或更多個參考簽名的間隔的裝置，其中，所述參考簽名表示參考內(nèi)容片段序列，所述參考內(nèi)容表示視覺或聽覺刺激，其中，所述選擇 窗內(nèi)的參考簽名構(gòu)成選擇參考簽名組；用于修改有根樹結(jié)構(gòu)中的節(jié)點及連接所述節(jié)點的鏈接的裝置，用于反映參考簽名集的集合中的參考簽名集的改變成員關(guān)系，其中，所述參考簽名集的集合中的每個參考簽名集包括所述選擇參考簽名組內(nèi)的一系列參考簽名，所述有根樹結(jié)構(gòu)中的節(jié)點與所述一系列參考簽名中的參考簽名相關(guān)聯(lián)，并且所述節(jié)點中的一些節(jié)點是均與相應(yīng)的參考簽名集相對應(yīng)的葉節(jié)點，并且其中通過包括以下步驟的處理修改所述節(jié)點及鏈接 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗內(nèi)的新參考簽名； 將所述新參考簽名添加到所述選擇參考簽名組； 對所述參考簽名集的集合添加新參考簽名集，其中，所述新參考簽名集包括所述選擇參考簽名組中以所述新參考簽名結(jié)尾的一系列參考簽名； 對所述有根樹結(jié)構(gòu)添加包括新葉節(jié)點的一個或更多個新節(jié)點以及一個或更多個新鏈接，其中，所述新葉節(jié)點與所述新參考簽名集相對應(yīng)，并且所述一個或更多個新鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個新節(jié)點； 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗外的舊參考簽名； 將所述舊參考簽名從所述選擇參考簽名組中去除； 從所述參考簽名集的集合中去除舊參考簽名集，其中，所述舊參考簽名集包括以所述舊參考簽名開始的一系列參考簽名；以及 從所述有根樹結(jié)構(gòu)中去除包括舊葉節(jié)點的一個或更多個舊節(jié)點以及一個或更多個舊鏈接，其中，所述舊葉節(jié)點與所述舊參考簽名集相對應(yīng)，并且所述一個或更多個舊鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個舊節(jié)點； 用于獲得包括表示所述測試內(nèi)容的一系列片段的一系列測試簽名的測試簽名集的裝置； 用于遍歷有根樹結(jié)構(gòu)中的連接所述節(jié)點的所述鏈接的裝置，用于確定所述有根樹結(jié)構(gòu)中是否存在匹配葉節(jié)點，所述匹配葉節(jié)點與參考簽名集相對應(yīng)并且提供超過閾值的與所述測試簽名集的相似水平；以及 用于生成匹配狀態(tài)信號的裝置，所述匹配狀態(tài)信號指示所述有根樹結(jié)構(gòu)中是否存在匹配節(jié)點。
11.根據(jù)權(quán)利要求
10所述的設(shè)備，其包括用于獲得與所述匹配葉節(jié)點相關(guān)聯(lián)的、標(biāo)識在所述參考內(nèi)容片段序列內(nèi)的對應(yīng)位置的參考位置信息的裝置。
12.根據(jù)權(quán)利要求
11所述的設(shè)備，其中，所述參考位置信息指定在所述參考簽名序列中的對應(yīng)位置。
13.根據(jù)權(quán)利要求
12所述的設(shè)備，其中，在所述參考簽名序列中的所述對應(yīng)位置是指定簽名在構(gòu)成由所述匹配葉節(jié)點表示的參考簽名集的一系列簽名中的位置。
14.根據(jù)權(quán)利要求
11到13中任一個所述的設(shè)備，其包括 用于獲得與所述測試簽名集相關(guān)聯(lián)的、標(biāo)識在測試內(nèi)容片段序列內(nèi)的對應(yīng)位置的測試 位置信息的裝置； 用于導(dǎo)出由所述參考位置信息標(biāo)識的位置與所述測試位置信息標(biāo)識的位置之間的偏移的裝置；以及 用于生成表示所述偏移的信號的裝置。
15.一種用于構(gòu)造在標(biāo)識表示視覺或聽覺刺激的內(nèi)容時使用的樹結(jié)構(gòu)的設(shè)備，所述設(shè)備包括 用于在表示參考內(nèi)容片段序列的參考簽名序列內(nèi)的位置處建立選擇窗的裝置，所述參考內(nèi)容表示視覺或聽覺刺激，其中，所述選擇窗內(nèi)的參考簽名構(gòu)成表示所述參考內(nèi)容的部分的選擇參考簽名組； 用于構(gòu)造包括根、多個節(jié)點及連接所述節(jié)點的多個鏈接的有根樹結(jié)構(gòu)的裝置，用于反映參考簽名集的集合中的參考簽名集的成員關(guān)系，其中，所述參考簽名集的集合中的每一個參考簽名集包括所述選擇參考簽名組內(nèi)的一系列參考簽名，所述有根樹結(jié)構(gòu)中的所述節(jié)點與所述一系列參考簽名中的參考簽名相關(guān)聯(lián)，并且所述節(jié)點中的一些節(jié)點是均與相應(yīng)的參考簽名集相對應(yīng)的葉節(jié)點； 用于記錄表示所述有根樹結(jié)構(gòu)中的所述根、所述節(jié)點以及所述鏈接的數(shù)據(jù)結(jié)構(gòu)的裝置； 用于記錄表示所述選擇窗在所述參考簽名序列內(nèi)的位置并指向所述數(shù)據(jù)結(jié)構(gòu)的位置索引的裝置；以及 用于重復(fù)前述裝置的操作的裝置，針對所述參考內(nèi)容的不同部分的多個選擇窗位置構(gòu)造多個有根樹結(jié)構(gòu)，并記錄表示所述多個有根樹結(jié)構(gòu)及所述多個選擇窗位置的相應(yīng)的數(shù)據(jù)結(jié)構(gòu)及位置索引，其中 對所述用于建立選擇窗的裝置的操作的重復(fù)通過使所述選擇窗沿所述參考簽名序列前進小于所述選擇窗的長度的間隔來建立多個選擇窗位置，使得相鄰位置的選擇窗彼此交疊；并且 對所述用于構(gòu)造有根樹結(jié)構(gòu)的裝置的操作的重復(fù)包括 標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗內(nèi)的新參考簽名； 將所述新參考簽名添加到所述選擇參考簽名組； 對所述參考簽名集的集合添加新參考簽名集，其中，所述新參考簽名集包括所述選擇參考簽名組中以所述新參考簽名結(jié)尾的一系列參考簽名； 對所述有根樹結(jié)構(gòu)添加包括新葉節(jié)點的一個或更多個新節(jié)點以及一個或更多個新鏈接，其中，所述新葉節(jié)點與所述新參考簽名集相對應(yīng)，并且所述一個或更多個新鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個新節(jié)點；標(biāo)識所述參考簽名序列中作為使所述選擇窗前進的結(jié)果而新落在所述選擇窗外的舊參考簽名； 將所述舊參考簽名從所述選擇參考簽名組中去除； 從所述參考簽名集的集合中去除舊參考簽名集，其中，所述舊參考簽名集包括以所述舊參考簽名開始的一系列參考簽名；以及 從所述有根樹結(jié)構(gòu)中去除包括舊葉節(jié)點的一個或更多個舊節(jié)點以及一個或更多個舊鏈接，其中，所述舊葉節(jié)點與所述舊參考簽名集相對應(yīng)，并且所述一個或更多個舊鏈接將所述有根樹結(jié)構(gòu)中的其它節(jié)點連接到所述一個或更多個舊節(jié)點。
16.根據(jù)權(quán)利要求
15所述的設(shè)備，其包括用于記錄每一個葉節(jié)點的標(biāo)識在所述參考內(nèi)容片段序列內(nèi)的對應(yīng)位置的參考位置信息的裝置。
17.根據(jù)權(quán)利要求
16所述的設(shè)備，其中，所述參考位置信息指定在所述參考簽名序列中的對應(yīng)位置。
18.根據(jù)權(quán)利要求
17所述的設(shè)備，其中，在所述參考簽名序列中的所述對應(yīng)位置是指定簽名在構(gòu)成由相應(yīng)葉節(jié)點表示的參考簽名集的一系列簽名中的位置。
專利摘要
系統(tǒng)使用具有表示根據(jù)視頻內(nèi)容片段及音頻內(nèi)容片段導(dǎo)出的簽名的節(jié)點的搜索樹結(jié)構(gòu)來標(biāo)識內(nèi)容并重新建立已經(jīng)彼此解除關(guān)聯(lián)的視頻內(nèi)容與音頻內(nèi)容之間的正確校準(zhǔn)?？梢酝ㄟ^用簽名指針替代存儲的簽名集合來減少記錄表示樹結(jié)構(gòu)的數(shù)據(jù)所需的存儲量?？梢酝ㄟ^構(gòu)造并使用部分樹結(jié)構(gòu)來提高在樹結(jié)構(gòu)中搜索的效率。
文檔編號GKCN101743512 B發(fā)布類型授權(quán) 專利申請?zhí)朇N 200880022007
公開日2012年9月5日 申請日期2008年6月20日
發(fā)明者大衛(wèi)·內(nèi)爾·萊思羅普, 蔣文宇 申請人:杜比實驗室特許公司導(dǎo)出引文BiBTeX, EndNote, RefMan專利引用 (2), 非專利引用 (1),