專利名稱：用來處理視頻數(shù)據(jù)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及凄史字信號處理領(lǐng)i或，更具體i也i兌涉及用來 有效地表達和處理信號或圖^象lt據(jù)(最具體地i兌，^L頻凄t據(jù))的計 算機裝置和用計算機實現(xiàn)的方法。
背景技術(shù)：
本發(fā)明能駐留在其中的現(xiàn)有4支術(shù)的 一般系統(tǒng)描述可以表示 成圖1。在這里，方4匡圖顯示典型的現(xiàn)有4支術(shù)#見頻處理系統(tǒng)。這 樣的系統(tǒng)通常包括下列幾級輸入級102、處理級104、輸出級 106和一個或多個凄t據(jù)存儲j幾制108。
輸入級102可能包括諸如攝像機傳感器、纟聶像機傳感器陣列、 距離檢測傳感器或從儲存機制取回數(shù)據(jù)的裝置之類的元素。輸入
級4是供用來表達人造的和/或自然發(fā)生的現(xiàn)象的時間相關(guān)序列的 視頻數(shù)據(jù)。該數(shù)據(jù)的顯著成份可能被噪音或其它不想要的信號掩 蓋或污染。
呈數(shù)據(jù)流、數(shù)據(jù)陣列或數(shù)據(jù)包形式的視頻數(shù)據(jù)可能被直接或
通過中間^f諸存元素108依照預(yù)先定義的傳，命協(xié)i義送到處理級 104。處理級104可能采取模擬或數(shù)字專用裝置或可編程裝置(例 如，中央處理器(CPU)、凄史字信號處理器(DSP)或5見場可編禾呈門陣 列(FPGA))的形式來執(zhí)4亍 一 組預(yù)期的 一見頻據(jù)處理操作。處理級 104通常包括一個或多個CODEC(編解碼器)。
輸出級106產(chǎn)生能夠影響^f吏用者或外設(shè)的信號、顯示或其它 響應(yīng)。通常，輸出裝置被用來產(chǎn)生指示器信號、顯示、硬拷貝、 處理過的數(shù)據(jù)在存儲器中的表達，或初始化向遠程站點的數(shù)據(jù)傳 輸。它也可能被用來提供中間信號或控制參數(shù)供后續(xù)處理操作使 用。
存々者器是作為4諸存這個系統(tǒng)中的非必選元素呈現(xiàn)的。在^f吏用 時，儲存元素108可能是非易失性的(例如，只讀儲存媒體)或易 失性的(例如，動態(tài)隨機存取儲存器(RAM))。為了包括幾種類型 的儲存元素，它對于單一的一見頻處理系統(tǒng)并非是異乎尋常的，該 元素有各種不同的對輸入級、處理級和輸出級的關(guān)系。這樣的儲 存元素的例子包括輸入緩沖器、輸出緩沖器和處理高速緩沖存儲 器。
圖1所示視頻處理系統(tǒng)的主要目標(biāo)是處理輸入數(shù)據(jù)產(chǎn)生對特
定的應(yīng)用具有深遠意義的輸出。為了實現(xiàn)這個目標(biāo)，可以利用多
種處理操作，包括噪聲減少或消除、特征提取、對象拆分和/或規(guī)
范化、lt據(jù)分類、事件4全測、編輯、t^居選擇、It據(jù)二次編碼、 和代碼轉(zhuǎn)換。
許多產(chǎn)生缺乏限制的數(shù)據(jù)(尤其是聲音和可視圖像)的數(shù)據(jù)來 源對人是重要的。在大多數(shù)情況下，這些來源信號的基本特征對 有效地處理凄t據(jù)的目標(biāo)產(chǎn)生不利的影響。來源凄t據(jù)固有的易變性 是在不引進起因于在推演工程假設(shè)時使用的自然的、經(jīng)驗的和啟 發(fā)式的方法的誤差的情況下以可靠和有效的方式處理數(shù)據(jù)的障 礙。當(dāng)輸入數(shù)據(jù)被自然地或故意地限制在定義狹窄的特征集(例 如， 一組有限的符號值或狹窄的帶寬)之中的時候，這種易變性 將針對應(yīng)用有所減弱。這些限制時常導(dǎo)致商業(yè)價值低的處理技 術(shù)。
信號處理系統(tǒng)的i殳計受該系統(tǒng)的傾向于用途和作為輸入 <吏 用的來源信號的預(yù)期特性的影響。在大多數(shù)情況下，所需要的執(zhí) 行效率也將是一個重要的設(shè)計因素。執(zhí)行效率依次受與可用的數(shù) 據(jù)存4諸量相比待處理的lt據(jù)量以及與可用的計算能力相比應(yīng)用 的計算復(fù)雜性的影響。
傳統(tǒng)的視頻處理方法有許多以數(shù)據(jù)通信速度慢、儲存需求大 和擾亂知覺人為現(xiàn)象的形式出現(xiàn)的無效性。這些可能因為人們希 望使用和操縱視頻數(shù)據(jù)的方法的多樣性和因為人們對某些形式 的4見覺信息有先天的壽文感性變成嚴(yán)重的問題。
"最佳的"#見頻處理系統(tǒng)在完成 一 組預(yù)期的處理操作方面是 高效率的、可靠的和強健的。這樣的操作可能包括數(shù)據(jù)的儲存、 傳輸、顯示、壓縮、編輯、加密、增強、分類、特征檢測和確認。 二次操作可能包括這樣處理過的數(shù)據(jù)與其它數(shù)據(jù)來源的整合。在
^見頻處理系統(tǒng)的情況下同等重要的是#r出應(yīng)該通過避免引進知 覺人為現(xiàn)象與人類視覺相容。
視頻處理系統(tǒng)如果它的速度、效率和質(zhì)量不強烈地取決于輸 入數(shù)據(jù)的任何特定特征的細節(jié)則可以;陂描述為"強健的"。，強健
也與在某些輸入出現(xiàn)錯誤的時候完成操作的能力有關(guān)。許多視頻 處理系統(tǒng)未能強健到足以考慮到應(yīng)用的 一 般類別，僅僅為在該系 統(tǒng)的研發(fā)中使用的同樣受狹窄限制的數(shù)據(jù)提供應(yīng)用。
顯著信息由于輸入元素的抽樣速率與感知現(xiàn)象的信號特性 不匹配可能在連續(xù)取值的數(shù)據(jù)來源的離散化中丟失。另外，當(dāng)信 號強度超過傳感器極限導(dǎo)致飽和的時候也有遺失。同樣，當(dāng)輸入 數(shù)據(jù)的精度下降的時候，數(shù)據(jù)也會遺失，這在輸入數(shù)據(jù)的完整的 數(shù)值范圍用 一組離散數(shù)值表達，借此降低數(shù)據(jù)表達的精度的時候 發(fā)生在任何量化程序中。
總體易變性指的是 一 類數(shù)據(jù)或信息來源中的任何無法預(yù)測 性。因為視覺信息通常不受限制，所以代表3見覺信息特征的數(shù)據(jù) 有非常大的總體易變性程度。視覺信息可以表達任何由于光線入 射在傳感器陣列上所形成的空間陣列序列或時間空間的序列。
在仿制一見覺現(xiàn)象時，纟見頻處理器通常把一些限制組和/或結(jié)構(gòu) 強加在表達或解釋數(shù)據(jù)方式上。結(jié)果，這樣的方法可能引進將會 影響輸出質(zhì)量、可能用來考慮輸出的置信水平和能在該數(shù)據(jù)上可 靠地完成的后續(xù)處理工作的類型的系統(tǒng)誤差。
一些量化方法降低^L頻畫面中的數(shù)據(jù)精度同時試圖保有那 個數(shù)據(jù)的統(tǒng)計變化。通常，視頻數(shù)據(jù)是這樣分析的，以致數(shù)據(jù)值 的分布被收集到概率分布之中。也有一些方法把數(shù)據(jù)映射到相空 間之中，以便將數(shù)據(jù)的特色表示為空間頻率的混合，借此允許精 度下降以較少引起反對的方式擴散。這些量化方法在被大量地利
用時往往導(dǎo)致知覺上難以相信的顏色和能在該^L頻畫面原本平 滑的區(qū)域中引起突然的怪異狀態(tài)。
差分編碼通常也用來利用l丈據(jù)的局部空間相似性。在畫面的
一個部分中的tt據(jù)傾向于聚集在那個畫面中的相似彰::據(jù)周圍和 后續(xù)畫面中的相似4立置。然后，4艮據(jù)它的空間郵t連凝:據(jù)表達該凝: 據(jù)能與量化組合起來，而最終結(jié)果是對于》合定的準(zhǔn)確性表達差分 比使用數(shù)據(jù)的絕對值更精確。這個假定在原始視頻數(shù)據(jù)的光譜分 辨率有限的時候(例如，在黑白圖像或顏色少的圖像中)很好地工 作。隨著圖像的光語分辨率逐漸增加，相似性假定被嚴(yán)重破壞。 這種石皮壞是由于沒有能力有選擇地^f呆護i見頻凄t據(jù)準(zhǔn)確性造成的。
殘差編碼與差分編碼類似，因為這種表達的誤差被進一步差 分編碼，以^f更把原始^t據(jù)的準(zhǔn)確性恢復(fù)到預(yù)期的準(zhǔn)確性水平。
這些方法的變化嘗試把一見頻凄丈據(jù)變換成把lt據(jù)相關(guān)關(guān)系暴 露在空間相位和刻度之中的替代表達。一:S4見頻數(shù)據(jù)已經(jīng)以這些 方式變換，量化和差分編碼的方法就能適用于被變換的數(shù)據(jù)，從 而導(dǎo)致增加顯著圖像特征的保存。這些變換視頻壓縮技術(shù)中最普 遍兩種是離散余弦變換(DCT)和離散子波變換(DWT)。 DCT變換 的誤差表明在視頻數(shù)據(jù)數(shù)值方面有廣泛的變化，因此，DCT通常 被用在視頻數(shù)據(jù)的區(qū)段上，為的是使這些錯誤的相關(guān)關(guān)系定位。 來自這種定位的4叚象往往沿著這些區(qū),爻的邊界出現(xiàn)。就DWT而 言，更復(fù)雜的假象在基礎(chǔ)函數(shù)和某些紋理之間有誤配的時候發(fā) 生，而且這引起才莫糊效應(yīng)。為了#<消DCT和DWT的負面效應(yīng)， 提高表達的準(zhǔn)確性以便以寶貴的帶寬為代價減少失真。

發(fā)明內(nèi)容
本發(fā)明是 一 種在計算和分析方面均優(yōu)于現(xiàn)有頂級技術(shù)的方 法的計算^L實現(xiàn)的^L頻處理方法。原則上本發(fā)明的方法是線性分
解法，空間拆分法和空間規(guī)范化法的整合。從空間上限制視頻數(shù) 據(jù)大大4是高線性分解法的強健性和適用性。此外，凄t據(jù)的空間拆
分與空間規(guī)范化相對應(yīng)能進一步用來增大單獨的來自空間規(guī)范 化的利益。具體地說，本發(fā)明提供一種裝置，采用該裝置能把信號數(shù)據(jù) 有效地處理成一個或多個有益的表達。本發(fā)明在處理許多普遍發(fā) 生的數(shù)據(jù)組時是有效的而且在處理—見頻和圖傳4爻l居時是特別有 效的。本發(fā)明的方法分析該數(shù)據(jù)并且提供那個數(shù)據(jù)的 一種或多種 簡潔表達以使它的處理和編碼變得容易。對于許多應(yīng)用(包括但不限于纟見頻數(shù)據(jù)的編碼、壓縮、傳輸、分析、儲存和顯示)， 每種新的比較簡潔的數(shù)據(jù)表達都允許減少計算處理、傳輸帶寬和 儲存需求。本發(fā)明包括用來識別和提取視頻數(shù)據(jù)的顯著成份的方 法，從而允許區(qū)分?jǐn)?shù)據(jù)的處理和表達的優(yōu)先次序。信號中的噪音 和其它多余部分被看作是優(yōu)先4又比4交低的，以致進一步的處理能 集中在分析和表達視頻信號中優(yōu)先權(quán)比較高的部分上。結(jié)果，視 頻信號的表達比先前可能的表達更簡潔。而且把準(zhǔn)確性的損失集 中在^L頻信號中知覺上不重要的部分。


圖1是舉例i兌明現(xiàn)有才支術(shù)^L頻處理系統(tǒng)的方框圖。圖2是提供本發(fā)明的概觀的方框圖，它展示用來處理影像的 主要組件。圖3是舉例說明本發(fā)明的運動評估方法的方框圖。 圖4是舉例i兌明本發(fā)明的整體配準(zhǔn)方法的方框圖。 圖5是舉例i兌明本發(fā)明的^見范化方法的方框圖。 圖6是舉例i兌明混合式空間身見范4匕壓縮方法的方才匡圖。
圖7是舉例i兌明本發(fā)明在局部范化中4吏用的網(wǎng)孔生成方法 的方框圖。圖8是舉例說明本發(fā)明在局部規(guī)范化中使用的基于網(wǎng)孔的規(guī) 范化方法的方^i圖。圖9是舉例說明本發(fā)明的整體和局部組合規(guī)范化方法的方框圖。圖IO是舉例說明本發(fā)明的GPCA-基本多項式擬合和求導(dǎo)方 法的方框圖。圖11是舉例說明本發(fā)明的GPCA遞歸細分法的方框圖。 具體實施方法在視頻信號數(shù)據(jù)中，視頻畫面被組裝成通常描繪投影、成像 到二維成像表面上的三維視場的圖像序列。每個畫面(或圖像)都 由代表響應(yīng)抽樣信號的成像敏感元件的象素組成。時常，抽樣信 號對應(yīng)于用二維敏感元件陣列抽樣的 一些反射的、折射的或發(fā)射 的能量(例如，電磁能、聲能，等等)。連續(xù)的順序抽樣導(dǎo)致時空 數(shù)據(jù)流，每個畫面的兩個空間維度和時間維度對應(yīng)于該畫面在一見頻序列中的;欠序。本發(fā)明如同圖2舉例說明的那樣分4斤信號凄t據(jù)和識別顯著成 份。當(dāng)信號由視頻數(shù)據(jù)組成的時候，時空流分析揭示時常作為特 定對象(例如，面部)的顯著成〗分。識別考呈序限定顯著成4分的存在 和重要性并且選擇那些顯著成份之中最重要的一個或多個顯著 成份。這不限制在3見在描述的處理之后或同時識別和處理其它4交 為不顯著的成份。然后，上述的顯著成份被進一步分析，以便識 別易變的和不變的子成〗分。不變的子成〗分的識別是建立該成^f分的
某個方面的模型的程序，借此揭示該模型的參數(shù)表達法，以允許 將該成份合成到預(yù)期的準(zhǔn)確性水平。在本發(fā)明的一個實施方案中，4企測和跟蹤前景對象。該對象 的象素^皮識別并且從每個—見頻畫面中拆分出來。基于區(qū),殳的運動評估;帔應(yīng)用于/人多個畫面中拆分出來的對象。然后，這些運動;平 估被整合成較高級的運動模型。該運動模型用來把該對象的例證 隱藏到爿>用的空間配置中。對于特定的彩:據(jù)，在這個配置中，該 對象更多的特征4皮對準(zhǔn)。這種^L范化允許將該對象的象素在多個 畫面上的數(shù)值的線性分解被緊湊地表達。屬于該對象的外觀的顯 著信息包含在這個緊湊的表達之中。本發(fā)明的優(yōu)選實施方案詳細描述前景^L頻對象的線性分解。 該對象在空間上被規(guī)范化，借此得出緊湊的線性外觀模型。此外， 進一步的優(yōu)選實施方案在空間^L范化之前把前景對象從^L頻畫面的背景中拆分出來。本發(fā)明的優(yōu)選實施方案將本發(fā)明應(yīng)用于人對著揭J象4幾邊i兌 話邊進行少量運動的影像。本發(fā)明的優(yōu)選實施方案將本發(fā)明應(yīng)用于影^象中能通過空間 轉(zhuǎn)換被4艮好地表達的任何對象。本發(fā)明的優(yōu)選實施方案明確地^f吏用基于區(qū)^殳的運動評估來 確定兩個或多個4見頻畫面之間的有限差分。為了要提供更有效的 線性分解，高級運動模型是依據(jù)那些有限差分因式分解的。檢測&跟蹤一旦已經(jīng)確定信號的顯著構(gòu)成成^f分，這些成^f分就可以輛J呆 留，而所有其它的信號成份可以被減少或去除。；險測顯著成份的程序展示在圖2中，在那里^L頻畫面(202)是用一個或多個4企測對 象(206)程序處理的，從而導(dǎo)致一個或多個對象^皮識別并且隨后萍皮 跟蹤。保留的成份^表^L頻lt據(jù)的中間形式。然后，可以4吏用對 于現(xiàn)有的視頻處理方法通常不可得的技術(shù)給這個中間數(shù)據(jù)編碼。 因為該中間凝:據(jù)以幾種形式存在，所以標(biāo)準(zhǔn)的#見頻編碼^支術(shù)也能 用來給這些中間形式中的一些編碼。對于每個例證，本發(fā)明都先 確定然后4吏用最有效的編碼，技術(shù)。在一個優(yōu)選實施方案中，特征分析程序完成顯著信號才莫式的 才全測和分類。這個程序的一個實施方案使用專門為產(chǎn)生強度與在 -現(xiàn)頻畫面中#r測到的對象凈爭4正有關(guān)的響應(yīng)信號而i殳計的空間過 濾器的組合。該分類程序是以不同的空間刻度應(yīng)用于#見頻畫面的 不同位置的。來自分類程序的響應(yīng)的強度指出顯著信號模式出現(xiàn) 的可能性。在把中心置于十分顯著的對象上的時候，該程序用對 應(yīng)的強烈響應(yīng)給它分類。顯著信號;f莫式的4企測通過激活對;現(xiàn)頻序 列中的顯著信息的后續(xù)處理和分析來辨別本發(fā)明。給出顯著信號模式在一個或多個視頻畫面中的檢測位置，本 發(fā)明分析顯著信號才莫式的無變化特征。此外，對于無變化的特征， 本發(fā)明分析該信號的殘值，"較少顯著的"信號模式。無變化特 征的識別提供用來減少多余信息和拆分(即，分隔)信號模式的基 礎(chǔ)。特4i點3艮蹤在本發(fā)明一個實施方案中，在一個或多個畫面中的空間位置 是通過空間強度場梯度分析確定的。這些特征對應(yīng)于"線"的一 些交點，這些交點能#皮寬+>地描述為"拐角"。這樣的實施方案 進一步選擇一組這樣的拐角，這些拐角是強壯的而且在空間上是
-波此完全不同的，在此稱之為特^正點。此外，4吏用光學(xué)流的分層 次的多分辨率評估允^午確定隨著時間流逝特4正點的平移4立移。在圖2中，跟蹤對象(220)程序是為了把來自檢測對象程序 (208)的測例證拉到 一起和進一 步識別 一 個或多個—皮4企測對象 的特征在許多^L頻畫面(202和204)上的對應(yīng)關(guān)系。特征跟蹤的非限制性實施方案能被這樣使用，以致這些特征 被用來限定更規(guī)則的梯度分析法(例如，基于區(qū)段的運動評估)。另 一 個實施方案期待以特征跟蹤為基礎(chǔ)的運動評估的預(yù)測。 基于對象的檢測和跟蹤在本發(fā)明的 一 個非限制性實施方案中，強健的對象分類程序 被用來跟蹤視頻畫面中的面部。這樣的分類程序以已經(jīng)在那些面 部上訓(xùn)練過的定向邊纟彖的級聯(lián)響應(yīng)為基礎(chǔ)。在這個分類程序中， 邊緣被定義為一組基本的Haar特征和那些特征的45度旋轉(zhuǎn)。級 聯(lián)分類程序是AdaBoost算法的變體。此外，響應(yīng)計算能通過l吏 用總面積表優(yōu)化。局部配準(zhǔn)配準(zhǔn)包括在兩個或多個視頻畫面中^L識別對象的元素之間 的對應(yīng)關(guān)系的分配。這些對應(yīng)關(guān)系變成建立3見頻凄史據(jù)中時間點截 然不同的一見頻凄t據(jù)之間的空間關(guān)系才莫型的基礎(chǔ)。為了根據(jù)廣為人知的算法和那些算法的富有創(chuàng)造性的派生 算法舉例說明特定的實施方案和與它們相關(guān)聯(lián)的實踐縮減量，現(xiàn) 在描述用于本發(fā)明的各種不同的非限制性的配準(zhǔn)方法。 在時空序列中建立明顯的光學(xué)流才莫型的一種方法可以是通過/人 L頻lt據(jù)的兩個或多個畫面產(chǎn)生有限差分;或?qū)崿F(xiàn)的。如果只于 應(yīng)關(guān)系在空間和強度雙重意義上符合特定的恒定不變的限制，光學(xué)流i或能^皮稀發(fā)bi也;平估。 菱形搜尋假定把視頻畫面分割成若干不重疊的區(qū)段，搜尋先前的與每 個區(qū)段匹配的視頻畫面。以全面搜尋區(qū)段為基礎(chǔ)(FSBB)的運動評 估找出與當(dāng)前畫面中的區(qū)段相比較時在早先的-觀頻畫面中i吳差 最小的位置。完成FSBB可能是計算費用十分浩大的，而且往往 不產(chǎn)生比以局i或化運動^f叚i殳為基礎(chǔ)的其它評估方案更好的匹配。 以菱形搜尋區(qū)段為基礎(chǔ)(DSBB)的梯度下降運動評估是FSBB的 常見的替代品，它使用各種不同尺寸的菱形搜尋圖案朝著對于某 個區(qū)段最好的匹配的方向反復(fù)地橫越誤差梯度。在本發(fā)明的一個實施方案中，為了產(chǎn)生數(shù)值稍后被因式分解 成高階運動模型的有限差分，DSBB被用于一個或多個視頻畫面 之間的圖像梯度域分析。熟悉這項技術(shù)的人知道基于區(qū)段的運動評估能被視為規(guī)則 網(wǎng)孔頂點分析的同價物?；谙辔坏倪\動評估在現(xiàn)有技術(shù)中，基于區(qū)段的運動評估通常是作為導(dǎo)致一個或 多個空間匹配的空間搜尋實現(xiàn)的?；谙辔坏囊?guī)范化的互相關(guān) (PNCC)如同圖3舉例說明的那樣4巴來自當(dāng)前畫面和先前畫面的 區(qū)段變換到"相空間"中，并且尋找那兩個區(qū)段的互相關(guān)。這種 互相關(guān)被表達為位置與兩個區(qū)段之間的邊緣的"相移，，相對應(yīng)的
數(shù)值域。這些位置通過定閾值被隔離，然后被逆變換成空間坐標(biāo)。 這些空間坐標(biāo)是截然不同的邊參彖^f立移，而且對應(yīng)于運動矢量。PNCC的優(yōu)勢包括反差掩蔽，該反差掩蔽在視頻流中預(yù)留增 益/曝光調(diào)節(jié)的容許偏差。另外，PNCC允許來自單一步驟的結(jié)杲， 該單一步驟可能處理來自基于空間的運動評估考呈序的許多迭4、。此外，該運動評估是子象素精確的。本發(fā)明的 一 個實施方案在 一 個或多個朝L頻畫面之間的圖 <象 梯度域的分析中利用PNCC，為的是產(chǎn)生其數(shù)值稍后凈皮因式分解 成高階運動模型的有限差分。整體配準(zhǔn)在一個實施方案中，本發(fā)明將來自有限差分評估的域的一個 或多個線性模型因式分解。發(fā)生這樣的抽樣的域在此被稱為有限 差分的一般總體。所描述的方法使用與RANSAC算法類似的強 <建的評估。如圖4所示，在建立整體運動模型的情況下，有限差分是集 中在通過那些運動;平估的隨扭4由樣(410)迭^C處理的一般總體庫 (404)之中的平移運動評估(402),而且線形模型被因式分解，提 耳又那些樣本的/>因子(420)。然后，那些結(jié)果^皮用來調(diào)節(jié)總體(404) 以便通過排除該模型的異己樣本更好地闡明該線性模型，如同通 過隨4幾處理發(fā)J見的那才羊。在線性模型評估算法的 一個實施方案中，運動模型評估程序 以線性最小二乘解為基礎(chǔ)。這種相關(guān)性使該評估程序擺脫異己樣 本凄t據(jù)?；赗ANSAC,所揭示的方法是一種通過反復(fù)評估凄史據(jù) 子集抵消異己樣本的效應(yīng)探查將描述重要的數(shù)據(jù)子集的運動模
型的強健方法。每個探頭產(chǎn)生的模型都對它所代表的數(shù)據(jù)百分比 進行測試。如果有足夠的迭代次數(shù)，則將發(fā)現(xiàn)與最大的數(shù)據(jù)子集 擬合的模型。如同圖4i殳想和舉例i兌明的那才羊，本發(fā)明揭示一些在算法變 更形式上超過RANSAC算法的改革，包括有限差分的初始抽樣 (樣本)和線性模型的最小二乘評估。綜合誤差是使用已解的線性模型對一般總體中的所有樣本評估的。根據(jù)殘差符合預(yù)先設(shè)定的 閾值的樣本的數(shù)目把一個等級分配給該線性模型。這個等級被看 作是"候選的共識"。初始抽樣、求解和歸類是通過迭代完成的，直到終止判據(jù)得 到滿足為止。 一旦該判據(jù)得到滿足，等級最高的線性模型被看作 是該總體的最后共識。非必選的改進步驟包括按照與候選模型擬合最好的次序反 復(fù)地分析樣本的子集和逐漸增加該子集的大小，直到再加一個樣 本將會超過整個子集的殘留誤差閾值。為了在將與某特定的線性模型相對應(yīng)的另一個參數(shù)矢量空 間中確定子空間的拓樸空間，所描述的本發(fā)明的非限制性實施方 案可以作為對矢量空間(前面被描述為有限差分矢量的域)抽樣的 一般方法進一步推廣。整體配準(zhǔn)程序的進一步的結(jié)果是這個配準(zhǔn)程序和局部配準(zhǔn)程序之間的差異產(chǎn)生局部配準(zhǔn)殘差。這個殘差是整體模型在近似 局部模型時的誤差。
規(guī)范化夫見范化指的是朝著標(biāo)準(zhǔn)的或通常的空間配置方向再次抽if又 空間強度場樣本。當(dāng)這些相關(guān)的空間配置是這樣的配置之間可逆 的空間變換的時候，象素的再次抽樣和附帶插值也是直到拓樸極限可逆的。本發(fā)明的規(guī)范化方法是用圖5舉例說明的。當(dāng)兩個以上空間強度場被規(guī)范化的時候，提高的計算效率可 以通過保存中間的規(guī)范化計算結(jié)果來實現(xiàn)。為了配準(zhǔn)的目的，或等效地為了擊見范化，用來再次抽取圖傳_ 樣本的空間變換模型包括總體模型和局部模型。總體模型有從平 移變換到影射變換逐漸增加的階次。局部模型是有限差分，該有 限差分暗示在基本上用區(qū)段或更復(fù)雜地用分段線性網(wǎng)孔確定的 關(guān)于鄰近象素的內(nèi)插式。原始強度場向規(guī)范化強度場的插值增加基于強度場子集的 PCA外觀模型的直線性。如圖2所示，對象象素(232和234)能被再次抽樣(240)以便得 到所述對象象素的^!i范化版本(242和244)。基于網(wǎng)孔的規(guī)范化本發(fā)明進 一 步的實施方案把特征點鑲嵌到基于三角形的網(wǎng) 孔中，3艮蹤該網(wǎng)孔的頂點，并JU吏用每個三角形的頂點的相對位 置來評估與那三個頂點一致的平面的三維表面法線。當(dāng)該表面法 線與攝影機的投影軸相符的時候，成像象素能提供與該三角形相 對應(yīng)的對象的扭曲最小的透視圖。創(chuàng)造傾向于支持正交表面法線
的規(guī)范化圖像能產(chǎn)生保存中間數(shù)據(jù)類型的象素，這將提高后來以外只見為基礎(chǔ)的PCA才莫型的直線性。另一個實施方案利用傳統(tǒng)的以區(qū)l殳為基礎(chǔ)的運動評估來含 蓄地建立整體運動才莫型。在一個非限制性實施方案中，該方法將 來自傳統(tǒng)的以區(qū)段為基礎(chǔ)的運動評估/預(yù)測所描述的運動矢量的 整體仿射運動模型因式分解。圖9舉例i兌明整體和局部少見范4匕的組合方法。漸進的幾何^L范化空間間斷點的分類^皮用來對準(zhǔn)鑲嵌的網(wǎng)孔，以1更在它們與網(wǎng) 孔邊緣一致的時候含蓄地建立間斷點模型。同種區(qū)域的邊界是用多角形輪廓近似的。為了確定每個多角 形頂點的顯著優(yōu)先纟又，該輪廓是以逐次降低的精度逐次近似的。 為了保護共享頂點的頂點優(yōu)先權(quán)，頂點優(yōu)先權(quán)在各個區(qū)域上傳播。在這項發(fā)明的一個實施方案中，多角形分解方法允許與S見場 的同種分類相關(guān)聯(lián)的邊界的優(yōu)先排序。象素是依照一些同種標(biāo)準(zhǔn) (例如，光譜相似性)分類的，然后把分類標(biāo)簽按空間連接到各個 區(qū)域之中。在進一步優(yōu)選的非限制性實施方案中，4-或8-連通性 判據(jù)^皮用來確定空間連通性。在優(yōu)選的實施方案中，這些空間區(qū)域的邊界隨后^^離散成多 角形。所有多角形對所有同種區(qū)域的空間覆蓋呈棋盤格狀并且結(jié) 合在一起形成初步的網(wǎng)孔。 <吏用 一些判據(jù)將這種網(wǎng)孔的頂點分 解，以揭示保有最初網(wǎng)孔的大多凄t知覺特征的專交簡單的網(wǎng)孔表達。
在優(yōu)選的實施方案中，圖^f象配準(zhǔn)方法與這^f分it明書的另 一部 分揭示的 一樣用強壯的圖像梯度向這些高優(yōu)先權(quán)頂點偏置。由此 產(chǎn)生的變形模型傾向于保護與成像對象的幾何形狀相關(guān)聯(lián)的空 間間斷點。在優(yōu)選的實施方案中，活J沃的輪廓用來改善區(qū)域邊界。每個 多角形區(qū)域的活3夭輪廓都允許增殖一次迭代。在不同的區(qū)域中每 個活躍輪廓頂點的"變形，，或移動是在計算平均值操作中結(jié)合的， 以1更考慮到隱式網(wǎng)孔受限制的增殖，對于該網(wǎng)孔它們有隸屬關(guān) 系。在優(yōu)選的實施方案中，頂點被分配在適合也作為不同區(qū)域的 輪廓部分的郵匕鄰頂點的網(wǎng)《L中它有的曰比鄰頂點凄t的計lt。這些其 它的頂點^皮定義為處在對立狀態(tài)。如果頂點計凄史為1,則它有沒 有對立頂點，因此需要得到保護。如果兩個毗鄰的對立頂點的計 凌史都為l(意p未著這兩個頂點在不同的多角形中而JU皮此相鄰)， 那么一個頂點對另一個是可分辯的。當(dāng)計數(shù)為1的頂點與數(shù)值為 2的鄰近的多角形頂點對立的時候，計凄史為l的頂點祐:轉(zhuǎn)化為計 凄t為2的頂點，而且那個頂點的計凄大等于l。因此，如果出5見另 一個鄰近的對立頂點，那么這個頂點能^皮再一次分辯。對于這種 情況，保留最初的頂點計數(shù)是重要的，所以在分辨頂點的時候，我們能基于最初的頂點計數(shù)偏置求解方向。這是為了頂點a變得 對頂點b清晰可見，那么頂點b對頂點c將不清晰可見，而頂點 c應(yīng)該對頂點b變得清晰可見，因為b已經(jīng)-陂用于一種分辨率。在優(yōu)選的實施方案中，T-接合點^皮明確地處理。這些是在毗 鄰的多角形中沒有點的多角形中的點。在這種情況下，每個多角 形頂點都首先被畫在圖像點映射圖上，這張映射圖識別頂點的空 間位置及其多角形標(biāo)識符。然后橫越和測試每個多角形的周長看 看是否有任何來自另一個多角形的毗鄰頂點。如果有來自另一個
區(qū)域的鄰近頂點，那么它們每個都被測試，看看它們是否已經(jīng)有 來自當(dāng)前的多角形的鄰近頂點。如果它們沒有，那么當(dāng)前的點作 為當(dāng)前的多角形的頂點凈皮添加進去。這種額外的測試保證在另一個多角形中的孤立頂點被用來產(chǎn)生T-接合點。否則，這將在這個 區(qū)i或已經(jīng)有匹配頂點的情況下 <義<義添加新的頂點。所以，只有當(dāng) 鄰近的頂點不與這個當(dāng)前區(qū)域?qū)α⒌臅r候才添加對立頂點。在進 一步的實施方案中，通過使用掩模圖像增加檢測T-聯(lián)接的效率。 連續(xù)地訪問多角形頂點，而且這樣更新掩模，以致頂點的象素被 確認為屬于某個多角形頂點。然后多角形周長的象素被詳細研 究，如果它們與多角形頂點一致，那么它們被記錄為在當(dāng)前的多 角形之內(nèi)的頂點。在優(yōu)選的實施方案中，當(dāng)一個光譜的區(qū)域已經(jīng)被一個或多個 交疊的同種圖像梯度區(qū)域再映射，而且另一個同種光鐠區(qū)域也重 疊的時候，先前被再映射的區(qū)域全被賦予與當(dāng)前被再映射的那些 區(qū)域相同的標(biāo)簽。因此基本上，如果光語區(qū)域被兩個同種區(qū)域遮 住，那么所有凈皮那兩個同種區(qū)域遮住的光i普區(qū)域都將獲得同才羊的 標(biāo)簽，因此一個光鐠區(qū)域真的被一個同種區(qū)域而不是兩個同種區(qū) 域覆蓋是相似的。在本發(fā)明的一個實施方案中，為了找到鄰接歸并判據(jù)，處理 區(qū)域映射圖并非區(qū)域目錄是有利的。在進一步的實施方案中，光 譜拆分分類器能被修正以便訓(xùn)練該分類器使用非同種區(qū)域。這允 i午將處理集中在光i普區(qū)i或的邊^(qū)彖。此外，增加以^吏用邊^(qū)彖(例如， 穩(wěn)定的邊纟彖檢測器)為基礎(chǔ)的不同的拆分并且把那個々貴送纟合活i 夭 的輪廓識別最初的那組多角形將考慮到同種區(qū)域的較大差別。
局部規(guī)范化本發(fā)明4是供能以"局部，，方式完成象素在時空流中配準(zhǔn)的方法。一種這樣的局域化方法4吏用幾何網(wǎng)孔的空間應(yīng)用提供分析象素的方法，以致在成傳J見象中局i或相干性在分l淨(jìng)與成傳J見象 (或明確地說成像對象)的局部變形有關(guān)的表觀圖像亮度恒定性模 棱兩可的時^矣得到解釋。這樣的網(wǎng)孔被用來提供在像平面中表面變形的分段線性模 型作為局部失見范4匕的方法。當(dāng)視/泉流的時間分辨率與視/像中的運 動相比高的時候，成^象現(xiàn)象可能往往與這才羊的才莫型相對應(yīng)。才莫型 假設(shè)之例外是通過多種技術(shù)處理的，包括象素和圖像梯度區(qū)域的拓樸限制、鄰近頂點限制和同種分析。在 一 個實施方案中，特^正點用來產(chǎn)生由頂點與特4正點相對應(yīng) 的三角形元素構(gòu)成的網(wǎng)孔。對應(yīng)的特4正點是其它畫面暗示三角形 及其對應(yīng)象素的內(nèi)插造成的"變形，，產(chǎn)生局部變形模型。圖7舉例i兌明這才羊的對象網(wǎng)孔的產(chǎn)生。圖8舉例i兌明4吏用這 樣的對象網(wǎng)孔局部地身見范化畫面。在 一 個優(yōu)選的實施方案中，產(chǎn)生 一 幅識別三角形的三角形映 射圖，其中所述映射圖的每個象素都來自所述三角形。此外，與 每個三角形相對應(yīng)的仿射變換是作為優(yōu)化步驟預(yù)先計算的。再 者，在產(chǎn)生局部變形模型的時候，使用空間坐標(biāo)在固定圖像(先 前的)上來回移動以確定來源象素的抽4羊坐標(biāo)。這個祐:抽樣的象 素將代替當(dāng)前象素位置。
在另一個實施方案中，局部變形是在整體變形之后預(yù)先形成 的。在先前揭示的說明中，整體規(guī)范化是作為使用整體配準(zhǔn)方法/人空間上^L范4匕兩幅或多幅4見頻畫面中的象素的禾呈序描述的。由 此產(chǎn)生的整體^L范化的纟見頻畫面能纟皮進一步局部^見范化。這兩種 方法的組合把局部規(guī)范化限制在整體上得到的解決辦法的細分 方面。這能大大減少求解所需要的局部方法的不明確性。在另一個非限制性實施方案中，特征點或"規(guī)則網(wǎng)孔"情況 下的頂點是通過分析那些點鄰近區(qū)域的圖像梯度限定的。這個圖 Y象梯度能直4妻地或通過一些間接計算(例如，Harris響應(yīng))^皮計算 出來。此外，這些點能被用與圖像梯度下降相關(guān)聯(lián)的空間限制和 運動評估結(jié)果誤差過濾。合格的點能作為網(wǎng)孔的基礎(chǔ)被許多棋盤 格化技術(shù)之一使用，從而導(dǎo)致其元素是三角形的網(wǎng)孔。對于每個 三角形，基于那些點和它們殘留的運動矢量產(chǎn)生一個仿射模型。在優(yōu)選的實施方案中，維持三角形仿射參數(shù)的目錄。這個目 錄通過迭代構(gòu)成當(dāng)前的/早先的點目錄(使用頂點查尋映射圖)。當(dāng) 前的/早先的點目錄被傳送給用來評估為那個三角形計算仿射參 數(shù)的變換的例行程序。然后，這些仿射參數(shù)或模型被保存在三角 形仿射參^:目錄中。在進一步的實施方案中，該方法橫移三角形標(biāo)識符圖像映射 圖，在這種情況下該映射圖中的每個象素包含在該象素有隸屬關(guān) 系的網(wǎng)孔中的三角形的標(biāo)識符。而且對于屬于某個三角形的每個 象素，計算適合那個象素的對應(yīng)的整體變形和局部變形坐標(biāo)。那 些坐標(biāo)依次用來完成乂于應(yīng)象素的抽才羊并JU巴它的凄K直用在對應(yīng) 者的'4見范化"位置。在進一步的實施方案中，以起因于圖像梯度搜尋的密度和圖 像強度對應(yīng)關(guān)系嚴(yán)格性為基礎(chǔ)把空間限制應(yīng)用于那些點。在基于某種圖像強度殘差基準(zhǔn)完成運動評估結(jié)果之后將那些點分類。然 后，以空間密度限制為基礎(chǔ)對這些點進行過濾。在進一步的實施方案中，^使用空間光譜拆分，而且把小的同 種光語區(qū)域基于空間親和力(它們的強度和/或顏色與鄰近區(qū)域的 相似性)合并。然后，使用同種合并把光鐠區(qū)域以它們與同種質(zhì) 地(圖像梯度)區(qū)域的重疊為基礎(chǔ)組合在一起。進一步的實施方案 然后使用中心周圍點(那些點是被較大的區(qū)域包圍的小區(qū)域)作為 合才各的感興趣的點來支持網(wǎng)孔的頂點。在進一步的非限制性實施方案中，中心周圍點的定義為其邊界框在尺寸為3x3或5x5或 7x7象素的一個象素之內(nèi)而且對于那個邊界框空間圖像梯度是 角落形狀的區(qū)域。該區(qū)域的中心能被歸類為角落，從而進一步限 定那個位置為有利的頂點位置。在進一步的實施方案中，水平和垂直的象素有限差分圖像被 用來分類每個網(wǎng)孔邊緣的強度。如果邊緣有許多與它的空間位置 一致的有限差分，那么該邊緣和那個邊緣的頂點被認為是對于成 像現(xiàn)象的局部變形非常重要的。如果在邊緣的有限差分之和的平 均值之間有大的派生差異，那么該區(qū)域邊緣通常很可能對應(yīng)于質(zhì) ;也變化邊纟彖，而不是量^ft步驟。在進一步的實施方案中，空間密度模型終止條件被用來優(yōu)化 網(wǎng)孔頂點的處理。當(dāng)檢查過數(shù)目足以覆蓋大部分檢測矩形始端的 空間區(qū)域的點的時候，于是可以結(jié)束該處理。終止產(chǎn)生得分。進 入處理的頂點和特;f正點用這個^尋分來分類。如果那個點與it見有的 點在空間上挨得太近，或者那個點不與圖像梯度的邊緣相對應(yīng)， 則將它丟棄。否則，在那個點的鄰近地區(qū)中的圖〗象梯度下降，而 且如果梯度的殘差超過某個界限，那么那個點也被丟棄。 規(guī)則網(wǎng)孔規(guī)范化
本發(fā)明利用規(guī)則網(wǎng)孔擴展上述的局部規(guī)范化方法。這種網(wǎng)孔是不考慮潛在象素構(gòu)成的，然而它的位置和尺寸與祐:4僉測對象相 對應(yīng)。
給定被檢測對象區(qū)域，空間畫面位置和指出面部大小的刻度 在面部區(qū)域的始端上產(chǎn)生^L則網(wǎng)孔。在優(yōu)選的實施方案中， -使用 一組不重疊的瓦片描繪矩形網(wǎng)孔，然后完成瓦片的對角線分割產(chǎn) 生有三角形網(wǎng)孔元素的規(guī)則網(wǎng)孔。在進一步的優(yōu)選實施方案中，瓦片與用于傳統(tǒng)的^L頻壓縮算法(例如，MPEG-4 AVC)的那些成比例。
在優(yōu)選的實施方案中，與上述網(wǎng)孔相關(guān)聯(lián)的頂點通過分4斤在 用于訓(xùn)練的特定的視頻畫面中包圍這些頂點的象素區(qū)域區(qū)分優(yōu) 先次序。分析這樣的區(qū)域的梯度提供關(guān)于與每個頂點相關(guān)的將依 靠局部圖Y象梯度的處理(例如，基于區(qū)^爻的運動評估結(jié)果)的置信度。
頂點位置在多個畫面的對應(yīng)關(guān)系是通過簡單的逐步降低圖 像梯度找到的。在優(yōu)選實施方案中，這是通過基于區(qū)段的運動評 估實現(xiàn)的。在目前的實施方案中，高置信度的頂點考慮到高置信 度的對應(yīng)關(guān)系。置信度較低的頂點對應(yīng)關(guān)系是通過推理經(jīng)過求解 不明確的圖像梯度從置信度較高的頂點對應(yīng)關(guān)系獲得的。
在一個優(yōu)選實施方案中，身見則網(wǎng)孔是在最初的3艮蹤矩形上制 作的。產(chǎn)生16x16的瓦片，并且沿著對角線切割，形成三角形 網(wǎng)孔。對這些三角形的頂點進行運動評估。運動評估結(jié)果取決于 每個點的質(zhì)地類型。質(zhì)地被分為三類角落、邊緣和同種，它們 也定義頂點的處理次序。角落頂點4吏用鄰近頂點的^N古結(jié)果，即， 鄰近點(如果可得)的運動評估;陂用于預(yù)言性運動矢量，而運動評 估結(jié)果適用于每一個。提供最低的瘋狂誤差的運動矢量是作為這 個頂點運動矢量使用的。用于角落的搜尋策略是所有的(寬的、 小的和原點)。對于邊緣，再一次使用最近的相鄰運動矢量作為 預(yù)言性運動矢量，而且使用誤差最小的那一個。邊緣的搜尋策略 是小的和原點。對于同種區(qū)域，搜尋鄰近的頂點并且使用誤差最 小的運動評4古。在一個優(yōu)選實施方案中，每個三角形頂點的圖像梯度被計算 出來，而且基于類別和大小被分類。所以，角落先于邊緣，邊緣 先于同種區(qū)域。對于角落，強的角落先于弱的角落，對于邊緣， 強的邊緣先于弱的邊緣。在一個優(yōu)選實施方案中，每個三角形的局部變形以與那個三 角形相關(guān)聯(lián)的運動評估為基礎(chǔ)。每個三角形都有對它評估的仿 射。如果三角形不作拓樸逆轉(zhuǎn)，或變成退化的，那么作為三角形 部分的象素被用來以獲得的評估仿射為基礎(chǔ)抽取當(dāng)前圖像的樣 本。拆分通過進一步描述的拆分禾呈序識別的空間間斷點是通過它們 各自邊界的幾何參數(shù)表達法(被稱為空間間斷點模型)有效地編碼 的。這些空間間斷點才莫型可以以不斷地考慮到與編碼子集相對應(yīng) 的更簡潔的邊界描述的漸進方式編碼。漸進式編碼提供一種在保 留空間間斷點的許多顯著方面的同時區(qū)分空間幾何學(xué)優(yōu)先次序 的強健方法。
本發(fā)明的優(yōu)選實施方案把多分辨率拆分分析和空間強度梯 度域分析結(jié)合起來并且進一步使用時間穩(wěn)定性限制，為的是實現(xiàn) 強健的拆分。如圖2所示， 一旦已經(jīng)隨著時間的流逝多艮蹤對象的特;f正的刈-應(yīng)關(guān)系(220)并且建立了 ^f莫型(224)，遵守這個運動/變形^t型能用 來拆分與那個對象相對應(yīng)的象素(230)?？梢詫Ξ嬅?202和204) 中已探測到的許多對象(206和208)重復(fù)這個程序。本發(fā)明使用的無變化特征分析的 一種形式凈皮集中在空間間 斷點的識別上。這些間斷點是作為邊緣、陰影、遮蔽、線、拐角 或4壬4可其它的在一個或多個^L頻成4象畫面中引起象素之間突然 的可辨認的分離的可見特征出現(xiàn)的。此外，在顏色和/或紋理類似 的對象之間的細微的空間間斷點可能僅僅出現(xiàn)在i見頻畫面中各 個對象的象素相對于那些對象本身正在經(jīng)歷粘附運動而相對于 其它對象正在經(jīng)歷不同的運動之時。本發(fā)明利用頻i瞽拆分、紋理 拆分和運動拆分的組合強健地識別與顯著信號模式有關(guān)的空間 間斷點。時間拆分把平移運動矢量或在空間強度場中等價的有限差分測量結(jié) 果按時間整合成高階運動模型是現(xiàn)有技術(shù)描述的一種運動拆分 形式。在本發(fā)明的一個實施方案中，產(chǎn)生運動矢量的稠密域，表現(xiàn) #見頻畫面中對象運動的有限差分。這些導(dǎo)#:是通過*見則地分割瓦 片或借助某種初始化程序(例如，空間拆分)按空間集合的。每個 集合的"導(dǎo)數(shù)"使用線性最小二乘評估程序整合成一個高階運動 模型。然后，由此產(chǎn)生的運動模型作為矢量在運動模型空間中使
用k-means群集技術(shù)群集。這些導(dǎo)數(shù)是基于與它們擬合最好的群 分類的。然后，群標(biāo)是作為空間分割的演化按空間群集的。該程 序一直繼續(xù)到空間分割穩(wěn)定為止。在本發(fā)明的進一步的實施方案中，適合《合定的孔徑的運動矢 量凈皮內(nèi)插到 一組與該孔徑相對應(yīng)的象素位置。當(dāng)用這種內(nèi)插定義 的區(qū)段橫越與對象邊界相對應(yīng)的象素時候，由此產(chǎn)生的分類是該 區(qū)段的某種不規(guī)則的對角線分割。在現(xiàn)有技術(shù)中，用來整合導(dǎo)數(shù)的最小二乘評估程序?qū)﹄x群值 是非常敏感的。這種敏感性能產(chǎn)生使運動模型的群集方法嚴(yán)重地 向迭代結(jié)果大大發(fā)散的點傾斜的運動模型。在本發(fā)明中，運動拆分方法通過分4斤兩個以上3見頻畫面上明 顯的象素運動識別空間間斷點。明顯的運動是針對這些3見頻畫面 上的一致性分析的并且被整合成參數(shù)運動模型。與這種一致的運 動相關(guān)聯(lián)的空間間斷點被識別出來。運動拆分也可以被稱為時間 拆分，因為時間變化可能是由運動引起的。然而，時間變化也可 能是由一些其它的現(xiàn)象(例如，局部變形、照明變化，等等)引起 的。通過所描述的方法，與規(guī)范化方法相對應(yīng)的顯著信號模式能 被識別而且能通過幾種背景減法之一與環(huán)境信號才莫式(背景或非 對象)分開。時常，這些方法從統(tǒng)計上建立背景模型，因為象素 在每個時間樣本都呈現(xiàn)最小的變化量。變化能^皮視為象素數(shù)值差 異。作為替代，運動拆分能在給出顯著圖像模式的探測位置和數(shù) 值范圍的情況下實現(xiàn)。距離變換能用來確定每個象素距#果測位置 的距離。如果與最大距離相關(guān)聯(lián)的象素數(shù)值被保留，合理的背景 模型能被求解。換句話說，環(huán)境信號能使用信號差異度量標(biāo)準(zhǔn)按 時間再次^由才羊。
給出環(huán)境信號的模型，就能按每個時間樣本使完全的顯著信 號模式有差別。這些差別每個都能通過再次抽樣變成空間規(guī)范化 的信號差異(絕對差異)。然后，這些差異相互對準(zhǔn)和累積。由于 這些差異相對于顯著信號模式已按空間規(guī)范化，所以，差異的峰 通常將對應(yīng)于與顯著信號模式相關(guān)聯(lián)的象素位置。非對象的分辨率給出清晰的背景圖像,這個圖像和當(dāng)前畫面之間的誤差可以 按空間規(guī)范化和按時間累積。這樣的清晰背景圖像是在"分辨率" 部分中描述的。然后，由此產(chǎn)生的累積誤差通過閾值檢驗提供初始輪廓。然 后，該專侖廓在空間上凈皮擴展以 <吏殘留誤差與輪廓變形平衡。梯度拆分紋理拆分方法或同義的強度梯度拆分分析象素在一個或多 個視頻畫面中的局部梯度。梯度響應(yīng)是一種表征空間間斷點的統(tǒng) 計尺度，其中所述空間間斷點對于該;現(xiàn)頻畫面中的象素位置是局 部的。然后，〗吏用幾種空間群集技術(shù)之一把這些梯度響應(yīng)組合成一些空間區(qū)域。這些區(qū)域的邊界在識別一個或多個^L頻畫面中的 空間間斷點方面是有用的。在本發(fā)明的一個實施方案中，來自計算機圖形紋理生成的總 面積表相克念^皮用于加快強度場梯度計算的目的。累加值域的產(chǎn)生4吏通過與四次加法運算結(jié)合的四次查詢計算^f壬^r長方形原始i或 的總和變得容易。進一步的實施方案使用對圖像產(chǎn)生的Harris響應(yīng)，而每個象 素的鄰近區(qū)域-皮歸類為同種的、邊緣或拐角。響應(yīng)凄t值是依^居這 個信息產(chǎn)生的并且指出畫面中每種元素的邊緣化或拐角化的程 度。多刻度梯度分析本發(fā)明的實施方案通過以幾種空間刻度產(chǎn)生圖像梯度值進 一步約束圖像梯度支持。這個方法能幫助限定圖像梯度的資格， 以致在不同刻度下的空間間斷點能用來彼此相互支持，只要"邊 緣"在幾種不同的空間刻度下能被分辯，該邊緣應(yīng)該是"顯著的"。 更有資格的圖像梯度將傾向于與更顯著的特征相對應(yīng)。在伊C選實施方案中，紋理響應(yīng)區(qū)i或是首先產(chǎn)生的，然后，這 個區(qū)域的數(shù)值以k-means分區(qū)間/分割為基礎(chǔ)#皮量化成若干區(qū)間。 然后，使用每個區(qū)間作為單一迭代能把分水嶺拆分能應(yīng)用于它的 數(shù)值間隔漸進地處理最初的圖像梯度數(shù)值。這種方法的好處是同 種是在相對意義上用強烈的空間偏置定義的。光i普拆分光譜拆分方法分析視頻信號中黑白象素、灰度象素或彩色象 素的統(tǒng)計概率分布。頻語分類程序是通過完成關(guān)于那些象素的概 率分布的群集#:作構(gòu)成的。然后，使用該分類程序把一個或多個 象素分類，使之屬于某個概率類別。然后，由此產(chǎn)生的概率類別 和它的象素被賦予類別標(biāo)簽。然后，使這些類別標(biāo)簽在空間上合 并成有截然不同的邊界的象素區(qū)域。這些邊界識別在一個或多個 S見步貞畫面中的空間間斷點。本發(fā)明可以利用基于光語分類的空間拆分來拆分視頻畫面 中的象素。此外，各個區(qū)域之間的對應(yīng)關(guān)系可以是基于各個光譜 區(qū)^或與先前拆分的區(qū)i或的重疊確定的。
業(yè)已》見察到當(dāng)?shù)滾頻畫面大體上由空間上^皮連4妻成與^L頻畫 面中的對象相對應(yīng)的較大區(qū)域的連續(xù)彩色區(qū)域組成的時候，彩色 (或光譜)區(qū)域的識別和跟蹤能促進圖像序列中對象的后續(xù)拆分。背景拆分本發(fā)明包括以每幅^L頻畫面中的4笨測對象和每個個別象素 之間的空間距離測量結(jié)果的瞬時最大值為基礎(chǔ)建立#見頻畫面背 景模型的方法。給定探測到的對象位置，應(yīng)用距離變換，產(chǎn)生適 合畫面中每個象素的標(biāo)量距離數(shù)值。在所有的視頻畫面上每個象 素的最大距離的映射圖被保留。當(dāng)最初分配最大數(shù)值的時候，或 后來用不同的新數(shù)值更新該最大數(shù)值的時候，適合于那幅-現(xiàn)頻畫 面的對應(yīng)的象素被保留在"清晰的背景"畫面中。建立外觀模型4見頻處理的共同目標(biāo)往往是建立才莫型和j呆存3見頻畫面序列 的外觀。本發(fā)明以允許通過預(yù)處理的運用以強健的和廣泛適用的 方式應(yīng)用強制性外》見建才莫纟支術(shù)為目標(biāo)。先前描述的配準(zhǔn)、拆分和 M^范化明顯地適合這個目的。本發(fā)明揭示建立外觀變化模型的方法。建立外觀變化才莫型的 主要基礎(chǔ)在線性模型的情況下是分析特征矢量，以揭示開發(fā)利用 線性相關(guān)關(guān)系的堅實基礎(chǔ)。表達空間強度場象素的特征矢量能被 組裝成外觀變化4莫型。在替代實施方案中，外觀變化模型是依據(jù)被拆分的象素子集 計算的。此外，該特征矢量能被分成若干空間上不重疊的特征矢 量。這才羊的空間分解可以用空間4f瓦來實現(xiàn)。計算歲丈率可以通過
處理這些臨時總體來實現(xiàn)，而不犧牲更普遍的PCA方法的維數(shù) 減少。在產(chǎn)生外觀變化4莫型時，空間強度場規(guī)范化能用來減少空間 變換的PCA建才莫。PCA產(chǎn)生外觀變化模型的優(yōu)選方法是通過把視頻畫面作為圖案 矢量組裝成一個訓(xùn)練矩陣或總體然后把主要成〗分分析(PCA)應(yīng)用 在該訓(xùn)練矩陣上。當(dāng)這才羊的展開式凈皮截取的時〗夷，由此產(chǎn)生的 PCA變換矩陣#皮用來分析和合成后面的#見頻畫面?；诮厝∷?平，改變象素的初始外觀質(zhì)量水平能實現(xiàn)。圖案矢量的特定的構(gòu)成和分解方法對于熟悉這項技術(shù)的人 是廣為人知的。給出來自環(huán)境信號的顯著信號模式的空間拆分和這個模式 的空間M^范化，象素本身或同義的由此產(chǎn)生的M^范化信號的外乂見 能被因式分解成線性相關(guān)的成份，其中低級參數(shù)表達考慮到適合 表達象素外7見的近似值誤差和比特率之間的直接交換。如圖2所示，為了得到量綱上簡明的數(shù)據(jù)版本(252和254), 規(guī)范化的對象象素(242和244)能投射到矢量空間中而且線性對 應(yīng)關(guān)系能使用分解程序(250)建立模型。連續(xù)的PCAPCA使用PCA變換把圖案編碼成PCA系數(shù)。用PCA變換 表達的圖案越好，給該圖案編碼所需要的系數(shù)就越少。承認圖案 矢量可能隨著時間在獲得訓(xùn)練圖案和4爭編碼圖案之間流逝降級，
更新變換能幫助抵消這種降級。作為產(chǎn)生新變換的替代品，現(xiàn)有 圖案的連續(xù)更新在特定的情況下是計算上更有效的。許多最新4支術(shù)的#見頻壓縮算法依據(jù) 一 個或多個其它畫面預(yù) 測某一見頻畫面。預(yù)測才莫型通?；?巴每個預(yù)測畫面分割成與在另 一畫面中對應(yīng)的補丁相匹配的不重疊的瓦片和相關(guān)聯(lián)的用偏移 運動矢量參數(shù)化的平移位移。這個非必選地與畫面索引耦合的空 間4立移提供瓦片的"運動預(yù)測"片反本。如果預(yù)測的^吳差在特定的閾值以下，則瓦片的象素適合殘差編碼；而且在壓縮效率方面有 對應(yīng)的增益。否則，瓦片的象素被直接編碼。這種基于瓦片的換 句話i兌基于區(qū),爻的運動預(yù)測方法通過平移包含象素的瓦片建立 影像模型。當(dāng)影像中的成像現(xiàn)象堅持這種建模的時候，對應(yīng)的編 碼效率增加。為了與在基于區(qū)段的預(yù)測中固有的平移假定一致， 這個建模限制為了與在基于區(qū)段的預(yù)測中固有的平移假設(shè)一致 爿暇定特定的時間分辨率水平(或幀頻)對于正在運動的成<象對象是 存在的。這種平移模型的另 一個必要條件是對于特定的時間分辨 率空間位移必須受到限制；換言之，用來推導(dǎo)預(yù)測結(jié)果的畫面和 #皮預(yù)測的畫面之間的時間差必須是比4支，豆的絕對時間。這些時間 分辨率和運動限制使存在于視頻流中的某些多余的視頻信號成 份的識別和建模變得容易?；跉埐畹姆纸庠贛PEG碎見頻壓縮中，當(dāng)前的畫面是通過先4吏用運動矢量對 先前的畫面進4亍運動4H嘗，然后把殘差更新應(yīng)用于那些^M嘗區(qū) 段，最后將任何沒有充份匹配的區(qū)段作為新區(qū)段完成編碼構(gòu)成的。
對應(yīng)于殘留區(qū)萃殳的象素通過運動矢量映射到先前畫面的象 素上。結(jié)果是象素通過能通過連續(xù)應(yīng)用殘值合成的影像的瞬時路徑。這些象素被確認為能使用PCA最明確地表達的象素。 基于遮擋的分解本發(fā)明的進一步提高確定適用于多個區(qū)段的運動矢量是否 將導(dǎo)致來自先前畫面的任何象素被移動象素遮擋(覆蓋)。對于每 個遮擋事件，都把遮擋象素劈成新層。沒有歷史的象素也將暴露 出來。暴露出來的象素被放到任何將在當(dāng)前畫面中與它們擬合而 且歷史擬合也能在那層上完成的層上。象素的時間連續(xù)性是通過象素對不同層的接合和移植得到 支持的。 一旦獲得穩(wěn)定的層模型，每層中的象素就能基于對條理 分明的運動;f莫型的隸屬關(guān)系編組。分波萃殳時間量化本發(fā)明的替代實施方案使用離散余弦變換(DCT)或離散子波 變換(DWT)把每個畫面分解成分波段圖像。然后，將主要成份分 析(PCA)應(yīng)用于這些"分波段"影像之中的每幅影像。概念是視 頻畫面的分波段分解與原始視頻畫面相比較減少任何 一 個分波 l史中的空間變4匕。就移動對象(人)的影像而言，空間變化傾向于支配用PCA建 模的變化。分波段分解減少任何一個分解影像中的空間變化。就DCT而言，任何一個分波段的分解系數(shù)都按空間安排在 分波段影像之中。舉例來說，DC系數(shù)是從每個區(qū)段獲取的并且 被安排在看起來像原始影像的郵票版本一樣的分波段影像之中。
這將對所有其它的分波段重復(fù)，而且^f吏用PCA處理每個由此產(chǎn) 生的分波段影像。就DWT而言，分波段已經(jīng)按針對DCT描述的方式排列好。在非限制性實施方案中，PCA系數(shù)的截取是變化的。子波當(dāng)使用離散子波變換(DWT)分解數(shù)據(jù)的時候，多個帶通數(shù)據(jù) 組以4交^氐的空間分辨率為結(jié)果。變換程序能凈皮遞歸地應(yīng)用于導(dǎo)出 數(shù)據(jù)直到僅僅產(chǎn)生單一的標(biāo)量數(shù)值為止。在已分解的結(jié)構(gòu)中標(biāo)量 元素通常以分等級的父母/孩子方式相關(guān)。由此產(chǎn)生的數(shù)據(jù)包含多 分辨率的分等級結(jié)構(gòu)以及有限差分。當(dāng)DWT ^皮應(yīng)用于空間強度場的時4美，許多自然發(fā)生的圖傳_ 現(xiàn)象由于空間頻率低是用第 一或第二低帶通導(dǎo)出數(shù)據(jù)結(jié)構(gòu)以微 不足道的知覺損失表達的。截短該分等級結(jié)構(gòu)在高頻率空間數(shù)據(jù) 不是不存在就是被視為噪音的時候提供簡明的表達。盡管PCA可以用來以為數(shù)不多的系數(shù)實現(xiàn)精確的重建，但是 這種變換本身可能是相當(dāng)大的。為了減少這個"初始"變換的規(guī) 模，可以使用子波分解的嵌零樹(EZT)結(jié)構(gòu)來建立變換矩陣的越 來越津奮確的版本。子空間分類如同實踐這項才支術(shù)的人充分理解的那樣，離散抽樣的現(xiàn)象凝: 據(jù)和導(dǎo)出數(shù)據(jù)能被表達成 一 組與代數(shù)矢量空間相對應(yīng)的凄t據(jù)矢 量。這些數(shù)據(jù)矢量以非限制性方式包括拆分后對象的規(guī)范化外表 中的象素、運動參凄1和特4正或頂點的4壬4可二或三維結(jié)構(gòu)位置。這 些矢量都存在于矢量空間之中，而且該空間的幾何分析能用來產(chǎn) 生樣本或參數(shù)矢量的簡潔表達。有益的幾何條件是借助形成緊湊 子空間的參數(shù)矢量代表的。當(dāng)一個或多個子空間混合，形成表面 上更復(fù)雜的單 一 子空間的時4美，那些要素子空間可能》,以辨別。 有幾種拆分方法考慮到通過檢查通過原始矢量的一些交互作用 (例如，內(nèi)積)產(chǎn)生的高維矢量空間中的數(shù)據(jù)分離這樣的子空間。一種差分矢量空間的方法包括把矢量投射到表達多項式的Veronese矢量空間之中。這種方法在現(xiàn)有技術(shù)中是作為通用的 PCA或GPCA技術(shù)廣為人知的。通過這樣的投射，多項式的法 線被找到、聚集，而且與原始矢量相關(guān)聯(lián)的那些法線能聚集在一 起。這種技術(shù)的實用性的例子是把隨著時間推移跟蹤的二維空間 點對應(yīng)關(guān)系因式分解成三維結(jié)構(gòu)模型和那個三維模型的運動。GPCA技術(shù)在作為明確定義的僅僅在以少許噪音產(chǎn)生數(shù)據(jù)矢 量的時候易受影響的結(jié)果應(yīng)用的時候是不完全的?，F(xiàn)有技術(shù)假定 管理程序^f吏用者介入對GPCA算法的管理。這個限制大大限制該 技術(shù)的潛能。本發(fā)明擴展了 GPCA方法的概念基礎(chǔ)，以便在有噪音和混合 余維數(shù)存在時強健地處理多個子空間的識別和拆分。這種改革在 技術(shù)狀態(tài)上為該技術(shù)提供無人監(jiān)督的改進。在現(xiàn)有4支術(shù)中，GPCA在Veronese映射圖的多項式的法向矢 量上操作，不考慮那些法向矢量的正切空間。本發(fā)明的方法擴充 GPCA，以1更找到與通常在Veronese映射圖中找到的法向矢量的 空間正交的正切空間。然后使用這個"正切空間，，或Veronese 映射圖的子空間把該Veronese映射圖因式分解。
正切空間是通過平面波膨3長和揭示幾〗可對象(明確地J兌，Veronese映射圖的多項式的法線的切線)的表達的二元性的 Legendre變才奐在位置坐標(biāo)和正切平面坐標(biāo)之間的應(yīng)用識別的。離 散的Legendre變4奐是通過凸分4斤應(yīng)用于定義與法向矢量相對應(yīng) 的導(dǎo)數(shù)的受約束形式。這種方法用來在有噪音存在的情況下通過 計算法向矢量拆分?jǐn)?shù)據(jù)矢量。這個凸分析與GPCA合并提供一種 比較強健的算法。本發(fā)明在應(yīng)用GPCA的時候利用迭代的因子分解法。具體地 說，在現(xiàn)有技術(shù)中發(fā)現(xiàn)的基于導(dǎo)數(shù)的落實被延伸到通過在此描述 的同一GPCA方法細分分類數(shù)據(jù)矢量的總體。被重復(fù)應(yīng)用，這項 技術(shù)能用來強健地找出Veronese映射中的候選法向矢量，然后使 用這種擴展的GPCA技術(shù)進一步限定那些矢量。就因子分解步驟 而言，,人原始凄t據(jù)組中除去與那組細分的矢量相關(guān)聯(lián)的原始數(shù) 據(jù)。剩余的數(shù)據(jù)組能用這種改進的GPCA^支術(shù)分析。這種改進對 于以無人監(jiān)督的方式使用GPCA算法是至關(guān)重要的。圖11舉例 i兌明^:據(jù)矢量的遞歸細分。人們將進一步確認，本發(fā)明對GPCA技術(shù)的改進在Veronese 多項式矢量空間中有多個^f艮的情況下有4交大的優(yōu)勢。此外，當(dāng) Veronese映射圖的法線平4亍于矢量空間軸線之時現(xiàn)有才支術(shù)在遇到 退化情形的時候，本發(fā)明的方法不會退化。圖10舉例i兌明基本的多項式擬合和求纟鼓分的方法。混合空間身見范化壓縮本發(fā)明通過把拆分一見頻流添加到"規(guī)范化"的視頻流之中充 分發(fā)揮以區(qū)段為基礎(chǔ)的運動預(yù)測編碼方案的效率。然后，這些視 頻流分開編碼以允i午傳統(tǒng)的編碼解碼器的平移運動，￡ i殳是有歲丈的。在完成規(guī)范化視頻流的解碼之時，視頻流解除規(guī)范化，進入它們適當(dāng)?shù)奈恢貌⑶襘皮組合在一起產(chǎn)生原始的^L頻序列。在 一 個實施方案中， 一 個或多個對象是在#見頻流中#果測到 的，而與探測到的每個個別對象有關(guān)的象素隨后被拆分，離開非 對象象素。接下來，針對對象象素和非對象象素產(chǎn)生整體空間運 動模型。這個整體模型用來完成對象象素和非對象象素的空間規(guī) 范化。這樣的規(guī)范化已經(jīng)有效地把非平移的運動從視頻流中除去 并且已經(jīng)提供一組影《象，這組影^象的相互遮擋經(jīng)纟皮減到最少。這些是本發(fā)明的方法的兩個有益的特4正。象素已按空間規(guī)范化的對象和非對象的新影像是作為給傳 統(tǒng)的以區(qū)段為基礎(chǔ)的壓縮算法的輸入提供的。在這些影像解碼 時，整體運動模型的參數(shù)凈皮用來還原規(guī)范化的解碼畫面，對象象 素 一起合成到非對象象素之上，產(chǎn)生最初的-見頻流的近似。如圖6所示，對于一個或多個對象(630和650)先前4笨測到的 對象例i正(206和208)每個都用傳統(tǒng)^L頻壓縮方法(632)的分開例 證處理。此外，起因于對象的拆分(230)的非對象(602)也使用傳 統(tǒng)的視頻壓縮(632)壓縮。這些分開的壓縮編碼(632)之中的每一 個的結(jié)果是分開的傳統(tǒng)編碼流，每個編碼流(634)分開i也對應(yīng)于每 個^L頻流。在某個點，可能在傳輸之后，這些中間編石馬流(234) 能被解壓縮(636)成規(guī)范化的非對象(610)和許多對象(638和658) 的合成物。這些合成后的象素能解除規(guī)范化(640)，變成它們的已 解除^L范化的版本(622、 642和662),把這些象素4姿空間相對于 其它象素放置在正確的位置，以致合成程序(670)能把對象象素和 非對象象素結(jié)合成完整的合成畫面(672)。
混合編碼解碼的整合在把傳統(tǒng)的基于區(qū)段的壓縮算法和本發(fā)明描述的規(guī)范化-拆 分方案結(jié)合起來時，有一些已經(jīng)產(chǎn)生結(jié)果的本發(fā)明的方法。首先， 有專門的數(shù)據(jù)結(jié)構(gòu)和必要的通信協(xié)議。主要的數(shù)據(jù)結(jié)構(gòu)包括整體空間變形參數(shù)和對象拆分^L范掩 模。主要的通信協(xié)議是包括傳輸整體空間變形參數(shù)和對象拆分規(guī) 范掩模的各個層面。
權(quán)利要求
1.一種用來從為數(shù)眾多的視頻畫面中生成編碼形式的視頻信號數(shù)據(jù)的計算機裝置，該裝置包括識別所述對象在兩幅或多幅畫面之間的對應(yīng)元素的裝置；建立這種對應(yīng)關(guān)系的模型產(chǎn)生模型化的對應(yīng)關(guān)系的裝置；在與所述對象相關(guān)聯(lián)的所述視頻畫面中再次抽取象素數(shù)據(jù)樣本的裝置，所述再次抽樣的裝置利用所述的模型化的對應(yīng)關(guān)系；恢復(fù)再次抽樣象素數(shù)據(jù)的空間位置的裝置，所述恢復(fù)程序利用模型化的對應(yīng)關(guān)系，所述對象是一個或多個對象，以及所述再次抽樣數(shù)據(jù)是該數(shù)據(jù)的中間形式。
2. 根據(jù)權(quán)利要求1的裝置，其中所述對象是用跟蹤方法跟蹤的， 包括才企測禍L頻畫面序列中的對象的裝置；跟蹤所述對象通過該3見頻畫面序列中的兩幅或多幅畫面 的裝置；所述對象的^r測和^艮蹤裝置包括Viola/Jones面部4企測算法。
3. 根據(jù)權(quán)利要求l的裝置，其中所述對象是使用拆分方法從視 頻畫面中拆分出來的，包^::在所述的一見頻畫面序列中把與所述對象相關(guān)聯(lián)的所述象 素數(shù)據(jù)與其它的象素數(shù)據(jù)拆開的裝置；將所述的恢復(fù)象素連同相關(guān)的拆分?jǐn)?shù)據(jù)一起構(gòu)圖產(chǎn)生原 始牙見頻畫面的裝置，所述拆分裝置包括時間整合。
4. 根據(jù)權(quán)利要求l的裝置，其中所述對應(yīng)關(guān)系模型被因式分解 成整體模型，包括把對應(yīng)關(guān)系測量結(jié)果整合成整體運動模型的裝置；所述對應(yīng)關(guān)系建模裝置包括對二維仿射運動模型的解的 強健的抽樣共識；以及所述對應(yīng)關(guān)系建才莫裝置包括以在所述序列之中的兩幅或 多幅視頻畫面之間從基于區(qū)段的運動評估結(jié)果所產(chǎn)生的有 限差分為基礎(chǔ)的抽樣入口 。
5. 根據(jù)權(quán)利要求l的裝置，其中所述中間數(shù)據(jù)被進一步編碼， 包括把所述的規(guī)范化對象象素數(shù)據(jù)分解成編碼表達的裝置； 依據(jù)編碼表達改寫所述規(guī)范化對象象素數(shù)據(jù)的裝置； 所述分解裝置包括主要成份分析，以及 所述改寫裝置包括主要成份分析。
6. 根據(jù)權(quán)利要求5的裝置，其中所述畫面的非對象象素是以與 對象象素一樣的方法建模的，包括當(dāng)除去其它的對象的時候，所述對象是所述畫面剩余的 非對象。
7. 根據(jù)權(quán)利要求5的裝置，其中所述拆分象素和再次抽樣象素 與傳統(tǒng)的^L頻壓縮/解壓縮程序相結(jié)合，包括把所述的再次抽樣象素作為標(biāo)準(zhǔn)視頻數(shù)據(jù)供應(yīng)給傳統(tǒng)的 -現(xiàn)頻壓縮程序的裝置；把模型對應(yīng)關(guān)系數(shù)據(jù)連同對應(yīng)的編碼視頻數(shù)據(jù)一起儲存 和傳輸?shù)难b置；借此所述的壓縮/解壓縮方法能使所述傳統(tǒng)的纟見頻壓縮 方法能提高壓縮效率。
8. 根據(jù)權(quán)利要求l的裝置，其中所迷對應(yīng)關(guān)系模型被因式分解 成局部失真模型，包括定義覆蓋與所述對象相對應(yīng)的象素的二維網(wǎng)孔的裝置， 以及對應(yīng)關(guān)系測量結(jié)果進入局部運動型的裝置；所述網(wǎng)孔定義裝置以有頂點和邊緣的規(guī)則網(wǎng)格為基礎(chǔ)， 以及所述對應(yīng)關(guān)系測量結(jié)果包括以在所述序列中的兩幅或多 幅視頻畫面之間基于區(qū)段運動評估結(jié)果所產(chǎn)生的有限差分 為基礎(chǔ)的頂點位移。
9. 根據(jù)權(quán)利要求8的裝置，其中所述頂點對應(yīng)于離散的圖像特 征，包括識別與所述對象相對應(yīng)的重要的圖像特征的裝置； 所述識別裝置是分析圖像梯度Harris響應(yīng)。
10. —種用來把駐留在離散的線性子空間中數(shù)據(jù)矢量分開的計 算機裝置，包括完成關(guān)于對一組數(shù)據(jù)矢量的子空間拆分的裝置；通過把正切矢量分析應(yīng)用于含蓄的矢量空間限制子空間 拆分判據(jù)的裝置；所述子空間4斥分方法是GPCA;所述含蓄的矢量空間是Veronese映射圖；所述正切空間限制是Legendre變換。
全文摘要
這項發(fā)明描述用來處理視頻數(shù)據(jù)的裝置和方法。本發(fā)明提供能用來評估數(shù)據(jù)和適合該數(shù)據(jù)的特定參數(shù)表達的擬合模型之間的一致性的視頻數(shù)據(jù)表達。這允許比較不同的參數(shù)表達技術(shù)和選擇最適合該特定數(shù)據(jù)的連續(xù)視頻處理的技術(shù)。這種表達能以中間形式作為較大程序的鋪墊或作為反饋機制被用于處理視頻數(shù)據(jù)。在以它的中間形式被利用的時候，本發(fā)明能被用于適合視頻數(shù)據(jù)的儲存、增強、細分、特征提取、壓縮、編碼和傳輸?shù)某绦?。本發(fā)明可用來以強健有效的方式提取顯著的信息，同時確定通常與視頻數(shù)據(jù)來源相關(guān)聯(lián)的問題的地址。
文檔編號G06K9/46GK101103364SQ200580046762
公開日2008年1月9日 申請日期2005年11月16日 優(yōu)先權(quán)日2004年11月17日
發(fā)明者查爾斯·保羅·佩斯, 約翰·維斯 申請人:歐幾里得發(fā)現(xiàn)有限責(zé)任公司