專(zhuān)利名稱(chēng)：在多幀幅上協(xié)調(diào)確定移動(dòng)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及將每一組中的大的和相關(guān)的數(shù)據(jù)記錄的參數(shù)化。特別涉及對(duì)相關(guān)的信號(hào)記錄組如視頻幀幅的改進(jìn)的移動(dòng)估算。
背景技術(shù)：
在視頻模型化和壓縮技術(shù)中，活動(dòng)(移動(dòng))的估算和補(bǔ)償是十分重要的。不用此種技術(shù)，則難以對(duì)移動(dòng)的物體或其它的移動(dòng)作有效的描述，特別是在視頻壓縮和交互視頻游戲中的應(yīng)用。Singh Ajit(在IEEE Computer Society出版的“光學(xué)流計(jì)算”的雜志中)描述了移動(dòng)估算的一般方法。
移動(dòng)估算通常是由一幀到另一幀完成的，比如說(shuō)從幀m到幀n，其強(qiáng)度則用Im和In來(lái)表示。
如果對(duì)移動(dòng)估算要求有精確的統(tǒng)計(jì)精度的話(huà)，則在作估算時(shí)必須有效地使用所有有用的信息。這就是說(shuō)，如果在幾幀中重復(fù)地觀(guān)察到具體的移動(dòng)物體或現(xiàn)象，那么只要在這些被重復(fù)觀(guān)察到的幀之間作移動(dòng)估算便可獲得很高的精確值。
然而，移動(dòng)估算往往是要通過(guò)計(jì)算才能求得的，尤其是在全域范圍內(nèi)移動(dòng)時(shí)，每像素(元)之Im或In的一個(gè)垂直移動(dòng)和水平移動(dòng)的參數(shù)都需要確定。
同時(shí)，移動(dòng)估算還需要大量的存儲(chǔ)單元。在許多幀時(shí)任何同時(shí)的移動(dòng)估算都可能因存儲(chǔ)量過(guò)大而受到限制。
另一方面，僅在二幀基礎(chǔ)上作全移動(dòng)域估算是很困難的雖然僅一個(gè)與成像物體的原始的移動(dòng)相對(duì)應(yīng)，但對(duì)多數(shù)像素來(lái)說(shuō)，由于不同的移動(dòng)估算可以找到相同的合適的值。
當(dāng)觀(guān)察到具體物體在幾幅幀上一步一步移動(dòng)時(shí)，對(duì)這些移動(dòng)來(lái)說(shuō)，若已知它們是在二維域上作移動(dòng)的話(huà)，則它們每一幀都有一定的相關(guān)性。由于每一步都是相似的，便可使用較少的獨(dú)立參數(shù)對(duì)有關(guān)的幀的移動(dòng)范圍作理論上的模型化。而這些模型又反過(guò)來(lái)使視頻的壓縮和編輯技術(shù)十分有效。
但是，實(shí)際上單憑經(jīng)驗(yàn)數(shù)據(jù)是不能來(lái)確定移動(dòng)域的。首先，由于在原始數(shù)據(jù)中多少夾雜了一定的隨機(jī)噪聲，因而在獲取移動(dòng)域時(shí)也可能多少會(huì)產(chǎn)生一些隨機(jī)的誤差。更糟的是，由于難以確定全移動(dòng)估算的性質(zhì)，因而也就難以找到“真正的”移動(dòng)域。于是，對(duì)每一幀十分可能會(huì)找到一些不同的偽假移動(dòng)估計(jì)。
因而，那些基于一對(duì)一對(duì)幀幅的確定移動(dòng)的現(xiàn)有方法和設(shè)備存在著如下的缺點(diǎn)1、由于對(duì)不同的幀在作移動(dòng)估算時(shí)缺乏統(tǒng)一步調(diào)以致難以有效地對(duì)移動(dòng)估算域作出精確的模型，因而在對(duì)它們作壓縮時(shí)容易失去真實(shí)性以及失去良好的編輯性控制。
2、由于這些方法不采用穩(wěn)定的方法，在幾幀中可見(jiàn)到同樣的非隨機(jī)物體或現(xiàn)象，這樣由于對(duì)圖像隨機(jī)噪聲的敏感性使得移動(dòng)估算有多余的不精確的地方。
3、由于存在難以確定許多移動(dòng)估算問(wèn)題的性質(zhì)，移動(dòng)估算會(huì)產(chǎn)生一些不必要的不確切地方。這些不精確，不確切之結(jié)果表示了一種過(guò)參數(shù)現(xiàn)象，它可以很適合于個(gè)別幾對(duì)幀，但是除了一些未知的具體的移動(dòng)外它的內(nèi)/外插入性很差，且不能給出較好的估算值。
4、若使用在計(jì)算機(jī)存儲(chǔ)器內(nèi)同時(shí)處理多個(gè)幀來(lái)統(tǒng)一協(xié)調(diào)移動(dòng)估算的方法，則對(duì)計(jì)算機(jī)的計(jì)算量和存儲(chǔ)量之要求十分高。
發(fā)明目的本發(fā)明的目的就是對(duì)一組多幅幀提供一種統(tǒng)一協(xié)調(diào)移動(dòng)估算的技術(shù)，以有效地對(duì)該組移動(dòng)估算模型化，以獲取良好的壓縮和編輯性控制。
本發(fā)明的另一目的則是通過(guò)將由幅幀所共享的按部就班的移動(dòng)圖樣與對(duì)每一幀來(lái)說(shuō)是唯一的視覺(jué)上的移動(dòng)圖樣以及由于隨機(jī)噪聲和估算的不正確而可能造成的視覺(jué)上的移動(dòng)圖樣區(qū)別開(kāi)來(lái)的方法，對(duì)一組多幅幀的移動(dòng)估算作統(tǒng)一協(xié)調(diào)以獲取較高的移動(dòng)估算的精確度。
再一個(gè)目的是通過(guò)對(duì)每一個(gè)幀向其它的幀的協(xié)調(diào)方向加上一個(gè)似然的移動(dòng)估算的偏置限制以獲得對(duì)實(shí)物的模型更為精確的結(jié)果。
本發(fā)明的再一個(gè)目的則是在實(shí)施本技術(shù)時(shí)，雖然可以協(xié)調(diào)許多個(gè)相關(guān)的幀，然而對(duì)計(jì)算機(jī)的處理能力和存儲(chǔ)量的要求卻不高。
本發(fā)明再一個(gè)目的則是提供一種計(jì)算方法，它即可采用外線(xiàn)性又可采用線(xiàn)性的似然偏置限制。
本發(fā)明的再一個(gè)目的是提供一種技術(shù)，它可采用不是移動(dòng)數(shù)據(jù)的數(shù)據(jù)來(lái)作多幀模型化，以提高移動(dòng)估算本身的精度。
最后，本發(fā)明的一個(gè)目的則是要提供一種方法，它可采用移動(dòng)估算、模型化和補(bǔ)償?shù)氖侄我允沟贸艘苿?dòng)數(shù)據(jù)外的其它多幀數(shù)據(jù)更適合于雙線(xiàn)性模型。
記號(hào)和定義在下文中，符號(hào)“*”需要時(shí)表示乘號(hào)(圖6中的*號(hào)除外，這里它僅表示迭代或迭加)。符號(hào)“×”則是表示矩陣的維數(shù)(即矩陣的大?。絥行×n列)。粗體大寫(xiě)字母表示數(shù)據(jù)矩陣，細(xì)體小寫(xiě)字母則表示數(shù)據(jù)向量。術(shù)語(yǔ)“主元分析”(用PCA表示)，雙線(xiàn)性模型(用BLM表示)分別用這些簡(jiǎn)化代名詞來(lái)表示。

發(fā)明內(nèi)容
用雙線(xiàn)性模型對(duì)移動(dòng)估算作近似計(jì)算以獲得在幾個(gè)幀上的移動(dòng)估算的統(tǒng)一協(xié)調(diào)。雙線(xiàn)性模型表示了幾幀移動(dòng)域的子空間近似值。雙線(xiàn)性模型之參數(shù)--加載向量、標(biāo)記向量及留數(shù)--是由主元分析或其它有關(guān)方法估算出來(lái)的。雙線(xiàn)性模型由相關(guān)的參照?qǐng)D像來(lái)定義的。
使用在移動(dòng)估算前就建立起來(lái)的預(yù)置雙線(xiàn)性移動(dòng)參數(shù)值可以簡(jiǎn)化和穩(wěn)定一個(gè)給定幀的移動(dòng)估算。這些預(yù)置雙線(xiàn)性參數(shù)值既可用來(lái)生成移動(dòng)估算之啟動(dòng)假設(shè)，又可將移動(dòng)估算引導(dǎo)到以前的幾幀中找到的相應(yīng)的移動(dòng)圖樣上去。
在結(jié)束時(shí)，雙線(xiàn)性移動(dòng)模型總結(jié)出一組相關(guān)幀中的物體共同的移動(dòng)圖樣。
描述了多幀雙線(xiàn)性移動(dòng)模型的幾個(gè)不同的控制結(jié)構(gòu)。
也描述了特別的雙線(xiàn)性參數(shù)估算法包括空間和暫態(tài)平滑以及重新取權(quán)和最佳權(quán)衡等。
雙線(xiàn)性移動(dòng)模型化與補(bǔ)償強(qiáng)度變化的移動(dòng)的雙線(xiàn)性模型化用二種不同的方式相合，以加強(qiáng)移動(dòng)的估算以及靈活的圖樣識(shí)別。
附圖簡(jiǎn)要說(shuō)明

圖1圖示說(shuō)明了怎樣將一個(gè)尺寸為nv×nh個(gè)像素的一個(gè)移動(dòng)方向的移動(dòng)域抽出來(lái)作為一個(gè)具有nv*nh個(gè)像素的一維向量；(這里，DVRn即是Delta垂直地址，即是從參照?qǐng)D像R到圖像n的每一個(gè)像素的垂直移動(dòng)。)圖2圖示說(shuō)明了在二個(gè)移動(dòng)方向同時(shí)被模型化時(shí)怎樣將二個(gè)具有尺寸為nv×nh個(gè)像素的移動(dòng)域一起抽出來(lái)作為一個(gè)具有2nv*nh個(gè)像素的一維向量(DARn＝[DVRn和DHRn]為垂直和水平方向)；圖3圖示說(shuō)明了一個(gè)矩陣X怎樣能由二個(gè)依次矩陣T*PT加上留數(shù)矩陣E來(lái)模型化；圖4圖示說(shuō)明了適合一單幀的圖3的參數(shù)；圖5示出了第一個(gè)實(shí)施例，其中是將整個(gè)序列或幀序列與移動(dòng)估算(在EstMovSeq的方框中)，模型估算(在EstModel的方框中)以及假設(shè)生成(在EstHypSeq的方框中)一起處理；圖6示出了第二個(gè)實(shí)施例的示意圖，它涉及到移動(dòng)估算(在EstMov的方框中)，模型更新(在EstModel方框中)與假設(shè)估算(在EstHyp方框中)的迭代結(jié)合；圖7示出了對(duì)幾個(gè)幀n作輸入假設(shè)的移動(dòng)估算器的數(shù)據(jù)結(jié)構(gòu)；圖8示出了對(duì)于假設(shè)和幾個(gè)反映其自身期望統(tǒng)計(jì)性質(zhì)的幾個(gè)假設(shè)方法而得到的幾個(gè)幀n的移動(dòng)估算器的輸出的數(shù)據(jù)結(jié)構(gòu)；圖9示出了按規(guī)則處理EstHyp運(yùn)算器的迭代版本形式的呆滯信息，這是關(guān)于移動(dòng)的點(diǎn)估算以及反映其自身統(tǒng)計(jì)性質(zhì)的估算之可靠信息，其中對(duì)一給定幀的移動(dòng)域是按照域是怎樣適合于表示其它域的移動(dòng)估算而一個(gè)像素一個(gè)像素作修改而獲得的。
基本構(gòu)思考慮到對(duì)每一個(gè)幀建立有效及可靠的移動(dòng)域，如視頻編碼的重要性以及建立整個(gè)序列時(shí)有效和可靠移動(dòng)表示式的重要性，本發(fā)明能從許多幀中累積和利用這些移動(dòng)信息以減少估算時(shí)的模菱兩可的因素，防止閉塞問(wèn)題以及噪聲敏感性問(wèn)題，甚至在計(jì)算機(jī)資源有限的情況下也可達(dá)到。
基本構(gòu)思是對(duì)一組幀中的一組像素不管其一步步的移動(dòng)圖樣是什么，總是要開(kāi)發(fā)和確立一種共同的數(shù)學(xué)模型的描述，且可以利用這種模型的描述來(lái)提高對(duì)每一幀的移動(dòng)估算的能力。用來(lái)刻劃按步移動(dòng)圖樣的數(shù)學(xué)模型可以有不同的種類(lèi)。一方面，這類(lèi)模型必須有足夠多的參數(shù)以確切地描述所需要的移動(dòng)。而另一方面這類(lèi)模型又必須是相當(dāng)簡(jiǎn)潔以適應(yīng)難以確定統(tǒng)計(jì)限制噪聲敏感移動(dòng)估算的問(wèn)題。因此，該模型的獨(dú)立參數(shù)的數(shù)據(jù)必須是動(dòng)態(tài)的根據(jù)模型化的靈活性(避免不能適應(yīng)的情況)的需求和防止噪聲(避免過(guò)適合的情況)的需求而定。
為了對(duì)每幀加強(qiáng)移動(dòng)估算就使用數(shù)學(xué)模型中的參數(shù)在幀之間的共同的按步的各種圖標(biāo)作通訊交換。而為了積累和結(jié)合各組幀的按步移動(dòng)的信息，通過(guò)適當(dāng)?shù)姆椒ǚ催^(guò)來(lái)對(duì)這些參數(shù)作估算。
一種較實(shí)用的數(shù)學(xué)模型則是通過(guò)多維加法模型求共同變化圖樣的近似值，它可以被看成是子空間模型或雙線(xiàn)情模型。本發(fā)明的中心問(wèn)題實(shí)際上是子空間模型可以包含一維以上，另一個(gè)中心問(wèn)題是子空間模型的定義是數(shù)據(jù)驅(qū)動(dòng)而不是理論驅(qū)動(dòng)，即它是由經(jīng)驗(yàn)數(shù)據(jù)(至少部分是)來(lái)確定的而不是由數(shù)學(xué)函數(shù)諸如正弦和余弦這種數(shù)據(jù)來(lái)確定的。
將用二維圖像來(lái)解釋這個(gè)方法在視頻編碼中用來(lái)壓縮或編輯控制的模型參數(shù)化。它也適用于一維數(shù)據(jù)結(jié)構(gòu)(聲音分析中時(shí)間變換，控制處理中線(xiàn)條攝像機(jī)移動(dòng)估算)和3維數(shù)據(jù)(例如人腦的核共振掃描等)。
多幀模型化的移動(dòng)數(shù)據(jù)表示法在視頻的移動(dòng)域中有一個(gè)垂直分量DV和一個(gè)水平分量DH。它們總的被稱(chēng)為是光流域或移動(dòng)域DA(Delta地址)。
在某些視頻編碼方法中，有幾個(gè)信號(hào)記錄(幀)與一個(gè)共同的所謂“參照?qǐng)D像”有關(guān)。其中之一的例子則是IDLE編碼型，它在專(zhuān)利申請(qǐng)?zhí)枮閃O95/08240描述過(guò)，其中移動(dòng)、強(qiáng)度改變和其它有關(guān)幀的許多模型變化信息均直接或間接地表示成與一共同的“擴(kuò)展參照?qǐng)D像模型”相關(guān)的形式(用R表示)，該形式與給定的幀n＝1，2，…，序列中的給定的像素段(稱(chēng)為空“穴”)有關(guān)。使用參照?qǐng)D像模型的一個(gè)IDLE型的譯碼器在專(zhuān)利號(hào)為WO95/34172的視頻圖像譯碼的設(shè)備和方法一文中已有介紹。
因此，帶下標(biāo)的符號(hào)DARn的移動(dòng)域則是表示了在參照?qǐng)D像模型中每個(gè)像素是怎樣按垂直和水平方向作移動(dòng)以求出輸入幀n的近似值的。
在本發(fā)明中各移動(dòng)方向可以被分別加以模型化。
圖1示出了怎樣將具有nv×nh的垂直移動(dòng)域DVRn抽出來(lái)作為一個(gè)vn*nh行向量的分量，幾個(gè)幀的移動(dòng)域表示了幾個(gè)這種大小相同的向量，它們?cè)谝黄鹉Ｐ突?br> 在本發(fā)明中不同移動(dòng)域的方向也可以一起模型化。圖2示出了怎樣將垂直移動(dòng)域和水平移動(dòng)域同時(shí)作為一個(gè)行向量存入，使之具有2*nv*nh個(gè)分量。同時(shí)這種幾個(gè)幀的向量的大小是相同的，因而也就可以放在一起作模型化。
移動(dòng)數(shù)據(jù)的子空間因子模型化在本發(fā)明中，對(duì)一個(gè)給定的點(diǎn)在某一時(shí)刻一組幀的估算的移動(dòng)域是按序列模型在一起模型化的，同時(shí)，這個(gè)模型又用作各個(gè)幀穩(wěn)定其它移動(dòng)估算，這些新的移動(dòng)估算被用來(lái)改進(jìn)序列模型等。
一種較好的實(shí)現(xiàn)模型化的方法則是多次利用有限個(gè)獨(dú)立的經(jīng)估算的參數(shù)，如帶有隱藏結(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)由諸如反向傳播來(lái)作估算(參閱Widrow.B和Lehr.M.A(1990)的自適應(yīng)視經(jīng)網(wǎng)絡(luò)視感器，Madaline及反向傳播、IEEE會(huì)議錄Vol.78，9，pp1415-1442)。在眾多的重復(fù)類(lèi)型中，由于可以將其看成是空間或子空間的線(xiàn)性型，因它的計(jì)算速度高，執(zhí)行方法靈活，理論上簡(jiǎn)潔易懂以及結(jié)果容易解釋等諸多優(yōu)點(diǎn)而受到人們的表睞。這一點(diǎn)在Martem H.和naes，T.(1989)的多程校準(zhǔn)一書(shū)中有詳述，該書(shū)由J.Wiley & Sons有限公司(英國(guó))出版。利用共同參照位置改進(jìn)子空間模型化為了有效地對(duì)幾個(gè)幀的移動(dòng)域同時(shí)進(jìn)行模型化，他們應(yīng)使用共同的參照位置來(lái)表示。同時(shí)，為了能有效地對(duì)強(qiáng)度變化模型化以及對(duì)幀中各像素的性質(zhì)模型化，使用共同的參照位置也是十分重要的。為了模型化時(shí)移回到這個(gè)參照位置，這些性質(zhì)還需要有移動(dòng)補(bǔ)償?？梢詮南嚓P(guān)的幀In組中選取或構(gòu)造一個(gè)參照?qǐng)D像IR。該圖像可以是序列n-1，2，…，N中的如第一幅，中間的或者是最后一幅，也可以是該序列中幾幀信息的組合。除了在視頻序列的編碼過(guò)程剛開(kāi)始的時(shí)刻，通?？偸怯卸我陨显诜謩e進(jìn)行模型化，同時(shí)每一個(gè)都有它自已的參照?qǐng)D像信息。(分段至全穴的詳細(xì)介紹在專(zhuān)利申請(qǐng)“基于多幀分段數(shù)據(jù)流的方法和設(shè)備”中可以找到，以及在“深度模型及提供移動(dòng)物體深度信息的方法和設(shè)備”中可以找到。這二個(gè)專(zhuān)利在前面均已提及過(guò)。不同的全穴以參照?qǐng)D像信息可以分別按幾種參照?qǐng)D像IR(穴)分別存儲(chǔ)起來(lái)，h＝1，2，…，或按集中的參照?qǐng)D像IR一起存起來(lái)。)空間參數(shù)用一個(gè)共同的參照位置的表示式有三個(gè)優(yōu)點(diǎn)，它們與移動(dòng)估算有關(guān)1)同輸入數(shù)據(jù)噪聲和某些偶然發(fā)生的移動(dòng)估算的誤差相比移動(dòng)估算更為強(qiáng)勁因而有更高的可靠性和有效性。
2)由于不同相關(guān)的幀得到的移動(dòng)估算可以比較容易地用數(shù)字模型化，因而也就易于壓縮和編輯(在視頻編碼時(shí))以及以后也易于控制(在視頻游戲和虛擬實(shí)現(xiàn)時(shí))。
3)由于各種圖像獲得的信息作為有效的統(tǒng)計(jì)的限制，移動(dòng)估算這過(guò)程可以進(jìn)行得較快。
子空間模型化的代數(shù)描述先介紹一些必要的代數(shù)工具。
子空間模型化的目的是要獲得某種程度的靈活性，但在移動(dòng)域中的有系統(tǒng)的協(xié)變性的足夠的限定在估算時(shí)還是需要的。子空間的描述可以表示成雙線(xiàn)性因子的模型。
在H.Mratens和Naes，T.(1989)的多程校準(zhǔn)一書(shū)中(由J.Wiley & Sons有限公司Chiehester英國(guó)出版社出版)可以找到詳細(xì)的關(guān)于雙線(xiàn)性模型化的內(nèi)容。這里只是簡(jiǎn)要介紹一下從n＝1，2，…，n幅幀中得到的移動(dòng)域向量可以按矩陣形式存入，同時(shí)為了找到簡(jiǎn)潔且靈活的近似方法以提高移動(dòng)估算的精確值，隨時(shí)要改變多擺動(dòng)的模型化。
圖3中矩陣X的每一行可以是一幀在一個(gè)移動(dòng)方向或幾個(gè)移動(dòng)方向的移動(dòng)域向量。若所有幀的數(shù)據(jù)是按相同的參照位置表示出來(lái)的話(huà)，那么，X中的每一列則可被視為其對(duì)應(yīng)“參照位置像素”pel＝1，2，…，n像素的觀(guān)察到的特性。
這些觀(guān)察到的特性可以由雙線(xiàn)性模型(BLM)示出近似值矩陣X可以或多或少地寫(xiě)成共同變化現(xiàn)象(這些現(xiàn)象可以是‘潛伏’變量、因子、主元)f＝1，2，…，n個(gè)因子與留數(shù)之和X＝X1+X2+…+Xn因子+E其中，X為待模型化的數(shù)據(jù)--即對(duì)每一模型化的幀有一行，對(duì)每一要同時(shí)作模型的像素變量有一列(例如，對(duì)每個(gè)像素有一水平和垂直移動(dòng)分量)。
X1，X2，…，Xn因子則表示各具有影響因子在X中與主要的有系統(tǒng)協(xié)變圖樣有聯(lián)系的，同X的大小是相同的。
E則表示誤差或外模型的留數(shù)，大小與X相同。
可相關(guān)因子f＝1，2，…，n因子是定義成二個(gè)向量之外積Xf＝tf*PfT其中tf是一列向量，其中每一幀為其一個(gè)分量，每一個(gè)分量tnf描述了該因子f是怎樣用幀n表示它自身的。因而向量tf稱(chēng)為標(biāo)記向量，其值可以是正、負(fù)或零。
向量PfT(向量Pf的轉(zhuǎn)置)是一行向量，每一分析過(guò)的變量有一個(gè)分量(例如每一像素)，每一分量PfK描述因子f是怎樣對(duì)變量k來(lái)表現(xiàn)自身的。因而，向量Pf則稱(chēng)為因子f的加載向量。其值可以是負(fù)、正，也可以是零。通常對(duì)tf或Pf的向量長(zhǎng)度要加以限制，以免產(chǎn)生有關(guān)連的代數(shù)的模糊概念，如在tn中的分量平方之和應(yīng)為1。
于是全因子模型可以寫(xiě)成矩陣形式，在圖3中有說(shuō)明X=Σf=1tf*PfT+E]]>X＝T*PT+E(1)其中T＝[tf，f＝1，2，…，n因子]為一雙線(xiàn)性因子的標(biāo)記矩陣--對(duì)每一模型化后的幀有一行，且對(duì)每一模型化的雙線(xiàn)性因子則有一列，f＝1，2，…，n因子。
PT＝[Pf，f＝1，2，…，n因子]為一雙線(xiàn)性因子的加載矩陣--對(duì)每一同時(shí)為待模型化的像素變量有一列，而對(duì)每一雙線(xiàn)性因子模型f＝1，2，…，n因子則有一行。上標(biāo)T是轉(zhuǎn)置的意思。
相關(guān)因子矩陣乘積T*PT可以表示成數(shù)據(jù)矩陣X的近似值，因此，寫(xiě)成XHatX＝XHat+EXHat表示X的子空間近似值，這是在標(biāo)記T和加載P都有n因子的列向量，且有n因子維子空間的意義上來(lái)說(shuō)的。T子空間描述了有關(guān)幀之間的主要變化以及協(xié)變性，而P子空間則描述了有關(guān)變量(像素)之間的主要變化及協(xié)變性。
雙線(xiàn)性和線(xiàn)性模型化的估算方法雙線(xiàn)性模型化(BLM)將最明顯的子空間從矩陣X中提出來(lái)的方法是很多的，如上面提及的由Martens & Naes 1989以及在Jolliffe，I.T.(1986)在主元分析中提到的那樣。還有在統(tǒng)計(jì)學(xué)Springer系列由Springer-Verlag New York和Jackson，J.E.(1991)由J.Wiley &Sons，New York出版社出版的主元用戶(hù)指南等著作中都提到過(guò)。其共同特點(diǎn)是將X中的主協(xié)變圖樣提取到XHat時(shí)盡可能少地提出因子，在留數(shù)中，多少要留一些非有系統(tǒng)或唯一的變量。主元分配(pca)或統(tǒng)計(jì)上截?cái)嗥娈愔档姆纸?消除小的奇異值結(jié)構(gòu))也可以用在本發(fā)明中。
如果有一些應(yīng)該協(xié)調(diào)的移動(dòng)估算的外界信息可以使用的話(huà)，也可以利用PLS回歸算法。這種做法的一個(gè)例子就是使用聲音信息(例如在上不頻率通道或從不同的濾波器中出來(lái)的能量)作為幀的Y變量，而利用移動(dòng)數(shù)據(jù)作為X變量。另一個(gè)例子是用時(shí)間變化的移動(dòng)數(shù)據(jù)作為Y變量。
如果需要或愿意的話(huà)，也可以坐標(biāo)形式來(lái)模型化垂直和水平移動(dòng)，這只需使用二塊雙線(xiàn)性模型。例如使用PLS回歸法(Martens，H. & Naes，T.1989；多程校準(zhǔn)，J，Wiley & Sons有限公司出版，英國(guó))。
若所估算的移動(dòng)不至一個(gè)物體(全穴)，則可以由N重雙線(xiàn)性方法對(duì)移動(dòng)數(shù)據(jù)的雙線(xiàn)性模型化作坐標(biāo)，例如同感PCA(Geladi，P.Martens，H.Martens，M.Kalvenes，S.和Esbensen，K.(1988)，實(shí)驗(yàn)室測(cè)量的多程比較，應(yīng)用統(tǒng)計(jì)學(xué)研計(jì)會(huì)會(huì)議錄，哥本哈根，1988，1月25日-27日，丹麥哥本哈根，PP15-30)。
在公共子空間模型PT中的移動(dòng)域的表示式確保了序列中的所有模型化的移動(dòng)均屬于‘有規(guī)則的移動(dòng)圖樣’的公共集合中。
只要有可能，所以對(duì)標(biāo)記tn加上一些附加的限制，以有利于使短暫的移動(dòng)非常平滑，同樣也可以使加載平滑以有利于空間移動(dòng)圖樣。這些附加的限制可以在雙線(xiàn)性降階模型化后加上去，也可以直接包括在實(shí)際的雙線(xiàn)性模型化中。
本發(fā)明還具有模型降階估算法，以適應(yīng)當(dāng)前的需要，這方面有很多功能將在以后介紹。主要包括pca降階和空間暫態(tài)平滑結(jié)合的功、延遲、自適應(yīng)點(diǎn)估算，以加強(qiáng)幀際協(xié)調(diào)的功能。
在這些模型中，因子數(shù)f＝1，2，…要限制在什么范圍內(nèi)可以由上面提到的Jolliffee(1986)，Jackson(1991)或Martens & Maes 1989所描述的方法來(lái)確定。
線(xiàn)性模型化由于加載矩陣子空間P表示了有規(guī)則的移動(dòng)圖樣，這些圖樣在所有的幀分析時(shí)多少是有效的，因此，可以認(rèn)為在相同序列的一個(gè)幀n中找到的移動(dòng)向量也應(yīng)該與這個(gè)子空間P中的位置對(duì)應(yīng)于它的標(biāo)記向量tn＝[tn1，tn2，…，tn，n因子]。
因而，如圖4所示，對(duì)一個(gè)分別的幀n來(lái)說(shuō)，雙線(xiàn)性模型可以寫(xiě)成Xn＝tn*PT+en(2)其中數(shù)據(jù)xn是1×n個(gè)像素標(biāo)記tn是1×n因子加載PT是n因子×n像素在雙線(xiàn)性模型中還可以包括一種偏移量(confr.Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons有限公司，chichester英國(guó))，在此從略。
在對(duì)幀n，xn和在子空間加載P的移動(dòng)數(shù)據(jù)的基礎(chǔ)上(例如提出移動(dòng)域估算)，則也能估算留數(shù)向量en和標(biāo)記tn。事實(shí)上，只要估算的方法總的來(lái)說(shuō)能使留數(shù)向量中之分量很小，那么各種不同的估算方法都是可以使用的。加權(quán)線(xiàn)性回歸算法不失為一種好方法(參閱Weisberg S.(1985)Applied linear regression.2nd ed.，J.Wiley & Sons，NewYork，和Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & SonsLtd，Chichester UK)對(duì)一個(gè)對(duì)角線(xiàn)加權(quán)矩陣W，標(biāo)記可以由下式估算tn＝xn*W*P*(PT*W*P)-1(3)
除了使用回歸方法對(duì)移動(dòng)、強(qiáng)度變化和其它數(shù)據(jù)域作標(biāo)記估算外還有一個(gè)方法便是外線(xiàn)性迭代最優(yōu)化，例如標(biāo)準(zhǔn)SIMPLEX最優(yōu)化(參閱J.A.Nelder和R.Mead的‘函數(shù)最小化的簡(jiǎn)易方法’，計(jì)算機(jī)雜志，第7期P.308-313)，在這種方法中，開(kāi)始先從一標(biāo)記啟始值出發(fā)，然后不斷地改進(jìn)標(biāo)記以減小某些標(biāo)準(zhǔn)。例如，一個(gè)按標(biāo)記作過(guò)修改的參照?qǐng)D像IR與由參照?qǐng)D像獲得的需求近似值的幀In之間的強(qiáng)度函數(shù)不夠匹配。也可用回歸法與外線(xiàn)性迭代適配法相結(jié)合的方法。
相反，在方程(1)中的雙線(xiàn)性模型對(duì)每一像素可以寫(xiě)成Xpel＝T*Ppel+epel(4)其中Xpel是n幀×1T是n幀×n因子Ppel是n因子×1epel是n幀×1因此，在下列這種情況下，那些加載值可以通過(guò)象通常在最小均方回歸中使用的將數(shù)據(jù)Xpel映射到標(biāo)記T上的方法進(jìn)行估算。這些情況是在某些幀n＝1，2，…，n幀的集合中的一些新像素來(lái)說(shuō)可以利用數(shù)據(jù)Xpel；在其它的像素的基礎(chǔ)上對(duì)這些因子f＝1，2，…，f因子的集合的幀，但對(duì)這些新像素來(lái)說(shuō)，他們的加載值Ppel是未知時(shí)，可以利用標(biāo)記T。
Ppel＝(TT*T)-1*TT*Xpel(5)考慮到這方面與本發(fā)明有關(guān)，在下面將結(jié)合本發(fā)明作詳細(xì)介紹。
若從幀的集合或子集獲得的移動(dòng)域DApel，n＝1，2，…被定義成數(shù)據(jù)X，那么橫跨最高位的X的行空間的加載子空間PT多少表示了對(duì)序列中的幾個(gè)幀來(lái)說(shuō)是共同的移動(dòng)信息。對(duì)每一幀分別估算的或?qū)υS多幀一起估算的那些幀n＝1，2…的標(biāo)記向量tn(參看下面)可以用來(lái)將這個(gè)共同的移動(dòng)信息PT傳回到每個(gè)幀上去n＝1，2，…。
雙線(xiàn)性模型中的參數(shù)，即加載和標(biāo)記參數(shù)T和P以及留數(shù)是從統(tǒng)計(jì)估算過(guò)程中產(chǎn)生的，例如從X的奇異值分解中取出前面的幾個(gè)因子即可。這些因子可以很好地表示X中的主要的有關(guān)信息。但是它們多少也含有估算的噪聲。雙線(xiàn)性模型給出了較好的分離辦法；同用來(lái)確定雙線(xiàn)性模型的參數(shù)的觀(guān)察來(lái)比較模型中的因子個(gè)數(shù)是較少的。
模型參數(shù)T和P的不確定的協(xié)變數(shù)可以由近似理論來(lái)估算。例如，假定在E中的各分量是正態(tài)分布N(0，S2)，這些不確值使可由下列來(lái)估算標(biāo)記之協(xié)變數(shù)COV(tn)＝(PTP)-1*S2加載之協(xié)變數(shù)COV(Ppel)＝(TTT)-1*S2重建數(shù)據(jù)xnHyp和留數(shù)的協(xié)變數(shù)ECOV(tnPpel)＝(hn+hpel)*S2(6)其中幀影響力n＝hn＝diag(T(TTT)-1TT)像素影響力pel＝hpel＝diag(P(PTP)-1PT)有關(guān)重構(gòu)移動(dòng)域的不確定性的另外的信息(即xnHyp)可以從下面獲得a)在應(yīng)用移動(dòng)域后的留數(shù)強(qiáng)度對(duì)一個(gè)像素的大的正強(qiáng)度留數(shù)或大的負(fù)強(qiáng)度留數(shù)指出無(wú)效移動(dòng)，例如由于閉塞問(wèn)題或有規(guī)則的強(qiáng)度變化。
b)松馳通過(guò)在比起某一強(qiáng)度噪聲的程度來(lái)所得的強(qiáng)度不匹配現(xiàn)象大大增加之前就要能檢測(cè)到從xnHyp中得到的當(dāng)前值的不同方向中一個(gè)像素的移動(dòng)值究竟可以修改多少，這種方法可能會(huì)得到一個(gè)移動(dòng)域的不明確或不可靠的估算。
在對(duì)一個(gè)新的物體作標(biāo)記估算時(shí)，不同因子的標(biāo)記的協(xié)變可以由幀的噪聲變量Sn2CON(tn)＝(PTP)-1*Sn2中估算出來(lái)。而當(dāng)對(duì)一個(gè)新的像素作加載時(shí)，不同因子之加載協(xié)變數(shù)可以由像素變量Spel2COV(Ppel)＝(TTT)*Spel2中估算出來(lái)。有關(guān)的這個(gè)變量如在Martems，H和Naes T.(1989)在多程校準(zhǔn)，J，Wiley & Sons公司(英國(guó))一書(shū)中閘述的那樣可以是基于前面獲得的知識(shí)，也可以在過(guò)適配后作了適當(dāng)?shù)男薷暮笥伤鼈冏陨淼臄?shù)據(jù)中估算出來(lái)的。
在某些應(yīng)用中，期望或猜測(cè)事先發(fā)生在某些已知的變量圖樣。在模型化中可以包含描述這種優(yōu)先變量圖樣的參數(shù)，因而也就省卻了由數(shù)據(jù)本身來(lái)估算相應(yīng)的參數(shù)的需求。如果可以利用已知的空間變量圖標(biāo)的話(huà)，那么可以將它們包括到加載矩陣P中去，作為只需估算標(biāo)記的因子。如果可以利用已知的暫態(tài)變量圖樣，那么可以將包括在標(biāo)記矩陣中，作為只需估算加載的因子。若它們的空間和暫態(tài)參數(shù)都是已知時(shí)，則它們更可包括在雙線(xiàn)性加載和標(biāo)記模型中，而不必作任何參數(shù)的估算。
移動(dòng)估算器的選取移動(dòng)估算器應(yīng)選取具有某種估算功能的，即能利用xnHyp信息以及它的有關(guān)假設(shè)的效果測(cè)度。在對(duì)DARn＝xn的移動(dòng)估算中，參照?qǐng)D像IR與當(dāng)前圖像In之間適配的優(yōu)劣與其它幀的移動(dòng)估算作為由雙線(xiàn)性xnHyp而傳播的協(xié)調(diào)的優(yōu)劣程度以及同其它假設(shè)的適配的優(yōu)劣程度，例如暫態(tài)和空間平滑等必須要二面權(quán)衡地考慮。在專(zhuān)利號(hào)WO95/26539估算移動(dòng)的方法和設(shè)備中給出了這種移動(dòng)估算的例子，因而我們也將它列為參考文獻(xiàn)。
移動(dòng)估算器最好是基于下列事實(shí)，即將IR中每個(gè)適配不好的像素位置映射到一些所希望的移動(dòng)域周?chē)腎nw.r.t各種位置替換的移動(dòng)上去。對(duì)IR中每個(gè)像素位置來(lái)說(shuō)，可使用各種輸入假設(shè)作為移動(dòng)估算器的輸入，以減少移動(dòng)估算的不確定因子。在那些按照假設(shè)會(huì)產(chǎn)生移動(dòng)的地方，那些憑經(jīng)驗(yàn)而對(duì)不同的替換移動(dòng)適配不佳的會(huì)縮小到零。子序列空間平滑應(yīng)用于收縮過(guò)的適配不佳的數(shù)據(jù)，以有利于連續(xù)移動(dòng)域，同時(shí)對(duì)IR中每個(gè)像素取出這個(gè)經(jīng)過(guò)平滑處理的收縮的適配不佳的最小值作為其預(yù)先的移動(dòng)估算。而這個(gè)移動(dòng)估算又按照深度/閉塞分析后作進(jìn)一步的濾波及修改，得到移動(dòng)估算DARn，在雙線(xiàn)性矩陣代數(shù)中也稱(chēng)之為xn。
另一種辦法是移動(dòng)估算也可以在相位關(guān)系的基礎(chǔ)上檢測(cè)主移動(dòng)類(lèi)型，接著是一個(gè)解釋過(guò)程。它將被檢測(cè)出來(lái)的不同的移動(dòng)歸于圖像的不同部分；假設(shè)既可以用來(lái)修改相位關(guān)系圖(例如在xnHyp有效的地方加上一些附加的關(guān)系)又可以修改子序列解釋相位(在相位關(guān)系移動(dòng)假設(shè)一致的地方的移動(dòng)倍受重視)。
也可使用其它的移動(dòng)估算器。
雙線(xiàn)性模型結(jié)合移動(dòng)估算的應(yīng)用上述的雙線(xiàn)性模型在在本發(fā)明中有三種不同的用途1)提高每個(gè)幀的移動(dòng)估算精度2)對(duì)一列幀作移動(dòng)模型3)用多域模型化增強(qiáng)移動(dòng)估算下面對(duì)每一點(diǎn)作簡(jiǎn)要說(shuō)明。
1)提高每個(gè)幀的移動(dòng)估算精度對(duì)一列相關(guān)幀中之一個(gè)幀作移動(dòng)估算來(lái)說(shuō)，是應(yīng)用了這個(gè)序列中的其它的幀為基礎(chǔ)的雙線(xiàn)性模型，以提高這個(gè)特定幀的估算后的移動(dòng)域DAn，這就需要搜索過(guò)程一個(gè)啟始點(diǎn)(偏移量)的雙線(xiàn)性定義以及通過(guò)利用移動(dòng)假設(shè)的移動(dòng)估算的統(tǒng)計(jì)性的修改。
雙線(xiàn)性模型假設(shè)需受控制使用，即可靠的模型信息要多用，而不大可靠的模型信息要少用，或根本不用。
偏移和假設(shè)也可以在移動(dòng)估算之前就定義好，或在移動(dòng)估算期間不斷地作更新。這一點(diǎn)在下面會(huì)詳述。
在可靠的移動(dòng)域數(shù)據(jù)DAn和雙線(xiàn)性模型之間的適配不佳的留數(shù)是用來(lái)檢測(cè)那些不適合的雙線(xiàn)性模型的像素的。一方面由于它們表示了一個(gè)尚未模型化的新移動(dòng)圖樣，另一方面也因?yàn)樵跀?shù)據(jù)或在所用的雙線(xiàn)性模式中的誤差。
在雙線(xiàn)性子空間模型的基礎(chǔ)上生成假設(shè)從其它幀上獲取的信息在移動(dòng)估算期間傳播到一個(gè)特定幀的方式是按雙線(xiàn)性預(yù)沒(méi)假測(cè)xnHyp的形式進(jìn)行的xnHyp＝tn*PT(7)或?qū)τ趲琻中的某個(gè)像素xnpelHyp＝tn*Ppel從與共同的參照?qǐng)D像有關(guān)的其它幀的移動(dòng)數(shù)據(jù)出發(fā)已經(jīng)將加載P估算好了。通過(guò)對(duì)其它幀的暫態(tài)預(yù)測(cè)先估算幀n的標(biāo)記tn；若在移動(dòng)估算時(shí)反復(fù)使用雙線(xiàn)性模型，那么象對(duì)上述的加載P中一樣對(duì)預(yù)置的估算xn作模型就可以獲得新的標(biāo)記。且該假設(shè)也是相應(yīng)的協(xié)變數(shù)據(jù)COV(tnPpel)或是諸如上述的為每個(gè)像素作估算的其它可靠性統(tǒng)計(jì)。
該雙線(xiàn)性假設(shè)也可以?xún)煞N不同的方式使用a)為了節(jié)省CPU(指使用計(jì)算機(jī)中央處理器的時(shí)間)和存儲(chǔ)器，作為時(shí)間的補(bǔ)償或起點(diǎn)，存儲(chǔ)器要求移動(dòng)估算的搜索過(guò)程；b)要提高精度和幀間協(xié)調(diào)性An是一個(gè)優(yōu)先統(tǒng)計(jì)期望值。例如可以用作修改強(qiáng)度差以有利于在數(shù)據(jù)噪聲水平的結(jié)果。
只要用在系統(tǒng)中的移動(dòng)估算器是這樣的一種類(lèi)型，即它可以利用這種補(bǔ)償和附加的統(tǒng)計(jì)分布期望假設(shè)的話(huà)，那么在本發(fā)明中的雙線(xiàn)性子序列假設(shè)xnHyp便可用來(lái)穩(wěn)定和協(xié)調(diào)對(duì)應(yīng)幀的移動(dòng)估算。其主要作用可簡(jiǎn)述如下若沒(méi)有雙線(xiàn)性假設(shè)xnHyp去連接不同幀之間的移動(dòng)，那么在對(duì)與一個(gè)特定的幀有關(guān)的像素作全移動(dòng)域估算時(shí)往往有很高的不確定性?？赡苡袔追N移動(dòng)會(huì)有較好的適配，即有相同的可測(cè)點(diǎn)，因此，在偶然的情況下，對(duì)給定的幀會(huì)給出十分不同的移動(dòng)域。由于在輸入幀中的熱強(qiáng)度噪聲的緣故，在這些移動(dòng)中究竟選取那一個(gè)是十分隨機(jī)的。于是就使得對(duì)移動(dòng)域作模型十分困難，這種困難帶來(lái)的是使壓縮很差等。另外，若沒(méi)有一個(gè)好的搜索過(guò)程的起點(diǎn)的話(huà)，移動(dòng)估算可能會(huì)要求很長(zhǎng)的CPU時(shí)間和大量的存儲(chǔ)器資源。
若在移動(dòng)估算的過(guò)程中使用雙線(xiàn)性假設(shè)xnHyp則對(duì)每一幀中的每一個(gè)像素選取一個(gè)移動(dòng)圖樣(可以變化的適配較好的移動(dòng)選出)，該圖樣也對(duì)應(yīng)于其它幀中找到的有組織的可靠的移動(dòng)。同時(shí)，在搜索過(guò)程有一個(gè)好的起始點(diǎn)時(shí)，移動(dòng)估算就能用很少的CPU時(shí)間以及很少的計(jì)算機(jī)存儲(chǔ)器。
在每個(gè)像素上可能有多個(gè)不同的雙線(xiàn)性假設(shè)，每一個(gè)對(duì)應(yīng)于一組關(guān)于數(shù)據(jù)的假設(shè)。其它的假設(shè)類(lèi)型(如時(shí)間上的標(biāo)記的平滑，空間中加載或移動(dòng)的平滑)也可能產(chǎn)生另外的附加的假設(shè)。
在一個(gè)給定的移動(dòng)估計(jì)中不同的假設(shè)也可以同時(shí)使用。
假設(shè)反映了期望結(jié)果的假設(shè)的概率分布對(duì)一個(gè)幀的每一個(gè)假設(shè)xnHyp表示了在統(tǒng)計(jì)概率分布的范圍的點(diǎn)的估算，這里xn希望是存放著的且由其它幀形成的空間中的可利用的信息判斷得到的。與這一點(diǎn)的估算相關(guān)的最好也是關(guān)于該假設(shè)是如何精確以及如何重要等一些重要的詳細(xì)信息。
對(duì)每一個(gè)像素，每個(gè)這種假設(shè)xnHyp的實(shí)際值710，720可以有它的可靠性估算，同時(shí)從這一組假設(shè)可以計(jì)算出效果的測(cè)度，以后再輸入到移動(dòng)估算。下面是一組假設(shè)有效性的實(shí)際的描述器1)假設(shè)強(qiáng)度750這是定義關(guān)于輸入強(qiáng)度數(shù)據(jù)假設(shè)應(yīng)被計(jì)算成多少?gòu)?qiáng)度。
不可靠或不稱(chēng)心的假設(shè)的像素給出的權(quán)很低，因而在對(duì)該像素作移動(dòng)估算的保證時(shí)，幾乎沒(méi)有什么甚至根據(jù)沒(méi)有什么效果。
2)假設(shè)移位范圍730這定義了對(duì)每一特定的像素應(yīng)如何將記分送給變化不同的移動(dòng)，雖然它們的移動(dòng)xnHyp是相似的。
2)對(duì)一列幀作移動(dòng)模型移動(dòng)域的雙線(xiàn)性模型之第二種也是同上有密切關(guān)系的用法是涉及到如何改進(jìn)移動(dòng)圖樣的模型化從幾個(gè)相關(guān)幀的移動(dòng)域中抽出主要的特征結(jié)果或有關(guān)的控制因子結(jié)構(gòu)，給出相同的參照?qǐng)D像的坐標(biāo)系統(tǒng)，則其結(jié)果的信/噪比可大大地加強(qiáng)。
對(duì)一組相關(guān)的幀的估計(jì)移動(dòng)域DARn，n＝1，2，…，n幀，用這些雙線(xiàn)性移動(dòng)估算抽出這些共同的移動(dòng)圖像，且按對(duì)應(yīng)于標(biāo)記T和留數(shù)E的雙線(xiàn)性加載PT所跨到的子空間。
該估算的移動(dòng)域的共同模型可以對(duì)所有的一次完成，也可以重復(fù)進(jìn)行。在重復(fù)模型化情況下，估算移動(dòng)域可以由某種規(guī)則來(lái)進(jìn)行修改，以給出低維數(shù)的共同的雙線(xiàn)性模型的最佳適配。
這些不同的方法的詳細(xì)說(shuō)明將在有關(guān)的實(shí)施例中給出。
3)用多域模型化增加移動(dòng)估算在對(duì)一特定幀或一列相關(guān)的幀作移動(dòng)估算時(shí)，在其它域中的估算變化，例如強(qiáng)度、深度、透明度或分類(lèi)概率等也可以由雙線(xiàn)性近似值按移動(dòng)數(shù)據(jù)的雙線(xiàn)性近似值的模擬來(lái)作模型化，例如，當(dāng)傳送到移動(dòng)估算的一列圖像中的顏色發(fā)生慚變時(shí)，如變成淡一點(diǎn)了，這此強(qiáng)度變化在移動(dòng)估算中可能會(huì)給出誤差值。若允許某些有組織的強(qiáng)度改變序列，則移動(dòng)估算可以更加精確。然而，在序列中若允許過(guò)多的強(qiáng)度變化，則移動(dòng)估算可能被破壞。
允許強(qiáng)度變化圖樣的多因子線(xiàn)性或雙線(xiàn)性模型提供了一個(gè)有組織的強(qiáng)度變化(該變化由于移動(dòng)而不明顯)的靈活而雙簡(jiǎn)潔的方法，而這一點(diǎn)在強(qiáng)度變化加載是已知或預(yù)先已被估算過(guò)時(shí)尤為突出，因而也就大大減少了在強(qiáng)度域中由錯(cuò)誤的模型移動(dòng)造成影響的概率。
同樣，由于修改了那些有組織的變化(事實(shí)上那些不修改的話(huà)，可能會(huì)妨礙到移動(dòng)估算)深度、透明度或分類(lèi)概率的多因子線(xiàn)性或雙線(xiàn)性模型化可以增強(qiáng)移動(dòng)和模型化。然而，若靈活性提得太多，在這變化域中的自適應(yīng)的修改也能破壞移動(dòng)估算。因而，這些多域模型化必須是有如下限制來(lái)完成一個(gè)清晰的有效變化圖樣必須包含在多域模型之中。在雙線(xiàn)性模型的不確定越來(lái)越小而進(jìn)行重復(fù)處理時(shí)，這些限制可以放寬。
與移動(dòng)估算一起使用雙線(xiàn)性多域模型化在第五和第六個(gè)實(shí)施例中將描述。
較佳實(shí)施例現(xiàn)在對(duì)于一個(gè)在一組相關(guān)幀中給定的全穴(或全幀)可以有多種方法來(lái)完成移動(dòng)域模型化的簡(jiǎn)化和移動(dòng)估算的穩(wěn)定化工作。
圖5描述了本發(fā)明的移動(dòng)估算的多幀協(xié)調(diào)的第一個(gè)實(shí)施例。它主要是在下面二者之間進(jìn)行重復(fù)的1)對(duì)所有幀n＝1，2，3，…(關(guān)于參照幀R)估算移動(dòng)域DARn以及2)對(duì)所有幀估算子空間和假設(shè)。
圖6和圖7更詳細(xì)地圖示說(shuō)明了第二實(shí)施例，它包含了在重復(fù)估算過(guò)程中在任何階段對(duì)任何幀使用在該階段可用的任何子空間信息，以實(shí)現(xiàn)對(duì)各幀移動(dòng)估算的穩(wěn)定化，隨著所獲取的各個(gè)穩(wěn)定估算更新或復(fù)原子空間的估算。
第三個(gè)實(shí)施例則是應(yīng)用了包括暫態(tài)空間平滑化在內(nèi)的雙線(xiàn)性模型化工具作為融入到雙線(xiàn)性參數(shù)的估算中的附加的最優(yōu)化標(biāo)準(zhǔn)。它對(duì)一組給定的輸入數(shù)據(jù)以及在這些數(shù)據(jù)中的行和列的統(tǒng)計(jì)權(quán)進(jìn)行工作。
第四個(gè)實(shí)施例應(yīng)用了雙線(xiàn)性模型化工具，它允許有幾種附加信息的類(lèi)型以及假設(shè)可以融入到雙線(xiàn)性參數(shù)的估算中去。它包括了輸入數(shù)據(jù)的重復(fù)修改以及這些數(shù)據(jù)的統(tǒng)計(jì)權(quán)。
第五個(gè)實(shí)施例是在移動(dòng)域和強(qiáng)度域中都應(yīng)用雙線(xiàn)性和多因子線(xiàn)性模型化的改進(jìn)在有組織的強(qiáng)度修正圖像上的移動(dòng)估算。
第六個(gè)實(shí)施例是在將強(qiáng)度域中先前的由經(jīng)驗(yàn)估算的雙線(xiàn)性模型與帶有重復(fù)圖樣(模式)識(shí)別搜索過(guò)程相結(jié)合的基礎(chǔ)上，表示了對(duì)第五實(shí)施例的一個(gè)圖樣(模式)識(shí)別的擴(kuò)展。
第一較佳實(shí)施例對(duì)整序列移動(dòng)估算后的雙線(xiàn)性模型化圖5示出了第一個(gè)實(shí)施例的設(shè)備500，它是按照本發(fā)明按其最簡(jiǎn)單序列形式進(jìn)行操作的。在對(duì)各個(gè)幀(加上可能的可靠性信息)的輸入強(qiáng)度In，n＝1，2…510以及在參照?qǐng)D像模型IR530的基礎(chǔ)上，它在570上推出或輸入所需的移動(dòng)估算DARn，n＝1，2，…，并在580上輸入最后的假設(shè)。設(shè)備500通過(guò)了對(duì)整個(gè)序列在模塊520EstMovSeqk中完成移動(dòng)估算而進(jìn)行，同時(shí)假設(shè)在模塊550EstHypSeq中進(jìn)行，其中間結(jié)果分別存放于模塊540和560。EstMovSeq 520在有關(guān)的幀的強(qiáng)度In，n＝1，2，…以及在雙線(xiàn)性模型的信息的基礎(chǔ)上對(duì)移動(dòng)域作估算，這些信息是作為參照?qǐng)D像模型部分而存儲(chǔ)起來(lái)的，同時(shí)使用假設(shè)信息中任何有用的東西。EstModel 590對(duì)移動(dòng)(也可以有步驟的強(qiáng)度變化的移動(dòng))的雙線(xiàn)模型子空間作估算，同時(shí)更新在參照?qǐng)D像模型530中的雙線(xiàn)性模型。EstHypSeq 550則在參照?qǐng)D像模型530和從EstMovSeq 520的輸出的新雙線(xiàn)性模型信息的基礎(chǔ)上對(duì)每個(gè)幀預(yù)報(bào)其假設(shè)。
該算法可按下面寫(xiě)出若需要的話(huà)，將序列分成更短的更為同構(gòu)的序列。
一個(gè)已知的方法是在序列中對(duì)每一幀計(jì)算強(qiáng)度或色彩的的矩形圖，計(jì)算幾對(duì)幀的矩形圖之間相似性的測(cè)度，同時(shí)假設(shè)幾對(duì)幀之間的矩形圖的相似性很小時(shí)，則可能會(huì)有一個(gè)景頭的移位。這種方法會(huì)抓住一些景頭的移位，但不可能抓住所有的。
定義一個(gè)或多個(gè)全穴參照?qǐng)D像IR，即，在子序列中某一個(gè)幀，序列中某一幀的某一個(gè)部分或是從幾個(gè)圖像獲取的一個(gè)積累起來(lái)的復(fù)合部分。
內(nèi)容對(duì)每一個(gè)同構(gòu)序列及全穴當(dāng)序列估算不收斂對(duì)EstHypSeq 550中所有的幀形成移動(dòng)域的假設(shè)對(duì)EstMovSeq 520中所有的幀估算移動(dòng)域估算在EstModel 590中的雙線(xiàn)性移動(dòng)模型子空間檢查序列的收斂性當(dāng)序列估算不收斂時(shí)結(jié)束現(xiàn)在對(duì)第一較佳實(shí)施例中應(yīng)詳述的地方作詳細(xì)介紹當(dāng)序列估算不收斂時(shí)在EstHypSeq 550中對(duì)所有幀形成移動(dòng)域的假設(shè)由方程(7)的EstHypSeq中的每一個(gè)幀更新移動(dòng)域估算xnhyp的假設(shè)。也可寫(xiě)出另外的假設(shè)(例如暫態(tài)內(nèi)插/外插)，但是為簡(jiǎn)潔起見(jiàn)，將在第二較佳實(shí)施例中再作討論。
同時(shí)對(duì)該估算的不確定性作評(píng)價(jià)，以及確定假設(shè)分布可靠性參數(shù)包括估算過(guò)的深度/折迭和其它全穴之閉塞現(xiàn)象。對(duì)一般子空間模型P適配較好而本身對(duì)子空間定義無(wú)多大影響的幀給予相當(dāng)一般的假設(shè)強(qiáng)度，而其它的幀則給予較低的強(qiáng)度。那些對(duì)子空間模型適配較好，在標(biāo)記估算(在P中的低變量影響)中未受很大影響的像素比起其它像素來(lái)沒(méi)被給予較高的強(qiáng)度。那些假設(shè)的經(jīng)估算的不確定變量低的像素被給予較高的強(qiáng)度。那些在XnHyp應(yīng)用在強(qiáng)度數(shù)據(jù)時(shí)發(fā)現(xiàn)假設(shè)給出了很好的相應(yīng)適配性的像素被給予較高的強(qiáng)度。那些由于接近或在估算穴間或穴內(nèi)的閉塞而被認(rèn)為是不確定的像素被給予低的權(quán)。
假設(shè)的范圍應(yīng)在子空間P被定義好前，即假設(shè)過(guò)程之前期就定義好，移位范圍和傳遞范圍一般設(shè)置得較大。由于估算過(guò)程的進(jìn)展和P的定義越來(lái)越確切，一般來(lái)說(shuō)范圍就縮小了。對(duì)各個(gè)像素的假設(shè)移位范圍來(lái)說(shuō)，它應(yīng)該這樣來(lái)設(shè)置，即對(duì)具有滿(mǎn)足但不精確的假設(shè)像素來(lái)說(shuō)，其假設(shè)的應(yīng)用比那些有精確假設(shè)的像素移動(dòng)范圍更廣。假設(shè)傳遞范圍是這樣設(shè)置的假設(shè)非常清楚的像素可以允許去影響其它像素的假設(shè)(如相鄰的像素)，如果其它的像素假設(shè)不大清楚的話(huà)。
在EstMovSeq 520中估算所有幀的移動(dòng)域在可用信息In，IR(或一些IR的變換，最好是已知它們的逆)對(duì)參照IR至EstMovSeq 520中的每一幀n＝1，2，…，n幀作移動(dòng)域xn＝DARn的估算。另外，使用各種假設(shè)xnHyp例如那些以前已估算過(guò)的雙線(xiàn)性加載，以及使用那些假設(shè)強(qiáng)度、假設(shè)范圍和假設(shè)傳遞范圍加上對(duì)穴間深度/折迭和由其它穴獲得閉塞現(xiàn)象的估算可以穩(wěn)定移動(dòng)的估算。
在ExtModel 590中估算雙線(xiàn)性移動(dòng)模型子空間這是通過(guò)移動(dòng)數(shù)據(jù)x＝(xn，n＝1，2，…，n幀)的雙線(xiàn)性模型化，例如奇異值的分解或按方程1的加權(quán)外線(xiàn)性重復(fù)最小二乘(nipal)模型化或是通過(guò)具有空間暫態(tài)平滑功能的以線(xiàn)性估算器(參見(jiàn)第三較佳實(shí)施例)以及/或者重復(fù)最優(yōu)化的比例(參見(jiàn)第四較佳實(shí)施例)來(lái)對(duì)EstModel 590的移動(dòng)子空間的標(biāo)記和加載作估算。
估算產(chǎn)生出加載P、標(biāo)記T和留數(shù)E。從統(tǒng)計(jì)的角度，通過(guò)諸如交叉有效性的手段(最好是小點(diǎn)的數(shù))來(lái)確定出P的T中的因子的個(gè)數(shù)。最好是作出移向參照位置的留數(shù)強(qiáng)度變量的相似的雙線(xiàn)性模型。
若對(duì)一個(gè)給定的幀及上移的幀的移動(dòng)數(shù)據(jù)不允許有很好的重構(gòu)同時(shí)/或者在移動(dòng)數(shù)據(jù)x不能由相應(yīng)的標(biāo)記和加載而獲得很好的重構(gòu)的話(huà)，那么就會(huì)被認(rèn)為已經(jīng)發(fā)生了場(chǎng)景的移位，于是應(yīng)把當(dāng)前的子空間分成二個(gè)不同的子空間，這樣每個(gè)子空間可分別進(jìn)行模型化。
檢查序列的收斂性當(dāng)序列估算不收斂時(shí)結(jié)束總之，在第一實(shí)施例中每次通過(guò)的序列是首先對(duì)EstHypSeq 550中所有的幀作假設(shè)估算，然后對(duì)EstMovSeq 520中所有的幀作移動(dòng)估算以及同時(shí)使用所有新的信息對(duì)EstModel(590)中的全穴進(jìn)行估算/更新。
第二較佳實(shí)施例對(duì)每一幀在移動(dòng)估算后更新雙線(xiàn)性模型在第二較佳實(shí)施例中，在對(duì)每幀的移動(dòng)估算后更新雙線(xiàn)性模型而不是在對(duì)所有的幀都須經(jīng)過(guò)移動(dòng)估算后再作更新。圖6中有此說(shuō)明。
另外，對(duì)有關(guān)幀的子序列也是適用的同時(shí)，對(duì)一個(gè)可以表示一個(gè)全幀或一部分的穴也是適用的。
為了最優(yōu)化地協(xié)調(diào)序列中幀之間的移動(dòng)估算，系統(tǒng)要通過(guò)一次或多次序列，對(duì)每次通過(guò)它要重復(fù)穿過(guò)有關(guān)的幀。為了對(duì)每個(gè)幀的移動(dòng)估算最優(yōu)化，系統(tǒng)用估算假設(shè)的辦法反復(fù)地協(xié)調(diào)移動(dòng)(EstMov)估算。當(dāng)不收斂于一個(gè)幀時(shí)，參照?qǐng)D像模型總是多少保持成常量。一旦這個(gè)收斂于一個(gè)幀時(shí)就使用對(duì)這個(gè)幀所獲得的移動(dòng)域去更新EstModel中的雙線(xiàn)性參照?qǐng)D像模型。
圖6中的算法可以閘述如下在序列(600)中估算移動(dòng)當(dāng)序列估算不收斂時(shí)，幀n＝1n幀(630)根據(jù)輸入圖像數(shù)據(jù)(610)和可用的模型信息(630)估算移動(dòng)(670)和更新模型(630)當(dāng)幀重復(fù)不收斂時(shí)，
在Esthyp內(nèi)形成移動(dòng)域xnHyp的假設(shè)在EstMov(620)內(nèi)估算該幀的移動(dòng)域xn檢查該幀的重復(fù)的收斂性當(dāng)幀重復(fù)不收斂時(shí)結(jié)束在EstModel(690)中估算雙線(xiàn)性移動(dòng)模型子空間(630)幀n＝1n幀(630)時(shí)結(jié)束檢查該序列的收斂性在該序列估算不收斂時(shí)結(jié)束更詳細(xì)地，第二實(shí)施例可以包括下列步驟當(dāng)序列估算不收斂時(shí)根據(jù)輸入圖像數(shù)據(jù)(610)和可用的模型(630)估算移動(dòng)(670)和更新模型(630)；當(dāng)幀重復(fù)不收斂時(shí)，在EstHyp(650)中形成移動(dòng)域xnhyp的假設(shè)根據(jù)可用的信息可以形成幾種假設(shè)暫態(tài)預(yù)報(bào)如果從前后幀，從其它的空間分析或前面的序列迭代可利用標(biāo)記tRm，m＝2，1，…，同時(shí)又希望得到平滑的暫態(tài)移動(dòng)，則就可以使用線(xiàn)性預(yù)測(cè)從這些作出暫態(tài)預(yù)報(bào)。例如tnHyp1＝b0+b1*tn-1+b2*tn-2+…xnHyp1＝tnHyp1*PT因而，預(yù)測(cè)的值表示了模型上的數(shù)據(jù)的線(xiàn)性回歸所提出的時(shí)間系列中的靜止性。
根據(jù)由時(shí)間子列模型從而獲得的標(biāo)記的經(jīng)過(guò)估算之不確定性，該假設(shè)之統(tǒng)計(jì)上的不確定性的變量也可被估算出來(lái)，同時(shí)也可通過(guò)加載被傳遞Cov(xnHyp1)＝P*Cov(tnHpy1)*PT其中Cov(tnHyp1)是暫態(tài)預(yù)報(bào)的變量的一些標(biāo)準(zhǔn)統(tǒng)計(jì)估算。
還可選取的是，通過(guò)象試錯(cuò)法這樣的辦法對(duì)這種幀作全穴的局部深度域的估算。在將此預(yù)報(bào)出的移動(dòng)應(yīng)用于參照?qǐng)D像模型時(shí)也可估算強(qiáng)度之不適配。
雙線(xiàn)性適配如果一個(gè)移動(dòng)域xn在前面的迭代中已被估算過(guò)(包括元的估算不確定性測(cè)度，估算的深度域和變化移動(dòng)值以及有關(guān)的強(qiáng)度的不適配估算)，則由通常的最小二乘法回歸方程估算標(biāo)記tnHyp2＝xn*P*(PT*P)-1或者也可在該式上加權(quán)或重加權(quán)。
同樣估算相應(yīng)不確定變量Cov(tnHyp2)＝(PT*P)-1*S2x這里S2x是xn估算出來(lái)的不確性變量。又由于加載P的估算的不確定性還可以再加上其它的變量。
如上所述，變化信息xn可以表示成如在參照位置中的移動(dòng)域DARn。這樣它也與參照位置中表示出來(lái)的雙線(xiàn)性加載P相兼容。另外，變化信息也可以按幀n中的像素的位置表示出來(lái)，例如逆移動(dòng)域DAnR以及映射到加載P的兼容的版本上，即利用移動(dòng)域DARn，P暫時(shí)移動(dòng)該相同的位置。
對(duì)幀n的移動(dòng)域信息與從序列中其它幀得到的模型信息之間的最佳對(duì)應(yīng)可以由迭代的重加權(quán)方案獲得。分離出來(lái)的像素則能使用迭代重加權(quán)方案檢測(cè)出來(lái)，并且進(jìn)行局部減權(quán)，以減少在標(biāo)記估算時(shí)對(duì)閉塞現(xiàn)象的影響。
在第三較佳實(shí)施例中閘述了一個(gè)完整的線(xiàn)性模型和平滑性的假設(shè)，而在第四較佳實(shí)施例中則閘述了重加權(quán)方案的基于規(guī)則的算法，它也涉及到線(xiàn)性模型的輸入數(shù)據(jù)的修改。
關(guān)于被分析的序列中所期望的移動(dòng)的動(dòng)態(tài)值的有用信息也可用來(lái)修改關(guān)于暫態(tài)平滑性的已經(jīng)取得的標(biāo)記估算tn。
當(dāng)標(biāo)記tnHyp2＝tn一旦估算出來(lái)，就生成假設(shè)xnHyp2，如xnHyp2＝tnHyp2*PT同時(shí)，如圖7所示，該假設(shè)點(diǎn)估算的統(tǒng)計(jì)概率的的簡(jiǎn)化估算也生成出來(lái)了，得到了假設(shè)影響測(cè)度那些有特別高的像素影響，對(duì)角陣(P(PTP)-1PT)以及/或者幀影響，對(duì)角陣為(T(TTT)-1TT)，以及/或者外正常雙線(xiàn)性留數(shù)E或者譯碼強(qiáng)度誤差DI的像素要給予比其它像素高的不確定性。這些不確定性組成了計(jì)算各種假設(shè)影響測(cè)度的基礎(chǔ)，而這些假設(shè)影響測(cè)度則是定義了在子序列移動(dòng)估算中是怎樣應(yīng)用估算xnHyp2的。在較佳實(shí)施例中在一個(gè)假設(shè)中的像素的不確定性越高，其強(qiáng)度750就越低，其位移范圍730和傳遞范圍740就越小。
在其它原理的基礎(chǔ)上也可在此階段對(duì)假設(shè)作估算，并且在子序列移動(dòng)估算中用來(lái)模擬xnHyp1。
然而，其它假設(shè)原理可能是根據(jù)對(duì)移動(dòng)域xn及它的不確定性的空間導(dǎo)數(shù)的評(píng)估而推出來(lái)的。
精確控制過(guò)濾xnHyp2修改xn使得對(duì)具各個(gè)特征(如垂直和水平的)xnHyp2中的各像素是其它認(rèn)為是具有相關(guān)信息的像素的加權(quán)平均；這樣做就可以用圖像中某部分中易于識(shí)別的圖像像素的精確移動(dòng)估算來(lái)代替或至少可以影響那些圖像中另一部分中不易識(shí)別的圖像像素的不確定移動(dòng)估算。一個(gè)像素關(guān)于它對(duì)另一個(gè)像素的移動(dòng)的估算的關(guān)系仍是這些像素之間距離的函數(shù)。計(jì)算距離有兩種方法一種是按圖像空間在該空間中是計(jì)算垂直和水平距離的，另一種是按因子加載空間P，這是計(jì)算加載時(shí)的相似性。這就形成了在每個(gè)像素的xnHyp3是它本身的xn值和其它像素的xn值的加權(quán)平均。xnHyp3的有關(guān)的不確定性也因而計(jì)算成xn中相應(yīng)的像素的不確定值的加權(quán)平均。
成功控制過(guò)濾xnHyp4對(duì)那些未發(fā)現(xiàn)有正常移動(dòng)的像素(這是可以通過(guò)對(duì)重構(gòu)的和實(shí)際的輸入圖像In之間的適配程序的判斷來(lái)確定)，則移動(dòng)估算可由具有多次成功移動(dòng)估算的其它有關(guān)像素按上述的模擬精確控制過(guò)濾方法的移動(dòng)估算來(lái)代替；不確定性也可相應(yīng)定義，不確定性也可相應(yīng)傳遞。
物理上不可能移動(dòng)過(guò)濾xnHyp5xn看來(lái)不可能的圖像部分要進(jìn)行修改。這種情況是如果對(duì)某個(gè)像素的移動(dòng)域的空間導(dǎo)數(shù)大于1，則在同樣的移動(dòng)模式(圖樣)被放大時(shí)就會(huì)引起折迭。如果能找到這些像素的別的移動(dòng)具有差不多相同的移動(dòng)適配，那么這些其它的移動(dòng)就插入到xnHyp5中。其不確定性是根據(jù)不同的物理設(shè)定和它們適合數(shù)據(jù)xn的程度而定的。
由其它的空間坐標(biāo)系統(tǒng)xnHyp6預(yù)測(cè)移動(dòng)域的估算可以在不同的坐標(biāo)表示式中得到，如不同的空間上，同時(shí)它又轉(zhuǎn)換到當(dāng)前在使用的坐標(biāo)的表示式上。這種不同的估算也可用作假設(shè)，這樣可以提高尋找到滿(mǎn)足不同坐標(biāo)表示式的移動(dòng)估算的概率。在其它的坐標(biāo)表示式中的不確定性也同移動(dòng)域數(shù)據(jù)一起轉(zhuǎn)換。
在EstMov(620)中估算該幀的移動(dòng)域xn根據(jù)可用的信息從參照幀到幀n估算移動(dòng)域，這些信息是強(qiáng)度In和IR(或者是一些逆是已知的IR的信息)和它們的不確定性，各種假設(shè)xnHyp和它們的影響的程度等等。當(dāng)二個(gè)部分(物體，全穴)之間發(fā)生了閉塞現(xiàn)象，這就應(yīng)按移動(dòng)估算作修改。
估算應(yīng)當(dāng)產(chǎn)生一種簡(jiǎn)單的統(tǒng)計(jì)性描述，以說(shuō)明概率密度函數(shù)是怎樣隨著移動(dòng)域xn而改變的。
具有代表性的是該輸出應(yīng)當(dāng)包含有一個(gè)點(diǎn)的估算對(duì)每一有關(guān)的坐標(biāo)有一個(gè)值(例如垂直、水平、深度)。然而，這樣的點(diǎn)的估算往往可能有不至一個(gè)。
點(diǎn)估算xn應(yīng)當(dāng)有不確定性‘標(biāo)準(zhǔn)偏差’估算。這可以根據(jù)統(tǒng)計(jì)的可靠性信息(估算精度，在輸入數(shù)據(jù)中對(duì)噪聲的靈敏度等)以及有效性信息(指出所取得的移動(dòng)估算是否是可用的還是不可有的)而定。
估算移動(dòng)域的可靠性估算是‘松弛’的或是由移動(dòng)域xn的標(biāo)準(zhǔn)偏移，該移動(dòng)域xn似乎是在某一標(biāo)準(zhǔn)偏移的隨機(jī)噪聲迭加到強(qiáng)度IR或In上去后而引起的，而移動(dòng)域就由這個(gè)強(qiáng)度IR或In來(lái)估算的?？赡苡袔追N這樣的在xn中的每一個(gè)像素的松弛的不確定性--在水平方向的不確定性有左和右，垂直方向的不確定性有向上和向下，深度方向的不確定性有向前和向后。在其它維的方向以及二個(gè)甚至多個(gè)假定的強(qiáng)度噪聲水平上也可以給出不確定性。
經(jīng)估算移動(dòng)域之有效估算是對(duì)一個(gè)給定的像素xn，pel在譯碼基礎(chǔ)上所取得的強(qiáng)度適配移動(dòng)域估算越差，則它就越是不能確定該稱(chēng)動(dòng)域估算是否正確的。另外一個(gè)有效性的估算是在In中似乎看不到的那些IR中的像素可能有不確定的移動(dòng)估算。
檢查該幀重復(fù)的收斂性如果幀重復(fù)不收斂，就結(jié)束在EstModel(690)中估算雙線(xiàn)性移動(dòng)模型子空間(630)移動(dòng)數(shù)據(jù)(以及所選的強(qiáng)度數(shù)據(jù))的雙線(xiàn)性模型化能以極不同的方式來(lái)實(shí)現(xiàn)。分析可以重新在一組幀的移動(dòng)估算上進(jìn)行，包括當(dāng)前幀，X＝[xm，m＝…，n，…]，例如由加權(quán)QR或XT的奇異值分解。
更新雙線(xiàn)性模型它可以下面兩種方法來(lái)完成一種是通過(guò)增加更新，例如在奇異值分解的基礎(chǔ)上加權(quán)自適應(yīng)QR算法。另一種是通過(guò)加權(quán)Nipals的主元分析(conf.Martens，H和naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，chichester UK.)。一個(gè)新幀n的作用xn可以按這種方法加到老的模型上去

若幀n對(duì)前面的模型P老已提供過(guò)信息，則只有在xn中的差(xn-xn，前面的)在更新中用到。
x可以按如下作模型x＝USVT+E其中矩陣U，S和V是由x的奇異值分解來(lái)計(jì)算，同時(shí)留數(shù)矩陣E包括x的外有效維(例如，由像素的交叉有效來(lái)判斷)。
然后新加載是P新＝VST以及經(jīng)更新后的標(biāo)記是由下列估算T新＝T老001U對(duì)P(和T隱式或顯式)的估算過(guò)程按它的基本形式作為描述的目標(biāo)，在(加權(quán))變化數(shù)據(jù)x中，有盡可能多的變量/協(xié)變量(特征值分解)。然而，為節(jié)省計(jì)算時(shí)間，該過(guò)程一直到全收斂時(shí)才開(kāi)始重復(fù)(迭代)。
但是對(duì)P和T的這個(gè)估算過(guò)程也可能要考慮附加的信息和附加要求。
在第三個(gè)較佳實(shí)施例中閘述了一個(gè)完整的雙線(xiàn)性模型和平滑假設(shè)的例子。而在第四個(gè)較佳實(shí)施例中介紹了一個(gè)基于規(guī)則的重加權(quán)方案的算法。該算法也包括了對(duì)雙線(xiàn)模型的輸入數(shù)據(jù)的修改。
幀n＝1n幀時(shí)結(jié)束檢查該序列的收斂性如果在移動(dòng)估算x、移動(dòng)模型TPT或?qū)n不適配n＝1，2，…，N是在某個(gè)限制之下或者已達(dá)到最大的迭代，則就終結(jié)序列迭代。
如果序列估算不收斂，結(jié)束該算法應(yīng)用于整個(gè)幀，否則如果包括了部分和深度估算，則對(duì)每個(gè)空間部分(穴)作重復(fù)。
圖6中的框圖在對(duì)一個(gè)幀的移動(dòng)估算和假設(shè)估算之間的迭代平衡作了詳細(xì)說(shuō)明。平衡運(yùn)算器600將一個(gè)幀的強(qiáng)度In610和可以用來(lái)估算移動(dòng)域的參照?qǐng)D像模型630。這個(gè)模型包括了參照?qǐng)D像強(qiáng)度IR以及不管何種子序列加載或負(fù)載P640和其它幀的經(jīng)估算后的標(biāo)記T660，還有可用到的它們有關(guān)的不確定性的統(tǒng)計(jì)。它給出在670的幀移動(dòng)估算和在680的幀的假設(shè)以及給出了參照?qǐng)D像模型630的更新的版本。
EstHyp運(yùn)算器650在初始階段產(chǎn)生了移動(dòng)估算的假設(shè)，例如可以通過(guò)由其它的幀而獲得的暫態(tài)外插/內(nèi)插。
EstMov運(yùn)算器620使用任何可利用假設(shè)xnHyp估算出從參照?qǐng)D像IR到In的移動(dòng)域xn。
只要對(duì)該幀的迭代尚未收斂，EstModel模塊690就通過(guò)對(duì)所取得的數(shù)據(jù)xn按加載P作模型估算出新的標(biāo)記。當(dāng)對(duì)該幀的迭代收斂了，EstModel 690也就更新了加載P，否則就停止。
在迭代過(guò)程期間，EstHyp運(yùn)算器對(duì)反復(fù)的移動(dòng)估算產(chǎn)生新的假設(shè)，例如將預(yù)置的移動(dòng)估算xn可用的子空間加載P相匹配，以估算出標(biāo)記tn和產(chǎn)生用此方法的一種假設(shè)。
另外，EstHyp 650用在標(biāo)記T空間中精煉出時(shí)間序列模型提出預(yù)報(bào)假設(shè)的初始形式。
在EstHyp 650中也可以形成基于平滑性等的(如上所述的)其它的假設(shè)。在假設(shè)xnHyp中的假設(shè)雙被送回到EstMov620，以更新移動(dòng)估算。
圖8列出了EstHyp 650對(duì)一幀的輸出680的較好的數(shù)據(jù)結(jié)構(gòu)。它包括了點(diǎn)估算，其中有垂直的810和水平的820移動(dòng)估算DVHyp和DHHyp以及也可以有深度方向的作為任選項(xiàng)。對(duì)每一個(gè)方向，其假設(shè)的分布信息包括假設(shè)移位范圍830和傳遞范圍840以及一般的假設(shè)強(qiáng)度850。
圖9列出了由ExtMov 620運(yùn)算器對(duì)每一幀得到的數(shù)據(jù)結(jié)構(gòu)670。它由水平910和垂直920移動(dòng)估算DVRn和DHRn(以及任選項(xiàng)深度變化估算)組成。另外，它也可以任選包括了由移動(dòng)估算器EstMov 620得到的統(tǒng)計(jì)不確定性的信息。移動(dòng)估算之可靠性則可由對(duì)強(qiáng)度噪聲(松弛的)各自移動(dòng)方向的靈敏度來(lái)表示。移動(dòng)估算的有效性則表示成在將移動(dòng)估算用作IR的譯碼(或其變換)而得到的在強(qiáng)度結(jié)果中的不適配的情況。另一有效性估算則是閉塞的明顯的存在。
在可靠性信息中，可以有一個(gè)或二個(gè)甚至多個(gè)松馳參數(shù)。二個(gè)松弛(或呆滯)現(xiàn)象表示式930、940表示了垂直移動(dòng)估算時(shí)的上下松弛(呆滯)現(xiàn)象，以及水平移動(dòng)估算時(shí)的左右松弛現(xiàn)象。這些中的每一個(gè)都可以表示下面的事實(shí)即，若In的強(qiáng)度由于受到某個(gè)噪聲標(biāo)準(zhǔn)偏離的影響而發(fā)生了隨機(jī)的變化，則移動(dòng)估算可以來(lái)自于離它多少遠(yuǎn)的給定的點(diǎn)估算DV和DH而得到。因而它們也就自然被看成是移動(dòng)估算中的經(jīng)估算的外對(duì)稱(chēng)標(biāo)準(zhǔn)偏離。
有效性的信息包括了對(duì)任何所要求的色彩空間維數(shù)的不適配950，960，970，在例子中給出的紅綠藍(lán)三色空間。
總之，第二實(shí)施例是在序列編碼的一個(gè)給定的階段中對(duì)一個(gè)給定的幀使用任何有用的雙線(xiàn)性序列模型信息，用迭代方法對(duì)那個(gè)幀的移動(dòng)估算有所提高。為防止估算誤差在給定的幀數(shù)據(jù)中的傳遞而損失了有效的信息，而注意到在使用這個(gè)方法時(shí)只用到那些不確定性明顯低的模型信息。這是因?yàn)檫@些估算誤差在雙線(xiàn)性序列模型始終是存在著的，尤其是在模型是僅基于前面很少的幾幀時(shí)，在早期的編碼過(guò)程中此情況尤為突出。該線(xiàn)性序列模型信息在對(duì)該幀作移動(dòng)估算后被更新了。而這些模型更新過(guò)的版本就被依次用來(lái)改進(jìn)下一幀的移動(dòng)估算，依次類(lèi)推。這個(gè)過(guò)程在序列中幀的系列進(jìn)行一次，或者對(duì)該序執(zhí)行重復(fù)多次。
第三較佳實(shí)施例改進(jìn)的雙線(xiàn)性模型化工具第三較佳實(shí)施例先提出了一個(gè)第一和第二較佳實(shí)施例的增強(qiáng)型，其中它將暫態(tài)平滑作為標(biāo)記的線(xiàn)性估算和加載及標(biāo)記雙線(xiàn)性估算中空間平滑的一部分。另外，它還允許自適應(yīng)統(tǒng)計(jì)加權(quán)于輸入數(shù)據(jù)，因而也就增強(qiáng)了先前幾個(gè)的統(tǒng)計(jì)性質(zhì)。
在上述的線(xiàn)性標(biāo)記估算和雙線(xiàn)性模型估算中，每個(gè)幀在矩陣X中生成一行，同時(shí)，在標(biāo)記估算中沒(méi)有暫態(tài)連續(xù)的概念。
相反，在雙線(xiàn)性模型估算中，每一像素生成一個(gè)變量(在矩陣x中為一列)。一旦定義了變量，就不存在變量之間空間鄰近的概念了--每個(gè)像素都不必去考慮它們究竟是屬于實(shí)際參照?qǐng)D像中的哪一部分了。
在本發(fā)明中，空間和暫態(tài)限制可以歸納到這些模型參數(shù)的線(xiàn)性和雙線(xiàn)性估算中去。在第三實(shí)施例中將這些限制直接地建立到參數(shù)估算中去了。
固定加載標(biāo)記的暫態(tài)平滑在EsthypSeq 550(圖5)和Esthyp 650(圖6)的預(yù)報(bào)假設(shè)的定義中，標(biāo)記是由時(shí)間系列模型作出預(yù)報(bào)，例如，ARMA模型，同時(shí)在時(shí)間系列模型中有適當(dāng)?shù)谋４嬷膮?shù)以確保暫態(tài)的平滑性。
相反，在根據(jù)象方程(3)那樣的條件將幀n的數(shù)據(jù)xn與下存的加載P相適配而作出的假設(shè)，對(duì)于暫態(tài)平滑性方面不作任何前提條件。在第三較佳實(shí)施例中，這種暫態(tài)平滑性則由下列的運(yùn)算辦法求得如上所述，估算暫態(tài)外插/內(nèi)插tnHyp1和它的協(xié)變量Cov(tnHyp1)。同樣如上所述，對(duì)每幀估算預(yù)置暫態(tài)標(biāo)記tnHyp預(yù)，以及它的不確定性協(xié)變量Cov(tnHyp預(yù))。
按照tnHyp預(yù)在統(tǒng)計(jì)上可能已有值tnHyp1的概率來(lái)修改tnHyp預(yù)，盡可能接近tnHyp1，該值是由如下面的方程而判斷得到的tnHyp2＝tnHyp1*wn+tnhyp預(yù)*(1-wn)其中權(quán)wn處在其最大值，例如0.5。對(duì)二個(gè)標(biāo)記的二個(gè)假設(shè)無(wú)多大區(qū)別是取最大值，而在區(qū)別委大時(shí)則就趨于0。
wn＝0.5*(tnHyp預(yù)幾乎是等于tnHyp1時(shí)的)概率或更形式化的是wn＝0.5*(1-“tnHyp預(yù)不等于tnHyp1”的概率或與該假設(shè)不符的概率)概率是由傳統(tǒng)的有效測(cè)試中估算出的。
按此方式，由于數(shù)據(jù)xn以及雙線(xiàn)性加載P的估算誤差在暫態(tài)預(yù)報(bào)中可以對(duì)不確定性的調(diào)整而加以調(diào)整和權(quán)衡。
在雙線(xiàn)性模型化中加載和標(biāo)記的空間暫態(tài)平滑為了便于在雙線(xiàn)性模型中進(jìn)行空間暫態(tài)的平滑化，這里應(yīng)用了通過(guò)有力的方法而得到的主元分析算法的專(zhuān)門(mén)的版本。
這種用提取各個(gè)因子的有力的方法在有些文間中稱(chēng)為是‘NIPALS法’(參見(jiàn)Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，ChichesterUK)。
要在NIPALS主元算法中的數(shù)據(jù)x中估算一個(gè)新的因子a，則先要從前面的因子1，2，…f-1的影響中減去數(shù)據(jù)矩陣。然后，在一個(gè)迭代過(guò)程中，將留數(shù)矩陣x中每一行映射到它的加載P的預(yù)置值上。而加載P則由留數(shù)矩陣x的每一列映射到所獲取的預(yù)置標(biāo)記t上進(jìn)行相反的估算。然后，進(jìn)行比例因子，該過(guò)程一直重復(fù)到達(dá)到所希望的收斂為止。
雖然在通常情況下是一個(gè)一個(gè)因子f＝1，2，…逐個(gè)完成的，但是不排斥一次可完成幾個(gè)因子，只要因子為正交化的，以保證空間的全子空間秩。
在本發(fā)明中，對(duì)空間加載和暫態(tài)標(biāo)記來(lái)說(shuō)，還都要包括平滑化的步驟(以后還要再正交化)。
對(duì)修改過(guò)的主元分析來(lái)說(shuō)，經(jīng)雙重平滑過(guò)的NIPALS算法的較好的實(shí)施例是初始化f＝0 因子數(shù)E＝V幀*X*V像素留數(shù)＝對(duì)偶加權(quán)初始矩陣其中V幀＝幀的加權(quán)矩陣(X中的行)，例如，對(duì)角矩陣且與每個(gè)幀的不確定標(biāo)準(zhǔn)偏離成反比的。這些權(quán)可能是在外界信息的基礎(chǔ)上(如前所述的松馳估算等)先加上的。由前面迭代得出的留數(shù)的基礎(chǔ)上重新計(jì)算不確定性變量獲得更加可靠性。
V像素＝對(duì)每個(gè)像素(X中的行)的加權(quán)矩陣?yán)鐚?duì)角陣，并且與每個(gè)像素的不確定標(biāo)準(zhǔn)偏離成反比。這些也可能是先加的，且可由重權(quán)而被進(jìn)一步精練出來(lái)。
雙線(xiàn)性模型化當(dāng)不足因子a時(shí)f＝f+1WT＝某個(gè)起始加載向量，被取作例如具有最高平方和的E中之行。
當(dāng)不收斂時(shí)PT＝加載WT經(jīng)平滑過(guò)的版本，以利于空間連續(xù)性1、估算W的不確定變量，例如Sw2＝(tT*t)-1*s2x
其中，s2x＝根據(jù)x的估算出來(lái)的不確定的變量。
由于在標(biāo)記t的不確定性也可以加入另外的變量。
2、平滑加載w，例如可通過(guò)低通回旋過(guò)濾，例如w平滑＝SLP*w，其中SLP是低通平滑矩陣。更為先進(jìn)行的平滑化是將不明確的分段的信息取作附加的輸入，同時(shí)避免在跨越不明確的分段的邊界上作平滑化。
3、將未平滑的和平滑過(guò)的加載結(jié)合起來(lái)P＝W*vf+W平滑過(guò)*(1-vf)其中，vf是一個(gè)權(quán)，有一個(gè)實(shí)施例是要定義每個(gè)像素的權(quán)vf，像素，這樣在像素經(jīng)平滑過(guò)的加載w像素?zé)o多大的區(qū)別時(shí)，它可以達(dá)到最大值，例如1.0，當(dāng)w平滑，像素與w像素的差別很大時(shí)，權(quán)值將趨于0。
vf，像素＝1*(1-拒絕假設(shè)(w平滑，像素不等于w像素)之概率)該概率是按常規(guī)在(w像素-w平滑，像素)之標(biāo)準(zhǔn)有效測(cè)試與像素經(jīng)估算的不確定標(biāo)準(zhǔn)偏離Sw，像素比較的基礎(chǔ)上作估算的。
因此，在這個(gè)實(shí)現(xiàn)過(guò)程中，平滑化只是在某些方面應(yīng)用，它在統(tǒng)計(jì)角度上并未違反在輸入數(shù)據(jù)x的基礎(chǔ)上進(jìn)行估算的規(guī)則。
換算PT使PTP＝1計(jì)算預(yù)置標(biāo)記估算u＝E*Pt＝標(biāo)記向量u的平滑過(guò)的版本，以利于暫態(tài)連續(xù)。本實(shí)施例中的平滑化是模擬加載的情況來(lái)完成的它只是在某種方面應(yīng)用，在統(tǒng)計(jì)角度來(lái)看并不違反在輸入數(shù)據(jù)x的基礎(chǔ)上作估算的規(guī)則。
wT＝tT*E(預(yù)置加載估算)檢測(cè)的上次迭代以來(lái)t中的收斂w.r.t.的變化不收斂時(shí)結(jié)束q＝(PT*P)-1PT*w(將w映射到前面的加載，以確保正交加載集合)正交化該因子，加載前面的因子p＝w-P*q對(duì)PT進(jìn)行比例運(yùn)算到常量長(zhǎng)度，使得pT*p＝1將p包括到P中去對(duì)因子加載估算標(biāo)記
u＝E*pt＝u或者是u的一個(gè)任選的平滑版本將t包括到T中去減去該因子的影響E＝E-t*pT使用比如交叉有效性的方法來(lái)檢查因子是否足夠因子不夠時(shí)結(jié)束減權(quán)不加權(quán)之標(biāo)記＝V幀-1*T不加權(quán)之加載＝PT*V像素-1不加權(quán)之留數(shù)＝V幀-1*E*V像素-1利用下面的重加方案獲得經(jīng)平滑的雙線(xiàn)性模型化的強(qiáng)統(tǒng)計(jì)版本如同由已知的加載出發(fā)的標(biāo)記的線(xiàn)性回歸估算法一樣，加載和標(biāo)記二者的雙線(xiàn)性估算也可以用一種有力的方法來(lái)實(shí)現(xiàn)。
在對(duì)估算出來(lái)的參數(shù)作適當(dāng)?shù)男薷囊院?，例如在?jīng)過(guò)影響力修改后(參見(jiàn)Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，ChichesterUK)，可以從未加權(quán)之留數(shù)計(jì)算出新的權(quán)V幀和V像素。同時(shí)雙線(xiàn)性分析可以重復(fù)。也可以包括一些特殊的要求，例如那個(gè)看起來(lái)很大但是唯一變量的幀(即強(qiáng)變化的且不與x中任何幀構(gòu)享的圖樣)可以減權(quán)以確保開(kāi)始的一些因子就能在統(tǒng)計(jì)角度獲得適當(dāng)?shù)幕蚩煽康囊蜃印?br> 錐體模型化在移動(dòng)估算中的雙線(xiàn)性模型化也可以錐體形地用于空間和時(shí)間上。有一個(gè)實(shí)間錐形運(yùn)算的實(shí)例是執(zhí)行這個(gè)移動(dòng)估算，雙線(xiàn)性模型化以及在較低的公空間中幀上的空間分段等以識(shí)別出序列中大多數(shù)的穴，然后將標(biāo)記和空間參數(shù)(在適當(dāng)?shù)臄U(kuò)展和作比例因子后)用作相同過(guò)程中較高幀的公空間的預(yù)置和不十分精確的輸入假設(shè)。一個(gè)暫態(tài)錐形估算的實(shí)例是執(zhí)行移動(dòng)估算，雙線(xiàn)性模型和先在幀的子集上分段以及使用內(nèi)插標(biāo)記作為其它幀的生成不明確輸入的假設(shè)多穴模型化在較佳實(shí)施例中，移動(dòng)估算和雙線(xiàn)性模型化可以在個(gè)別已識(shí)別出來(lái)的穴(輸入穴)上執(zhí)行，或者是在完整的、未分段的圖像In上執(zhí)行。不管哪種情況，都希望有一個(gè)對(duì)已獲得的移動(dòng)域、雙線(xiàn)性模型和分段的多穴標(biāo)桿處理的公決輸入穴之間的重迭。
這樣的標(biāo)桿處理是在將周?chē)缘南袼貛в小皶炄Α钡拿恳粋€(gè)穴與那些不確定的穴的成員有放在一起的基礎(chǔ)上實(shí)施的，也即，只有那些不大明確的可以歸到一個(gè)穴中去(因而也就暫時(shí)地存放于其它的穴中或作為不清楚的像素分開(kāi)列出)。在移動(dòng)估算中，這些不明確的光暈圈是被專(zhuān)門(mén)處理的，例如將它們與所有相關(guān)的穴作適配的方法，同時(shí)，它們究竟是屬于哪個(gè)不同穴的成分，則是根據(jù)移動(dòng)估算的成功與否而不斷更換的。這種帶光暈圈的穴在雙線(xiàn)性模型化時(shí)則是給予很低的權(quán)或者只是被動(dòng)地適配(例如用主元回歸法，參見(jiàn)Martens，H.和Naes，T.(1989)MultivariateCalibration.J.Wiley & Sons Ltd，Chichester UK)。
附加變量數(shù)據(jù)矩陣x中的附加列可以由其它的數(shù)據(jù)塊的‘外部標(biāo)記’來(lái)形成。這些‘外部標(biāo)記’的來(lái)源是由一些其它的數(shù)據(jù)域的雙線(xiàn)性模型化獲得的標(biāo)記(例如相同的穴的補(bǔ)償移動(dòng)強(qiáng)度留數(shù))或者是由不同的空間中的相同取得的標(biāo)記，或者由其它穴取得的穴，或者由諸如聲那種外界數(shù)據(jù)得到的標(biāo)記(例如在雙線(xiàn)性模型化這些相同幀的聲音振動(dòng)能量譜以后)這些附加變量的權(quán)必會(huì)是適配的，這樣它們的不確定性的程度成為與要模型化的最后數(shù)據(jù)矩陣x中的加權(quán)像素的那些不確定性的程度相似。
移動(dòng)數(shù)據(jù)層次型的雙線(xiàn)性模型化另外一種方法是很柔和地融合不確定像素或外部標(biāo)記而不是將它們的信息強(qiáng)迫地送到雙線(xiàn)性模型中，這種方法是用二個(gè)或多個(gè)模型來(lái)代替一個(gè)模塊的雙線(xiàn)性模型，例如PLS回歸(參見(jiàn)Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley& Sons Ltd，Chichester UK)或者是同感PCA/PLC(Geladi，P.，Martens，H.，Martens，M.，Kalvenes，S.和Esbensen，K.(1988)Multivariate comparison of laboratorymeasurements.Proceedings，Symposium in Applied Satistics，Copenhangen Jan 25-271988，Uni-C，Copenhagen Danmark，pp15-30)。按這種方法，如它們適配得好，則不確定的像素和外部標(biāo)記在模型上是正的分布，如果它們適配得不好，則它們是負(fù)的分布，但對(duì)模型不會(huì)有強(qiáng)的影響。不管怎樣，這些不確定的像素和外部標(biāo)記與所取得的雙線(xiàn)性模型是適配的。
由當(dāng)前的公或域中當(dāng)前穴的模型而取得的標(biāo)記可依次用作其它穴或在其公中或其它穴中的‘外部標(biāo)記’，如同感PCA/PLC算法中的那樣(Geladi，P.，Martens，H.，Martens，M.，Kalvenes，S.和Esbensen，K.(1988)Multivariate comparison of laboratorymeasurements.Proceedings，Symposium in Applied Satistics，Copenhangen Jan 25-271988，Uni-C，Copenhagen Danmark，pp15-30)。
這樣的層次型的多模塊模型也可以用作其它域的數(shù)據(jù)，例如補(bǔ)償?shù)囊苿?dòng)強(qiáng)度變化數(shù)據(jù)。
第四較佳實(shí)施例數(shù)據(jù)元素的分別加權(quán)和延遲點(diǎn)估算在上面三個(gè)實(shí)施例中描述的線(xiàn)性和雙線(xiàn)性模型化階段中，移動(dòng)估算數(shù)據(jù)X＝[xnT，n＝1，2，…]被想當(dāng)然地作為對(duì)統(tǒng)計(jì)參數(shù)估算的輸入。在第三個(gè)實(shí)施例中是用下列方法來(lái)達(dá)到統(tǒng)計(jì)最優(yōu)化和防止x中發(fā)生錯(cuò)誤的a)具有附加限制(空間暫態(tài)平滑)和/或者是b)具有對(duì)x的行和列進(jìn)行加重和重加權(quán)功能。但在x中的數(shù)據(jù)元素沒(méi)有被分別地加權(quán)。而且在模型化過(guò)程中x中的實(shí)際值自身也并未受影響。
在有些情況下，對(duì)幀n、像素xn，像素來(lái)說(shuō)，有必要改變?cè)赬中的個(gè)別數(shù)據(jù)元素的影響。例如，由于閉塞，或者由于在預(yù)置線(xiàn)性或雙線(xiàn)性模型化中在E中引起非常大的個(gè)別的分離的留數(shù)e幀，像素，或者是由于在譯碼時(shí)，不正常地顯示了很高的個(gè)別強(qiáng)度誤差而可以知道一些數(shù)據(jù)元素或者可以相信是否不確定的。
第四較佳實(shí)施例能以規(guī)則為基礎(chǔ)地修改數(shù)據(jù)值應(yīng)用個(gè)別的減權(quán)，或者適用于將這些特別有疑問(wèn)X中的數(shù)據(jù)元素結(jié)合起來(lái)，放在一起，這些技術(shù)這里稱(chēng)為‘最優(yōu)化比例運(yùn)算’。
更一般地說(shuō)，第四實(shí)施例可以與前面的三個(gè)實(shí)施例結(jié)合起來(lái)使用，這樣可使本發(fā)明的目標(biāo)更為全面改進(jìn)過(guò)的移動(dòng)估算以及通過(guò)對(duì)幾個(gè)幀雙線(xiàn)性模型的移動(dòng)估算的協(xié)調(diào)改進(jìn)了移動(dòng)模型化。
移動(dòng)估算通常是一個(gè)待定過(guò)程。因而，移動(dòng)的二義情往往不可避免地會(huì)導(dǎo)致在估算過(guò)程中移動(dòng)估算daRn的點(diǎn)估算(估算出的值)時(shí)的估算誤差。而這些誤差往往是在以后的序列中表現(xiàn)出來(lái)，然而到那時(shí)才發(fā)覺(jué)可能已為時(shí)過(guò)晚了因?yàn)樵缧r(shí)候發(fā)生的誤差早就被引入到雙線(xiàn)性模型中去了，而這個(gè)模型以后是用來(lái)減小子序列幀中的移動(dòng)的不明確的二義性。因而，這些早期發(fā)生的誤差會(huì)以一種我們不希望發(fā)生的方法傳了出去，同時(shí)成為一種不應(yīng)有的障礙影響移動(dòng)估算之幀際協(xié)調(diào)。于是，那些為了充分對(duì)移動(dòng)數(shù)據(jù)作模型化所需的以線(xiàn)性因子而必須有的個(gè)數(shù)就變得相當(dāng)大。
在第四較佳實(shí)施例中，這個(gè)問(wèn)題是用對(duì)個(gè)別不確定數(shù)據(jù)作減權(quán)以及/或延遲估算的技術(shù)來(lái)解決的。對(duì)每個(gè)n＝1，2，…幀的移動(dòng)域作估算和存儲(chǔ)，不僅考慮到它的‘最好的值’(它的點(diǎn)估算)xn，像素，而且也考慮到其它的統(tǒng)計(jì)性質(zhì)。這些統(tǒng)計(jì)性然后就在移動(dòng)數(shù)據(jù)越來(lái)越多可用時(shí)確保最大的幀際協(xié)調(diào)修改了具有特別不確定性或特別不明確的二義性的各個(gè)點(diǎn)估算值xn，像素。
個(gè)別數(shù)據(jù)元素加權(quán)一種改變了個(gè)別數(shù)據(jù)影響的辦法是在線(xiàn)性回歸中將專(zhuān)門(mén)的權(quán)歸于它們來(lái)估算標(biāo)記或加載。按此方法，那些被認(rèn)為是特別不可靠的數(shù)據(jù)元素所賦予的權(quán)要小于那些由行權(quán)和列權(quán)之積得出的期望值，即它們多少被處理成一種丟棄的值。相反，那些被判斷出是特別肯定的數(shù)據(jù)元，則被給予較高的權(quán)。對(duì)于在已知加載上幀移動(dòng)域的回歸用來(lái)估算幀的標(biāo)記的和對(duì)在已知標(biāo)記上像素的移動(dòng)的回歸來(lái)估算像素加載來(lái)說(shuō)，它是十分有效的。對(duì)于單因子雙線(xiàn)性模型化來(lái)說(shuō)它也能工作得很好。
然而，這種內(nèi)部的詳細(xì)加權(quán)法違反了已知的雙線(xiàn)性估算算法上作的幾何假設(shè)。因而，如在X中希望有一個(gè)以上的因子的話(huà)，它可能會(huì)導(dǎo)致雙線(xiàn)性模型化中的收斂問(wèn)題，同時(shí)也會(huì)引起產(chǎn)生一些意料之外和不希望出現(xiàn)的參數(shù)值。
為此可以使用幾種不同的方法來(lái)減少那些有害的分離體的影響及處理少掉的值，而不是使用上面所述的減權(quán)的方法。例如外線(xiàn)性多變量分析一書(shū)中提到的那樣(Alber Gifi(1990)J.Wiley & Sons Ltd.Chichester UK)。
對(duì)第四實(shí)施例作一些變換后，它可以修改它們自已的實(shí)際值，即在輸入矩陣X中的個(gè)別數(shù)據(jù)元xn，像素的實(shí)際值，而不僅僅是統(tǒng)計(jì)權(quán)。
個(gè)別數(shù)據(jù)元值的修改當(dāng)可以估算出不確定性的范圍時(shí)，第四實(shí)施例也修改個(gè)別數(shù)據(jù)元之值，使之更好地對(duì)應(yīng)于由其它像素和其它幀得到的值，如同它們是從線(xiàn)性或雙線(xiàn)性模型化中判斷出來(lái)的一樣?？刂圃撔薷倪^(guò)程的規(guī)則中有一個(gè)重復(fù)的功能是這些數(shù)據(jù)只允許在它們自已的不確定范圍內(nèi)作改變。于是輸入數(shù)據(jù)之信息內(nèi)容不會(huì)被損壞，而又同時(shí)可獲得改進(jìn)后的幀際和像素際之協(xié)調(diào)。
一個(gè)輸入點(diǎn)估算xn，估算之不確定性越是高，則其它更多的確定點(diǎn)中的信息對(duì)它的影響值就越大。這種影響是通過(guò)線(xiàn)性或雙線(xiàn)性模型重構(gòu)得到的。
如圖8所示，數(shù)據(jù)元之不確定的范圍是用二種測(cè)度來(lái)構(gòu)成的有效性(即是否與所獲得之點(diǎn)估算xn，像素有關(guān)？)和可靠性(點(diǎn)估算xn，像素值的精度如何？)。
在一幀n中的像素的估算過(guò)移動(dòng)有效性最好是由下面二方面估算出來(lái)A)在譯碼(850，860，870)上強(qiáng)度不適配誤差的大小和B)對(duì)不表示閉塞現(xiàn)象不可見(jiàn)物體(880)的概率的估計(jì)。一個(gè)像素它在參照?qǐng)D像中的強(qiáng)度與一個(gè)認(rèn)為是在幀n移動(dòng)的像素的強(qiáng)度完全不對(duì)應(yīng)的話(huà)，這個(gè)像素就被認(rèn)為在它的預(yù)置移動(dòng)點(diǎn)估算xn，像素是十分無(wú)效的。因而，這個(gè)移動(dòng)點(diǎn)估算不應(yīng)讓它對(duì)雙線(xiàn)性模型化有影響，而可以將它修改成更接近于那些更有效的數(shù)據(jù)點(diǎn)上找到的移動(dòng)圖樣。相似地，一個(gè)表示在幀n中似乎是隱藏在其它段后面的參照?qǐng)D像中的段的，這樣的像素認(rèn)為是無(wú)效的且被相應(yīng)地處理了。
在一個(gè)幀n中的像素估算出的移動(dòng)的可靠性最好是由下面來(lái)估算a)松馳估算在預(yù)置移動(dòng)估算有圖像(830、840)的譯碼的不可接受的推斷之前來(lái)估算預(yù)置移動(dòng)估算可能變化多少，和b)在線(xiàn)性和雙線(xiàn)性模型中，不適配于前期迭代中的雙線(xiàn)性模型。
這種處理個(gè)別數(shù)據(jù)元的方法可以同時(shí)應(yīng)用于線(xiàn)性和雙線(xiàn)性模型。例如，使用該原理，第二實(shí)施例的偽碼可由如下(詳細(xì)解釋在以后給出)來(lái)修改在序例(600)中估算移動(dòng)當(dāng)序列估計(jì)不收斂時(shí)(1000)幀n＝1n幀根據(jù)輸入圖像數(shù)據(jù)(610)和可用模型信息(630)估算移動(dòng)(670)，更新模型(630)在EstHyp(650)中形成移動(dòng)域xnHyp的啟始假設(shè)當(dāng)幀迭代不收斂時(shí)在EstMov中估算移動(dòng)域xn(620)，對(duì)幀n修正估算的移動(dòng)(1005)當(dāng)基于規(guī)則的回歸迭代不收斂時(shí)(1010)根據(jù)有效性和可靠性估算確定xn內(nèi)的像素的不確定性(1020)根據(jù)xn的不確定性，確定像素的回歸權(quán)重(1030)由加載PT上的xn的加權(quán)回歸估算標(biāo)記tn(1040)重構(gòu)移動(dòng)域xnHat＝tn*p’(1050)修正值xn＝f(xnHat，xn的不確定性)(1060)檢查基于規(guī)則的回歸迭找的收斂性tn適用嗎？(1070)當(dāng)基于規(guī)則的回歸迭代時(shí)結(jié)束在EstHyp內(nèi)形成移動(dòng)域xnHyp的假設(shè)(650)檢查該幀的迭代的收斂性當(dāng)幀迭代不收斂時(shí)結(jié)束在EstModel中估算雙線(xiàn)性模型子空間(630)(690)修正多幀估算移動(dòng)(1100)當(dāng)基于規(guī)則的雙線(xiàn)性X模型迭代不收斂時(shí)(1110)確定x內(nèi)的每個(gè)元素xi，像素＝1，2，…，n的不確定性(1120)確定x內(nèi)的幀、像素和各數(shù)據(jù)元素的最小二乘權(quán)(1130)根據(jù)x的加權(quán)的雙線(xiàn)性模型估算標(biāo)記T和加載P重構(gòu)移動(dòng)矩陣xHat＝T*PT(1150)修正值x＝f(xHat，x的不確定性)(1160)檢查基于規(guī)則的雙線(xiàn)性x模型的收斂性T合適嗎？(1170)
當(dāng)基于規(guī)則的雙線(xiàn)性模型迭代時(shí)結(jié)束檢查該序列的收斂性當(dāng)該序列估算不收斂時(shí)結(jié)束在圖8中說(shuō)明了松馳信息結(jié)構(gòu)的實(shí)現(xiàn)，松馳可由各個(gè)方向來(lái)估計(jì)，下面的例子是從水平和垂直方向來(lái)估算的。
圖9說(shuō)明了一個(gè)簡(jiǎn)單而有效地利用4個(gè)像素的松馳信息的情況。像素點(diǎn)a905、b925、c945和d965表示了像素隨著預(yù)置點(diǎn)估算xa、xb、xc、xd已經(jīng)分別移動(dòng)后的位置。在像素周?chē)木匦?10、930、950和970表示了這樣的區(qū)域，即xa、xb、xc、xd在該相應(yīng)區(qū)域內(nèi)的移動(dòng)不會(huì)產(chǎn)生很大的強(qiáng)度誤差。例如，與要重構(gòu)的那個(gè)幀有關(guān)的強(qiáng)度誤差I(lǐng)n，這些強(qiáng)度誤差不會(huì)因?yàn)镮n中的熱量噪聲而隨機(jī)地增高。
圖9說(shuō)明了就象在矩形松馳范圍910所反映出來(lái)那樣像素a905之移動(dòng)估算為一非常不對(duì)稱(chēng)的不確定的范圍當(dāng)移動(dòng)進(jìn)而向上或向左就會(huì)給像素很差的適配，可以將移動(dòng)向下修改，特別是向右邊的遠(yuǎn)處而不引起不好的強(qiáng)度適配。例如在幀要重構(gòu)時(shí)，結(jié)果就會(huì)引起In在位置a的上部和左右有一個(gè)很陡的強(qiáng)度梯度，而在位置a的下部和左右則有一個(gè)十分平坦的梯度。因而，例如預(yù)置水平移動(dòng)點(diǎn)估算dhn，a可以在右邊作變換但不能在左邊，同時(shí)在圖中可具預(yù)置垂直移動(dòng)點(diǎn)估算dvn，a可以向下變換但不能向上變換。因而，像素a905的移動(dòng)估算可能已變化到點(diǎn)915，而不引起很大的強(qiáng)度誤差。同樣，像素b有很大的不對(duì)稱(chēng)的不確定范圍。像素b925的移動(dòng)估算不能改變到點(diǎn)935，若不破壞該像素的估算移動(dòng)信息的話(huà)。
在像素c945周?chē)男【匦?50說(shuō)明了對(duì)該像素來(lái)說(shuō)預(yù)置移動(dòng)點(diǎn)估算在找到一個(gè)不可接受的高強(qiáng)度的不適配之前在任何方向都不能改變很多。這種情況是因?yàn)橐獦?gòu)造的幀的強(qiáng)度In在從點(diǎn)b出發(fā)的所有方向上都有很陡的梯度則發(fā)生的。還有，像素b945的移動(dòng)估算可以改變到點(diǎn)955而不產(chǎn)生很大的強(qiáng)度誤差。相同，像素d的不確定范圍比較狹窄，它的移動(dòng)如不破壞這個(gè)像素d的估算出的移動(dòng)信息970的話(huà)，就不能從它的估算965改變到點(diǎn)975。
這個(gè)不確定范圍信息可以用在延遲點(diǎn)估算方面--即改變預(yù)置估算xn的值，以確保在個(gè)別移動(dòng)估算的模糊上二義性范圍內(nèi)幾個(gè)幀的移動(dòng)數(shù)據(jù)的增加的兼容性。在移動(dòng)估算最優(yōu)化兼容性時(shí)，可以在不同階段應(yīng)基于‘最優(yōu)比例因子’規(guī)則的技術(shù)這些兼容性是在下列范圍內(nèi)1)一個(gè)幀(1000步以下)移動(dòng)估算內(nèi)；2)序列移動(dòng)模型(1100步以下)的重新模型化內(nèi)。
對(duì)幀n修正估算的移動(dòng)(1005)在第一種情況下，xn在跨度為其它幀的明顯有規(guī)則的變化的子空間加載矩陣P上進(jìn)行回歸的。這個(gè)幀的xn到P上的映射(1040步)產(chǎn)生了某個(gè)因子標(biāo)記tn。然后，這就生成了雙線(xiàn)線(xiàn)重構(gòu)xnHat＝tn*PT(1050步)，在迭代過(guò)程中用作(1060步)對(duì)該幀的更新移動(dòng)估算的輸入。圖9，如果xnHat中一個(gè)像素的雙線(xiàn)性重構(gòu)值屬于它的可接受的范圍內(nèi)(例如在點(diǎn)915和955)，則假設(shè)值可被認(rèn)為同原來(lái)的這個(gè)像素的xn值一樣的好，且可插入到xn中去。
另一方面，如果雙線(xiàn)性重構(gòu)值xnHat落在移動(dòng)估算值周?chē)山邮芊秶耐饷妫敲矗@個(gè)重構(gòu)值便不能使用。這一點(diǎn)可由點(diǎn)935和975來(lái)說(shuō)明。遇此情況，可有二種做法一種是保留在xn中的移動(dòng)估算值不作任何修改(這里是925和965)作為其最佳估算，另一種則是用在可接受范圍內(nèi)的(938t和978)最接近于雙線(xiàn)性重構(gòu)的那個(gè)值來(lái)替代xn中的元素。在某種下，在幀n中的一個(gè)像素的移動(dòng)估算(例905、925、945、965)認(rèn)為是特別的不確定，這時(shí)由于，比如說(shuō)，有效性問(wèn)題它似乎反映了由幀n中閉塞現(xiàn)象而使得看不到的物體。這種情況時(shí)，可允許xn，像素的修改值接近于雙線(xiàn)性重構(gòu)xn，像素Hat，即使這個(gè)重構(gòu)是落在明顯的可靠性范圍之外的。(例如將像素d從值965改變到接近于975值)。
在修改過(guò)的移動(dòng)向量上作重復(fù)回歸在移動(dòng)向量xn中的誤差引起了由在加載P上作回歸xn而取得的標(biāo)記tn中的誤差。在上面的修改提高了xn對(duì)子空間P的適配以后，希望要有一個(gè)更新的回歸(1040)以給出誤差較低的新的標(biāo)記tn。因此，標(biāo)記估算tn現(xiàn)在就可以重新將修改過(guò)的移動(dòng)向量xn映射到加載P上而精煉出來(lái)，基于規(guī)則的移動(dòng)數(shù)據(jù)的信息，則再次被用到，同時(shí)這個(gè)迭代回歸過(guò)程可以按要求不斷重復(fù)執(zhí)行。在每一個(gè)新的標(biāo)記估算中，可以使用這些像素的新的權(quán)。執(zhí)行這個(gè)過(guò)程是要使這些像素的權(quán)減小且使它成為與到達(dá)可按受范圍(937，977)之距離DISTn，像素成反比，例如權(quán)n，像素＝1+(1+DISTn，像素)。
帶改進(jìn)假設(shè)的重復(fù)的移動(dòng)估算在上述的回歸迭代收斂后，經(jīng)修改后的xn之值插放到假設(shè)xnHyp(第1050步)中去，然后它就提供給這個(gè)幀的更新過(guò)的移動(dòng)估算來(lái)用(第650步)，這個(gè)迭代移動(dòng)估算過(guò)程則可按要求進(jìn)行重復(fù)。
然后，最后的移動(dòng)估算xn則表示了與這個(gè)幀的初始移動(dòng)估算xn不同的結(jié)果，同時(shí)該修改給出了與從其它幀得到移動(dòng)估算信息的更好的協(xié)調(diào)，而不會(huì)失去這個(gè)幀n自身強(qiáng)度的正確性。如圖9的結(jié)果表示了像素a，b，c和d的最終的移動(dòng)估算的迭代，則它們的移動(dòng)估算(905，925，945，965)可以被值(915，938，955，978)所替代。
對(duì)許多幀修正估算的移動(dòng)(1110步)上面第四實(shí)施例的算法表示了在估算加載子空間P時(shí)怎樣才能應(yīng)用相似的基于規(guī)則的移動(dòng)數(shù)據(jù)的修改。為改進(jìn)雙線(xiàn)性模型而作內(nèi)部迭代時(shí)，要進(jìn)行模型化的序列移動(dòng)數(shù)據(jù)x，則按前面估算出來(lái)的雙線(xiàn)性重構(gòu)Xhat(第1150步)在第1160不被修改了，以確保在不確定范圍內(nèi)有較好的內(nèi)部協(xié)調(diào)，接下去就對(duì)雙線(xiàn)性模型作更新。
在模型化整個(gè)序列時(shí)作外層迭代中(第11000步)是使用在雙線(xiàn)性移動(dòng)模型上的移動(dòng)假設(shè)來(lái)增進(jìn)對(duì)幀的移動(dòng)估算，同時(shí)又使用子取得的移動(dòng)估算來(lái)更新雙線(xiàn)性序列模型。結(jié)合第一實(shí)施例，每次在分析了移動(dòng)的幀的整個(gè)序列就要完成一次外層迭代。在第二實(shí)施例中，最好是累進(jìn)進(jìn)行。每次對(duì)新的幀作過(guò)移動(dòng)分析后就進(jìn)行。
其它的模型化方法上面的降秩雙線(xiàn)性模型化適用于雙階幀x像素系統(tǒng)。然而也可以將其擴(kuò)展到三階甚至更高階的線(xiàn)性系統(tǒng)，只需對(duì)標(biāo)記假設(shè)一個(gè)線(xiàn)性時(shí)間系列，或?qū)虞d假設(shè)一個(gè)線(xiàn)性空間預(yù)報(bào)或?qū)ι释ㄟ^(guò)假設(shè)一個(gè)線(xiàn)性因子分析模型。這可以改進(jìn)移動(dòng)的穩(wěn)定化同時(shí)改進(jìn)整個(gè)的壓縮。另外，還可使用雙線(xiàn)性方向，它是一種尋求將更多的穴、更高圖像分辨率等結(jié)合到雙線(xiàn)性結(jié)構(gòu)中的一種方法。同感PCA/PLS就是這樣一種方法(Geladi，P.Martens，H.Martens，M.Kalvenes，S.和Esbensen，K.(1988)，實(shí)驗(yàn)室測(cè)量的多程比較，應(yīng)用統(tǒng)計(jì)學(xué)研計(jì)會(huì)會(huì)議錄，哥本哈根，1988，1月25日-27日，丹麥哥本哈根，PP15-30)。
除了加載雙線(xiàn)性模型化外還有其它的方法也可以使用，例如加乘混合模型就是一種。另一種可以用來(lái)比如預(yù)置處理雙線(xiàn)性模型化，即乘性信號(hào)糾正(BSC)及它的擴(kuò)展，在Martems，H.及Vaes，T.(1989)著的Multivariate Calibration中有描述。
使用偽因子當(dāng)好的優(yōu)先加載是已知時(shí)，可以使用這些而不是(或另外)使用上述的估算出的加載。尤其是可以利用與仿射的移動(dòng)相對(duì)應(yīng)的加載。
第五較佳實(shí)施例移動(dòng)模型化與強(qiáng)度模型化相結(jié)合在上文中，談及的是二個(gè)包含相同物體(或目標(biāo))的幀(比如說(shuō)參照幀R和幀n)之間的移動(dòng)估算，這種移動(dòng)估算涉及到將二個(gè)幀In與IR之間強(qiáng)度的比較，而這種比較是有這樣的假設(shè)的即幀R中的物體(或目標(biāo)，下同)已移動(dòng)到了幀n中的某個(gè)地方了。然而，如果幀與幀n之間的物體強(qiáng)度自身發(fā)生變化，那么這個(gè)強(qiáng)度變化并未必改正，因而這些強(qiáng)度變化在處理時(shí)可能發(fā)生誤差，甚至?xí)?dǎo)致無(wú)效的模型化結(jié)果。
相反，在上文中的估算和強(qiáng)度變化之模型化包含了將參照?qǐng)D像的強(qiáng)度與幀n之強(qiáng)度作比較。若一個(gè)在幀n中的物體已經(jīng)移動(dòng)到了它在參照幀中的相關(guān)的位置，且這個(gè)移動(dòng)未作補(bǔ)償，那么它可能被認(rèn)為且誤處理為強(qiáng)度的變化，從而導(dǎo)致了再次的無(wú)效結(jié)果。
而本實(shí)施例在移動(dòng)域和/或在強(qiáng)度變化域中使用雙線(xiàn)性模型化以減少這種誤差。
在本例的第一版本中，由雙線(xiàn)性強(qiáng)度變化模型改進(jìn)了移動(dòng)估算假定已建立了一個(gè)雙線(xiàn)性強(qiáng)度變化模型(包括強(qiáng)度標(biāo)記和加載)，這個(gè)模型是根據(jù)比如說(shuō)前面的一些知識(shí)或是物體的光強(qiáng)度改變了但是物體并未對(duì)參照?qǐng)D像有相對(duì)的移動(dòng)的一組幀的強(qiáng)度In的PCA而建立的。第一版本則包括了下列步驟對(duì)序列中每一幀1、估算幀的強(qiáng)度變化標(biāo)記(例如可以用其它幀的強(qiáng)度標(biāo)記的內(nèi)插或外插)2、對(duì)該幀計(jì)算強(qiáng)度變化DIRn作為它的強(qiáng)度變化標(biāo)記和強(qiáng)度變化加載矩陣之積3、對(duì)該幀生成一個(gè)修改過(guò)強(qiáng)度的參照幀為
CR＝IR+DIRn4、利用比如說(shuō)本報(bào)告中所提及的方法來(lái)估算出移動(dòng)域DARn在本例的第二個(gè)版本中，是利用雙線(xiàn)性移動(dòng)模型化來(lái)改進(jìn)強(qiáng)度改變估算的假定已建了一個(gè)雙線(xiàn)性移動(dòng)模型(包括移動(dòng)標(biāo)記和加載)，這個(gè)模型是根據(jù)比如說(shuō)前面的一些知識(shí)或是物體移動(dòng)，但是物體的光強(qiáng)度并未對(duì)照照?qǐng)D像有相對(duì)的變化的一組幀的移動(dòng)域DARn之PCA而建立起來(lái)的。第二版本包括如下步驟對(duì)序列中之每一幀1、估算幀之的移動(dòng)標(biāo)記(例如從其它幀的移動(dòng)標(biāo)記作內(nèi)插或外插)2、對(duì)該幀計(jì)算移動(dòng)域DARn作為它的移動(dòng)標(biāo)記和加載矩陣之積3、使用移動(dòng)域DARn生成修改過(guò)移動(dòng)的強(qiáng)度變化，例如將In移回(卷回)到參照位置Jn＝MoveBack(In使用DARn)在本例的第三個(gè)版本中，將第一和第二版本順序地相結(jié)合假定已經(jīng)建立了一個(gè)雙線(xiàn)性強(qiáng)度變化模型(包括強(qiáng)度標(biāo)記和加載)，這個(gè)模型是根據(jù)比如說(shuō)前面的知識(shí)或是物體的光強(qiáng)度發(fā)生變化，但是物體對(duì)其參照?qǐng)D像來(lái)說(shuō)并未發(fā)生相對(duì)移動(dòng)的這一組幀的強(qiáng)度In的PCA而建立起來(lái)的。第三版本包括下面步驟1、利用雙線(xiàn)性強(qiáng)度變化模型，根據(jù)第一版本，對(duì)一個(gè)或多個(gè)幀估算移動(dòng)域DARn2、從這些移動(dòng)域估算或更新雙線(xiàn)性移動(dòng)模型3、利用所獲的雙線(xiàn)性移動(dòng)模型，根據(jù)第二版本，對(duì)一個(gè)或多個(gè)幀估算強(qiáng)度變化域DIRn在本例的第四版本中，將第二和第一版本按順序地結(jié)合起來(lái)假定已經(jīng)建立了一個(gè)雙線(xiàn)性移動(dòng)模型(包括移動(dòng)標(biāo)記和加載)，這個(gè)模型是根據(jù)前面的知識(shí)或進(jìn)物體移動(dòng)了，但該物體的光強(qiáng)度相對(duì)于參照?qǐng)D像來(lái)說(shuō)，并未改變的這樣一組幀的移動(dòng)域DARn的PCA而建立起來(lái)的。第四版本包括下列步驟1、利用雙線(xiàn)性移動(dòng)模型，根據(jù)第二版本，對(duì)一個(gè)或多個(gè)幀估算強(qiáng)度變化域DIRn2、從這些強(qiáng)度變化出發(fā)作估算或更新雙線(xiàn)性強(qiáng)度變化模型3、利用所獲取的雙線(xiàn)性強(qiáng)度變化模型，根據(jù)第一版本對(duì)一個(gè)或多個(gè)幀估算移動(dòng)域DARn本例的第五版本包括第一和第二版的實(shí)例的重復(fù)實(shí)施，在它們重復(fù)中對(duì)雙線(xiàn)性模型不斷更新。起始步可選版本一也可選版本二。在本例中是選版本一作為起始步的。然后如上所述建立一個(gè)優(yōu)先的雙線(xiàn)性強(qiáng)度變化模型。第五版本包括如下步驟1、利用雙線(xiàn)性強(qiáng)度變化模型，根據(jù)第一版，對(duì)一個(gè)或多個(gè)幀估算移動(dòng)域DARn2、從這些移動(dòng)域出發(fā)估算或更新一個(gè)雙線(xiàn)性移動(dòng)模型3、利用雙線(xiàn)性移動(dòng)模型再根據(jù)第二版本，對(duì)一個(gè)或多個(gè)幀估算強(qiáng)度變化域DIRn4、從這些強(qiáng)度變化域出發(fā)估算或更新一個(gè)雙線(xiàn)性強(qiáng)度變化5、檢查是否收斂了？例如，可以查移動(dòng)標(biāo)記是否穩(wěn)定了？6、重復(fù)1-5步直到收斂為止本例的第六版本與第五版本相似，只不過(guò)假定強(qiáng)度變化和移動(dòng)都存在雙線(xiàn)性模型，同時(shí)它們的加載在本版本中不是在內(nèi)部作更新的。第六版本包括如下步驟1、利用雙線(xiàn)性強(qiáng)度變化模型再根據(jù)第一版本，對(duì)一個(gè)或多個(gè)幀估算出移動(dòng)域DARn2、利用雙線(xiàn)性移動(dòng)模型再根據(jù)第二版本，對(duì)一個(gè)或多個(gè)幀估算出強(qiáng)度變化域DIRn3、檢查是否收斂？例如可檢測(cè)移動(dòng)標(biāo)記是否穩(wěn)定？4、重復(fù)上述1-3步直到收斂為止在版本五和六迭代過(guò)程中的第一迭代后，強(qiáng)度變化標(biāo)記可由下面方式作估算對(duì)在強(qiáng)度變化加載矩陣上的強(qiáng)度變化域DIRn作過(guò)補(bǔ)償?shù)墓浪愠龅囊苿?dòng)進(jìn)行回歸而估算出來(lái)的。同樣，在第一次迭代后，移動(dòng)標(biāo)記則是通過(guò)或是使用回歸算法或是使用非線(xiàn)性迭代最小化法的手段將估算出來(lái)的移動(dòng)域DARn與移動(dòng)加載矩陣聯(lián)系起來(lái)后作出估算的。后者，在從補(bǔ)償過(guò)的移動(dòng)強(qiáng)度變化域DIRn中減去了估算出來(lái)的雙線(xiàn)性強(qiáng)度變化模型的影響后，需最小化的標(biāo)準(zhǔn)可能是留數(shù)強(qiáng)度誤差的一個(gè)函數(shù)。在標(biāo)準(zhǔn)中還可能包括另外的一些限制，例如，為防止諸如移動(dòng)域?qū)⒀a(bǔ)償過(guò)的移動(dòng)DIRn減小到不正常的在參照?qǐng)D像中的幾個(gè)像素這類(lèi)毫無(wú)意義的解。
在修改過(guò)程中的限制為獲得最好的效果，本例可在移動(dòng)估算和強(qiáng)度變化估算方面加以某些限制后來(lái)進(jìn)行。在本實(shí)施例的第五版本中這些限制在迭代過(guò)程中可以放寬。
一方面，在移動(dòng)估算中對(duì)強(qiáng)度修正所作的限制可能是只適用于這樣的強(qiáng)度修正，即似乎不反映外部模型化的移動(dòng)或者在移動(dòng)估算中未引入人工干預(yù)的那些強(qiáng)度修正。這就是說(shuō)，尤其是在迭代過(guò)程剛開(kāi)始時(shí)，對(duì)于那些沒(méi)有多于一幀的或一小組相鄰幀的大標(biāo)記的雙線(xiàn)性強(qiáng)度變化信息來(lái)說(shuō)，在作比例因子時(shí)會(huì)變?yōu)?的，因而強(qiáng)度修正則空間上平滑的。
另一方面，在強(qiáng)度變化估算中的移動(dòng)補(bǔ)償?shù)南拗浦辉试S在不產(chǎn)生預(yù)料之外的折迭的那些移動(dòng)應(yīng)用；這就是說(shuō)，尤其是在迭代過(guò)程剛開(kāi)始時(shí)，移動(dòng)補(bǔ)償域是平滑的，以避免折迭的現(xiàn)象，除外有專(zhuān)門(mén)指出建立了有效閉塞。
上面所述的關(guān)于本例的方法可以適用于錐形方式。這樣的一個(gè)例子是優(yōu)先的雙線(xiàn)性模型已按不同的空間分辨率建立起來(lái)，同時(shí)按比例因子對(duì)分辨率之差作修正。
同其它在此提出的方法一樣，所述的方法對(duì)所給的幀序列可以重復(fù)地應(yīng)用。
同時(shí)雙重域變化估算以及模型化一方面，在修正過(guò)的強(qiáng)度圖象的基礎(chǔ)上完成移動(dòng)估算和雙線(xiàn)性多幀移動(dòng)模型。另一方面，在補(bǔ)償?shù)囊苿?dòng)圖像強(qiáng)度的基礎(chǔ)上完成了強(qiáng)度變化估算和雙線(xiàn)性多幀強(qiáng)度模型化。
在雙線(xiàn)性模型的基礎(chǔ)上作域修改一方面，用在移動(dòng)估算中的強(qiáng)度修正是基于最易利用的雙線(xiàn)性強(qiáng)度模型，但受到附加條件的牽制。另一方面，在強(qiáng)度變化估算迭代中用來(lái)作地址修改(移動(dòng)補(bǔ)償)的移動(dòng)域是基于最易利用的雙線(xiàn)性模型，但受到附加條件的牽制。
修正中的限制一方面，用在移動(dòng)估算的強(qiáng)度修正上限制可以使只有那些不反映外模型移動(dòng)或邊緣的內(nèi)插效果的強(qiáng)度修正可以適用。
這就是說(shuō)，在迭代過(guò)程的最初時(shí)，對(duì)那些不至一個(gè)幀或一小組鄰接的幀標(biāo)記不大的雙線(xiàn)性強(qiáng)度變化信息就被按比例縮小成0，因而這些強(qiáng)度修正是空間平滑的。另一方面，要用在強(qiáng)度變化估算的移動(dòng)補(bǔ)償上的限制使得只能允許那些未給出意料之外的折迭效果的移動(dòng)。這也就意味著，特別是在迭代過(guò)程剛開(kāi)始時(shí)，除清楚地說(shuō)明有效閉塞現(xiàn)象，否則就可平滑移動(dòng)補(bǔ)償域。
在模型化中減少不確定信息的權(quán)在雙線(xiàn)性模型化中，那些由于明顯的閉塞現(xiàn)象或邊緣效果而檢測(cè)出來(lái)不確定性特別高的像素和像素區(qū)域，它們的權(quán)比起其它像素來(lái)要相對(duì)減小。同樣，尤其那些不確定幀也要減權(quán)。對(duì)確定像素，確定幀來(lái)說(shuō)，特別不確定的單一觀(guān)察多少被處理或丟失的值同時(shí)在雙線(xiàn)性估算范圍中修改得與更確定的觀(guān)察到的情況一致。這種修改可按第四實(shí)施例中所述的做。
第六較佳實(shí)施例靈活但受限制的模型識(shí)別雙線(xiàn)性強(qiáng)度模型化與移動(dòng)估算相結(jié)合的另一個(gè)應(yīng)用是希望能在有限的計(jì)算量下進(jìn)行靈活的模型識(shí)別內(nèi)容模型識(shí)別總的目標(biāo)這里是要找到識(shí)別以及在數(shù)量上盡可能確定圖像中之一個(gè)未知物體(或目標(biāo))，它是利用搜尋一個(gè)或幾個(gè)已知物體與此匹配的方法來(lái)實(shí)現(xiàn)的。移動(dòng)估算用來(lái)尋找那個(gè)未知物體在圖像的何處。而雙線(xiàn)性強(qiáng)度模型所起的作用則是讓每一個(gè)已知物體來(lái)表示相關(guān)物體全部級(jí)別(也可使用每個(gè)物體的雙線(xiàn)性移動(dòng)模型)。結(jié)束時(shí)所獲得的雙線(xiàn)性模型的參數(shù)提供關(guān)于找到的那物體詳細(xì)的質(zhì)和量方面的信息。
仿射的移動(dòng)估算的應(yīng)用要尋找的那個(gè)物體的模式所出的有規(guī)則的變化先由強(qiáng)度域中雙線(xiàn)性模型根據(jù)物體的一組已知圖像作初步估算，然后，為了在一個(gè)未知的圖像中找到該物體，將此模型在不同位置重復(fù)地應(yīng)用。這對(duì)已知的有規(guī)則的變量允許作自動(dòng)修正而不損失太多的自由度也不會(huì)要求過(guò)大的計(jì)算量。
例如如臉校準(zhǔn)為了估算參照模型，記錄了許多不同臉型。
校準(zhǔn)移動(dòng)補(bǔ)償用仿射變換可能已經(jīng)對(duì)圖像規(guī)范化了，因而給了眼睛、鼻子、嘴巴等的最大的重迭。詳細(xì)的關(guān)于移動(dòng)補(bǔ)償?shù)慕忉尶梢栽诘谖鍖?shí)施例中找到，也可以在‘WO95/08240數(shù)據(jù)分析之方法和設(shè)備’中找到，因而它也列為本文的參文獻(xiàn)。
校準(zhǔn)強(qiáng)度模型然后，由雙線(xiàn)性強(qiáng)度模型對(duì)黑白通道或各種彩色通道作近似的估算。這個(gè)強(qiáng)度參照模型可以包括先選取一個(gè)典型的臉孔，稱(chēng)為是參照臉孔，這個(gè)參照臉孔可以是某人的一個(gè)圖像，或者也可是幾個(gè)人的圖像的聚合。其次，通過(guò)主元分析只保留最重要的強(qiáng)度因子就像用交叉有效判斷出來(lái)的那樣，對(duì)這個(gè)平均參照?qǐng)D像周?chē)淖兞孔髂Ｐ??？梢詳喽ǎ迷谛?zhǔn)中的規(guī)范化的臉孔已被十分不同的選出來(lái)了，這樣，以后就可以從內(nèi)插法的相同的統(tǒng)計(jì)人員中得到許多其它幀作出的十分近似的預(yù)測(cè)。有關(guān)如何建立這樣一個(gè)雙線(xiàn)性參照校準(zhǔn)模型可以在上面提到的Martens & Naes 1989中找到。在一組強(qiáng)度加載中也可以包括像光線(xiàn)變化條件這樣的附加的人工創(chuàng)建的加載條件。
預(yù)測(cè)從相同的統(tǒng)計(jì)人員尋找一個(gè)新臉孔的未知的位置，所獲得的校準(zhǔn)結(jié)果則是用來(lái)作同時(shí)移動(dòng)估算和強(qiáng)變變化估算。
預(yù)測(cè)移動(dòng)估算未知圖像強(qiáng)度和雙線(xiàn)性強(qiáng)度參照模型(參照臉孔和強(qiáng)度因子加載)不斷地用另外的取代。要做到這一點(diǎn)，最容易的辦法可能是將未知圖像移到不同的位置，同時(shí)把更復(fù)雜的雙線(xiàn)性強(qiáng)度參照模型保持在參照位置不動(dòng)。
預(yù)測(cè)強(qiáng)度估算對(duì)每一次取代，雙線(xiàn)性參照模型可以通過(guò)比如一些快速回歸技術(shù)等方法與對(duì)應(yīng)的圖像強(qiáng)度作適配，以估算出強(qiáng)度的標(biāo)記，為了降低由一些類(lèi)似香煙或其它微小的意想不到的外正常的分離像素造成的影響，可以使用對(duì)重加權(quán)的偏最小二乘法。
然后計(jì)算和估算圖像強(qiáng)度和雙線(xiàn)性模型(一個(gè)或幾個(gè)通道)之間的(加權(quán))不適配的留數(shù)。
最后預(yù)測(cè)結(jié)果給出最小的加權(quán)不適配留數(shù)變量的替代可以作為未知臉孔的位置而相應(yīng)的強(qiáng)度標(biāo)記和留數(shù)可以刻劃所給定的未知臉孔的參數(shù)。
移動(dòng)和強(qiáng)度相結(jié)合的模型化為了使未知臉孔具有與用在雙線(xiàn)性模型化中的臉孔不同的尺寸和傾角(在選項(xiàng)規(guī)范化后)，使用規(guī)范化強(qiáng)度模型以不同的仿射變換標(biāo)記作比例縮放和旋轉(zhuǎn)來(lái)重復(fù)進(jìn)行預(yù)測(cè)過(guò)程，同時(shí)，再來(lái)搜索最佳的全面適配。不僅估算了臉孔的位置而且還估算了它的尺寸和傾角等。
使用一般移動(dòng)估算的應(yīng)用移動(dòng)估算和伴隨的移動(dòng)模型也可選用在校準(zhǔn)階段，這樣，不僅是強(qiáng)度的差別和粗糙程序可以允許仿射移動(dòng)，而且其它類(lèi)型的形狀差別也可以允許。這一點(diǎn)可以比仿射變換后通過(guò)移動(dòng)域的雙線(xiàn)性模型化來(lái)完成，以獲取對(duì)各種因子的移動(dòng)加載和移動(dòng)標(biāo)記。另外，會(huì)產(chǎn)生一些例如頭部的傾斜、旋轉(zhuǎn)、微笑和哈哈大笑之類(lèi)的在已知典型的移動(dòng)模式的附加的因子，這些因子可能包括在移動(dòng)模型中這些外加因子的加載可能已從受控制的試驗(yàn)中得到，這種試驗(yàn)涉及到那個(gè)作參照臉孔的人的移動(dòng)的估算，在點(diǎn)頭、轉(zhuǎn)身或講話(huà)時(shí)看到的那樣。
參照模型現(xiàn)在包括二個(gè)模型域移動(dòng)模型和強(qiáng)度變化模型，二者都屬一個(gè)參照位置(例如一般的臉或一個(gè)典型的臉)。移動(dòng)模型包括二者的粗糙程度，仿射移動(dòng)模型化以及精細(xì)的雙線(xiàn)性移動(dòng)模型。這個(gè)受限制的雙域雙線(xiàn)性模型化(它允許某種確定的主變量和確定強(qiáng)度變量)可以用在各種搜索過(guò)程中。
有一種這樣的搜索過(guò)程是要應(yīng)用適合未知圖像的各種仿射移動(dòng)(變換、比例縮放、旋轉(zhuǎn))周?chē)哪Ｐ蛯?duì)于仿射移動(dòng)，在移動(dòng)的未知圖像和在雙線(xiàn)性移動(dòng)和強(qiáng)度變化模型內(nèi)的參照?qǐng)D像或某個(gè)轉(zhuǎn)換之間完成一個(gè)局部移動(dòng)估算。所獲取的局部移動(dòng)參照模型的移動(dòng)加載上作回歸的估算局部移動(dòng)標(biāo)記，同時(shí)在允許微小移動(dòng)的子序列中估算有規(guī)則的細(xì)調(diào)位置和使未知臉孔重新成形。
補(bǔ)償過(guò)的移動(dòng)輸入圖像與參照?qǐng)D像之間的強(qiáng)度差映射到雙線(xiàn)性強(qiáng)度加載以估算強(qiáng)度標(biāo)記以及求得的強(qiáng)度留數(shù)圖像和不適配變量。如上所述，不適配變量最小的仿射移動(dòng)被選作最終一個(gè)，同時(shí)，對(duì)于外仿射移動(dòng)的強(qiáng)度變化的對(duì)應(yīng)的雙線(xiàn)性標(biāo)記以及所求的的強(qiáng)度留數(shù)給出了各個(gè)未知臉孔的特征。而這些數(shù)也可以用在例如更詳細(xì)的模式識(shí)別上。
除了僅僅對(duì)尺寸和傾角作修正外，也可以包括整個(gè)臉孔形狀的修正。這時(shí)，在本發(fā)明中也包括了臉部形狀變量的全線(xiàn)性模型化在校準(zhǔn)階段期間，相對(duì)于參照?qǐng)D像對(duì)那些規(guī)范化的臉型的有規(guī)則的形狀變量可以由移動(dòng)估算來(lái)檢測(cè)，同時(shí)由線(xiàn)性移動(dòng)模型化作歸納，相同地，補(bǔ)償過(guò)的移動(dòng)臉型的有規(guī)則的強(qiáng)度變量在參照位置被檢測(cè)成不同的圖像，同時(shí)也象前面的實(shí)例中敘述過(guò)的那樣由雙線(xiàn)性強(qiáng)度模型作出歸納。在對(duì)一個(gè)已知的臉孔的預(yù)測(cè)模式識(shí)別時(shí)，搜索過(guò)程是有一個(gè)過(guò)程來(lái)補(bǔ)足的，該過(guò)程則是使用例如一個(gè)外線(xiàn)性迭代留數(shù)最小化方法(參見(jiàn)J.A.Nelder和R.mead，‘一種函數(shù)最小化方法’，計(jì)算機(jī)雜志Vol.7，pp.308-313)來(lái)同時(shí)估算移動(dòng)模型的標(biāo)記和強(qiáng)度變化模型的標(biāo)記。
使用二個(gè)甚至更多的模型來(lái)搜索一個(gè)未知的圖像(例如男人臉的模型，女人臉的模型，孩子臉的模型等)，同時(shí)，也選取了一個(gè)在某一圖像區(qū)域適配最好的模型。
放寬在上面的較佳實(shí)施例的估算過(guò)程中有某些迭代的步驟，各類(lèi)控制參數(shù)也可以放寬其要求，如在迭代的次數(shù)和模型的性能方面。要放寬的參數(shù)中有1)平滑參數(shù)移動(dòng)估算的平滑參數(shù)可以放寬，例如在‘光流計(jì)算’中所敘述的那樣[A.Singh，(1991)，IEEE Computer Society Press，PP.38-41]，此文作為參考文獻(xiàn)。在估算過(guò)程的開(kāi)始時(shí)，比在過(guò)程后期時(shí)作更強(qiáng)的平滑化工作。
2)錐形影響參數(shù)在層次結(jié)構(gòu)情況時(shí)，多分辨率移動(dòng)估算，這個(gè)參數(shù)是調(diào)整一個(gè)分辨率的級(jí)別到另一個(gè)級(jí)別的影響的，該參數(shù)可以放寬。在估算過(guò)程中開(kāi)始時(shí)的低分辨率結(jié)果可雙在過(guò)程后期時(shí)的有較高的影響。
3)強(qiáng)度影響參數(shù)在多域估算和模型化中修正強(qiáng)變化時(shí)，只有這樣的強(qiáng)度變化是允許的即它們與幾個(gè)幀是相一致的，同時(shí)也相對(duì)地確定的反映出真正的強(qiáng)度變化，并且它們又不是那些未被模型化移動(dòng)而錯(cuò)誤地被處理成強(qiáng)度變化的。要獲得這樣的一些結(jié)果可以使強(qiáng)度變化在估算過(guò)程的初始階段時(shí)其強(qiáng)度變化對(duì)強(qiáng)度修正幾乎不起任何作用。
4)詳細(xì)的分段靈敏度在估算過(guò)程初期，估算過(guò)的移動(dòng)信息和其它信息相對(duì)來(lái)說(shuō)是不確定的。于是在估算過(guò)程之初，相對(duì)于其不確定來(lái)說(shuō)，由于在空間上不夠詳細(xì)，其分段可能不是最佳的。大多數(shù)在靜止的圖像上運(yùn)行而作分段的方法都有一個(gè)閥值，該閥值影響到要地需多少詳細(xì)的問(wèn)題。
其它的應(yīng)用上述的用數(shù)學(xué)的雙線(xiàn)性模型來(lái)對(duì)不同的幀進(jìn)行協(xié)調(diào)移動(dòng)估算的技術(shù)也適用于其它類(lèi)型的數(shù)據(jù)，以下是這些數(shù)據(jù)的例子聲音振動(dòng)時(shí)間序列聲音幀可以表示一個(gè)記錄在固定時(shí)間或可變時(shí)間段上能量向量，也可以時(shí)間的函數(shù)給出。在這種情況時(shí)，‘移動(dòng)估算’與參照聲音幀相比較后在時(shí)間模式中可以檢測(cè)出短期的暫時(shí)性移位，例如描述不同的人在講一個(gè)單詞或一句句子時(shí)的速度是不同的。從相同的詞匯或句子的許多次重復(fù)的幀(記錄)得到的時(shí)間移位之雙線(xiàn)線(xiàn)模型化可用作生成一個(gè)有關(guān)的時(shí)間變量的模型。幀的補(bǔ)償過(guò)的時(shí)間能量向量的雙線(xiàn)性模型表示了聲音中附加的有規(guī)則的強(qiáng)度變。因而就可以使用雙線(xiàn)性模型，以利于在視頻圖像進(jìn)提及的子序列‘移動(dòng)’短期暫態(tài)移位的估算。
振動(dòng)頻譜另外，聲音也能以比如頻譜給出，在作傅里葉變換或記錄過(guò)的時(shí)間幀的子頻寬/子波變換后就可完成。在這種情況時(shí)，‘移動(dòng)估算’相對(duì)于參照頻譜在每個(gè)幀的頻譜中可以檢測(cè)出移位，例如當(dāng)某一樂(lè)器在不同的音高位置上演奏時(shí)，來(lái)描述泛音系列是怎樣有規(guī)則地移位的。估算出來(lái)的頻率移位的雙線(xiàn)性模型化在音高發(fā)生變時(shí)就顯示出泛音系列是怎樣有規(guī)則移動(dòng)的。修正過(guò)的音高的強(qiáng)度雙線(xiàn)さ模型化揭示了超過(guò)了頻率移位的有規(guī)則的強(qiáng)度變化。因而，可以使用雙線(xiàn)性模型，以利于頻率移位的子序列‘移動(dòng)估算’。
振動(dòng)能量圖像為適應(yīng)不同時(shí)間比例上的變量，聲音幀可以用一維以上的數(shù)組來(lái)記錄。一個(gè)類(lèi)似于視頻圖像的雙向列是這樣的當(dāng)每一幀表示聲音能量的頻譜時(shí)，就有例如1毫秒(縱坐標(biāo))對(duì)時(shí)間例如1000毫秒(橫坐標(biāo))的記錄。移動(dòng)估算相對(duì)于參照幀允許檢測(cè)頻率移位的檢測(cè)暫時(shí)延遲。在幾個(gè)幀上的移動(dòng)的子序列雙線(xiàn)性模型化在頻率和時(shí)標(biāo)移位中檢測(cè)出有規(guī)則的圖樣。補(bǔ)償過(guò)的移動(dòng)能量的雙線(xiàn)性模型化在超出頻率和時(shí)標(biāo)移位的范圍強(qiáng)度中檢測(cè)到圖樣。這些雙線(xiàn)性模型可以被反饋回去，以增強(qiáng)子序列移動(dòng)的估算。
聲音的有關(guān)的雙線(xiàn)性模型的參數(shù)(標(biāo)記加載和留數(shù)等)可以用在聲頻數(shù)據(jù)的數(shù)字壓縮上。為給出聲音模式的壓縮形模型，例如在視頻游戲中，聲音的后編輯等等，也可以使用它們。它們也可以用處理控制和自動(dòng)錯(cuò)誤報(bào)警，例如在汽車(chē)、輪船或飛機(jī)上的不同的振動(dòng)傳感器之類(lèi)的機(jī)械裝置那里可以獲得振動(dòng)的數(shù)據(jù)，聲音標(biāo)記可能與相應(yīng)的圖像信息有關(guān)，或者雙線(xiàn)性圖像近似地形成了相同的時(shí)間幀，這樣可以進(jìn)一步作視頻壓縮，對(duì)口型等。聲音數(shù)據(jù)的雙線(xiàn)性模型化也可與視頻數(shù)據(jù)的雙線(xiàn)性模型化結(jié)合起來(lái)一起進(jìn)行，例如用PLS2回歸(Martens & Naes 1989)或同感’PCA/PLS(Martens & Martens 1986，Geladi等1988)。
結(jié)合移動(dòng)估算和雙線(xiàn)性模型化的其它應(yīng)用是在分析化學(xué)方面本發(fā)明之另一應(yīng)用是規(guī)則位置變化和強(qiáng)度變化在光譜測(cè)定時(shí)的多重觀(guān)察的協(xié)調(diào)估算和模型化。這方面的一個(gè)例子是核磁共振(NMR)光譜學(xué)，它包括對(duì)所謂的‘化學(xué)移位’作估算及作模型(對(duì)應(yīng)于前面的視頻解釋中的‘移動(dòng)’)和各種類(lèi)型的分子函數(shù)(可能是‘穴’)的峰高(強(qiáng)度變化)中的濃度控制變化的控制，它們按不同的頻率(‘像素’)記錄在一組不同的但又是相關(guān)的化學(xué)樣本上(幀序列)。類(lèi)似地，也可用來(lái)分析電子旋轉(zhuǎn)共振(ESR)。
另一種化學(xué)的應(yīng)用是在各種電磁波長(zhǎng)范圍自X-射線(xiàn)至無(wú)線(xiàn)電頻率的各類(lèi)分光光度分析(例如轉(zhuǎn)換、反射、熒光等)，例如，在紫外線(xiàn)/可見(jiàn)光/紅外線(xiàn)的范圍中。本發(fā)明可以應(yīng)用于檢測(cè)溶液波長(zhǎng)移位(‘移動(dòng)’)以及各種類(lèi)型分子或分子組的濃度控制吸收變化(強(qiáng)度變化)按不同波長(zhǎng)在一組不同但相關(guān)的化學(xué)樣本上(幀序列)記錄波數(shù)或飛行時(shí)間(‘像素’)。
本發(fā)明的另外一些應(yīng)用則是關(guān)于諸如層析電泳和流體注入分析等之類(lèi)的物理分離技術(shù)。例如，化學(xué)復(fù)合物在高壓液體層析中，本發(fā)明可以用來(lái)檢測(cè)滯留時(shí)間變化(由列靜止階段中發(fā)生變化所感應(yīng)出來(lái)‘移動(dòng)’)以及各種化學(xué)復(fù)合物的濃度控制檢測(cè)器信號(hào)變化(可能為‘穴’)，在一組不同的但相關(guān)的化學(xué)樣本中(幀的序列)按不同的層析滯留時(shí)記錄下來(lái)。
在這樣的定量分析應(yīng)用中，結(jié)合穴的方法一般來(lái)說(shuō)比視頻編碼更簡(jiǎn)單，因?yàn)橹氐难ǖ男ЧǔＪ强梢缘悠饋?lái)而不必去考慮閉塞現(xiàn)象。因此，就不需要像視頻編碼中的那樣多的分段工作。
其它的應(yīng)用例子二維多通道彩色視頻圖像，超聲圖像或是衛(wèi)星圖像，或是雷達(dá)圖像數(shù)據(jù)，計(jì)算機(jī)層面x照相術(shù)的2-3維圖像或磁共振圖像、1維線(xiàn)攝像數(shù)據(jù)。
雖然已參照其較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了特別的圖示說(shuō)明和描述，但應(yīng)當(dāng)理解，該技術(shù)領(lǐng)域的熟練人員可以在形式和細(xì)節(jié)上作出種種變化，而不脫離本發(fā)明的精神和范圍。特別是，術(shù)語(yǔ)“多個(gè)”可以解釋成“一個(gè)或一個(gè)以上”情況。
權(quán)利要求
1.一種在一個(gè)參照?qǐng)D像和一列幀內(nèi)的每個(gè)幀之間的移動(dòng)的估算方法，每一個(gè)幀包括一個(gè)輸入信號(hào)的多個(gè)樣本，該方法包括有下列步驟(1)對(duì)每一幀，從參照?qǐng)D像到幀作移動(dòng)估算，(2)對(duì)每一幀，將估算的移動(dòng)域轉(zhuǎn)換成移動(dòng)矩陣，其中每一行對(duì)應(yīng)于一個(gè)幀，且每行包含參照?qǐng)D像每個(gè)元素的移動(dòng)向量的各分量，(3)在移動(dòng)矩陣上進(jìn)行主元分析后獲得一個(gè)含有多個(gè)稱(chēng)為移動(dòng)標(biāo)記向量的列向量的移動(dòng)標(biāo)記矩陣和一個(gè)含有多個(gè)稱(chēng)為移動(dòng)加載向量的行向量的移動(dòng)加載矩陣，使得每一個(gè)移動(dòng)標(biāo)記向量與每一個(gè)幀的元素相對(duì)應(yīng)，每一移動(dòng)加載向量的每一元素與參照?qǐng)D像的一個(gè)元素相對(duì)應(yīng)，使得所述移動(dòng)標(biāo)記矩陣的一列和一個(gè)移動(dòng)加載向量一起組成一個(gè)因子，并且使得因子的個(gè)數(shù)小于等于所述幀的個(gè)數(shù)，(4)對(duì)每一幀，用移動(dòng)加載向量乘以與幀相對(duì)應(yīng)的移動(dòng)標(biāo)記，從而對(duì)每一幀生成一個(gè)移動(dòng)假設(shè)，(5)對(duì)每一幀使用移動(dòng)假設(shè)作為副信息，對(duì)從參照?qǐng)D像到所述幀之間的移動(dòng)域作估算，輸出第5步的表示所述參照?qǐng)D像和幀序列中每個(gè)幀之間的移動(dòng)而得到的經(jīng)過(guò)估算的移動(dòng)域。
2.一種如權(quán)利要求1所述的方法，其特征在于，對(duì)所述序列重復(fù)步驟(2)至(5)多次。
3.一種在一個(gè)參照?qǐng)D像和一列幀內(nèi)的每個(gè)幀之間的移動(dòng)的估算方法，每一個(gè)幀包括一個(gè)輸入信號(hào)的多個(gè)樣本，該方法包括有下列步驟(1)對(duì)每一幀，從參照?qǐng)D像到幀作移動(dòng)估算，(2)形成移動(dòng)矩陣，其中每一行包含參照?qǐng)D像每個(gè)元素的移動(dòng)向量的各分量，且每一幀有一行，(3)在移動(dòng)矩陣上進(jìn)行主元分析，產(chǎn)生一個(gè)包含多個(gè)稱(chēng)為移動(dòng)加載向量的行向量矩陣，其中每個(gè)元素對(duì)應(yīng)于圖像的一個(gè)元素的移動(dòng)向量的一維，還產(chǎn)生一個(gè)還包含多個(gè)稱(chēng)為移動(dòng)標(biāo)記向量的列向量的矩陣，其中每行對(duì)應(yīng)于一幀，(4)對(duì)下一所述幀，根據(jù)前一標(biāo)記利用外插法預(yù)測(cè)標(biāo)記，把前一標(biāo)記與加載相乘，從而產(chǎn)生每幀的移動(dòng)假設(shè)，(5)對(duì)于所述下一幀，從參照?qǐng)D像到該幀，把移動(dòng)假設(shè)作為副信息，估算移動(dòng)域，(6)重復(fù)步驟(2)至(5)，直到序列中不再有幀，其中在步驟(5)中估算出的移動(dòng)域表示移動(dòng)。
4.一種在一個(gè)參照?qǐng)D像和一列幀內(nèi)的每個(gè)幀之間的移動(dòng)的估算方法，每一個(gè)幀包括一個(gè)輸入信號(hào)的多個(gè)樣本，該方法包括有下列步驟(1)從參照?qǐng)D像到所述序列中的第一幀估算移動(dòng)，(2)形成稱(chēng)動(dòng)行向量，它包含參照?qǐng)D像的每個(gè)元素的移動(dòng)向量的各分量，且每幀有一行，(3)基于新的移動(dòng)行向量更新雙線(xiàn)性模型，產(chǎn)生一個(gè)包含多個(gè)稱(chēng)為移動(dòng)加載向量的行向量的矩陣，其中每個(gè)元素對(duì)應(yīng)于圖像一個(gè)元素的移動(dòng)向量的一維，還產(chǎn)生一個(gè)包含多個(gè)稱(chēng)為標(biāo)記向量的列矩陣，其中每行對(duì)應(yīng)于一幀，(4)對(duì)下一所述幀，根據(jù)前一移動(dòng)標(biāo)記利用外插法預(yù)測(cè)標(biāo)記，把預(yù)測(cè)移動(dòng)標(biāo)記與移動(dòng)加載向量相乘，從而產(chǎn)生每幀的移動(dòng)假設(shè)，(5)對(duì)于序列中的下一幀，從參照?qǐng)D像到該幀，把移動(dòng)假設(shè)作為副信息，估算移動(dòng)域，(6)重復(fù)步驟(2)至(5)，直到處理了所述序列中的最后一幀，其中在步驟(5)中估算出的移動(dòng)域表示移動(dòng)。
5.如權(quán)利要求3或4所述的方法，其特征在于，對(duì)所述序列重復(fù)步驟(2)至(6)多次。
6.如權(quán)利要求1至5之一所述的方法，其特征在于，在步驟(5)之后，該方法還包含下列步驟(5b)在第5步中找出的移動(dòng)域的基礎(chǔ)上重新估算雙線(xiàn)性模型，(5c)對(duì)該幀用移動(dòng)加載向量與標(biāo)記相乘，這二者都是從重新估算雙線(xiàn)性模型而得到的，并給出了第二個(gè)移動(dòng)假設(shè)，(5d)將第二移動(dòng)假設(shè)作為副信息，估算出從參照?qǐng)D像到該幀的移動(dòng)域，其中第5d步中估算出的移動(dòng)域表示移動(dòng)。
7.如權(quán)利要求6所述的方法，其特征在于，第2步到第5d步在多次通過(guò)所述序列重復(fù)地執(zhí)行。
8.如權(quán)利要求1至7之一所述的方法，其特征在于，在第(3)步中形成移動(dòng)假設(shè)都使用這樣的方法來(lái)完成的這種方法對(duì)移動(dòng)假設(shè)提出了不確定性的估算，同時(shí)這種不確定性的估算是被用作副信息在第5步的移動(dòng)估算中用來(lái)控制該移動(dòng)假設(shè)的影響程度的。
9.如權(quán)利要求1至8中之一所述的方法，其特征在于，在第(3)步中的移動(dòng)標(biāo)記向量的集合以估算出來(lái)的移動(dòng)加載向量表示了移動(dòng)。
10.如權(quán)利要求1至9之一所述的方法，其特征在于，使用了中間步驟，移動(dòng)矩陣的中間雙線(xiàn)性模型，在所述中間步驟中的所述中間雙線(xiàn)性模型具有降低空間分辨率的移動(dòng)加載向量，在較高的空間分辨率時(shí)將中間雙線(xiàn)性模型用作移動(dòng)分析的副信息。
11.如權(quán)利要求10所述的方法，其特征在于，在全空間分辨率中將所述中間雙線(xiàn)性模型用作移動(dòng)分析的副信息是受到錐形效果參數(shù)的影響的，所述錐形效果參數(shù)如果很大，就會(huì)對(duì)所述副信息產(chǎn)生很強(qiáng)烈的影響，所述錐形效果參數(shù)是通過(guò)次數(shù)的遞減函數(shù)。
12.如權(quán)利要求2，5或7之一所述的方法，其特征在于，所述移動(dòng)估算是根據(jù)一個(gè)平滑性參數(shù)來(lái)進(jìn)行的，所述平滑參數(shù)具有對(duì)于所述平滑性參數(shù)的值較高時(shí)能產(chǎn)生平滑移動(dòng)域的效果，所述平滑性參數(shù)是通過(guò)次數(shù)的遞減函數(shù)。
13.如權(quán)利要求2、5或7之一所述的方法，其特征在于，所述移動(dòng)假設(shè)是根據(jù)一個(gè)假設(shè)效果參數(shù)來(lái)形成，假設(shè)效果參數(shù)的值越大，對(duì)移動(dòng)假設(shè)在所述移動(dòng)估算上效果也就越大，因而假設(shè)效果參數(shù)是通過(guò)次數(shù)的遞增函數(shù)。
14.如權(quán)利要求1至13之一所述的方法，其特征在于，使用分段域來(lái)選取所述參照?qǐng)D像的部分，正在進(jìn)行的所述移動(dòng)估算僅是所述參照?qǐng)D像的所述選取部分。
15.對(duì)一列幀中的一部分的參照?qǐng)D像作分段的方法，每幀由幾個(gè)輸入信號(hào)的樣本組成，該方法包括如下步驟(1)按權(quán)利要求1至15中任一方法進(jìn)行移動(dòng)估算，(2)在估算出的移動(dòng)的基礎(chǔ)上對(duì)所述參照?qǐng)D像作分段得到多個(gè)分段域，其中多個(gè)分段域表示了所述參照?qǐng)D像的分段。
16.一種對(duì)在參照?qǐng)D像和一列幀中的每一幀之間的分段移動(dòng)作估算的方法，每一個(gè)幀由多個(gè)輸入信號(hào)的樣本組成，該方法包括如下步驟(1)根據(jù)權(quán)利要求15的方法對(duì)所述的參照?qǐng)D像進(jìn)行分段，得到多個(gè)分段域，(2)對(duì)每一個(gè)分段域根據(jù)權(quán)利要求14的方法對(duì)移動(dòng)作估算，(3)多次通過(guò)，以重復(fù)步驟(1)和(2)，其中在所述通過(guò)最后一次的第(2)步中的估算出來(lái)的移動(dòng)的集合表示了所述的分段移動(dòng)。
17.如權(quán)利要求16所述的方法，其特征在于，所述參照?qǐng)D像的所述分段過(guò)程是依賴(lài)于分段詳細(xì)參數(shù)的，所述分段詳細(xì)參數(shù)值越高就使得有越多的詳細(xì)分段過(guò)程，所述分段詳細(xì)參數(shù)是通過(guò)次數(shù)的遞增函數(shù)。
18.如權(quán)利要求1至17中之一所述的方法，其特征在于，在一個(gè)中間步驟時(shí)，最佳比例縮放是在以線(xiàn)性模型上進(jìn)行的。
19.如權(quán)利要求1至18中之一所述的方法，其特征在于，主元分析或雙線(xiàn)性模型的更新包括重新加權(quán)。
20.如權(quán)利要求1至19中之一所述的方法，其特征在于，主元分析或雙線(xiàn)性模型的更新包括了處理在輸入數(shù)據(jù)中丟失的值的一種機(jī)制，所述丟失值對(duì)應(yīng)于所述移動(dòng)估算不成功的參照幀中的區(qū)域。
21.如權(quán)利要求1至20中之一所述的方法，其特征在于，所述幀在預(yù)處理步驟時(shí)其強(qiáng)度和位置都是規(guī)范化的。
22.如權(quán)利要求1至21中之一所述的方法，其特征在于，移動(dòng)矩陣中隨著對(duì)同樣的幀由補(bǔ)充數(shù)據(jù)矩陣的雙線(xiàn)性模型得出的標(biāo)記而增大的，所述補(bǔ)充數(shù)據(jù)矩陣包括如下這些數(shù)據(jù)之一對(duì)其它分段的移動(dòng)，強(qiáng)度變化，在早期估算出來(lái)的移動(dòng)，在另一個(gè)空間分辨率中估算出來(lái)的移動(dòng)。
23.如權(quán)利要求1至22中之一所述的方法，其特征在于，所述主元分析或雙線(xiàn)性模型的更新中包括了一步對(duì)所述移動(dòng)加載向量作平滑的功能。
24.如權(quán)利要求1至23中之一所述的方法，其特征在于，所述主元分析或雙線(xiàn)性模型的更新中包括了一步對(duì)所述移動(dòng)標(biāo)記向量作平滑的功能。
25.如權(quán)利要求1至24中之一所述的方法，其特征在于，在所述參照?qǐng)D像中對(duì)每一個(gè)空間維有一個(gè)移動(dòng)矩陣，同時(shí)每一個(gè)所述移動(dòng)向量的分量是放在與所述空間維數(shù)相對(duì)應(yīng)的移動(dòng)矩陣中的。
26.一種作出近似于第二圖像的移動(dòng)版本的一個(gè)第一圖像的方法，該移動(dòng)是根據(jù)有限的一組已知的空間移動(dòng)圖形進(jìn)行的，該方法包含下列步驟(1)把所述移動(dòng)圖樣表示成多個(gè)移動(dòng)加載向量，每個(gè)加載向量的每個(gè)元素對(duì)應(yīng)于所述第二圖像的一個(gè)元素，(2)從第二圖像到所述第二圖像估計(jì)移動(dòng)，(3)在所移動(dòng)加載向量上對(duì)第(2)步中找出的移動(dòng)作回歸算法，產(chǎn)生移動(dòng)標(biāo)記，其中所述移動(dòng)標(biāo)記描述了如何通過(guò)移動(dòng)所述第二圖像來(lái)近似所述第一圖像。
27.一種作出近似于第二圖像的移動(dòng)版本的一個(gè)第一圖像的方法，該移動(dòng)是根據(jù)有限的一組已知的空間移動(dòng)圖形進(jìn)行的，該方法包含下列步驟(1)把所述移動(dòng)圖樣表示成多個(gè)移動(dòng)加載向量，每個(gè)加載向量的每個(gè)元素對(duì)應(yīng)于所述第二圖像的一個(gè)元素，(2)把一組移動(dòng)標(biāo)記初始化成啟始值，所述移動(dòng)標(biāo)記的數(shù)目等于所述移動(dòng)加載向量的數(shù)據(jù)目，(3)對(duì)試驗(yàn)的標(biāo)記組合的每一個(gè)，用所述移動(dòng)加載向量乘以所述試驗(yàn)標(biāo)記組合計(jì)算出一個(gè)移動(dòng)，將所述第二圖像按所述移動(dòng)域進(jìn)行移動(dòng)以生成一個(gè)重構(gòu)，再根據(jù)所述重構(gòu)和所述第一圖像之間的差值計(jì)算出保真度，正被計(jì)算的每一試驗(yàn)標(biāo)記組合作為所述移動(dòng)標(biāo)記的干擾因素，(4)根據(jù)所述試驗(yàn)標(biāo)記組合和所述保真度的測(cè)量計(jì)算新的移動(dòng)標(biāo)記，(5)重復(fù)步驟(3)和(4)，其中，由重復(fù)第(4)步計(jì)算出來(lái)的所述移動(dòng)標(biāo)記描述了如何通過(guò)移動(dòng)所述第二圖像來(lái)近似所述移動(dòng)標(biāo)記。
28.一種估算圖像序列中的一幀相對(duì)于參照?qǐng)D像的移動(dòng)方法，強(qiáng)度變化模型包含已存在的所述圖像序列的強(qiáng)度標(biāo)記向量和強(qiáng)度加載向量，該方法包含下列步驟(1)由相關(guān)幀的強(qiáng)度標(biāo)記用內(nèi)插或外插法預(yù)測(cè)所述幀的強(qiáng)度標(biāo)記，(2)計(jì)算出一個(gè)作過(guò)強(qiáng)度修正的參照?qǐng)D像，作為在第(1)步中預(yù)測(cè)出的強(qiáng)度標(biāo)記與強(qiáng)度加載向量之積，再加上所述參照?qǐng)D像，(3)估算出從所述強(qiáng)度修正過(guò)的參照?qǐng)D像到所述幀的移動(dòng)，其中在第(3)步中估算出的移動(dòng)表示了與所述幀的那個(gè)所述參照?qǐng)D像相關(guān)的移動(dòng)。
29.一種估算圖像序列中的一幀相對(duì)于參照?qǐng)D像的移動(dòng)的方法，強(qiáng)度變化模型包含已存在的所述圖像序列的強(qiáng)度標(biāo)記向量和強(qiáng)度加載向量，該方法包含下列步驟(1)由相關(guān)幀的移動(dòng)預(yù)測(cè)所述幀的移動(dòng)標(biāo)記，(2)把在步驟(1)內(nèi)預(yù)測(cè)出的移動(dòng)標(biāo)記乘以所述移動(dòng)加載向量，計(jì)算出移動(dòng)域，(3)根據(jù)在步驟(2)計(jì)算出的移動(dòng)域，把所述幀向后移，從而產(chǎn)生移動(dòng)補(bǔ)償圖像，(4)計(jì)算所述移動(dòng)補(bǔ)償圖像與所述參照?qǐng)D像之間的差值，其中，在步驟(4)中的所述差值表示相對(duì)于所述幀的所述參照?qǐng)D形像的所述強(qiáng)度變化。
30.一種描述一個(gè)幀的方法，該幀與多個(gè)強(qiáng)度加載向量和多個(gè)移動(dòng)加載向量是相關(guān)的，同時(shí)又與該幀的初始強(qiáng)度變化標(biāo)記有關(guān)的，(1)計(jì)算一個(gè)強(qiáng)度修正過(guò)的參照?qǐng)D像作為該幀的強(qiáng)度標(biāo)記和強(qiáng)度變化加載向量之積，再加上所述參照?qǐng)D像，(2)估算出從所述強(qiáng)度修正過(guò)的參照?qǐng)D像到所述幀的移動(dòng)，(3)將第(2)步中估算出的移動(dòng)映射到所述移動(dòng)加載向量，從而生成所述幀的移動(dòng)標(biāo)記，(4)用移動(dòng)加載向量乘以第(3)步中產(chǎn)生的移動(dòng)標(biāo)記計(jì)算出移動(dòng)域，(5)按照在第(4)步中計(jì)算出來(lái)的移動(dòng)域，將所述幀移動(dòng)到后面去，從而產(chǎn)生一個(gè)補(bǔ)償過(guò)的移動(dòng)圖像，(6)計(jì)算出在第(5)步中產(chǎn)生的移動(dòng)補(bǔ)償過(guò)的圖像與所述參照?qǐng)D像之間的強(qiáng)度差值，(7)將在第(6)步中計(jì)算出來(lái)的差值映射到所述強(qiáng)度變化加載向量，從而產(chǎn)生所述幀的強(qiáng)度變化標(biāo)記，以及(8)重復(fù)第(5)至第(7)步零次或多次，其中在第(3)步中產(chǎn)生的移動(dòng)標(biāo)記與在第(7)步中產(chǎn)生的強(qiáng)度主化標(biāo)記放在一起組成所述描述。
31.一種方法，用來(lái)估算移動(dòng)變化和與圖像系列中每一幀有關(guān)的參照?qǐng)D像的強(qiáng)度變化的，該方法包括如下步驟(1)對(duì)由強(qiáng)度標(biāo)記向量和強(qiáng)度加載向量組成的強(qiáng)度變化模型初始化到空，(2)對(duì)由移動(dòng)標(biāo)記向量和移動(dòng)加載向量組成的移動(dòng)模型初始化為空，(3)選取一個(gè)尚未處理過(guò)的幀，(4)如果找到一個(gè)外空強(qiáng)度變化模型，則使用對(duì)相應(yīng)于有關(guān)的幀的標(biāo)記作內(nèi)插或外插的方法預(yù)測(cè)強(qiáng)度標(biāo)記，使用強(qiáng)度加載向量與預(yù)測(cè)出來(lái)的所述幀的強(qiáng)度標(biāo)記相乘的方法計(jì)算一個(gè)強(qiáng)度修正值，再將所述強(qiáng)度修正值加到所述參照?qǐng)D像上去，計(jì)算一個(gè)強(qiáng)度經(jīng)過(guò)修正的參照?qǐng)D像，否則就將強(qiáng)度經(jīng)過(guò)修正的參照?qǐng)D像置成同所述參照?qǐng)D像相同，(5)估算出從所述強(qiáng)度經(jīng)過(guò)修正的參照?qǐng)D像到所述幀的移動(dòng)，(6)根據(jù)在第(5)步中估算出來(lái)的移動(dòng)來(lái)更新所述移動(dòng)模型，(7)用移動(dòng)加載向量與所述幀的移動(dòng)標(biāo)記相乘來(lái)計(jì)算出移動(dòng)補(bǔ)償域，(8)根據(jù)該移動(dòng)補(bǔ)償域把所述幀向后移動(dòng)，從而產(chǎn)生移動(dòng)補(bǔ)償過(guò)的圖像，(9)計(jì)算所述移動(dòng)補(bǔ)償過(guò)的圖像和所述參照?qǐng)D像之間的差值，(10)根據(jù)在第(9)步計(jì)算出來(lái)的差值更新所述強(qiáng)度模型，以及(11)對(duì)所述序列中每一個(gè)幀重復(fù)第(3)至第(10)步，其中，由第(6)步的最后一次重復(fù)產(chǎn)生的移動(dòng)標(biāo)記向量和移動(dòng)加載向量同由第(10)步的最后一次重復(fù)中產(chǎn)生的強(qiáng)度標(biāo)記向量和強(qiáng)度加載向量放在一起表示了與序列中每一幀有關(guān)的參照?qǐng)D像的移動(dòng)和強(qiáng)度變化。
32.一種方法，可用來(lái)估算移動(dòng)變化和與圖像系列中每一幀有關(guān)的參照?qǐng)D像的強(qiáng)度變化的，該方法包含下列步驟(1)將由強(qiáng)度標(biāo)記向量和強(qiáng)度加載向量組成的強(qiáng)度變化模型初始成空，(2)將由移動(dòng)標(biāo)記向量和移動(dòng)加載向量組成的移動(dòng)模型初始成空，(3)選取一尚未處理過(guò)的幀，(4)如果可以找到一個(gè)外空移動(dòng)模型，對(duì)相應(yīng)于有關(guān)的幀的標(biāo)記作內(nèi)插或外插來(lái)預(yù)測(cè)移動(dòng)標(biāo)記；用移動(dòng)加載向量與預(yù)測(cè)出來(lái)的移動(dòng)標(biāo)記相乘計(jì)算出一個(gè)移動(dòng)補(bǔ)償域，利用移動(dòng)補(bǔ)償域?qū)⑺鰩蚝笠苿?dòng)從而產(chǎn)生一個(gè)移動(dòng)補(bǔ)償過(guò)的圖像，否則就將移動(dòng)補(bǔ)償過(guò)的圖像置成同所述幀相等，(5)計(jì)算出所述移動(dòng)補(bǔ)償過(guò)的圖像和所述參照?qǐng)D像的差值，(6)根據(jù)在第(5)步中計(jì)算出來(lái)的差值更新所述強(qiáng)度模型，(7)用在第(6)步中更新過(guò)的強(qiáng)度加載向量與在第(6)步中對(duì)應(yīng)于所述幀的更新過(guò)的強(qiáng)度標(biāo)記相乘計(jì)算出一個(gè)強(qiáng)度修正值，(8)將所述強(qiáng)度修正值與所述參照?qǐng)D像相加，從而得到一個(gè)強(qiáng)度經(jīng)過(guò)修正的圖像，(9)估算出從所述強(qiáng)度經(jīng)過(guò)修正的圖像到所述幀的移動(dòng)，(10)用第(9)步中估算出的移動(dòng)更新移動(dòng)模型，(11)重復(fù)第(3)至第(10)步，其中由第(10)步最后一次重復(fù)中得到的移動(dòng)標(biāo)記向量和移動(dòng)加載向量和從第(6)步的最后一次重復(fù)得到的強(qiáng)度標(biāo)記和強(qiáng)度加載向量一起表示了序列中每個(gè)幀有關(guān)的參照?qǐng)D像的移動(dòng)變化和經(jīng)度變化。
33.如權(quán)利要求31或32所述的方法，其特征在于，使用了按照權(quán)利要求26的方法計(jì)算出的移動(dòng)標(biāo)記或強(qiáng)度標(biāo)記，而不是所述預(yù)測(cè)移動(dòng)標(biāo)記或所述預(yù)測(cè)強(qiáng)度標(biāo)記。
34.如權(quán)利要求31至33中之一所述的方法，其特征在于，強(qiáng)度模型化包括計(jì)算不確定性，按照所述不確定性利用平滑化，以及根據(jù)所述不確定性從所述強(qiáng)度修正值減去或乘以一值來(lái)調(diào)整強(qiáng)度修正值。
35.如權(quán)利要求31至34中之一所述的方法，其特征在于，所述強(qiáng)度修正值是按照一個(gè)強(qiáng)度松馳參數(shù)而調(diào)整的，一個(gè)小的強(qiáng)度松馳參數(shù)導(dǎo)致一個(gè)小的強(qiáng)度修正，所述強(qiáng)度松馳參數(shù)是重復(fù)的遞減函數(shù)。
36.按權(quán)利要求31至35中之一所述的方法，其特征在于，移動(dòng)模型化包括計(jì)算不確定性，按照所述不確定性對(duì)所述移動(dòng)補(bǔ)償域作平滑化。
37.如權(quán)利要求31至36中之一所述的方法，其特征在于，移動(dòng)是按移動(dòng)松馳參數(shù)作平滑的，一個(gè)小的移動(dòng)松馳參數(shù)幾乎不可能作平滑化，所述移動(dòng)松馳參數(shù)是重復(fù)的遞減函數(shù)。
38.如權(quán)利要求29-30或32至37中之一所述的方法，其特征在于，通過(guò)幾次中重復(fù)執(zhí)行第(3)至第(11)步。
39.如權(quán)利要求29至38中之一所述的方法，其特征在于，在向后移動(dòng)步驟后，執(zhí)行倍增信號(hào)修正。
40.如權(quán)利要求1至39中之一所述的方法，其特征在于，強(qiáng)度模型是按照一組選取限的移動(dòng)圖樣作初始化的，而不是將它們初始化成空。
41.如權(quán)利要求29至40中之一所述的方法，其特征在于，強(qiáng)度模型是按照一組選取限的強(qiáng)度圖樣作初始化的，而不是將它們初始化成空。
42.一種用來(lái)估算一個(gè)參照?qǐng)D像和一列幀中每一個(gè)幀之間移動(dòng)的裝置，每一幀由多個(gè)輸入信號(hào)的樣本組成，該裝置包含(1)用來(lái)估算從參照?qǐng)D像到序列中每一個(gè)幀的移動(dòng)域的裝置，(2)用來(lái)將估算出來(lái)的移動(dòng)域轉(zhuǎn)換成移動(dòng)陣列的裝置，其中每一行對(duì)應(yīng)于一幀，同時(shí)每行包含參照?qǐng)D像每一元素的移動(dòng)向量的每一個(gè)分量，(3)進(jìn)行移動(dòng)陣列的主元分析裝置，由它可得到一個(gè)包括稱(chēng)為加載向量的多個(gè)行向量的陣列，其中每個(gè)元素對(duì)應(yīng)于一維的圖像的一個(gè)元的移動(dòng)向量，還包括一個(gè)由稱(chēng)為移動(dòng)標(biāo)記向量的多個(gè)列向量的矩陣，其中所述陣列的每個(gè)行對(duì)應(yīng)于一個(gè)幀，(4)用來(lái)將加載向量乘以對(duì)應(yīng)于每個(gè)幀的移動(dòng)標(biāo)記的裝置，從而對(duì)每個(gè)幀生成一個(gè)移動(dòng)假設(shè)，(5)用來(lái)估算每個(gè)幀的從參照?qǐng)D像到該幀的移動(dòng)域的裝置，它利用移動(dòng)假設(shè)作為其副信息，用來(lái)輸出在第(5)步中估算出來(lái)的移動(dòng)域的裝置，它表示了所述參照?qǐng)D像和幀列中每一幀之間的移動(dòng)的。
43.如權(quán)利要求42所述的裝置，其特征在于，按照權(quán)利要求2至41中任一個(gè)都可適用。
44.一種表示一個(gè)參照?qǐng)D像和幀列中的每一幀之間的移動(dòng)的數(shù)據(jù)結(jié)構(gòu)，所述幀包括空間模式中多個(gè)數(shù)據(jù)樣本的排列，所述數(shù)據(jù)結(jié)構(gòu)駐留在數(shù)據(jù)處理系統(tǒng)中，并由所述數(shù)據(jù)結(jié)構(gòu)系統(tǒng)通過(guò)執(zhí)行一個(gè)應(yīng)用程序來(lái)訪(fǎng)問(wèn)的，所述組成信息的數(shù)據(jù)結(jié)構(gòu)駐留在由所述應(yīng)用程序來(lái)使用的數(shù)據(jù)庫(kù)中，它包含(1)稱(chēng)為加載向量的多個(gè)移動(dòng)模式，每個(gè)加載向量的每一個(gè)元素對(duì)應(yīng)于所述參照?qǐng)D像的一個(gè)元素，(2)多個(gè)移動(dòng)標(biāo)記向量，每個(gè)移動(dòng)標(biāo)記向是對(duì)應(yīng)于一個(gè)所述幀，每個(gè)移動(dòng)標(biāo)記向量由同加載向量的個(gè)數(shù)相同的元素個(gè)數(shù)組成，每一個(gè)移動(dòng)標(biāo)記向量的每一個(gè)移動(dòng)標(biāo)記元素表示了相應(yīng)的加載向量對(duì)所述的一幀的整個(gè)移動(dòng)應(yīng)起多個(gè)作用。
45.一種適用于如權(quán)利要求2至41中之一的數(shù)據(jù)結(jié)構(gòu)。
46.一種數(shù)據(jù)載體，包括由權(quán)利要求45的數(shù)據(jù)結(jié)構(gòu)所表示的移動(dòng)。
47.一種數(shù)據(jù)載體，包括由權(quán)利要求1至41的方法所產(chǎn)生的移動(dòng)。
48.一種產(chǎn)生發(fā)射信號(hào)的裝置，該發(fā)射信號(hào)含有用權(quán)利要求1至41或47的方法已編碼的信號(hào)。
49.一種適用于讀取數(shù)據(jù)載體的裝置，該數(shù)據(jù)載體包括了由權(quán)利要求45或46的數(shù)據(jù)結(jié)構(gòu)表示的移動(dòng)或者由權(quán)利要求1至41的方法產(chǎn)生的移動(dòng)。
50.一個(gè)系統(tǒng)，包含讀出裝置和按權(quán)利要求46至47中之一的數(shù)據(jù)載體。
全文摘要
本發(fā)明是關(guān)于信號(hào)記錄中改進(jìn)移動(dòng)的估算。估算一個(gè)參照?qǐng)D像與一列幀中每一幀之間的移動(dòng)的方法,每一幀由一個(gè)輸入信號(hào)的多個(gè)樣本組成,它包括下列步驟:(1)對(duì)每一幀估算出從參照?qǐng)D像至該幀的移動(dòng)域,(2)對(duì)每一幀,將估算出的移動(dòng)域轉(zhuǎn)換到移動(dòng)矩陣的形式,每一行對(duì)應(yīng)于一幀,且每一行包含參照?qǐng)D像的每一元素的移動(dòng)向量的每個(gè)分量,(3)在移動(dòng)矩陣中進(jìn)行主元分析運(yùn)算,因而可獲得一個(gè)包括稱(chēng)為移動(dòng)標(biāo)記向量的多個(gè)列向量的移動(dòng)標(biāo)記矩陣和一個(gè)包括稱(chēng)為移動(dòng)加載向量的多個(gè)行向量的移動(dòng)加載矩陣,使得每個(gè)移動(dòng)標(biāo)記向量對(duì)應(yīng)于每個(gè)幀的一個(gè)元素,每個(gè)移動(dòng)加載向量的每一列對(duì)應(yīng)于參照?qǐng)D像的一個(gè)元素,使得所述移動(dòng)標(biāo)記矩陣的一列和一個(gè)移動(dòng)加載向量一起組成一個(gè)因子,同時(shí)使得因子的個(gè)數(shù)小于等于所述幀的個(gè)數(shù),(4)對(duì)每一幀,用移動(dòng)加載向量來(lái)以與該幀相應(yīng)的移動(dòng)標(biāo)記,因而對(duì)每一幀生成一個(gè)移動(dòng)假設(shè),(5)對(duì)每一幀,利用移動(dòng)假設(shè)作為副信息估算出從參照?qǐng)D像到所述幀的移動(dòng)域。輸出在第(5)步中估算出來(lái)的移動(dòng)域,它表示了所述參照?qǐng)D像與這列幀中每一幀之間的移動(dòng)。
文檔編號(hào)H04N7/32GK1194047SQ96192718
公開(kāi)日1998年9月23日 申請(qǐng)日期1996年3月22日 優(yōu)先權(quán)日1995年3月22日
發(fā)明者哈拉爾德·奧高·馬藤斯 申請(qǐng)人:德國(guó)Idt國(guó)際數(shù)字技術(shù)有限公司