專利名稱：動(dòng)態(tài)估計(jì)設(shè)備、動(dòng)態(tài)估計(jì)方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用例如三維物體的觀測圖像來估計(jì)該三維物體的動(dòng)態(tài)
的動(dòng)態(tài)估計(jì)設(shè)備和動(dòng)態(tài)估計(jì)方法。本發(fā)明還涉及由該動(dòng)態(tài)估計(jì)設(shè)^C行的程序。
背景技術(shù)：
已提出了在進(jìn)行三維物體和它們的觀測圖4象之間的匹配的同時(shí)估計(jì) 三維物體的位置和運(yùn)動(dòng)的許多動(dòng)態(tài)估計(jì)方法。
在這些動(dòng)態(tài)估計(jì)方法中的 一種典型方法中，在仿射變換中描述因物體 的位置變化或運(yùn)動(dòng)而造成的該物體外觀的變化，以估計(jì)在仿射變換中使用 的錄。
然而，三維物體必須是剛體。此外，從三維參數(shù)變換成仿射變換M 需要進(jìn)行復(fù)雜的計(jì)算，而且不可能適于掩蔽。
因而，在例如日本特開2000-194859號公報(bào)和J. Deutscher， A. Blake， and I. Reid. "Articulated Body Motion Capture by Annealed Particle Filtering", In Proc. CVPR, 2:126-133， 2000.(非專利文獻(xiàn)1)中提出了其
它動(dòng)態(tài)估計(jì)方法o
日本特開2000-194859號公報(bào)記栽了這樣的方法基于從被攝物圖像
切出的被攝物圖像來修正與被攝物相似的標(biāo)準(zhǔn)三維形;!^型的形狀。
非專利文獻(xiàn)l記載了這樣的方法在攝像圖像上提^A的輪廓，并從 該圖像獲取設(shè)定在模型中的每個(gè)采樣點(diǎn)，以進(jìn)行判斷該獲取的采樣點(diǎn)是否 位于該l^廓內(nèi)的匹配處理。
以上述方式為三維模型設(shè)定的采樣點(diǎn)(三維控制點(diǎn))可用于描述^r 物體運(yùn)動(dòng)，并有可能根據(jù)每個(gè)控制點(diǎn)是否被掩蔽來改變所應(yīng)用的匹配方 法。

發(fā)明內(nèi)容
希望提供一種供三維物體用的動(dòng)態(tài)估計(jì)方法，該方法與相關(guān)技術(shù)中的 方法相比具有更高的性能。
根據(jù)本發(fā)明的一個(gè)實(shí)施例， 一種動(dòng)態(tài)估計(jì)設(shè)備包括:控制點(diǎn)設(shè)定單元， 所述控制點(diǎn)i殳定單元為三維物g型i殳定多個(gè)控制點(diǎn)；控制點(diǎn)色彩信息獲 取單元，所述控制點(diǎn)色彩信息獲取單元當(dāng)三維物M型的實(shí)體作為被攝物 而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示 每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；初始控制點(diǎn)色 彩信息保存單元，所述初始控制點(diǎn)色彩信息保存單元將由控制點(diǎn)色彩信息 獲取單元從供初始設(shè)置用的上述被攝物圖像獲取的控制點(diǎn)色彩信息作為 初始控制點(diǎn)色彩信息而M;控制點(diǎn)位置估計(jì)單元，所述控制點(diǎn)位置估計(jì) 單元估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；當(dāng)前控制點(diǎn)色彩信息獲取單元， 所述當(dāng)前控制點(diǎn)色彩信息獲取單元獲取由所述控制點(diǎn)位置估計(jì)單元估計(jì)
其位置的上述控帝;j點(diǎn)在當(dāng)前時(shí)刻的被攝物圖像上投影而產(chǎn)生的當(dāng)前控制
點(diǎn)色彩信息；以及似真度計(jì)算單元，所述似真度計(jì)算單元使用當(dāng)前控制點(diǎn) 色彩信息和初始控制點(diǎn)色彩信息來計(jì)算似真度。
，本發(fā)明的另一個(gè)實(shí)施例， 一種動(dòng)態(tài)估計(jì)方法包括以下步驟為三 維物體模型設(shè)定多個(gè)控制點(diǎn)；當(dāng)三維物g型的實(shí)體作為被攝物而在被攝
物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制 點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；將在控制點(diǎn)色彩信息獲
初始控制點(diǎn)色彩信息而保存；估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；獲M 所述控制點(diǎn)位置估計(jì)步驟中被估計(jì)其位置的上述控制點(diǎn)在當(dāng)前時(shí)刻的被 攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及使用當(dāng)前控制點(diǎn)色彩 信息和初始控制點(diǎn)色彩信息來計(jì)算似真度。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例， 一種程序4吏得動(dòng)態(tài)估計(jì)設(shè)^L行以下步 驟為三維物體模型設(shè)定多個(gè)控制點(diǎn)；當(dāng)三維物g型的實(shí)體作為被攝物 而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示 每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；將在所述控制 點(diǎn)色彩信息獲取步驟中從供初始設(shè)置用的上述被攝物圖像獲取的控制點(diǎn) 色彩信息作為初始控制點(diǎn)色彩信息而保存；估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的 位置；獲取在所述控制點(diǎn)位置估計(jì)步驟中被估計(jì)其位置的上述控制點(diǎn)在當(dāng) 前時(shí)刻的被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及使用當(dāng)前控制點(diǎn)色彩信息和初始控制點(diǎn)色彩信息來計(jì)算似真度。
在上述構(gòu)造中，為三維物M型設(shè)定多個(gè)控制點(diǎn)，并獲取表示每個(gè)控 制點(diǎn)的色彩的控制點(diǎn)色彩信息。將表示每個(gè)控制點(diǎn)的色彩的初始控制點(diǎn)色 彩信息作為初始設(shè)定值而保存。在動(dòng)態(tài)估計(jì)處理中，估計(jì)隨時(shí)間變化的每 個(gè)控制點(diǎn)的位置，以獲^示圖像上的每個(gè)控制點(diǎn)的色彩的、被估計(jì)其位 置的控制點(diǎn)在該圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息。將初始控制點(diǎn) 色彩信息用作假定信息并將當(dāng)前控制點(diǎn)色彩信息用作觀測值，來計(jì)算似真 度。
根據(jù)本發(fā)明，不^于每個(gè)控制點(diǎn)的位置、而且還基于每個(gè)控制點(diǎn)所 對應(yīng)的色彩信息來進(jìn)行動(dòng)態(tài)估計(jì)。因此，與不使用每個(gè)控制點(diǎn)所對應(yīng)的色 彩信息的動(dòng)態(tài)估計(jì)相比，有可能實(shí)現(xiàn)更高的性能。


圖1是示出了M本發(fā)明的實(shí)施例的動(dòng)態(tài)估計(jì)系統(tǒng)的構(gòu)造的例子的
框圖2A和2B示出了"gt定三維控制點(diǎn)的一般方法；
圖3是示出了根據(jù)本發(fā)明的實(shí)施例的設(shè)定三維控制點(diǎn)的方法的圖4A和4B是示出了根據(jù)本發(fā)明的實(shí)施例的設(shè)定三維控制點(diǎn)的方法 的其它圖5A和5B是示出了根據(jù)本發(fā)明的實(shí)施例的設(shè)定三維控制點(diǎn)的方法 的其它圖6A和6B示出了在本發(fā)明的本實(shí)施例中設(shè)定的三維控制點(diǎn)的例子； 圖7示出了控制點(diǎn)色彩;^板的結(jié)構(gòu)的例子；
圖8示出了真實(shí)三維空間中的三維物，型和投影到攝像圖像上的 三維物g型之間的關(guān)系；
圖9示意性地示出了在根據(jù)本發(fā)明的實(shí)施例的控制點(diǎn)提取處理中生 成的分層圖像的例子；
圖IO是示出了計(jì)算機(jī)設(shè)備的構(gòu)造的例子的框圖。
具體實(shí)施方式
圖1是示出了與根據(jù)本發(fā)明的實(shí)施例的動(dòng)態(tài)估計(jì)設(shè)備對應(yīng)的動(dòng)態(tài)估 計(jì)系統(tǒng)1的構(gòu)造的例子的框圖。
參照圖1,本實(shí)施例的動(dòng)態(tài)估計(jì)系統(tǒng)1包括控制點(diǎn)設(shè)定部11 (控制點(diǎn)
設(shè)定裝置)、控制點(diǎn)初始色彩寄存部12 (初始控制點(diǎn)色彩信息保存裝置)、 控制點(diǎn)移動(dòng)處理部13 (控制點(diǎn)位置估計(jì)裝置)、移動(dòng)控制點(diǎn)色彩獲取部14 (當(dāng)前控制點(diǎn)色彩信息獲取裝置)、控制點(diǎn)色彩提取部15 (控制點(diǎn)色彩信 息獲取裝置)以及似真度計(jì)算部16 (似真度計(jì)算裝置)。
控制點(diǎn)設(shè)定部11為對三維物體進(jìn)行建模而得到的、并且要被估計(jì)其 動(dòng)態(tài)的三維物，型設(shè)定每個(gè)控制點(diǎn)(三維控制點(diǎn))，作為用于動(dòng)態(tài)估計(jì) 處理的一個(gè)初始設(shè)定。下面參照圖2A~5B來說明控制點(diǎn)設(shè)定部11是怎 樣設(shè)定每個(gè)控制點(diǎn)的。
圖2A濕JHliL估計(jì)其動(dòng)態(tài)的三維物^^型20的透視圖。圖2A所示的 三維物體模型20具有漸尖圃錐截體的形狀。
在具有某一特定形狀的三維物M型20的表面上這樣設(shè)定必要數(shù)目 的控制點(diǎn)Dt:使得控制點(diǎn)Dt具有提供均勻性的位置關(guān)系。
為了均勻地布置控制點(diǎn)Dt，在相關(guān)技術(shù)中常常使用例如這樣的方法 將控制點(diǎn)Dt布置成矩陣，使得對于每一行和對于第一列在相鄰控制點(diǎn)Dt 之間保持一定距離。
在圖2A所示的例子中，在包括5個(gè)控制點(diǎn)Dt的每一列中在豎直方 向上相鄰的控制點(diǎn)Dt之間設(shè)定距離A。
在都包括7個(gè)控制點(diǎn)Dt的第一至第五行中在水平方向上相鄰的控制 點(diǎn)Dt之間分別設(shè)定距離Bl B5。然而，由于圖2A的例子中的三維物體 模型20具有4吏三維物M型20的直徑從頂部到底部地減小的漸尖圃錐截 體的形狀，因此最高行中的相鄰控制點(diǎn)Dt之間的距離Bl具有最大值。 越接近底部，相鄰控制點(diǎn)Dt之間的距離越小，且最低行中的相鄰控制點(diǎn) Dt之間的距離B5具有最小值。
然而，當(dāng)以上述方式在三維物^^型20的表面上設(shè)定控制點(diǎn)從而在 相鄰控制點(diǎn)Dt之間保持一定距離時(shí)，在將三維物^型20投影而得到的 圖像上，均勻性大為下降。
例如，圖2B是三維物體模型20的平面圖并且示出了一行中的7個(gè)控 制點(diǎn)Dt。當(dāng)以上述方式設(shè)定控制點(diǎn)Dt從而在相鄰控制點(diǎn)Dt之間保持一 定距離B(對應(yīng)于距離B1~B5中的任一個(gè))時(shí)，如從側(cè)面看去的距離Pl~P6所示，相鄰控制點(diǎn)Dt之間的距離隨行的位置而變化.W明在對三 維物體模型20進(jìn)行投影變換而得到的圖像上，相鄰控制點(diǎn)Dt之間的距離 AU巨離Pl變化到距離P6,
在后面說明的動(dòng)態(tài)估計(jì)處理中，本實(shí)施例的動(dòng)態(tài)估計(jì)系統(tǒng)1使用三維 物體模型20的隨時(shí)間流逝而形成的圖像作為觀測圖像。當(dāng)使用觀測圖像 來以根據(jù)本實(shí)施例的方式為三維物體設(shè)定控制點(diǎn)時(shí)，為了達(dá)到更高的估計(jì) 精度，優(yōu)選地在對三維物M型進(jìn)行投影變換而得到的圖像中均勻地布置 控制點(diǎn).
因而，在本實(shí)施例中以如下方式設(shè)定控制點(diǎn)。
在進(jìn)行本實(shí)施例中的控制點(diǎn)的設(shè)定時(shí)，設(shè)想圖3中的狀態(tài)，即，由攝 像設(shè)備30拍攝三維物M型20的圖像，
圖4A和4B分別是以圖3所示的方式由攝像設(shè)備30拍攝三維物^ 型20的圖係逸一狀態(tài)的側(cè)視圖和平面圖。
在攝像設(shè)備30中形成來自攝4象圖像的光所到達(dá)的成4象平面30a。當(dāng) 攝像設(shè)備30設(shè)有攝像裝置時(shí)，成像平面30a對應(yīng)于該攝像裝置的光接收 表面。
假設(shè)三維物M型20沿著與成像平面30a平行的平面(模型切斷面) 切斷。在圖4A和4B中，點(diǎn)劃線M1表示沿著成4象平面30a的平面，而 點(diǎn)劃線M2表示與對應(yīng)于點(diǎn)劃線Ml的平面(即成像平面30a)平行的模 型切斷面。
沿著對應(yīng)于點(diǎn)劃線M2的切斷面切斷的三維物⑩型20的最大截面 被設(shè)定為基準(zhǔn)截面。
如上所述，三維物g型20具有橫截面呈圓形的漸尖圓錐截體的形 狀。因而，如圖4B所示，當(dāng)切斷面(即點(diǎn)劃線M2)沿著三維物M型 20的每個(gè)圓形橫截面的半徑穿過時(shí)，三維物體模型20具有最大截面。
圖5A示出了由上述方法給出的三維物M型20的基準(zhǔn)截面21。
圖5B是三維物M型20的示出了基準(zhǔn)截面21的平面圖。
根據(jù)本實(shí)施例，如圖5B所示，對應(yīng)于基準(zhǔn)截面21的線(基準(zhǔn)線21a) 被等分成與一行中的控制點(diǎn)Dt的數(shù)目對應(yīng)的數(shù)目的線段。在圖5B的例 子中，由于一行中的控制點(diǎn)Dt的數(shù)目等于7，所以將基準(zhǔn)線21a等分成6 條線段。每條線段的長度記為L。接著，設(shè)想直線V1 V7.直線Vl V7穿過基準(zhǔn)線21a的兩端以及 該兩端之間的由該等分得到的5個(gè)點(diǎn)?？刂泣c(diǎn)Dt被設(shè)定于直線VI ~ V7 與三維物^型20的表面相交的位置。以相同的方式為每一朽設(shè)定控制 點(diǎn).此外，依據(jù)三維物體模型20的實(shí)際形狀、以類似的方式為每一列設(shè) 定控制點(diǎn)。
當(dāng)以上述方式i殳定控制點(diǎn)Dt時(shí)，在一個(gè)布置方向(即， 一行或一列) 上相鄰控制點(diǎn)之間的距離隨控制點(diǎn)的位置而變化。然而，當(dāng)控制點(diǎn)Dt被 投影到與基準(zhǔn)截面21平行的二維平面上時(shí)，在一個(gè)布置方向上在相鄰控 制點(diǎn)Dt之間保持一定距離。具體地，圖5B所示的距離PI ~ P6等于將基 準(zhǔn)線21a等分而得到的長度L。
結(jié)果，當(dāng)從圖5B中的空心箭頭所示的方向(攝像方向)由攝像設(shè)備 30拍攝三維物體模型20的圖像時(shí)，在攝像圖像上在相鄰控制點(diǎn)Dt (投影 點(diǎn))之間保持一定距離。
根據(jù)本實(shí)施例，控制點(diǎn)設(shè)定部11以上述方式設(shè)定控制點(diǎn)。因而，與 例如圖2A和2B的情形(即，在三維物體模型20的表面上以相等間隔布 置控制點(diǎn))相比，更均勻地布置了每個(gè)觀測圖像上的控制點(diǎn)。
控制點(diǎn)設(shè)定部11接收其中要被估計(jì)其動(dòng)態(tài)的三維物M型20作為被 攝物而存在的圖像(即，以圖3所示的方式由攝像設(shè)備30拍攝的三維物 M型20的實(shí)體的圖像(圖像數(shù)據(jù)))，作為初始設(shè)置圖像(供初始設(shè)置 用的被攝物圖像)。在初始設(shè)置圖像中，三維物體模型20的實(shí)體被固定在 這樣的位置狀態(tài)其中三維物體模型20面朝攝像設(shè)備30以便指向適合于 進(jìn)行控制點(diǎn)設(shè)定的方向.因而，可^吏用三維物g型20的所拍攝的靜止 圖像上的圖^Jt據(jù)作為初始設(shè)置圖像.
控制點(diǎn)設(shè)定部11通過上面參照圖2A 5B說明的方法來i殳定三維物 M型20的攝像圖像上的必要數(shù)目的控制點(diǎn).
在進(jìn)行控制點(diǎn)的設(shè)定時(shí)，預(yù)先設(shè)定從攝像設(shè)備30到作為被攝物的三 維物⑩型20的距離、攝像設(shè)備30中的視角(縮放比率)和其它攝<|# 數(shù)。因而，可使用這些預(yù)定^:來確定每個(gè)控制點(diǎn)在攝像圖像上投影的位 置。
圖6A和6B示意性地示出了以上述方式由控制點(diǎn)設(shè)定部11設(shè)定的控 制點(diǎn)的例子。
參照圖6A，作為被攝物的三維物^型20的實(shí)體的圖像包含在由攝像設(shè)備30拍攝的攝像圖像40中.三維物M型20的實(shí)體是人，由攝像 設(shè)備30拍^A的正面圖像。
在圖6A的例子中，作為三維物M型20的實(shí)體的人的身體被用作 三維物M型20。控制點(diǎn)被設(shè)定于通過上面參照圖3 5B說明的方法而 確定的、攝像圖像40上的位置。圖6B示出了為三維物體模型20設(shè)定的 控制點(diǎn)的示例布置圖案。
在圖6B所示的示例布置圖案中，在豎直方向上從上到下布置行rl-r5，并在水平方向上從左到右布置列cl~c7。在圖6B的例子中，35個(gè)控 制點(diǎn)(5行x7列)被布置成矩陣。
在上述初始設(shè)置處理中，控制點(diǎn)設(shè)定部11設(shè)定攝像圖像上的控制點(diǎn)， 此后，圖1所示的控制點(diǎn)初始色彩寄存部12 M個(gè)控制點(diǎn)的初始色彩的 信息作為初始設(shè)置信息而寄存。
為了寄存初始設(shè)置信息，控制點(diǎn)初始色彩寄存部12有必要獲取由控 制點(diǎn)設(shè)定部ll設(shè)定的、每個(gè)控制點(diǎn)所對應(yīng)的色彩信息。每個(gè)控制點(diǎn)所對 應(yīng)的色彩信息的獲取是由控制點(diǎn)色彩提取部15進(jìn)行的。
具體地，控制點(diǎn)色彩提取部15從初始設(shè)置圖像中提取每個(gè)控制點(diǎn)被 控制點(diǎn)i殳定部11所設(shè)定的位置的色彩信息。以上述方式提取的色彩信息 被用作每個(gè)控制點(diǎn)的初始色彩的信息。
控制點(diǎn)初始色彩寄存部12將由控制點(diǎn)設(shè)定部11設(shè)定的、每個(gè)控制點(diǎn) 所對應(yīng)的初始色彩信息作為初始設(shè)置信息而寄存。
在本實(shí)施例中，以圖7中示意性地示出的模板格式來提^^個(gè)控制點(diǎn) 所對應(yīng)的色彩信息。每個(gè)控制點(diǎn)所對應(yīng)的色彩信息的模板格式也稱作控制
圖7所示的控制點(diǎn)色彩模板對應(yīng)于以圖6B所示的方式設(shè)定的控制點(diǎn)。
參照圖7，與圖6B所示的控制點(diǎn)的布置圖案對應(yīng)的、由行rl r5和 列cl ~ c7構(gòu)成的35個(gè)正方形被布置成矩陣?？刂泣c(diǎn)色彩模板中的每個(gè)正 方形對應(yīng)于以圖6B所示的方式布置的每個(gè)控制點(diǎn)的色彩信息。
將在后面說明分配給正方形(色彩信息)的樣本編號1 ~35。
為了創(chuàng)建與初始色彩信息對應(yīng)的控制點(diǎn)色彩;^板，為圖7中的每個(gè)正 方形設(shè)定由控制點(diǎn)色彩提取部15提取的、每個(gè)控制點(diǎn)所對應(yīng)的初始色彩 信息。在圖1所示的構(gòu)造中，與初始色彩信息對應(yīng)的控制點(diǎn)色彩模板中的數(shù)
據(jù)既可以由控制點(diǎn)色彩提取部15生成，也可以由控制點(diǎn)初始色彩寄存部 12利用從控制點(diǎn)色彩提取部15接收到的每個(gè)控制點(diǎn)所對應(yīng)的色彩信息來 生成。在任一情形下，控制點(diǎn)初始色彩寄存部12都獲取與初始色彩信息 對應(yīng)的控制點(diǎn)色彩^板(初始控制點(diǎn)色彩信息)。
在下文中，與初始色彩信息對應(yīng)的控制點(diǎn)色彩模板也稱作"初始模板"。
控制點(diǎn)初始色彩寄存部12將以上述方式獲取的初始模板的數(shù)據(jù)作為 初始設(shè)置信息而寄存.亦即，控制點(diǎn)初始色彩寄存部12將以上述方式獲 取的初始模板的數(shù)據(jù)保存在預(yù)定的存儲區(qū)域中。實(shí)際上，例如使用隨M M儲器(RAM)或快閃存儲器等存^i殳備作為存儲區(qū)域。
在初始設(shè)置處理(即，寄存初始模板的處理)完成之后，動(dòng)態(tài)估計(jì)設(shè) 備1如后面所說明的那樣使用三維物M型20的所拍攝的運(yùn)動(dòng)圖像的圖 ^Jt據(jù)作為觀測值，來進(jìn)行對于三維物M型20的在三維空間中的動(dòng)態(tài) 估計(jì)處理.
圖8示意性地示出了怎樣進(jìn)行根據(jù)本實(shí)施例的動(dòng)態(tài)估計(jì)處理的例子。 在圖8中示出了真實(shí)三維空間中的三維物體模型20和攝像圖像40上的三 維物體模型20的投影圖像(即，投影模型圖像)之間的關(guān)系.
參照圖8，在真實(shí)三維空間中具有特定取向和位置狀態(tài)的三維物M 型20 (t-l)的圖像由攝像設(shè)備30在前一時(shí)刻t-l拍攝，從而生成攝像圖 像40上的三維物^^型20的圖像，即投影模型圖像20A (t-l )。
響應(yīng)于三維物^型20的移動(dòng)，前一時(shí)刻t-l的三維物M型20(t-l) 的取向和位置轉(zhuǎn)移為當(dāng)前時(shí)刻t的三維物體模型20 (t)的取向和位置。 響應(yīng)于三維物體模型20的轉(zhuǎn)移，在攝像圖像40上，前一時(shí)刻t-l的投影 模型圖像20A (t-l)移動(dòng)到當(dāng)前時(shí)刻t的投影模型圖像20A (t )。
如上所述，在根據(jù)本實(shí)施例的動(dòng)態(tài)估計(jì)處理中，基于物體的實(shí)際移動(dòng) 來估計(jì)三維物#^型的動(dòng)態(tài)。
根據(jù)本實(shí)施例的動(dòng)態(tài)估計(jì)處理是以已為三維物M型20設(shè)定了控制 點(diǎn)并且已進(jìn)行了用于寄存初始模板的初始設(shè)置為前提、主要由進(jìn)行下列處 理的控制點(diǎn)移動(dòng)處理部13、移動(dòng)控制點(diǎn)色彩獲取部14、控制點(diǎn)色彩H取 部15和似真度計(jì)算部16來實(shí)現(xiàn)的。
響應(yīng)于以上面參照圖8說明的方式進(jìn)行的三維物^型20的移動(dòng)，以上述方式為三維物M型20設(shè)定的控制點(diǎn)也隨之移動(dòng)。
控制點(diǎn)移動(dòng)處理部13移動(dòng)響應(yīng)于三維物g型20的移動(dòng)而設(shè)定的控 制點(diǎn)Dt。具體地，控制點(diǎn)移動(dòng)處理部13估計(jì)并ilJ^每個(gè)控制點(diǎn)Dt在當(dāng) 前時(shí)刻t的位置。
當(dāng)作為追蹤算法的一個(gè)例子而應(yīng)用使用粒子濾波器的算法時(shí)，控制點(diǎn) 移動(dòng)處理部13進(jìn):行例如以下處理，
首先，控制點(diǎn)移動(dòng)處理部13獲^后面說明的似真度計(jì)算部16輸出 的似真度信息。該似真度信息作為前一時(shí)刻t-l的信息而被處理.接著， 控制點(diǎn)移動(dòng)處理部13獲取作為當(dāng)前時(shí)刻t的觀測圖《象的圖傳Jt據(jù)(對應(yīng) 于攝像圖像40),控制點(diǎn)移動(dòng)處理部13基于前一時(shí)刻t-l的粒子的權(quán)重來 選擇粒子.控制點(diǎn)移動(dòng)處理部13使用例如勻速運(yùn)動(dòng)模型來預(yù)測所選擇的 粒子在當(dāng)前時(shí)刻t的位置。接著，控制點(diǎn)移動(dòng)處理部13基于該預(yù)測結(jié)果 來估計(jì)每個(gè)控制點(diǎn)Dt在當(dāng)前時(shí)刻t在三維空間中的位置。
由控制點(diǎn)移動(dòng)處理部13用來移動(dòng)控制點(diǎn)的算法(即，用于估計(jì)每個(gè) 控制點(diǎn)的位置的算法)不限于使用粒子濾波器的算法，而是還可采用用于 物體追蹤和取向追蹤(取向估計(jì))的各種算法。
在以上述方式由控制點(diǎn)移動(dòng)處理部13設(shè)定(估計(jì))每個(gè)控制點(diǎn)在當(dāng) 前時(shí)刻t的位置之后，移動(dòng)控制點(diǎn)色彩獲取部14獲取當(dāng)前時(shí)刻t每個(gè)控制 點(diǎn)所對應(yīng)的色彩信息。與初始色彩信息一樣，也獲取該色彩信息作為控制 點(diǎn)色彩^^L。
在下文中，包含當(dāng)前時(shí)刻t每個(gè)控制點(diǎn)所對應(yīng)的色彩信息的控制點(diǎn)色 彩^^L也稱作"當(dāng)前;^板"，以與包含初始色彩信息的控制點(diǎn)色彩模板(即 "初始模板")相區(qū)別。
在獲取當(dāng)前模板時(shí)，與初始模板一樣，控制點(diǎn)色彩提取部15從當(dāng)前 時(shí)刻t的圖傳教據(jù)中提取每個(gè)控制點(diǎn)所對應(yīng)的色彩信息。
具體地，控制點(diǎn)色彩4^取部15將由控制點(diǎn)移動(dòng)處理部13估計(jì)的當(dāng)前 時(shí)刻t的控制點(diǎn)Dt投影到當(dāng)前時(shí)刻t的觀測圖像(攝像圖像40)上。結(jié) 果，在當(dāng)前時(shí)刻t估計(jì)的每個(gè)控制點(diǎn)的位置衫L設(shè)定在當(dāng)前時(shí)刻t的觀測圖 像中?？刂泣c(diǎn)色彩提取部15在當(dāng)前時(shí)刻t的觀測圖像中提取表示每個(gè)控 制點(diǎn)被i更定于的位置處所呈現(xiàn)的色彩的色彩信息。
然而，控制點(diǎn)在觀測圖像上投影的點(diǎn)(投影點(diǎn))的圖案實(shí)際上可能不 與構(gòu)成觀測圖像的像素的柵格匹配。也就是說，在攝像圖像40中相鄰?fù)队包c(diǎn)之間的距離會(huì)變得大于或小于一個(gè)像素的大小。
如^f目鄰?fù)队包c(diǎn)之間的距離小于一個(gè)像素的大小，則可通過插值來獲 取圖像數(shù)據(jù)。然而，如W目鄰?fù)队包c(diǎn)之間的距離大于一個(gè)像素的大小，則 在觀測圖像中從每個(gè)投影點(diǎn)所對應(yīng)的像素中直接提取色彩信息等價(jià)于以
樣，在這種情形下，如果采樣頻率低于預(yù)定值，則與色彩信息的4C取對應(yīng) 的重采樣所得到的數(shù)據(jù)中會(huì)產(chǎn)生混疊噪聲。
為了M這種情況，例如可采用如下方法。
具體地，如^目鄰?fù)队包c(diǎn)之間的距離大于或等于預(yù)定值，則在這些投 影點(diǎn)之間規(guī)定邊界，并##個(gè)投影點(diǎn)包含在由邊界所包圍的任何圖像區(qū)域 中.接著，計(jì)算每個(gè)圖像區(qū)域中所包含的像素的平均值，并將計(jì)算出的平
均值用作每個(gè)投影點(diǎn)所對應(yīng)的控制點(diǎn)的色彩信息。如^曰鄰?fù)队包c(diǎn)之間的 距離低于預(yù)定值，則計(jì)算每個(gè)投影點(diǎn)所對應(yīng)的像素的內(nèi)插值，并將計(jì)算出 的內(nèi)插值用作色彩信息。
然而，由于在上述方法中規(guī)定邊界需要進(jìn)行復(fù)雜的計(jì)算，因此上述方 法對于高速處理是不利的。
根據(jù)本實(shí)施例，控制點(diǎn)色彩提取部15采用如下方法來提取色彩信息。
如圖9所示的例子那樣，控制點(diǎn)色彩提取部15基于當(dāng)前時(shí)刻t的觀 測圖像(攝像圖像40)中的圖像數(shù)據(jù)(觀測圖^Jt據(jù))來生成用于色彩 提取的第一層圖像到第n層圖像，
第一層圖像是通過以最小單位為axa (水平像素?cái)?shù)目x垂直像素?cái)?shù)目) 的分辨率對當(dāng)前時(shí)刻t的觀測圖傳Jt據(jù)進(jìn)行重采樣而得到的。當(dāng)a = 1時(shí)， 第一層圖像等價(jià)于當(dāng)前時(shí)刻t的觀測圖^Jt據(jù)。
第二層圖像是通過以最小單位為2ax2a (水平像素?cái)?shù)目x垂直像素?cái)?shù) 目)的分辨率對當(dāng)前時(shí)刻t的觀測圖像數(shù)據(jù)進(jìn)行重采樣而得到的。類似地， 笫三層圖像是通過以最小單位為3ax3a (水平像素?cái)?shù)目x垂直像素?cái)?shù)目) 的分辨率對當(dāng)前時(shí)刻t的觀測圖像數(shù)據(jù)進(jìn)行重采樣而得到的，第n層圖像 是通過以最小單位為naxiia (水平像素?cái)?shù)目x垂直像素?cái)?shù)目)的分辨率對 當(dāng)前時(shí)刻t的觀測圖INft據(jù)進(jìn)行重采樣而得到的。因而，從等價(jià)于當(dāng)前時(shí) 刻t的觀測圖像數(shù)據(jù)的笫一層圖像到第n層圖像，分辨率逐步地減小。
為了提:ML觀測圖像上設(shè)定的一個(gè)投影點(diǎn)(目標(biāo)投影點(diǎn))所對應(yīng)的色 彩信息，控制點(diǎn)色彩提取部15計(jì)算該目標(biāo)投影點(diǎn)與每個(gè)相鄰?fù)队包c(diǎn)之間的距離，并從計(jì)算出的距離中選擇最小的距離(目標(biāo)投影點(diǎn)最小距離)。
所選擇的目標(biāo)投影點(diǎn)最小距離記作d.
從dl層圖像和d2層圖像這兩層圖像中對目標(biāo)投影點(diǎn)所對應(yīng)的像素進(jìn) 行重采樣。dl層圖像對應(yīng)于將目標(biāo)投影點(diǎn)最小距離d下舍入而得到的整 數(shù)值(記作dl )， d2層圖像對應(yīng)于將目標(biāo)投影點(diǎn)最小距離d上舍入而得到 的整數(shù)值(記作d2)。接著，獲取對重采樣得到的像素值進(jìn)行線性插值而 得到的值，作為最終目標(biāo)投影點(diǎn)所對應(yīng)的控制點(diǎn)的色彩信息(目標(biāo)控制點(diǎn) 色彩信息)。該色彩信息是才艮據(jù)例如式(1)來計(jì)算的
P^/PW(.) = (d-[^」)/^e/r"/w(.) + (「《n-d)^^^/k」(')(1) "…目標(biāo)投影點(diǎn)最小距離
L.」…下舍入 「-"i…上舍入
尸/^/f"/(.)…目標(biāo)控制點(diǎn)色彩信息的值 尸^/&/ w (.) --從第w層圖像采樣得到的像素值 尸,;xe,/ w (.)…從第W層圖像采樣得到的像素值 以上述方式獲取每個(gè)目標(biāo)控制點(diǎn)所對應(yīng)的色彩信息等價(jià)于對以比原
始圖像的采樣頻率低的采樣頻率進(jìn)行采樣而得到的攝像圖像40中的像素 進(jìn)行重采樣，從而不產(chǎn)生混疊噪聲。由于不需要進(jìn)行例如規(guī)定圖傳Jt據(jù)中
每個(gè)投影點(diǎn)的邊界線這樣的復(fù)雜處理，因此利用簡單的處理即可i2d^地提
^L每個(gè)控制點(diǎn)所對應(yīng)的色彩信息。
移動(dòng)控制點(diǎn)色彩獲取部14獲取基于以上述方式提取的每個(gè)控制點(diǎn) (投影點(diǎn))所對應(yīng)的色彩信息而創(chuàng)建的、并且具有圖7所示的示意性結(jié)構(gòu) 的當(dāng)前模板中的數(shù)據(jù)。在這種情形下，當(dāng)前模板中的數(shù)據(jù)的生成既可以由 控制點(diǎn)色彩提取部15進(jìn)行，也可以由移動(dòng)控制點(diǎn)色彩獲取部14進(jìn)行。
上面參照圖9所說明的由控制點(diǎn)色彩提取部15進(jìn)行的提取每個(gè)目標(biāo) 控制點(diǎn)所對應(yīng)的色彩信息的方法(控制點(diǎn)色彩41取處理)亦適用于為控制 點(diǎn)初始色彩寄存部12所寄存的初始模板提取每個(gè)控制點(diǎn)的初始色彩。
移動(dòng)控制點(diǎn)色彩獲取部14以上述方式獲取當(dāng)前模板(即，當(dāng)前時(shí)刻 t的控制點(diǎn)色彩模板)中的數(shù)據(jù)，接下來，似真度計(jì)算部16在由控制點(diǎn)初始色彩寄存部12獲取的初始 模板中的數(shù)據(jù)(假定信息)和由移動(dòng)控制點(diǎn)色彩獲取部14獲取的當(dāng)前模 板中的數(shù)據(jù)(觀測值)之間進(jìn)行匹配，以計(jì)算每個(gè)控制點(diǎn)的似真度。
根據(jù)本實(shí)施例，似真度計(jì)算部16采用這樣的算法使用初始;^板與 當(dāng)前模板之間的歸一化相關(guān)值以及色彩直方圖的距離的信息這兩者來計(jì) 算似真度。
歸一化相關(guān)值是根據(jù)式(2)計(jì)算的<formula>formula see original document page 16</formula>
a^(t;,7;)…歸一化相關(guān)值
ro…初始^K板 匸…當(dāng)前模板
…初始;^板樣本編號i的亮度 《(0…當(dāng)前^^:樣本編號i的亮度
在式(2)中，變量i表示初始模板和當(dāng)前模板中為每個(gè)控制點(diǎn)所對 應(yīng)的色彩信息分配的樣本編號。該樣本編號例如以圖7所示的順序分配給 每個(gè)控制點(diǎn)。
色彩直方圖的距離是以如下方式計(jì)算的。
首先，在初始模板和當(dāng)前模板中#^個(gè)控制點(diǎn)所對應(yīng)的色彩信息變換 到HSI空間中，并對色調(diào)(H)分量、色飽和度(S )分量和亮度(I)分 量進(jìn)行量化。對色調(diào)(H)分量和色飽和度(S)分量以3位即8階進(jìn)行 量化，并對亮度(I)分量以2位即4階進(jìn)行量化。
接著，使用經(jīng)量化的色調(diào)(H)、色飽和度(S)和亮度(I)值(量 化值)根據(jù)式(3)針對每個(gè)控制點(diǎn)計(jì)算色彩直方圖的索引。例如，在圖 6A、 6B和圖7所示的例子中，在初始^^板和當(dāng)前^^板中計(jì)算出色彩直方 圖的35個(gè)索引。zWex = //.32 + ^.4 + /……(3)
^…色調(diào)的量化值 S…色飽和度的量化值 /…亮度的量化值
在式(3)中，為色調(diào)(H)、色飽和度(S)和亮度(I)分別設(shè)定系 數(shù)"32"、 "4"和"1"。這些設(shè)定基于如下事實(shí)當(dāng)在色彩直方圖中辨別 色彩時(shí)，色調(diào)(H)具有最高的重要度而亮度(I)具有最低的重類v^。在 式(3)中設(shè)定的系數(shù)是示例值，并且也可以例如考慮到似真度的實(shí)際精 度而適當(dāng)?shù)馗淖儭?br> 為色彩直方圖準(zhǔn)備總共260維(260元)。
這是因?yàn)?，色調(diào)(H)、色飽和度(S)和亮度(I)基本上分別具有3 個(gè)量化位、3個(gè)量化位和2個(gè)量化位，量化位的數(shù)目總計(jì)是8個(gè)。因而， 根據(jù)式(3 )計(jì)算出的索引可按十進(jìn)制系統(tǒng)采取0 ~ 255這256個(gè)值，因此 有必要為色彩直方圖設(shè)定256維。
然而，在灰度級中，色調(diào)(H)和色飽和度(S)的值不穩(wěn)定。因而， 當(dāng)色彩信息^IA度級時(shí)，對于控制點(diǎn)不應(yīng)用式(3)而只采用數(shù)I (亮度) 的量化值。當(dāng)只采用數(shù)I(亮度)的量化值時(shí)，向256維添加4維(4元)。 由此，為色彩直方圖準(zhǔn)備260維。
對每個(gè)控制點(diǎn)所對應(yīng)的色彩信息是否為灰度級的判斷是基于作為色 彩信息而示出的紅(R)值、綠(G)值和藍(lán)(B)值之間的差異是否在預(yù) 定范圍內(nèi)而作出的.如果該差異在預(yù)定范圍內(nèi)，則判斷紅(R)值、綠(G) 值和藍(lán)(B)值彼此相等.
在當(dāng)前模板和初始模板中，將根據(jù)式(3)計(jì)算出的色彩直方圖的每
個(gè)索引投票到以上述方式規(guī)定的色彩直方圖中對應(yīng)的值的維(元)中。這 就創(chuàng)建了與當(dāng)前模板和初始;^;M"應(yīng)的色彩直方圖.
在初始模板中，由于在初始設(shè)置時(shí)寄存的色彩信息的值是固定的，因 此可將預(yù)先創(chuàng)建的色彩直方圖作為初始設(shè)置信息而保存。在這種情形下， 當(dāng)必須使用初始模板的色彩直方圖時(shí)，似真度計(jì)算部16獲取作為初始設(shè) 置信息而M的初始模板的色彩直方圖中的數(shù)據(jù)。
在創(chuàng)建了當(dāng)前模板的色彩直方圖和初始模板的色彩直方圖之后，似真 度計(jì)算部16計(jì)算這兩個(gè)色彩直方圖之間的距離(似真度)。色彩直方圖之間的距離可根據(jù)式(4)計(jì)算為Bhattacharyya系數(shù)<formula>formula see original document page 18</formula>5《,7;)=藝冉眺((/)=i ...... (4)Sc(7;,7;)…色彩直方圖之間的距離M…色彩直方圖的維數(shù)/…分配給色彩直方圖的每個(gè)維的編號^。 (0'初始模板的色彩直方圖維i的投票數(shù)A(z')…當(dāng)前模板的色彩直方圖維i的投票數(shù)似真度計(jì)算部16使用根據(jù)式(2)和(3)計(jì)算出的歸一化相關(guān)值和 色彩直方圖之間的距離(Bhattacharyya系數(shù))，以根據(jù)式(5)計(jì)算最終 的似真度。pr(r。, 7;) = exp[-;i. ((r。,『,))2—尸(r。 ， 7;))2]……(5)z，/…調(diào)整因子 pr(; ;)…似真度式(5)中的調(diào)整因子k和Y是例如考慮到實(shí)際計(jì)算的似真度的精度 而調(diào)整的。本發(fā)明的發(fā)明人確認(rèn)基于歸一化相關(guān)的似真度計(jì)算算法和基于色彩 直方圖的似真度計(jì)算算法是有效的，盡管使用初始模板和當(dāng)前模板的其它 似真度計(jì)算算法也適用于似真度計(jì)算部16。因而，根據(jù)本實(shí)施例，將以 上兩種算法彼此整合來計(jì)算最終的似真度。在例如非專利文獻(xiàn)1中記載了對于模型設(shè)定而言與本實(shí)施例中的控 制點(diǎn)相當(dāng)?shù)?象素映射采樣點(diǎn)(pixel map sampling point).然而，在非專 利文獻(xiàn)l中，U于怎樣在圖像中的模型的輪廓內(nèi)設(shè)定像素映射釆樣點(diǎn)來 計(jì)算似真度的。相比之下，根據(jù)本實(shí)施例，為每個(gè)控制點(diǎn)設(shè)定色彩，并且可在計(jì)算最 終的似真度時(shí)使用假定信息和觀測值中每個(gè)控制點(diǎn)所對應(yīng)的色彩信息。因 此，與不使用色彩信息而將每個(gè)控制點(diǎn)的位置與其輪廓相比較的情況相 比，有可能精確地計(jì)算似真度，從而實(shí)現(xiàn)更高的估計(jì)精度。根據(jù)以上說明的本實(shí)施例的動(dòng)態(tài)估計(jì)處理(即，動(dòng)態(tài)估計(jì)系統(tǒng)l)可由與圖1所示的功能構(gòu)造對應(yīng)的硬件來實(shí)現(xiàn)。動(dòng)態(tài)估計(jì)系統(tǒng)1也可由這，樣的軟件來實(shí)現(xiàn)該軟件描述了使得計(jì)算機(jī)執(zhí)行與圖1所示的功能構(gòu)it^t應(yīng) 的處理的程序。或者，該硬件可與該軟件相結(jié)合。為了由軟件來實(shí)現(xiàn)本實(shí)施例的動(dòng)態(tài)估計(jì)處理的至少一部分，可由擔(dān)當(dāng) 動(dòng)態(tài)估計(jì)系統(tǒng)的硬件資源即計(jì)算機(jī)設(shè)備(中央處理裝置(CPU))來執(zhí)行 構(gòu)成該軟件的程序?；蛘?，也可使得通用個(gè)人計(jì)算機(jī)等計(jì)算^U殳4^M 序，以給予計(jì)算機(jī)設(shè)^L行動(dòng)態(tài)估計(jì)處理的功能。圖10是示出了能夠執(zhí)行與本實(shí)施例的動(dòng)態(tài)估計(jì)系統(tǒng)對應(yīng)的程序的計(jì) 算機(jī)設(shè)備(信息處理設(shè)備)的構(gòu)造的例子的框圖。參照圖10，計(jì)算機(jī)設(shè)備200包括經(jīng)由總線204相互連接的CPU201、只讀存儲器(ROM) 202和隨^取存儲器(RAM) 203。輸入_輸出接口 205也連接至總線204。輸入單元206、輸出單元207、存儲單元208、通信單元209和驅(qū)動(dòng) 器210連接至輸入-輸出接口 205。輸入單元206 ，，鍵，和鼠標(biāo)等操作和輸，設(shè)備。輸入單元20，能夠輸出單元207包括顯示設(shè)備和揚(yáng)聲器。 存儲單元208是例如硬盤或非易失性存儲器。 通信單元209是例如網(wǎng)絡(luò)接口 。驅(qū)動(dòng)器210驅(qū)動(dòng)磁盤、光盤、磁光盤或半導(dǎo)體存儲器等記錄介質(zhì)211。在具有上i^J造的計(jì)算機(jī)i殳備200中，CPU 201將存儲在例如存儲單 元208中的程序經(jīng)由輸入-輸出接口 205和總線204加栽到RAM 203中， 并執(zhí)行所加栽的程序以進(jìn)行上述一系列處理。由CPU 201執(zhí)行的程序可記錄在包括例如磁盤(包括軟盤)、光盤(致 密盤只讀存儲器(CD-ROM)或數(shù)字通用盤(DVD )等)、磁光盤或半導(dǎo) 體存儲器在內(nèi)的封裝介質(zhì)即記錄介質(zhì)2U中，或者可通過局域網(wǎng)、因特網(wǎng) 或數(shù)字衛(wèi)星廣播等有線或無線傳輸介質(zhì)來提供。通過將記錄介質(zhì)211加載到驅(qū)動(dòng)器210中，可將程序通過輸入-輸出 接口 205安裝在存儲單元208中。程序亦可由通信單元209通過有線或無 線傳輸介質(zhì)接收，以安M存儲單元208中。或者，程序可預(yù)先安^fc理可以按本說明書中說 明的順序依次進(jìn)行，可以并行地進(jìn)行，或者可以響應(yīng)于調(diào)用而進(jìn)行。本申請包含與2008年9月16日在日本專利局提交的日本在先專利申 請JP2008-236381相關(guān)的主題，其全部內(nèi)^ii過引用合并于此。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)需求和其它有關(guān)因素， 可以發(fā)生各種修改、組合、子組合和變更，只要它們落入所附權(quán)利要求的 范圍或其等^H殳置之內(nèi)。
權(quán)利要求
1.一種動(dòng)態(tài)估計(jì)設(shè)備，包括控制點(diǎn)設(shè)定裝置，所述控制點(diǎn)設(shè)定裝置為三維物體模型設(shè)定多個(gè)控制點(diǎn)；控制點(diǎn)色彩信息獲取裝置，所述控制點(diǎn)色彩信息獲取裝置當(dāng)所述三維物體模型的實(shí)體作為被攝物而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；初始控制點(diǎn)色彩信息保存裝置，所述初始控制點(diǎn)色彩信息保存裝置將由所述控制點(diǎn)色彩信息獲取裝置從供初始設(shè)置用的所述被攝物圖像獲取的控制點(diǎn)色彩信息作為初始控制點(diǎn)色彩信息而保存；控制點(diǎn)位置估計(jì)裝置，所述控制點(diǎn)位置估計(jì)裝置估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；當(dāng)前控制點(diǎn)色彩信息獲取裝置，所述當(dāng)前控制點(diǎn)色彩信息獲取裝置獲取由所述控制點(diǎn)位置估計(jì)裝置估計(jì)其位置的所述控制點(diǎn)在當(dāng)前時(shí)刻的所述被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及似真度計(jì)算裝置，所述似真度計(jì)算裝置使用所述當(dāng)前控制點(diǎn)色彩信息和所述初始控制點(diǎn)色彩信息來計(jì)算似真度。
2. 根據(jù)權(quán)利要求1所述的動(dòng)態(tài)估計(jì)設(shè)備，其中所述控制點(diǎn)設(shè)定裝置以使得在一個(gè)布置方向上的所述投影位置之間的距離相等的方式在所述三維物^型的表面上布置所述控制點(diǎn)。
3. 根據(jù)權(quán)利要求1或2所述的動(dòng)態(tài)估計(jì)設(shè)備，其中所述控制點(diǎn)色彩信息獲取裝置通過使用以由根據(jù)相鄰控制點(diǎn)之間的距離設(shè)定的像素?cái)?shù)構(gòu)成的最小采樣單位對所述被攝物圖像進(jìn)行重釆樣而得到的重采樣圖像上的每個(gè)投影位置處的像素值，來獲取所述控制點(diǎn)色彩信息。
4. 一種動(dòng)態(tài)估計(jì)方法，包括以下步驟為三維物體^^設(shè)定多個(gè)控制點(diǎn)；當(dāng)所述三維物體模型的實(shí)體作為被攝物而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；將在所述控制點(diǎn)色彩信息獲取步驟中從供初始設(shè)置用的所述被攝物圖4象獲取的控制點(diǎn)色彩信息作為初始控制點(diǎn)色彩信息而M;估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；獲取在所述控制點(diǎn)位置估計(jì)步驟中被估計(jì)其位置的所述控制點(diǎn)在當(dāng)前時(shí)刻的所述被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及^^用所述當(dāng)前控制點(diǎn)色彩信息和所述初始控制點(diǎn)色彩信息來計(jì)算似真度。
5. —種程序，其使得動(dòng)態(tài)估計(jì)設(shè)^Mt以下步驟為三維物^型設(shè)定多個(gè)控制點(diǎn)；當(dāng)所述三維物體模型的實(shí)體作為被攝物而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；將在所述控制點(diǎn)色彩信息獲取步驟中從供初始設(shè)置用的所述^L攝物圖像獲取的控制點(diǎn)色彩信息作為初始控制點(diǎn)色彩信息而M;估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；獲取在所述控制點(diǎn)位置估計(jì)步驟中被估計(jì)其位置的所述控制點(diǎn)在當(dāng)前時(shí)刻的所述被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及使用所述當(dāng)前控制點(diǎn)色彩信息和所述初始控制點(diǎn)色彩信息來計(jì)算似真度，
6. —種動(dòng)態(tài)估計(jì)i殳備，包括控制點(diǎn)設(shè)定單元，所述控制點(diǎn)設(shè)定單元為三維物,型設(shè)定多個(gè)控制點(diǎn)；控制點(diǎn)色彩信息獲取單元，所述控制點(diǎn)色彩信息獲取單元當(dāng)所述三維物體模型的實(shí)體作為被攝物而在被攝物圖像上投影時(shí)獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制點(diǎn)在所述被攝物圖像上投影的投影位置處的色彩；初始控制點(diǎn)色彩信息保存單元，所述初始控制點(diǎn)色彩信息保存單元將由所述控制點(diǎn)色彩信息獲取單元從供初始設(shè)置用的所述被攝物圖像獲取的控制點(diǎn)色彩信息作為初始控制點(diǎn)色彩信息而恭萍；控制點(diǎn)位置估計(jì)單元，所述控制點(diǎn)位置估計(jì)單元估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；當(dāng)前控制點(diǎn)色彩信息獲取單元，所述當(dāng)前控制點(diǎn)色彩信息獲取單元獲取由所述控制點(diǎn)位置估計(jì)單元估計(jì)其位置的所述控制點(diǎn)在當(dāng)前時(shí)刻的所述被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及似真度計(jì)算單元，所述似真度計(jì)算單元使用所述當(dāng)前控制點(diǎn)色彩信息和所述初始控制點(diǎn)色彩信息來計(jì)算似真度。
全文摘要
本發(fā)明提供了一種動(dòng)態(tài)估計(jì)設(shè)備、動(dòng)態(tài)估計(jì)方法和程序。該動(dòng)態(tài)估計(jì)設(shè)備包括控制點(diǎn)設(shè)定單元，其為三維物體模型設(shè)定多個(gè)控制點(diǎn)；控制點(diǎn)色彩信息獲取單元，其獲取控制點(diǎn)色彩信息，所述控制點(diǎn)色彩信息表示每個(gè)控制點(diǎn)在被攝物圖像上投影的投影位置處的色彩；初始控制點(diǎn)色彩信息保存單元，其將從供初始設(shè)置用的上述被攝物圖像獲取的控制點(diǎn)色彩信息作為初始控制點(diǎn)色彩信息而保存；控制點(diǎn)位置估計(jì)單元，其估計(jì)每個(gè)控制點(diǎn)在當(dāng)前時(shí)刻的位置；當(dāng)前控制點(diǎn)色彩信息獲取單元，其獲取上述控制點(diǎn)在當(dāng)前時(shí)刻的被攝物圖像上投影而產(chǎn)生的當(dāng)前控制點(diǎn)色彩信息；以及似真度計(jì)算單元，其使用當(dāng)前控制點(diǎn)色彩信息和初始控制點(diǎn)色彩信息來計(jì)算似真度。
文檔編號G06T7/00GK101676952SQ20091017621
公開日2010年3月24日 申請日期2009年9月16日 優(yōu)先權(quán)日2008年9月16日
發(fā)明者劉玉宇 申請人:索尼株式會(huì)社