專利名稱：用于估計對象狀態(tài)的估計系統(tǒng)、估計方法和估計程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計對象的位置或姿態(tài)的估計系統(tǒng)、估計方法和估計程序，更具體地，涉及一種用于估計對象狀態(tài)的估計系統(tǒng)、估計方法和估計程序，可以快速且精確地估計包含在攝像機所捕獲的或者從存儲介質(zhì)中讀取的圖像(即使在照明條件變化時)中的對象的位置和姿態(tài)之一或兩者。
背景技術(shù)：
能夠估計對象的位置和姿態(tài)的設(shè)備的示例是一種用于識別對象的位置和姿態(tài)的位置/姿態(tài)識別系統(tǒng)。圖14是示出了傳統(tǒng)的位置/姿態(tài)識別設(shè)備的布置的方框圖。該位置/姿態(tài)識別設(shè)備包括姿態(tài)候選組確定裝置910、比較圖像產(chǎn)生裝置920、姿態(tài)選擇裝置930以及最后確定裝置940。
將說明圖14所示的位置/姿態(tài)識別設(shè)備的操作。將包含作為位置/姿態(tài)估計目標(biāo)的對象(下文中稱為目標(biāo)對象)的圖像的輸入圖像數(shù)據(jù)91輸入到位置/姿態(tài)識別設(shè)備。還將包含已知誤差的粗略對象位置/姿態(tài)參數(shù)作為位置/姿態(tài)初始值92輸入到位置/姿態(tài)識別設(shè)備。姿態(tài)候選組確定裝置910通過按照預(yù)定變化改變包含在位置/姿態(tài)初始值92中的六個位置/姿態(tài)參數(shù)(X、Y和Z軸方向中的3D參數(shù)以及關(guān)于X、Y和Z軸的角度參數(shù))，來確定多個位置/姿態(tài)估計值。
根據(jù)預(yù)先存儲在位置/姿態(tài)識別設(shè)備的存儲單元(未示出)中的目標(biāo)對象的3D形狀模型數(shù)據(jù)和用于產(chǎn)生照明變化空間的基底紋理組，比較圖像產(chǎn)生裝置920產(chǎn)生表示當(dāng)目標(biāo)對象具有與每一個位置/姿態(tài)估計值組相對應(yīng)的位置/姿態(tài)時由照明條件中的改變而引起的圖像變化的照明變化空間數(shù)據(jù)。比較圖像產(chǎn)生裝置920根據(jù)照明變化空間數(shù)據(jù)，產(chǎn)生在與輸入圖像數(shù)據(jù)91相同的照明條件下的比較圖像組。
姿態(tài)選擇裝置930將比較圖像組與輸入圖像數(shù)據(jù)91相比較并且輸出與具有最高相似度的比較圖像相對應(yīng)的位置/姿態(tài)估計值，作為最佳位置/姿態(tài)估計值93。如果仍然存在提高比較圖像相似度的余地，最后確定裝置940利用位置/姿態(tài)初始值92(或者當(dāng)前位置/姿態(tài)估計值)代替最佳位置/姿態(tài)估計值93并且將該值輸出到姿態(tài)候選組確定裝置910。位置/姿態(tài)識別設(shè)備重復(fù)地執(zhí)行上述處理，直到不能夠再提高比較圖像的相似度為止，從而最終獲得目標(biāo)對象的最佳位置/姿態(tài)(例如日本專利公開No.2003-58896(參考文獻1))。

發(fā)明內(nèi)容
本發(fā)明要解決的問題當(dāng)使用傳統(tǒng)的位置/姿態(tài)識別設(shè)備時，最終可以獲得目標(biāo)對象的最佳位置或姿態(tài)。然而，在每一次處理時根據(jù)最佳位置/姿態(tài)估計值93產(chǎn)生新的位置/姿態(tài)估計值組的過程中，姿態(tài)候選組確定裝置910沒有了解要獲得大致精確的位置/姿態(tài)的位置/姿態(tài)參數(shù)改變量。而是，姿態(tài)候選組確定裝置910通過簡單地使參數(shù)增加/減少預(yù)定變化，來產(chǎn)生多個位置/姿態(tài)估計值。位置/姿態(tài)識別設(shè)備必須針對所有位置/姿態(tài)估計值執(zhí)行具有較大復(fù)雜度的比較圖像產(chǎn)生處理。因此，直到獲得最終最佳位置/姿態(tài)估計值為止的處理時間較長。
做出本發(fā)明，以解決該問題，并且本發(fā)明的目的是在比以前更短的時間內(nèi)估計包含在圖像中的對象的位置或姿態(tài)。
解決問題的手段根據(jù)本發(fā)明，提供一種用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于包括圖像輸入裝置，用于輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；3D形狀數(shù)據(jù)存儲裝置，用于存儲對象的3D形狀數(shù)據(jù)；比較圖像產(chǎn)生裝置，用于通過使用存儲在3D形狀數(shù)據(jù)存儲裝置中的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；圖像位置關(guān)系檢測裝置，用于針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測輸入圖像和比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像之間的位置關(guān)系；校正量計算裝置，用于通過使用圖像位置關(guān)系檢測裝置所檢測的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及狀態(tài)校正裝置，用于通過使用校正量計算裝置所獲得的校正量，來校正由比較圖像產(chǎn)生裝置在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
根據(jù)本發(fā)明，提供一種估計對象狀態(tài)的估計方法，其特征在于包括步驟輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；通過使用對象的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測到的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及通過使用計算的校正量，來校正在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
根據(jù)本發(fā)明，提供一種用于估計對象位置的估計程序，其特征在于使計算機執(zhí)行以下步驟輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；通過使用對象的3D形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測到的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及通過使用計算的校正量，來校正在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
本發(fā)明的效果根據(jù)本發(fā)明，根據(jù)圖像位移分布和3D形狀數(shù)據(jù)，計算位置或姿態(tài)差值。計算位置/姿態(tài)估計值，使得包含誤差的初始預(yù)測值以最小距離值會聚于(converge)實際位置/姿態(tài)。因此，可以減少比較圖像產(chǎn)生的次數(shù)，并且可以減少計算目標(biāo)對象的位置/姿態(tài)估計值中的復(fù)雜度。因此，可以在比以前更短的時間內(nèi)估計包含在圖像中的對象的位置和姿態(tài)。


圖1是示出了將根據(jù)本發(fā)明用來估計對象狀態(tài)的估計系統(tǒng)作為對象位置/姿態(tài)估計系統(tǒng)所應(yīng)用的環(huán)境的示例的解釋性視圖；圖2是示出了對象位置/姿態(tài)估計系統(tǒng)的布置示例的方框圖；
圖3是示出了3D模型存儲裝置的布置示例的方框圖；圖4是示出了最后確定裝置的布置示例的方框圖；圖5是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的示例的流程圖；圖6是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖；圖7是示出了最后確定裝置的布置示例的方框圖；圖8是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖；圖9是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖；圖10是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖；圖11是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖；圖12是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖；圖13是示出了檢測比較圖像和輸入圖像之間的圖像位移分布的處理的示例的解釋性視圖；以及圖14是示出了傳統(tǒng)的位置/姿態(tài)識別設(shè)備的布置的方框圖。
具體實施例方式
第一實施例下面參考附圖來說明本發(fā)明的第一實施例。圖1是示出了將根據(jù)本發(fā)明用來估計對象狀態(tài)的估計系統(tǒng)作為對象位置/姿態(tài)估計系統(tǒng)所應(yīng)用的環(huán)境的示例的解釋性視圖。如圖1所示，對象位置/姿態(tài)估計系統(tǒng)包括計算機100(中央處理單元、處理器或者數(shù)據(jù)處理單元)，根據(jù)程序來執(zhí)行每一個處理；3D形狀測量設(shè)備200，測量目標(biāo)對象的3D形狀和表面反射比；以及攝像機300，捕獲(sense)包括目標(biāo)對象的對象。
圖2是示出了對象位置/姿態(tài)估計系統(tǒng)的布置示例的方框圖。如圖2所示，對象位置/姿態(tài)估計系統(tǒng)包括比較圖像產(chǎn)生裝置110、圖像位移分布檢測裝置120、姿態(tài)差計算裝置130、最后確定裝置140、3D形狀測量裝置150、照明基底計算裝置(illumination basecalculation means)160、3D模型存儲裝置170以及圖像輸入裝置180。圖1所示的計算機100包括圖2所示組件中的比較圖像產(chǎn)生裝置110、圖像位移分布檢測裝置120、姿態(tài)差計算裝置130、最后確定裝置140、照明基底計算裝置160以及3D模型存儲裝置170。
由3D形狀測量設(shè)備200來實現(xiàn)3D形狀測量裝置150。3D形狀測量裝置150測量要測量位置/姿態(tài)(位置和姿態(tài)中至少一個)的目標(biāo)對象的3D形狀和表面反射比，并且產(chǎn)生目標(biāo)對象的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。由例如計算機100的控制單元(未示出)來實現(xiàn)照明基底計算裝置160。根據(jù)目標(biāo)對象的3D形狀數(shù)據(jù)和表面反射比，照明基底計算裝置160計算照明基底數(shù)據(jù)，用于表示基于目標(biāo)對象每部分的照明條件的亮度改變。
由設(shè)置在計算機100中的存儲設(shè)備(未示出)來實現(xiàn)3D存儲裝置170。3D模型存儲裝置170存儲由3D形狀測量裝置150所產(chǎn)生的目標(biāo)對象3D形狀數(shù)據(jù)以及由照明基底計算裝置160所計算的照明基底數(shù)據(jù)。因此，3D模型存儲裝置170包括3D形狀數(shù)據(jù)存儲單元170a和照明基底數(shù)據(jù)存儲單元(照明基底圖像組存儲單元)170b，如圖3所示。
由攝像機300來實現(xiàn)圖像輸入裝置180。圖像輸入裝置180捕獲包括要估計位置/姿態(tài)的目標(biāo)對象的對象，并且產(chǎn)生輸入圖像數(shù)據(jù)11。圖像輸入裝置180將產(chǎn)生的輸入圖像數(shù)據(jù)11輸入到計算機100。圖像輸入裝置180還接收位置/姿態(tài)初始值12的輸入，即輸入圖像中目標(biāo)對象的位置/姿態(tài)的預(yù)測值的輸入。圖像輸入裝置180接收例如在觀察輸入圖像的同時輸入的目標(biāo)對象的位置/姿態(tài)的近似值，作為位置/姿態(tài)初始值12。圖像輸入裝置180將輸入位置/姿態(tài)初始值12輸出到計算機100。
在該實施例中，目標(biāo)位置/姿態(tài)估計系統(tǒng)通過校正位置/姿態(tài)初始值12的誤差來估計目標(biāo)對象的精確位置/姿態(tài)。即，位置/姿態(tài)初始值12被用作目標(biāo)對象的位置/姿態(tài)估計值的初始值。目標(biāo)位置/姿態(tài)估計系統(tǒng)在估計處理的每一個步驟處獲得當(dāng)前位置/姿態(tài)估計值(在處理的開始處的位置/姿態(tài)初始值12)和目標(biāo)對象的實際位置/姿態(tài)之間的差(誤差)，并且依次地重復(fù)位置/姿態(tài)估計值的校正，從而最終獲得最佳位置/姿態(tài)估計值。
由例如計算機10的控制單元來實現(xiàn)比較圖像產(chǎn)生裝置110。比較圖像產(chǎn)生裝置110根據(jù)存儲在3D模型存儲裝置170中的目標(biāo)對象3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)，來產(chǎn)生在與輸入圖像相同或類似的照明條件下的目標(biāo)對象圖像，作為比較圖像。在這種情況下，比較圖像產(chǎn)生裝置110產(chǎn)生通過假定目標(biāo)圖像處于位置/姿態(tài)估計值給出的位置/姿態(tài)中而獲得的圖像，作為比較圖像。使用位置/姿態(tài)初始值12或最后確定裝置140(稍后進行說明)所計算的位置/姿態(tài)估計值，作為位置/姿態(tài)估計值。
按照例如下面公知的方法來執(zhí)行產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像的處理。例如，表示目標(biāo)對象的表面上的每一個位置處的亮度的紋理根據(jù)照明條件而變化。預(yù)先登記由照明變化而產(chǎn)生的各種紋理空間和目標(biāo)對象的3D形狀數(shù)據(jù)。根據(jù)登記的紋理空間和3D形狀數(shù)據(jù)，可以將每一個紋理空間轉(zhuǎn)換為當(dāng)目標(biāo)對象處于必須的位置/姿態(tài)中時由照明條件中的變化而產(chǎn)生的照明變化空間。比較圖像產(chǎn)生裝置110可以通過使用該轉(zhuǎn)換方法，產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像。
在例如日本專利公開No.2002-157595(下文中稱為參考文獻2)中描述了產(chǎn)生在相同或類似照明條件下的比較圖像的方法(在再現(xiàn)相同或類似照明條件的同時產(chǎn)生圖像的方法)。
由例如計算機100的控制單元來實現(xiàn)圖像位移分布檢測裝置120。圖像位移分布檢測裝置120將比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像分割成每一個與具有預(yù)定尺寸的部分(子區(qū)域)相對應(yīng)的局部圖像。圖像位移分布檢測裝置120將每一個局部圖像的亮度值與輸入圖像的亮度值相比較，并且檢測使疊加圖像之間的相似度最大的圖像運動方向。即，圖像位移分布檢測裝置120檢測比較圖像的每一個子區(qū)域關(guān)于輸入圖像的圖像位移分布(在每一個子區(qū)域中比較圖像和輸入圖像之間的位置關(guān)系)。
圖像位移分布檢測裝置120通過使用例如通常稱為光流(opticalflow)的圖像位移檢測技術(shù)，來檢測圖像位移分布。更具體地，圖像位移分布檢測裝置120通過檢測表示圖像中對象的部分的運動的運動矢量的分布，來檢測比較圖像和輸入圖像之間的圖像位移分布。例如在International Journal of Computer Vision，Netherlands，Kluwer Academaic Publishers，1994，121，43-77頁的J.L.Barton、D.J.Fleet以及S.S.Beauchemin的“Performance of Optical FlowTechniques”中描述了一種通過光流檢測圖像位移的技術(shù)。
由例如計算機100的控制單元來實現(xiàn)姿態(tài)差計算裝置130。根據(jù)由圖像位移分布檢測裝置120所計算的每一個子區(qū)域的圖像位移分布以及目標(biāo)對象的3D形狀數(shù)據(jù)的每一個部分的3D坐標(biāo)數(shù)據(jù)(與每一個子區(qū)域相對應(yīng)的3D坐標(biāo)數(shù)據(jù))，姿態(tài)差計算裝置130計算當(dāng)實際移動目標(biāo)對象時使每一個部分與位移分布最接近的3D運動(移動量或旋轉(zhuǎn)量)。姿態(tài)差計算裝置130計算3D運動計算結(jié)果，作為位置/姿態(tài)差值(校正量)。
最后確定裝置140包括位置/姿態(tài)確定單元141、估計值存儲單元142以及估計值管理單元143，如圖4所示。由例如計算機100的控制單元和存儲單元來實現(xiàn)最后確定裝置140。
位置/姿態(tài)確定單元141確定當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時所假定的目標(biāo)對象的位置/姿態(tài)是否適當(dāng)。根據(jù)預(yù)定閾值和由姿態(tài)差計算裝置130所計算的位置/姿態(tài)差值之間的量值關(guān)系，來確定位置/姿態(tài)是否適當(dāng)。如果位置/姿態(tài)差值小于閾值，確定當(dāng)前的位置/姿態(tài)是適當(dāng)?shù)?。如果位?姿態(tài)差值不小于(等于或大于)閾值，確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?。位?姿態(tài)確定單元141將確定結(jié)果輸出到估計值管理單元143。
估計值存儲單元142存儲當(dāng)前位置/姿態(tài)估計值。更具體地，估計值存儲單元142存儲位置/姿態(tài)初始值12，作為位置/姿態(tài)估計值的初始值，并且還存儲由估計值管理單元143所計算的新的位置/姿態(tài)估計值，如稍后將進行說明的。
估計值管理單元143根據(jù)從位置/姿態(tài)確定單元141輸入的確定結(jié)果，來執(zhí)行下面的處理。如果位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?，?dāng)前位置/姿態(tài)估計值是最精確的估計值(與目標(biāo)對象的實際位置/姿態(tài)最接近的值)。估計值管理單元143從估計值存儲單元142中讀取當(dāng)前位置/姿態(tài)估計值，并輸出該估計值，作為最佳位置/姿態(tài)估計值13，且結(jié)束該處理。如果位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，估計值管理單?43從估計值存儲單元142中讀取當(dāng)前位置/姿態(tài)估計值，并且將位置/姿態(tài)差值與估計值的每一個參數(shù)相加，從而計算出對當(dāng)前位置/姿態(tài)估計值校正后的新的位置/姿態(tài)估計值。該處理與在產(chǎn)生比較圖像中所假定的目標(biāo)對象位置/姿態(tài)的校正相對應(yīng)。估計值管理單元143還將存儲在估計值存儲單元142中的內(nèi)容更新為新的位置/姿態(tài)估計值，并且將該估計值輸出到比較圖像產(chǎn)生裝置110。當(dāng)新的位置/姿態(tài)估計值被輸入到比較圖像產(chǎn)生裝置110時，對象位置/姿態(tài)估計系統(tǒng)重復(fù)自比較圖像產(chǎn)生裝置110的比較圖像產(chǎn)生處理開始的連續(xù)處理操作。
由圖像位移分布檢測裝置120來實現(xiàn)圖像位置關(guān)系檢測裝置。由姿態(tài)差計算裝置130來實現(xiàn)校正量計算裝置。由估計值管理單元143來實現(xiàn)狀態(tài)校正裝置。由位置/姿態(tài)確定單元141來實現(xiàn)狀態(tài)確定裝置。
在該實施例中，設(shè)置在計算機100中的存儲設(shè)備存儲用于執(zhí)行目標(biāo)對象位置/姿態(tài)估計處理的程序。例如，設(shè)置在計算機100中的存儲設(shè)備存儲對象狀態(tài)估計程序，用于使計算機執(zhí)行以下處理通過使用存儲在數(shù)據(jù)庫中的對象3D形狀數(shù)據(jù)，產(chǎn)生對象被設(shè)置為預(yù)定狀態(tài)(位置和姿態(tài)中的至少一個)的圖像，作為比較圖像；針對每一個子區(qū)域，檢測輸入圖像和產(chǎn)生的比較圖像之間的位置關(guān)系；通過使用針對每一個子區(qū)域檢測到的位置關(guān)系，計算比較圖像中對象狀態(tài)的校正量；以及，通過使用計算的校正量來校正比較圖像產(chǎn)生時設(shè)置的對象狀態(tài)，計算新的對象狀態(tài)。可以將該估計程序記錄在光盤、磁盤或其他記錄介質(zhì)上并提供該估計程序。
接下來說明操作。圖5是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的示例的流程圖。對象位置/姿態(tài)估計系統(tǒng)的用戶(下文中簡稱為用戶)操作3D形狀測量設(shè)備200(3D形狀測量裝置150)，以預(yù)先輸入要估計位置/姿態(tài)的目標(biāo)對象的3D形狀和表面反射比的測量指令。根據(jù)用戶操作，3D形狀測量裝置150測量目標(biāo)對象的3D形狀和表面反射比，并且產(chǎn)生3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。
如果通過僅從一個方向測量目標(biāo)對象來測量3D形狀和表面反射比，產(chǎn)生了不可見的區(qū)域。因此，不可以測量整個對象的形狀和表面反射比。在這種情況下，甚至通過從其他方向測量目標(biāo)對象并且整合測量值，來產(chǎn)生整個對象的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)。
根據(jù)由3D形狀測量裝置150所產(chǎn)生的3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)，照明基底計算裝置160計算表示在各種照明條件下目標(biāo)對象圖像的亮度值中變化的照明基底圖像組。照明基底計算裝置160將計算的照明基底圖像組存儲在3D模型存儲裝置170中，作為照明基底數(shù)據(jù)。照明基底計算裝置160還將來自3D形狀測量裝置150的3D形狀數(shù)據(jù)與照明基底數(shù)據(jù)一起存儲在3D模型存儲裝置170中(步驟S10)。
用戶通過操作攝像機300(圖像輸入裝置180)來捕獲目標(biāo)對象。圖像輸入裝置180根據(jù)用戶操作來捕獲包括要估計位置/姿態(tài)的目標(biāo)對象的對象，并且產(chǎn)生輸入圖像數(shù)據(jù)11(步驟S11)。圖像輸入裝置180將產(chǎn)生的輸入圖像數(shù)據(jù)11輸出到計算機100。
用戶在觀察輸入圖像的同時輸入并指定表示輸入圖像中目標(biāo)對象的粗略位置/姿態(tài)的值。圖像輸入裝置180將用戶所輸入和指定的粗略位置/姿態(tài)的值輸出到計算機100，作為位置/姿態(tài)初始值12(步驟S12)。位置/姿態(tài)初始值12被輸入到比較圖像產(chǎn)生裝置110并且被存儲在最后確定裝置140的估計值存儲單元142中。
代替使用戶在觀察輸入圖像的同時手動地輸入并指定位置/姿態(tài)初始值12，可以將從另一個估計設(shè)備/系統(tǒng)輸出的估計值輸入到對象位置/姿態(tài)估計系統(tǒng)。例如，如果存在能夠估計目標(biāo)對象的位置/姿態(tài)而不需要輸入初始值的估計設(shè)備/系統(tǒng)(例如，使用傳感器來檢測對象的粗略旋轉(zhuǎn)角的設(shè)備)，可以將從該估計設(shè)備/系統(tǒng)輸出的估計值輸入到對象位置/姿態(tài)估計系統(tǒng)。在這種情況下，可以估計目標(biāo)對象的精確位置/姿態(tài)，而不需要手動地輸入初始值。
比較圖像產(chǎn)生裝置110提取預(yù)先存儲在3D模型存儲裝置170中的目標(biāo)對象3D形狀數(shù)據(jù)以及照明基底數(shù)據(jù)。比較圖像產(chǎn)生裝置110還從圖像輸入裝置180接收輸入圖像數(shù)據(jù)11。假定目標(biāo)對象處于按照位置/姿態(tài)初始值12給出的位置/姿態(tài)中，根據(jù)3D形狀數(shù)據(jù)、照明基底數(shù)據(jù)以及輸入圖像數(shù)據(jù)11，比較圖像產(chǎn)生裝置110產(chǎn)生在與輸入圖像相同或類似的照明條件下的目標(biāo)對象圖像，作為比較圖像(步驟S 13)。
圖像位移分布檢測裝置120將比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像分割為每一個與具有預(yù)定尺寸的部分相對應(yīng)的局部圖像。圖像位移分布檢測裝置120通過將每一個局部圖像疊加在輸入圖像上來比較亮度值，并且檢測使屏幕上圖像之間的相似度最大的圖像運動方向，作為圖像位移分布(步驟S14)。圖像位移分布檢測裝置120可以通過將輸入圖像分割為局部圖像并且將每一個局部圖像疊加在比較圖像上來比較亮度值，以檢測圖像位移分布。
根據(jù)由圖像位移分布檢測裝置120所檢測的圖像位移分布和包含在目標(biāo)對象的3D形狀數(shù)據(jù)中的每一個部分的3D坐標(biāo)數(shù)據(jù)(與每一個子區(qū)域相對應(yīng)的數(shù)據(jù))，姿態(tài)差計算裝置130計算當(dāng)實際移動目標(biāo)對象時每一個部分與位移分布最接近的目標(biāo)對象的3D運動。姿態(tài)差計算裝置130計算3D運動計算結(jié)果，作為位置/姿態(tài)差值(步驟S15)。
在最后確定裝置140中，位置/姿態(tài)確定單元141確定當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時所設(shè)置的目標(biāo)對象的位置/姿態(tài)是否適當(dāng)(步驟S16)。更具體地，當(dāng)由姿態(tài)差計算裝置130所計算的位置/姿態(tài)差值小于預(yù)定閾值時，確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?在步驟S16中為“是”)。在這種情況下，估計值管理單元143從估計值存儲單元142中讀取當(dāng)前位置/姿態(tài)估計值并且輸出該估計值，作為最佳位置/姿態(tài)估計值13(步驟S17)。結(jié)束處理。
當(dāng)位置/姿態(tài)差值不小于預(yù)定閾值時，位置/姿態(tài)確定單元141確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?步驟S16)。在這種情況下，估計值管理單元143從估計值存儲單元142中讀取當(dāng)前位置/姿態(tài)估計值并且將位置/姿態(tài)差值與估計值的每一個參數(shù)相加，從而計算出新的位置/姿態(tài)估計值。估計值管理單元143還將存儲在估計值存儲單元412中的內(nèi)容更新為新的位置/姿態(tài)估計值并且將估計值輸出到比較圖像產(chǎn)生裝置110(步驟S18)。
計算機100重復(fù)地執(zhí)行步驟S13、S14、S15、S16以及S18中的處理，直到在步驟S16中確定位置/姿態(tài)差值小于預(yù)定閾值為止。
如上所述，根據(jù)本實施例，對象位置/姿態(tài)估計系統(tǒng)包括圖像位移分布檢測裝置120和姿態(tài)差計算裝置130。比較圖像和輸入圖像被分割為每一個具有預(yù)定尺寸的局部圖像子區(qū)域。針對每一個局部圖像，將比較圖像的亮度值和輸入圖像的亮度值相比較，以檢測2D位置移位。對象位置/姿態(tài)估計系統(tǒng)進行操作，從而根據(jù)位置移位分布和預(yù)先登記的目標(biāo)對象3D形狀模型，計算目標(biāo)對象的位置/姿態(tài)的3D位置/姿態(tài)差值，并且通過將位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計值相加，來更新位置/姿態(tài)估計值。
利用上述布置，對象位置/姿態(tài)估計系統(tǒng)更新位置/姿態(tài)估計值，使得估計值從包含誤差的初始值以最小距離會聚于實際位置/姿態(tài)。在該實施例中，不必要產(chǎn)生多個位置/姿態(tài)估計值、根據(jù)所有的估計值來產(chǎn)生比較圖像以及將它們與輸入圖像相比較。與傳統(tǒng)的位置/姿態(tài)識別設(shè)備相比，可以減少比較圖像產(chǎn)生的次數(shù)和計算目標(biāo)對象的位置/姿態(tài)估計值中的復(fù)雜度。因此，可以快速地估計包含在圖像中的對象的位置或姿態(tài)。
下面說明預(yù)先輸入的初始位置/姿態(tài)估計值從目標(biāo)對象的實際位置/姿態(tài)在X、Y和Z軸方向中平移1mm、2mm和3mm并且關(guān)于X、Y和Z軸旋轉(zhuǎn)6°、4°和2°的示例。在傳統(tǒng)的位置/姿態(tài)識別設(shè)備中，最佳方向和從初始值改變的參數(shù)量是未知的。傳統(tǒng)位置/姿態(tài)識別設(shè)備在例如在平移方向中以1mm的步長以及在旋轉(zhuǎn)方向中以2°的步長改變參數(shù)的同時，搜索估計值。
在這種情況下，位置/姿態(tài)識別設(shè)備必須執(zhí)行搜索處理最少總共12次(平移方向中1+2+3＝6次以及旋轉(zhuǎn)方向中3+2+1＝6次)。更具體地，位置/姿態(tài)識別設(shè)備需要執(zhí)行再現(xiàn)圖像(比較圖像)產(chǎn)生處理和輸入圖像和再現(xiàn)圖像之間的相似度計算處理的每一個，至少12次。在實際處理中，為了確定在一個位置處估計值和實際位置/姿態(tài)之間的誤差是否是最小的，必須從圖像再現(xiàn)誤差的最小點繼續(xù)再搜索位置/姿態(tài)一個步長。因此，位置/姿態(tài)識別設(shè)備必須執(zhí)行搜索處理最少12+6＝18次。
根據(jù)該實施例，對象位置/姿態(tài)估計系統(tǒng)根據(jù)登記的3D形狀模型和照明基底數(shù)據(jù)，通過使用作為初始值輸入的位置/姿態(tài)參數(shù)，產(chǎn)生在與輸入圖像相同或類似的照明條件下的比較圖像。對象位置/姿態(tài)估計系統(tǒng)還將圖像上包含目標(biāo)對象的區(qū)域分割為具有預(yù)定尺寸的塊，并且檢測比較圖像的塊和輸入實際圖像之間的2D位移方向(當(dāng)在圖像上在垂直和水平方向中移動并且比較每一個部分時(即圖像位移分布)使比較圖像和輸入圖像之間的亮度值差最小化的運動量)。對象位置/姿態(tài)估計系統(tǒng)在一個方向更新位置/姿態(tài)估計值，以最佳地校正檢測的圖像位移分布，使得可以同時更新位置/姿態(tài)的六個參數(shù)。因此，通過較少次數(shù)的搜索，可以獲得精確的位置/姿態(tài)估計值，并且與傳統(tǒng)的位置/姿態(tài)識別設(shè)備相比，可以減少估計值計算的復(fù)雜度。
第二實施例接下來參考附圖來說明本發(fā)明的第二實施例。圖6是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖。如圖6所示，在對象位置/姿態(tài)估計系統(tǒng)中，第一實施例的最后確定裝置140由最后確定裝置140a代替，并且添加更新比較圖像產(chǎn)生裝置110a。其他組成單元與第一實施例相同。
由例如計算機100的控制單元來實現(xiàn)更新比較圖像產(chǎn)生裝置110a。當(dāng)姿態(tài)差計算裝置130計算位置/姿態(tài)差值時，更新比較圖像產(chǎn)生裝置110a從最后確定裝置140a中讀取當(dāng)前位置/姿態(tài)估計值并且將位置/姿態(tài)差值與估計值相加，從而計算出新的位置/姿態(tài)估計值。該處理與第一實施例中估計值管理單元143所執(zhí)行的處理相同。假定目標(biāo)對象處于新的位置/姿態(tài)估計值的位置/姿態(tài)中，根據(jù)目標(biāo)對象的3D形狀數(shù)據(jù)以及照明基底數(shù)據(jù)，更新比較圖像產(chǎn)生裝置110a產(chǎn)生在與輸入圖像相同或類似的照明條件下的圖像，作為更新比較圖像。將新的位置/姿態(tài)估計值和更新比較圖像輸出到最后確定裝置140a。
如圖7所示，最后確定裝置140a包括位置/姿態(tài)確定單元141a、估計值存儲單元142a、第一相似度計算單元145、第二相似度計算單元146以及比較圖像存儲單元147，并且由例如計算機的控制單元和存儲單元來實現(xiàn)。
第一相似度計算單元145計算輸入圖像和由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像之間的第一相似度(下文中稱為更新之后的相似度)。第二相似度計算單元146計算輸入圖像和存儲在比較圖像存儲單元147中的當(dāng)前比較圖像之間的相似度(下文中稱為更新之前的相似度)，如稍后將進行說明的。
位置/姿態(tài)確定單元141a將更新之后的相似度與更新之前的相似度相比較，從而確定當(dāng)比較圖像產(chǎn)生裝置110和更新比較圖像產(chǎn)生裝置110a產(chǎn)生比較圖像和更新比較圖像是假定的目標(biāo)對象的位置/姿態(tài)是否適當(dāng)。更具體地，如果更新之后的相似度高于更新之前的相似度，確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?。如果更新之后的相似度不高?等于或低于)更新之前的相似度，確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?。將確定結(jié)果輸出到估計值存儲單元142a和比較圖像存儲單元147。
比較圖像存儲單元147存儲當(dāng)前的比較圖像。比較圖像存儲單元147首先存儲由比較圖像產(chǎn)生裝置110所產(chǎn)生的比較圖像，并隨后存儲由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，比較圖像存儲單元147將存儲的內(nèi)容更新為新的更新比較圖像，并且將新的更新比較圖像輸出到圖像位移分布檢測裝置120。
估計值存儲單元142a存儲當(dāng)前位置/姿態(tài)估計值。更具體地，估計值存儲單元142a存儲位置/姿態(tài)初始值12，作為位置/姿態(tài)估計值的初始值，并隨后存儲由更新比較圖像產(chǎn)生裝置110a所計算的新的位置/姿態(tài)估計值。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?，估計值存儲單?42a將存儲的內(nèi)容更新為新的位置/姿態(tài)估計值。如果位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?，確定值存儲單元142a輸出當(dāng)前位置/姿態(tài)估計值，作為最佳位置/姿態(tài)估計值13，并且結(jié)束處理。
圖8是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖。圖8中步驟S10至S15中的處理與第一實施例相同。在該實施例中，除了第一實施例的處理之外，還執(zhí)行步驟S20至S22中的處理。步驟S23中的狀態(tài)確定處理的內(nèi)容與第一實施例不同，如圖8所示。
當(dāng)在步驟S15中計算位置/姿態(tài)差值時，更新比較圖像產(chǎn)生裝置110a將位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計值相加，從而計算出新的位置/姿態(tài)估計值。假定目標(biāo)對象處于新的位置/姿態(tài)估計值的位置/姿態(tài)中，根據(jù)目標(biāo)對象的3D形狀數(shù)據(jù)、照明基底數(shù)據(jù)以及輸入圖像數(shù)據(jù)11，更新比較圖像產(chǎn)生裝置110a產(chǎn)生在與輸入圖像相同或類似照明條件下的圖像，作為更新比較圖像(步驟S20)。由最后確定裝置140a通過將更新之前和之后的圖像的相似度相比較，來確定是否采用新的位置/姿態(tài)估計值和更新的比較圖像作為要在隨后的處理中使用的數(shù)據(jù)，如后面所述。
在最后確定裝置140a中，第一相似度計算單元145計算輸入圖像和由更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像之間的相似度，即更新之后的相似度(步驟S21)。第二相似度計算單元146來計算輸入圖像和基于當(dāng)前位置/姿態(tài)估計值的當(dāng)前比較圖像之間的相似度，即更新之前的相似度(步驟S22)。
位置/姿態(tài)確定單元141a將更新之后的相似度與更新之前的相似度相比較。如果更新之后的相似度高于更新之前的相似度，位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是不適當(dāng)?shù)?在步驟S23中為“否”)。由更新比較圖像產(chǎn)生裝置110a所計算的新的位置/姿態(tài)估計值代替當(dāng)前的位置/姿態(tài)估計值，并且被確定為要在隨后的處理中使用的位置/姿態(tài)估計值(步驟S18)。在這種情況下，更新比較圖像產(chǎn)生裝置110a所產(chǎn)生的更新比較圖像代替當(dāng)前的比較圖像，并且被確定為要在隨后的處理中使用的比較圖像。計算機100重復(fù)地執(zhí)行步驟S14、S15、S20、S21、S22、S23以及S18中的處理，直到更新之后的相似度等于或低于更新之前的相似度。
如果更新之后的相似度不高于更新之前的相似度，位置/姿態(tài)確定單元141a確定當(dāng)前位置/姿態(tài)是適當(dāng)?shù)?步驟S23中為“是”)。作為最終的最佳位置/姿態(tài)估計值13輸出當(dāng)前位置/姿態(tài)估計值(更新之前的位置/姿態(tài)估計值)(步驟S17)，并且結(jié)束處理。
如上所述，根據(jù)該實施例，與第一實施例相比，盡管處理步驟的數(shù)目增加，即使當(dāng)位置/姿態(tài)差值較小時，可以進行估計處理，使比較圖像更接近于輸入圖像。因此，與第一實施例相比，可以進一步縮小位置/姿態(tài)估計值，并且可以增加最終位置/姿態(tài)估計值的精確度。
第三實施例下面參考附圖來說明本發(fā)明的第三實施例。圖9是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖。如圖9所示，在對象位置/姿態(tài)估計系統(tǒng)中，代替第一實施例的組件的圖像輸入裝置180，使用圖像輸入裝置180a，并且代替最后確定裝置140，使用姿態(tài)更新裝置140b。
在該實施例中，包含要估計位置/姿態(tài)估計值的目標(biāo)對象的圖像不是靜態(tài)圖像而是運動圖像。對象位置/姿態(tài)估計系統(tǒng)隨著目標(biāo)對象運動連續(xù)地輸出所需的位置/姿態(tài)估計值。在該實施例中，由例如攝像機的運動圖像傳感裝置來實現(xiàn)圖像輸入裝置180a。由例如計算機100的控制單元和存儲單元來實現(xiàn)姿態(tài)更新裝置140b。在該實施例中，將說明目標(biāo)對象是人臉的示例。其他組成單元與第一實施例相同。
圖10是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖。在該實施例中，除了第一實施例的處理之外，還執(zhí)行在每一次處理處接收包含在運動圖像中的靜態(tài)圖像(幀圖像)之一(最新的幀圖像)的步驟S30的處理。代替步驟S16中的狀態(tài)確定處理，執(zhí)行步驟S31中的姿態(tài)更新處理。
與在第一實施例相同，當(dāng)產(chǎn)生照明基底數(shù)據(jù)時，照明基底計算裝置160將3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)存儲在3D模型存儲裝置170中(步驟S10)。用戶在觀察運動圖像的同時輸入并指定包含在運動圖像中的第一幀圖像中的人臉的粗略位置/姿態(tài)。圖像輸入裝置180a將由用戶輸入并指定的粗略位置/姿態(tài)輸出到計算機100，作為位置/姿態(tài)初始值12(步驟S12)。
比較圖像產(chǎn)生裝置110從圖像輸入裝置180a接收此時的幀圖像，作為輸入圖像數(shù)據(jù)11a(步驟S30)。與第一實施例相同，比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像(步驟S13)。圖像位移分布檢測裝置120檢測圖像位移分布(步驟S14)。姿態(tài)差計算裝置130計算姿態(tài)差值(步驟S15)。步驟S13至S15中的處理內(nèi)容與第一實施例相同。
姿態(tài)更新裝置140b通過將姿態(tài)差計算裝置130所計算的位置/姿態(tài)差值與當(dāng)前位置/姿態(tài)估計值相加，來更新位置/姿態(tài)估計值(步驟S131)。在這種情況下，位置更新裝置140b輸出更新的位置/姿態(tài)估計值，作為每一次更新中此時的最佳位置/姿態(tài)估計值13。計算機100重復(fù)地執(zhí)行步驟S30、S13、S14、S15以及S31中的處理，直到運動圖像結(jié)束。
如上所述，根據(jù)該實施例，可以實時地估計隨著時間流逝而改變的運動目標(biāo)對象的位置/姿態(tài)。通過將根據(jù)當(dāng)前/姿態(tài)估計值而產(chǎn)生的比較圖像與包含在當(dāng)前運動圖像中的幀圖像進行比較，一直更新位置/姿態(tài)。因此，可以在較長時間內(nèi)執(zhí)行精確的位置/姿態(tài)估計處理，而不積累誤差。
第四實施例下面參考附圖來說明本發(fā)明的第四實施例。圖11是示出了對象位置/姿態(tài)估計系統(tǒng)的另一種布置示例的方框圖。如圖11所示，除了第一實施例的組件之外，對象位置/姿態(tài)估計系統(tǒng)包括特征提取裝置190。其他的組成單元與第一實施例相同。
由例如計算機100的控制單元來實現(xiàn)特征提取裝置190。由特征提取裝置190來實現(xiàn)特征量提取裝置。
圖12是示出了由對象位置/姿態(tài)估計系統(tǒng)所執(zhí)行的目標(biāo)對象位置/姿態(tài)估計處理的另一個示例的流程圖。在該實施例中，代替直接將比較圖像的圖像亮度值與輸入圖像的圖像亮度值相比較來檢測圖像位置，通過使用濾波器來提取適用于位置移位檢測的圖像特征量，來檢測圖像位移分布。在該實施例中，說明將邊緣特征量用作圖像特征量的情況。可以將除了邊緣特征量之外的任意其他特征量，例如Gabor特征量，用作圖像特征量。
圖12中步驟S10至S13中的處理與第一實施例相同。當(dāng)比較圖像產(chǎn)生裝置110產(chǎn)生比較圖像時，特征提取裝置109針對比較圖像和輸入圖像的每一個，通過使用邊緣檢測濾波器，來產(chǎn)生邊緣圖像，作為圖像特征量(步驟S40)。
特征提取裝置190包括針對圖像的垂直方向的邊緣檢測濾波器和針對圖像的水平方向的邊緣檢測濾波器。在步驟S40中，特征提取裝置190通過分別使用垂直和水平邊緣檢測濾波器，產(chǎn)生比較圖像的垂直邊緣圖像(下文中稱為垂直邊緣)以及水平邊緣圖像(下文中稱為水平邊緣)和輸入圖像的垂直和水平邊緣。即，特征提取裝置190在步驟S40中產(chǎn)生四個邊緣圖像。
圖像位移分布檢測裝置120通過將比較圖像的垂直和水平邊緣分割為具有預(yù)定尺寸的部分，來產(chǎn)生局部邊緣圖像。圖像位移分布檢測裝置120通過疊加，來將每一個局部邊緣圖像與輸入圖像的垂直和水平邊緣相比較。圖像位移分布檢測裝置120檢查增加屏幕上相似度的運動方向并且輸出增加相似度的方向，作為圖像位移分布(步驟S41)。
在步驟S41中，因為通過比較垂直邊緣圖像可以清楚地檢測水平圖像移位，圖像位移分布檢測裝置120通過將比較圖像與輸入圖像的垂直邊緣相比較，檢測水平圖像位移。因為通過比較水平邊緣圖像可以清楚地檢測垂直圖像移位，圖像位移分布檢測裝置120通過將比較圖像與輸入圖像的水平邊緣相比較，檢測垂直圖像位移。當(dāng)最佳圖像特征量被用于檢測每一個方向中的位置移位時，可以增加圖像位移分布檢測精確度。
步驟S15至S18中的處理與第一實施例相同。
如上所述，根據(jù)該實施例，代替直接將比較圖像的圖像亮度值與輸入圖像的圖像亮度值相比較，通過使用能夠比亮度值進行更敏感的位置移位檢測的圖像特征量圖像位移，檢測圖像移位，作為每一個部分的圖像位置移位。因此，與使用亮度值相比較，可以精確地檢測圖像位移。因此，可以增加計算的位置/姿態(tài)差值的精確度，并且可以增加最終獲得的位置/姿態(tài)估計值的精確度。
第五實施例作為第五實施例來說明第一實施例的詳細示例。在該實施例中，對象位置/姿態(tài)估計系統(tǒng)包括3D形狀測量設(shè)備200，用于測量要預(yù)先登記的目標(biāo)對象的3D形狀；攝像機300，捕獲包括要估計位置/姿態(tài)的目標(biāo)對象的對象；以及個人計算機(計算機100)，用作數(shù)據(jù)處理設(shè)備/數(shù)據(jù)存儲設(shè)備。在該實施例中，說明要估計位置/姿態(tài)的目標(biāo)對象是人臉的示例。
(3D形狀數(shù)據(jù)登記處理)
首先說明系統(tǒng)準(zhǔn)備階段的處理(即步驟S10的3D數(shù)據(jù)登記處理)。在圖5所示的3D形狀數(shù)據(jù)登記處理中，要估計位置/姿態(tài)的目標(biāo)對象(在該實施例中為特定人臉)的3D形狀和表示基于目標(biāo)對象表面上的任意照明條件的亮度值改變的照明基底數(shù)據(jù)被存儲在設(shè)置在計算機100中的存儲設(shè)備中，如上所述。
用戶通過操作3D形狀測量設(shè)備200來命令測量臉部的3D形狀和表面反射比。用于數(shù)據(jù)處理的計算機100從3D形狀測量設(shè)備200接收3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)(或者與表面反射比相對應(yīng)的圖像數(shù)據(jù))。
根據(jù)3D形狀數(shù)據(jù)和表面反射比數(shù)據(jù)(或者圖像數(shù)據(jù))，計算機100計算表示臉部表面亮度中的照明變化的照明基底組。計算機100將計算的照明基底組存儲在例如存儲設(shè)備中，作為照明基底數(shù)據(jù)。在這種情況下，計算機100通過使用下面的技術(shù)，來產(chǎn)生照明基底組。照明基底組產(chǎn)生技術(shù)不局限于該實施例的技術(shù)。根據(jù)比較圖像產(chǎn)生算法(稍后進行說明)，可以使用各種照明基底組產(chǎn)生技術(shù)。
在該實施例中，將說明一種在步驟S10的3D形狀數(shù)據(jù)登記處理中以及在步驟S13的比較圖像產(chǎn)生處理中校正照明條件的變化的方法。如果照明條件中的改變較小或為零，可以省略校正處理。在這種情況下，計算機100可以直接將目標(biāo)對象的表面上的每一個點的亮度值存儲在例如存儲設(shè)備中，不需要計算照明基底組。
以下針對3D形狀數(shù)據(jù)的表面，定義用于計算照明基底紋理的紋理坐標(biāo)系統(tǒng)。在該示例中，3D形狀數(shù)據(jù)包含對象表面上每一點的坐標(biāo)數(shù)據(jù)，作為原點設(shè)置在目標(biāo)對象的重心處的3D坐標(biāo)(x，y，z)。即，3D形狀數(shù)據(jù)是一組對象表面上的點的坐標(biāo)數(shù)據(jù)。在這種情況下，定義包圍對象的、中心位于對象重心處的球體。點P至球體表面的投影點被設(shè)置為Q。點Q的緯度和經(jīng)度(s，t)被定義為對象表面上每一個點P的紋理坐標(biāo)。通過根據(jù)對象形狀使用任意其他坐標(biāo)，可以計算系統(tǒng)照明基底組。
計算機100計算對象表面上每一個點在不同照明條件i下的亮度Ii(s，t)。在設(shè)置照明條件中，例如，假定一點光源被放置在無窮遠處。在從-90°至+90°的每10°間隔上改變緯度和精度，以獲得19×19＝361個方向矢量Li。根據(jù)方向矢量Li，針對光輻射設(shè)置照明條件?？梢匀我庠O(shè)置輻射方向和輻射方向數(shù)目。假設(shè)N(s，t)是標(biāo)準(zhǔn)矢量(normal vector)，并且r(s，t)是表面反射比數(shù)據(jù)。對象表面的每一個點的亮度Ii(s，t)由下式給出Ii(s,t)=r(s,t)Σi(S(s,t,Li→)maxLi→·Ni→(s,t),0)]]>…[方程1]其中，S(s，t，L)表示投影(陰影)。當(dāng)對象表面呈現(xiàn)在每一個點(s，t)和在方向矢量Li的無窮遠處的光源之間時，值S(s，t，L)是0(因為陰影，所以亮度值為0)，并且當(dāng)沒有對象表面呈現(xiàn)時，值S(s，t，L)是1?？梢酝ㄟ^計算機圖形領(lǐng)域中的公知技術(shù)，例如光線跟蹤，來實現(xiàn)陰影確定方法。
接下來，計算機100計算能夠再現(xiàn)在任意照明條件下對象表面的亮度值的基底紋理組。計算機100通過針對所有點按照順序排列在方向Li(Li是矢量)中的點光源下針對對象表面的點(s，t)使用方程1計算出的亮度值，產(chǎn)生矢量。通過按照順序排列亮度值而獲得的矢量被設(shè)置為樣本紋理Ii(Ii是矢量)。通過方程3可以計算樣本紋理組{Ii}(i＝1，2，…，361)的協(xié)方差矩陣V。方程3中的S表示由方程2給出的樣本紋理組{Ii}(i＝1，2，…，361)。
S=[Ii→Ii→···I361→]]]>…[方程2]V=1361SST]]>…[方程3]計算機100按照特征值的降序計算協(xié)方差矩陣V的特征值(σj)以及特征矢量(Gj)。在這種情況下，計算機100產(chǎn)生特征矢量組{Gj}(j＝1，2，…，10)，作為照明基底組，并且將其存儲在例如存儲設(shè)備中。10個值的計算僅是一個示例。計算的特征值和特征矢量的數(shù)目可以大于或小于10。
例如，在參考文獻2中描述了上述照明基底組計算方法。
接下來依次說明使對象位置/姿態(tài)估計系統(tǒng)根據(jù)圖像來估計對象的位置/姿態(tài)的處理。
(圖像輸入處理)用戶通過操作例如攝像機300的圖像捕獲設(shè)備，來捕獲要估計位置/姿態(tài)的目標(biāo)對象。計算機100從攝像機300中捕獲輸入圖像數(shù)據(jù)。代替捕獲由攝像機300捕獲的圖像，計算機100可以從存儲介質(zhì)中讀取圖像數(shù)據(jù)或者通過通信網(wǎng)絡(luò)從另一個計算機接收圖像數(shù)據(jù)。
在該實施例中，假定目標(biāo)對象幾乎面對著攝像機300的前端并且在垂直和水平方向中具有大約10°的姿態(tài)變化。目標(biāo)對象處于與攝像機300間隔大約50cm的點處。目標(biāo)對象(在該示例中是人臉)幾乎處于攝像機300的中心處并且具有大約10cm的姿態(tài)變化。在該實施例中，總是將在目標(biāo)對象與攝像機300間隔50cm的同時在目標(biāo)對象面對攝像機300的前端并且處于其屏幕中心處時獲得的值用作位置/姿態(tài)初始值。
(比較圖像產(chǎn)生處理)計算機100讀取預(yù)先存儲在例如存儲設(shè)備中的3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)。假定目標(biāo)對象處于當(dāng)前位置/姿態(tài)初始值的位置/姿態(tài)中，計算機100產(chǎn)生在與輸入圖像相同的照明條件下的目標(biāo)對象圖像，作為比較圖像。在這種情況下，計算機100通過使用下面的技術(shù)，產(chǎn)生比較圖像。比較圖像產(chǎn)生技術(shù)不局限于該實施例的技術(shù)。根據(jù)用于計算照明基底數(shù)據(jù)的方法，可以使用各種比較圖像產(chǎn)生技術(shù)。
假設(shè)[XYZ1]是對象表面上的點的3D數(shù)據(jù)的坐標(biāo)，[UV]是與該點相對應(yīng)的比較圖像上的坐標(biāo)，[uvw]是齊次坐標(biāo)，K是表示攝像機300的內(nèi)部參數(shù)(象素尺寸和圖像中心)的3×3矩陣，T是表示對象位置的平移的矢量，以及R是表示對象的姿態(tài)變化的旋轉(zhuǎn)矩陣。通過使用方程5來計算齊次坐標(biāo)[uvw]。通過使用方程4來計算坐標(biāo)[UV]。方程4中的矩陣M表示對象的旋轉(zhuǎn)和平移的動量，并且通過使用方程6來計算。
UV=uvvw]]>…[方程4]uvw=KMXYZ1]]>…[方程5]M=RT→0001]]>…[方程6]
計算機100通過使用方程4、5和6計算關(guān)于圖像的3D形狀數(shù)據(jù)的每一個點的坐標(biāo)[UV]，來確定圖像中除背景之外的與目標(biāo)對象的一部分相對應(yīng)的象素。計算機100確定包含在3D形狀數(shù)據(jù)中的點中哪一個點與每一個象素相對應(yīng)。
假定圖像中與目標(biāo)對象相對應(yīng)的象素數(shù)目是a。將通過垂直地排列a象素的亮度值而獲得的矢量設(shè)置為比較圖像矢量Ic。將通過垂直地排列輸入圖像中相同象素位置處的a象素的亮度值而獲得的矢量設(shè)置為輸入圖像矢量Iq。當(dāng)表示與比較圖像矢量的第b個元素相對應(yīng)的3D形狀數(shù)據(jù)的點的號碼的函數(shù)是c(b)(b＝1，2，…，a)，可以將投影矩陣Γ定義為其中第(b，c(b))個元素是1以及其他元素為0的矩陣。在這種情況下，通過使用方程7，根據(jù)照明基底組{Gi}，計算與當(dāng)前位置/姿態(tài)估計值相對應(yīng)的圖像照明基底組{Bi}(i＝1，2，…，10)。
Bi→=ΓGi→]]>…[方程7]通過使用方程8和9，計算比較圖像Ic(Ic是矢量)，作為圖像照明基底組{Bi}的線性組合中最近似于輸入圖像Iq(Iq是矢量)的圖像。
Ie→=Σi=110λiBi→]]>…[方程8]λi=arg(|Ic→-Ig→|2→min)]]>…[方程9]例如，在參考文獻2中描述了上述比較圖像產(chǎn)生方法。
針對不與對象表面相對應(yīng)的、產(chǎn)生的比較圖像的象素，不能夠確定亮度值。計算機100從處理目標(biāo)中排除這種象素并且執(zhí)行下面的處理。
在該實施例中，已經(jīng)說明了校正照明條件中的變化的方法。如果照明條件中的改變較小或為零，可以省略該處理。在這種情況下，計算機100可以通過使用函數(shù)c(b)來重新排列預(yù)先存儲的對象表面上的亮度值，計算比較圖像矢量Ic，而不需要計算圖像照明基底組Bi(i＝1，2，…，10)。
(圖像位移分布檢測處理)接下來，計算機100通過使用下面的方法，針對每一個局部圖像檢測比較圖像和輸入圖像之間的圖像位移分布。圖像位移分布檢測方法不局限于該實施例的方法?？梢詰?yīng)用作為使用光流的圖像位移檢測方法而提出的各種技術(shù)。
圖13是示出了檢測比較圖像和輸入圖像之間圖像位移分布的處理的示例的解釋性視圖。如圖13所示，計算機100通過將比較圖像分割為具有預(yù)定尺寸的部分，來產(chǎn)生局部圖像，從而產(chǎn)生局部比較圖像組。假定輸入圖像的尺寸是100×100象素，并且作為局部比較圖像的局部圖像的塊尺寸是10×10象素。用于提取局部比較圖像的塊之間的間隔是20象素。在這種情況下，計算機100從比較圖像提取如圖13所示的方形區(qū)域，作為局部比較圖像組。
提取的局部比較圖像的十四個塊包括對象表面。計算機100提取14個局部比較圖像，如圖13所示。提取中的塊尺寸、塊間隔和圖像分辨率不局限于該實施例的塊尺寸、塊間隔和圖像分辨率。例如，可以基于系統(tǒng)的處理能力或者所需的位置/姿態(tài)估計精確度而改變它們。計算機100可以通過使用分割輸入圖像而不是比較圖像而獲得的局部圖像組，來檢測圖像位移分布。
計算機100將每一個提取的局部比較圖像疊加在輸入圖像的相應(yīng)位置，并且將局部比較圖像與相同尺寸的提取的局部輸入圖像相比較，檢測圖像上使相似度最大化的運動方向，并且作為圖像位移分布輸出該方向以使相似度最大化。在這種情況下，計算機100通過僅使用比較圖像中包括對象表面并且具有計算亮度值的象素，而不使用沒有包含對象表面的背景圖像，來計算相似度。
在該實施例中，將說明亮度值的絕對平均誤差(通過將亮度值差的絕對值的總和除以象素數(shù)目而獲得的值)的倒數(shù)被用作相似度指標(biāo)的示例?？梢允褂脤⑼ㄟ^邊緣檢測或其他特征量轉(zhuǎn)換而獲得的數(shù)值作為相似度指標(biāo)的任意其他圖像比較方法。
在該實施例中，為了快速地檢測圖像位移，計算機100通過在u和v方向的正和負(fù)方向中移動圖像一個相鄰象素，來計算相似度。計算機100可以使用任意其他圖像位移檢測方法而不使用在本實施例中所示的圖像位移檢測方法，來計算相似度。例如，計算機100可以通過在u和v方向中移動圖像兩個或更多象素，來計算相似度?？蛇x地，計算機100可以通過在除了u和v方向之外的斜方向中移動圖像，例如在總共八個方向中移動圖像，來計算相似度。
在該實施例中，計算機100按照下面的方法確定表示局部比較圖像j的圖像位移的2D矢量Dj。
(1)計算機100通過在u方向的正和負(fù)方向中移動圖像一個象素，來計算相似度。如果確定通過在正方向中移動使相似度最大化，計算機100將矢量的第一元素的值設(shè)置為1。如果確定通過在負(fù)方向中移動使相似度最大化，計算機100將矢量的第一元素的值設(shè)置為-1。如果確定不在任何方向移動使相似度最大化，計算機100將矢量的第一元素的值設(shè)置為0。
(2)計算機100通過在v方向的正和負(fù)方向中移動圖像來計算相似度。如果確定通過在正方向中移動使相似度最大化，計算機100將矢量的第二元素的值設(shè)置為1。如果確定通過在負(fù)方向中移動使相似度最大化，計算機100將矢量的第二元素的值設(shè)置為-1。如果確定不在任何方向移動使相似度最大化，計算機100將矢量的第二元素的值設(shè)置為0。
當(dāng)根據(jù)上述過程計算了2D矢量時，計算機100計算包含表示14塊的每一個局部比較圖像的圖像位移的2D矢量的圖像位移分布矢量組{Dj}，作為圖像位移分布，如圖13所示。參考圖13，每一個箭頭指示表示每一個局部比較圖像的圖像位移的2D矢量Dj。對于不包含箭頭而包含句點符號的象素，表示圖像位移的矢量是零矢量。
通常，當(dāng)輸入圖像的照明條件隨時間流逝而改變時，比較圖像的亮度值與輸入圖像的亮度值不同。因此，不能夠精確地計算圖像位移分布矢量組{Dj}。根據(jù)本發(fā)明，在比較圖像產(chǎn)生處理中，通過使用照明基底矢量組，產(chǎn)生在與輸入圖像相同或類似照明條件下的比較圖像。因此，即使當(dāng)捕獲輸入圖像時的照明條件發(fā)生變化時，在圖像位移分布檢測處理中可以精確地檢測圖像位移分布矢量組{Dj}。
(姿態(tài)差計算處理)接下來，根據(jù)產(chǎn)生的圖像位移分布和與每一個子區(qū)域相對應(yīng)的目標(biāo)對象的3D形狀數(shù)據(jù)的每一個部分的3D坐標(biāo)數(shù)據(jù)，計算機100計算當(dāng)在屏幕上實際移動目標(biāo)對象時目標(biāo)對象的每一個部分最接近位移分布的3D運動。計算機100計算3D運動的計算結(jié)果，作為位置/姿態(tài)差值。
在計算3D運動中，計算機100假定比較圖像和輸入圖像的每一個作為運動圖像的幀圖像，并且將它們當(dāng)作比較圖像的幀圖像和輸入圖像的幀圖像依次連續(xù)的運動圖像。通過將圖像位移分布當(dāng)作幀圖像的偽光流，來計算3D運動。計算機100根據(jù)下面的使用例如Lie代數(shù)的方法，通過使用根據(jù)光流的對象運動估計技術(shù)，來計算3D運動。
方程5的矩陣M形成SE(3)組，作為Lie代數(shù)組。可以將SE(3)分解為總共六個運動，即三個旋轉(zhuǎn)和三個平移。如果目標(biāo)對象的位置/姿態(tài)的移動較小，矩陣M接近于單位矩陣I。當(dāng)完成接近于M＝I的微分時，獲得方程10的六個矩陣。方程10的每一個矩陣是SE(3)的Lie代數(shù)，并且用作表示接近于M＝I的矩陣M的增量的線性矢量空間的基底。
M1=0001000000000000,M2=0000000100000000,M3=0000000000010000,]]>M4=000000100-1000000,M5=00-10000010000000,M6=0100-100000000000]]>…[方程10]如果運動較小，矩陣M近似于由下式給出的{Mi}的線性和M=exp(Σi=16αiMi)≈I+Σi=16αiMi]]>…[方程11]計算機100可以根據(jù)在圖像位移分布檢測處理中所計算的圖像位移分布，通過計算系數(shù)αi，來計算表示動量(即位置/姿態(tài)的移動量(移動方向))的矩陣M。
按照下式計算在每一個運動模式的方向中改變位置/姿態(tài)中、對象表面上的每一個點的圖像坐標(biāo)的偏微分u′v′w′=PMiXYZ1]]>…[方程12]按照下式計算對象表面上的點的象素坐標(biāo)[UV]的偏微分Oi→=U′V′=u′w-uw′w2v′w-vw′w2]]>…[方程13]在方程13中，Oi(Oi是矢量)表示象素坐標(biāo)[UV]的偏微分量。假設(shè)d(d是矢量)是當(dāng)改變位置/姿態(tài)時的對象表面的圖像上的動量。如方程14所示，計算d，作為每一個運動模式i中動量的線性和。
d→=Σi=16αi(Oi→)]]>…[方程14]計算機100可以通過更新目標(biāo)對象的位置/姿態(tài)估計值，有效地使位置/姿態(tài)估計值接近于輸入圖像中目標(biāo)對象的精確位置/姿態(tài)值，使得按照方程14所計算的每一個點的動量d最接近于圖像位移分布。為了實現(xiàn)該結(jié)果，計算機100通過使用最小平方方法，計算用于使表示關(guān)于由圖像位移分布檢測處理所檢測的局部比較圖像Dj的圖像位移的位置/姿態(tài)誤差的誤差e最小化的系數(shù)αi，如下所示e=Σj||Dj→-Σi=16αj(Oi→)||2]]>…[方程15]為了獲得系數(shù)αi，必須確定在方程12中使用的局部比較圖像j的3D坐標(biāo)[XYZ]。在該實施例中，將說明使用包含在每一個局部比較圖像j中的對象表面上的點的3D坐標(biāo)的重心(平均值)的示例。根據(jù)3D形狀數(shù)據(jù)和作為投影矩陣Γ計算的比較圖像的象素之間的對應(yīng)，可以容易地獲得3D坐標(biāo)?？梢詫⒊酥匦闹獾娜我馄渌鴺?biāo)值，例如與最接近于每一個局部比較圖像的中央部分的象素相對應(yīng)的對象表面上的點的3D坐標(biāo)，用作3D坐標(biāo)。
計算機100根據(jù)使用方程15而計算出的系數(shù)αi以及使用下式所計算的預(yù)定增益常數(shù)g，來計算位置/姿態(tài)差ΔM。
ΔM=I+g(Σi=16αjOi→)]]>…[方程16]在該實施例中，增益常數(shù)g是固定值g＝1。當(dāng)增加增益常數(shù)g的值時，可以快速地會聚估計值的搜索。當(dāng)隨著位置/姿態(tài)誤差變小控制增益常數(shù)g的值變得更小時，可以增加目標(biāo)對象/姿態(tài)估計精確度。
例如，在IEICE Transactions on Information and System，Vol.E84-D，No.12，pp.1733-1738，2001年12月的Tom Drummond、Roberto Ciplla的“Real Time Feature-Based Facial Tracking UsingLie Algebras”中描述了上述對象運動估計技術(shù)。
(最后確定處理)接下來，計算機100確定是否更新位置/姿態(tài)估計值并且重復(fù)地執(zhí)行位置/姿態(tài)估計處理，或者因為足夠精確，輸出當(dāng)前位置/姿態(tài)估計值作為最佳位置/姿態(tài)估計值。在該實施例中，將說明預(yù)先確定目標(biāo)對象的估計位置/姿態(tài)的容限的閾值的示例，并且根據(jù)閾值來完成確定?？梢詫⒊耸褂迷搶嵤├撝档姆椒ㄖ獾娜我馄渌椒ǎ米髯詈蟠_定方法。
預(yù)先確定平移和旋轉(zhuǎn)方向中容限的閾值，并且存儲在例如設(shè)置在計算機100中的存儲設(shè)備中，作為位置/姿態(tài)估計誤差。在該實施例中，平移方向中的容限是5mm。對于旋轉(zhuǎn)方向，關(guān)于X和Y軸的容限是1.5°，并且關(guān)于Z軸的容限是1°。容限值不局限于該實施例的值。
計算機100根據(jù)包含在位置/姿態(tài)差ΔM中的平移矢量和旋轉(zhuǎn)矩陣R，計算關(guān)于各個軸的平移量和旋轉(zhuǎn)角。計算機100確定計算的平移量和旋轉(zhuǎn)角是否小于預(yù)定閾值。如果確定小于預(yù)定閾值，計算機100確定當(dāng)前位置/姿態(tài)估計值是足夠精確的估計值(即最佳估計值)，作為最佳位置/姿態(tài)估計值輸出當(dāng)前位置/姿態(tài)估計值，并且結(jié)束處理。
如果確定平移量和旋轉(zhuǎn)角中至少一個不小于閾值，計算機100更新位置/姿態(tài)估計值并且重復(fù)地執(zhí)行估計處理。計算機100根據(jù)當(dāng)前位置/姿態(tài)估計值[R|T]，通過使用以下方程，來計算更新之后的位置/姿態(tài)估計值[R*|T*]。
＝Euclideanise([R|T]·ΔM)…[方程17]其中，Euclideanise表示將矩陣校正為旋轉(zhuǎn)矩陣的操作。例如，Euclideanise(E)表示將矩陣E校正為旋轉(zhuǎn)矩陣的操作，并且通過根據(jù)奇異值分解E＝UWVT來計算矩陣E′＝UVT而實現(xiàn)。
根據(jù)表示通過使用方程17而計算出的更新之后位置/姿態(tài)的旋轉(zhuǎn)矩陣和平移矢量，計算機100估計當(dāng)前位置/姿態(tài)估計值并且重復(fù)地執(zhí)行比較圖像產(chǎn)生處理之后的處理。
在該實施例中，通過執(zhí)行最后確定，重復(fù)地更新位置/姿態(tài)。然而，可以僅更新位置/姿態(tài)估計值一次，并且可以結(jié)束處理，而不執(zhí)行最后確定處理。在這種情況下，可以更快速地完成目標(biāo)對象位置/姿態(tài)估計處理。
在該實施例中，描述了用于估計目標(biāo)對象的位置和姿態(tài)的對象位置/姿態(tài)估計系統(tǒng)。還可以將計算機應(yīng)用于僅估計目標(biāo)對象的位置的對象位置估計系統(tǒng)或者僅估計目標(biāo)對象的姿態(tài)的對象姿態(tài)估計系統(tǒng)。
工業(yè)實用性可以將根據(jù)本發(fā)明的用于估計對象狀態(tài)的估計系統(tǒng)應(yīng)用于測量圖像中可見的對象的位置/姿態(tài)的測量設(shè)備。還可以將估計系統(tǒng)應(yīng)用于通過使用圖像來識別或核對改變了位置/姿態(tài)的對象的識別設(shè)備。還可以將估計系統(tǒng)應(yīng)用于通過使用運動圖像來追蹤在視頻圖像中運動的對象的追蹤設(shè)備。還可以將估計系統(tǒng)應(yīng)用于通過使用計算機來實現(xiàn)測量設(shè)備、識別設(shè)備或者追蹤設(shè)備的程序。
權(quán)利要求
1.一種用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于包括圖像輸入裝置，用于輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；三維形狀數(shù)據(jù)存儲裝置，用于存儲對象的三維形狀數(shù)據(jù)；比較圖像產(chǎn)生裝置，用于通過使用存儲在所述三維形狀數(shù)據(jù)存儲裝置中的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；圖像位置關(guān)系檢測裝置，用于針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測輸入圖像和所述比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像之間的位置關(guān)系；校正量計算裝置，用于通過使用所述圖像位置關(guān)系檢測裝置所檢測的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及狀態(tài)校正裝置，用于通過使用所述校正量計算裝置所獲得的校正量，來校正由所述比較圖像產(chǎn)生裝置在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
2.根據(jù)權(quán)利要求1所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括狀態(tài)確定裝置，用于根據(jù)所述校正量計算裝置所獲得的校正量，來確定所述比較圖像產(chǎn)生裝置所設(shè)置的對象狀態(tài)是否是適當(dāng)?shù)模渲?，?dāng)確定對象狀態(tài)適當(dāng)時，輸出所述比較圖像產(chǎn)生裝置所設(shè)置的對象狀態(tài)，作為估計值，以及當(dāng)確定對象狀態(tài)不適當(dāng)時，通過將所述狀態(tài)校正裝置所計算的新的對象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計處理，所述估計處理包括所述比較圖像產(chǎn)生裝置的比較圖像產(chǎn)生處理、所述圖像位置關(guān)系檢測裝置的位置關(guān)系檢測處理以及所述校正量計算裝置的校正量計算處理。
3.根據(jù)權(quán)利要求2所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于當(dāng)所述校正量計算裝置所獲得的校正量小于預(yù)定量時，所述狀態(tài)確定裝置確定對象狀態(tài)是適當(dāng)?shù)?，并且?dāng)校正量不小于預(yù)定量時，確定對象狀態(tài)是不適當(dāng)?shù)摹?br> 4.根據(jù)權(quán)利要求2所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括第一相似度計算裝置，用于在再次執(zhí)行估計處理之后計算比較圖像和輸入圖像之間的第一相似度；以及第二相似度計算裝置，用于在再次執(zhí)行估計處理之前計算比較圖像和輸入圖像之間的第二相似度；其中，所述狀態(tài)確定裝置將第一相似度與第二相似度進行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r確定對象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r確定對象狀態(tài)是適當(dāng)?shù)摹?br> 5.根據(jù)權(quán)利要求1所述的用于估計對象狀態(tài)的估計系統(tǒng)，其中所述圖像輸入裝置包括用于輸入包含對象的運動圖像的裝置，以及所述圖像位置關(guān)系檢測裝置使用運動圖像的最新的幀圖像作為輸入圖像。
6.根據(jù)權(quán)利要求1所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于所述比較圖像產(chǎn)生裝置包括用于再現(xiàn)基于照明條件而改變的對象表面的亮度值的裝置；以及用于通過使用再現(xiàn)亮度值產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像的裝置。
7.根據(jù)權(quán)利要求6所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括照明基底圖像組存儲裝置，用于存儲表示基于照明條件的對象表面的亮度變化的照明基底圖像組，其中，所述比較圖像產(chǎn)生裝置通過使用存儲在所述照明基底圖像組存儲裝置中的照明基底圖像組，再現(xiàn)對象表面的亮度值。
8.根據(jù)權(quán)利要求7所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括三維形狀測量裝置，用于測量對象的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)；以及照明基底計算裝置，用于通過使用所述三維形狀測量裝置所測量的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)，來計算表示基于照明條件的對象表面的亮度中的變化的照明基底圖像。
9.根據(jù)權(quán)利要求8所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于所述照明基底計算裝置計算表示在多個照明條件下的三維形狀數(shù)據(jù)的每一個點的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及所述比較圖像產(chǎn)生裝置通過使用對象的三維形狀數(shù)據(jù)，獲得對象的三維形狀數(shù)據(jù)的每一個點和對象處于當(dāng)前估計值中的圖像的象素之間的對應(yīng)，通過使用該對應(yīng)，產(chǎn)生照明基底圖像組投影到對象處于估計值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
10.根據(jù)權(quán)利要求1所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于所述校正量計算裝置通過使用對象的三維形狀數(shù)據(jù)和針對每一個子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計算使與比較圖像中每一個子區(qū)域相對應(yīng)的對象部分的運動量與圖像位移分布相接近的對象的三維運動，作為校正量。
11.根據(jù)權(quán)利要求1所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括特征提取裝置，用于根據(jù)輸入圖像和所述比較圖像產(chǎn)生裝置所產(chǎn)生的比較圖像的亮度值，提取輸入圖像和比較圖像的每一個的圖像特征量，其中，所述圖像位置關(guān)系檢測裝置根據(jù)所述特征提取裝置所提取的圖像特征量，針對每一個子區(qū)域，檢測輸入圖像和比較圖像之間的位置關(guān)系。
12.一種估計對象狀態(tài)的估計方法，其特征在于包括步驟輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；通過使用對象的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測到的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及通過使用計算的校正量，來校正在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
13.根據(jù)權(quán)利要求12所述的估計對象狀態(tài)的估計方法，其特征在于還包括步驟根據(jù)計算的校正量，確定在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)是否是適當(dāng)?shù)?；以及?dāng)確定對象狀態(tài)適當(dāng)時，輸出設(shè)置在比較圖像產(chǎn)生中的對象狀態(tài)，作為估計值，其中，當(dāng)確定對象狀態(tài)不適當(dāng)時，通過將計算的新的對象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計處理，所述估計處理包括產(chǎn)生比較圖像的步驟、檢測位置關(guān)系的步驟以及計算校正量的步驟。
14.根據(jù)權(quán)利要求13所述的估計對象狀態(tài)的估計方法，其特征在于在確定步驟中，當(dāng)校正量小于預(yù)定量時，確定對象狀態(tài)是適當(dāng)?shù)?，并且?dāng)校正量不小于預(yù)定量時，確定對象狀態(tài)是不適當(dāng)?shù)摹?br> 15.根據(jù)權(quán)利要求13所述的用于估計對象狀態(tài)的估計系統(tǒng)，其特征在于還包括步驟在再次執(zhí)行估計處理之后計算比較圖像和輸入圖像之間的第一相似度；以及在再次執(zhí)行估計處理之前計算比較圖像和輸入圖像之間的第二相似度；其中，在確定步驟中，將第一相似度與第二相似度進行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r確定對象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r對象狀態(tài)是適當(dāng)?shù)摹?br> 16.根據(jù)權(quán)利要求12所述的估計對象狀態(tài)的估計方法，其中在輸入圖像的步驟中，輸入包含對象的運動圖像，以及在檢測位置關(guān)系的步驟中，使用運動圖像的最新的幀圖像作為輸入圖像。
17.根據(jù)權(quán)利要求12所述的估計對象狀態(tài)的估計方法，其特征在于產(chǎn)生比較圖像的步驟包括步驟再現(xiàn)基于照明條件而改變的對象表面的亮度值；以及通過使用再現(xiàn)亮度值，產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像。
18.根據(jù)權(quán)利要求17所述的估計對象狀態(tài)的估計方法，其特征在于在產(chǎn)生比較圖像的步驟中，通過使用表示基于照明條件的對象表面的亮度變化的照明基底圖像組，再現(xiàn)對象表面的亮度值。
19.根據(jù)權(quán)利要求18所述的估計對象狀態(tài)的估計方法，其特征在于還包括步驟測量對象的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)；以及通過使用所述三維形狀測量裝置所測量的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)，來計算表示基于照明條件的對象表面的亮度中的變化的照明基底圖像。
20.根據(jù)權(quán)利要求19所述的估計對象狀態(tài)的估計方法，其特征在于在計算照明基底圖像的步驟中，計算表示在多個照明條件下的三維形狀數(shù)據(jù)的每一個點的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及在產(chǎn)生比較圖像的步驟中，通過使用對象的三維形狀數(shù)據(jù)，獲得對象的三維形狀數(shù)據(jù)的每一個點和對象處于當(dāng)前估計值中的圖像的象素之間的對應(yīng)，通過使用該對應(yīng)，產(chǎn)生照明基底圖像組投影到對象處于估計值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
21.根據(jù)權(quán)利要求12所述的估計對象狀態(tài)的估計方法，其特征在于在計算校正量的步驟中，通過使用對象的三維形狀數(shù)據(jù)和針對每一個子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計算使與比較圖像中每一個子區(qū)域相對應(yīng)的對象部分的運動量與圖像位移分布相接近的對象的三維運動，作為校正量。
22.根據(jù)權(quán)利要求12所述的估計對象狀態(tài)的估計方法，其特征在于還包括步驟根據(jù)輸入圖像和比較圖像的亮度值，提取輸入圖像和比較圖像的每一個的圖像特征量，其中，在檢測位置關(guān)系的步驟中，根據(jù)圖像特征量，針對每一個子區(qū)域，檢測輸入圖像和比較圖像之間的位置關(guān)系。
23.一種用于估計對象位置的估計程序，所述程序使計算機執(zhí)行以下步驟輸入包含要估計狀態(tài)的對象的輸入圖像，所述狀態(tài)是位置和姿態(tài)中至少一個；通過使用對象的三維形狀數(shù)據(jù)，產(chǎn)生包含預(yù)定狀態(tài)中的對象的圖像，作為比較圖像；針對圖像中具有預(yù)定尺寸的每一個子區(qū)域，檢測比較圖像和輸入圖像之間的位置關(guān)系；通過使用檢測到的位置關(guān)系，來計算比較圖像中對象狀態(tài)的校正量；以及通過使用計算的校正量，來校正在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)，從而計算新的對象狀態(tài)。
24.根據(jù)權(quán)利要求23所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機還執(zhí)行步驟根據(jù)計算的校正量，確定在比較圖像產(chǎn)生過程中設(shè)置的對象狀態(tài)是否是適當(dāng)?shù)模划?dāng)確定對象狀態(tài)適當(dāng)時，輸出設(shè)置在比較圖像產(chǎn)生中的對象狀態(tài)，作為估計值；以及當(dāng)確定對象狀態(tài)不適當(dāng)時，通過將計算的新的對象狀態(tài)設(shè)置為預(yù)定狀態(tài)，再次執(zhí)行估計處理，所述估計處理包括產(chǎn)生比較圖像的步驟、檢測位置關(guān)系的步驟以及計算校正量的步驟。
25.根據(jù)權(quán)利要求24所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機執(zhí)行以下步驟，作為確定步驟當(dāng)校正量小于預(yù)定量時，確定對象狀態(tài)是適當(dāng)?shù)?，并且?dāng)校正量不小于預(yù)定量時，確定對象狀態(tài)是不適當(dāng)?shù)摹?br> 26.根據(jù)權(quán)利要求24所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機還執(zhí)行在再次執(zhí)行估計處理之后計算比較圖像和輸入圖像之間的第一相似度的步驟；在再次執(zhí)行估計處理之前計算比較圖像和輸入圖像之間的第二相似度的步驟；以及確定步驟，將第一相似度與第二相似度進行比較，當(dāng)?shù)谝幌嗨贫雀哂诘诙嗨贫葧r確定對象狀態(tài)是不適當(dāng)?shù)?，并且?dāng)?shù)谝幌嗨贫炔桓哂诘诙嗨贫葧r對象狀態(tài)是適當(dāng)?shù)摹?br> 27.根據(jù)權(quán)利要求23所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機執(zhí)行輸入圖像的步驟，輸入包含對象的運動圖像，以及檢測位置關(guān)系的步驟，使用運動圖像的最新的幀圖像作為輸入圖像。
28.根據(jù)權(quán)利要求23所述的用于估計對象狀態(tài)的估計程序，在產(chǎn)生比較圖像的步驟中，所述程序使計算機執(zhí)行步驟再現(xiàn)基于照明條件而改變的對象表面的亮度值；以及通過使用再現(xiàn)亮度值，產(chǎn)生在接近于輸入圖像的照明條件下的比較圖像。
29.根據(jù)權(quán)利要求28所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機執(zhí)行以下步驟，作為產(chǎn)生比較圖像的步驟通過使用表示基于照明條件的對象表面的亮度變化的照明基底圖像組，再現(xiàn)對象表面的亮度值。
30.根據(jù)權(quán)利要求29所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機還執(zhí)行步驟測量對象的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)；以及通過使用所述三維形狀測量裝置所測量的三維形狀數(shù)據(jù)和對象表面的反射比數(shù)據(jù)，來計算表示基于照明條件的對象表面的亮度中的變化的照明基底圖像。
31.根據(jù)權(quán)利要求30所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機執(zhí)行計算照明基底圖像的步驟，計算表示在多個照明條件下的三維形狀數(shù)據(jù)的每一個點的亮度值的矢量組，通過矢量組的主分量分析，獲得按照特征值降序的基底矢量組，并且輸出基底矢量組，作為照明基底圖像組，以及產(chǎn)生比較圖像的步驟，通過使用對象的三維形狀數(shù)據(jù)，獲得對象的三維形狀數(shù)據(jù)的每一個點和對象處于當(dāng)前估計值中的圖像的象素之間的對應(yīng)，通過使用該對應(yīng)，產(chǎn)生照明基底圖像組投影到對象處于估計值中的圖像的圖像照明基底組，并且通過圖像照明基底組的線性結(jié)合，產(chǎn)生與輸入圖像最接近的圖像，作為比較圖像。
32.根據(jù)權(quán)利要求23所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機執(zhí)行以下步驟，作為計算校正量的步驟通過使用對象的三維形狀數(shù)據(jù)和針對每一個子區(qū)域表示比較圖像和輸入圖像之間位置關(guān)系的圖像位移分布，計算使與比較圖像中每一個子區(qū)域相對應(yīng)的對象部分的運動量與圖像位移分布相接近的對象的三維運動，作為校正量。
33.根據(jù)權(quán)利要求23所述的用于估計對象狀態(tài)的估計程序，所述程序使計算機還執(zhí)行根據(jù)輸入圖像和比較圖像的亮度值，提取輸入圖像和比較圖像的每一個的圖像特征量的步驟；以及檢測位置關(guān)系的步驟，根據(jù)圖像特征量，針對每一個子區(qū)域，檢測輸入圖像和比較圖像之間的位置關(guān)系。
全文摘要
公開了一種用于估計對象狀態(tài)的估計系統(tǒng)、估計方法和估計程序。一種3D模型存儲裝置(170)預(yù)先存儲目標(biāo)對象的3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)。比較圖像產(chǎn)生裝置(110)根據(jù)3D形狀數(shù)據(jù)和照明基底數(shù)據(jù)，產(chǎn)生具有在與輸入圖像相同照明條件下按照當(dāng)前估計值的位置/姿態(tài)布置的目標(biāo)對象的再現(xiàn)圖像，作為比較圖像。圖像位移分布檢測裝置(120)將比較圖像分割為局部圖像(子區(qū)域)并且針對每一個子區(qū)域檢測比較圖像和輸入圖像之間的圖像位移分布。姿態(tài)差計算裝置(130)根據(jù)圖像位移分布和3D形狀數(shù)據(jù)，計算位置/姿態(tài)差值。當(dāng)確定位置/姿態(tài)差值小于預(yù)定閾值時，最后確定裝置(140)輸出當(dāng)前的位置/姿態(tài)估計值，作為最佳位置/姿態(tài)估計值(13)。因此，可以高速地估計包含在圖像值的對象的位置或姿態(tài)。
文檔編號G06T7/20GK1864176SQ200480028679
公開日2006年11月15日 申請日期2004年10月28日 優(yōu)先權(quán)日2003年10月30日
發(fā)明者石山壘 申請人:日本電氣株式會社