專利名稱：特征信息附予方法、物體抽取方法、立體模型生成方法及其裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及根據(jù)對(duì)真實(shí)的對(duì)象物體進(jìn)行拍攝得到的物體圖像、將特征信息附予該對(duì)象物體的形狀模型用的特征信息附予方法，從物體圖像除去背景那樣的不要的部分以抽取物體部分用的物體抽取方法，以及生成對(duì)象物體的立體模型的立體模型生成方法及其裝置。
背景技術(shù)：
由于計(jì)算機(jī)圖形學(xué)等的進(jìn)展，正在盛行開發(fā)3維圖形學(xué)的實(shí)用的系統(tǒng)。但是，隨著這種實(shí)用化系統(tǒng)的普及，一個(gè)顯著的問題是形狀數(shù)據(jù)的輸入方法。也就是說(shuō)，將具有自由曲面的物體和存在于自然界的很多物體等的復(fù)雜的3維形狀輸入到計(jì)算機(jī)等中，是非常麻煩、復(fù)雜和困難的作業(yè)。
此外，在計(jì)算機(jī)內(nèi)等再次構(gòu)成物體的場(chǎng)合，在單單僅再次構(gòu)成物體形狀中的情況下，很難表現(xiàn)更加實(shí)際的物體表面的質(zhì)感等。
因此，如果以通過拍攝實(shí)際的物體所得到的圖像信息為基礎(chǔ)，能在計(jì)算機(jī)內(nèi)再次構(gòu)成形狀信息和色彩/質(zhì)感信息等，則能簡(jiǎn)單地進(jìn)行3維圖像信息的處理。
另一方面，在例如因特網(wǎng)等的3維圖像通信中，由作為信息發(fā)送者的一般用戶生成3維圖像的機(jī)會(huì)增加。因此，也需要用簡(jiǎn)便而且小型的裝置構(gòu)成來(lái)生成3維圖像。
(1)在日本特開平5-135155號(hào)公報(bào)中公開了一種立體模型生成裝置，該裝置能在普通的照明條件下，根據(jù)在旋轉(zhuǎn)臺(tái)上的對(duì)象物體的連續(xù)輪廓圖像，構(gòu)成3維模型。
這種3維模型構(gòu)成裝置，用拍攝機(jī)對(duì)在旋轉(zhuǎn)臺(tái)上旋轉(zhuǎn)的對(duì)象物體連續(xù)地進(jìn)行拍攝，并利用圖像處理計(jì)算機(jī)由拍攝的圖像進(jìn)行對(duì)象物體的輪廓圖像的抽取。在這種輪廓圖像中，由這種輪廓圖像的輪廓測(cè)量到垂直旋轉(zhuǎn)軸的水平距離，并根據(jù)這種水平距離和旋轉(zhuǎn)角度生成3維模型。也就是說(shuō)，由連續(xù)拍攝的輪廓圖像抽取對(duì)象物體的輪廓，作為3維模型進(jìn)行顯示。


圖1是表示基于由拍攝機(jī)連續(xù)拍攝的圖像信息、對(duì)于如前述生成的3維模型附加特征信息的方法的示意圖。
在前述的日本特開平5-135155號(hào)公報(bào)中，對(duì)連續(xù)地旋轉(zhuǎn)對(duì)象物體、并拍攝對(duì)象物體進(jìn)行了說(shuō)明，也就是說(shuō)，對(duì)以人類對(duì)于3維模型的形狀識(shí)別的分辨率程度得到圖像信息的場(chǎng)合進(jìn)行了說(shuō)明。更具體地說(shuō)，例如每隔1度旋轉(zhuǎn)角拍攝圖像，則對(duì)象物體得到360張圖像，對(duì)于這種情況進(jìn)行說(shuō)明。
下面，為簡(jiǎn)單說(shuō)明起見，對(duì)于每隔較大的角度拍攝圖像的場(chǎng)合進(jìn)行說(shuō)明，但其本質(zhì)上是相同的。
如圖1所示所考慮的情況是，使對(duì)象物體不斷地每隔固定的角度旋轉(zhuǎn)，同時(shí)拍攝共計(jì)n張圖像。這種場(chǎng)合，對(duì)各個(gè)圖像信息作為標(biāo)記號(hào)碼分別相應(yīng)取1，2,…,n。
用使用多邊形(三角形拼塊)的形狀模型(wire frame model線框模型)300，表示對(duì)象物體。在對(duì)于這種形狀模型300附予特征信息時(shí)，對(duì)于各個(gè)三角形拼塊，對(duì)應(yīng)于拍攝對(duì)象物體的拍攝機(jī)的方向，附予對(duì)應(yīng)的標(biāo)記號(hào)碼的圖像信息的色彩信息(特征信息)。
更詳細(xì)地說(shuō)是這樣的方法，即考慮向量是從形狀模型300的旋轉(zhuǎn)軸指向所注意的三角形拼塊時(shí)，是從該向量和拍攝方向向量的方向最一致的圖像，獲得對(duì)于這種三角形拼塊的特征信息。或者，更直觀地進(jìn)行說(shuō)明是這樣的方法，即在表面模型上假定地球儀那樣的經(jīng)線，對(duì)于0度到1×360/n度范圍的三角形拼塊從1號(hào)圖像信息獲得特征信號(hào)，對(duì)于1×360/n度到2×360/n度范圍的三角形拼塊從2號(hào)圖像信息獲得特征信息。下面，稱這種特征信息的獲得方法為中心投影方式。
采用前述的中心投影方式有這樣的優(yōu)點(diǎn)，即對(duì)于構(gòu)成各個(gè)三角形拼塊或者與其相當(dāng)?shù)男螤钅Ｐ偷臉?gòu)成要素(下面稱為立體形狀構(gòu)成要素)，能與圖像信息一一對(duì)應(yīng)，而且很容易決定這種對(duì)應(yīng)關(guān)系。
但是，對(duì)于中心投影方式的缺點(diǎn)是，在從旋轉(zhuǎn)軸看的情況下，對(duì)于不存在于同一旋轉(zhuǎn)角范圍內(nèi)的立體形狀構(gòu)成要素，因根據(jù)不同的圖像信息(標(biāo)記號(hào)碼不同的圖像信息)附予特征信息，所以由于照明等的關(guān)系在色彩信息的光澤和質(zhì)感有微妙不同時(shí)，其特征的接縫明顯。
此外，根據(jù)對(duì)象物體的形狀，在從某個(gè)拍攝方向得到的圖像信息中，因不能看到對(duì)應(yīng)的立體形狀構(gòu)成要素，所以在對(duì)應(yīng)的圖像信息中，常常不能全部包含該立體形狀構(gòu)成要素對(duì)應(yīng)的特征信息。
圖2是用于說(shuō)明這種情況的示意圖。也就是說(shuō)，在圖2中，示出了在包含對(duì)象物體旋轉(zhuǎn)軸的垂直平面中旋轉(zhuǎn)軸、對(duì)象物體剖面和投影在拍攝機(jī)內(nèi)的物體像的關(guān)系。當(dāng)對(duì)象物體的形狀在圖2所示的場(chǎng)合，即包含有從拍攝機(jī)側(cè)不能看到的部分的場(chǎng)合，在從這種角度方向拍攝的圖像信息中，不存在這種沒有看到的部分的特征信息。但是，從例如與這種拍攝方向有一定的角度的其它的拍攝方向，有可能獲得這種沒有看到的部分的特征信息。
(2)作為從物體圖像僅抽取物體部分的以往的方法，是基于使用輔助工具的人工的方法。具體地說(shuō)，將與背景一起拍攝對(duì)象物體得到的物體圖像分割成多個(gè)區(qū)域。然后，人們用鼠標(biāo)器等選擇物體圖像中的背景部分，并逐步消除背景部分。但是，這種方法的問題是，因采用手工的方法，所以工作量很大。
此外，作為以往其它的物體抽取方法，有使用色度鍵技術(shù)的方法。具體地說(shuō)，用同色的背景板從物體圖像抽取物體部分。但是，用這種方法的問題是，必須準(zhǔn)備同色背景板的特殊的環(huán)境。
此外，作為以往其它的物體抽取方法，有使用單純差分的方法。具體地說(shuō)，在物體圖像和僅拍攝對(duì)象物體的背景的背景圖像之間進(jìn)行差分處理，并求出差分。然后，抽取差分的絕對(duì)值在閾值以上的部分作為物體部分。但是，用這種方法的問題是，當(dāng)在對(duì)象物體中存在與背景色相同部分的情況下，就不能抽取該部分作為物體部分。也就是說(shuō)，存在物體部分的抽取精度差的問題。
此外，作為以往其它的物體抽取方法，有利用基于立體法得到的進(jìn)深信息的方法。具體地說(shuō)，從與背景一起拍攝對(duì)象物體得到的物體圖像抽取進(jìn)深信息在閾值以下的部分作為物體部分。但是，用這種方法的問題是，在對(duì)象物體和背景的邊界附近進(jìn)深差較大，未必能得到正確的進(jìn)深信息。因此存在錯(cuò)誤抽取背景圖像的一部分作為物體部分的問題。
此外，采用任何一種前述以往的方法，必須預(yù)先給定閾值。這里的問題是，考慮到對(duì)圖像進(jìn)行AD變換的A/D變換器的變換特性和照明的特性，很難確定適當(dāng)?shù)拈撝?。特別，在A/D變換器的變換特性和照明的特性變動(dòng)的場(chǎng)合，還存在必須重新修改確定閾值的問題。
(3)作為讀取對(duì)象物體形狀的以往的裝置，有3維數(shù)字化儀。3維數(shù)字化儀包括具有多個(gè)關(guān)節(jié)的臂和筆。人使這種筆接觸對(duì)象物體并在對(duì)象物體上移動(dòng)。這樣，一移動(dòng)筆，臂的關(guān)節(jié)的角度就變化。以這種臂的關(guān)節(jié)的角度信息為基礎(chǔ)，求得對(duì)象物體的3維形狀。但是，因這種數(shù)字化儀是用人工進(jìn)行測(cè)量，所以存在作業(yè)時(shí)間和工作量非常大的問題。
此外，作為以往其它的裝置有激光掃描器。激光掃描器借助于將激光照射在對(duì)象物體上進(jìn)行掃描，求得對(duì)象物體的3維形狀。但是，用這種激光掃描器的問題是，不能得到由吸收光的材料組成的對(duì)象物體的立體模型。此外的問題是，裝置非常復(fù)雜并且價(jià)格高。再有，因必須在暗室進(jìn)行對(duì)象物體的測(cè)量，所以存在受拍攝環(huán)境限制的問題。此外，還存在難于取入色彩信息的問題。
在美國(guó)專利4982438號(hào)中公開了立體模型生成裝置。在這種裝置中，用對(duì)象物體的輪廓圖像算出假定存在區(qū)域。假定存在區(qū)域是以拍攝機(jī)的投影中心為頂點(diǎn)，以對(duì)象物體的輪廓為剖面形狀的錐體狀的區(qū)域。用體元(voxel)模型描述這種錐體狀的區(qū)域(假定存在區(qū)域)。對(duì)于多個(gè)輪廓圖像進(jìn)行前述那樣的處理。然后，求得共同假定存在區(qū)域，生成對(duì)象物體的立體模型。這里，共同假定存在區(qū)域是對(duì)于多個(gè)輪廓圖像的多個(gè)假定存在區(qū)域的邏輯積部分。但是，在這種裝置中，因由邏輯積得到立體形狀，所以問題是，當(dāng)有1個(gè)輪廓圖像不正確時(shí)，就不能生成高精度的立體模型。此外，因僅從水平方向(與旋轉(zhuǎn)軸垂直的方向)拍攝對(duì)象物體，所以還存在色彩信息不足或者不能識(shí)別局部地方的凹部的問題。
在前述日本特開平5-135155號(hào)公報(bào)公開了的立體模型生成裝置中，用拍攝機(jī)拍攝用旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)的對(duì)象物體，得到多個(gè)輪廓圖像。以這種多個(gè)輪廓圖像為基礎(chǔ)，得到在多個(gè)水平面(垂直于旋轉(zhuǎn)軸的面)的對(duì)象物體的多個(gè)形狀。然后，在相鄰的水平面中，用三角形拼塊連接對(duì)象物體形狀的輪廓上的點(diǎn)。這里，對(duì)每個(gè)規(guī)定的角度規(guī)定1個(gè)水平面上對(duì)象物體的形狀輪廓線上的點(diǎn)。這樣，生成對(duì)象物體的立體模型。但是，這種裝置的問題是，為了生成輪廓圖像，必須使用背景板的特殊的拍攝環(huán)境。此外的問題是，因利用多個(gè)水平面的對(duì)象物體的形狀生成立體模型，所以數(shù)據(jù)量大，處理時(shí)間長(zhǎng)。
因此，本發(fā)明的目的是提供在基于拍攝實(shí)際存在的物體的圖像信息并在計(jì)算機(jī)內(nèi)等再次構(gòu)成立體模型的場(chǎng)合，能將特征信息附予構(gòu)成形狀模型的各個(gè)立體形狀構(gòu)成要素而與對(duì)象物體的形狀無(wú)關(guān)的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供在基于拍攝實(shí)際存在的物體的圖像信息并將特征信息附予形狀模型時(shí)，能從被拍攝的圖像信息附予更加接近實(shí)際存在的物體所具有特征的特征信息的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供在以拍攝實(shí)際存在的物體而得的圖像信息為基礎(chǔ)將特征信息附予形狀模型時(shí)，附予各個(gè)構(gòu)成形狀模型的立體形狀構(gòu)成要素的特征的不連續(xù)性(接縫)不明顯的特征信息附予方法及其裝置。
本發(fā)明的其它的目的是提供即使對(duì)象物體存在與背景的色彩相同的部分的場(chǎng)合，也能抽取該部分作為物體部分的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供即使在各種特性變動(dòng)的場(chǎng)合，也總是能穩(wěn)定并抽取正確的物體部分的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供減少人工作業(yè)、同時(shí)不需要特殊的拍攝環(huán)境的物體抽取方法及其裝置。
本發(fā)明的其它的目的是提供能減少人工作業(yè)的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供對(duì)拍攝環(huán)境和對(duì)象物體的材料的限制小、結(jié)構(gòu)簡(jiǎn)單的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供即使多個(gè)輪廓圖像中的若干個(gè)不正確也能生成高精度的立體模型的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供能得到充分的色彩信息、也能識(shí)別對(duì)象物體的局部地方的凹部的立體模型生成方法及其裝置。
本發(fā)明的其它的目的是提供不需要特殊的拍攝環(huán)境、處理的數(shù)據(jù)量少并能高速地生成立體模型的立體模型生成方法及其裝置。
發(fā)明概述按照本發(fā)明的1個(gè)方面，對(duì)于形狀模型的特征信息附予裝置，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，根據(jù)借助于從不同的視點(diǎn)對(duì)對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)立體形狀構(gòu)成要素、對(duì)應(yīng)于各物體圖像信息的立體形狀構(gòu)成要素的特征信息量，對(duì)于形狀模型附予特征信息的手段。
比較理想的是，對(duì)于每個(gè)立體形狀構(gòu)成要素，基于各立體形狀構(gòu)成要素的面法線方向和對(duì)各物體圖像信息進(jìn)行拍攝的方向的一致程度，表示所述特征信息量。
比較理想的是，對(duì)于每個(gè)立體形狀構(gòu)成要素，基于投影在各物體圖像信息的立體形狀構(gòu)成要素的面積，表示所述特征信息量。
按照本發(fā)明的另1個(gè)方面，對(duì)于形狀模型的特征信息附予裝置，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，根據(jù)借助于從不同的視點(diǎn)對(duì)對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)立體形狀構(gòu)成要素、對(duì)應(yīng)于各物體圖像信息的立體形狀構(gòu)成要素的特征信息量和立體形狀構(gòu)成要素間的特征連續(xù)性的兩個(gè)方面，對(duì)于形狀模型附予特征信息的手段。
比較理想的是，在附予所述特征信息的手段中，根據(jù)對(duì)應(yīng)于每個(gè)立體形狀構(gòu)成要素的物體圖像信息，對(duì)于形狀模型附予特征信息，以便使隨著特征信息量的增加而減少并且隨著立體形狀構(gòu)成要素間的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，用分別與所注意的立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素對(duì)應(yīng)的物體圖像信息的拍攝位置和拍攝方向的差的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，在伴隨位置變化對(duì)物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，在伴隨規(guī)則的位置變化對(duì)物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示特征連續(xù)性。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)立體形狀構(gòu)成要素，用投影到各物體圖像信息中的立體形狀構(gòu)成要素的面積的函數(shù)，表示特征信息量。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)立體形狀構(gòu)成要素，用各立體形狀構(gòu)成要素的面法線方向和對(duì)各物體圖像信息進(jìn)行拍攝的方向的一致程度的函數(shù)，表示特征信息量。
比較理想的是，在所述評(píng)價(jià)函數(shù)中，用分配給第i號(hào)(i自然數(shù))立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與第i號(hào)立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的全部立體形狀構(gòu)成要素的總和，與用投影到分配給第i號(hào)立體形狀構(gòu)成要素的標(biāo)記號(hào)碼對(duì)應(yīng)的物體圖像信息的第i號(hào)立體形狀構(gòu)成要素的面積的全部立體形狀構(gòu)成要素的總和的線性組合，表示特征信息量。
按照本發(fā)明的其它另外的1個(gè)方面，對(duì)于形狀模型的特征信息附予裝置，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，將標(biāo)記號(hào)碼與每個(gè)立體形狀構(gòu)成要素加以對(duì)應(yīng)，以便在伴隨位置變化對(duì)多個(gè)物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的手段。
基于與加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到各物體圖像信息的立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予立體形狀構(gòu)成要素的手段。
比較理想的是，在將特征信息附予立體形狀構(gòu)成要素的手段中，對(duì)于前述立體形狀構(gòu)成要素，求出投影到對(duì)應(yīng)于與立體形狀構(gòu)成要素對(duì)應(yīng)的標(biāo)記號(hào)碼的物體圖像信息和對(duì)應(yīng)于包含前述對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼的物體圖像信息的面積，并以其作為進(jìn)行后述的加權(quán)平均處理時(shí)的加權(quán)系數(shù)。然后，求出前述立體形狀構(gòu)成要素投影到前述物體圖像信息的部位，并用加權(quán)平均處理來(lái)處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構(gòu)成要素的特征信息。
按照本發(fā)明的其它另外的1個(gè)方面，對(duì)于形狀模型的特征信息附予裝置，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，將標(biāo)記號(hào)碼與每個(gè)立體形狀構(gòu)成要素加以對(duì)應(yīng)，以便在伴隨規(guī)則的位置變化對(duì)多個(gè)物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的手段。
基于與加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到各物體圖像信息的立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予立體形狀構(gòu)成要素的手段。
比較理想的是，在將特征信息附予立體形狀構(gòu)成要素的手段中，對(duì)于前述立體形狀構(gòu)成要素，求出投影到對(duì)應(yīng)于與立體形狀構(gòu)成要素對(duì)應(yīng)的標(biāo)記號(hào)碼的物體圖像信息和對(duì)應(yīng)于包含前述對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼的物體圖像信息的面積，并以其作為進(jìn)行后述的加權(quán)平均處理時(shí)的加權(quán)系數(shù)。然后，求出前述立體形狀構(gòu)成要素投影到前述物體圖像信息的部位，并用加權(quán)平均處理來(lái)處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構(gòu)成要素的特征信息。
按照本發(fā)明的其它另外的1個(gè)方面，對(duì)于形狀模型的特征信息附予裝置，包括借助于從不同的視點(diǎn)拍攝對(duì)象物體以獲得多個(gè)物體圖像信息的手段，將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，借助于對(duì)相應(yīng)于分別投影到多個(gè)物體圖像信息的立體形狀構(gòu)成要素相應(yīng)的面積的全部物體圖像信息進(jìn)行加權(quán)平均處理，將得到的特征信息附予各立體形狀構(gòu)成要素的手段。
比較理想的是，在將特征信息附予立體形狀構(gòu)成要素的手段中，對(duì)于前述各立體形狀構(gòu)成要素，求出投影到物體圖像信息的面積，并以其作為進(jìn)行后述的加權(quán)平均處理時(shí)的加權(quán)系數(shù)。然后，求出前述立體形狀構(gòu)成要素投影到前述物體圖像信息的部位，并用加權(quán)平均處理來(lái)處理這種投影部的圖像信息(色彩、濃度或者亮度)，作為前述立體形狀構(gòu)成要素的特征信息。
因此，采用前述特征信息附予裝置，則在基于拍攝實(shí)際存在的物體的圖像信息并在計(jì)算機(jī)內(nèi)等再次構(gòu)成形狀模型的場(chǎng)合，能從拍攝該對(duì)象物體的多個(gè)圖像信息中有選擇地將最適合的圖像信息附予形狀模型，作為最實(shí)際存在的物體具有的特征信息。
此外，對(duì)于作為多個(gè)立體形狀構(gòu)成要素的集合表現(xiàn)的形狀模型，在附予特征信息(色彩信息)的場(chǎng)合，能抑制各立體形狀構(gòu)成要素間的特征信息的不連續(xù)性，同時(shí)有選擇地將與實(shí)際存在的物體具有的特征信息更接近的特征信息附予各立體形狀構(gòu)成要素。
此外，對(duì)于多個(gè)立體形狀構(gòu)成要素，因能基于從實(shí)際的對(duì)象物體拍攝的物體圖像信息，將附予特征信息的處理置換成對(duì)于各立體形狀構(gòu)成要素的附標(biāo)記(labelling)問題進(jìn)行處理，所以能以計(jì)算機(jī)處理等適合的順序進(jìn)行對(duì)于各立體形狀構(gòu)成要素的特征信息的附予處理。
按照本發(fā)明的其它另外的1個(gè)方面，從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置，包括區(qū)域分割手段和抽取手段。
區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域。
抽取手段借助于進(jìn)行將物體圖像的各圖像信息匯總在每個(gè)區(qū)域中的處理，確定并抽取物體圖像中的物體部分這里，不希望要的部分是例如背景部分。
比較理想的是，在抽取手段中，將物體圖像的各象素信息匯總在每個(gè)區(qū)域中的處理是在每個(gè)區(qū)域中將物體圖像的各象素的信息加以平均化的處理。
比較理想的是，抽取手段借助于對(duì)于匯總在每個(gè)區(qū)域中的各象素的信息進(jìn)行閾值處理，確定物體圖像中的物體部分并進(jìn)行抽取。
比較理想的是，物體圖像的各象素的信息是在僅拍攝對(duì)象物體的背景的背景圖像和物體圖像間進(jìn)行差分處理得到的差分信息。
比較理想的是，抽取手段包括差分處理手段，平均值導(dǎo)出手段和閾值處理手段。
差分處理手段在僅拍攝對(duì)象物體的背景的背景圖像和物體圖像間進(jìn)行差分處理。
平均值導(dǎo)出手段對(duì)于由差分處理得到的差分的絕對(duì)值，求出各區(qū)域內(nèi)的平均值。
閾值處理手段比較區(qū)域內(nèi)的平均值和預(yù)定值，并抽取平均值在預(yù)定值以上的區(qū)域作為物體部分。
比較理想的是，抽取手段包括差分處理手段，平均值導(dǎo)出手段和閾值處理手段。
平均值導(dǎo)出手段算出物體圖像的各區(qū)域內(nèi)的象素的平均值，差分處理手段在物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域內(nèi)的象素的平均值間進(jìn)行差分處理，閾值處理手段比較基于差分處理得到的差分的絕對(duì)值和預(yù)定值，并抽取差分的絕對(duì)值在預(yù)定值以上的區(qū)域作為物體部分。
比較理想的是，物體圖像的各象素的信息是進(jìn)深信息。
按照本發(fā)明的其它另外的1個(gè)方面，從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置，包括進(jìn)深信息算出手段、區(qū)域分割手段、平均值算出手段和抽取手段。
進(jìn)深信息算出手段算出物體圖像的進(jìn)深信息，區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域，平均值算出手段對(duì)每個(gè)區(qū)域算出進(jìn)深信息的平均值，抽取手段抽取多個(gè)區(qū)域中平均值在預(yù)定的范圍內(nèi)的區(qū)域作為物體部分，特別在物體圖像中不包含位于較對(duì)象物體更加前方位置的物體的場(chǎng)合，抽取其平均值比預(yù)定值小的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個(gè)方面，基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括差分手段、抽取手段和閾值決定手段。
差分手段算出物體圖像和背景圖像的差，抽取手段抽取物體圖像中差值比閾值大的部分作為物體部分，閾值決定手段基于多個(gè)背景圖像的分布，統(tǒng)計(jì)決定閾值。
按照本發(fā)明的其它另外的1個(gè)方面，基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括算出手段、差分手段和抽取手段。
算出手段在多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差，差分手段算出物體圖像的各象素的值和與該象素對(duì)應(yīng)的背景圖像的象素的平均值之差，抽取手段抽取物體圖像的象素中差值比標(biāo)準(zhǔn)偏差的規(guī)定倍數(shù)大的象素作為物體部分。
按照本發(fā)明的其它另外的1個(gè)方面，基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標(biāo)準(zhǔn)偏差算出手段、區(qū)域分割手段、差分手段、平均差算出手段、平均標(biāo)準(zhǔn)偏差算出手段和抽取手段。
平均/標(biāo)準(zhǔn)偏差算出手段在多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差，區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域，差分手段算出物體圖像的各區(qū)域內(nèi)的各象素值和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域內(nèi)對(duì)應(yīng)的象素的平均值之差，平均差算出手段對(duì)每個(gè)區(qū)域算出差的平均值，平均標(biāo)準(zhǔn)偏差算出手段對(duì)每個(gè)區(qū)域算出標(biāo)準(zhǔn)偏差的平均值，抽取手段抽取多個(gè)區(qū)域中差的平均值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個(gè)方面，基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標(biāo)準(zhǔn)偏差算出手段、區(qū)域分割手段、平均算出手段、差分手段、平均差算出手段、平均標(biāo)準(zhǔn)偏差算出手段和抽取手段。
平均/標(biāo)準(zhǔn)偏差算出手段在多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差，區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域，
平均算出手段算出物體圖像的各區(qū)域內(nèi)的象素的平均值，差分手段算出物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域內(nèi)的象素的平均值之差的絕對(duì)值，平均差算出手段對(duì)每個(gè)區(qū)域算出差的絕對(duì)值的平均值，平均標(biāo)準(zhǔn)偏差算出手段對(duì)每個(gè)區(qū)域算出標(biāo)準(zhǔn)偏差的平均值，抽取手段抽取多個(gè)區(qū)域中差的絕對(duì)值的平均值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個(gè)方面，基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標(biāo)準(zhǔn)偏差算出手段、區(qū)域分割手段、平均算出手段、差分手段、平均標(biāo)準(zhǔn)偏差算出手段和抽取手段。
平均/標(biāo)準(zhǔn)偏差算出手段在多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差，區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域，平均算出手段在算出物體圖像的各區(qū)域內(nèi)的象素的平均值的同時(shí)，算出背景圖像的象素平均值的各區(qū)域內(nèi)的平均值，差分手段算出物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域內(nèi)的象素平均值的區(qū)域內(nèi)的平均值之差的絕對(duì)值，平均標(biāo)準(zhǔn)偏差算出手段對(duì)每個(gè)區(qū)域算出標(biāo)準(zhǔn)偏差的平均值，抽取手段抽取多個(gè)區(qū)域中差的絕對(duì)值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
按照本發(fā)明的其它另外的1個(gè)方面，基于多次拍攝對(duì)象物體得到的多個(gè)物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像，從物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括平均/標(biāo)準(zhǔn)偏差算出手段、平均算出手段、區(qū)域分割手段、差分手段、平均差算出手段、平均標(biāo)準(zhǔn)偏差算出手段和抽取手段。
平均/標(biāo)準(zhǔn)偏差算出手段在多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差，平均算出手段在多個(gè)物體圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值，區(qū)域分割手段將物體圖像分割成多個(gè)區(qū)域，差分手段算出物體圖像的各區(qū)域內(nèi)的各象素的平均值和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域內(nèi)的對(duì)應(yīng)的象素的平均值之差的絕對(duì)值，平均差算出手段對(duì)每個(gè)區(qū)域算出差的絕對(duì)值的平均值，平均標(biāo)準(zhǔn)偏差算出手段對(duì)每個(gè)區(qū)域算出標(biāo)準(zhǔn)偏差的平均值，抽取手段抽取多個(gè)區(qū)域中差的絕對(duì)值的平均值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為物體部分。
因此，采用前述的物體抽取裝置，則即使對(duì)象物體存在與背景的色彩相同部分時(shí)，也能檢測(cè)并抽取該部分作為物體部分。此外，能減少采用人工的作業(yè)，同時(shí)不需要特殊的拍攝環(huán)境。
按照本發(fā)明的其它另外的1個(gè)方面，生成對(duì)象物體的立體模型的立體模型生成裝置，包括拍攝對(duì)象物體的背景而且包含背景拍攝對(duì)象物體的拍攝手段，求出僅拍攝背景得到的背景圖像和包含背景拍攝對(duì)象物體得到的多個(gè)物體圖像的差分、并生成輪廓圖像的輪廓生成手段，用多個(gè)輪廓圖像生成對(duì)象物體的立體模型的手段。
比較理想的是，前述的立體模型生成裝置，還包括使對(duì)象物體旋轉(zhuǎn)的旋轉(zhuǎn)手段。
按照本發(fā)明的其它另外的1個(gè)方面，生成對(duì)象物體的立體模型的立體模型生成裝置，包括生成對(duì)象物體的多個(gè)輪廓圖像的輪廓生成手段，以多個(gè)輪廓圖像為基礎(chǔ)，推定體元空間中對(duì)象物體的存在區(qū)域的推定手段，用由推定手段得到的對(duì)象物體的存在區(qū)域，生成對(duì)象物體的立體模型的手段。
比較理想的是，推定手段對(duì)體元空間進(jìn)行表決(voting)處理。
比較理想的是，前述的立體模型生成裝置，還包括以表決處理的結(jié)果、投票數(shù)在規(guī)定的閾值以上的部分，作為對(duì)象物體的存在區(qū)域的閾值處理手段。
因此，采用前述的立體模型生成裝置，則因用進(jìn)行差分處理而得到的輪廓圖像生成立體模型，所以不需要同一色彩的背景板等那樣的特殊的拍攝環(huán)境。
此外，因以多個(gè)輪廓圖像為基礎(chǔ)進(jìn)行對(duì)體元空間的表決處理生成立體模型，所以即使多個(gè)輪廓圖像中有幾個(gè)不正確，也能高精度地生成立體模型。
此外，因通過將切斷對(duì)象物體的立體形狀得到的多個(gè)切斷面的輪廓線用多邊形近似而生成立體模型，所以能減少用于生成立體模型的數(shù)據(jù)量，并能高速地進(jìn)行處理。
此外，因通過將對(duì)象物體的多個(gè)剖面形狀的輪廓線用多邊形近似而生成立體模型，所以能減少用于生成立體模型的數(shù)據(jù)量，并能高速地進(jìn)行處理。
附圖簡(jiǎn)要說(shuō)明圖1是表示以往的特征信息附予方法的示意圖。
圖2是表示以往的特征信息附予方法的問題的剖視圖。
圖3是表示本發(fā)明實(shí)施形態(tài)1的立體模型生成裝置的結(jié)構(gòu)的概略方框圖。
圖4是表示圖3所示的立體模型生成裝置中色彩信息附予處理單元的結(jié)構(gòu)的概略方框圖。
圖5是表示從實(shí)際存在的物體生成立體模型的處理流程的流程圖。
圖6A是用于說(shuō)明圖5的步驟S10的圖像拍攝的圖。
圖6B是用于說(shuō)明圖5的步驟S12的輪廓圖像生成的圖。
圖6C是用于說(shuō)明圖5的步驟S14的表決處理的圖。
圖6D是用于說(shuō)明圖5的步驟S16的多邊形生成的圖。
圖6E是用于說(shuō)明圖5的步驟S18的特征映射的圖。
圖7是表示表決處理的概念的透視圖。
圖8是表示表決處理中假定存在區(qū)域的P平面剖視圖。
圖9是表示表決處理的概念的P平面剖視圖。
圖10A是表示用于說(shuō)明多邊形生成處理的示意圖。
圖10B是圖10A中的10B部分的放大圖。
圖11是表示基于多邊形的3維形狀模型的圖。
圖12A是表示特征信息附予處理的示意圖。
圖12B是表示圖12A中的12B部分的放大圖。
圖13是表示對(duì)各立體形狀結(jié)構(gòu)要素的特征信息附予的處理流程的流程圖。
圖14是表示實(shí)施形態(tài)1的特征信息附予方法的處理流程的流程圖。
圖15是表示記錄實(shí)施形態(tài)1的特征信息附予方法的記錄媒體的示意圖。
圖16是表示實(shí)施形態(tài)2的特征信息附予方法的處理流程的流程圖。
圖17是表示實(shí)施形態(tài)3的特征信息附予方法的處理流程的流程圖。
圖18是表示對(duì)圖4中的色彩信息存儲(chǔ)器的特征信息的存儲(chǔ)方法的示意圖。
圖19是表示實(shí)施形態(tài)4的特征信息附予方法的處理流程的流程圖。
圖20是表示實(shí)施形態(tài)5的特征信息附予方法的示意圖。
圖21是表示實(shí)施形態(tài)5的特征信息附予方法的處理流程的流程圖。
圖22是表示本發(fā)明的實(shí)施形態(tài)6的物體抽取裝置(圖像切出裝置)的整體結(jié)構(gòu)圖。
圖23是表示本發(fā)明的實(shí)施形態(tài)6的物體抽取裝置(圖像切出裝置)的概略的方框圖。
圖24是表示圖22的運(yùn)算單元的概略方框圖。
圖25A-圖25C是用于詳細(xì)地說(shuō)明圖24的差分處理單元、平均值導(dǎo)出單元和閾值處理單元的處理的圖。
圖26是表示本發(fā)明的實(shí)施形態(tài)7的物體抽取裝置的主要結(jié)構(gòu)流程圖。
圖27A是表示分割成圖26所示的物體抽取裝置中得到的多個(gè)區(qū)域R的物體圖像的圖。
圖27B是表示用亮度顯示進(jìn)深信息的圖像的圖。
圖27C是表示從物體圖像除去背景部分抽取的物體部分的圖像的圖。
圖28是表示實(shí)施形態(tài)8的物體抽取裝置的主要結(jié)構(gòu)的流程圖。
圖29是表示實(shí)施形態(tài)9的物體抽取裝置的主要結(jié)構(gòu)的流程圖。
圖30是表示實(shí)施形態(tài)10的物體抽取裝置的主要結(jié)構(gòu)的流程圖。
圖31是表示實(shí)施形態(tài)11的物體抽取裝置的主要結(jié)構(gòu)的流程圖。
圖32是表示實(shí)施形態(tài)12的立體模型生成裝置的概略方框圖。
圖33是表示圖32所示的立體模型生成裝置的處理流程的流程圖。
圖34是用于說(shuō)明在圖33的步驟S8求得的透視(perspective)比的圖。
圖35A-圖35C是用于說(shuō)明在圖33的步驟S8求得的拍攝機(jī)和旋轉(zhuǎn)臺(tái)的位置關(guān)系的圖。
圖36是用于說(shuō)明在圖33的步驟S14中用的圓柱坐標(biāo)系體元空間的體元的圖。
圖37是用于說(shuō)明圖33的步驟S14的表決處理的圖。
圖38是用于說(shuō)明圖33的步驟S14的表決處理結(jié)果的圖。
圖39A是用于說(shuō)明圖33的步驟S16中多邊形生成的具體內(nèi)容的圖。
圖39B是圖39A中的39B部分的放大圖。
圖40是用于說(shuō)明圖33的步驟S16的多邊形生成的流程圖。
圖41是表示用圖40中步驟SA2求得的對(duì)應(yīng)于相鄰切斷面的輪廓線的頂點(diǎn)間的關(guān)系圖。
圖42是用于說(shuō)明圖40中步驟SA3的局部的最接近點(diǎn)相鄰策略的圖。
圖43是表示由圖40中步驟SA3的局部的最接近點(diǎn)相鄰策略得到的多邊形的圖。
圖44是表示圖40中步驟SA3的局部的最接近點(diǎn)相鄰策略的多邊形生成的一部分流程圖。
圖45是表示圖40中步驟SA3的局部的最接近點(diǎn)相鄰策略的多邊形生成的另外一部分流程圖。
圖46是用于說(shuō)明圖40中步驟SA3的大區(qū)域的最短連接策略的多邊形生成的流程圖。
圖47是表示記錄用于使對(duì)象物體的立體模型生成在圖3計(jì)算機(jī)上的程序的CD-ROM的圖。
實(shí)施發(fā)明的最佳方式下面，參照附圖對(duì)本發(fā)明的實(shí)施形態(tài)詳細(xì)地進(jìn)行說(shuō)明。此外，在圖中相同的或者相當(dāng)?shù)牟糠指揭韵嗤臉?biāo)號(hào)并省略重復(fù)的說(shuō)明。
實(shí)施形態(tài)1圖3是表示本發(fā)明實(shí)施形態(tài)1的用于從實(shí)際存在的物體再次構(gòu)成3維模型的立體模型生成裝置1000的結(jié)構(gòu)的概略方框圖。參照?qǐng)D3，在旋轉(zhuǎn)臺(tái)110上裝有對(duì)象物體100。旋轉(zhuǎn)臺(tái)110根據(jù)例如來(lái)自計(jì)算機(jī)130的控制信號(hào)，控制其旋轉(zhuǎn)角度。拍攝機(jī)120對(duì)于各個(gè)指定角度對(duì)旋轉(zhuǎn)的對(duì)象物體100進(jìn)行拍攝，并將得到的圖像數(shù)據(jù)供給計(jì)算機(jī)130。另一方面，從輸入裝置140將旋轉(zhuǎn)臺(tái)110的旋轉(zhuǎn)間隔等拍攝條件的數(shù)據(jù)供給計(jì)算機(jī)130。
計(jì)算機(jī)130根據(jù)由拍攝機(jī)120提供的圖像信息，從對(duì)應(yīng)于各拍攝角度的圖像信息抽取輪廓圖像，生成3維形狀模型。這里，作為3維形狀模型，能用例如多邊形(三角形拼塊)的集合來(lái)表示。此外，所謂的前述圖像信息是指例如對(duì)應(yīng)于由拍攝機(jī)120輸出的各象素的亮度、色彩或者濃度所表示的數(shù)值信息。但是，作為立體模型的表示方法不限于這種表示方法，例如也能用不同形狀的表面形狀要素的集合進(jìn)行表示。因此，下面將用于表示形狀模型的要素的形狀總稱為立體形狀構(gòu)成要素。
接著，計(jì)算機(jī)130根據(jù)在各角度中拍攝的圖像信息，對(duì)于再次構(gòu)成的形狀模型附予特征信息。這里，所謂的計(jì)算機(jī)圖形學(xué)(CG)領(lǐng)域中的色彩信息(特征信息)是指貼附在物體表面上的、用于表示這種表面的微細(xì)的凸凹和圖案、樣子、材料質(zhì)感的圖像信息。這樣，將再次構(gòu)成的立體模型顯示在顯示裝置150上。
在對(duì)于3維圖像信息的色彩信息(更一般地說(shuō)是特征信息)的附予方法詳細(xì)地進(jìn)行說(shuō)明前，首先對(duì)從實(shí)際存在的物體到生成物體的3維形狀模型為止的流程簡(jiǎn)單地進(jìn)行說(shuō)明。
圖5是表示從生成物體圖像開始到將特征信息附予形狀模型為止的處理流程的流程圖。圖6A到圖6E是表示各流程的過程中數(shù)據(jù)處理的概要的概念圖。
首先，參照?qǐng)D6A，計(jì)算機(jī)130根據(jù)由輸入裝置140供給的拍攝條件數(shù)據(jù)，控制旋轉(zhuǎn)臺(tái)110的旋轉(zhuǎn)角。對(duì)于各旋轉(zhuǎn)角取入拍攝機(jī)120拍攝的物體圖像A1～An(步驟S10)，例如假設(shè)對(duì)于每隔10°角度取入來(lái)自拍攝機(jī)120的物體圖像，則1轉(zhuǎn)取入36張物體圖像A1～An。
接著，參照?qǐng)D6B，計(jì)算機(jī)130從各被拍攝的物體圖像A1～An抽取物體像的輪廓，生成從各個(gè)方向看到的物體的輪廓圖像B1～Bn(步驟S12)。
這里，得到的輪廓圖像B1～Bn表示從各個(gè)方向看到的對(duì)象物體100的輪廓。因此，如圖6C所示，根據(jù)這些從各方向看到的物體的輪廓圖像，對(duì)于分割成假想的體元(voxel)后的3維空間，用后面說(shuō)明的表決處理在這種體元空間251內(nèi)推定對(duì)象物體100的存在區(qū)域(步驟S14)。
接著，參照?qǐng)D6D，對(duì)在這種體元空間251表示的物體區(qū)域進(jìn)行變換，以便用多邊形(三角形拼塊)27的形狀模型300來(lái)表示(步驟S16)。這里，要求例如用于表示所必要的多邊形數(shù)要減少，而且維持表示形狀的精度。因此，能例如用以下的方法生成多邊形27。
也就是說(shuō)，首先，在用圓柱坐標(biāo)系表示的體元空間251中，對(duì)用圓柱坐標(biāo)系的θ表面的切斷面輪廓線進(jìn)行多邊形近似，決定多邊形27的頂點(diǎn)。接著，將各頂點(diǎn)分別與最接近的3頂點(diǎn)連接，生成三角形拼塊。
接著，參照?qǐng)D6E，對(duì)于生成的多邊形27的各三角形拼塊，由在步驟S10中拍攝的圖像信息附予特征信息(步驟S18)。
按照前述的流程，以用拍攝機(jī)120拍攝現(xiàn)實(shí)存在的物體的圖像信息為基礎(chǔ)，在計(jì)算機(jī)130內(nèi)再次構(gòu)成立體模型27。
此外，如前所述，做成將對(duì)象物體100安裝在旋轉(zhuǎn)臺(tái)110上并用拍攝機(jī)120以固定的狀態(tài)然后使旋轉(zhuǎn)臺(tái)旋轉(zhuǎn)對(duì)圖像進(jìn)行拍攝的結(jié)構(gòu)，但獲得圖像信息的方法不限于這種結(jié)構(gòu)。
例如，也可以是這樣構(gòu)成，即對(duì)象物體100保持靜止，人拿著拍攝機(jī)120并移動(dòng)，從多個(gè)視點(diǎn)拍攝對(duì)象物體100，從而得到圖像數(shù)據(jù)。這種場(chǎng)合，如果知道各圖像拍攝時(shí)的拍攝機(jī)120的位置和進(jìn)行拍攝的方向，則以這些信息為基礎(chǔ)利用與下述相同的方法也能進(jìn)行3維形狀模型300的再次構(gòu)成和特征信息的附予。
下面，對(duì)于圖5所示的各處理步驟進(jìn)一步詳細(xì)地進(jìn)行說(shuō)明。
(圖像拍攝和輪廓圖像生成)如前所述，用圖3所示的結(jié)構(gòu)進(jìn)行圖像拍攝時(shí)，將對(duì)象物體100安裝在旋轉(zhuǎn)臺(tái)110上，一邊使旋轉(zhuǎn)臺(tái)110旋轉(zhuǎn)一邊拍攝若干幅物體圖像A1～An。然后，為了下一步驟S12的輪廓圖像抽取，還進(jìn)行背景圖像的拍攝。
接著，利用對(duì)象物體圖像A1～An與背景圖像間的差分處理，生成僅切出對(duì)象物體的輪廓圖像B1～Bn。
這時(shí)，由于不需要將背景圖像形成單一色彩的特殊的拍攝環(huán)境，而且能進(jìn)行穩(wěn)定的輪廓圖像生成，所以還能夠不是單純的圖像間差分，而是進(jìn)行加上如后所述的區(qū)域分割處理的圖像差分。
也就是說(shuō)，對(duì)物體圖像A1～An進(jìn)行區(qū)域分割，接著以區(qū)域?yàn)閱挝贿M(jìn)行與背景圖像的差分處理。這里，所謂的差分處理是指對(duì)于每個(gè)象素將被拍攝的物體圖像信息就其信號(hào)強(qiáng)度算出差分的處理。再進(jìn)一步，對(duì)區(qū)域單位中的差分平均進(jìn)行閾值處理，進(jìn)行物體部分的抽取。
在如前所述的方法中，即使在象素級(jí)中存在與背景同色的物體，只要在區(qū)域級(jí)中有不同與背景的色彩，則一般具有能檢測(cè)出作為物體部分的性質(zhì)。因此，能提高生成輪廓圖像精度。
(表決處理)如前所述，能得到從多個(gè)視點(diǎn)拍攝對(duì)象物體100的輪廓圖像信息。為了從這些多個(gè)輪廓圖像信息再次構(gòu)成物體的3維形狀，進(jìn)行如后所述的表決處理。
下面，首先參照?qǐng)D7對(duì)用于描述3維形狀的體元模型和體元空間251進(jìn)行說(shuō)明。
體元模型是用有無(wú)立體的格網(wǎng)點(diǎn)描述3維形狀的模型，并稱定義體元的空間為體元空間251。以包含識(shí)別物體那樣的大小、位置來(lái)配置體元空間251。下面，對(duì)應(yīng)于一邊使對(duì)象物體100旋轉(zhuǎn)、一邊進(jìn)行圖像拍攝，用能更加自然地表現(xiàn)對(duì)象物體形狀的圓柱坐標(biāo)系表示這種體元空間251。
因此，當(dāng)假設(shè)圓柱坐標(biāo)的半徑方向的坐標(biāo)為r、角度方向的坐標(biāo)為θ、軸方向的坐標(biāo)為z時(shí)，各體元成為表示用等間隔分割各r、θ、z時(shí)的體積要素。用這種體積要素的集合表示3維形狀模型是體元模型。
下面，對(duì)于從輪廓圖像B1～Bn再次構(gòu)成這種體元模型的步驟簡(jiǎn)單地進(jìn)行說(shuō)明。
首先，基于1個(gè)輪廓圖像，在體元空間251內(nèi)算出對(duì)于對(duì)象物體的假定存在區(qū)域50。這里，如圖7所示，假定存在區(qū)域50表示以拍攝機(jī)120的投影中心51為頂點(diǎn)、以圖像的物體像為剖面形狀的錐體狀的區(qū)域。也就是說(shuō)，對(duì)象物體100必定存在在這種區(qū)域的內(nèi)側(cè)。
所謂表決處理是表示，對(duì)于存在在這種假定存在區(qū)域50內(nèi)的各個(gè)體元，在相當(dāng)于對(duì)于例如1個(gè)輪廓圖像的假定存在區(qū)域50的場(chǎng)合，則進(jìn)行分配(投票)數(shù)值1的處理。
圖8是表示與圖7所示的z軸垂直的平面P上的輪廓圖像和圓柱體元空間251的剖面圖。
如前所述，因以拍攝機(jī)120的投影中心51形成的錐體狀的區(qū)域相當(dāng)于假定存在區(qū)域50，所以對(duì)于存在于這種區(qū)域50中的圓柱體元空間251內(nèi)的各體元，分配數(shù)值1。
圖9是在基于多個(gè)輪廓圖像B1～Bn進(jìn)行表決處理的場(chǎng)合，表示平面P剖面的圓柱體元空間251的剖視圖。
圖9示出了基于從5個(gè)視點(diǎn)拍攝的輪廓圖像B1～B5對(duì)圓柱體元空間251進(jìn)行表決處理的情況。這種情況下，由于基于各輪廓圖像的表決處理將對(duì)于各自的輪廓圖像的假定存在區(qū)域50分配數(shù)值1，所以在基于5個(gè)輪廓圖像B1～B5進(jìn)行表決處理的場(chǎng)合，圖9中的用交叉影線表示的區(qū)域?qū)⑴c全部的基于輪廓圖像B1～B5的假定存在區(qū)域50重合。換言之，在這種交叉影線的區(qū)域內(nèi)的體元中，分配分別基于5個(gè)輪廓圖像B1～B5的表決處理的結(jié)果即數(shù)值5。
因此，在例如圓柱體元空間251內(nèi)的體元中，如果僅抽取分配5以上的體元，則能算出對(duì)象物體100在這種圓柱體元空間251內(nèi)存在的區(qū)域。
更一般地說(shuō)，對(duì)應(yīng)于被拍攝的物體圖像數(shù)，設(shè)定適當(dāng)?shù)拈撝?，通過這樣能表決處理算出圓柱體元空間251內(nèi)的對(duì)象物體的存在區(qū)域。利用前述的處理，能在圓柱體元空間251內(nèi)抽取對(duì)象物體100存在的區(qū)域。
作為用體元空間251的3維模型生成方法，雖然有其它的在美國(guó)專利4982438號(hào)中公開的錐體相關(guān)法，但是這種方法存在生成的輪廓圖像的誤差保持不變從而影響再次構(gòu)成的物體形狀的問題。與此不同，利用表決處理的3維模型生成方法的特點(diǎn)是，即使在作為基礎(chǔ)的輪廓圖像中包含誤差，也能通過設(shè)定適當(dāng)?shù)拈撝?，以抑制獲得的3維形狀的精度降低。
(多邊形生成)接著，將用體元空間251表示的物體區(qū)域變換成用多邊形(三角形拼塊)27的形狀模型300來(lái)表示。
圖10A和圖10B是表示這種多邊形生成的過程的示意圖。參照?qǐng)D10A和圖10B，對(duì)用圓柱體元空間251表示的物體區(qū)域的用圓柱坐標(biāo)系θ1平面(在圓柱坐標(biāo)系中是θ=θ1平面)的切斷面輪廓線進(jìn)行多邊形近似。由這種多邊形近似得到的輪廓線Lθ1的各頂點(diǎn)，如后面說(shuō)明的那樣，相當(dāng)于多邊形27的頂點(diǎn)。同樣地，對(duì)用圓柱坐標(biāo)系θ2平面的切斷面輪廓線進(jìn)行多邊形近似，得到Lθ2。對(duì)于全部的體元相應(yīng)的θ平面，進(jìn)行以上的操作。
接著，將這些各輪廓線的各頂點(diǎn)分別與最接近的3個(gè)頂點(diǎn)連接，生成三角形拼塊27。借助于用這樣的輪廓線的多邊形近似和連接最接近的3頂點(diǎn)的手續(xù)、生成三角形拼塊27，能將用于表示所必須的多邊形數(shù)減少至最少，而且能維持所表示形狀的精度。
圖11所示為用多邊形27表示對(duì)象物體100的3維形狀模型300。利用前述的操作，能對(duì)于對(duì)象物體的形狀在計(jì)算機(jī)內(nèi)等進(jìn)行再次構(gòu)成。
以上，是假定圓柱體元空間251進(jìn)行了說(shuō)明，但也可以用正交體元空間。此外，在多邊形生成處理中，也可以借助于連接相鄰的體元，在一旦生成細(xì)小的多邊形后就將它們合并以減少多邊形數(shù)。
(特征映射)接著，如前所述，為了對(duì)于在計(jì)算機(jī)內(nèi)等再次構(gòu)成的物體形狀附予特征信息、并生成更加真實(shí)的3維模型，將包含在拍攝的物體圖像A1～An中的特征信息對(duì)于前述的3維形狀模型300進(jìn)行附予處理。
具體地說(shuō)，在提供各多邊形27的特征信息的物體圖像(下面稱為參照?qǐng)D像)決定后，將多邊形27投影到參照?qǐng)D像上，并將其投影部分的特征信息附予對(duì)應(yīng)的多邊形27。
圖12A和圖12B是用于說(shuō)明這種特征信息的附予處理的示意圖。下面，為簡(jiǎn)單說(shuō)明起見，取標(biāo)記號(hào)碼1～8的8張具有物體圖像信息的圖像作為參照?qǐng)D像。也就是說(shuō)，存在從每隔45°的角度拍攝對(duì)象物體的物體圖像。此外，在下面的說(shuō)明中，是基于圍繞1個(gè)旋轉(zhuǎn)軸并每隔固定的角度拍攝對(duì)象物體的參照?qǐng)D像，對(duì)將特征信息附予形狀模型300的場(chǎng)合進(jìn)行說(shuō)明，但本發(fā)明不限于這種場(chǎng)合，也能適用于基于從任意的位置和方向拍攝對(duì)象物體的多個(gè)參照?qǐng)D像，對(duì)于形狀模型300附予特征信息的場(chǎng)合。
在對(duì)于所注意的多邊形27，當(dāng)決定是對(duì)應(yīng)于哪一個(gè)參照?qǐng)D像時(shí)，作為應(yīng)該考慮的地方，是首先采取選擇對(duì)于該多邊形27的特征信息量大的參照?qǐng)D像的方針。
因此，在前述的方針下，通過對(duì)于各多邊形27相應(yīng)的參照?qǐng)D像、即標(biāo)記號(hào)碼的分配，能對(duì)于用多邊形27表示的形狀模型300附予特征信息。
圖13是表示到附予特征信息為止的處理流程的流程圖。另一方面，圖4是表示在計(jì)算機(jī)130中，用于進(jìn)行特征信息附予的色彩信息附予處理單元200的結(jié)構(gòu)的示意方框圖。
色彩信息附予處理單元200包括存儲(chǔ)并保持由拍攝機(jī)120拍攝的物體圖像信息(參照?qǐng)D像信息)的圖像存儲(chǔ)單元220，基于存儲(chǔ)在圖像存儲(chǔ)單元220中的參照?qǐng)D像信息、生成對(duì)象物體的形狀模型300的運(yùn)算單元210，存儲(chǔ)由運(yùn)算單元210生成的形狀模型300、更具體地說(shuō)存儲(chǔ)各多邊形27的位置和形狀的形狀存儲(chǔ)單元230，和如后所述將基于保持在圖像存儲(chǔ)單元220中的參照?qǐng)D像信息、運(yùn)算單元210對(duì)于各多邊形27分配的特征信息進(jìn)行存儲(chǔ)保持的色彩信息存儲(chǔ)單元240。
如前所述，參照?qǐng)D13和圖4，圖像存儲(chǔ)單元220存儲(chǔ)例如使對(duì)象物體旋轉(zhuǎn)一定的角度同時(shí)進(jìn)行拍攝的圖像信息(步驟S20)。
接著，基于拍攝的圖像信息，運(yùn)算單元210生成形狀模型300，并使該形狀數(shù)據(jù)保持在形狀存儲(chǔ)單元230中(步驟S22)。
接著，按照后面說(shuō)明的順序，運(yùn)算單元210進(jìn)行立體形狀構(gòu)成要素(例如多邊形27)和保持在圖像存儲(chǔ)單元220中的參照?qǐng)D像信息的對(duì)應(yīng)(步驟S24)。
運(yùn)算單元210將對(duì)應(yīng)的各多邊形27和特征信息保持在色彩信息存儲(chǔ)單元240中(步驟26)。
下面，對(duì)前述步驟S24的立體形狀構(gòu)成要素和參照?qǐng)D像信息的對(duì)應(yīng)處理進(jìn)一步詳細(xì)地進(jìn)行說(shuō)明。
圖14是更加詳細(xì)地表示步驟S24中用于進(jìn)行立體形狀構(gòu)成要素和參照?qǐng)D像信息的對(duì)應(yīng)的處理流程的流程圖。
在下面的處理中，利用各立體形狀構(gòu)成要素(多邊形27)的法線向量和與拍攝參照?qǐng)D像的方向平行的圖像拍攝面的法線向量的方向的一致性，判斷特征信息量的大小。也就是說(shuō)，對(duì)于對(duì)應(yīng)的多邊形27最正對(duì)的參照?qǐng)D像，判斷為對(duì)于該多邊形27的特征信息最大。
在畫面拍攝(步驟S20)和形狀模型生成(步驟S22)的各處理結(jié)束后，運(yùn)算單元210首先進(jìn)行在后面的運(yùn)算處理中使用的變量的初始化。
也就是說(shuō)，將立體形狀構(gòu)成要素代入到變量Emax中，將拍攝的圖像數(shù)代入到變量Imax中。此外，在以下的處理中將對(duì)與拍攝圖像對(duì)應(yīng)的標(biāo)記號(hào)碼進(jìn)行計(jì)數(shù)用的輔助變量Icnt初始化為0。
此外，將分別對(duì)應(yīng)于第i號(hào)(i=0～Emax-1)的立體形狀構(gòu)成要素的1維數(shù)組變量Prod[i]的值全部初始化為0，另一方面，將第i號(hào)碼的立體形狀構(gòu)成要素對(duì)應(yīng)的參照?qǐng)D像的標(biāo)記號(hào)碼代入的1維數(shù)組變量Id[i]的值全部初始化為-1(步驟S2402)。
接著，將對(duì)多邊形27的號(hào)碼進(jìn)行計(jì)數(shù)用的輔助變量Ecnt的值初始化為0(步驟S2403)。
接著，計(jì)算第Icnt號(hào)的圖像拍攝面的法線向量和第Ecnt號(hào)的立體形狀構(gòu)成要素的法線向量的內(nèi)積的值，并代入到變量Vtmp中(步驟S2404)。
接著，運(yùn)算單元210對(duì)第Ecnt號(hào)的變量Prod[Ecnt]的值和前述變量Vtmp的值進(jìn)行比較。
當(dāng)判斷變量Prod[Ecnt]的值比變量Vtmp的值小時(shí)(步驟S2406)，將變量Vtmp的值代入到變量Prod[Ecnt]中，同時(shí)將在該時(shí)刻的計(jì)數(shù)器變量Icnt的值代入到變量Id[Ecnt]中(步驟S2408)。
另一方面，當(dāng)判斷變量Prod[Ecnt]的值比變量Vtmp的值大時(shí)(步驟S2406)，使變量Ecnt的值僅增加1(步驟S2410)。
接著，如果判斷計(jì)數(shù)器變量Ecnt的值比立體形狀構(gòu)成要素Emax小時(shí)(步驟S2412)，再次將處理返回到步驟S2404中，并對(duì)于下一個(gè)立體形狀構(gòu)成要素重復(fù)相同的處理。
另一方面，如果判斷計(jì)數(shù)器變量Ecnt的值比立體形狀構(gòu)成要素Emax大時(shí)(步驟S2412)，使計(jì)數(shù)器變量Icnt的值增加1(步驟S2414)。
接著，判斷計(jì)數(shù)器變量Icnt的值是否大于拍攝圖像數(shù)Imax(步驟S2416)。
在判斷變量Icnt的值小于拍攝圖像數(shù)Imax的場(chǎng)合(步驟S2416)，將對(duì)于下一個(gè)參照?qǐng)D像重復(fù)從步驟S2403到步驟S2412為止的處理。
另一方面，在判斷變量Icnt的值大于拍攝圖像數(shù)Imax的場(chǎng)合(步驟S2416)，接著處理進(jìn)行轉(zhuǎn)移。
也就是說(shuō)，利用從步驟S2402到步驟S2416為止的處理，對(duì)于各參照?qǐng)D像比較該參照?qǐng)D像的面法線向量和全部的立體形狀構(gòu)成要素的面法線向量的內(nèi)積的值。利用這種處理，對(duì)于具有內(nèi)積值比至此為止作為處理對(duì)象的參照?qǐng)D像的內(nèi)積值大的參照?qǐng)D像，就將其內(nèi)積值對(duì)于各立體形狀構(gòu)成要素存儲(chǔ)在1維數(shù)組變量Prod[Ecnt]中。另一方面，將該時(shí)刻的參照?qǐng)D像的標(biāo)記號(hào)碼存儲(chǔ)在1維數(shù)組變量Id[Ecnt]中。
因此，在從步驟S2416的處理轉(zhuǎn)移到下面的處理的時(shí)刻，對(duì)于對(duì)應(yīng)的第i號(hào)的立體形狀構(gòu)成要素，將具有最大的內(nèi)積值的參照?qǐng)D像信息的標(biāo)記號(hào)碼存儲(chǔ)在1維數(shù)組變量Id[i]中。
接著，對(duì)于色彩信息存儲(chǔ)單元240，運(yùn)算單元210對(duì)于各立體形狀構(gòu)成要素從圖像存儲(chǔ)單元220讀出對(duì)應(yīng)的參照?qǐng)D像信息并存儲(chǔ)到色彩信息存儲(chǔ)單元240中(步驟S2418)。
如前所述的構(gòu)成，因在構(gòu)成形狀模型300的各立體形狀構(gòu)成要素(多邊形27)中附予從特征信息量最多的參照?qǐng)D像信息中得到的色彩信息(特征信息)所以能將最接近于真實(shí)的物體的特征信息附予各立體形狀構(gòu)成要素。
圖15是表示記錄計(jì)算機(jī)130執(zhí)行圖14所示的特征信息附予方法用的程序的記錄媒體的結(jié)構(gòu)示意圖。
作為記錄媒體能用例如磁盤和CD-ROM(光盤只讀存儲(chǔ)器)等的光磁盤等。為了在計(jì)算機(jī)130中執(zhí)行圖14所示的處理，利用規(guī)定的程序語(yǔ)言描述各處理步驟的部分進(jìn)行編碼并記錄在記錄媒體260中。
如前所述，根據(jù)記錄在記錄媒體260中的特征信息附予程序，能使計(jì)算機(jī)130動(dòng)作，通過這樣能得到與前述相同的效果，也就是說(shuō)，對(duì)于在計(jì)算機(jī)130內(nèi)再次構(gòu)成的形狀模型300，能附予更加接近于真實(shí)物體具有的特征的特征信息。
實(shí)施形態(tài)2在實(shí)施形態(tài)1中對(duì)于各立體形狀構(gòu)成要素，根據(jù)內(nèi)積值選擇判斷為特征信息量最大的參照?qǐng)D像，并將特征信息附予各立體形狀構(gòu)成要素。
但是，如圖2所示，根據(jù)不同的對(duì)象物體的形狀，有時(shí)會(huì)有在從某個(gè)方向拍攝的物體圖像信息中存在看不見的部分。這種場(chǎng)合，在與這種看不見的部分相當(dāng)?shù)牧Ⅲw形狀構(gòu)成要素的面法線向量具有最大內(nèi)積值的參照?qǐng)D像中，會(huì)存在完全沒有特征信息的情況。
在實(shí)施形態(tài)2中提供也能適用于這種場(chǎng)合的特征信息的附予方法和特征信息附予裝置以及記錄特征信息附予程序的媒體。
在實(shí)施形態(tài)2中，色彩信息附予處理單元的結(jié)構(gòu)也與圖4所示的色彩信息附予處理單元200的結(jié)構(gòu)相同。但如后所述，運(yùn)算單元210進(jìn)行的運(yùn)算處理與實(shí)施形態(tài)1不同。
也就是說(shuō)，在實(shí)施形態(tài)1中，對(duì)于各多邊形27，通過比較其法線向量和各參照?qǐng)D像的法線向量的內(nèi)積值，判斷特征信息量的大小。與此不同，在實(shí)施形態(tài)2中，對(duì)于各多邊形27，算出對(duì)于各參照?qǐng)D像的投影面積，并根據(jù)這種算出的投影面積評(píng)價(jià)各參照?qǐng)D像信息具有的特征信息量的大小。
圖16是表示根據(jù)對(duì)這種參照?qǐng)D像的多邊形27的投影面積，決定對(duì)應(yīng)于各多邊形27的參照?qǐng)D像信息的標(biāo)記號(hào)碼的處理流程的流程圖。
在圖16所示的流程圖中，除了作為評(píng)價(jià)對(duì)象的值是用投影到參照?qǐng)D像上的立體形狀構(gòu)成要素的投影面積Atmp代替參照?qǐng)D像面的法線向量和立體形狀構(gòu)成要素的法線向量的內(nèi)積值Vtmp以外，與圖14所示的流程圖完全相同。
因此，在從步驟S2422到步驟S2436為止的處理結(jié)束的時(shí)刻，分別將對(duì)應(yīng)的第i號(hào)的立體形狀構(gòu)成要素具有最大的投影面積的參照?qǐng)D像信息的標(biāo)記號(hào)碼存儲(chǔ)在1維數(shù)組變量Id[i]中，將對(duì)于對(duì)應(yīng)的第i號(hào)的立體形狀構(gòu)成要素的對(duì)于具有Id[i]的標(biāo)記號(hào)碼的參照?qǐng)D像信息的投影面積存儲(chǔ)在1維數(shù)組變量Area[i]中。
與此相對(duì)應(yīng)，運(yùn)算單元210對(duì)于各立體形狀構(gòu)成要素從圖像存儲(chǔ)單元220中讀出對(duì)應(yīng)的參照?qǐng)D像的特征信息，并存儲(chǔ)到色彩信息存儲(chǔ)單元240中。
利用前述的處理，即使對(duì)于具有比較復(fù)雜形狀的對(duì)象物體，也能對(duì)于在計(jì)算機(jī)內(nèi)等再次構(gòu)成的形狀模型300，根據(jù)最大特征信息量的參照?qǐng)D像信息向多邊形27附予特征信息。此外，利用記錄圖16所示的從步驟S2422到步驟S2438為止的程序的媒體，使計(jì)算機(jī)130動(dòng)作，能夠達(dá)到相同的效果。
實(shí)施形態(tài)3在前述的說(shuō)明中，在將對(duì)象物體100作為形狀模型300再次構(gòu)成的場(chǎng)合，根據(jù)對(duì)于該多邊形27的特征信息量的大小判斷對(duì)于各多邊形27對(duì)應(yīng)的參照?qǐng)D像。
但是，在對(duì)于各多邊形27決定適合的參照?qǐng)D像的場(chǎng)合中應(yīng)該考慮的地方，不僅限于特征信息量的大小。例如，在多邊形27間附予的特征信息中若還存在顯著的不連續(xù)時(shí)，則多邊形的邊界線特別顯眼，再次構(gòu)成的立體模型29變得極不自然。
因此，對(duì)實(shí)施形態(tài)3的各立體形狀構(gòu)成要素的參照?qǐng)D像的分配方法，即作為特征信息的附予方法，其目的在于，第1選擇特征信息量大的參照?qǐng)D像，第2能同時(shí)隱蔽多邊形的邊界線。
這里，如實(shí)施形態(tài)2中說(shuō)明的，為了選擇特征信息量大的參照?qǐng)D像，希望向?qū)?yīng)的參照?qǐng)D像的多邊形的投影面積要大另一方面，為了隱蔽多邊形邊界線，希望在相鄰的多邊形27間附予的色彩信息(特征信息)的連續(xù)性好。
在實(shí)施形態(tài)3中，為了隱蔽多邊形邊界線采用這樣的結(jié)構(gòu)，即對(duì)于所注意的多邊形27，對(duì)與其相鄰的多邊形27的參照?qǐng)D像的分配是相同的，或者即使在不同的場(chǎng)合，也盡量選擇拍攝角度差小的參照?qǐng)D像。
更加具體地說(shuō)，為了能對(duì)最適合滿足前述的2個(gè)條件的多邊形27的參照?qǐng)D像信息進(jìn)行分割，如后所述，將問題處理成為所謂的能量最小化問題。
也就是說(shuō)，因每隔一定角度變化拍攝角度并拍攝各參照?qǐng)D像，所以將號(hào)碼順序地附加到參照?qǐng)D像上，用反復(fù)改善處理解決各多邊形27和參照?qǐng)D像號(hào)碼的對(duì)應(yīng)(標(biāo)號(hào)labeling)問題，以便使用下式表示的能量局部最小。
此外，在不是每隔一定角度變化拍攝角度并拍攝各參照?qǐng)D像的場(chǎng)合，也就是說(shuō)，在拍攝角度的變化量分別不同的場(chǎng)合，只要使附加的前述號(hào)碼對(duì)應(yīng)于拍攝角度即可。E=∑iPenalty(i)-k×area(i)……(1)]]>這里，Area(i)表示對(duì)多邊形i的參照?qǐng)D像的投影面積，Penalty(i)表示多邊形與其相鄰的多邊形的參照?qǐng)D像號(hào)碼(標(biāo)號(hào))的差，k是它們的組合系數(shù)。
也就是說(shuō)，能量函數(shù)E是這樣一種函數(shù)，按分配到與多邊形i相鄰的多邊形上的參照?qǐng)D像號(hào)碼與分配到多邊形i上的參照?qǐng)D像號(hào)碼不同的程度而增加，并且隨對(duì)多邊形i的投影面積、即特征信息量的增加而減少。
如前所述，因分配到與多邊形i相鄰的多邊形上的參照?qǐng)D像號(hào)碼的差越小，特征連續(xù)性越高，多邊形邊界線越隱蔽，所以在考慮到特征信息量大小(色彩信息量大小)和特征連續(xù)性兩方面的場(chǎng)合，極小化函數(shù)E就對(duì)應(yīng)于對(duì)各多邊形的最適合的參照?qǐng)D像號(hào)碼的分配。
此外，在前述的能量函數(shù)中，是用對(duì)多邊形i的參照?qǐng)D像的投影面積作為特征信息量的大小，但如實(shí)施形態(tài)1所示，也能是用多邊形的法線向量和參照?qǐng)D像的法線向量的內(nèi)積值進(jìn)行評(píng)價(jià)的結(jié)構(gòu)。
這里，在能量函數(shù)E中，組合系數(shù)k可以是常數(shù)，也可以是各多邊形的函數(shù)(例如各多邊形的面積的函數(shù))。
此外，作為能量函數(shù)E，除前述的函數(shù)Penalty(i)和函數(shù)Area(i)的線性組合外，更一般地，如果是隨著對(duì)所注意的多邊形i和與其相鄰的多邊形分配的特征信息量的連續(xù)性的改善而減少、而且隨著對(duì)所注意的多邊形i的特征信息量的增加而減少的函數(shù)，則不限于前述的結(jié)構(gòu)。
圖17是表示對(duì)于前述的能量函數(shù)E，用反復(fù)改善處理求得最佳值用的處理的流程圖。
首先，對(duì)于生成的形狀模型300的各多邊形，進(jìn)行參照?qǐng)D像號(hào)碼的臨時(shí)對(duì)應(yīng)，作為初始設(shè)定(步驟S2440)。
接著，運(yùn)算單元210將立體形狀構(gòu)成要素?cái)?shù)代入到變量N中，并將計(jì)數(shù)器變量Cnt初始化為數(shù)值0。此外，將“OFF”代入到標(biāo)記變量Flg中(步驟S2442)。
接著，將對(duì)應(yīng)于第Cnt號(hào)的立體形狀構(gòu)成要素的參照?qǐng)D像號(hào)碼預(yù)先代入到變量Pre_lbl中(步驟S2444)。
接著，對(duì)于第Cnt號(hào)的立體形狀構(gòu)成要素，使對(duì)應(yīng)的參照?qǐng)D像號(hào)碼變化，并導(dǎo)出使能量函數(shù)E極小化的參照?qǐng)D像號(hào)碼(步驟S2446)。
這里，將在步驟S2446中得到的新的對(duì)應(yīng)參照?qǐng)D像號(hào)碼代入到變量New_lbl中(步驟S2448)。
接著，比較變量New_lbl和變量Pre_lbl的值。在兩者不相等的場(chǎng)合(步驟S2450)，利用能量函數(shù)E的最小化計(jì)算，判斷所附標(biāo)號(hào)進(jìn)行了變換，并將“ON”代入到標(biāo)記變量Flg中(步驟S2452)。接著，使計(jì)數(shù)器變量Cnt的值僅增加1(步驟S2454)。
另一方面，在變量New_lbl和變量Pre_lbl的值相等的場(chǎng)合，標(biāo)記變量不變，使計(jì)數(shù)器變量Cnt的值僅增加1(步驟S2454)。
接著，當(dāng)計(jì)數(shù)器變量Cnt的值小于立體形狀構(gòu)成要素?cái)?shù)N的情況下，再次使處理回到步驟S2444中。另一方面，在計(jì)數(shù)器變量Cnt的值為立體形狀構(gòu)成要素?cái)?shù)N以上的場(chǎng)合，轉(zhuǎn)移到下面的處理(步驟S2456)。
因此，對(duì)于全部的立體形狀構(gòu)成要素，重復(fù)從步驟S2444到步驟S2454為止的處理。
接著，進(jìn)行標(biāo)記變量Flg和“OFF”的比較，在標(biāo)記變量Flg不等于“OFF”的場(chǎng)合(步驟S2458)，判斷為利用至少1次以上的能量函數(shù)E的極小化計(jì)算，進(jìn)行所附標(biāo)號(hào)的變換，即判斷為局部地使能量函數(shù)E極小化的標(biāo)記號(hào)碼的對(duì)應(yīng)沒有結(jié)束，處理再次回到步驟S2442中。
另一方面，在標(biāo)記變量Flg等于“OFF”的場(chǎng)合，在從步驟S2444到步驟S2456為止的處理中，即使進(jìn)行能量函數(shù)E極小化的運(yùn)算，也不意味著所附標(biāo)號(hào)進(jìn)行了變換。因?yàn)檫@也就是意味著當(dāng)前的標(biāo)記號(hào)碼的對(duì)應(yīng)成為使能量函數(shù)E局部極小化的對(duì)應(yīng)，所以作為最佳對(duì)應(yīng)結(jié)束后的結(jié)果，處理結(jié)束(步驟S2460)。
利用以上的處理，對(duì)于多個(gè)多邊形，在進(jìn)行參照?qǐng)D像號(hào)碼的對(duì)應(yīng)時(shí)，進(jìn)行特征信息的分配使對(duì)于各多邊形選擇特征信息量大的參照?qǐng)D像信息的條件和隱蔽多邊形邊界線的條件這2個(gè)條件同時(shí)最佳。
因此，分配結(jié)束后的形狀模型300具有更加接近于現(xiàn)實(shí)物體的色彩，而且具有更加自然的特征連續(xù)性。
利用記錄前述的從步驟S2440到步驟S2460為止的程序的媒體，使計(jì)算機(jī)130動(dòng)作，也能得到相同的效果。
此外，因重復(fù)改善處理的順序影響到改善處理的最終結(jié)果，所以考慮適合的處理順序?yàn)榧?。這里，在重復(fù)改善處理中，是因?yàn)樵诟纳聘鞫噙呅蔚臉?biāo)記號(hào)碼時(shí)，假定其相鄰的多邊形的標(biāo)記號(hào)碼是正確的或者可靠性高。因此，如果從可靠性較低的多邊形順序地進(jìn)行改善處理，則能得到更好的改善結(jié)果。
作為評(píng)價(jià)多邊形的可靠性的方法之一，有多邊形的面積或?qū)⒍噙呅瓮队暗絽⒄债嬅嫔蠒r(shí)的面積等。
這里，是因?yàn)樵谇笆龅牟襟ES2240中進(jìn)行的參照?qǐng)D像號(hào)碼的臨時(shí)對(duì)應(yīng)處理的可靠性，為面積越小的多邊形或者將多邊形投影到參照畫面上時(shí)面積越小的多邊形的可靠性越低。
實(shí)施形態(tài)4實(shí)施形態(tài)3的特征信息附予方法是考慮到特征信息量(色彩信息量)和多邊形邊界線的隱蔽、即特征連續(xù)性的兩方面，將特征信息附予各多邊形的方法。
但是，在由實(shí)際存在的物體拍攝圖像信息的場(chǎng)合，有時(shí)會(huì)由于照明等的關(guān)系，從特定方向拍攝的圖像信息，甚至與從接近其方向所拍攝的圖像信息，也會(huì)在光澤等方面存在顯著地不同。
因此，為了附予特征連續(xù)性更高地并且多邊形邊界線不明顯的特征信息，實(shí)施形態(tài)3的方法是不充分的。
這里，在實(shí)施形態(tài)4的特征信息附予方法中提供的方法是，對(duì)于1個(gè)多邊形，不是從1個(gè)參照?qǐng)D像信息附予特征信息，而是根據(jù)從多個(gè)參照?qǐng)D像信息、即從多個(gè)方向拍攝的圖像信息，將特征信息附予對(duì)應(yīng)的多邊形。
在說(shuō)明實(shí)施形態(tài)4的特征信息附予方法前，首先對(duì)于向色彩信息存儲(chǔ)單元240的特征信息的存儲(chǔ)方法進(jìn)一步詳細(xì)地進(jìn)行說(shuō)明。
圖18是表示向色彩信息存儲(chǔ)單元的數(shù)據(jù)的存儲(chǔ)方法的示意圖。
色彩信息存儲(chǔ)單元240存儲(chǔ)立體形狀構(gòu)成要素的基本形狀和特征。這里，參照?qǐng)D像信息上的立體形狀構(gòu)成要素，因?yàn)樽兂赏队昂蟮男螤睿耘c本來(lái)的形狀不同。
因此，必須進(jìn)行形狀變換并將色彩存儲(chǔ)在色彩信息存儲(chǔ)單元240中。
這里，以例如立體形狀構(gòu)成要素為三角形的場(chǎng)合為例對(duì)其形狀變換進(jìn)行說(shuō)明?，F(xiàn)在考慮用圖18所示的2維離散空間存儲(chǔ)基本形狀的特征信息的情況。設(shè)(x0,y0),(x1,y1),(x2,y2)為基本形狀的頂點(diǎn)，(X0,Y0),(X1,Y1),(X2,Y2)為對(duì)于參照?qǐng)D像信息投影的立體形狀構(gòu)成要素的頂點(diǎn)。由后面所示的變換矩陣A和平行移動(dòng)向量B對(duì)它們進(jìn)行線性變換，能將投影的三角形形狀變換成本來(lái)的形狀。A=abcd,B=ef……(2)]]>這種場(chǎng)合意味著，基本形狀的象素(xn,yn)的特征信息只要從由下式計(jì)算的參照?qǐng)D像信息上的象素(Xn,Yn)獲得即可。XnYn=abcdxnyn+ef……(3)]]>也就是說(shuō)，利用前述所謂的仿射變換，對(duì)于投影的三角形形狀的多邊形，獲得對(duì)于本來(lái)的多邊形形狀的特征信息，并存儲(chǔ)在色彩信息存儲(chǔ)單元240中。
此外，在前面的說(shuō)明中，是將多邊形的形狀設(shè)為三角形，但對(duì)于例如其形狀是四邊形和其它形狀的場(chǎng)合也能進(jìn)行同樣的計(jì)算。
此外，坐標(biāo)變換的方法除仿射變換外也可以用投影變換。用下式計(jì)算投影變換。Xn=a1xn+a2yn+a3a7xn+a8xn+1,Yn=a4xn+a5yn+a6a7xn+a8xn+1········(4)]]>如前所述，與在參照?qǐng)D像信息上投影的多邊形的形狀無(wú)關(guān)，而是將對(duì)應(yīng)于本來(lái)的多邊形形狀的特征信息存儲(chǔ)在色彩信息存儲(chǔ)單元240中。
這里，利用例如實(shí)施形態(tài)3所示的對(duì)于能量函數(shù)E的反復(fù)改善處理，完成對(duì)于各多邊形i對(duì)應(yīng)的參照?qǐng)D像信息號(hào)碼的分配。
實(shí)施形態(tài)4的特征信息附予方法，其目的在于，在這種標(biāo)記號(hào)碼的分配結(jié)束后，進(jìn)一步進(jìn)行如后說(shuō)明的加權(quán)平均處理，通過這樣實(shí)現(xiàn)進(jìn)一步改善特征連續(xù)性的特征信息的附予方法。
如前所述，圖19是表示對(duì)于各多邊形i在參照?qǐng)D像信息號(hào)碼的分配結(jié)束后進(jìn)行的加權(quán)平均處理的流程的流程圖。
因此，示出了例如與圖17所示的流程中步驟S2460連接而繼續(xù)下去的處理。
首先，作為初始設(shè)定，分別將立體形狀構(gòu)成要素?cái)?shù)代入到變量Emax中，將投影的參照?qǐng)D像信息數(shù)代入到變量Imax中。另一方面，將計(jì)數(shù)器變量Ecnt的值初始設(shè)定成0(步驟S2500)。
接著，將計(jì)數(shù)器變量Icnt和變量wacc的值初始設(shè)定成0(步驟S2501)。
接著，進(jìn)行判斷，確定Icnt號(hào)碼的參照?qǐng)D像信息是否為Ecnt號(hào)碼的立體形狀構(gòu)成要素的特征信息的輸入對(duì)象(步驟S2502)。
這里，所謂的第Icnt號(hào)的圖像是特征信息的輸入對(duì)象，是表示利用已經(jīng)進(jìn)行的對(duì)于多邊形(立體形狀構(gòu)成要素)的參照?qǐng)D像號(hào)碼的分配，不僅是分配的圖像信息，而且與其相鄰的規(guī)定數(shù)的例如前后1個(gè)畫面的參照?qǐng)D像信息也包含在輸入對(duì)象中。
接著，對(duì)于變量wght，代入第Icnt號(hào)的參照?qǐng)D像信息上投影的第Ecnt號(hào)的立體形狀構(gòu)成要素的面積的值(步驟S2504)。
接著，作為第Ecnt號(hào)的立體形狀構(gòu)成要素的特征信息，在僅用變量wght進(jìn)行加權(quán)處理后，將第Icnt號(hào)的參照?qǐng)D像信息的信息存儲(chǔ)在色彩信息存儲(chǔ)單元240中(步驟S2506)。
對(duì)于變量wacc，累積變量wght的值(步驟S2508)，并使計(jì)數(shù)器變量Icnt的值僅增加1(步驟S2509)。
接著，比較計(jì)數(shù)器變量Icnt的值和拍攝的參照?qǐng)D像數(shù)Imax(步驟S2510)。
在變量Icnt比變量Imax小的場(chǎng)合，處理再次返回到步驟S2502中。
另一方面，在步驟S2502中，在判斷Icnt號(hào)的參照?qǐng)D像信息不是第Ecnt號(hào)的立體形狀構(gòu)成要素的特征的輸入對(duì)象的場(chǎng)合，處理轉(zhuǎn)移到步驟S2509中，在變量Icnt的值僅增加1后(步驟S2509)，進(jìn)行變量Icnt和變量Imax的比較。
因此，通過重復(fù)從步驟S2500到步驟S2510為止的處理，對(duì)于Ecnt號(hào)碼的立體形狀構(gòu)成要素，從規(guī)定數(shù)的參照?qǐng)D像信息獲得加權(quán)后的特征信息，并將這種特征信息累積到色彩信息存儲(chǔ)單元240中。
接著，用變量wacc的值除以累積在色彩信息存儲(chǔ)單元240中的特征信息(步驟S2512)。
用到此為止的處理，將對(duì)于第Ecnt號(hào)的立體形狀構(gòu)成要素的特征信息作為來(lái)自對(duì)應(yīng)規(guī)定數(shù)的參照?qǐng)D像信息的特征信息加權(quán)平均，存儲(chǔ)在色彩信息存儲(chǔ)單元240中。
前述的處理?yè)Q言之，對(duì)于各多邊形分別求得對(duì)應(yīng)于分配的參照?qǐng)D像號(hào)碼的參照?qǐng)D像信息和投影到與其相鄰的規(guī)定數(shù)的物體圖像信息的多邊形面積，并將其作為進(jìn)行后述的加權(quán)平均處理時(shí)的加權(quán)系數(shù)。
這里，在前述物體圖像信息中假定號(hào)碼，當(dāng)其設(shè)為Icnt時(shí)，則對(duì)應(yīng)于這種物體圖像信息的加權(quán)系數(shù)設(shè)為wght(Icnt)。此外，這些圖像信息數(shù)設(shè)為N。
多邊形的特征信息由多個(gè)象素構(gòu)成，現(xiàn)在著眼于1個(gè)特征信息的象素。求得這種象素投影到前述物體圖像信息上的部位，并將其投影部位的圖像信息(投影部位的象素值、即色彩、濃度或者亮度)，包括全部前述物體圖像信息、即N個(gè)部分，進(jìn)行加權(quán)平均處理，作為當(dāng)前著眼的特征信息的象素值的值。這里，假設(shè)投影部位的圖像信息是v(Icnt)，則加權(quán)平均處理對(duì)應(yīng)于具體進(jìn)行用下式表示的計(jì)算。
/∑wght(Icnt)…(5)對(duì)于成為多邊形的特征信息的全部象素，進(jìn)行這種處理。接著，使變量Ecnt的值僅增加1(步驟S2514)。
接著，比較計(jì)數(shù)器變量Ecnt的值和立體形狀構(gòu)成要素?cái)?shù)Emax的值(步驟S2516)。
在變量Ecnt的值比立體形狀構(gòu)成要素?cái)?shù)Emax小的場(chǎng)合，處理返回到步驟S2501。因此，對(duì)于全部的立體形狀構(gòu)成要素，進(jìn)行前述的特征信息的加權(quán)平均處理。
另一方面，在計(jì)數(shù)器變量Ecnt的值比立體形狀構(gòu)成要素?cái)?shù)Emax大的場(chǎng)合(步驟S2516)，向色彩信息存儲(chǔ)單元240的特征信息的存儲(chǔ)處理結(jié)束(步驟S2518)。
也就是說(shuō)，實(shí)施形態(tài)4的特征信息的附予方法，首先，對(duì)于各多邊形進(jìn)行參照?qǐng)D像信息號(hào)碼(標(biāo)記號(hào)碼)的對(duì)應(yīng)。接著，對(duì)于包含對(duì)應(yīng)的參照?qǐng)D像信息號(hào)碼的規(guī)定數(shù)(例如對(duì)應(yīng)的參照?qǐng)D像信息號(hào)碼及其前后的1個(gè)畫面)的參照?qǐng)D像信息號(hào)碼所對(duì)應(yīng)的參照?qǐng)D像信息，附予進(jìn)行對(duì)應(yīng)于在各參照?qǐng)D像信息上投影的立體形狀構(gòu)成要素的面積的加權(quán)平均處理的結(jié)果，作為該立體形狀構(gòu)成要素的特征信息。
由于借助于如前所述的根據(jù)規(guī)定數(shù)的參照?qǐng)D像信息進(jìn)行的特征信息的加權(quán)平均處理，能得到對(duì)于對(duì)應(yīng)的多邊形的特征信息，所以能將進(jìn)一步改善特征連續(xù)性的特征信息分配給該多邊形。
例如，在拍攝現(xiàn)實(shí)的對(duì)象物體的場(chǎng)合，由于照明等的關(guān)系，即使在從特定方向拍攝的參照?qǐng)D像信息中，對(duì)于該多邊形的色彩信息所包含的光澤特別高的情況下，也能利用加權(quán)平均處理減小其影響。
利用記錄圖19所示的從步驟S2500到步驟S2518為止的程序的媒體，使計(jì)算機(jī)130動(dòng)作，也能達(dá)到相同的效果。
實(shí)施形態(tài)5在實(shí)施形態(tài)4中，在預(yù)先對(duì)于各多邊形獲得特征信息的參照?qǐng)D像號(hào)碼的分配結(jié)束后，還根據(jù)規(guī)定數(shù)的相鄰的參照?qǐng)D像信息對(duì)于對(duì)應(yīng)的多邊形供給特征信息，對(duì)這樣的結(jié)構(gòu)進(jìn)行了說(shuō)明。
但是，若考慮到更加重視特征連續(xù)性，則不必進(jìn)行對(duì)于各多邊形的參照?qǐng)D像畫面的分配，使能量函數(shù)E極小化。
實(shí)施形態(tài)5的特征信息附予方法是這樣構(gòu)成，即對(duì)于各多邊形(立體形狀構(gòu)成要素)，從具有對(duì)于該立體形狀構(gòu)成要素的特征信息的多個(gè)參照?qǐng)D像信息，對(duì)于各多邊形附予特征信息。
例如，對(duì)于各多邊形(立體形狀構(gòu)成要素)，也可以從具有對(duì)于該立體形狀構(gòu)成要素的特征信息的全部的參照?qǐng)D像信息，對(duì)于該多邊形附予特征信息，對(duì)于各多邊形(立體形狀構(gòu)成要素)，也可以從具有對(duì)于該立體形狀構(gòu)成要素的特征信息隨機(jī)地或者有規(guī)則地選擇參照?qǐng)D像信息，并由它們對(duì)于該多邊形附予特征信息。
圖20是表示對(duì)這種多邊形的特征信息的附予方法的示意圖，示出了從具有對(duì)于立體形狀構(gòu)成要素的特征信息的全部的參照?qǐng)D像信息，對(duì)于該多邊形附予特征信息的例。
按照實(shí)施形態(tài)4中的說(shuō)明，對(duì)于色彩信息存儲(chǔ)單元240，存儲(chǔ)對(duì)應(yīng)于本來(lái)的多邊形形狀的特征信息而與在各參照?qǐng)D像信息上投影的多邊形的形狀無(wú)關(guān)，因此，在著眼于特定的多邊形i的場(chǎng)合，借助于從這種多邊形投影的面積不是0的全部的參照?qǐng)D像信息，進(jìn)行對(duì)應(yīng)于其投影面積的加權(quán)平均處理，能獲得特征信息。
圖21是表示這種特征信息附予方法的流程的流程圖。
在對(duì)于現(xiàn)實(shí)的物體的多個(gè)圖像拍攝(步驟S20和形狀模型生成步驟S22)后，進(jìn)行各立體形狀構(gòu)成要素和該立體形狀構(gòu)成要素的投影面積不是0的參照?qǐng)D像信息的對(duì)應(yīng)(步驟S30)。
接著，基于前述的對(duì)應(yīng)，借助于對(duì)于色彩信息存儲(chǔ)單元240進(jìn)行對(duì)應(yīng)于投影面積的加權(quán)平均處理，對(duì)各個(gè)立體形狀構(gòu)成要素進(jìn)行特征信息累積(步驟S32)。
也就是說(shuō)，在實(shí)施形態(tài)5的特征信息的附予方法中，對(duì)于每個(gè)立體形狀構(gòu)成要素，以分別投影在多個(gè)參照?qǐng)D像信息上的該立體形狀構(gòu)成要素的面積作為加權(quán)系數(shù)，進(jìn)行對(duì)于多個(gè)參照?qǐng)D像信息的加權(quán)平均處理。將每個(gè)這種立體形狀構(gòu)成要素得到的加權(quán)平均處理的結(jié)果作為特征信息附予各立體形狀構(gòu)成要素。
如前所述，對(duì)于各立體形狀構(gòu)成要素，根據(jù)具有特征信息的全部的參照?qǐng)D像信息，附予特征信息，通過這樣的結(jié)構(gòu)，進(jìn)一步改善特征連續(xù)性。
也就是說(shuō)，從特定方向拍攝的參照?qǐng)D像信息，即使有時(shí)由于例如照明的關(guān)系等與從其它的方向拍攝的參照?qǐng)D像信息相比，光澤異常亮，但通過對(duì)來(lái)自全部相關(guān)的參照?qǐng)D像信息的特征信息進(jìn)行加權(quán)平均，也能抑制這種特定方向的特征信息的影響。
此外，在前述說(shuō)明了的實(shí)施形態(tài)1～5中，是在將形狀模型300變換成多邊形數(shù)據(jù)后附予特征信息，但是本申請(qǐng)當(dāng)然不限于這種結(jié)構(gòu)，也可以在體元表現(xiàn)的形狀模型300中，對(duì)表面的面方向進(jìn)行運(yùn)算，并附予特征信息。
但是，變換成多邊形數(shù)據(jù)后附予特征信息的結(jié)構(gòu)，因能一次處理向著同一方向的面(多邊形)，所以能顯著地減少運(yùn)算量。
實(shí)施形態(tài)6圖22是表示本發(fā)明實(shí)施形態(tài)6的物體抽取裝置(圖像切出裝置)的整體結(jié)構(gòu)圖。參照?qǐng)D22，這種物體抽取裝置包括計(jì)算機(jī)130。計(jì)算機(jī)130按照記錄在CD-ROM260中的程序301，檢測(cè)并抽取物體圖像中的物體部分。這種程序301包括進(jìn)行物體圖像的區(qū)域分割處理的步驟S1、進(jìn)行區(qū)域信息的存儲(chǔ)處理的步驟S2、進(jìn)行各區(qū)域的物體圖像和背景圖像的差分處理的步驟S3、在各區(qū)域中導(dǎo)出差分的絕對(duì)值的平均值的步驟S4、利用差分的絕對(duì)值的平均值和閾值的比較進(jìn)行物體部分的檢測(cè)處理的步驟S5和抽取檢測(cè)的物體部分的步驟S6。后面將詳細(xì)地說(shuō)明步驟S1～S6的細(xì)節(jié)。
圖23是表示本發(fā)明的實(shí)施形態(tài)6的物體抽取裝置(圖像切出裝置)的概略方框圖。參照?qǐng)D23，作為物體抽取裝置的計(jì)算機(jī)130包括圖像存儲(chǔ)單元220、運(yùn)算單元210、區(qū)域信息存儲(chǔ)單元241和抽取圖像存儲(chǔ)單元231。此外，各單元220、210、231、241的細(xì)節(jié)將在后面描述。
圖24是表示圖23的運(yùn)算單元210的概略方框圖。參照?qǐng)D24，運(yùn)算單元210包括區(qū)域分割單元9和抽取單元10。抽取單元10包括差分處理單元11、平均值導(dǎo)出單元13、閾值處理單元15和物體部分抽取單元16。利用拍攝機(jī)等的拍攝裝置，借助于與背景一起拍攝對(duì)象物體，得到物體圖像A。利用拍攝機(jī)等的拍攝裝置，借助于僅拍攝對(duì)象物體的背景，得到背景圖像B。將背景圖像B和物體圖像A存儲(chǔ)在圖23的圖像存儲(chǔ)單元220中。這里，作為拍攝物體的背景一般在對(duì)象物體的后方，但也有在對(duì)象物體的前方。
區(qū)域分割單元9將物體圖像A分割成多個(gè)區(qū)域(圖22的程序301的步驟S1)。將關(guān)于區(qū)域分割的信息存儲(chǔ)在圖23的區(qū)域信息存儲(chǔ)單元241中(圖22的程序301的步驟S2)。差分處理單元11以由區(qū)域分割單元9得到的區(qū)域?yàn)閱挝?，在物體圖像A和背景圖像B之間進(jìn)行差分處理，并求出差分(圖22的程序301的步驟S3)。差分是以象素為單位求得物體圖像A和背景圖像B的色彩信息的差。平均值導(dǎo)出單元13求得差分的絕對(duì)值，并以區(qū)域?yàn)閱挝粚?dǎo)出差分的絕對(duì)值的平均值(圖22的程序301的步驟S4)。也就是說(shuō)，平均值導(dǎo)出單元13導(dǎo)出每個(gè)區(qū)域的差分的絕對(duì)值的平均值。閾值處理單元15比較各區(qū)域的差分的絕對(duì)值的平均值和閾值，并檢測(cè)差分的絕對(duì)值的平均值大于閾值的區(qū)域作為物體部分(圖22的程序301的步驟S5)。此外，根據(jù)經(jīng)驗(yàn)設(shè)定閾值。物體部分抽取單元16抽取在閾值處理單元15檢測(cè)出的物體部分(圖22的程序301的步驟S6)。也就是說(shuō)，物體部分抽取單元16從物體圖像取出在閾值處理單元15檢測(cè)出的物體部分。將抽取的物體部分的圖像存儲(chǔ)在圖23的抽取圖像存儲(chǔ)單元231中。
下面，對(duì)區(qū)域分割單元9進(jìn)行的區(qū)域分割詳細(xì)地進(jìn)行說(shuō)明。例如，如“高木等編，增刊O plus E，圖像處理算法的最新動(dòng)態(tài)，pp.227-233，新技術(shù)通訊”中敘述的那樣，區(qū)域分割采用一般使用的邊緣延長(zhǎng)法，區(qū)域、邊緣并用法，F(xiàn)acetmodel的區(qū)域分割等。下面，對(duì)這種邊延長(zhǎng)法進(jìn)行說(shuō)明。首先，第1步，從圖像的1次微分，計(jì)算各象素的邊緣強(qiáng)度和邊緣方向。第2步，根據(jù)對(duì)于邊緣強(qiáng)度的極大值抑制處理和閾值處理，抽取極大而且具有大于一定值的邊強(qiáng)度的邊緣要素(稱為強(qiáng)邊要素)。在這種階段，強(qiáng)邊要素未必連續(xù)。第3步，以強(qiáng)邊要素中的端點(diǎn)作為起點(diǎn)，進(jìn)行邊緣延長(zhǎng)。以上，稱為邊緣延長(zhǎng)法。
圖25A到圖25C是用于詳細(xì)地說(shuō)明圖24的差分處理單元11、平均值導(dǎo)出單元13、閾值處理單元15和物體部分抽取單元16所進(jìn)行的處理的圖。參照?qǐng)D25A，物體圖像17由物體部分19和背景部分21組成。背景圖像23僅由背景25組成。利用圖24的區(qū)域分割單元9，將物體圖像17分割成多個(gè)區(qū)域a1～an。
下面，著眼于區(qū)域a1，對(duì)圖24的差分處理單元11的動(dòng)作進(jìn)行說(shuō)明。同時(shí)參照?qǐng)D25B，求得區(qū)域a1的各象素的色彩信息和對(duì)應(yīng)于區(qū)域a1的背景25的區(qū)域b1的各象素的色彩信息之差。這樣，得到區(qū)域a1的差分的集合c1。然后，圖24的平均值導(dǎo)出單元13求出構(gòu)成差分的集合c1的差分的絕對(duì)值，并求出差分的絕對(duì)值的平均值。此外，圖24的閾值處理單元15比較構(gòu)成差分的集合c1的差分的絕對(duì)值的平均值和閾值，在平均值大于閾值的場(chǎng)合，檢測(cè)對(duì)應(yīng)于差分的集合c1的區(qū)域a1作為物體部分。差分處理單元11、平均值導(dǎo)出單元13和閾值處理單元15對(duì)于全部的區(qū)域a1～an，進(jìn)行前述的差分處理，并進(jìn)行差分的絕對(duì)值的平均值導(dǎo)出和閾值處理。然后，物體抽取部分16從物體圖像17抽取由閾值處理單元15檢測(cè)到的物體部分。圖25C示出了前述那樣抽取的物體部分19。因此，去除了背景圖像21那樣的不希望要的部分。當(dāng)然，在位于對(duì)象物體的前方的物體包含在物體圖像17中的場(chǎng)合，也將這部分作為不要的部分去除。
這樣，基于本發(fā)明實(shí)施形態(tài)6的物體抽取裝置，將物體圖像分割成多個(gè)區(qū)域，以區(qū)域?yàn)閱挝磺蟪霾罘值慕^對(duì)值的平均值，并抽取平均值大于閾值的區(qū)域作為物體部分。因此，基于本發(fā)明實(shí)施形態(tài)6的物體抽取裝置、物體抽取方法和記錄物體抽取程序的媒體，即使在象素級(jí)即使在對(duì)象物體中存在與背景相同色彩的部分，但如果在區(qū)域級(jí)中存在與背景不同的色彩，則也能作為物體部分進(jìn)行檢測(cè)、抽取。此外，人工作業(yè)少，同時(shí)不必使用同一色彩的背景板那樣的特殊的拍攝環(huán)境。
下面，對(duì)圖24的差分處理單元11中差分處理的其它例進(jìn)行說(shuō)明。在前述的說(shuō)明中，差分處理單元11雖然以區(qū)域?yàn)閱挝磺蟮貌罘?，但也可以不以區(qū)域?yàn)閱挝?，能在物體圖像全體和背景圖像全體間進(jìn)行差分處理，求得差分。然后，在平均值導(dǎo)出單元13中，以在區(qū)域分割單元9求得的區(qū)域?yàn)閱挝?，?dǎo)出差分的絕對(duì)值的平均值。
此外，也可以算出物體圖像的各區(qū)域內(nèi)的象素的平均值，算出該平均值和對(duì)應(yīng)于該區(qū)域的背景圖像的區(qū)域內(nèi)的象素的平均值之差的絕對(duì)值，并將該差的絕對(duì)值與預(yù)定的值進(jìn)行比較，抽取該差的絕對(duì)值大于預(yù)定值的區(qū)域作為物體部分。
在前述實(shí)施形態(tài)6中，區(qū)域分割是求出邊緣作為參考，但本發(fā)明當(dāng)然也可以以相同顏色的部分作為同一區(qū)域。此外，也可以組合多個(gè)區(qū)域分割方法。
此外，在前述實(shí)施形態(tài)6中，是對(duì)彩色圖像進(jìn)行了敘述，當(dāng)然本發(fā)明也適用于黑白圖像，此外，也可以用濃度信息(亮度信號(hào)電平)代替前述的色彩信息(色彩信號(hào)電平)。
此外，在前述實(shí)施形態(tài)6中，是以大于閾值的部分不加變化保持原樣地作為物體部分，但是，本申請(qǐng)不一定只限于1次處理。例如以用最初的處理檢測(cè)到的物體部分作為臨時(shí)的物體部分，并以其它的部分作為臨時(shí)的背景部分。然后，比較這種物體圖像的臨時(shí)的背景部分的亮度和對(duì)應(yīng)于這種臨時(shí)的背景部分的背景圖像的區(qū)域的亮度，檢測(cè)背景圖像和輸入圖像的照明狀況的變化。然后，根據(jù)上述情況，也可以同樣地修正物體圖像的亮度，并再次進(jìn)行相同的處理。
此外，在前述實(shí)施形態(tài)6中，閾值的值是固定的，但不限于此。例如，也可以在圖像的中央部分和周圍部分變更閾值的值。此外，也可以根據(jù)區(qū)域面積改變閾值的值。此外，如果進(jìn)行再次處理，則也可以根據(jù)在附近是否存在物體部分進(jìn)行變更。
此外，在前述實(shí)施形態(tài)6中，是將各區(qū)域的差分的絕對(duì)值進(jìn)行平均并對(duì)其與閾值進(jìn)行比較，但不一定限于此。例如還可以將差分的值的離亂性情況作為參考，判定是否為物體部分。
此外，在前述實(shí)施形態(tài)6中，最后抽取處理物體部分，但本申請(qǐng)不一定限于此。例如也可以不用抽取處理來(lái)判定物體的有無(wú)。此外，這種有無(wú)的判定用于大樓監(jiān)視系統(tǒng)檢測(cè)侵入者。
實(shí)施形態(tài)7圖26是表示本發(fā)明的實(shí)施形態(tài)7的物體抽取裝置的整體結(jié)構(gòu)的流程圖。圖26的步驟S112～S118是計(jì)算機(jī)130從拍攝對(duì)象物體得到的物體圖像中去除背景部分抽取物體部分用的程序，存儲(chǔ)在CD-ROM260中。
這種程序包括對(duì)各象素(i,j)利用立體法算出在步驟S111得到的物體圖像的進(jìn)深信息dp(i,j)的步驟S112、將物體圖像分割成多個(gè)區(qū)域R的步驟S113、對(duì)每個(gè)區(qū)域R算出進(jìn)深信息的平均值mdp(R)的步驟S114、將進(jìn)深信息的平均值mdp(R)與預(yù)定的閾值dpth進(jìn)行比較的步驟S115、在進(jìn)深信息的平均值mdp(R)比閾值dpth大時(shí)作為背景部分刪除該區(qū)域R、具體地說(shuō)使該區(qū)域R內(nèi)的各象素的值v(i,j)為0的步驟S116、在進(jìn)深信息的平均值mdp(R)比閾值dpth小時(shí)抽取該區(qū)域R作為物體部分、具體地說(shuō)使該區(qū)域R內(nèi)的各象素的值v(i,j)為1的步驟S117、判定是否對(duì)全部區(qū)域R進(jìn)行前述的步驟S115～步驟S117的處理的步驟S118。這里，能用亮度(濃度)、色彩信息或者它們的組合等作為象素的值。
下面，參照?qǐng)D26的流程圖對(duì)這種實(shí)施形態(tài)7的物體抽取裝置的動(dòng)作進(jìn)行說(shuō)明。
首先，在步驟S111中，用數(shù)字靜止拍攝機(jī)等，與對(duì)象物體的背景一起同時(shí)拍攝對(duì)象物體，得到物體圖像。這種物體圖像存儲(chǔ)在計(jì)算機(jī)130內(nèi)的圖像存儲(chǔ)單元220中。因此，得到v(i,j)作為各象素(i,j)的值。這里，雖然用拍攝靜止畫面的靜止拍攝機(jī)，但也可以用拍攝活動(dòng)圖像的視頻拍攝機(jī)和數(shù)字照攝機(jī)來(lái)代替。
接著，在步驟S112中，按照立體法等算出各象素(i,j)的進(jìn)深信息dp(i,j)。例如在D.H.Ballard等著的“計(jì)算機(jī)圖形學(xué)”，Prentice Hall,pp.88～93中所揭示了立體法。采用立體法，則首先從僅離開規(guī)定距離的2個(gè)視點(diǎn)拍攝對(duì)象物體，確定由此得到的2個(gè)物體圖像間的對(duì)應(yīng)點(diǎn)，用逆透視變換法或者單純的三角測(cè)量法算出進(jìn)深信息dp(i,j)。例如日本特開平8-331607號(hào)公報(bào)中公開了立體法的應(yīng)用例。此外，這里，是為了算出進(jìn)深信息使用立體法，但也可以用根據(jù)運(yùn)動(dòng)的進(jìn)深推定方法(Shape-from-motion)，同時(shí)考慮類似性和連續(xù)性的重復(fù)改善法(一種緩和法)等。
與步驟S112并行，在步驟S113中，與前述的實(shí)施形態(tài)6相同將拍攝到物體圖像分割成多個(gè)區(qū)域R。也可以不必將步驟S113的區(qū)域分割與步驟S112的進(jìn)深信息計(jì)算同時(shí)進(jìn)行，而在進(jìn)深信息的算出后進(jìn)行區(qū)域分割，相反，也可以在區(qū)域分割后進(jìn)行進(jìn)深信息的計(jì)算。
圖27A表示分割成多個(gè)區(qū)域R后的物體圖像，圖27B所示為用象素的亮度表示進(jìn)深信息的圖像。表示亮度大的象素離開拍攝位置的距離近，亮度小的象素離開拍攝位置的距離遠(yuǎn)。因此，物體部分亮，背景部分暗。
接著，在步驟S114中，按照下式(6)對(duì)每個(gè)區(qū)域R算出進(jìn)深信息的平均值mdp(R)。mdp(R)=∑Rdp(i,j)n·······(6)]]>∑R區(qū)域R內(nèi)的總和n區(qū)域R內(nèi)的象素?cái)?shù)接著，在步驟S115中，比較該算出的進(jìn)深信息的平均值mdp(R)和閾值dpth。根據(jù)經(jīng)驗(yàn)預(yù)先確定該閾值dpth。
在進(jìn)深信息的平均值mdp(R)比閾值dpth大的場(chǎng)合，該區(qū)域R內(nèi)的象素的值v(i,j)全部置為0。也就是說(shuō)，作為背景部分從物體圖像刪除該區(qū)域R。另一方面，在進(jìn)深信息的平均值mdp(R)比閾值dpth小的場(chǎng)合，在步驟S117該區(qū)域R內(nèi)的象素的值v(i,j)全部置為1。也就是說(shuō)，從物體圖像抽取該區(qū)域R作為物體部分。
接著，在步驟S118中，判別前述步驟S115～S117的處理是否對(duì)于全部的區(qū)域R進(jìn)行，在前述處理對(duì)于全部的區(qū)域R進(jìn)行的場(chǎng)合，得到圖27C所示的圖像。
如前所述，采用本實(shí)施形態(tài)7，則將物體圖像分割成多個(gè)區(qū)域R，對(duì)每個(gè)區(qū)域R算出進(jìn)深信息的平均值，因抽取其平均值比預(yù)定的閾值小的區(qū)域R作為物體部分，所以如圖27C所示，從物體圖像除去背景部分，用其輪廓能正確地僅切出物體部分。此外，因用進(jìn)深信息，所以不必要用其它途徑僅拍攝對(duì)象物體的背景。
實(shí)施形態(tài)8圖28是表示基于本發(fā)明實(shí)施形態(tài)8的物體抽取裝置的主要結(jié)構(gòu)的流程圖。在圖28中，步驟S222、S224～S227是計(jì)算機(jī)130基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲(chǔ)在CD-ROM260中。
這種程序包括對(duì)每個(gè)象素算出在步驟S221中得到的多個(gè)背景圖像中相互位于相同坐標(biāo)的象素的平均值m(i,j)和標(biāo)準(zhǔn)偏差σ(i,j)的步驟S222，算出在步驟S223中得到的物體圖像的各象素的值v(i,j)和與該象素對(duì)應(yīng)的背景圖像的象素的平均值m(i,j)之差的絕對(duì)值(下面簡(jiǎn)單地稱為“差”)|v(i,j)-m(i,j)|，并將該差|v(i,j)-m(i,j)|與標(biāo)準(zhǔn)偏差σ(i,j)的k倍進(jìn)行比較的步驟S224，在差|v(i,j)-m(i,j)|比kσ(i,j)小的場(chǎng)合，刪除該象素作為背景部分，也就是說(shuō)，使該象素的值v(i,j)為0的步驟S225，在差|v(i,j)-m(i,j)|比kσ(i,j)大的場(chǎng)合，抽取該象素作為物體部分，也就是說(shuō)，使該象素的值v(i,j)為1的步驟S226，以及判定是否對(duì)全部的象素進(jìn)行前述步驟S224～S226的處理的步驟S227。
下面，參照?qǐng)D28對(duì)基于這種實(shí)施形態(tài)8的物體抽取裝置的動(dòng)作進(jìn)行說(shuō)明。
首先，在步驟S221中用數(shù)字化靜止拍攝機(jī)等從同一個(gè)視點(diǎn)多次僅拍攝對(duì)象物體的背景，得到多個(gè)背景圖像。這里，考慮到精度，背景圖像的張數(shù)在3張以上為佳，考慮到簡(jiǎn)便性則以10張左右為佳。
接著，在步驟S222中，分別按照下式的(7)和(8)，對(duì)于各象素算出在多個(gè)背景圖像中相互位于相同坐標(biāo)的象素的平均值m(i,j)和標(biāo)準(zhǔn)偏差σ(i,j)。由此，即使由于對(duì)圖像信號(hào)進(jìn)行A/D變換的A/D變換器的變換特性和照明特性的變動(dòng)或不穩(wěn)定等原因而拍攝的背景圖像的象素值得到異常的值，也能算出平均值，所以能得到穩(wěn)定的背景圖像。m(i,j)=∑v(i,j)N……(7)]]>σ(i,j)=∑v(i,j)2N-(∑v(i,j)N)2……(8)]]>這里，N是物體圖像的全部區(qū)域R內(nèi)的象素?cái)?shù)。
接著，在步驟S223中，拍攝對(duì)象物體，得到物體圖像。這里，得到v(i,j)作為物體圖像的各象素的值。
接著，在步驟224中，算出物體圖像的各象素的值v(i,j)和與該象素對(duì)應(yīng)的背景圖像的象素的平均值m(i,j)之差的絕對(duì)值|v(i,j)-m(i,j)|。在差|v(i,j)-m(i,j)|比kσ(i,j)小的場(chǎng)合，在步驟225中使該象素的值v(i,j)為0。由此，作為背景部分從物體圖像刪除該象素。另一方面，在差|v(i,j)-m(i,j)|比kσ(i,j)大的場(chǎng)合，在步驟S226中使該象素的值v(i,j)為1，由此，從物體圖像抽取該象素作為物體部分。這里，k以3左右為佳。
接著，在步驟S227中，判定是否對(duì)全部的象素進(jìn)行前述步驟S224～S226的處理，在對(duì)全部的象素進(jìn)行了前述處理的場(chǎng)合，該程序結(jié)束。
采用如前所述的實(shí)施形態(tài)8，則因基于多個(gè)背景圖像算出象素的平均值，所以能減少用于對(duì)圖像信號(hào)進(jìn)行A/D變換的A/D變換器的變換特性或照明特性的影響，而且因用多個(gè)背景圖像的象素的標(biāo)準(zhǔn)偏差作為用于判別是物體圖像還是背景圖像的閾值，所以能自動(dòng)地設(shè)定適合的閾值。因此，能從物體圖像僅去除背景部分，而正確地抽取物體部分。
實(shí)施形態(tài)9圖29是表示基于本發(fā)明實(shí)施形態(tài)9的物體抽取裝置的主要結(jié)構(gòu)的流程圖。在圖29中，步驟S222、S333B～S336,S227是計(jì)算機(jī)130基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲(chǔ)在CD-ROM260中。
前述實(shí)施形態(tài)8是在步驟S223中拍攝1次對(duì)象物體并得到1張物體圖像，而本實(shí)施形態(tài)9是在步驟S333A中多次拍攝對(duì)象物體并得到多張物體圖像。因此，這種程序包含對(duì)于每個(gè)象素算出在多個(gè)物體圖像中相互位于相同坐標(biāo)的象素的平均值mv(i,j)的步驟S333B。在步驟S334～步驟S336中，用象素的平均值mv(i,j)代替圖28所示的象素的值v(i,j)。因此，在本實(shí)施形態(tài)9中，對(duì)于每個(gè)象素算出在步驟S333A中得到的多個(gè)物體圖像中相互位于相同坐標(biāo)的象素的平均值mv(i,j)。
接著，在步驟S334中，算出物體圖像的各象素的平均值mv(i,j)和與該象素對(duì)應(yīng)的背景圖像的象素的平均值m(i,j)之差|mv(i,j)-m(i,j)|，并比較該差|mv(i,j)-m(i,j)|和kσ(i,j)。
在差|mv(i,j)-m(i,j)|比kσ(i,j)小的場(chǎng)合，在步驟S335中使物體圖像的該象素的平均值mv(i,j)為0。由此，作為背景部分刪除該象素，另一方面，在差|mv(i,j)-m(i,j)|比kσ(i,j)大的場(chǎng)合，在步驟S336中使物體圖像的該象素的平均值mv(i,j)為1，由此，從物體圖像抽取該象素作為物體部分。
采用如前所述的實(shí)施形態(tài)9，則因用多次拍攝對(duì)象物體得到的多個(gè)物體圖像，所以能得到與背景圖像同樣穩(wěn)定的物體圖像。因此，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實(shí)施形態(tài)10
圖30是表示基于本發(fā)明實(shí)施形態(tài)10的物體抽取裝置的主要結(jié)構(gòu)的流程圖。在圖30中，步驟S222、S441～S447是計(jì)算機(jī)130基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝對(duì)象物體的背景得到的多個(gè)背景圖像用于從物體圖像去除背景部分并抽取物體部分的程序，存儲(chǔ)在CD-ROM260中。
相對(duì)于在圖28所示的實(shí)施形態(tài)5中是對(duì)于每個(gè)象素處理物體圖像，而在本實(shí)施形態(tài)10中，則是將物體圖像分割成多個(gè)區(qū)域R，并對(duì)每個(gè)區(qū)域R進(jìn)行處理。
因此，這種程序包括將在步驟S223中得到的物體圖像分割成多個(gè)區(qū)域R的步驟S441，算出物體圖像的各區(qū)域R內(nèi)的各象素的值v(i,j)和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域R內(nèi)的對(duì)應(yīng)的象素的平均值m(i,j)之差、并對(duì)各區(qū)域R算出用下式(9)表示的該差的平均值md(R)的步驟S442，以及按照下式(10)對(duì)于每個(gè)區(qū)域R算出在步驟S223中算出的標(biāo)準(zhǔn)偏差的平均值mσ(R)的步驟S443。md(R)=∑R|v(i,j)-m(i,j)|n······(9)]]>mσ(R)=∑Rσ(i,j)n·······(10)]]>在步驟S444～S446中，用差的平均值md(R)代替圖28所示的差|v(i,j)-m(i,j)|，用標(biāo)準(zhǔn)偏差的平均值mσ(R)代替標(biāo)準(zhǔn)偏差σ(R)。并且，將在步驟S223中得到的物體圖像在步驟S441中分割成多個(gè)區(qū)域R。
接著，在步驟S442中，算出物體圖像的各區(qū)域R內(nèi)的各象素的值v(i,j)和與該區(qū)域?qū)?yīng)的背景圖像的區(qū)域R內(nèi)的象素的平均值m(i,j)之差|v(i,j)-m(i,j)|，并對(duì)于每個(gè)區(qū)域R算出該差的平均值md(R)。
接著，在步驟S443中，對(duì)于每個(gè)區(qū)域R算出在步驟S222中算出的標(biāo)準(zhǔn)偏差σ(i,j)的平均值mσ(R)。
接著，在步驟S444中，比較差的平均值md(R)和kmσ(R)。在差的平均值md(R)比kmσ(R)小的場(chǎng)合，在步驟S445中使該區(qū)域R內(nèi)的象素的值v(i,j)全部為0。由此，作為背景部分從物體圖像中刪除該區(qū)域R。另一方面，在差的平均值md(R)比kmσ(R)大的場(chǎng)合，在步驟S446中使該區(qū)域R內(nèi)的象素的值v(i,j)全部為1，由此，從物體圖像抽取該區(qū)域作為物體部分。
最后，在步驟S447中，判定是否對(duì)于全部的區(qū)域R進(jìn)行了前述的步驟S444～步驟S446的處理。在對(duì)于全部的區(qū)域R進(jìn)行了前述處理的場(chǎng)合，結(jié)束該程序。
這樣，采用如前所述的實(shí)施形態(tài)10，則因?qū)?duì)象物體分割成多個(gè)區(qū)域R，對(duì)于每個(gè)區(qū)域R算出物體圖像的各區(qū)域R內(nèi)的各象素的值和對(duì)應(yīng)于該區(qū)域R的背景圖像的區(qū)域R內(nèi)的對(duì)應(yīng)的象素的平均值之差的平均值md(R)，并抽取該差的平均值md(R)比標(biāo)準(zhǔn)偏差的平均值mσ(R)的k倍大的區(qū)域R作為物體部分，所以能從物體圖像去除背景部分，能更正確地抽取物體部分。
此外，如前述實(shí)施形態(tài)10那樣，在步驟S442中，雖然算出物體圖像的各區(qū)域R內(nèi)的各象素的值v(i,j)和與該區(qū)域R對(duì)應(yīng)的背景圖像的區(qū)域R內(nèi)的象素的平均值m(i,j)之差是比較理想的，但也能算出物體圖像的各區(qū)域R內(nèi)的象素的平均值mv(i,j)，算出物體圖像的各區(qū)域R內(nèi)的象素的平均值和對(duì)應(yīng)于該區(qū)域R的背景圖像的區(qū)域R內(nèi)的象素的平均值m(i,j)之差的絕對(duì)值。這種場(chǎng)合，在圖30的流程圖中，只要將物體圖像的各區(qū)域R內(nèi)的各象素的值v(i,j)置換成物體圖像的各區(qū)域R內(nèi)的象素的平均值mv(i,j)即可。
或者，也可以算出物體圖像的各區(qū)域R內(nèi)的象素的平均值mv(i,j)，此外，算出對(duì)應(yīng)于該區(qū)域R的背景圖像的區(qū)域R內(nèi)的每個(gè)象素的平均值m(i,j)在區(qū)域R內(nèi)的平均值mm(R)，再算出這些差的絕對(duì)值，并根據(jù)這種值抽取物體部分。這種場(chǎng)合，在圖30的流程圖中，在步驟S442求得md(R)時(shí)，只要計(jì)算|mv(R)-mm(R)|作為md(R)即可。
實(shí)施形態(tài)11圖31是表示基于本發(fā)明實(shí)施形態(tài)11的物體抽取裝置的主要結(jié)構(gòu)的流程圖。在前述實(shí)施形態(tài)10的步驟S223中，是拍攝1次對(duì)象物體得到1張物體圖像，而在本實(shí)施形態(tài)11步驟S333A中與此不同，是與前述實(shí)施形態(tài)9相同從同一視點(diǎn)多次拍攝對(duì)象物體得到多個(gè)物體圖像。因此，在步驟S551中將多個(gè)物體圖像加以平均后的物體圖像分割成多個(gè)區(qū)域R。因此，在步驟S555和S556中，用象素的平均值mv(i,j)代替象素的值v(i,j)。
采用本實(shí)施形態(tài)11，則因從同一視點(diǎn)多次拍攝對(duì)象物體得到多個(gè)物體圖像，所以能減少對(duì)象物體拍攝時(shí)的A/D變換器的變換特性和照明特性的變動(dòng)的影響，能從物體圖像去除背景部分，能更正確地抽取物體部分。
實(shí)施形態(tài)12
基于本發(fā)明實(shí)施形態(tài)12的立體模型生成裝置與圖3所示的實(shí)施形態(tài)1相同，包括旋轉(zhuǎn)臺(tái)110、拍攝機(jī)120和計(jì)算機(jī)130。這里，用機(jī)器人手臂等代替旋轉(zhuǎn)臺(tái)110。即能用使對(duì)象物體的方向變化的裝置代替旋轉(zhuǎn)臺(tái)110。
圖32是表示這種立體模型生成裝置的概略的方框圖。參照?qǐng)D32，立體模型生成裝置包括拍攝單元109、圖像存儲(chǔ)單元220、運(yùn)算/控制單元113、形狀存儲(chǔ)單元230和色彩信息存儲(chǔ)單元240。拍攝單元109由圖3的旋轉(zhuǎn)臺(tái)110和拍攝機(jī)120組成。圖像存儲(chǔ)單元220、運(yùn)算/控制單元113、形狀存儲(chǔ)單元230和色彩信息存儲(chǔ)單元240包含在圖3的計(jì)算機(jī)130中。
圖33是用于說(shuō)明圖3所示的立體模型生成裝置的處理流程的流程圖。圖6A到圖6E是用于說(shuō)明圖3的立體模型生成裝置的具體處理內(nèi)容的圖。圖6A是用于說(shuō)明圖33的步驟S2的對(duì)象物體、背景的拍攝的圖。圖6B是用于說(shuō)明圖33的步驟S12的輪廓圖像生成的圖。圖6C是用于說(shuō)明圖33的步驟S14的表決處理的圖。圖6D是用于說(shuō)明圖33的步驟S16的多邊形生成的圖。圖6E是用于說(shuō)明圖33的步驟S18的特征映射的圖。
下面，參照?qǐng)D3、圖6A～圖6E、圖32和圖33進(jìn)行說(shuō)明。在步驟S8中進(jìn)行校準(zhǔn)。基于本實(shí)施形態(tài)12的校準(zhǔn)是求得拍攝機(jī)120的內(nèi)部參數(shù)(透視比)和拍攝機(jī)120與旋轉(zhuǎn)臺(tái)110的位置關(guān)系的處理。在步驟S10中，進(jìn)行對(duì)象物體和背景的拍攝。即不把對(duì)象物體放置在旋轉(zhuǎn)臺(tái)110上，僅拍攝背景，得到1張背景圖像。此外，將對(duì)象物體100放置在旋轉(zhuǎn)臺(tái)110上，并使對(duì)象物體100旋轉(zhuǎn)。并且，由拍攝機(jī)120用每個(gè)規(guī)定的角度與背景一起拍攝得到物體圖像A1～An。例如，使對(duì)象物體100每隔10°旋轉(zhuǎn)，得到36張物體圖像A1～A36。在以下的說(shuō)明中對(duì)以這樣得到的36張物體圖像A1～A36為基礎(chǔ)生成立體模型29的場(chǎng)合進(jìn)行說(shuō)明。
這里，固定拍攝機(jī)120的位置和俯角(或者仰角)。此外，利用運(yùn)算/控制單元113控制拍攝機(jī)120和旋轉(zhuǎn)臺(tái)110。此外，將在步驟S10求得的背景圖像和物體圖像存儲(chǔ)在圖像存儲(chǔ)單元220中。在本實(shí)施形態(tài)12中，固定拍攝機(jī)并使對(duì)象物體旋轉(zhuǎn)進(jìn)行拍攝，為了使背景的拍攝次數(shù)僅可能少，僅拍攝1次背景，得到1張背景圖像。但是，為了得到有更好的可靠性的背景圖像，也可以拍攝2次以上背景并得到2張以上的背景圖像。
此外，如本實(shí)施形態(tài)12那樣，借助于固定拍攝機(jī)120，并使對(duì)象物體100旋轉(zhuǎn)，從對(duì)象物體100的周圍的多個(gè)方向拍攝包含背景的對(duì)象物體100的場(chǎng)合，背景的拍攝也可以1次，但借助于使對(duì)象物體100固定以對(duì)象物體100為中心旋轉(zhuǎn)拍攝機(jī)120，從對(duì)象物體100的周圍的多個(gè)方向拍攝包含背景的對(duì)象物體100的場(chǎng)合，必須多次拍攝背景。
在步驟S12中，未圖示的輪廓生成單元生成輪廓圖像。即進(jìn)行各物體圖像A1～A36和背景圖像之間的差分處理，生成多個(gè)輪廓圖像B1～Bn。因物體圖像A1～A36是36張，所以輪廓圖像也是36張。這里，差分處理(求得差分的處理)是指對(duì)于每個(gè)象素求得物體圖像的色彩信息和背景圖像的色彩信息的差。在步驟S14中，未圖示的表決單元進(jìn)行表決處理。即以多個(gè)輪廓圖像B1～B36為基礎(chǔ)，對(duì)圓柱坐標(biāo)系體元空間251進(jìn)行表決處理。并且，未圖示的閾值處理單元(立體形狀獲得單元)以投票數(shù)在閾值以上的部分作為對(duì)象物體100的立體形狀(存在區(qū)域)。
此外，雖然也可以用直角坐標(biāo)系體元空間作為體元空間，但多數(shù)情況用圓柱坐標(biāo)系體元空間251能減少存儲(chǔ)量并能獲得良好的形狀的場(chǎng)合也很多。
在步驟S16中，以在步驟S14求得的對(duì)象物體100的立體形狀為基礎(chǔ)生成多個(gè)立體形狀表現(xiàn)要素(例如，三角形拼塊等的多邊形，下面為簡(jiǎn)單起見將立體形狀表現(xiàn)要素記為多邊形)27，用多個(gè)多邊形27表示在步驟S14求得的對(duì)象物體100的立體形狀。將用多邊形27表示的立體形狀存儲(chǔ)在形狀存儲(chǔ)器230中。在步驟S18從物體圖像獲得在步驟S16生成的對(duì)應(yīng)于各多邊形27的特征，并映射到各多邊形27上。此外，將特征(色彩信息)存儲(chǔ)在色彩信息存儲(chǔ)單元240中。此外，步驟S12～S18的處理由運(yùn)算/控制單元113進(jìn)行，輪廓生成單元、形體單元、閾值處理單元包含在運(yùn)算/控制單元113中。下面，對(duì)步驟S8的校準(zhǔn)、步驟S14的表決處理和步驟S16的多邊形生成詳細(xì)地進(jìn)行說(shuō)明。
(校準(zhǔn))作為校準(zhǔn)是求得拍攝機(jī)120的內(nèi)部參數(shù)(透視比)和拍攝機(jī)120與旋轉(zhuǎn)臺(tái)110的位置關(guān)系。首先，對(duì)拍攝機(jī)120的內(nèi)部參數(shù)(透視比)進(jìn)行說(shuō)明。圖34是用于說(shuō)明拍攝機(jī)120的內(nèi)部參數(shù)(透視比)的圖。參照?qǐng)D34，利用拍攝機(jī)120對(duì)基準(zhǔn)塊31進(jìn)行拍攝。這種場(chǎng)合，拍攝時(shí)使基準(zhǔn)塊31正好進(jìn)入屏幕33。測(cè)量這時(shí)的拍攝機(jī)120和基準(zhǔn)塊31之間的距離L。此外，再預(yù)先測(cè)量基準(zhǔn)塊31的高度T。透視比是用距離L除基準(zhǔn)塊31的高度T。即用T/L表示透視比。在遠(yuǎn)近法中投影到畫面上的物體尺寸是對(duì)應(yīng)于從視點(diǎn)開始到物體為止的距離進(jìn)行放大/縮小，決定其放大/縮小比例的參數(shù)是透視比。
下面，對(duì)拍攝機(jī)120和旋轉(zhuǎn)臺(tái)110的位置關(guān)系的測(cè)量進(jìn)行說(shuō)明。圖35A到圖35C是表示用于說(shuō)明測(cè)量拍攝機(jī)和旋轉(zhuǎn)臺(tái)的位置關(guān)系的圖。圖35A是表示置于旋轉(zhuǎn)臺(tái)110的坐標(biāo)系(xyz坐標(biāo)系)中的拍攝機(jī)120的圖。參照?qǐng)D35A，用旋轉(zhuǎn)臺(tái)110的坐標(biāo)系(xyz坐標(biāo)系)求得拍攝機(jī)120的位置(x0,y0,z0)。此外，求得繞拍攝機(jī)120的光軸35的旋轉(zhuǎn)角α。圖35B是表示對(duì)圖35A的拍攝機(jī)120的yz平面的正投影的圖。參照?qǐng)D35B，求得拍攝機(jī)120的光軸35和y軸所成的角β。圖35C是表示對(duì)圖35A的拍攝機(jī)120的xy平面的正投影的圖。參照?qǐng)D35C，求得拍攝機(jī)120的光軸35和y軸所成的角γ。
也就是說(shuō)，作為拍攝機(jī)120和旋轉(zhuǎn)臺(tái)110的位置關(guān)系，求得使用旋轉(zhuǎn)臺(tái)110的坐標(biāo)系(xyz坐標(biāo)系)的拍攝機(jī)120的位置和角度α、β和γ。此外，在本實(shí)施形態(tài)12中，α、γ大致為0°。這里，角度β是對(duì)于旋轉(zhuǎn)臺(tái)110的拍攝機(jī)120的俯角。此外，也稱角度β為對(duì)于放置在旋轉(zhuǎn)臺(tái)110上的對(duì)象物體的拍攝機(jī)120的俯角。這里，在俯角中包含負(fù)的俯角、即仰角。
如前所述，在本實(shí)施形態(tài)12中，作為校準(zhǔn)，求得對(duì)于對(duì)象物體的拍攝機(jī)俯角，因此能將以這種俯角拍攝對(duì)象物體的物體圖像作為基礎(chǔ)生成立體模型29。也就是說(shuō)，不僅能從橫方向(與xy平面平行的方向)拍攝對(duì)象物體得到的物體圖像為基礎(chǔ)，而且能從斜上方拍攝對(duì)象物體得到的物體圖像為基礎(chǔ)，生成立體模型29。因此，還包含僅從橫方向的拍攝不能得到的對(duì)象物體的上面部分，所以能充分地得到色彩信息。此外，因也能識(shí)別對(duì)象物體的局部地方的凹部，所以能更精確地生成立體模型29。
(表決處理)下面，詳細(xì)地說(shuō)明圖33的步驟S14的表決處理。圖36是用于說(shuō)明進(jìn)行表決處理的圓柱坐標(biāo)系體元空間251的圖。參照?qǐng)D36，圓柱坐標(biāo)系體元空間251由多個(gè)體元39組成。這里，為了方便地說(shuō)明圓柱坐標(biāo)系體元空間251的體元，考慮將圖36的圓柱坐標(biāo)系體元空間251為具有中心軸40的圓柱。并且，用與中心軸40垂直的不同的多個(gè)平面，切斷這種圓柱25。此外，包含中心軸40而且用與中心軸40平行的多個(gè)平面，切斷圓柱25。此外，用以與中心軸40為軸的不同的多個(gè)旋轉(zhuǎn)面，切斷圓柱25。這樣，考慮借助于切斷圓柱25得到的圓柱25的各要素。這種各個(gè)要素對(duì)應(yīng)于圓柱坐標(biāo)系體元空間251的各個(gè)體元39。
圖37是用于說(shuō)明表決處理的圖。以圖33的步驟S12得到的36張輪廓圖像B1～B36為基礎(chǔ)，對(duì)圓柱坐標(biāo)系體元空間251進(jìn)行表決處理。此外，圖37僅示出了2個(gè)輪廓圖像B1、B2。
這里，考慮假定存在區(qū)域50。圖7是用于說(shuō)明假定存在區(qū)域的圖。在圖7中僅示出了1個(gè)輪廓圖像B1。參照?qǐng)D37和圖7，并注意輪廓圖像B1，所謂的對(duì)于輪廓圖像B1的假定存在區(qū)域50是指以拍攝機(jī)的投影中心51為頂點(diǎn)，以輪廓圖像B1中的物體圖像42(對(duì)象物體100的輪廓)為斷面形狀的錐體狀的區(qū)域。此外，也能同樣地定義對(duì)于其它的輪廓圖像B2～B36的假定存在區(qū)域。對(duì)象物體100一定存在于這種假定存在區(qū)域的內(nèi)側(cè)。
也參照?qǐng)D36，在表決處理中將存在于假定存在區(qū)域50中的體元39全部投票成“1”。對(duì)于全部的輪廓圖像B1～B36進(jìn)行這種表決處理。例如，存在于與36張輪廓圖像B1～B36對(duì)應(yīng)的全部的假定存在區(qū)域重合的部分的體元39的投票數(shù)為“36”。
在圖33的步驟S10中，每隔10°拍攝對(duì)象物體得到36張物體圖像，在步驟S12中，生成36張輪廓圖像B1～B36。因此，假定存在區(qū)域的頂點(diǎn)(相當(dāng)于拍攝機(jī)的投影中心)為圍繞中心軸40每隔10°的位置。此外，按照?qǐng)D33的步驟S8的校準(zhǔn)結(jié)果，決定假定存在區(qū)域的頂點(diǎn)(相當(dāng)于拍攝機(jī)的投影中心)的位置。即根據(jù)透視比決定輪廓圖像B1～B36和與其對(duì)應(yīng)的假定存在區(qū)域的頂點(diǎn)(相當(dāng)于拍攝機(jī)的投影中心)的位置關(guān)系。也就是說(shuō)，決定作為假定存在區(qū)域的錐體的展開角。此外，根據(jù)拍攝機(jī)120和旋轉(zhuǎn)臺(tái)110的位置關(guān)系，決定對(duì)應(yīng)于輪廓圖像B1～B36的假定存在區(qū)域的頂點(diǎn)(相當(dāng)于拍攝機(jī)的投影中心)與圓柱坐標(biāo)系體元空間251的位置關(guān)系。
圖38是表示表決處理結(jié)果的圖。參照?qǐng)D38，色彩濃的部分投票數(shù)多，色彩淡的部分投票數(shù)少。此外，圖38的z軸相當(dāng)于圖37的中心軸40。
在對(duì)于全部的輪廓圖像B1～B36的表決處理結(jié)束后，進(jìn)行閾值處理。即以具有規(guī)定的閾值以上的投票數(shù)的體元39存在的區(qū)域，作為對(duì)象物體100的存在區(qū)域。這種存在區(qū)域的形狀是對(duì)象物體的立體形狀。例如，假設(shè)閾值是“32”，則投票數(shù)“32”以上的體元39存在的區(qū)域的形狀為對(duì)象物體100的立體形狀。
如前所述，在本實(shí)施形態(tài)12中，根據(jù)表決處理求得對(duì)象物體的立體形狀。因此，即使在表決處理中用的多個(gè)輪廓圖像中有幾個(gè)不正確，也能高精度地生成立體模型29。此外，過去因利用多個(gè)假定存在區(qū)域的邏輯積得到立體形狀，所以在例如由于輪廓圖像中的物體圖像不正確而不能正確地表示對(duì)象物體的輪廓、表示的形狀缺少對(duì)象物體的形狀的一部分的場(chǎng)合，對(duì)于該缺少的部分不能作為對(duì)象物體的立體形狀被表示。這里，是用表決處理推斷體元空間251中對(duì)象物體的存在區(qū)域，但如果不能求得體元空間251中對(duì)象物體的存在概率，則也可以用表決處理以外的任何處理，推斷對(duì)象物體的存在區(qū)域。
(多邊形生成)圖39A和圖39B是用于說(shuō)明圖33的步驟S16的多邊形生成的具體內(nèi)容的圖。圖40是用于說(shuō)明圖33的步驟S16的多邊形生成的流程圖。圖39B是表示基于存在于圖39A中的39B部分的輪廓線43a,43b求得的多邊形的圖。參照?qǐng)D39A和圖40，在步驟SA1中未圖示的切斷部用多個(gè)平面(在圖39A中僅圖示3個(gè)平面41a,41b,41c)切斷基于表決處理的結(jié)果求得的對(duì)象物體100的立體形狀(參照?qǐng)D38)，求得各切斷面(在圖39A中僅圖示3個(gè)切斷面44a,44b,44c)的輪廓線(在圖39A中僅圖示3條輪廓線43a,43b,43c)。這里，在圖33的步驟S10中，每隔10°拍攝對(duì)象物體，得到物體圖像，在步驟S12中，生成每隔10°的輪廓圖像B1～B36。因此，用多個(gè)平面圍繞著中心軸40每隔10°切斷對(duì)象物體100的立體形狀。即用相鄰的平面之間所成的角度θ為10°的多個(gè)平面，切斷對(duì)象物體100的立體形狀。切斷對(duì)象物體100的立體形狀的各平面是包含中心軸40的平面。
在步驟SA2中，未圖示的多邊形近似單元對(duì)各切斷面的各輪廓線進(jìn)行多邊形近似，求得該多邊形的頂點(diǎn)坐標(biāo)。這里，作為多邊形近似方法能用例如U.Ramer,“An Tterative Procedure for the Polygonal Approximation of Plane Curves”,CGIP,Vol.1,pp.244-256,1972所公開的方法等。然后，未圖示的連接單元在各切斷面中在相鄰的頂點(diǎn)之間用直線連接。在步驟SA3中，在相鄰的切斷面之間連接對(duì)應(yīng)于各切斷面的輪廓線的頂點(diǎn)之間，并生成多邊形。此外，在步驟SA2的多邊形近似中，借助于改變其近似精度，也能控制最終生成的多邊形數(shù)。
參照?qǐng)D39B，對(duì)步驟SA2和步驟SA3的處理進(jìn)行說(shuō)明。在步驟SA2中，對(duì)輪廓線43a,43b進(jìn)行多邊形近似，求得該多邊形的頂點(diǎn)45a,45b的坐標(biāo)。然后，對(duì)于借助于對(duì)輪廓線43a進(jìn)行多邊形近似求得的多個(gè)頂點(diǎn)45a，對(duì)相鄰的頂點(diǎn)之間用直線進(jìn)行連接。對(duì)于對(duì)輪廓線43b進(jìn)行多邊形近似求得的多個(gè)頂點(diǎn)45b也進(jìn)行同樣的處理。這里，對(duì)應(yīng)于輪廓線43a的是頂點(diǎn)45a，對(duì)應(yīng)于輪廓線43b的是頂點(diǎn)45b。在步驟SA3中，用直線連接對(duì)應(yīng)于切斷面44a的輪廓線43a的頂點(diǎn)45a和對(duì)應(yīng)于切斷面44b的輪廓線43b的頂點(diǎn)45b之間，生成多邊形27。這里，作為用直線連接頂點(diǎn)45a和頂點(diǎn)45b的方法有局部的最近接點(diǎn)連接策略和全局的最短連接策略。
局部的最近接點(diǎn)連接策略是在借助于對(duì)相鄰的切斷面的一方的輪廓線進(jìn)行多邊形近似得到的頂點(diǎn)和借助于對(duì)相鄰的切斷面的另一方的輪廓線進(jìn)行多邊形近似得到的頂點(diǎn)之間，對(duì)頂點(diǎn)間的長(zhǎng)度最短的頂點(diǎn)之間用直線進(jìn)行連接。全局的最短連接策略是在借助于對(duì)相鄰的切斷面的一方的輪廓線進(jìn)行多邊形近似得到的頂點(diǎn)和借助于對(duì)相鄰的切斷面的另一方的輪廓線進(jìn)行多邊形近似得到的頂點(diǎn)之間，對(duì)頂點(diǎn)間的長(zhǎng)度的和為最小的頂點(diǎn)之間用直線進(jìn)行連接。
下面，對(duì)局部的最近接點(diǎn)連接策略詳細(xì)地進(jìn)行說(shuō)明。圖41是表示對(duì)應(yīng)于相鄰的切斷面的輪廓線的頂點(diǎn)間的關(guān)系的圖。這里，作為相鄰的切斷面，考慮切斷面Scnt和切斷面Scnt+1。參照?qǐng)D41，頂點(diǎn)a,b,c,d,e,f是對(duì)切斷面Scnt的輪廓線進(jìn)行多邊形近似得到的。頂點(diǎn)A,B,C,D,E,F,G是對(duì)切斷面Scnt+1的輪廓線進(jìn)行多邊形近似得到的。此外，因以利用圓柱坐標(biāo)系體元空間251的多邊形生成為前提，所以頂點(diǎn)a和頂點(diǎn)A是同一點(diǎn)，頂點(diǎn)f和頂點(diǎn)G是同一點(diǎn)。
圖42是用于說(shuō)明局部的最近接點(diǎn)連接策略的圖。參照?qǐng)D42，橫方向?qū)?yīng)于切斷面Scnt的頂點(diǎn)a～f，縱方向?qū)?yīng)于切斷面Scnt+1的頂點(diǎn)A～G。并且，各格網(wǎng)點(diǎn)的數(shù)字(在O中記載的數(shù)字)是對(duì)應(yīng)于切斷面Scnt的輪廓線的頂點(diǎn)a～f(圖41)和對(duì)應(yīng)于切斷面Scnt+1的輪廓線的頂點(diǎn)A～G(圖41)之間的距離。例如在d和D的交點(diǎn)(d和D決定的格網(wǎng)點(diǎn))記有圖41的頂點(diǎn)d和D之間的距離。也就是說(shuō)，圖41的頂點(diǎn)d和D之間的距離是“2”。
參照?qǐng)D41和圖42，在局部的最近接點(diǎn)連接策略中，首先生成初始多邊形。初始多邊形的生成方法考慮以下的2個(gè)方法。用于初始多邊形生成的第1方法是無(wú)條件地用直線連接頂點(diǎn)bB之間。初始多邊形生成的第2方法是在頂點(diǎn)bB之間、頂點(diǎn)aC之間和頂點(diǎn)Ac之間，選擇距離最小的并用直線連接這種頂點(diǎn)之間。在圖41和圖42的例中，在初始多邊形生成的2個(gè)方法中的任何一個(gè)方法中都選擇頂點(diǎn)bB之間并用直線連接頂點(diǎn)bB。
接著，考慮連接頂點(diǎn)cB之間或者頂點(diǎn)bC之間的哪一個(gè)。因頂點(diǎn)bC之間的距離比頂點(diǎn)cB之間的距離短，所以用直線連接頂點(diǎn)bC之間。接著，考慮連接頂點(diǎn)cC之間或者頂點(diǎn)bD之間的哪一個(gè)。因頂點(diǎn)bD之間的距離和頂點(diǎn)cC之間的距離相等，所以可以連接任何一個(gè)，但這里用直線連接頂點(diǎn)bD之間。接著，考慮連接頂點(diǎn)cD之間或者頂點(diǎn)bE之間的哪一個(gè)。因頂點(diǎn)cD之間的距離比頂點(diǎn)bE之間的距離短，所以用直線連接頂點(diǎn)cD之間。下面，重復(fù)這種處理，用直線連接對(duì)應(yīng)于切斷面Scnt的輪廓線的頂點(diǎn)和對(duì)應(yīng)于切斷面Scnt+1的輪廓線的頂點(diǎn)。也就是說(shuō)，在圖42的各格網(wǎng)點(diǎn)中比較位于右面的格網(wǎng)點(diǎn)對(duì)應(yīng)的頂點(diǎn)之間的距離和位于下面的格網(wǎng)點(diǎn)對(duì)應(yīng)的頂點(diǎn)之間的距離，用直線連接具有短距離的格網(wǎng)點(diǎn)的頂點(diǎn)之間。圖43是表示根據(jù)局部的最近接點(diǎn)連接策略連接圖41的頂點(diǎn)a～f和頂點(diǎn)A～G得到的多邊形的圖。此外，對(duì)于與圖41相同的部分，附以相同的參照標(biāo)號(hào)并省略其說(shuō)明。參照?qǐng)D43，按照局部的最近接點(diǎn)連接策略連接頂點(diǎn)a～f和頂點(diǎn)A～G，形成多邊形(三角形拼塊)27。
圖44是表示用于說(shuō)明根據(jù)局部的最近接點(diǎn)連接策略的多邊形生成的流程的一部分的圖。圖45是表示用于說(shuō)明根據(jù)局部的最近接點(diǎn)連接策略的多邊形生成的流程的另外部分的圖。此外，作為初始多邊形生成方法，示出了用無(wú)條件地連接第1號(hào)的頂點(diǎn)之間的方法(初始多邊形生成的第1方法)的例子。參照?qǐng)D44，在步驟SB1中，將用圖40的步驟SA1得到的切斷面的數(shù)代入到變量Smax中。此外，將“0”代入到變量Scnt中。在步驟SB2中，將第Scnt號(hào)的切斷面的頂點(diǎn)數(shù)代入到變量Vmax中。此外，將“0”代入到變量Vcnt中。在步驟SB3中，連接第Scnt號(hào)切斷面中第Vcnt號(hào)的頂點(diǎn)和第Scnt號(hào)的切斷面中第Vcnt+1號(hào)的頂點(diǎn)。這里，在考慮例如圖41所示的頂點(diǎn)a～f和A～G的場(chǎng)合，頂點(diǎn)a,A是第0號(hào)頂點(diǎn)，頂點(diǎn)b,B是第1號(hào)頂點(diǎn)，頂點(diǎn)c,C是第3號(hào)頂點(diǎn)，在步驟SB4中，將Vcnt+1代入到變量Vcnt中。在步驟SB5中，在變量Vcnt大于Vmax-1的場(chǎng)合，進(jìn)入到步驟SB6。另一方面，在步驟SB5中，當(dāng)變量Vcnt小于Vmax-1時(shí)，進(jìn)入到步驟SB3中。在步驟SB6中，將Scnt+1代入到變量Scnt中，在步驟SB7中，當(dāng)變量Scnt大于Smax時(shí)，進(jìn)入到圖45的步驟SB8中。另一方面，在步驟SB7中，當(dāng)變量Scnt小于Smax時(shí)，進(jìn)入到步驟SB2中。
參照?qǐng)D45，在步驟SB8中，將“0”代入到變量Scnt中。在步驟SB9中，將第Scnt號(hào)的切斷面的頂點(diǎn)數(shù)代入到變量imax中。此外，將第Scnt+1號(hào)的切斷面的頂點(diǎn)數(shù)代入到變量jmax中。在步驟SB10中生成初始多邊形。這里，示出了用無(wú)條件地連接第1號(hào)的頂點(diǎn)之間的方法(初始多邊形生成的第1方法)的例子，連接第Scnt號(hào)的切斷面的第1號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第1號(hào)的頂點(diǎn)。再將“1”代入到變量i中，并將“1”代入到變量j中。在步驟SB11中，將i+1代入到變量i_n中，并將j+1代入到變量j_n中。在步驟SB12中，dist([Scnt:i],[Scnt+1:j_n])表示第Scnt號(hào)的切斷面的第i號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j_n號(hào)的頂點(diǎn)之間的距離。此外，dist([Scnt:i_n],[Scnt+1:j])表示第Scnt號(hào)的切斷面的第i_n號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j號(hào)的頂點(diǎn)之間的距離。也就是說(shuō)，在步驟SB12中，在第Scnt號(hào)的切斷面的第i號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j_n號(hào)的頂點(diǎn)之間的距離比第Scnt號(hào)的切斷面的第i_n號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j號(hào)的頂點(diǎn)之間的距離小的場(chǎng)合，進(jìn)入到步驟SB13中，在其以外的場(chǎng)合，進(jìn)入到步驟SB14中。
在步驟SB13中，連接第Scnt號(hào)的切斷面的第i號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j_n號(hào)的頂點(diǎn)。再將j_n代入到變量j中。在步驟SB14中，連接第Scnt號(hào)的切斷面的第i_n號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j號(hào)的頂點(diǎn)。再將i_n代入到變量i中。在步驟SB15中，在變量i大于imax-1的場(chǎng)合，進(jìn)入到步驟SB17中，另一方面，在變量i小于imax-1的場(chǎng)合，進(jìn)入到步驟SB16中。在步驟SB17中，連接第Scnt號(hào)的切斷面的第i號(hào)的頂點(diǎn)和第Scnt+1號(hào)的切斷面的第j～jmax-1號(hào)的各頂點(diǎn)。在步驟SB16中，在變量j大于jmax-1的場(chǎng)合，進(jìn)入到步驟SB18中。另一方面，在變量j小于jmax-1的場(chǎng)合，進(jìn)入到步驟SB11中。在步驟SB18中，連接第Scnt+1號(hào)的切斷面的第j號(hào)的頂點(diǎn)和第Scnt號(hào)的切斷面的第i～imax-1號(hào)的各頂點(diǎn)。在步驟SB19中，將Scnt+1代入到變量Scnt中。在步驟SB20中，在變量Scnt小于Smax的場(chǎng)合，進(jìn)入到步驟SB9中。另一方面，在變量Scnt大于Smax的場(chǎng)合，結(jié)束處理。此外，雖然切斷面存在于第0號(hào)到第Smax-1號(hào)，但在圖45中，在Scnt為Smax-1的場(chǎng)合，有時(shí)必須考慮第Smax號(hào)的切斷面的頂點(diǎn)。這種場(chǎng)合，第Smax號(hào)的切斷面看作與第0號(hào)的切斷面相同。
參照?qǐng)D42，對(duì)于根據(jù)全局最短連接策略的多邊形的生成詳細(xì)地進(jìn)行說(shuō)明。考慮以格網(wǎng)點(diǎn)aA(a與A的交點(diǎn))為起點(diǎn)，以格網(wǎng)點(diǎn)fG(f與G的交點(diǎn))為終點(diǎn)的路徑。并且，在每經(jīng)過格網(wǎng)點(diǎn)時(shí)加上分配到經(jīng)過的格網(wǎng)點(diǎn)的距離的值作為補(bǔ)償，求得補(bǔ)償為最小的路徑。也就是說(shuō)，在從格網(wǎng)點(diǎn)aA到格網(wǎng)點(diǎn)fG為止的多個(gè)路徑中求得最短的路徑。作為這種最短的路徑可以用雙列(diallele)法、分支限定法、Dijkstra算法和A*算法等求得。在圖42中，用粗的實(shí)線表示的路徑是最小補(bǔ)償路徑(最短路徑)。然后，連接存在于最小補(bǔ)償路徑(最短路徑)上的格網(wǎng)點(diǎn)對(duì)應(yīng)的頂點(diǎn)之間(參照?qǐng)D41)。例如，因最小補(bǔ)償路徑(粗的實(shí)線)通過格網(wǎng)點(diǎn)bB上，所以連接圖41的頂點(diǎn)b和B。圖43示出了根據(jù)全局最短連接策略用直線連接圖41的頂點(diǎn)a～f和頂點(diǎn)A～G得到的多邊形。
圖46是用于說(shuō)明全局最短連接策略的多邊形生成的流程圖。此外，對(duì)于與圖44和圖45相同的步驟，附以相同的標(biāo)號(hào)并適當(dāng)?shù)厥÷云湔f(shuō)明。參照?qǐng)D46，在步驟SC9中，連接第Scnt號(hào)的切斷面的頂點(diǎn)和第Scnt+1號(hào)的切斷面的頂點(diǎn)，使連接距離最短。在步驟SC10中，將Scnt+1代入到變量Scnt中。在步驟SC11中，在變量Scnt小于Smax的場(chǎng)合，進(jìn)入到步驟SC9中，另一方面，在變量Scnt大于Smax的場(chǎng)合，結(jié)束處理。
這樣，在本實(shí)施形態(tài)12中，用圓柱坐標(biāo)系體元空間251求得對(duì)象物體的立體形狀，用多個(gè)平面沿著圓柱坐標(biāo)系體元空間251的中心軸，切斷這種立體形狀，并以切斷面的輪廓線為基礎(chǔ)生成形狀模型300。因此，與用直角坐標(biāo)系體元空間生成形狀模型300的場(chǎng)合相比，用于生成形狀模型的數(shù)據(jù)量少并且能高速處理。此外，用多邊形近似和局部的最近接點(diǎn)連接策略或者全局最短連接策略生成構(gòu)成形狀模型300的多邊形。因此，與用垂直于旋轉(zhuǎn)軸的多個(gè)平面來(lái)切斷對(duì)象物體的立體形狀而生成形狀模型300的以往技術(shù)相比，數(shù)據(jù)量少并且能進(jìn)一步高速處理。即能實(shí)時(shí)生成形狀模型300。此外，用多邊形近似和局部的最近接點(diǎn)連接策略或者全局最短連接策略生成構(gòu)成形狀模型300的多邊形27。因此，數(shù)據(jù)量少并且能高速處理。
在本實(shí)施形態(tài)12中，除去到此為止的說(shuō)明的效果外，還有以下所述的效果。也就是說(shuō)，在本實(shí)施形態(tài)12中，與用3維數(shù)字化儀生成形狀模型的場(chǎng)合相比，能減少人工的作業(yè)。此外，在本實(shí)施形態(tài)12中，沒有進(jìn)行用激光的測(cè)量。因此，不受對(duì)象物體的材料的限制，必須在暗室中測(cè)量等拍攝環(huán)境的限制少。此外，在本實(shí)施形態(tài)12中，用旋轉(zhuǎn)臺(tái)110、拍攝機(jī)120和計(jì)算機(jī)130簡(jiǎn)單的結(jié)構(gòu)就能生成立體模型29。此外，在本實(shí)施形態(tài)12中，借助于進(jìn)行差分處理，生成輪廓圖像，并用它生成形狀模型300。因此，不需要同一色彩的背景板等那樣的特殊的拍攝環(huán)境。
以上，是對(duì)用1臺(tái)拍攝機(jī)和旋轉(zhuǎn)臺(tái)每隔10°拍攝對(duì)象物體生成立體模型29的例子進(jìn)行了說(shuō)明，但拍攝機(jī)的臺(tái)數(shù)、拍攝視點(diǎn)的移動(dòng)手段、拍攝角度的間隔寬度不限于此。也可以用多臺(tái)拍攝機(jī)拍攝對(duì)象物體，生成立體模型29。這樣，能進(jìn)一步獲得高精度的形狀。此外，作為拍攝視點(diǎn)的移動(dòng)手段，也可以用人工控制的旋轉(zhuǎn)臺(tái)和機(jī)器人手臂。此外，拍攝角度的間隔寬度對(duì)于復(fù)雜的物體也可以更加細(xì)，也可以根據(jù)方向改變拍攝角度的間隔寬度。也就是說(shuō)，對(duì)于具有復(fù)雜的外形的方向也可以用更加細(xì)的刻度間隔進(jìn)行旋轉(zhuǎn)及拍攝。此外，在變更對(duì)象物體的拍攝角度的間隔寬度的場(chǎng)合，也改變切斷體元空間251并再次構(gòu)成多邊形表示的形狀模型300用的切斷面。拍攝角度和切斷面是相互關(guān)連而設(shè)定的。如果這樣的話，則能將來(lái)自拍攝得到的輪廓圖像的輪廓信息更高精度地反映在多邊形數(shù)據(jù)上。
圖47是表示記錄使圖3的計(jì)算機(jī)130生成對(duì)象物體的立體模型29用的程序301的CD-ROM的圖。參照?qǐng)D47，計(jì)算機(jī)130按照記錄在CD-ROM260中的程序301，生成對(duì)象物體的立體模型29。記錄在CD-ROM260上的程序301包含生成對(duì)象物體的輪廓圖像的步驟S12、進(jìn)行表決處理的步驟S14、進(jìn)行多邊形生成的步驟S16和進(jìn)行特征映射的步驟S18。
在本實(shí)施形態(tài)12中，在從體元表示的形狀模型再次構(gòu)成多邊形表示的形狀模型300的場(chǎng)合，使用了斷面的多邊形近似的技術(shù)，但是本發(fā)明不一定限于此。例如，也可以用變形球(metaball)表示的形狀模型代替線框表示的形狀模型300。此外，在本實(shí)施形態(tài)12中，是根據(jù)輪廓圖像進(jìn)行對(duì)體元空間251的表決處理并生成多邊形，但也可以用多邊形近似法將輪廓圖像變換成多邊形。此外，這種場(chǎng)合，因輪廓圖像不正確，所以當(dāng)然有必要進(jìn)行基于人工操作的校正。
權(quán)利要求
1．一種特征信息附予方法，其特征在于，在對(duì)于形狀模型的特征信息附予方法中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量，對(duì)于所述形狀模型附予特征信息的步驟。
2．如權(quán)利要求1所述的特征信息附予方法，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，基于所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度，表示所述特征信息量。
3．如權(quán)利要求1所述的特征信息附予方法，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，基于投影在所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積，表示所述特征信息量。
4．一種特征信息附予方法，其特征在于，在對(duì)于形狀模型的特征信息附予方法中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素、對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量和所述立體形狀構(gòu)成要素間的特征連續(xù)性的兩個(gè)方面，對(duì)于所述形狀模型附予特征信息的步驟。
5．如權(quán)利要求4所述的特征信息附予方法，其特征在于，在附予所述特征信息的步驟中，根據(jù)對(duì)應(yīng)于每個(gè)所述立體形狀構(gòu)成要素的所述物體圖像信息，對(duì)于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構(gòu)成要素間的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化。
6．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分別與所注意的所述立體形狀構(gòu)成要素和與其相鄰的所述立體形狀構(gòu)成要素對(duì)應(yīng)的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
7．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的所述立體形狀構(gòu)成要素上的標(biāo)記號(hào)碼和分配給與所注意的所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素上的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
8．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼供給到各物體圖像信息上時(shí)，用伴隨著分配到注意的所述立體形狀構(gòu)成要素上的標(biāo)記號(hào)碼和分配到與注意的所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素上的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
9．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用投影到所述各物體圖像信息中的所述立體形狀構(gòu)成要素的面積的函數(shù)，表示所述特征信息量。
10．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
11．如權(quán)利要求5所述的特征信息附予方法，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分配給第i號(hào)(i自然數(shù))所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所述第i號(hào)所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的全部立體形狀構(gòu)成要素的總和，與用投影到分配所述第i號(hào)立體形狀構(gòu)成要素的標(biāo)記號(hào)碼對(duì)應(yīng)的所述物體圖像信息的所述第i號(hào)立體形狀構(gòu)成要素的面積的全部立體形狀構(gòu)成要素的總和的線性組合，表示所述特征信息量。
12．一種特征信息附予方法，其特征在于，在對(duì)于形狀模型的特征信息附予方法中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素上的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的步驟?；谂c所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予所述立體形狀構(gòu)成要素的步驟。
13．一種特征信息附予方法，其特征在于，在對(duì)于形狀模型的特征信息附予方法中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的步驟?；趯?duì)應(yīng)于所述相應(yīng)附加的標(biāo)記號(hào)碼的物體圖像信息和對(duì)應(yīng)于包含所述相應(yīng)附加的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息上的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予所述立體形狀構(gòu)成要素的步驟。
14．一種特征信息附予方法，其特征在于，在對(duì)于形狀模型的特征信息附予方法中，包括借助于從不同的視點(diǎn)拍攝對(duì)象物體以獲得多個(gè)物體圖像信息的步驟，將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，借助于對(duì)相應(yīng)于分別投影到所述多個(gè)物體圖像信息的所述立體形狀構(gòu)成要素相應(yīng)的面積的多個(gè)所述物體圖像信息進(jìn)行加權(quán)平均處理，將得到的特征信息附予所述各立體形狀構(gòu)成要素的步驟。
15．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計(jì)算機(jī)將特征信息附予形狀模型用的程序的媒體，所述程序包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量，對(duì)于所述形狀模型附予特征信息的步驟。
16．如權(quán)利要求15所述的記錄特征信息附予程序的媒體，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，基于所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度，表示所述特征信息量。
17．如權(quán)利要求15所述的記錄特征信息附予程序的媒體，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，基于投影在所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積，表示所述特征信息量。
18．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計(jì)算機(jī)將特征信息附予形狀模型用的程序的媒體，所述程序包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量和所述立體形狀構(gòu)成要素間的特征連續(xù)性的兩個(gè)方面，對(duì)于所述形狀模型附予特征信息的步驟。
19．如權(quán)利要求18所述的記錄特征信息附予程序的媒體，其特征在于，在附予所述特征信息的步驟中，根據(jù)對(duì)應(yīng)于每個(gè)所述立體形狀構(gòu)成要素的所述物體圖像信息，對(duì)于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構(gòu)成要素間的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化。
20．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分別與所注意的所述立體形狀構(gòu)成要素和與其相鄰的所述立體形狀構(gòu)成要素對(duì)應(yīng)的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
21．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
22．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
23．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用投影到所述各物體圖像信息中的所述立體形狀構(gòu)成要素的面積的函數(shù)，表示特征信息量。
24．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
25．如權(quán)利要求19所述的記錄特征信息附予程序的媒體，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分配給第i號(hào)(i自然數(shù))所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所述第i號(hào)所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的全部立體形狀構(gòu)成要素的總和，與用投影到分配給所述第i號(hào)立體形狀構(gòu)成要素的標(biāo)記號(hào)碼對(duì)應(yīng)的所述物體圖像信息的所述第i號(hào)立體形狀構(gòu)成要素的面積的全部立體形狀構(gòu)成要素的總和的線性組合，表示所述特征信息量。
26．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計(jì)算機(jī)特征信息附予形狀模型用的程序的媒體，所述程序包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的步驟。基于與所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息上的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予所述立體形狀構(gòu)成要素的步驟。
27．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計(jì)算機(jī)將特征信息附予形狀模型用的程序的媒體，所述程序包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型的進(jìn)行描述步驟，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的步驟。基于與所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息上的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予所述立體形狀構(gòu)成要素的步驟。
28．一種記錄特征信息附予程序的媒體，其特征在于，是記錄使計(jì)算機(jī)將特征信息附予形狀模型用的程序的媒體，所述程序包括借助于從不同的視點(diǎn)拍攝對(duì)象物體以獲得多個(gè)物體圖像信息的步驟，將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的步驟，借助于對(duì)相應(yīng)于分別投影到所述多個(gè)物體圖像信息的所述立體形狀構(gòu)成要素相應(yīng)的面積的多個(gè)所述物體圖像信息進(jìn)行加權(quán)平均處理，將得到的特征信息附予所述各立體形狀構(gòu)成要素的步驟。
29．一種特征信息附予裝置，其特征在于，在對(duì)于形狀模型的特征信息附予裝置中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量，對(duì)于所述形狀模型附予特征信息的手段。
30．如權(quán)利要求29所述的記錄特征信息附予裝置，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度，表示所述特征信息量。
31．如權(quán)利要求29所述的記錄特征信息附予裝置，其特征在于，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用投影到所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積，表示所述特征信息量。
32．一種特征信息附予裝置，其特征在于，在對(duì)于形狀模型的特征信息附予裝置中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，根據(jù)借助于從不同的視點(diǎn)對(duì)所述對(duì)象物體進(jìn)行拍攝所獲得的多個(gè)物體圖像信息，對(duì)于每個(gè)所述立體形狀構(gòu)成要素、對(duì)應(yīng)于所述各物體圖像信息的所述立體形狀構(gòu)成要素的特征信息量和所述立體形狀構(gòu)成要素間的特征連續(xù)性的兩個(gè)方面，對(duì)于所述形狀模型附予特征信息的手段。
33．如權(quán)利要求32所述的記錄特征信息附予裝置，其特征在于，在附予所述特征信息的手段中，根據(jù)對(duì)應(yīng)于每個(gè)所述立體形狀構(gòu)成要素的所述物體圖像信息，對(duì)于所述形狀模型附予特征信息，以便使隨著所述特征信息量的增加而減少并且隨著所述立體形狀構(gòu)成要素間的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化。
34．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分別與所注意的所述立體形狀構(gòu)成要素和與其相鄰的所述立體形狀構(gòu)成要素對(duì)應(yīng)的所述物體圖像信息的拍攝位置和拍攝方向之差的函數(shù)，表示所述特征連續(xù)性。
35．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用隨著分配給所注意的所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的所述立體形狀構(gòu)成要素相鄰的所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
36．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，用伴隨著分配給所注意的所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所注意的所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的增加而增加的函數(shù)，表示所述特征連續(xù)性。
37．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用投影到所述各物體圖像信息中的所述立體形狀構(gòu)成要素的面積的函數(shù)，表示所述特征信息量。
38．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，對(duì)于每個(gè)所述立體形狀構(gòu)成要素，用所述各立體形狀構(gòu)成要素的面法線方向和對(duì)所述各物體圖像信息進(jìn)行拍攝的方向的一致程度的函數(shù)，表示所述特征信息量。
39．如權(quán)利要求33所述的記錄特征信息附予裝置，其特征在于，在所述評(píng)價(jià)函數(shù)中，用分配給第i號(hào)(i自然數(shù))所述立體形狀構(gòu)成要素的標(biāo)記號(hào)碼和分配給與所述第i號(hào)所述立體形狀構(gòu)成要素相鄰的立體形狀構(gòu)成要素的標(biāo)記號(hào)碼之差的全部立體形狀構(gòu)成要素的總和，與用投影到分配給所述第i號(hào)立體形狀構(gòu)成要素的標(biāo)記號(hào)碼對(duì)應(yīng)的所述物體圖像信息的所述第i號(hào)立體形狀構(gòu)成要素的面積的全部立體形狀構(gòu)成要素的總和的線性組合，表示所述特征信息量。
40．一種特征信息附予裝置，其特征在于，在對(duì)于形狀模型的特征信息附予裝置中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將對(duì)應(yīng)于位置變化的標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的手段?；谂c所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予所述立體形狀構(gòu)成要素的手段。
41．一種特征信息附予裝置，其特征在于，在對(duì)于形狀模型的特征信息附予裝置中，包括將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，將所述標(biāo)記號(hào)碼對(duì)應(yīng)附加給每個(gè)所述立體形狀構(gòu)成要素，以便在伴隨規(guī)則的位置變化對(duì)所述物體圖像信息進(jìn)行拍攝的場(chǎng)合將標(biāo)記號(hào)碼給予各物體圖像信息時(shí)，使隨著對(duì)于所述各立體形狀構(gòu)成要素的特征信息量的增加而減少并且隨著分別分配給所述各立體形狀構(gòu)成要素和與其相鄰的立體形狀構(gòu)成要素的特征信息的特征連續(xù)性的改善而減少的評(píng)價(jià)函數(shù)極小化的手段?；谂c所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息和與包含所述加以對(duì)應(yīng)的標(biāo)記號(hào)碼的規(guī)定數(shù)的標(biāo)記號(hào)碼相對(duì)應(yīng)的物體圖像信息，借助于進(jìn)行對(duì)應(yīng)于投影到所述各物體圖像信息的所述立體形狀構(gòu)成要素的面積的加權(quán)平均處理，將特征信息附予到所述立體形狀構(gòu)成要素的手段。
42．一種特征信息附予裝置，其特征在于，在對(duì)于形狀模型的特征信息附予裝置中，包括借助于從不同的視點(diǎn)拍攝對(duì)象物體以獲得多個(gè)物體圖像信息的手段，將對(duì)象物體的形狀作為基于多個(gè)立體形狀構(gòu)成要素的集合的形狀模型進(jìn)行描述的手段，借助于對(duì)相應(yīng)于分別投影到所述多個(gè)物體圖像信息的所述立體形狀構(gòu)成要素相應(yīng)的面積的多個(gè)所述物體圖像信息進(jìn)行加權(quán)平均處理，將得到的特征信息附予到所述各立體形狀構(gòu)成要素的手段。
43．一種物體抽取裝置，其特征在于，在從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，借助于進(jìn)行將所述物體圖像的各圖像信息匯總在所述每個(gè)區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取手段。
44．如權(quán)利要求43所述的物體抽取裝置，其特征在于，在所述抽取手段中，將所述物體圖像的各象素信息匯總在所述每個(gè)區(qū)域中的所述處理，是在所述每個(gè)區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
45．如權(quán)利要求43或44所述的物體抽取裝置，其特征在于，借助于對(duì)于匯總在所述每個(gè)區(qū)域中的所述各象素的信息進(jìn)行閾值處理，所述抽取手段確定所述物體圖像中的物體部分并進(jìn)行抽取。
46．如權(quán)利要求43至45任一項(xiàng)所述的物體抽取裝置，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理得到的差分信息。
47．如權(quán)利要求43至45任一項(xiàng)所述的物體抽取裝置，其特征在于，所述抽取手段包括在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理的差分處理手段，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對(duì)值的平均值的平均值導(dǎo)出手段，比較所述區(qū)域的差分的絕對(duì)值的所述平均值和預(yù)定值，并抽取所述平均值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理手段。
48．如權(quán)利要求43至45任一項(xiàng)所述的物體抽取裝置，其特征在于，所述抽取手段包括算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的平均值導(dǎo)出手段，在所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值間進(jìn)行差分處理的差分處理手段，比較基于所述差分處理得到的差分的絕對(duì)值和預(yù)定值，并抽取所述差分的絕對(duì)值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理手段。
49．如權(quán)利要求43至45任一項(xiàng)所述的物體抽取裝置，其特征在于，所述物體圖像的各象素的信息是進(jìn)深信息。
50．一種物體抽取方法，其特征在于，在從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取方法中，包括將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割步驟，借助于進(jìn)行將所述物體圖像的各圖像信息匯總在所述每個(gè)區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取步驟。
51．如權(quán)利要求50所述的物體抽取方法，其特征在于，在所述抽取步驟中，將所述物體圖像的各象素信息匯總在所述每個(gè)區(qū)域中的所述處理是在所述每個(gè)區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
52．如權(quán)利要求50或51所述的物體抽取方法，其特征在于，借助于對(duì)于匯總在所述每個(gè)區(qū)域中的所述各象素的信息進(jìn)行閾值處理，所述抽取步驟確定所述物體圖像中的物體部分并進(jìn)行抽取。
53．如權(quán)利要求50至52任一項(xiàng)所述的物體抽取方法，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理得到的差分信息。
54．如權(quán)利要求50至52任一項(xiàng)所述的物體抽取方法，其特征在于，所述抽取步驟包括在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理的差分處理步驟，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對(duì)值的平均值的平均值導(dǎo)出步驟，比較所述區(qū)域的差分的絕對(duì)值的所述平均值和預(yù)定值，并抽取所述平均值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理步驟。
55．如權(quán)利要求50至52任一項(xiàng)所述的物體抽取方法，其特征在于，所述抽取步驟包括算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的平均值導(dǎo)出步驟，在所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值間進(jìn)行差分處理的差分處理步驟，比較基于所述差分處理得到的差分的絕對(duì)值和預(yù)定值，并抽取所述差分的絕對(duì)值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理步驟。
56．如權(quán)利要求50至52任一項(xiàng)所述的物體抽取方法，其特征在于，所述物體圖像的各象素的信息是進(jìn)深信息。
57．一種記錄物體抽取程序的媒體，其特征在于，是記錄使計(jì)算機(jī)從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分用的程序的媒體，所述程序包括將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割步驟，借助于進(jìn)行將所述物體圖像的各圖像信息匯總在所述每個(gè)區(qū)域中的處理，確定并抽取所述物體圖像中的物體部分的抽取步驟。
58．如權(quán)利要求57所述的記錄物體抽取程序的媒體，其特征在于，在所述抽取步驟中，將所述物體圖像的各象素信息匯總在所述每個(gè)區(qū)域中的所述處理，是在所述每個(gè)區(qū)域中將所述物體圖像的各象素的信息加以平均化的處理。
59．如權(quán)利要求57或58所述的記錄物體抽取程序的媒體，其特征在于，借助于對(duì)于匯總在所述每個(gè)區(qū)域中的所述各象素的信息進(jìn)行閾值處理，所述抽取步驟確定所述物體圖像中的物體部分并進(jìn)行抽取。
60．如權(quán)利要求57至59任一項(xiàng)所述的記錄物體抽取程序的媒體，其特征在于，所述物體圖像的所述各象素的信息是在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理得到的差分信息。
61．如權(quán)利要求57至59任一項(xiàng)所述的記錄物體抽取程序的媒體，其特征在于，所述抽取步驟包括在僅拍攝對(duì)象物體的背景的背景圖像和所述物體圖像間進(jìn)行差分處理的差分處理步驟，在所述各區(qū)域中求出由所述差分處理得到的差分的絕對(duì)值的平均值的平均值導(dǎo)出步驟，比較所述區(qū)域的差分的絕對(duì)值的所述平均值和預(yù)定值，并抽取所述平均值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理步驟。
62．如權(quán)利要求57至59任一項(xiàng)所述的記錄物體抽取程序的媒體，其特征在于，所述抽取步驟包括算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的平均值導(dǎo)出步驟，在所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值間進(jìn)行差分處理的差分處理步驟，比較基于所述差分處理得到的差分的絕對(duì)值和預(yù)定值，并抽取所述差分的絕對(duì)值在所述預(yù)定值以上的區(qū)域作為物體部分的閾值處理步驟。
63．如權(quán)利要求57至59任一項(xiàng)所述的記錄物體抽取程序的媒體，其特征在于，所述物體圖像的各象素的信息是進(jìn)深信息。
64．一種物體抽取裝置，其特征在于，在從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括算出所述物體圖像的進(jìn)深信息的進(jìn)深信息算出手段，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，對(duì)每個(gè)區(qū)域算出所述進(jìn)深信息的平均值的平均值算出手段，抽取所述多個(gè)區(qū)域中所述平均值在預(yù)定的范圍內(nèi)的區(qū)域作為所述物體部分的抽取手段。
65．一種物體抽取方法，其特征在于，在從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分的物體抽取方法中，包括算出所述物體圖像的進(jìn)深信息的進(jìn)深信息算出步驟，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割步驟，對(duì)每個(gè)區(qū)域算出所述進(jìn)深信息的平均值的平均值算出步驟，抽取所述多個(gè)區(qū)域中所述平均值在預(yù)定的范圍內(nèi)的區(qū)域作為所述物體部分的抽取步驟。
66．一種記錄物體抽取程序的媒體，其特征在于，是記錄使計(jì)算機(jī)從拍攝對(duì)象物體得到的物體圖像中除去不希望要的部分并抽取物體部分用的程序的媒體，所述程序包括算出所述物體圖像的進(jìn)深信息的進(jìn)深信息算出步驟，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割步驟，對(duì)每個(gè)區(qū)域算出所述進(jìn)深信息的平均值的平均值算出步驟，抽取所述多個(gè)區(qū)域中所述平均值在預(yù)定的范圍內(nèi)的區(qū)域作為所述物體部分的抽取步驟。
67．一種物體抽取裝置，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去背景部分并抽取物體部分的物體抽取裝置，包括算出所述物體圖像和所述背景圖像之差的絕對(duì)值的差分手段，抽取所述物體圖像中所述差的絕對(duì)值比閾值大的部分作為所述物體部分的抽取手段，基于所述多個(gè)背景圖像的圖像信息分布，統(tǒng)計(jì)決定所述閾值的閾值決定手段。
68．一種物體抽取裝置，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置中，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的算出手段，算出所述物體圖像的各象素的值和與該象素對(duì)應(yīng)的所述背景圖像的象素的平均值之差的絕對(duì)值的差分手段，抽取所述物體圖像的象素中所述差的絕對(duì)值比所述標(biāo)準(zhǔn)偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的抽取手段。
69．一種物體抽取裝置，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的平均/標(biāo)準(zhǔn)偏差算出手段，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內(nèi)的各象素值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)對(duì)應(yīng)的象素的平均值之差的絕對(duì)值的差分手段，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的平均差算出手段，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的平均標(biāo)準(zhǔn)偏差算出手段，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
70．一種物體抽取裝置，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的平均/標(biāo)準(zhǔn)偏差算出手段，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的平均算出手段，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值之差的絕對(duì)值的差分手段，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的平均差算出手段，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的平均標(biāo)準(zhǔn)偏差算出手段，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
71．一種物體抽取裝置，其特征在于，是基于多次拍攝對(duì)象物體得到的多個(gè)物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的平均/標(biāo)準(zhǔn)偏差算出手段，在所述多個(gè)物體圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值的平均算出手段，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內(nèi)的各象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的對(duì)應(yīng)的象素的所述平均值之差的絕對(duì)值的差分手段，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的平均差算出手段，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的平均標(biāo)準(zhǔn)偏差算出手段，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
72．一種物體抽取方法，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法中，包括基于所述多個(gè)背景圖像的分布，統(tǒng)計(jì)決定閾值的步驟，算出所述物體圖像和所述背景圖像之差的絕對(duì)值的步驟，抽取所述物體圖像中所述差的絕對(duì)值比閾值大的部分作為所述物體部分的步驟。
73．一種物體抽取方法，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，算出所述物體圖像的各象素的值和與該象素對(duì)應(yīng)的所述背景圖像的象素的平均值之差的絕對(duì)值的步驟，抽取所述物體圖像的象素中所述差的絕對(duì)值比所述標(biāo)準(zhǔn)偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的步驟。
74．一種物體抽取方法，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述物體圖像的背景得到的多個(gè)背景圖像，從所述物體圖像除去背景部分并抽取物體部分的物體抽取方法，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的各象素值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)對(duì)應(yīng)的象素的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
75．一種物體抽取方法，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述物對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
76．一種物體抽取方法，其特征在于，是基于多次拍攝對(duì)象物體得到的多個(gè)物體圖像和多次僅拍攝所述物對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，在所述多個(gè)物體圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的各象素的所述平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的對(duì)應(yīng)的象素的所述平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
77．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于拍攝對(duì)象物體得到的物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括基于所述多個(gè)背景圖像的分布，統(tǒng)計(jì)決定閾值的步驟，算出所述物體圖像和所述背景圖像之差的絕對(duì)值的步驟，抽取所述物體圖像中所述差的絕對(duì)值比所述閾值大的部分作為所述物體部分的步驟。
78．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于拍攝對(duì)象物體得到的物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互地位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，算出所述物體圖像的各象素的值和與該象素對(duì)應(yīng)的所述背景圖像的象素的平均值之差的絕對(duì)值的步驟，抽取所述物體圖像的象素中所述差的絕對(duì)值比所述標(biāo)準(zhǔn)偏差的規(guī)定倍數(shù)大的象素作為所述物體部分的步驟。
79．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于拍攝對(duì)象物體得到的物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的各象素值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)對(duì)應(yīng)的象素的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
80．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于拍攝對(duì)象物體得到的物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
81．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于多次拍攝對(duì)象物體得到的多個(gè)物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，所述程序包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，在所述多個(gè)物體圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的各象素的所述平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的對(duì)應(yīng)的象素的所述平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述差的絕對(duì)值的平均值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中所述差的絕對(duì)值的平均值比所述標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
82．一種立體模型生成裝置，其特征在于，包括拍攝所述對(duì)象物體的背景而且包含所述背景拍攝所述對(duì)象物體的拍攝手段，求出僅拍攝所述背景的背景圖像和包含所述背景拍攝所述對(duì)象物體得到的多個(gè)物體圖像的差分、并生成輪廓圖像的輪廓生成手段，用所述多個(gè)輪廓圖像生成所述對(duì)象物體的立體模型進(jìn)行描述的手段。
83．如權(quán)利要求82所述的立體模型生成裝置，其特征在于，還包括使所述對(duì)象物體旋轉(zhuǎn)的旋轉(zhuǎn)手段。
84．一種立體模型生成裝置，其特征在于，是生成對(duì)象物體的立體模型的立體模型生成裝置，包括生成所述對(duì)象物體的多個(gè)輪廓圖像的輪廓生成手段，以所述多個(gè)輪廓圖像為基礎(chǔ)，推定體元空間的所述對(duì)象物體的存在區(qū)域的推定手段，用由所述推定手段得到的所述對(duì)象物體的存在區(qū)域，生成所述對(duì)象物體的立體模型進(jìn)行描述的手段。
85．如權(quán)利要求84所述的立體模型生成裝置，其特征在于，所述推定手段對(duì)所述體元空間進(jìn)行表決處理。
86．如權(quán)利要求85所述的立體模型生成裝置，其特征在于，還包括以所述表決處理的結(jié)果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對(duì)象物體的所述存在區(qū)域的閾值處理手段。
87．一種立體模型生成方法，其特征在于，由拍攝裝置僅拍攝所述對(duì)象物體的背景，并得到背景圖像的步驟，由所述拍攝裝置包含所述背景拍攝所述對(duì)象物體，得到多個(gè)物體圖像的步驟，求出所述背景圖像和所述多個(gè)物體圖像的差分，生成多個(gè)輪廓圖像的步驟，用所述多個(gè)輪廓圖像生成所述對(duì)象物體的立體模型的步驟。
88．如權(quán)利要求87所述的立體模型生成方法，其特征在于，還包括使所述對(duì)象物體旋轉(zhuǎn)的步驟。
89．一種立體模型生成方法，其特征在于，是生成對(duì)象物體的立體模型的立體模型生成方法，包括生成所述對(duì)象物體的多個(gè)輪廓圖像的步驟，以所述多個(gè)輪廓圖像為基礎(chǔ)，推定體元空間中所述對(duì)象物體的存在區(qū)域的步驟，用所述推定的所述對(duì)象物體的存在區(qū)域，生成所述立體模型的步驟。90．如權(quán)利要求89所述的立體模型生成方法，其特征在于，所述推定步驟對(duì)所述體元空間進(jìn)行表決處理。
91．如權(quán)利要求90所述的立體模型生成方法，其特征在于，還包括以所述表決處理的結(jié)果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對(duì)象物體的所述存在區(qū)域的步驟。
92．一種記錄立體模型生成程序的媒體，其特征在于，是記錄使計(jì)算機(jī)生成對(duì)象物體的立體模型用的程序的媒體，所述程序包括生成所述對(duì)象物體的多個(gè)輪廓圖像的步驟，以所述多個(gè)輪廓圖像為基礎(chǔ)，推定體元空間中所述對(duì)象物體的存在區(qū)域的步驟，用所述推定的所述對(duì)象物體的存在區(qū)域，生成所述立體模型的步驟。
93．如權(quán)利要求92所述的記錄立體模型生成程序的媒體，其特征在于，所述程序中的所述推定步驟對(duì)所述體元空間進(jìn)行表決處理。
94．如權(quán)利要求93所述的記錄立體模型生成程序的媒體，其特征在于，還包括以所述表決處理的結(jié)果、投票數(shù)在規(guī)定的閾值以上的部分，作為所述對(duì)象物體的所述存在區(qū)域的步驟。
95．一種物體抽取裝置，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取裝置，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的平均/標(biāo)準(zhǔn)偏差算出手段，將所述物體圖像分割成多個(gè)區(qū)域的區(qū)域分割手段，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值，同時(shí)算出背景圖像的象素的平均值的各區(qū)域內(nèi)的平均值的平均算出手段，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的區(qū)域內(nèi)的平均值之差的絕對(duì)值的差分手段，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的平均標(biāo)準(zhǔn)偏差算出手段，抽取所述多個(gè)區(qū)域中差的絕對(duì)值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的抽取手段。
96．一種物體抽取方法，其特征在于，是基于拍攝對(duì)象物體得到的物體圖像和多次僅拍攝所述物對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的物體抽取方法，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值，同時(shí)算出背景圖像的象素的平均值的各區(qū)域內(nèi)的平均值的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的區(qū)域內(nèi)的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中差的絕對(duì)值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
97．一種記錄物體抽取程序的媒體，其特征在于，在所述媒體中記錄的所述程序是用于使計(jì)算機(jī)基于拍攝對(duì)象物體得到的物體圖像和僅多次拍攝所述對(duì)象物體的背景得到的多個(gè)背景圖像，從所述物體圖像除去不希望要的部分并抽取物體部分的程序，包括在所述多個(gè)背景圖像中，對(duì)于每個(gè)象素算出相互位于相同坐標(biāo)上的象素的平均值和標(biāo)準(zhǔn)偏差的步驟，將所述物體圖像分割成多個(gè)區(qū)域的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值，同時(shí)算出背景圖像的象素的平均值的各區(qū)域內(nèi)的平均值的步驟，算出所述物體圖像的各區(qū)域內(nèi)的象素的平均值和與該區(qū)域?qū)?yīng)的所述背景圖像的區(qū)域內(nèi)的象素的區(qū)域內(nèi)的平均值之差的絕對(duì)值的步驟，對(duì)每個(gè)區(qū)域算出所述標(biāo)準(zhǔn)偏差的平均值的步驟，抽取所述多個(gè)區(qū)域中差的絕對(duì)值的平均值比標(biāo)準(zhǔn)偏差的平均值的規(guī)定倍數(shù)大的區(qū)域作為所述物體部分的步驟。
全文摘要
本方法基于使實(shí)際存在的物體每旋轉(zhuǎn)任意的角度被拍攝的多個(gè)物體圖像信息,利用多邊形表示3維形狀模型,并對(duì)于各多邊形根據(jù)該多邊形具有最大的投影面積的物體圖像信息,附予特征信息。為了改善相鄰的多邊形間的色彩連續(xù)性,選擇對(duì)應(yīng)于與所注意的多邊形和相鄰的多邊形的物體圖像信息,以便成為拍攝位置和拍攝方向接近的物體圖像信息。另一個(gè)方法是將物體圖像分割成多個(gè)區(qū)域,以區(qū)域?yàn)閱挝磺蟮梦矬w圖像和背景圖像的差分,以區(qū)域?yàn)閱挝粚?dǎo)出差分的絕對(duì)值的平均值,并檢測(cè)差分的絕對(duì)值的平均值在閾值以上的區(qū)域作為物體部分。另一個(gè)其它的方法是僅拍攝對(duì)象物體的背景,同時(shí)一邊使對(duì)象物體旋轉(zhuǎn)一邊進(jìn)行拍攝,得到多個(gè)物體圖像。然后,借助于在物體圖像和背景圖像之間進(jìn)行差分處理,生成輪廓圖像,以該輪廓圖像為基礎(chǔ)在體元空間進(jìn)行表決處理,以利用表決處理得到的立體形狀為基礎(chǔ)生成多邊形,并將從物體圖像獲得的特征映射到多邊形上。
文檔編號(hào)G06T15/10GK1234128SQ9719912
公開日1999年11月3日 申請(qǐng)日期1997年8月28日 優(yōu)先權(quán)日1996年8月29日
發(fā)明者松本幸則, 寺崎肇, 杉本和英, 荒川勉 申請(qǐng)人:三洋電機(jī)株式會(huì)社