專利名稱：手勢(shì)識(shí)別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及手勢(shì)識(shí)別裝置，特別是，涉及可以自動(dòng)識(shí)別手勢(shì)的手勢(shì)識(shí)別裝置。
通常，已知識(shí)別手勢(shì)(例如，手語(yǔ))的一些方法。第一種方法是通過(guò)檢測(cè)附在身上的傳感器的移動(dòng)來(lái)測(cè)量身體的移動(dòng)。(例如，參考“手勢(shì)識(shí)別方法和應(yīng)用”，Yuichi Takahashi等人，電子信息和通訊工程師協(xié)會(huì)，文件D-2第J73-D-2卷第121990號(hào)n．頁(yè)，和日本專利公開(kāi)號(hào)第8-115408號(hào)。)根據(jù)第二種方法，由照相機(jī)通過(guò)戴在手上的多色手套檢測(cè)手，通過(guò)顏色信息提取關(guān)于手輪廓的信息來(lái)測(cè)量手指的移動(dòng)。(例如，參考“運(yùn)用顏色信息識(shí)別手勢(shì)“，Kazuyoshi Yoshino等人，電子信息和通訊工程師協(xié)會(huì)，技術(shù)研究文件PRU94-52，第39-43頁(yè))此外，在第三種方法中，檢測(cè)從附在身上的光纖發(fā)射的光量的變化來(lái)測(cè)量手指形狀的變化(參考日本專利公開(kāi)號(hào)第8-115408號(hào))。
然而，上述第一至第三種方法都要求用戶配有傳感器、手套或者光纖，而它們會(huì)使用戶感到不舒服并限制了用戶的行動(dòng)。此外，由于實(shí)際上用戶的身材尺寸、在做移動(dòng)時(shí)身體移動(dòng)等的不同，使得通過(guò)預(yù)先從一個(gè)特定人那兒獲得身體部分的絕對(duì)坐標(biāo)值來(lái)識(shí)別移動(dòng)的傳統(tǒng)方法很容易導(dǎo)致識(shí)別誤差，建議為大量用戶記錄身體部分的坐標(biāo)值。然而，這種方法將遇到必須記錄與用戶數(shù)量成正比的大量數(shù)據(jù)的問(wèn)題。此外，在傳統(tǒng)方法中，把測(cè)得的手跡與記錄在字典中的手勢(shì)詞匯相對(duì)應(yīng)的手跡，逐字進(jìn)行比較，以進(jìn)行識(shí)別。這導(dǎo)致了另一個(gè)問(wèn)題，即，當(dāng)所要識(shí)別的字?jǐn)?shù)增加，那么識(shí)別所需的時(shí)間將按指數(shù)極快速增加。
因此，本發(fā)明的目的在于提供一種手勢(shì)識(shí)別裝置，它可以識(shí)別并翻譯手勢(shì)，而不要求用戶備有工具。
本發(fā)明的另一個(gè)目的在于，提供一種手勢(shì)識(shí)別裝置，無(wú)論用戶之中身體大小的差異、在運(yùn)動(dòng)中身體的移動(dòng)等，它都可以正確地識(shí)別和翻譯手勢(shì)而無(wú)差錯(cuò)。
本發(fā)明的又一個(gè)目的在于，提供一種手勢(shì)識(shí)別裝置，它可以在短時(shí)間內(nèi)(甚至要識(shí)別的字?jǐn)?shù)增加)完成識(shí)別和翻譯處理。
第一方面是提供用于由用戶執(zhí)行的識(shí)別手勢(shì)的手勢(shì)識(shí)別裝置，包括至少具有用于立體地拍下用戶的兩臺(tái)攝像機(jī)的攝影裝置；用于在任意采樣間隔內(nèi)，存儲(chǔ)從攝影裝置中輸出的用戶的立體圖象數(shù)據(jù)的圖象存儲(chǔ)裝置；特征圖象提取裝置，用于從圖象存儲(chǔ)裝置依次提取立體圖象數(shù)據(jù)、從每個(gè)立體圖象數(shù)據(jù)提取顯示用戶身體特征的特征圖象并在多個(gè)信道中分解和輸出特征圖象；空間位置計(jì)算裝置，用于根據(jù)從特征圖象提取裝置輸出的特征圖象的視差計(jì)算用戶的身體部分的三維空間位置；區(qū)域劃分裝置，用于根據(jù)從特征圖象提取裝置輸出的特征圖象的視差，把圍繞用戶的空間分成與用戶的身體相關(guān)的多個(gè)區(qū)域；手勢(shì)檢測(cè)裝置，用于檢測(cè)在空間位置計(jì)算裝置計(jì)算的身體部分的三維空間位置上的與用戶的手相對(duì)應(yīng)的三維空間位置如何與對(duì)應(yīng)的區(qū)域劃分裝置劃分的區(qū)域進(jìn)行移動(dòng)；手勢(shì)字確定裝置，用于根據(jù)由手勢(shì)檢測(cè)裝置檢測(cè)的手的移動(dòng)，確定相應(yīng)的手勢(shì)字；和輸出裝置，用于以由操作者識(shí)別的形式輸出由手勢(shì)字確定裝置確定的結(jié)果。
如上所述，根據(jù)第一方面，通過(guò)拍攝用戶的照片獲得的立體圖象數(shù)據(jù)提取身體部分的特征，而且通過(guò)運(yùn)用立體圖象數(shù)據(jù)的視差檢測(cè)手勢(shì)的三維移動(dòng)，并根據(jù)檢測(cè)結(jié)果識(shí)別手勢(shì)字。這允許識(shí)別手勢(shì)在不需要用戶備有任何工具和不需要接觸的情況下被識(shí)別。裝置還把圍繞用戶的空間分成與用戶身體相對(duì)應(yīng)的多個(gè)區(qū)域，并檢測(cè)用戶的手的三維空間位置相對(duì)于劃分區(qū)域如何移動(dòng)。因此，它可以經(jīng)常根據(jù)用戶的身體適當(dāng)?shù)剡M(jìn)行識(shí)別，而與用戶的身體大小及用戶的身體移動(dòng)無(wú)關(guān)，這大大提高了識(shí)別的精確度。
根據(jù)第二方面，在第一方面中，特征圖象提取裝置根據(jù)形成立體圖象數(shù)據(jù)的各個(gè)畫(huà)面元素的顏色信息，在相應(yīng)信道中輸出特征圖象。
根據(jù)第三方面，在第二方面中，特征圖象提取裝置根據(jù)被提取的顏色和由操作者指定的沒(méi)有被輸出的顏色，對(duì)于每個(gè)信道設(shè)定顏色變換表，根據(jù)顏色變化表，變化形成立體圖象數(shù)據(jù)的各個(gè)畫(huà)面元素的顏色信息；和把根據(jù)顏色變化表變換的值與預(yù)定閾值區(qū)別開(kāi)來(lái)，在相應(yīng)信道中輸出特征圖象。
根據(jù)第四方面，在第一方面中，區(qū)域劃分裝置根據(jù)空間位置計(jì)算裝置計(jì)算的身體部分的三維空間位置估計(jì)沒(méi)有出現(xiàn)在特征圖象中的身體部分的位置，并根據(jù)估計(jì)位置把圍繞用戶的空間分成更小的區(qū)域。
如上所述，根據(jù)第四方面，估計(jì)沒(méi)有出現(xiàn)的特征圖象中的身體部分的位置，而且根據(jù)估計(jì)位置把圍繞用戶的空間分成更小區(qū)域，這能使識(shí)別更精確。
根據(jù)第五方面，在第一方面中，區(qū)域劃分裝置計(jì)算在時(shí)間上鄰近的特征圖象之間的差值，并只有當(dāng)差值等于或大于預(yù)定閾值時(shí)，才執(zhí)行劃分區(qū)域的處理。
如上所述，根據(jù)第五方面，只有當(dāng)在時(shí)間上鄰近的特征圖象之間的差值達(dá)到或超過(guò)預(yù)定閾值時(shí)，裝置才劃分區(qū)域，它減輕了區(qū)域劃分的計(jì)算負(fù)擔(dān)。
根據(jù)第六方面，在第一方面中，區(qū)域劃分裝置把在用戶身體前和后延伸的空間分成多個(gè)層，還把每個(gè)層分成多個(gè)區(qū)域。
根據(jù)第七方面，在第六方面中，區(qū)域劃分裝置把層分成不同數(shù)量的層。
根據(jù)第八方面，在第七方面中，區(qū)域劃分裝置把層分成當(dāng)它向前時(shí)數(shù)量遞減的區(qū)域，從用戶的身體角度看，從最后層到前層。
根據(jù)第九方面，在第一方面中，預(yù)先把作為識(shí)別對(duì)象的多個(gè)手勢(shì)字分成多個(gè)種類，而且手勢(shì)字確定裝置包括種類字典，其中對(duì)于每個(gè)種類，預(yù)先記錄屬于各個(gè)種類的手勢(shì)字共有的移動(dòng)特征，字典，其中對(duì)過(guò)每個(gè)種類，存儲(chǔ)各個(gè)手勢(shì)字的移動(dòng)的更加詳細(xì)的特征，種類檢測(cè)裝置，用于檢測(cè)由手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)屬于種類字典之外的哪個(gè)種類，和字識(shí)別裝置，用于識(shí)別由手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)與屬于由種類檢測(cè)裝置檢測(cè)到的種類的哪個(gè)手勢(shì)字相對(duì)應(yīng)。
如上所述，根據(jù)第九方面，與計(jì)算對(duì)于每個(gè)單字的類似程度的傳統(tǒng)方法，分層檢查手勢(shì)字允許在短時(shí)間內(nèi)完成識(shí)別。
根據(jù)第十方面，在第九方面中，字識(shí)別裝置輸出屬于由種類檢測(cè)裝置檢測(cè)到的種類的手勢(shì)字中，相對(duì)于由手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)具有最高類似程度的一個(gè)手勢(shì)字，作為識(shí)別結(jié)果。
根據(jù)第十一方面，在第九方面中，字識(shí)別裝置輸出屬于由種類檢測(cè)裝置檢測(cè)到的種類的手勢(shì)字中，相對(duì)于由手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)具有等于或高于給定閾值的一個(gè)或多個(gè)手勢(shì)字，作為識(shí)別結(jié)果。
根據(jù)第十二方面，在第一方面中，手勢(shì)識(shí)別裝置還包括用于通知用戶何時(shí)開(kāi)始手勢(shì)的手勢(shì)開(kāi)始通知裝置。
如上所述，根據(jù)第十二方面，可以通知用戶何時(shí)開(kāi)始手勢(shì)，從而用戶可以進(jìn)行操作而無(wú)需焦慮。
根據(jù)第十三方面，在第一方面中，手勢(shì)檢測(cè)裝置從顯示移動(dòng)的起始點(diǎn)和結(jié)束點(diǎn)之間檢測(cè)到的三維空間位置的采樣點(diǎn)中，提取移動(dòng)方向大幅變化的采樣點(diǎn)作為控制點(diǎn)，并通過(guò)運(yùn)用起始點(diǎn)、結(jié)束點(diǎn)和控制點(diǎn)表示用戶的手移動(dòng)。
如上所述，根據(jù)第十三方面，裝置從存在于移動(dòng)的起始點(diǎn)和結(jié)束點(diǎn)之間的多個(gè)采樣點(diǎn)中提取移動(dòng)大幅變化的采樣點(diǎn)作為控制點(diǎn)，并通過(guò)運(yùn)用這些起始點(diǎn)、結(jié)束點(diǎn)和控制點(diǎn)表示用戶的手的移動(dòng)。因此，與通過(guò)運(yùn)用所有采樣點(diǎn)表示用戶的手移動(dòng)的方法相比，可以更加簡(jiǎn)單地表示用戶的手移動(dòng)，作為結(jié)果，可以更快地確定手勢(shì)字。
根據(jù)第十四方面，在第十三方面中，手勢(shì)檢測(cè)裝置檢測(cè)，在起始點(diǎn)和結(jié)束點(diǎn)之間的采樣點(diǎn)，它具有到連接起始點(diǎn)和結(jié)束點(diǎn)的等于或大于預(yù)定閾值的直線最大距離，在起始點(diǎn)和鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到連接起始點(diǎn)和鄰近控制點(diǎn)的等于或大于預(yù)定閾值的直線最大距離，在結(jié)束點(diǎn)和鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到連接結(jié)束點(diǎn)和鄰近控制點(diǎn)的等于或大于預(yù)定閾值的直線最大距離，在兩個(gè)鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到鄰近這兩個(gè)控制點(diǎn)的等于或大于預(yù)定閾值的直線最大距離，和把這些檢測(cè)采樣點(diǎn)定義為控制點(diǎn)。
如上所述，根據(jù)第十四方面，由于用預(yù)定閥值來(lái)提取控制點(diǎn)，可以通過(guò)改變閥值來(lái)自由地改變顯示移動(dòng)的精確性。
根據(jù)第十五方面，在第十四方面中，手勢(shì)檢測(cè)裝置通過(guò)運(yùn)用多個(gè)閾值分層檢測(cè)控制點(diǎn)，以分層表示用戶的手移動(dòng)，和手勢(shì)字確定裝置根據(jù)由手勢(shì)檢測(cè)裝置分層表示的用戶的手移動(dòng)，分層指定相應(yīng)的手勢(shì)字。
如上所述，根據(jù)第十五方面，與對(duì)所有字計(jì)算類似程度的傳統(tǒng)方法相比，分層確定手勢(shì)字能在短時(shí)間內(nèi)完成識(shí)別。
結(jié)合附圖，從對(duì)本發(fā)明的以下詳細(xì)描述中，可以更加清楚地看到本發(fā)明的這些和其它目的、特征、方面和優(yōu)點(diǎn)。


圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的手語(yǔ)識(shí)別裝置的結(jié)構(gòu)的方框圖。
圖2是示出圖1的手語(yǔ)識(shí)別裝置第一半操作的流程圖。
圖3是示出圖1的手語(yǔ)識(shí)別裝置后一半操作的流程圖。
圖4示出存儲(chǔ)在圖1中的圖象存儲(chǔ)裝置2中的圖象幀的例子的框圖。
圖5示出存儲(chǔ)在圖1的顏色變換表生成裝置中的具有代表性的圖象的例子的框圖。
圖6示出包括在圖1的顏色變換表生成裝置13中的顏色變換表的框圖。
圖7a至7c示出在相應(yīng)信道中從圖1的特征圖象提取裝置3輸出的特征圖象的例子的框圖。
圖8示出用于解釋計(jì)算斑點(diǎn)的重心(the center of gravity position of a blob)的方法的框圖。
圖9示出三維空間位置表的結(jié)構(gòu)框圖，其中記錄由圖1的空間位置計(jì)算裝置4計(jì)算的斑點(diǎn)的三維空間位置。
圖10示出從在第三信道中輸出的特征圖象提取的身體的輪廓形狀的框圖。
圖11示出顯示對(duì)于圖10的輪廓形狀所定義的身體特征的代表線的框圖。
圖12示出由如圖11所示的代表線劃分的空間區(qū)域的框圖。
圖13示出由圖1的區(qū)域劃分裝置限定的空間區(qū)域代碼的框圖。
圖14以外觀上示出在三維空間中第一至第三維之間的位置關(guān)系的框圖。
圖15示出在第一至第三維中空間區(qū)域代碼定義的另一個(gè)例子的框圖。
圖16示出區(qū)域躍遷表的框圖，它包含與當(dāng)用戶進(jìn)行與“明信片”相對(duì)應(yīng)的手語(yǔ)手勢(shì)時(shí)所產(chǎn)生的手跡相對(duì)應(yīng)的斑點(diǎn)的空間區(qū)域代碼在時(shí)間上的變化。
圖17a和17b示出手形的例子的框圖。
圖18是示出在本發(fā)明的第一實(shí)施例中檢測(cè)移動(dòng)代碼的操作流程圖。
圖19a至19c是示出用于描述在本發(fā)明的第一實(shí)施例中的控制點(diǎn)檢測(cè)操作的手跡的例子的框圖。
圖20是示出從采樣點(diǎn)到直線的距離的示意圖。
圖21示出當(dāng)指定移動(dòng)代碼時(shí)參考的移動(dòng)代碼表的框圖。
圖22a至22c示出屬于第一類的手語(yǔ)手勢(shì)的例子的框圖。
圖23示出記錄在圖1的字典11中屬于第一類的手語(yǔ)特征信息的例子的框圖。
圖24示出對(duì)空間區(qū)域代碼的相似程度的框圖，其中空間區(qū)代碼在三維上接近于記錄在字典11中的“手勢(shì)開(kāi)始位置代碼”和“手勢(shì)結(jié)束位置代碼”。
圖25示出用于對(duì)于參考記錄在字典11中的移動(dòng)代碼存儲(chǔ)附近代碼列表的移動(dòng)附近代碼表的部分的框圖。
圖26從外觀上示出對(duì)于向下指的參考移動(dòng)代碼(由實(shí)線表示)的四個(gè)附近代碼(由虛線表示)的框圖。
圖27是示出根據(jù)本發(fā)明的第二實(shí)施例的手語(yǔ)識(shí)別裝置的結(jié)構(gòu)的方框圖。
圖28是在本發(fā)明的第二實(shí)施例中，在手勢(shì)檢測(cè)裝置中執(zhí)行的檢測(cè)移動(dòng)代碼的操作過(guò)程流程圖。
圖29a和29b示出移動(dòng)手跡的例子的框圖，其中用手跡來(lái)描述通過(guò)運(yùn)用在本發(fā)明的第二實(shí)施例中的低分辨閾值THC1來(lái)檢測(cè)控制點(diǎn)所進(jìn)行的操作。
圖30a至30c示出移動(dòng)手跡的例子的框圖，其中用手跡來(lái)描述通過(guò)運(yùn)用在本發(fā)明的第二實(shí)施例中的高分辨閾值THC2來(lái)檢測(cè)控制點(diǎn)所進(jìn)行的操作。
圖31是用于描述通過(guò)運(yùn)用在本發(fā)明的第二實(shí)施例中的分層檢測(cè)移動(dòng)代碼來(lái)執(zhí)行的分層字識(shí)別操作的框圖。
圖32是示出根據(jù)本發(fā)明的第三實(shí)施例的手勢(shì)識(shí)別裝置的結(jié)構(gòu)的方框圖。
圖33是示出運(yùn)用計(jì)算機(jī)設(shè)備通過(guò)軟件控制來(lái)實(shí)現(xiàn)的根據(jù)本發(fā)明的第三實(shí)施例的手勢(shì)識(shí)別裝置的結(jié)構(gòu)的方框圖。
(第一實(shí)施例)圖1是根據(jù)本發(fā)明的第一實(shí)施例的手語(yǔ)識(shí)別裝置的結(jié)構(gòu)的方框圖。在圖1中，本實(shí)施例的手語(yǔ)識(shí)別裝置包括攝影設(shè)備1、圖象存儲(chǔ)裝置2、特征圖象提取裝置3、空間位置計(jì)算裝置4、區(qū)域劃分裝置5、手勢(shì)檢測(cè)裝置6、種類檢測(cè)裝置8、字識(shí)別裝置9、種類字典10、字典11、輸出裝置12和顏色變換表生成裝置13。
攝影設(shè)備1包括多個(gè)電視攝像機(jī)，它拍下用戶移動(dòng)的立體照片。圖象存儲(chǔ)裝置2存儲(chǔ)從攝影設(shè)備1輸出的立體圖象數(shù)據(jù)的多個(gè)幀。顏色變換表生成裝置13根據(jù)操作者從存儲(chǔ)在圖象存儲(chǔ)裝置2中的立體圖象數(shù)據(jù)的多個(gè)幀中選出的代表圖象上指定的畫(huà)面元素的顏色，生成三色變換表，它們分別與第一至第三信道相對(duì)應(yīng)。特征圖象提取裝置3從圖象存儲(chǔ)裝置2順序讀取立體圖象數(shù)據(jù)，并根據(jù)由顏色變換表生成裝置13生成的顏色變化表，變換在讀取的立體圖象數(shù)據(jù)中的畫(huà)面元素的顏色數(shù)據(jù)，以提取顯示在第一至第三信道中分解和輸出的顯示用戶的身體特征的立體特征圖象。
空間位置計(jì)算裝置4通過(guò)運(yùn)用在各個(gè)信道中從特征圖象提取裝置4輸出的立體圖象的視差，計(jì)算包括在各個(gè)信道中的斑點(diǎn)的三維空間位置(被看作一塊圖象的每個(gè)圖象)。區(qū)域劃分裝置5根據(jù)從特征圖象提取裝置3輸出的立體特征圖象和在空間位置接收裝置4中計(jì)算的斑點(diǎn)的三維空間位置，劃分包圍身體的三維空間，而且生成用于限定被劃分區(qū)域的空間區(qū)域代碼。手勢(shì)識(shí)別裝置6根據(jù)從特征圖象提取裝置4輸出的立體圖象、空間位置計(jì)算裝置4中計(jì)算的斑點(diǎn)的三維空間位置和由區(qū)域劃分裝置5產(chǎn)生的空間區(qū)域代碼，檢測(cè)與手相對(duì)應(yīng)的斑點(diǎn)如何移到與由區(qū)域劃分裝置5生成的空間區(qū)域代碼相關(guān)的空間中。
種類字典10包含被分成多個(gè)種類的手語(yǔ)手勢(shì)(每組包括類似的手語(yǔ)手勢(shì))。種類檢測(cè)裝置8檢測(cè)由手勢(shì)檢測(cè)裝置6檢測(cè)的手語(yǔ)手勢(shì)的特征屬于包括在種類字典10中的哪一類。字典11包括屬于單個(gè)種類的手語(yǔ)字的手勢(shì)特征。字識(shí)別裝置9檢測(cè)由手勢(shì)檢測(cè)裝置6檢測(cè)的手語(yǔ)手勢(shì)的特征與屬于由種類檢測(cè)裝置8檢測(cè)的種類的哪個(gè)手語(yǔ)字相對(duì)應(yīng)。輸出裝置12以圖象、字母、語(yǔ)音等的形式輸出由字識(shí)別裝置9檢測(cè)的結(jié)果。
圖2和3是示出如圖1所示的實(shí)施例的操作過(guò)程的流程圖。參照?qǐng)D2和3，描述本實(shí)施例的操作過(guò)程。
首先，攝影設(shè)備1開(kāi)始拍照(步驟S1)。在這個(gè)操作過(guò)程中，包括在攝影設(shè)備1中的左右兩側(cè)的兩個(gè)電視攝像機(jī)感覺(jué)不同角度下的用戶身體的上半部分。以適當(dāng)?shù)牟蓸又芷?，把從攝影設(shè)備1輸出的立體圖象數(shù)據(jù)存儲(chǔ)在圖象存儲(chǔ)設(shè)備2中。在標(biāo)準(zhǔn)情況下，根據(jù)NTSC標(biāo)準(zhǔn)，圖象存儲(chǔ)裝置2在1/30秒采樣間隔內(nèi)存儲(chǔ)立體圖象數(shù)據(jù)。然而，可以通過(guò)改變采用周期，在另一個(gè)采樣間隔內(nèi)(例如，1/10秒或者1/5秒)存儲(chǔ)立體圖象數(shù)據(jù)。如圖4所示，以時(shí)序方式，給存儲(chǔ)在圖象存儲(chǔ)裝置2中的立體圖象數(shù)據(jù)的各個(gè)幀按順序編號(hào)(編成IMG1、IMG2…)。
接著，顏色變換表生成裝置13確定是否設(shè)定(步驟S2)設(shè)在其中的表設(shè)置標(biāo)志(未圖示)。如下所述，當(dāng)設(shè)定顏色變化表時(shí)，設(shè)定該設(shè)定標(biāo)志(見(jiàn)步驟S11)。首先，不設(shè)定顏色變化表，從而表設(shè)置標(biāo)志處于重設(shè)定狀態(tài)，因此進(jìn)程進(jìn)到步驟S3。在步驟S3中，如圖5所示，操作者從存儲(chǔ)在圖象存儲(chǔ)裝置2中的立體圖象數(shù)據(jù)的多個(gè)幀中選擇圖象數(shù)據(jù)的任一幀作為用于特征提取的代表圖象。雖然從攝影設(shè)備1輸出的圖象數(shù)據(jù)存儲(chǔ)在圖象存儲(chǔ)裝置2中，但還在顯示裝置(未圖示)中顯示它。操作者在適當(dāng)時(shí)候給顏色編號(hào)表生成裝置13選擇命令，同時(shí)查看在顯示裝置中的顯示內(nèi)容以指定代表圖象。然后，顏色變化表生成裝置13從圖象存儲(chǔ)裝置2中讀取操作者所迭的代表圖象的圖象數(shù)據(jù)。接著，顏色變化表生成裝置13執(zhí)行設(shè)定顏色變化表的處理(步驟S4至S11)。下面詳細(xì)描述在步驟S4至S11中所進(jìn)行的處理過(guò)程。
顏色變化表生成裝置13包含用于三個(gè)信道的顏色變化表131(如圖6所示)，在這些顏色變化表131中的設(shè)定的是與在RGB顏色空間中的所有顏色位置相對(duì)應(yīng)的變換值。由于在這個(gè)實(shí)施例中，由8比特(0至255)表示每個(gè)R、G、B，所以顏色變化表131可能具有與16777216(=256×256×256)種顏色相對(duì)應(yīng)的變換值。然而，因?yàn)檫@個(gè)結(jié)構(gòu)需要大量數(shù)據(jù)時(shí)，所以實(shí)際上，把RGB顏色空間粗略地分成網(wǎng)孔。變換值分配給獨(dú)立的網(wǎng)孔。變換值包括0至255。即，無(wú)論賦予RGB何值作為輸入信號(hào)，顏色變化表131都把RGB值變換成0至255中的一個(gè)值。即，顏色變化表131僅把由操作者指定的特定顏色輸出到第一至第三信道中。
在下面所述的操作中，假設(shè)當(dāng)在第一信道中輸出眼睛和頭部的顏色時(shí)，顏色接近于黑色、當(dāng)在第二信道中輸出臉和手的顏色時(shí)，顏色接近于膚色、而在第三信道中輸出衣服的顏色時(shí)，顏色遍布整個(gè)身體。然而普通的電視攝像機(jī)輸出RGB信號(hào)，這里假設(shè)第一信道與R信號(hào)相對(duì)應(yīng)、第二信道與G信號(hào)相對(duì)應(yīng)，而第三信道與B信號(hào)相對(duì)應(yīng)。然而，實(shí)際上，第一信道可與G或B信號(hào)相對(duì)應(yīng)。
首先，操作者指定第一信道作為輸出信道。然后，操作者將取出的顏色指定到第一信道中(步驟S4)。在這種情況下，操作者通過(guò)運(yùn)用指示裝置(諸如，鼠標(biāo)器)指定在顯示裝置(未圖示)中顯示的代表圖象(圖5)中的頭發(fā)部分“a”和眼睛部分“b”。然后，操作者不僅可以指定一個(gè)部分，而且還可以指定多個(gè)部分。作為響應(yīng)，顏色變化表生成裝置13確定表示指定部分a和b顏色的RGB值作為從第一信道中取出的顏色，并在顏色變化表131中的相應(yīng)顏色空間區(qū)域中設(shè)定對(duì)于第一信道的最大值“255”(見(jiàn)圖6)。此時(shí)所獲得的顏色信息可以是HSI系統(tǒng)、YUV、YIQ中的任一個(gè)。接著，操作者指定不把顏色輸出到第一信道中(步驟S5)。在這種情況下，操作者通過(guò)運(yùn)用鼠標(biāo)器等，指定在代表圖象(圖5)中的衣服部分“c”和“e”以及臉部部分“d”。此時(shí)，操作者可以指定多個(gè)部分。作為響應(yīng)，顏色變化表生成裝置13確定表示指定部分c、d和e的顏色的RGB值是不在第一信道中輸出的顏色，并在第一信道顏色變化表131中的相應(yīng)顏色空間區(qū)域中設(shè)定最小值“0”。接著，顏色變化表生成裝置13確定此時(shí)指定的輸出信號(hào)是第一信道(步驟S6)，并在步驟S4中指定的顏色和在步驟S5中指定的顏色之間執(zhí)行給定的插入操作計(jì)算沒(méi)有在步驟S4和S5中指定的顏色的變換值，并在第一信道顏色變化表131中的相應(yīng)顏色空間區(qū)域中設(shè)定經(jīng)計(jì)算的變換值(步驟S7)。
這里，例如，上述在步驟S7中執(zhí)行的給定的插入操作可以是在“通過(guò)運(yùn)用顏色空間變換校正顏色的方法”(Jun Ikeda等人，圖象信息和電視工程師協(xié)會(huì)，1995年年會(huì)，n頁(yè))中所述的顏色空間變換操作?，F(xiàn)在描述這種變換操作。
現(xiàn)在，假設(shè)i=1、2、…、n，由下式表示在RGB坐標(biāo)系統(tǒng)中校正顏色之前的特定顏色Si=(ri,gi,bi)至于在第一信道中提取的顏色，在校正之后的顏色取為Si0’=(255,0,0)至于不在第一信道中提取的顏色，在校正之后顏色取為Si1’=(0,0,0)然后，當(dāng)校正量取為Mi時(shí)，下列等式(1)有效Mi=Si’-Si=S’(Si)-Si
=M(Si)…(1)將等式(1)作為邊界條件，通過(guò)離特定點(diǎn)Si的距離解出下列功能等式(2)，來(lái)確定對(duì)于任一顏色S=(r,g,b)的校正S’=(a,0,0)[a=0至255]后的顏色。
M(s)=f(｜S-Si｜,…｜S-Sn｜)…(2)可以通過(guò)多種方法解出等式(2)。例如，在任一顏色和所提取的顏色之間的最小距離取為Si0=min(｜Si0’-S｜)而在任一顏色和不被提取的顏色之間的最小距離取為Si1=min(｜Si1’-S｜)然后，可以獲得由下列等式(3)所示的校正S’=(A,0,0)之后的顏色。注意，A=0至255。
A=(255×Si)/(Si0-Si1)…(3)雖然，上述等式(3)通過(guò)線性插入解出等式(2)，也可以用非線性插入來(lái)解出等式(2)。
接著，操作者指定第二信道作為輸出信道，并指定取出顏色，而且不在第二信道中輸出(步驟S4和S5)。在這種情況下，操作者用鼠標(biāo)器等指定在所選代表圖象(圖5)中的臉部部分“d”是在第二信道中取出的顏色。操作者還用鼠標(biāo)器等指定臉部以外的其它部位作為不在第二信道中輸出的顏色。作為響應(yīng)，顏色變化表生成裝置13在第二信道顏色變化表131(見(jiàn)圖6)中的相應(yīng)顏色空間區(qū)域中設(shè)置最大值“255”和最小值“0”。接著，顏色變化表生成裝置13確定在此時(shí)指定的輸出信道是第二信道(步驟S8)，并在步驟S4中指定的顏色和在步驟S5中指定的顏色之間進(jìn)行給定的插入操作，以計(jì)算不在步驟S4和S5中指定的顏色的變換值，并在第二信道顏色變化表131中的相應(yīng)顏色空間區(qū)域中，設(shè)定計(jì)算所得的相應(yīng)變換值(步驟S9)。
接著，操作者指定第三信道作為輸出信道，并指定要取出且不在第三信道中輸出的顏色(步驟S4和S5)。在這種情況下，操作者運(yùn)用鼠標(biāo)器等指定在代表圖象(圖5)中的衣服中的部分“c”和“e”作為在第三信道中取出的顏色。操作者通過(guò)運(yùn)用鼠標(biāo)器等，還指定除了衣服之外的其它部分(例如，背景部分)作為不在第三信道中輸出的顏色。作為響應(yīng)，顏色變化表生成裝置13在第三信道顏色變化表131(見(jiàn)圖6)中的相應(yīng)顏色空間區(qū)域中，設(shè)定最大值“255”和最小值“0”。接著，顏色變化表生成裝置13確定此時(shí)指定的輸出信道是第三信道(步驟S8)，并在步驟S4中指定的顏色和在步驟S5中指定的顏色之間執(zhí)行給定的插入操作，以計(jì)算不在步驟S4和S5中指定的顏色的變換值，并在第三信道顏色變化表131中的相應(yīng)顏色空間區(qū)域中設(shè)定計(jì)算值(步驟S10)。
最后，顏色變化表生成裝置13設(shè)定表設(shè)置標(biāo)志(步驟S11)，并結(jié)束設(shè)定顏色變換表131的處理過(guò)程。
接著，特征圖象提取裝置3通過(guò)運(yùn)用由顏色變化表生成裝置13生成三張顏色變化表131，變換包括在從圖象存儲(chǔ)裝置2中讀取的立體圖象數(shù)據(jù)中的畫(huà)面元素。然后，特征圖象提取裝置3只輸出等于或大于預(yù)定閾值的變換值的元素。于是，以在第一至第三信道中分解的形式，輸出當(dāng)前用戶的身體特征的立體特征圖象(見(jiàn)圖7a至7c)(步驟S12)。圖7a示出在第一信道中輸出的特征圖象，它包括與頭發(fā)相對(duì)應(yīng)的斑點(diǎn)71、與眉毛相對(duì)應(yīng)的斑點(diǎn)72和73和與眼睛相對(duì)應(yīng)的斑點(diǎn)74和75，作為斑點(diǎn)(被看作一塊圖象的圖象)。圖7b示出在第二信道中輸出的特征圖象，它包括與臉部相對(duì)應(yīng)的斑點(diǎn)76和與手相對(duì)應(yīng)的斑點(diǎn)77和78。圖7c示出在第三信道中輸出的特征圖象，它包括與身體的所有區(qū)域相對(duì)應(yīng)的斑點(diǎn)79。
接著，空間位置計(jì)算裝置4獲得包括在如圖7(a)、(b)、(c)所示的第一至第三信道中的在特征圖象中的斑點(diǎn)的重力位置的圖象上(on-image)中心(步驟13)。參考圖8，描述用于獲得與右手相對(duì)應(yīng)的斑點(diǎn)的重力位置的中心的方法。首先，獲得在目的斑點(diǎn)的周圍矩分別取(Xst,Yst),(Xend,Yend)為周圍矩形的對(duì)角線頂點(diǎn)α和β形的坐標(biāo)。坐標(biāo)的原點(diǎn)取為如圖7a至7c所示的圖象的左上角?，F(xiàn)在，當(dāng)在圖8中的圖象上的斑點(diǎn)的重力G的中心坐標(biāo)為(Xq,Yq)，然后分別由下式(4)和(5)獲得Xq和Yq:
Xg=(Xst+Yend)/2…………(4)Yg=(Yst+Yend)/2…………(5)用相同的方法獲得其他斑點(diǎn)的重力位置的中心。
接著，空間位置計(jì)算裝置4計(jì)算在第一至第三信道中的各個(gè)斑點(diǎn)的三維空間位置(步驟14)?，F(xiàn)在，在右左兩側(cè)的一對(duì)相應(yīng)斑點(diǎn)中，把由在攝影設(shè)備1中的右攝像機(jī)感覺(jué)的斑點(diǎn)的重力位置的中心取為GR=(XgR,YgR)，而把由左攝像機(jī)感覺(jué)的斑點(diǎn)重力位置的中心取為GL=(XgL,YgL)，然后，空間位置計(jì)算裝置4通過(guò)運(yùn)用下列等式(6)至(8)，計(jì)算該斑點(diǎn)的三維空間位置(Xw,Yw,Zw):
Xw={XgL+XgR)/2}x{d/(XgL-XgR)}………(6)Yw={d/(XgL-XgR)}xYgL…………(7)Zw=fx{d/(XgL-XgR)}………(8)在等式(6)至(8)中“d”表示在右左攝像機(jī)之間的位置，而“f”表示焦距。如從等式(6)至(8)可見(jiàn)，空間位置計(jì)算裝置4通過(guò)利用從特征圖象提取裝置3輸出的特征圖象的視差，計(jì)算斑點(diǎn)的三維空間位置?？臻g位置計(jì)算裝置4把在步驟S14中計(jì)算的斑點(diǎn)的三維空間位置記錄在如圖9所示的三維空間位置表中。
雖然是在假設(shè)水平放置右左攝像機(jī)的情況下，描述計(jì)算方法，但是可以把右左攝像機(jī)放置在任一位置上。根據(jù)在右左攝像機(jī)之間的位置關(guān)系，可以更改等式(6)至(8)。
接著，區(qū)域劃分裝置5從如圖7c所示的第三信道的特征圖象中提取如圖10所示的身體輪廓。接著，區(qū)域劃分裝置5根據(jù)所提取的輪廓檢測(cè)表示身體特征的代表線(步驟S16)。在圖11中，線HUL是與X軸平行的線并接觸到人的輪廓的最上端，它表示身體的頭頂。線FRL和線FLL是與Y軸平行的線并接觸到身體輪廓的上部分(上部1/3處)的右左兩端，它們表示臉部的右、左端。把線FRL的垂直延伸部分與輪廓相交的點(diǎn)取為frlp(Xf,Yf)。把當(dāng)從左端開(kāi)始搜索圖象所找到的第一交叉點(diǎn)取為tempp(Xt,Yt)。從點(diǎn)frlp到點(diǎn)tempp搜索輪廓時(shí)找到的具有最大曲率的點(diǎn)是點(diǎn)shp，它表示右肩。線SUL與X軸平行，而且通過(guò)點(diǎn)shp。線SHRL與Y軸平行，并通過(guò)點(diǎn)shp。線MCL與Y軸平行，并位于線FRL和線FLL之間的中點(diǎn)，它表示身體的中心軸。線SHLL和線SHRL對(duì)稱于線MCL。線ERL和線MCL對(duì)稱于SHRL。線ZLL和線ERL對(duì)稱于線MCL。線NEL與X軸平行，并位于線SUL和線HUL之間的3/4位置上。線BML與X軸平行，并位于線SUL和圖象的底部之間的中點(diǎn)位置上。
接著，區(qū)域劃分裝置5獲得各個(gè)代表線的交點(diǎn)0至21(見(jiàn)圖12)，把由右攝像機(jī)和左攝像機(jī)感覺(jué)的圖象中帶有相同交點(diǎn)數(shù)的點(diǎn)認(rèn)為是相應(yīng)的右左點(diǎn)，與空間位置計(jì)算裝置4相類似，區(qū)域劃分裝置5通過(guò)利用視差計(jì)算關(guān)于交點(diǎn)0至21的三維空間位置(步驟S17)。例如，對(duì)于交點(diǎn)第0號(hào)，當(dāng)把通過(guò)右攝像機(jī)感覺(jué)的圖象上的坐標(biāo)值取為(XR0,YR0)，而把通過(guò)左攝像機(jī)感覺(jué)的圖象上的坐標(biāo)值取為(X10,Y10)時(shí)，區(qū)域劃分裝置5把那些坐標(biāo)值代入上述等式(6)至(8)，以計(jì)算它的三維空間位置。對(duì)于其他交點(diǎn)，用相同的方法計(jì)算三維空間位置。接著，區(qū)域劃分裝置5根據(jù)在步驟S17中計(jì)算所得的結(jié)果，定義用于如圖13所示第一維的空間區(qū)域代碼(0至24)。區(qū)域劃分裝置5把在人的前面的線MCL和線SHRL之間的距離的第一維空間延伸的區(qū)域定義為(25-49)，并把在更前面的區(qū)域定義為第三維空間區(qū)域代碼(50-74)。圖14從外觀上示出由區(qū)域劃分裝置5定義的第一至第三維之間的位置關(guān)系。接著，區(qū)域劃分裝置5把定義空間區(qū)域代碼和用于限定它們的交點(diǎn)的三維坐標(biāo)值存儲(chǔ)在空間區(qū)域代碼表(未圖示)中(步驟S18)。于是，可與用戶的身體部分相對(duì)應(yīng)劃分區(qū)域(臉、頸、胸、腹、臉頰等)，同時(shí)空間區(qū)域代碼表示與用戶的身體部分相對(duì)應(yīng)的部分。
更理想的是，區(qū)域劃分裝置5可以接收來(lái)自空間位置計(jì)算裝置4的與頭發(fā)和眼睛相對(duì)應(yīng)的斑點(diǎn)的三維空間位置。然后，它根據(jù)頭發(fā)和眼睛之間的位置關(guān)系，估計(jì)構(gòu)成臉的其他元素(鼻子、嘴巴、耳朵等)的位置，而且根據(jù)其他元素的估計(jì)位置，把空間區(qū)域(即，與圖13的與空間區(qū)域代碼(11)相對(duì)應(yīng)的空間區(qū)域)分成更小的部分。在這種情況下，區(qū)域劃分裝置5包括鼻子、嘴巴、耳朵等相對(duì)于頭發(fā)和眼睛的先前記錄的一般位置關(guān)系。當(dāng)輸入與頭發(fā)和眼睛相對(duì)應(yīng)的斑點(diǎn)的三維空間位置時(shí)，它根據(jù)在鼻子、嘴巴、耳朵等之間的先前記錄的位置關(guān)系，估計(jì)鼻子、嘴巴、耳朵等在三維空間中的大約位置。然后，區(qū)域劃分裝置5根據(jù)鼻子、嘴巴、耳朵等在三維空間中的估計(jì)位置，把空間分成更小區(qū)域，并定義用于限定它們的空間區(qū)域代碼。
區(qū)域劃分裝置5可以設(shè)置成以計(jì)算在某一信道(例如，第三信道)中時(shí)間上鄰近的圖象之間的差值，從而只有當(dāng)差值等于或大于閾值時(shí)，它才建立空間區(qū)域代碼(如在步驟S18中所示)。在這種情況下，由于只有當(dāng)用戶移動(dòng)幅度大的情況下才產(chǎn)生空間區(qū)域代碼，這就縮小了區(qū)域劃分裝置5的計(jì)算負(fù)荷。如圖15所示，區(qū)域劃分裝置5可以在數(shù)值更大的維中更加粗略地定義空間區(qū)域代碼，如從第一、第二至第三維，即，當(dāng)它向前移動(dòng)時(shí)，在用戶的前頭。
接著，手勢(shì)檢測(cè)裝置6從在第二信道中獲得的斑點(diǎn)中，指定具有與手相對(duì)應(yīng)尺寸的斑點(diǎn)為手，并確定記錄在圖9的三維空間位置表中的相應(yīng)斑點(diǎn)的三維空間位置屬于在步驟S18(見(jiàn)圖13)中建立的哪個(gè)空間區(qū)域代碼。(步驟S19)把此時(shí)確定的結(jié)果記錄在如圖16所示的區(qū)域躍遷表中。如圖16所示的區(qū)域躍遷表包含當(dāng)例如進(jìn)行表示“明信片”的手語(yǔ)手勢(shì)時(shí)記錄下來(lái)的數(shù)據(jù)。當(dāng)把在第二信道中的某個(gè)斑點(diǎn)的區(qū)域取為L(zhǎng)a，把用于該區(qū)域的最小閾值取為THSM，把最大閾值取為THBG時(shí)，手勢(shì)檢測(cè)裝置6確定滿足有下列等式(9)給定的條件的斑點(diǎn)是手，，并確定滿足有下列等式(10)給定的條件的斑點(diǎn)是代表其他部分的斑點(diǎn)La＞THSM和La＜THBG………(9)La＜THSM和La＞THBG………(10)從上面的等式(9)和(10)可見(jiàn)，確定如圖7b所示的斑點(diǎn)77和78是與手相對(duì)應(yīng)的斑點(diǎn)，然后，指定右手和左手。
接著，手勢(shì)檢測(cè)裝置6確定與手相對(duì)應(yīng)的斑點(diǎn)的移動(dòng)是否在預(yù)定恒定時(shí)間或者更長(zhǎng)時(shí)間內(nèi)保持靜止(步驟S20)。當(dāng)那些斑點(diǎn)的移動(dòng)是連續(xù)的，重復(fù)在步驟S12至S19中的操作。然后，以時(shí)間上連續(xù)的方法，把那些斑點(diǎn)所屬的空間區(qū)域代碼記錄在如圖16所示的區(qū)域躍遷表中。因此，通過(guò)查看區(qū)域躍遷表可以知道手是如何相對(duì)于用戶的身體移動(dòng)的。
另一方面，當(dāng)與手相對(duì)應(yīng)的斑點(diǎn)的移動(dòng)在大于預(yù)定恒定時(shí)間內(nèi)保持靜止，即，當(dāng)已結(jié)束與一個(gè)字相對(duì)應(yīng)的手語(yǔ)手勢(shì)，手勢(shì)檢測(cè)裝置6分析記錄在區(qū)域躍遷表(見(jiàn)圖16)中的空間區(qū)域代碼，并把手的移動(dòng)分解成元素，以檢測(cè)特征(步驟S21)。通過(guò)存儲(chǔ)在圖16的區(qū)域躍遷表中的空間區(qū)域代碼檢測(cè)下列特征。
右手的特征；“移動(dòng)代碼” 右→下→左“手勢(shì)開(kāi)始位置代碼” 36“手勢(shì)結(jié)束位置代碼” 38“手之間的位置關(guān)系” 線相對(duì)于身體對(duì)稱“指定的特定部分” X“手形” 第4左手的特征；“移動(dòng)代碼”左→右下→右“手勢(shì)開(kāi)始位置代碼”36“手勢(shì)結(jié)束位置代碼”13“手之間的位置關(guān)系”線相對(duì)于身體對(duì)稱“指定的特定部分” X“手形”第4這里，“指定特定部分”示出由手在一系列移動(dòng)中所表示的身體的特定部分。記號(hào)“X”示出不指定任何部分。“手形”表示接近于多個(gè)預(yù)定手形模式中的那個(gè)手形。圖17a和17b示出預(yù)定手形的例子。圖17a示出與“υ”(它是音標(biāo)發(fā)音為[hi])相對(duì)應(yīng)的第4號(hào)手形。圖17b示出與“τ”(它是音標(biāo)發(fā)音為[te])相對(duì)應(yīng)的第2號(hào)手形。
現(xiàn)在，參照如圖18所示的流程圖和如圖19a至19c所示的手的移動(dòng)軌跡，更加詳細(xì)描述在步驟S21中執(zhí)行的檢測(cè)移動(dòng)代碼的操作。
如圖19a所示把手勢(shì)的起始點(diǎn)取為ST(xs,ys,zs)，而把手勢(shì)的結(jié)束點(diǎn)取為END(xe,ye,ze)。手勢(shì)檢測(cè)裝置6首先獲得把起始點(diǎn)ST和結(jié)束點(diǎn)END連接起來(lái)的直線L1(步驟S101)。接著，手勢(shì)檢測(cè)裝置6獲得從各個(gè)采樣點(diǎn)n1至n9到直線L1的垂直線，并獲得垂直線的長(zhǎng)度d1至d9(步驟S102)。參照如圖20所示的廣義模型，通過(guò)下列等式(11)可以獲得從任一采樣點(diǎn)n到直線L的垂直線d的長(zhǎng)度。注意，由下列等式(12)給出在等式(11)中的變量“t”。d={(xe-xs)*t+xs-xn}2+{(ye-ys)*t+ys-yn}2+{(ze-zs)*t+zs-zn}2]]>…(11)t=(xe-xs)(xs-xn)+(ye-ys)(ys-yn)+(ze-zs)(zs-zn)(xe-xs)2+(ye-ys)2+(ze-zs)2---(12)]]>因此，在步驟S102中，通過(guò)運(yùn)用上述等式(11)可以獲得從各個(gè)采樣點(diǎn)n1至n9到直線L1的垂直線長(zhǎng)度。
接著，手勢(shì)檢測(cè)裝置6把具有最長(zhǎng)的垂直線的采樣點(diǎn)作為控制候選點(diǎn)(步驟S103)。在這種情況下，把具有到直線L1的最大距離d3的采樣點(diǎn)n3看作控制候選點(diǎn)。接著，手勢(shì)檢測(cè)裝置6確定最大距離d3是否不小于預(yù)定閾值THC(步驟S104)。當(dāng)最大距離d3等于或大于預(yù)定閾值THC，手勢(shì)檢測(cè)裝置6把該點(diǎn)n3定義為控制點(diǎn)(步驟S105)。在這種情況下，最大距離d3等于或大于閾值THC，因此把采樣點(diǎn)n3定義為控制點(diǎn)c1。
接著，手勢(shì)檢測(cè)裝置6檢測(cè)在起始點(diǎn)ST和結(jié)束點(diǎn)END之間的一個(gè)新的控制點(diǎn)(步驟S106)。重復(fù)執(zhí)行檢測(cè)新控制點(diǎn)的操作，直至在起始點(diǎn)ST和結(jié)束點(diǎn)END之間不再檢測(cè)到任何新的控制點(diǎn)(步驟S107)。
更具體地說(shuō)，如圖19b所示，手勢(shì)檢測(cè)裝置獲得把起始點(diǎn)ST和控制點(diǎn)c1線路相連的直線L2以及把控制點(diǎn)c1和結(jié)束點(diǎn)END相連的直線L3，然后通過(guò)運(yùn)用上面等式(11)，計(jì)算直線L2和存在于起始點(diǎn)ST和控制點(diǎn)c1之間的各個(gè)采樣點(diǎn)n1和n2之間的距離，以及直線L3和存在于控制點(diǎn)c1和結(jié)束點(diǎn)END之間的各個(gè)采樣點(diǎn)n4至n9之間的距離。在起始點(diǎn)ST和控制點(diǎn)c1之間，采樣點(diǎn)n2具有到直線L2的最大距離d2，而且把它看作是控制候選點(diǎn)。然而，由于該距離d2小于閾值THC，所以不把采樣點(diǎn)n2定義為控制點(diǎn)。因此，在起始點(diǎn)ST和控制點(diǎn)c1之間不存在任何控制點(diǎn)。在控制點(diǎn)c1和結(jié)束點(diǎn)END之間，采樣點(diǎn)n8具有到直線L3的最大距離d8，而且把它看作是控制候選點(diǎn)。由于該距離d8等于或大于閾值THC，所以把采樣點(diǎn)n8定義為控制點(diǎn)c2。
接著，如圖19c所示，手勢(shì)檢測(cè)裝置6獲得把控制點(diǎn)c1和控制點(diǎn)c2相連的直線L4，并通過(guò)運(yùn)用上述等式(11)計(jì)算存在于它們之間的直線L4和各個(gè)采樣點(diǎn)n4至n7之間的距離。此時(shí)，把具有最大距離d7的采樣點(diǎn)n7作為控制候選點(diǎn)。然而，由于距離d7短于閾值THC，所以不把采樣點(diǎn)n4定義為控制點(diǎn)。因此，在控制點(diǎn)c1和控制點(diǎn)c2之間不存在任何控制點(diǎn)。于是，如圖19c所示，手勢(shì)檢測(cè)裝置6獲得連接控制點(diǎn)c2和結(jié)束點(diǎn)END的直線L5，并通過(guò)運(yùn)用等式(11)計(jì)算存在于它們之間的在直線L5和采樣點(diǎn)n9之間的距離d9。此時(shí)，由于距離d9短于閾值THC，所以把采樣點(diǎn)n9作為控制候選點(diǎn)而非控制點(diǎn)。因此，在控制點(diǎn)c2和結(jié)束點(diǎn)END之間不存在任何控制點(diǎn)。即，在手從起始點(diǎn)ST到結(jié)束點(diǎn)END的移動(dòng)中，有兩個(gè)控制點(diǎn)c1和c2。
接著，手勢(shì)檢測(cè)裝置6通過(guò)運(yùn)用起始點(diǎn)、控制點(diǎn)和結(jié)束點(diǎn)建立移動(dòng)代碼(步驟S108)。即，在如圖19a至19c所述的手的軌跡情況下，可以把它分解成ST→c1,c1→c2,c2→END的移動(dòng)。參照如圖21所示的移動(dòng)代碼表(存儲(chǔ)在手勢(shì)檢測(cè)裝置6中),ST→c1與[1．右]相對(duì)應(yīng)、c1→c2與[4．下]相對(duì)應(yīng)、c2→END與[2．左]相對(duì)應(yīng)。因此，在這種情況下，移動(dòng)代碼是“右→下→左”。
接著，種類檢測(cè)裝置8確定在步驟S19中由手勢(shì)檢測(cè)裝置6檢測(cè)的手語(yǔ)手勢(shì)的特征屬于記錄在種類字典10中的哪一類(步驟S22)。種類是這樣的組，每個(gè)組都包含帶有類似移動(dòng)的多個(gè)手語(yǔ)手勢(shì)。把作為由該裝置識(shí)別的對(duì)象的多個(gè)手語(yǔ)手勢(shì)先分成多個(gè)種類。種類字典10包含預(yù)先記錄的各個(gè)種類中的手勢(shì)特征。在該實(shí)施例中，例如，假設(shè)種類字典10包含在種類1至7中的特征。種類1包括這樣的手勢(shì)，起先雙手靠攏，然后在右左兩側(cè)對(duì)稱移動(dòng)。種類2包括這樣的手勢(shì)，雙手獨(dú)立移動(dòng)，同時(shí)保持一定或更大的間隔。種類3包括這樣的手勢(shì)，手接觸在一起相同移動(dòng)或者手重疊相同移動(dòng)。種類4包括這樣的手勢(shì)，一只手保持靜止，而另一只手在離靜止的手的給定區(qū)域內(nèi)移動(dòng)。種類5包括這樣的手勢(shì)，一只手保持靜止，而另一只手從等于或者大于給定區(qū)域的間隔開(kāi)始移近并與靜止的手接觸。種類6包括由雙手進(jìn)行的除上述手勢(shì)之外的其它手勢(shì)。種類7包括只由一只手進(jìn)行的手勢(shì)。
當(dāng)分析記錄圖16的在區(qū)域躍遷表中的空間區(qū)域代碼的變化和三維坐標(biāo)位置時(shí)，可見(jiàn)雙手首先是接觸的，然后在右左兩側(cè)幾乎相對(duì)于與身體垂直的中心線對(duì)稱移動(dòng)，最后重新靠攏。該移動(dòng)與記錄在種類字典10中的種類1的特征一致。
字典11包括對(duì)于在各個(gè)種類中手語(yǔ)字的移動(dòng)的更詳細(xì)特征。圖22a至22c示出屬于種類1的手語(yǔ)字的例子。雖然滿足上述條件的手語(yǔ)字不僅包括如圖22a至22c所示的那些，而且還包括其它字，但是這里為了簡(jiǎn)化假設(shè)滿足類似條件(即，“明信片”、“所有”和“幾乎”)的手語(yǔ)字屬于種類1。如圖23所示，字典11包括示出用于屬于種類1的三個(gè)手語(yǔ)字的移動(dòng)的特征的信息。即，字典11記錄信息，諸如，“移動(dòng)代碼”、“手勢(shì)起始位置代碼”、“手勢(shì)結(jié)束位置代碼”、“指定特定部分”、“手之間的位置關(guān)系”、“手形”等。
字識(shí)別裝置9從字典11讀取屬于由種類檢測(cè)裝置8檢測(cè)的種類的手語(yǔ)字的移動(dòng)的特征信息(步驟S23)。接著，字識(shí)別裝置9把在步驟S21中檢測(cè)的手語(yǔ)手勢(shì)的特征與關(guān)于在步驟S23中讀取的手語(yǔ)字的特征信息相比較，以計(jì)算每個(gè)手語(yǔ)字的一致性的程度(步驟S24)。
此時(shí)，對(duì)于如圖24所示的“手勢(shì)起始位置代碼”和“手勢(shì)結(jié)束位置代碼”，如果在步驟S19中檢測(cè)到的空間位置代碼和記錄在字典11中的空間區(qū)域代碼完全一致，那么類似程度為100％。當(dāng)它們?cè)谌S上都很接近，根據(jù)接近程度給予類似程度。例如，如圖16所示，當(dāng)對(duì)于在步驟S19中檢測(cè)到的左手的手勢(shì)結(jié)束位置代碼是“13”，對(duì)于如圖23所示的“明信片”的左手的手勢(shì)結(jié)束位置代碼是“38”。在這種情況下，如圖24所示，相對(duì)于空間位置代碼“38”，空間位置代碼“13”的類似程度是89％。注意，示出如圖24所示的類似程度只作為例子，而可以對(duì)其進(jìn)行任意改變。向沒(méi)有在圖24中示出的空間位置代碼(即，與空間位置代碼“38”空間分開(kāi)的空間位置代碼)提供較低的類似程度(例如，類似程度為20％)。
對(duì)于“移動(dòng)代碼”，當(dāng)把記錄在字典11中的移動(dòng)代碼取為參考移動(dòng)代碼，把與四邊形錐體(由參考移動(dòng)代碼作為中心軸圍繞形成的)的脊(平面在四邊形錐體的側(cè)面上相交形成的線)相對(duì)應(yīng)的四個(gè)移動(dòng)代碼作為對(duì)于該參考移動(dòng)代碼的附近代碼。把給定的類似程度(例如，類似程度為90％)分配給這四個(gè)附近代碼。把較低的類似程度(例如，類似程度為20％)分配給其它移動(dòng)代碼。圖25示出存儲(chǔ)對(duì)于參考移動(dòng)代碼的附近代碼表的移動(dòng)附近代碼表的部分。圖26外觀上示出對(duì)于指向下方的參考移動(dòng)代碼(由實(shí)現(xiàn)表示)的四個(gè)附近代碼(由虛線表示)。字識(shí)別裝置9參考如圖25所示的附近代碼表以確定實(shí)際檢測(cè)到的移動(dòng)代碼是否是記錄在字典11中的參考移動(dòng)代碼的附近代碼。
當(dāng)空間區(qū)域代碼如圖16所示改變時(shí)，把由手勢(shì)檢測(cè)裝置6在步驟S18中進(jìn)行的分析結(jié)果與記錄在字典11中的手語(yǔ)字“明信片”的特征相比較，以顯示與除了“左手的手勢(shì)結(jié)束位置代碼是13”之外的與其它手語(yǔ)字“明信片”的特征相一致的所有特征，并示出左手的第二“移動(dòng)代碼”是“右下”。因此，在這種情況下的類似程度是80.1％(=89％×90％)。該類似程度高于屬于種類1的其它手語(yǔ)字“所有”和“幾乎”的類似程度。因此，字識(shí)別裝置9確定經(jīng)檢測(cè)的手語(yǔ)手勢(shì)與“明信片”相對(duì)應(yīng)(步驟S25)。當(dāng)其它手語(yǔ)字的類似程度更高時(shí)，它指定帶有最高類似程度的手語(yǔ)字為識(shí)別結(jié)果。
接著，輸出裝置12在話音、字母、圖象中或者在它們的任一組合中輸出，由字識(shí)別裝置9指定的手語(yǔ)字“明信片”(步驟S26)。這使得操作者能夠知道識(shí)別的結(jié)果。
接著，特征圖象提取裝置3確定它是否已接收到來(lái)自操作者的結(jié)束識(shí)別操作的指令(步驟S27)。沒(méi)有接收指令的情況下，它再執(zhí)行步驟S12中的操作。然后，重復(fù)在步驟S13至S26的操作。如果它接收到來(lái)自操作者的結(jié)束指令，顏色變化表生成裝置13使表設(shè)置標(biāo)志復(fù)位(步驟S28)。然后，如圖1所示的手語(yǔ)識(shí)別裝置結(jié)束操作。
雖然在上述第一實(shí)施例中的字識(shí)別裝置9輸出具有最高一致程度的手語(yǔ)字作為識(shí)別結(jié)果，也可以將它設(shè)置成輸出等于或高于預(yù)定閾值的類似程度的一個(gè)或多個(gè)手語(yǔ)字作為識(shí)別結(jié)果。
(第二實(shí)施例)雖然在上述第一較佳實(shí)施例中，唯一檢測(cè)手勢(shì)的移動(dòng)代碼，但是下面描述另一個(gè)實(shí)施例作為第二實(shí)施例，其中分層檢測(cè)移動(dòng)代碼，而且根據(jù)分層檢測(cè)的移動(dòng)代碼，分層識(shí)別手語(yǔ)字。
圖27是示出根據(jù)本發(fā)明的第二實(shí)施例的手語(yǔ)識(shí)別裝置的結(jié)構(gòu)的方框圖。除了下列方面，該實(shí)施例的結(jié)構(gòu)和操作過(guò)程與如圖1所示的第一實(shí)施例的相同，并由相同標(biāo)號(hào)表示相應(yīng)部分且在這里不再描述。
圖28是示出在第二實(shí)施例的手勢(shì)檢測(cè)裝置60中執(zhí)行的檢測(cè)移動(dòng)代碼操作的流程圖。這里，根據(jù)如圖29a和29b以及圖30a至30c所示的手跡，描述由手勢(shì)檢測(cè)裝置60執(zhí)行的移動(dòng)代碼檢測(cè)操作，作為例子。
首先，手勢(shì)檢測(cè)裝置60根據(jù)低分辨率閾值THC1檢測(cè)移動(dòng)代碼(步驟S201)。此時(shí)，手勢(shì)檢測(cè)裝置60通過(guò)運(yùn)用如圖18所示的算法，檢測(cè)移動(dòng)代碼。即，手勢(shì)檢測(cè)裝置60獲得如圖29所示的連接起始點(diǎn)ST和結(jié)束點(diǎn)END的直線L1，然后，通過(guò)運(yùn)用上述等式(11)，計(jì)算直線L1和各個(gè)采樣點(diǎn)n1至n4之間的距離d1至d4。這里，把具有到直線L1的最大距離d3的采樣點(diǎn)n3作為控制候選點(diǎn)。接著，手勢(shì)檢測(cè)裝置60比較最大距離d3和低分辨率閾值THC1。在這種情況下，由于低分辨率THC1高于最大距離d3，所以不把采樣點(diǎn)n3定義為控制點(diǎn)。因此，如圖29b所示，在運(yùn)用低分辨率閾值THC1時(shí)，不存在任何控制點(diǎn)。
接著，手勢(shì)檢測(cè)裝置60通過(guò)運(yùn)用低分辨率THC1檢測(cè)到的如圖29b所示的手跡將其表示為ST→END，并根據(jù)如圖21所示的移動(dòng)代碼表把移動(dòng)代碼定義為“下”。
接著，手勢(shì)檢測(cè)裝置60根據(jù)高分辨率THC2檢測(cè)移動(dòng)代碼(步驟S202)。此時(shí)，手勢(shì)檢測(cè)裝置60通過(guò)運(yùn)用如圖18所示的算法檢測(cè)移動(dòng)代碼。選擇的高分辨率閾值THC2的值小于低分辨率THC1的值。即，手勢(shì)檢測(cè)裝置60獲得連接起始點(diǎn)ST和結(jié)束點(diǎn)END的直線L1(如圖30a所示)，而且通過(guò)運(yùn)用等式(11)，計(jì)算在直線L1和各個(gè)采樣點(diǎn)n1至n4之間的距離d1至d4。此時(shí)，最大距離d3大于閾值THC2的距離，因此檢測(cè)采樣點(diǎn)n3作為控制點(diǎn)c1。類似地，如圖30b所示，手勢(shì)檢測(cè)裝置60在起始點(diǎn)ST和控制點(diǎn)c1之間，然后在控制點(diǎn)c1和結(jié)束點(diǎn)END之間檢測(cè)新控制點(diǎn)。這里，如圖30c所示，在起始點(diǎn)ST和控制點(diǎn)c1之間檢測(cè)新控制點(diǎn)c2。因此，當(dāng)運(yùn)用高分辨率閾值THC2時(shí)，存在兩個(gè)控制點(diǎn)c1和c2。
接著，手勢(shì)檢測(cè)裝置60把通過(guò)運(yùn)用高分辨率THC檢測(cè)到的如圖30c所示的手跡表示為ST→c2,c2→c1,c1→END，而且根據(jù)如圖21所示的移動(dòng)代碼表把移動(dòng)代碼定義為“右下→左下→右下”。
接著，種類檢測(cè)裝置80通過(guò)運(yùn)用用低分辨率閾值THC1檢測(cè)到的移動(dòng)代碼“下”選擇相應(yīng)的種類。這里，選擇在圖31中的“寫”和“刷新(refresh)”作為識(shí)別對(duì)象的候選者。
接著，字識(shí)別裝置90通過(guò)運(yùn)用用高分辨率閾值THC2檢測(cè)到的移動(dòng)代碼“右下→左下→右下”選擇相應(yīng)字。這里，選擇在圖31中的“寫”手勢(shì)字。
通過(guò)這種方法，運(yùn)用對(duì)移動(dòng)檢測(cè)具有的不同分辨率的多個(gè)閾值，可以首先縮小具有大移動(dòng)的物體，然后指定具有詳細(xì)移動(dòng)的手勢(shì)。
只要關(guān)系式THC1＞THC2保持，就可以任意選擇低分辨率閾值THC1和高分辨率閾值THC2?？梢赃\(yùn)用三個(gè)或多個(gè)閾值。
(第三實(shí)施例)圖32是示出根據(jù)本發(fā)明的第三實(shí)施例的手語(yǔ)識(shí)別裝置的結(jié)構(gòu)的方框圖。在圖32中，該實(shí)施例的手語(yǔ)識(shí)別裝置還具有在攝影設(shè)備1和圖象存儲(chǔ)裝置2之間的手勢(shì)開(kāi)始通知裝置14。在其它方面該結(jié)構(gòu)與如圖1手勢(shì)的第一實(shí)施例的相同，而且由相同標(biāo)號(hào)表示相應(yīng)部分，這里不再描述。這個(gè)所示開(kāi)始通知裝置14通常選通從攝影設(shè)備1輸出的圖象幀來(lái)禁止向圖象存儲(chǔ)裝置2提供圖象幀。當(dāng)操作者發(fā)出開(kāi)始識(shí)別操作的指令，手勢(shì)開(kāi)始通知裝置14就通過(guò)光、話音、圖象等，通知用戶何時(shí)開(kāi)始識(shí)別操作。這允許用戶適當(dāng)?shù)亻_(kāi)始手語(yǔ)手勢(shì)。響應(yīng)于來(lái)自操作者的開(kāi)始指令，手勢(shì)開(kāi)始通知裝置14向圖象存儲(chǔ)裝置2提供從攝影設(shè)備1輸出的圖象幀。然后在圖象存儲(chǔ)裝置2中積累圖象幀，并且開(kāi)始識(shí)別手語(yǔ)手勢(shì)的處理。
以功能塊方框圖的形式描述實(shí)施例。然而，如圖33所示，可由軟件控制運(yùn)用計(jì)算機(jī)裝置來(lái)實(shí)現(xiàn)實(shí)施例。在圖33中，該計(jì)算機(jī)裝置包括攝影設(shè)備1、圖象存儲(chǔ)裝置2、CPU21、RAM22、程序存儲(chǔ)裝置23、輸入裝置24和顯示裝置25。程序存儲(chǔ)裝置23包括用于實(shí)現(xiàn)如圖2和3中的流程圖所示的操作的程序數(shù)據(jù)。CPU21根據(jù)程序數(shù)據(jù)執(zhí)行如圖2和3所示的操作。RAM22存儲(chǔ)在由CPU21進(jìn)行處理期間生成的工作數(shù)據(jù)。輸入裝置24包括鍵盤、鼠標(biāo)器等，它響應(yīng)于操作者的操作，把各種指令和數(shù)據(jù)輸入到CPU21。攝影設(shè)備1和圖象存儲(chǔ)裝置2具有與如圖1所示的攝影設(shè)備1和圖象存儲(chǔ)裝置2相同的結(jié)構(gòu)。
這里，把程序數(shù)據(jù)存儲(chǔ)到程序存儲(chǔ)裝置23中的方法包括各種方法。在第一種方法中，從包含程序數(shù)據(jù)的存儲(chǔ)媒體(軟盤、CD-ROM、DVD等)中讀取程序數(shù)據(jù)，并把它存儲(chǔ)在程序存儲(chǔ)裝置23中。在第二種方法中，接收由聯(lián)機(jī)通訊轉(zhuǎn)遞的程序數(shù)據(jù)，并把它存儲(chǔ)在程序存儲(chǔ)裝置23中。在第三種方法中，在轉(zhuǎn)運(yùn)裝置之前，預(yù)先把程序數(shù)據(jù)存儲(chǔ)在程序存儲(chǔ)裝置23中。
雖然構(gòu)成上述所有實(shí)施例都設(shè)置成用于識(shí)別手語(yǔ)，本發(fā)明還可以應(yīng)用在不同的方法下，不僅能識(shí)別手語(yǔ)，而且還用于識(shí)別任何有意義的手勢(shì)。
雖然詳細(xì)描述了本發(fā)明，但是上述描述在所有方面上只用于說(shuō)明而非限制?？梢岳斫?，在不偏離本發(fā)明范圍的情況下，設(shè)計(jì)多種其它變更和變化。
權(quán)利要求
1．一種用于識(shí)別由用戶進(jìn)行的手勢(shì)的手勢(shì)識(shí)別裝置，其特征在于，包括至少具有用于拍下用戶的立體照的兩臺(tái)攝像機(jī)的攝影裝置；用于在任意采樣間隔內(nèi)，存儲(chǔ)從所述攝影裝置輸出的用戶的立體圖象數(shù)據(jù)的圖象存儲(chǔ)裝置；特征圖象提取裝置，用于從所述圖象存儲(chǔ)裝置依次提取立體圖象數(shù)據(jù)、從每個(gè)立體圖象數(shù)據(jù)提取顯示用戶身體特征的特征圖象并在多個(gè)信道中分解和輸出特征圖象；空間位置計(jì)算裝置，用于根據(jù)從所述特征圖象提取裝置輸出的特征圖象的視差檢測(cè)用戶的身體部分的三維空間位置；區(qū)域劃分裝置，用于根據(jù)從所述特征圖象提取裝置輸出的所述特征圖象的所述視差，把圍繞用戶的空間分成與用戶的身體相關(guān)的多個(gè)區(qū)域；手勢(shì)檢測(cè)裝置，用于檢測(cè)在由所述空間位置計(jì)算裝置計(jì)算的身體部分的三維空間位置上的與用戶的手相對(duì)應(yīng)的三維空間位置如何相對(duì)于由所述區(qū)域劃分裝置劃分的區(qū)域進(jìn)行移動(dòng)；手勢(shì)字確定裝置，用于根據(jù)由所述手勢(shì)檢測(cè)裝置檢測(cè)的手的移動(dòng)，確定相應(yīng)的手勢(shì)字；和輸出裝置，用于以可由操作者識(shí)別的形式輸出由所述手勢(shì)字確定裝置確定的結(jié)果。
2．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，所述特征圖象提取裝置根據(jù)形成所述立體特征數(shù)據(jù)的各個(gè)畫(huà)面元素的顏色信息，在相應(yīng)的信道中，輸出所述特征圖象。
3．如權(quán)利要求2所述的手勢(shì)識(shí)別裝置，其特征在于，所述特征圖象提取裝置根據(jù)被提取的顏色和由操作者指定的沒(méi)有被輸出的顏色，對(duì)于每個(gè)所述信道設(shè)定顏色變換表，根據(jù)所述顏色變化表，變化形成所述立體圖象數(shù)據(jù)的各個(gè)畫(huà)面元素的顏色信息；和把根據(jù)所述顏色變化表變換的值與預(yù)定閾值區(qū)別開(kāi)來(lái)，以在相應(yīng)信道中輸出所述特征圖象。
4．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，所述區(qū)域劃分裝置根據(jù)由所述空間位置計(jì)算裝置計(jì)算的身體部分的三維空間位置估計(jì)沒(méi)有出現(xiàn)在所述特征圖象中的身體部分的位置，并根據(jù)估計(jì)位置把圍繞用戶的空間分成更小的區(qū)域。
5．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，所述區(qū)域劃分裝置計(jì)算在時(shí)間上鄰近的所述特征圖象之間的差值，并只有當(dāng)差值等于或大于預(yù)定閾值時(shí)，才執(zhí)行劃分區(qū)域的處理。
6．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，所述區(qū)域劃分裝置把在用戶身體前和后延伸的空間分成多個(gè)層，還把每個(gè)層分成多個(gè)區(qū)域。
7．如權(quán)利要求6所述的手勢(shì)識(shí)別裝置，其特征在于，所述區(qū)域劃分裝置把所述層分成不同編號(hào)的區(qū)域。
8．如權(quán)利要求7所的手勢(shì)識(shí)別裝置，其特征在于，所述區(qū)域劃分裝置把層分成當(dāng)它向下時(shí)數(shù)量遞減的區(qū)域，從用戶的身體角度看，從最后層到前層。
9．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，預(yù)先把作為識(shí)別對(duì)象的多個(gè)手勢(shì)字分成多個(gè)種類，而且所述手勢(shì)字確定裝置包括種類字典，其中對(duì)于每個(gè)所述種類，預(yù)先記錄為屬于各個(gè)種類的手勢(shì)字共有的移動(dòng)特征，字典，其中對(duì)于每個(gè)所述種類，存儲(chǔ)各個(gè)手勢(shì)字的移動(dòng)的更加詳細(xì)特征，種類檢測(cè)裝置，用于檢測(cè)由所述手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)屬于所述種類字典中的哪個(gè)種類，和字識(shí)別裝置，用于識(shí)別由所述手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)與屬于由所述種類檢測(cè)裝置檢測(cè)到的種類的哪個(gè)手勢(shì)字相對(duì)應(yīng)。
10．如權(quán)利要求9所述的手勢(shì)識(shí)別裝置，其特征在于，所述字識(shí)別裝置輸出在屬于由所述種類檢測(cè)裝置檢測(cè)到的種類的手勢(shì)字中，相對(duì)于由所述手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)具有最高類似程度的一個(gè)手勢(shì)字，作為識(shí)別結(jié)果。
11．如權(quán)利要求9所述的手勢(shì)識(shí)別裝置，其特征在于，所述字識(shí)別裝置輸出在屬于由所述種類檢測(cè)裝置檢測(cè)到的種類的手勢(shì)字中，相對(duì)于由所述手勢(shì)檢測(cè)裝置檢測(cè)到的手的移動(dòng)具有等于或高于給定閾值的一個(gè)或多個(gè)手勢(shì)字，作為識(shí)別結(jié)果。
12．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，還包括用于通知用戶何時(shí)開(kāi)始手勢(shì)的手勢(shì)開(kāi)始通知裝置。
13．如權(quán)利要求1所述的手勢(shì)識(shí)別裝置，其特征在于，所述手勢(shì)檢測(cè)裝置從顯示移動(dòng)的起始點(diǎn)和結(jié)束點(diǎn)之間檢測(cè)到的三維空間位置的采樣點(diǎn)中，提取移動(dòng)方向大幅變化的采樣點(diǎn)作為控制點(diǎn)，并通過(guò)運(yùn)用起始點(diǎn)、結(jié)束點(diǎn)和控制點(diǎn)表示用戶的手移動(dòng)。
14．如權(quán)利要求13所述的手勢(shì)識(shí)別裝置，其特征在于，所述手勢(shì)檢測(cè)裝置檢測(cè)，在所述起始點(diǎn)和所述結(jié)束點(diǎn)之間的采樣點(diǎn)，它具有到連接所述起始點(diǎn)和所述結(jié)束點(diǎn)的直線的等于或大于預(yù)定閾值的最大距離，在所述起始點(diǎn)和鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到連接所述起始點(diǎn)和所述鄰近控制點(diǎn)的直線的等于或大于預(yù)定閾值的最大距離，在所述結(jié)束點(diǎn)和鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到連接所述結(jié)束點(diǎn)和所述鄰近控制點(diǎn)的直線的等于或大于預(yù)定閾值的最大距離，在兩個(gè)鄰近控制點(diǎn)之間的采樣點(diǎn)，它具有到連接這兩個(gè)控制點(diǎn)的直線的等于或大于預(yù)定閾值的最大距離，和把這些檢測(cè)采樣點(diǎn)定義為所述控制點(diǎn)。
15．如權(quán)利要求14所述的手勢(shì)識(shí)別裝置，其特征在于，所述手勢(shì)檢測(cè)裝置通過(guò)運(yùn)用多個(gè)閾值分層檢測(cè)所述控制點(diǎn)，以分層表示用戶的手移動(dòng)，和所述手勢(shì)字確定裝置根據(jù)由所述手勢(shì)檢測(cè)裝置分層表示的用戶的手移動(dòng)，分層指定相應(yīng)的手勢(shì)字。
全文摘要
提供一種手勢(shì)識(shí)別裝置。攝影設(shè)備1拍攝用戶手勢(shì)并存儲(chǔ)在圖象存儲(chǔ)裝置2。特征圖象提取裝置3根據(jù)由顏色變化表生成裝置13生成的顏色變化表變換從圖象存儲(chǔ)裝置2讀取的立體圖象數(shù)據(jù)的顏色并在信道中分解和輸出特征圖象?？臻g位置計(jì)算裝置4通過(guò)運(yùn)用從特征圖象提取裝置3輸出的特征圖象的視差計(jì)算用戶特征部分的空間位置。區(qū)域劃分裝置5用空間區(qū)域代碼定義圍繞用戶的空間。手勢(shì)檢測(cè)裝置6檢測(cè)用戶的手相對(duì)于空間區(qū)域代碼如何移動(dòng)。
文檔編號(hào)G06F3/01GK1218936SQ9812076
公開(kāi)日1999年6月9日 申請(qǐng)日期1998年9月25日 優(yōu)先權(quán)日1997年9月26日
發(fā)明者松尾英明, 高田雄二, 手嶋光隆, 豬木誠(chéng)二, 呂山, 今川和幸 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社, 郵政省通信總會(huì)研究所