專利名稱：圖像處理裝置及其方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理裝置及其方法和程序，特別地涉及其中能夠高精度地識別姿勢的圖像處理裝置及其方法和程序。
背景技術(shù)：
在相關(guān)技術(shù)中，在用戶通過移動手等做出具體的姿勢時識別該姿勢的姿勢識別是已知的。例如，在姿勢識別中，通過按時間順序排列用戶手的位置的信息來獲得手的軌跡，并且通過將該軌跡與預(yù)先記錄的手的軌跡進(jìn)行比較來確定是否已作出了姿勢。此外，已提出了如下技術(shù):將用戶的手的運(yùn)動的方向設(shè)置為觀測信號，并基于觀測信號的某些行(row)來識別姿勢(例如，參考日本未審專利申請公開N0.2007-87089)。

發(fā)明內(nèi)容
然而，在上述技術(shù)中，難以高精度地識別用戶作出的姿勢。出于該原因，作為識別目標(biāo)的姿勢必須是當(dāng)用戶在寬的范圍內(nèi)在某種程度上較大地移動手時用戶的手的軌跡能夠被可靠地識別的姿勢。這樣的大姿勢對于用戶來說是繁累的，并且使得使用姿勢識別的應(yīng)用程序等不便于使用。理想的是以高精度識別姿勢。根據(jù)本技術(shù)的實(shí)施方式，提供了一種圖像處理裝置，所述圖像處理裝置包括:差異圖像生成單元，其通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，其從差異圖像中提取特征量；以及識別單元，其基于從按時間順序排列的多個差異圖像中獲得的特征量來識別對象在所拍攝的圖像上的具體運(yùn)動。識別單元可以將用戶的手作出的姿勢識別為對象的具體運(yùn)動。圖像處理裝置還可以設(shè)置有:手檢測單元，其從所拍攝的圖像中檢測用戶的手；以及剪切區(qū)域確定單元，其基于所檢測到的用戶的手在所拍攝的圖像上的位置來確定預(yù)定區(qū)域。在相對于連續(xù)的多個幀的所拍攝的圖像，所檢測到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時，剪切區(qū)域確定單元可以基于用戶的手的位置來確定預(yù)定區(qū)域。圖像處理裝置可以設(shè)置有剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過獲得在所拍攝的圖像上的每個區(qū)域中的幀之間的差異來確定預(yù)定區(qū)域。預(yù)定區(qū)域可以是在所拍攝的圖像上預(yù)先確定的區(qū)域。圖像處理裝置還可以包括區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個預(yù)定區(qū)域的識別區(qū)域，其中，可以使差異圖像生成單元生成布置在識別區(qū)域中的每個預(yù)定區(qū)域中的差異圖像，可以使特征量提取單元從每個預(yù)定區(qū)域中的差異圖像中提取特征量，并且識別單元可以基于從在每個預(yù)定區(qū)域中的按時間順序排列的多個差異圖像中獲得的特征量來識別用戶的姿勢。圖像處理裝置還可以包括剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個預(yù)定區(qū)域的尺寸，且設(shè)置在所述識別區(qū)域中。圖像處理裝置還可以包括檢測單元，所述檢測單元從所拍攝的圖像中檢測用戶身體的部位，并且可以使區(qū)域設(shè)置單元基于所檢測到的用戶身體的部位在所拍攝的圖像上的位置來設(shè)置識別區(qū)域?？梢允辜羟袇^(qū)域確定單元基于檢測到的用戶身體的部位的尺寸來確定各個預(yù)定區(qū)域的尺寸?？梢允箼z測單元從所拍攝的圖像中檢測用戶的臉?？梢允箼z測單元從所拍攝的圖像中檢測用戶的手。圖像處理裝置還包括運(yùn)動確定單元，所述運(yùn)動確定單元基于識別區(qū)域中的運(yùn)動矢量的量值來確定在識別區(qū)域中的運(yùn)動，并且其中可以使識別單元根據(jù)運(yùn)動確定單元作出的確定結(jié)果來識別用戶的姿勢。圖像處理裝置還可以設(shè)置有顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示預(yù)定區(qū)域的位置的圖像。圖像處理裝置還可以設(shè)置有動作處理單元，當(dāng)用戶的姿勢被識別時，所述動作處理單元執(zhí)行對應(yīng)于所識別的姿勢的處理。顯示控制單元可以使顯示單元顯示所述表示預(yù)定區(qū)域的位置的圖像，并且動作處理單元可以執(zhí)行由所識別的姿勢以及多個預(yù)定區(qū)域中的其中用戶的姿勢被識別的預(yù)定區(qū)域所確定的處理。顯示控制單元可以使顯示單元顯示如下事實(shí):正在執(zhí)行姿勢識別或用戶的姿勢已被識別。特征量提取單元可以將差異圖像分成多個塊，并提取塊中的像素的平均亮度作為塊的特征量。根據(jù)本技術(shù)的另一個實(shí)施方式，提供一種圖像處理方法或程序，包括:通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從差異圖像中提取特征量；以及基于從按時間順序排列的多個差異圖像中獲得的特征量來識別對象在所拍攝的圖像上的具體運(yùn)動。根據(jù)本技術(shù)的實(shí)施方式，通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從差異圖像中提取特征量；以及基于從按時間順序排列的多個差異圖像中獲得的特征量來識別對象在所拍攝的圖像上的具體運(yùn)動。根據(jù)本技術(shù)的實(shí)施方式，能夠以較高的精度識別姿勢。


圖1是示意性地描述本技術(shù)的圖。圖2是示出了圖像處理裝置的配置示例的圖。圖3是描述姿勢識別處理的流程圖。圖4是示出了剪切區(qū)域的位置的顯示示例的圖。
圖5是示出了差異圖像的塊分割的示例的圖。圖6是示出了剪切區(qū)域的位置的顯示示例的圖。圖7是示出了另一個圖像處理裝置的配置示例的圖。圖8是描述姿勢識別處理的流程圖。圖9是示出了按鈕圖標(biāo)的顯示示例的圖。圖10是描述用于確定剪切區(qū)域的方法的示例的圖。圖11是示出了姿勢識別系統(tǒng)的配置示例的圖。圖12是示出了姿勢識別系統(tǒng)的另一種配置示例的圖。圖13是示出了圖像處理裝置的又一種配置示例的圖。圖14是描述姿勢識別處理的流程圖。圖15是示出了剪切區(qū)域的顯示示例的圖。圖16是示出了識別區(qū)域的顯示示例的圖。圖17是描述姿勢識別單元的處理的圖。圖18是描述姿勢識別單元的處理的圖。圖19是描述姿勢識別單元的處理的圖。圖20是描述姿勢識別的處理結(jié)果的顯示示例的圖。圖21是描述姿勢識別的處理結(jié)果的顯示示例的圖。圖22是描述姿勢識別的處理結(jié)果的顯示示例的圖。圖23是示出了剪切區(qū)域的顯示示例的圖。圖24是示出了剪切區(qū)域的顯示示例的圖。圖25是示出了按鈕圖標(biāo)的顯示示例的圖。圖26是示出了圖像處理裝置的又一種配置示例的圖。圖27是描述姿勢識別處理的流程圖。圖28是示出了用于設(shè)置識別區(qū)域的方法的示例的圖。圖29是示出了用于確定剪切區(qū)域的方法的示例的圖。圖30是示出了圖像處理裝置的又一種配置示例的圖。圖31是描述姿勢識別處理的流程圖。圖32是示出了用于設(shè)置識別區(qū)域的方法的示例的圖。圖33是示出了用于確定剪切區(qū)域的方法的示例的圖。圖34是示出了圖像處理裝置的又一種配置示例的圖。圖35是示出了圖像處理裝置的又一種配置示例的圖。圖36是描述姿勢識別處理的流程圖。圖37是描述運(yùn)動確定處理的流程圖。圖38是描述識別區(qū)域中的運(yùn)動矢量的圖。圖39是描述識別區(qū)域中的運(yùn)動矢量的圖。圖40是描述本技術(shù)中的系統(tǒng)的應(yīng)用示例的圖。圖41是示出了計(jì)算機(jī)的配置示例的圖。
具體實(shí)施方式
根據(jù)本發(fā)明實(shí)施方式，提供一種圖像處理裝置，包括:差異圖像生成單元，所述差異圖像生成單元通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及識別單元，所述識別單元基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。根據(jù)本發(fā)明另一實(shí)施方式，提供一種圖像處理方法，包括:通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；從所述差異圖像中提取特征量；以及基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。在下文中，將參照附圖來描述應(yīng)用本技術(shù)的實(shí)施方式。第一實(shí)施方式識別姿勢的概述首先，將描述本技術(shù)的概述。本技術(shù)是要基于連續(xù)拍攝的圖像來識別對象的具體運(yùn)動。更具體地，本技術(shù)例如是要基于所拍攝的圖像來識別預(yù)定姿勢。例如，如圖1所示，執(zhí)行姿勢識別的系統(tǒng)設(shè)置有拍攝單元11和顯示單元12等，拍攝單元11對作出姿勢的用戶Ull進(jìn)行拍攝，顯示單元12顯示所拍攝的用戶Ull的圖像。當(dāng)用戶Ull想要執(zhí)行預(yù)定處理等時，用戶朝向拍攝單元11作出指示所述處理等的姿勢。在此之后，剪切出由拍攝單元11拍攝的用戶Ull的圖像的預(yù)定區(qū)域(在下文中，也被稱為剪切區(qū)域)中的圖像，從而獲得所獲得的剪切圖像的幀之間的差異。此處，如圖左側(cè)所示在圖像上剪切區(qū)域被設(shè)為例如包括用戶Ull的手掌的區(qū)域REll等。關(guān)于在由拍攝單元11拍攝的每個幀中的圖像，當(dāng)圖像上的區(qū)域REll被剪切出時且被設(shè)為剪切圖像，并且獲得相鄰幀之間的剪切圖像的差異時，可以獲得例如在圖下側(cè)示出的差異圖像DPll-1至DPl 1-4。這些差異圖像DPll-1至DP11-4是當(dāng)用戶Ull作出從使手掌面向顯示單元12的方向的狀態(tài)放下手掌的姿勢時所獲得的圖像，并且在差異圖像上每個位置中的顏色的濃度表示差異的大小。也就是說，其表示:顏色的濃度越低，相鄰圖像之間的差異越大，圖像上的對象的運(yùn)動就越大。此外，在該示例中，差異圖像DPll-1是在最早時間獲得的差異圖像、即是從最早的幀獲得的差異圖像，并且差異圖像DPll-1至DP11-4按照較早的時間的順序設(shè)置。此夕卜，在下文中，當(dāng)沒有必要彼此區(qū)分差異圖像DPll-1至DP11-4時，圖像被簡稱為差異圖像DPl I。在圖1中的示例中，由于用戶Ull作出放下手掌的姿勢，伴隨著圖中用戶Ull的指尖位置向下移動的運(yùn)動，差異圖像DPll中的差異較大的區(qū)域也在圖中向下移動。當(dāng)以這種方式獲得差異圖像DPll時，從差異圖像DPll中提取特征量，并基于所獲得的每個時間、即差異圖像DPll的每個幀的特征量來執(zhí)行姿勢識別。此外，當(dāng)具體的姿勢被識別時，執(zhí)行根據(jù)識別結(jié)果的處理。如上所述，可以通過從差異圖像DPll中提取特征量并使用特征量而非直接使用通過對用戶進(jìn)行拍攝所獲得的圖像來魯棒地(高精度地)識別用戶的姿勢。以這種方式，可以識別甚至具有小的運(yùn)動的姿勢、如將手放下；可以使用戶作出的姿勢為小的、自然的運(yùn)動；以及可以減輕用戶的負(fù)擔(dān)。當(dāng)相對于用戶姿勢的負(fù)擔(dān)被減輕時，用戶能夠簡單地以小的姿勢如手指的運(yùn)動來操作裝置。本技術(shù)可以應(yīng)用于各種裝置，例如大屏幕標(biāo)牌(signage)、個人計(jì)算機(jī)、電視接收機(jī)等。例如，當(dāng)本技術(shù)應(yīng)用于標(biāo)牌時，如果用戶作出姿勢，可以使標(biāo)牌根據(jù)姿勢來顯示商店導(dǎo)購(store guidance)等,或顯示關(guān)于從條目中選擇的項(xiàng)的詳細(xì)信息。此外，當(dāng)本技術(shù)應(yīng)用于個人計(jì)算機(jī)時，可以使個人計(jì)算機(jī)在用戶作出姿勢時執(zhí)行各種處理，例如，通過音樂播放器再現(xiàn)一段音樂的處理等，或在圖片查看器上再現(xiàn)圖像的處理等。在這種情況下，可以例如通過設(shè)置在個人計(jì)算機(jī)中的網(wǎng)絡(luò)攝像頭等來捕獲用戶(用戶作出的姿勢)的圖像。另外，當(dāng)本技術(shù)應(yīng)用于電視接收機(jī)時，如果用戶作出姿勢，可以進(jìn)行節(jié)目的頻道選擇，或者可以選擇連接到電視接收機(jī)的連接設(shè)備如記錄器，等等。圖像處理裝置的配置示例接下來，將描述應(yīng)用本技術(shù)的詳細(xì)實(shí)施方式。圖2是示出了應(yīng)用本技術(shù)的圖像處理裝置的實(shí)施方式的配置示例的圖。此外，在圖2中，與圖1中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖2中的圖像處理裝置41包括:拍攝單元11、手形狀詞典記錄單元51、手形狀識別單元52、姿勢識別單元55、動作處理單元56、顯示控制單元57和顯示單元12。拍攝單元11由照相機(jī)等配置而成，其對作為對象的用戶進(jìn)行拍攝，并將作為結(jié)果獲得的拍攝圖像提供給手形狀識別單元52和顯示控制單元57。手形狀詞典記錄單元51記錄用于識別具體形狀的手的、通過諸如AdaBoost之類的統(tǒng)計(jì)學(xué)習(xí)獲得且預(yù)先設(shè)定的手形狀詞典，并且根據(jù)需要將手形狀詞典提供給手形狀識別單元52。例如，在學(xué)習(xí)手形狀詞典時，使用包括作為識別目標(biāo)的手的圖像的多個用于學(xué)習(xí)的圖像，并且由于該學(xué)習(xí)，獲得了作為手形狀詞典的識別器(discriminator)等。手形狀識別單元52基于由手形狀詞典記錄單元51提供的手形狀詞典從拍攝單元11提供的拍攝圖像來識別手的具體形狀，并將識別結(jié)果和拍攝圖像提供給圖像處理單元53。圖像處理單元53基于所拍攝的圖像和由手形狀識別單元52提供的識別結(jié)果來提取用于識別姿勢的特征量，將特征量提供給姿勢識別單元55，并根據(jù)需要將剪切區(qū)域的信息等提供給顯示控制單元57。此外，圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。剪切區(qū)域確定單元71基于手形狀的識別結(jié)果來確定所拍攝的圖像上的剪切區(qū)域，從所拍攝的圖像中剪切出在剪切區(qū)域中的圖像，并將其設(shè)置為剪切圖像。差異計(jì)算單元72獲得在相鄰幀中的剪切圖像的差異，并生成差異圖像。特征量提取單元73從差異圖像中提取用于姿勢識別的特征量。姿勢詞典記錄單元54記錄用于識別姿勢的姿勢詞典，并根據(jù)需要將記錄的姿勢詞典提供給姿勢識別單元55。例如，構(gòu)造HMM(隱馬爾可夫模型)的參數(shù)例如狀態(tài)轉(zhuǎn)移概率、輸出概率密度函數(shù)等被記錄為姿勢詞典。
姿勢識別單元55基于由姿勢詞典記錄單元54提供的姿勢詞典以及由圖像處理單元53提供的特征量來識別姿勢，并將識別結(jié)果提供給動作處理單元56?；谧藙葑R別單元55的識別結(jié)果，動作處理單元56使圖像處理裝置41的每個單元執(zhí)行對應(yīng)于姿勢的處理。顯示控制單元57基于由拍攝單元11提供的拍攝圖像和由圖像處理單元53提供的關(guān)于剪切區(qū)域的信息等來使顯示單元12顯示圖像。姿勢識別處理的描述接下來，將參照圖3中的流程圖來描述通過圖像處理裝置41進(jìn)行的姿勢識別處理。在步驟Sll中，拍攝單元11開始拍攝要被拍攝的圖像。也就是說，拍攝單元11拍攝在拍攝單元11周圍的用戶作為對象，并將獲得的每個幀中的拍攝圖像作為結(jié)果依次提供給手形狀識別單元52和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的拍攝圖像提供給顯示單元12，并使顯示單元顯示該圖像。由于這個原因，因?yàn)樽鳛閷ο蟊慌臄z的用戶本身顯示在顯示單元12中，所以用戶能夠在觀察顯示在顯示單元12中的自身的同時作出姿勢。此外，此處已經(jīng)描述了其中用戶本身顯示在顯示單元12上的示例，然而，不是必須在顯示單元12中顯示用戶。例如，當(dāng)用戶的手被檢測到時，還優(yōu)選的是，通過顯示光標(biāo)、或在顯示單元12中的對應(yīng)于用戶手的位置處顯示表示用戶手的位置的手圖像來使用戶了解他的手的位置。此外，當(dāng)特別地基于用戶手的位置等確定剪切區(qū)域時，用戶本身的圖像和用戶手的位置的圖像均不可在顯示單元12中顯示。在步驟S12中，手形狀識別單元52開始手形狀的識別。具體地，手形狀識別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典以及由拍攝單元11提供的拍攝圖像來從每個幀的拍攝圖像中檢測手的具體形狀，并將檢測結(jié)果和拍攝圖像提供給圖像處理單元53。例如，當(dāng)識別器被記錄為手形狀詞典時，手形狀識別單元52通過從所拍攝的圖像上的預(yù)定區(qū)域中提取特征量以及以特征量來替代識別器來從所拍攝的圖像中檢測具有具體形狀的手。通過執(zhí)行這樣的手形狀識別，可以檢測手的形狀、尺寸或位置。此外，將作為識別目標(biāo)的手形狀設(shè)置為在預(yù)定姿勢的開始時刻的手形狀，或一般的手形狀諸如紙張狀或石頭狀。此外，此處已經(jīng)例示了手形狀的識別，然而，如果能夠檢測用戶手的位置，則并不限于識別手形狀，可以是任何檢測方法。在步驟S13中，圖像處理單元53基于手形狀識別的結(jié)果來確定是否已經(jīng)從所拍攝的圖像中檢測到具有具體形狀的手。在步驟S13中，當(dāng)確定沒有檢測到手時，則處理返回步驟S13，并重復(fù)上述處理。與此相反，在步驟S14中，當(dāng)在步驟S13中確定檢測到手時，圖像處理單元53基于手形狀識別結(jié)果來執(zhí)行手的位置的跟蹤。也就是說，相對于新檢測到手的幀之后的幀來執(zhí)行檢測的手的位置的跟蹤。在步驟S15中，圖像處理單元53確定手是否在一定范圍內(nèi)。例如，在作為參考的預(yù)定幀之后的每個幀中檢測到的手的位置處于預(yù)定尺寸的范圍內(nèi)，在該預(yù)定尺寸的范圍中在預(yù)定幀中的手的位置被設(shè)置為中心，手被確定為處于一定范圍內(nèi)。
在步驟S15中，當(dāng)確定手不在一定的范圍內(nèi)時，處理返回到步驟S14，并重復(fù)上述處理。另一方面，在步驟S15中，當(dāng)確定手在一定范圍內(nèi)時，在步驟S16中，剪切區(qū)域確定單元71基于來自手形狀識別單元52的手形狀識別結(jié)果來確定剪切區(qū)域。例如，剪切區(qū)域確定單元71設(shè)置具有預(yù)定尺寸的矩形區(qū)域，在該矩形區(qū)域中，在所拍攝的圖像上被檢測到的手的重心被設(shè)置為剪切區(qū)域。由于在手形狀識別中在一定程度上可以了解手的尺寸，所以剪切區(qū)域的尺寸被設(shè)置成如下尺寸:其中包括了檢測到的手。此外，因?yàn)榧词乖谑值恼麄€區(qū)域沒有被包括在剪切區(qū)域中的情況下也能夠識別姿勢，所以剪切區(qū)域的尺寸可以不是其中必須包括手的整個區(qū)域的尺寸。此外，如果基于檢測到的手的位置來確定區(qū)域，則可以以任何方式來確定剪切區(qū)域。當(dāng)剪切區(qū)域被確定時，剪切區(qū)域確定單元71相對于由手形狀識別單元52提供的每個幀的拍攝圖像來生成在拍攝圖像上的剪切區(qū)域的圖像。因此，將在與每個幀的拍攝圖像相同的位置上的區(qū)域設(shè)置為剪切圖像。此外，更具體地，剪切區(qū)域確定單元71根據(jù)需要相對于所生成的剪切圖像執(zhí)行放大處理和縮小處理，使得剪切圖像的尺寸變?yōu)轭A(yù)定的指定尺寸。通過以這種方式使剪切圖像的尺寸變?yōu)轭A(yù)定尺寸，可以更簡單地執(zhí)行姿勢識別的處理。在下文中，使用以這種方式生成的剪切圖像來執(zhí)行姿勢識別。同時，在執(zhí)行姿勢識別的情況下，當(dāng)用戶在移動手的同時作出姿勢時，存在如下?lián)?由于在所拍攝的圖像中手的部分的背景的變化等，可能會降低姿勢識別的精確度。因此，在圖像處理裝置41中，為了只將在用戶沒有較大地移動手的狀態(tài)下作出的姿勢設(shè)置為姿勢識別目標(biāo)，確定手是否在一定范圍內(nèi)，并且確定剪切區(qū)域。在這種情況下，當(dāng)手在一定范圍內(nèi)時，通過假設(shè)手在一定程度上已停止來開始姿勢識別。此外，可以通過當(dāng)手的運(yùn)動為閾值或小于閾值時確定剪切區(qū)域來開始所述姿勢識另IJ，或者可以通過當(dāng)檢測到具有具體形狀的手時確定剪切區(qū)域來開始所述姿勢識別。當(dāng)如上所述確定剪切區(qū)域時，圖像處理單元53將表示所確定的剪切區(qū)域的位置的信息提供給顯示控制單元57。在步驟S17中，顯示控制單元57基于由圖像處理單元53提供的信息來執(zhí)行反饋:姿勢識別被執(zhí)行。例如，如圖4所示，顯示控制單元57通過使顯示單元12顯示表示剪切區(qū)域的中貞FBll來執(zhí)行關(guān)于姿勢識別被執(zhí)行的反饋。此外，在圖4中，與圖1中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且將省略其描述。在圖4的示例中，表示剪切區(qū)域的幀F(xiàn)Bll顯示在顯示單元12中顯示的拍攝圖像上的用戶Ull的手的部位處。此外，關(guān)于姿勢識別被執(zhí)行的反饋可以以任何方式執(zhí)行，而不限于幀F(xiàn)Bll的顯示。例如，可以在顯示單元12中的剪切區(qū)域的附近顯示人手標(biāo)記、箭頭圖標(biāo)等。此外，可以在手被檢測到的時間點(diǎn)，例如通過使圍繞檢測到的手的幀顯示、通過當(dāng)開始姿勢識別時使該幀閃爍等來改變顯示格式。另外，關(guān)于姿勢識別被執(zhí)行的反饋不限于圖像顯示，可以通過再現(xiàn)聲音來執(zhí)行。返回圖3中的流程圖的描述，當(dāng)執(zhí)行開始姿勢識別的反饋時，之后，處理從步驟S17行進(jìn)到步驟S18。在步驟S18中，圖像處理單元53使固定剪切區(qū)域的固定時間的計(jì)時器復(fù)位。此處，固定時間是指其中剪切區(qū)域的位置被固定的時間，并且使用從剪切區(qū)域獲得的剪切圖像來連續(xù)地執(zhí)行識別姿勢的處理。也就是說，當(dāng)沒有在固定時間中識別到姿勢時，確定新的剪切區(qū)域，并且相對于該剪切區(qū)域來執(zhí)行姿勢識別。當(dāng)計(jì)時器被復(fù)位時，圖像處理單元53連續(xù)地執(zhí)行計(jì)時器的計(jì)數(shù)，直到經(jīng)過固定時間為止。在步驟S19中，差異計(jì)算單元72獲得剪切圖像的幀之間的差異，并生成差異圖像。例如，差異圖像的預(yù)定像素的像素值設(shè)置為與該像素相同位置上的、兩個連續(xù)幀的剪切圖像上的像素的像素值的絕對差異值。在步驟S20中，特征量提取單元73從差異圖像中提取用于姿勢識別的特征量。例如，特征量提取單元73將差異圖像分成具有任意尺寸的塊，并計(jì)算塊中的像素的亮度值的平均值。此外，特征量提取單元73將具有在每個塊中獲得的亮度值的平均值作為元素的矢量設(shè)置為從差異圖像中提取的特征量。在差異圖像上，在存在運(yùn)動對象的部分處在時間方向上發(fā)生亮度的變化，并且亮度的變化不發(fā)生在不存在運(yùn)動的部分處。出于這個原因，可以通過將差異圖像上的每個區(qū)域的平均亮度設(shè)置為特征量并且將特征量按時間順序排列，來檢測移動對象的形狀或在剪切圖像中的移動對象的運(yùn)動的流，并根據(jù)特征量來識別姿勢。此處，移動對象的形狀例如為手掌或手指的形狀，而移動對象的運(yùn)動的流例如為其中由于姿勢而將手放下的圖像的變化(每個位置中的亮度的變化)。特征量提取單元73將以這種方式提取的特征量提供給姿勢識別單元55。在步驟S21中，姿勢識別單元55基于由圖像處理單元53的特征量提取單元73提供的特征量以及記錄在姿勢詞典記錄單元54中的姿勢詞典來執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。例如，姿勢識別單元55對從由預(yù)設(shè)的預(yù)定數(shù)目的幀所形成的區(qū)段(section)中的差異圖像中獲得的特征量進(jìn)行歸一化。具體地，姿勢識別單元55對按時間順序排列的特征量中的從差異圖像上的同一位置處的塊獲得的特征量進(jìn)行歸一化，使得通過將特征量除以從同一位置上的塊獲得的特征量的最大值從而將特征量變?yōu)樵?至I范圍的值。另外，姿勢識別單元55基于進(jìn)行了歸一化的時序特征量、通過使用HMM等執(zhí)行時序識別處理來識別用戶是否已經(jīng)作出具體姿勢，其中HMM由作為姿勢詞典的參數(shù)構(gòu)建而成。此外，可以以任何方式通過將從按時間順序排列的每個差異圖像中提取的特征量與通過預(yù)先學(xué)習(xí)而獲得的時序特征量等進(jìn)行比較，來執(zhí)行基于時序特征量的姿勢識別。在步驟S22中，操作處理單元56使圖像處理裝置41的每個單元執(zhí)行與由姿勢識別單元55提供的姿勢識別結(jié)果相對應(yīng)的處理。此外，當(dāng)姿勢沒有被識別時，不執(zhí)行所述處理。例如，使得在應(yīng)用程序中的與再現(xiàn)音樂有關(guān)的操作通過姿勢被執(zhí)行。在這種情況下，當(dāng)在用戶張開手的狀態(tài)下執(zhí)行揮動手的姿勢時，操作處理單元56移動選擇專輯的光標(biāo)，并使光標(biāo)從多個專輯中選擇將要作為重現(xiàn)目標(biāo)的專輯，其中由多個音樂形成的專輯作為處理單元。此外，當(dāng)用戶作出揮動食指的姿勢時，操作處理單元56移動選擇音樂的光標(biāo)，其中構(gòu)成專輯的音樂為處理單元，并使光標(biāo)從構(gòu)成專輯的多個音樂中選擇音樂作為重現(xiàn)目標(biāo)。以這種方式，用戶可以根據(jù)處理單元(例如專輯或音樂、文件夾或文件等)的尺寸關(guān)系通過確定當(dāng)作出姿勢時所使用的手指的數(shù)目或確定手指的位置，來執(zhí)行感覺的操作。此外，可以通過使用例如姿勢來移動在顯示單元12中顯示的指針等來執(zhí)行選擇圖標(biāo)的操作等。在這樣的情況下，例如，當(dāng)用戶在打開手的狀態(tài)下作出放下拇指的姿勢時，操作處理單元56使對應(yīng)于鼠標(biāo)左擊的操作被執(zhí)行。此外，當(dāng)用戶在打開手的狀態(tài)下作出放下食指的姿勢時，操作處理單元56使對應(yīng)于鼠標(biāo)右擊的操作被執(zhí)行。在這樣的示例中，可以以與現(xiàn)有裝置相同的操作感覺使用姿勢執(zhí)行操作。此外，當(dāng)用戶作出將手形狀從紙張狀改變到石頭狀的姿勢時，在選擇顯示單元12上的文件等的情況下，或用戶在保持石頭狀的手形狀的同時作出平行地移動手的姿勢的情況下，可以使所選文件等進(jìn)行移動等。此外，當(dāng)執(zhí)行根據(jù)姿勢識別結(jié)果的處理時，顯示控制單元57可以使顯示單元12顯示如下事實(shí):姿勢識別已執(zhí)行，表示所識別的姿勢的顯示，等等。在這樣的情況下，姿勢識別結(jié)果還被從姿勢識別單元55提供給顯示控制單元57。在步驟S23中，圖像處理單元53基于來自手形狀識別單元52的手形狀識別結(jié)果來確定是否在剪切區(qū)域之外檢測到新的手。在步驟23中，當(dāng)確定檢測到新的手時，處理返回到步驟S13，并重復(fù)上述處理。也就是說，使用新檢測到的手的姿勢被識別，并執(zhí)行根據(jù)所述姿勢的處理。與此相反，當(dāng)在步驟S23中確定沒有檢測到新的手時，在步驟S24中，圖像處理單元53基于正在計(jì)數(shù)的計(jì)時器來確定是否在計(jì)時器復(fù)位之后已經(jīng)經(jīng)過固定時間。在步驟S24中，當(dāng)確定還沒有經(jīng)過固定時間時，處理返回到步驟S19，并重復(fù)上述處理。也就是說，直到現(xiàn)在作為處理目標(biāo)的區(qū)段，即、作為姿勢識別目標(biāo)的區(qū)段在未來的方向上偏離了一個幀，并且相對于新的處理目標(biāo)的區(qū)段來執(zhí)行姿勢識別。此外，當(dāng)關(guān)于所確定的剪切區(qū)域預(yù)先識別了姿勢時，執(zhí)行對應(yīng)于該姿勢的處理，在步驟S22中的處理之后，處理可以返回到步驟S13。另一方面，當(dāng)在步驟S24中確定已經(jīng)經(jīng)過了固定時間時，處理返回到步驟S13，并重復(fù)上述處理。也就是說，當(dāng)檢測到新的手時，基于手的位置來確定剪切區(qū)域，并執(zhí)行姿勢識別。另外，當(dāng)從用戶發(fā)出結(jié)束姿勢識別的指令時，姿勢識別處理完成。如上所述，圖像處理裝置41將所拍攝的圖像上包括至少用戶手的一部分的區(qū)域設(shè)置為剪切區(qū)域，并且從通過獲得剪切區(qū)域中的圖像的差異而獲得的差異圖像中提取特征值。此外，圖像處理裝置41通過基于按時間順序排列的特征量的時序識別處理來識別用戶的姿勢，并執(zhí)行對應(yīng)于識別結(jié)果的處理。以這種方式，可以通過從差異圖像中提取特征量并識別姿勢來高精度地識別用戶的姿勢。
因此，用戶能夠通過在作出從手腕到前部的一定程度的小運(yùn)動的姿勢如放下、擺動、抬起手等來相對于每個姿勢執(zhí)行所確定的處理，而無需與需要相比極大地移動手。如果用戶的負(fù)擔(dān)得以釋放，則能夠提高使其執(zhí)行對應(yīng)于姿勢的處理的應(yīng)用程序的可用性等。特別地，在圖像處理裝置41中，用戶可以在任意位置執(zhí)行姿勢操作，這是因?yàn)榧羟袇^(qū)域是基于當(dāng)識別手形狀時檢測到的手的位置來確定的。也就是說，用戶能夠通過自然運(yùn)動來執(zhí)行姿勢操作，而無需知道剪切區(qū)域的位置，并且可以進(jìn)一步減少用戶的負(fù)擔(dān)。關(guān)于特征量的提取此外，在上面的描述中，已經(jīng)描述了如下情況:差異圖像被分成一些塊，并且塊中的像素的亮度值的平均值被設(shè)置為每個塊中的特征量，然而，也可以以任何方式執(zhí)行差異圖像的分割。例如，如圖5中的箭頭Qll所示，差異圖像總共可以分成12個塊，其在圖中在豎直方向上為3，在水平方向上為4。在這種情況下，因?yàn)橥ㄟ^分割成塊來獲得特征量等同于使差異圖像平滑化，可以將手的粗略的形狀和運(yùn)動狀態(tài)(方向)指定為識別目標(biāo)，并且可以高精度地識別姿勢。此外，例如，如箭頭Q12所示，可以將差異圖像分割成圖中的沿著水平方向長的塊。在該示例中，在差異圖像上沿水平方向排列的像素陣列被分為塊，以屬于相同的塊。當(dāng)執(zhí)行這樣的塊分割時，可以獲得在圖中的豎直運(yùn)動中指定的特征量，并且當(dāng)不考慮手形狀存在在豎直方向上的運(yùn)動對象時，識別出已經(jīng)進(jìn)行了姿勢。另外，如箭頭Q13所述，可以將差異圖像分成在圖中沿著豎直方向長的塊。在該示例中，在差異圖像上沿豎直方向排列的像素陣列被分為塊，以屬于相同的塊，并且當(dāng)不考慮手形狀的情況下存在在水平方向上的移動對象時，識別出已進(jìn)行了姿勢。此外，在上述描述中，已經(jīng)描述了其中將差異圖像上的塊的平均亮度設(shè)置為特征量的示例，然而，如果假設(shè)特征量是從差異圖像中獲得的，則其可以是光流(opticalflow)、塊中的像素的特定分量的平均值等中的任一個。第二實(shí)施方式關(guān)于姿勢識別的剪切區(qū)域另外，在上面的描述中，已描述了通過執(zhí)行手形狀識別來識別具有特定形狀的手，并且基于手的位置來確定剪切區(qū)域，然而，可以將剪切區(qū)域設(shè)置為預(yù)定位置。在這樣的情況下，如圖6所示，例如，在顯示單元12上顯示表示剪切區(qū)域的位置的幀F(xiàn)B21。此外，在圖6中，與圖1中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。在圖6中的示例中，在顯示單元12上,不僅顯示用戶Ull,還顯示表示預(yù)定的剪切區(qū)域的位置的幀F(xiàn)B21。因此，在該示例中，用戶Ull可以在檢查顯示在顯示單元12上的其自身和幀F(xiàn)B21的位置的同時在幀F(xiàn)B21中移動手來作出姿勢。此外，在這種情況下，可以將一個姿勢或多個姿勢分配給顯示在顯示單元12上的中貞FB21。例如，當(dāng)假設(shè)將一個姿勢GESl分配給幀F(xiàn)B21時，在用戶在幀F(xiàn)B21中作出姿勢GESl的情況下，相對于姿勢GESl執(zhí)行所確定的處理。與此相反，即使用戶在幀F(xiàn)B21中正確地作出姿勢GES2，也不執(zhí)行處理。
此外，假設(shè)相對于幀F(xiàn)B21已分配了兩個姿勢GESl和GES2。在這種情況下，當(dāng)用戶在幀F(xiàn)B21中作出姿勢GESl時，則執(zhí)行對應(yīng)于GESl的處理，而當(dāng)用戶在幀F(xiàn)B21中作出姿勢GES2時，則執(zhí)行對應(yīng)于GES2的處理。另外，可以顯示表示剪切區(qū)域在顯示單元12上的位置的多個幀。在這種情況下，可以將不同的姿勢分配給多個幀中的每個，并且可以將一個姿勢分配給不同的幀中的一些幀。當(dāng)相同的姿勢被分配給相應(yīng)的多個幀時，如果這些幀中的任一個中的姿勢被識別，則執(zhí)行對應(yīng)于該姿勢的處理。此外，可以將一個姿勢分配給表示在顯示單元12上顯示的剪切區(qū)域的位置的每個幀中的一個幀，并且也可以將多個姿勢分配給它。此外，在下文中，將描述如下情況:在顯示單元12上顯示表示剪切區(qū)域的位置的一個巾貞，并且將一個姿勢分配給該巾貞，以使描述變得容易。圖像處理裝置的配置示例以這種方式，當(dāng)預(yù)先設(shè)定剪切區(qū)域的位置時，圖像處理裝置例如被配置成如圖7所示。此外，在圖7中，與圖2中的情況對應(yīng)的部分將被給予相同的附圖標(biāo)記，并且將省略其描述。圖7中的圖像處理裝置101由拍攝單元11、圖像處理單元111、姿勢詞典記錄單元
54、姿勢識別單元55、動作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元111基于由拍攝單元11提供的拍攝圖像來提取用于姿勢識別的特征量，將特征量提供給姿勢識別單元55，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元111包括剪切圖像生成單元121、差異計(jì)算單元72和特征量提取單元73。剪切圖像生成單元121將所拍攝的圖像上的預(yù)定區(qū)域設(shè)置為剪切區(qū)域，并且通過剪切出所拍攝的圖像的剪切區(qū)域中的圖像來設(shè)置剪切圖像。姿勢識別處理的描述接下來，將參照圖8中的流程圖來描述通過圖像處理裝置101進(jìn)行的姿勢識別處理。在步驟S51中，拍攝單元11開始拍攝被拍攝圖像。也就是說，拍攝單元11拍攝在拍攝單元11周圍的作為對象的用戶，并將作為結(jié)果獲得的每個幀的拍攝圖像依次提供給圖像處理單元111和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的被拍攝圖像提供給顯示單元12，并顯示該被拍攝圖像。圖像處理單元111將表示預(yù)定剪切區(qū)域的位置的信息提供給顯示控制單元57。在步驟S52中，顯示控制單元57基于由圖像處理單元111提供的信息來在顯示單元12上顯示表示剪切區(qū)域的位置的幀。用戶通過在幀中移動手并同時查看在顯示單元12上顯示的幀或用戶的手來作出期望的姿勢。在步驟S53中，剪切圖像生成單元121相對于由拍攝單元11提供的每個幀的被拍攝圖像剪切出在被拍攝圖像上的預(yù)定剪切區(qū)域中的圖像，并生成剪切圖像。此外，更具體地，剪切圖像生成單元121根據(jù)需要相對于所生成的剪切圖像執(zhí)行放大處理或縮小處理，使得剪切圖像的尺寸變?yōu)轭A(yù)定的特定尺寸。
在步驟S54中，差異計(jì)算單元72獲得剪切圖像的幀之間的差異，并生成差異圖像。此外，在步驟S55中，特征量提取單元73基于差異圖像提取用于姿勢識別的特征量，并將特征量提供給姿勢識別單元55。例如，在步驟S55中，執(zhí)行與圖3中的步驟S20相同的處理，并提取特征量。在步驟S56中，姿勢識別單元55基于由特征量提取單元73提供的特征量和記錄在姿勢詞典記錄單元54中的姿勢詞典來執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。在步驟S56中，執(zhí)行與圖3中的步驟S21相同的處理。在步驟S57中，操作處理單元56使圖像處理裝置101的每個單元執(zhí)行與由姿勢識別單元55提供的姿勢識別結(jié)果相對應(yīng)的處理，此后處理返回到步驟S53，并重復(fù)上述處理。此外，當(dāng)具體姿勢被識別并且執(zhí)行了對應(yīng)于該姿勢的處理時，可以執(zhí)行姿勢被識別的反饋。例如，也可以通過使表示顯示控制單元57顯示在顯示單元12上的剪切區(qū)域的位置的幀進(jìn)行閃爍或者顯示預(yù)定圖像來執(zhí)行該反饋。此外，當(dāng)用戶指示完成姿勢識別時，姿勢識別處理完成。如上所述，圖像處理裝置101通過獲得所拍攝的圖像上的預(yù)定剪切區(qū)域中的圖像的差異來生成差異圖像，并從差異圖像中提取特征量。此外，圖像處理裝置101通過基于按時間順序排列的特征量的時序識別處理來識別用戶的姿勢，并執(zhí)行對應(yīng)于識別結(jié)果的處理。以這種方式，可以通過從差異圖像中提取特征量來識別姿勢從而高精度地識別用戶的姿勢。此外，在上述描述中，如在圖9中的箭頭Q41所示，已經(jīng)描述了在顯示單元12上顯示作為對象拍攝的用戶Ull以及表示剪切區(qū)域的位置的幀F(xiàn)B21，然而，如果是其中剪切區(qū)域的位置能夠被了解的顯示，其可以是任何顯示。在圖9中，與圖6中的情況對應(yīng)的部分將被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。例如，作為使用戶能夠了解剪切區(qū)域的位置的顯示，可以考慮在箭頭Q42中表示的顯示。在箭頭Q42中示出的示例中，在顯示單元12上顯示被拍攝的用戶Ull以及用于執(zhí)行每個處理的按鈕圖標(biāo)ACll-1至AC11-4?？梢栽诎粹o圖標(biāo)ACll-1至AC11-4中顯示當(dāng)操作時用作要執(zhí)行的處理的提醒器的圖像、描述過程的字符等。此外，在下文中，當(dāng)沒有必要彼此區(qū)分按鈕圖標(biāo)ACll-1至AC11-4時，它們也被簡稱為按鈕圖標(biāo)AClI。在該示例中，在所拍攝的圖像上的與每個按鈕圖標(biāo)ACll的區(qū)域?qū)?yīng)的位置被設(shè)置為預(yù)定剪切區(qū)域。因此，當(dāng)用戶Ull將手移動到按鈕圖標(biāo)ACll中的期望區(qū)域并作出姿勢時，用戶能夠執(zhí)行相對于按鈕圖標(biāo)ACll所確定的處理。此時，被分配給按鈕圖標(biāo)ACll的姿勢被設(shè)置為例如按壓按鈕圖標(biāo)ACll (例如放下手)的姿勢，用戶Ull能夠執(zhí)行更有感覺的姿勢操作。此外，當(dāng)剪切區(qū)域的位置被預(yù)先確定時，即使用戶Ull在不同于按鈕圖標(biāo)ACll中的位置的位置處作出姿勢，該姿勢也不會被識別。此外，分配給每個按鈕圖標(biāo)ACll的姿勢彼此相同，然而，由姿勢執(zhí)行的處理可以在每個按鈕圖標(biāo)ACll中不同。相應(yīng)地，在這種情況下，執(zhí)行由按鈕圖標(biāo)ACll (剪切區(qū)域)中的位置和所識別的姿勢所確定的處理。關(guān)于剪切區(qū)域的確定此外，即使在不執(zhí)行手形狀識別的情況下，也可以基于所拍攝的圖像來確定剪切區(qū)域。在這樣的情況下，例如，如圖10中的箭頭Q71所示，獲得在作為對象的用戶U21被拍攝時所獲得的拍攝圖像PCll的每個區(qū)域中的幀之間的差異，并且確定剪切區(qū)域。在該示例中，剪切圖像生成單元121關(guān)于作為連續(xù)兩個幀的拍攝圖像PCll上的剪切區(qū)域的候選的區(qū)域，獲得在區(qū)域中的幀之間的像素的亮度值的絕對差異值的總和。此時，剪切圖像生成單元121關(guān)于每個區(qū)域獲得絕對差異值的總和，同時切換作為剪切區(qū)域的候選的區(qū)域。在箭頭Q71中示出的示例中，將所拍攝的圖像PCll的圖中從左上方的區(qū)域DFll-1到右下方的區(qū)域DFll-N的每個區(qū)域設(shè)置為剪切區(qū)域的候選，并且計(jì)算在這些區(qū)域中的絕對差異值的總和。此處，確定作為剪切區(qū)域的候選的區(qū)域，使得彼此靠近的區(qū)域(例如區(qū)域DFll-1和DFl 1-2等)的一部分交疊。此外，剪切圖像生成單元121在每個區(qū)域中將絕對差異值的總和為最大的區(qū)域設(shè)置為最終剪切區(qū)域。在該示例中，在用戶U21附近的區(qū)域DFll-k成為剪切區(qū)域。當(dāng)用戶U21移動手以作出姿勢時，所拍攝的圖像PCll的在手的區(qū)域中的幀之間的差異變大。因此，在該示例中，所拍攝的圖像PCll上的差異較大的區(qū)域成為用戶U21的手的區(qū)域，并且該區(qū)域成為剪切區(qū)域。然而，在這樣的情況下，當(dāng)所拍攝的圖像PCll上存在與用戶U21不同的移動對象時，存在該移動對象變成剪切區(qū)域的可能性。因此，例如，如箭頭Q72所示，可以將在用戶U21附近的區(qū)域SRll中的、所拍攝的圖像PCll的幀之間的差異為最大的區(qū)域設(shè)置為剪切區(qū)域。在這種情況下，首先，剪切圖像生成單元121基于所拍攝的圖像PCll來檢測用戶U21的區(qū)域?？梢酝ㄟ^檢測例如人或臉來執(zhí)行對用戶U21的檢測。接下來，剪切圖像生成單元121基于用戶U21的臉的檢測位置來確定包括用戶U21的區(qū)域的具有預(yù)定尺寸的區(qū)域SRll0此外，剪切圖像生成單元121將在區(qū)域SRll的圖中的從左上方的區(qū)域DF21-1到區(qū)域SRll的右下方的區(qū)域的每個區(qū)域設(shè)置為剪切區(qū)域的候選，并且計(jì)算這些區(qū)域的絕對差異值的總和。此處，確定作為剪切區(qū)域的候選的區(qū)域，使得彼此靠近的區(qū)域(例如區(qū)域DF21-1和區(qū)域DF21-2等)的一部分交疊。另外，剪切圖像生成單元121將每個區(qū)域中的其中絕對差異值的總和成為最大值的區(qū)域設(shè)置為最終剪切區(qū)域。在該示例中，在用戶U21附近的區(qū)域DF21-k成為剪切區(qū)域。以這種方式，可以通過將在用戶U21附近的區(qū)域作為剪切區(qū)域的候選來高精度地指定用戶的手的區(qū)域。此外，在圖10所示的示例中，已經(jīng)描述了將剪切區(qū)域的候選區(qū)域中的、差異最大的區(qū)域設(shè)置為剪切區(qū)域，然而，可以將若干區(qū)域按照差異較大的順序設(shè)置為剪切區(qū)域。此夕卜，可以將根據(jù)所拍攝的圖像PCll上的用戶U21的臉的位置所確定的一個或更多個區(qū)域設(shè)置為剪切區(qū)域。如上所述，當(dāng)剪切圖像生成單元121基于所拍攝的圖像來確定剪切區(qū)域時，也可以使顯示單元12顯示表示由顯示控制單元57確定的剪切區(qū)域的位置的幀等。第三實(shí)施方式姿勢識別系統(tǒng)的配置示例另外，在上面的描述中，已經(jīng)描述了其中在圖像處理裝置41或圖像處理裝置101中執(zhí)行從拍攝圖像的拍攝到姿勢識別的整個過程的示例，然而，這些過程的一部分也可以在通過通信網(wǎng)絡(luò)等連接的其他裝置中執(zhí)行。在這樣的情況下，例如，如圖11所示，構(gòu)造了通過拍攝所拍攝的圖像來執(zhí)行姿勢識別的姿勢識別系統(tǒng)。此外，在圖11中，與圖2中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷浴D11中的姿勢識別系統(tǒng)由圖像處理裝置161和服務(wù)器162配置而成。圖像處理裝置161和服務(wù)器162通過通信網(wǎng)絡(luò)163彼此連接，該通信網(wǎng)絡(luò)163由互聯(lián)網(wǎng)形成。圖像處理裝置161由拍攝單元11、手形狀詞典記錄單元51、手形狀識別單元52、控制單元171、通信單元172、動作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，服務(wù)器162由通信單元181、控制單元182、圖像處理單元53、姿勢詞典記錄單元54和姿勢識別單元55配置而成，并且圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。在這樣的姿勢識別系統(tǒng)中，用戶朝向圖像處理裝置161的拍攝單元11執(zhí)行期望的姿勢。當(dāng)用戶作為對象被拍攝時，拍攝單元11將作為結(jié)果獲得的拍攝圖像提供給手形狀識別單元52和控制單元171?？刂茊卧?71將來自拍攝單元11的拍攝圖像通過顯示控制單元57提供給顯示單元12,并使顯示單元12顯示該圖像。此外，手形狀識別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典和來自拍攝單元11的拍攝圖像來從拍攝圖像中識別具有具體形狀的手，并將識別結(jié)果和拍攝圖像通過控制單元171提供給通信單元172。接下來，通信單元172通過通信網(wǎng)絡(luò)163將所提供的識別結(jié)果和所拍攝的圖像發(fā)送到服務(wù)器162。識別結(jié)果和所拍攝的圖像被依次發(fā)送給服務(wù)器162。與此相反，服務(wù)器162的通信單元181接收從通信單元172發(fā)送的識別結(jié)果和拍攝圖像，并通過控制單元182將它們提供給圖像處理單元53。圖像處理單元53通過基于所提供的手形狀的識別結(jié)果和所拍攝的圖像確定剪切區(qū)域來生成差異圖像，從所獲得的差異圖像中提取特征量，并將特征量提供給姿勢識別單兀55。此時，根據(jù)需要，將表示剪切區(qū)域的位置的信息從服務(wù)器162發(fā)送給圖像處理裝置161。此外，當(dāng)通過控制單元171從通信單元172提供表示在剪切區(qū)域中的位置的信息時，顯示控制單元57基于該信息使顯示單元12顯示表示剪切區(qū)域的位置的中貞。此外，服務(wù)器162的姿勢識別單元55基于來自圖像處理單元53的特征量和姿勢詞典記錄單元54的姿勢詞典來執(zhí)行姿勢識別，并通過控制單元182將識別結(jié)果提供給通信單元181。通信單元181通過通信網(wǎng)絡(luò)163將所提供的姿勢識別結(jié)果發(fā)送給圖像處理裝置161。接下來，圖像處理裝置161的通信單元172接收從服務(wù)器162發(fā)送的姿勢識別結(jié)果，并通過控制單元171將其提供給操作處理單元56。操作處理單元56使圖像處理裝置161的每個單元執(zhí)行對應(yīng)于所提供的姿勢識別結(jié)果的處理。以這種方式，還可以使與圖像處理裝置161 (服務(wù)器162)不同的裝置執(zhí)行剪切區(qū)域的確定、特征量的提取、姿勢識別等等。在這種情況下，當(dāng)圖像處理裝置161的處理能力較低時，特別地，可以通過使具有較高處理能力的服務(wù)器162共享一些過程來進(jìn)一步快速地獲得姿勢識別的結(jié)果。第四實(shí)施方式姿勢識別系統(tǒng)的配置示例另外，姿勢識別系統(tǒng)也可以被配置為如圖12所示。此外，在圖12中，與圖11中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖12中的姿勢識別系統(tǒng)由圖像處理裝置201和服務(wù)器202配置而成。圖像處理裝置201和服務(wù)器202通過通信網(wǎng)絡(luò)163彼此連接。圖像處理裝置201由拍攝單元11、手形狀詞典記錄單元51、手形狀識別單元52、圖像處理單元53、控制單元171、通信單元172、操作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，圖像處理單元53包括剪切區(qū)域確定單元71、差異計(jì)算單元72和特征量提取單元73。服務(wù)器202由通信單元181、姿勢詞典記錄單元54和姿勢識別單元55配置而成。在這樣的姿勢識別系統(tǒng)中，用戶朝向圖像處理裝置201的拍攝單元11執(zhí)行期望的姿勢。當(dāng)用戶作為對象被拍攝時，拍攝單元11將作為結(jié)果獲得的拍攝圖像提供給手形狀識別單元52和控制單元171?？刂茊卧?71通過顯示控制單元57將來自拍攝單元11的拍攝圖像提供給顯示單元12，并且使顯示單元顯示該圖像。另外，手形狀識別單元52基于記錄在手形狀詞典記錄單元51中的手形狀詞典和來自拍攝單元11的拍攝圖像來從所拍攝的圖像中識別具體形狀的手，并將識別結(jié)果和拍攝圖像提供給圖像處理單元53。圖像處理單元53通過基于由手形狀識別單元52提供的手形狀的識別結(jié)果和拍攝圖像確定剪切區(qū)域來生成差異圖像，從所獲得的差異圖像中提取特征量，并將特征量提供給控制單元171。此外，控制單元171將特征量從圖像處理單元53提供給通信單元172。此時，根據(jù)需要，通過控制單元171將表示剪切區(qū)域的位置的信息從圖像處理單元53提供到顯示控制單元57。當(dāng)從控制單元171提供表示剪切區(qū)域的位置的信息時,顯示控制單元57基于該信息使顯示單元12顯示表示剪切區(qū)域的位置的中貞。此外，通信單元172通過通信網(wǎng)絡(luò)163將由控制單元171提供的特征量依次發(fā)送給服務(wù)器202。接下來，服務(wù)器202的通信單元181接收從通信單元172發(fā)送的特征量，并將特征量提供給姿勢識別單元55。此外，姿勢識別單元55基于由通信單元181提供的特征量以及姿勢詞典記錄單元54的姿勢詞典來執(zhí)行姿勢識別，并將識別結(jié)果提供給通信單元181。通信單元181通過通信網(wǎng)絡(luò)163將所提供的姿勢識別結(jié)果發(fā)送給圖像處理裝置201。接下來，圖像處理裝置201的通信單元172接收從服務(wù)器202發(fā)送的姿勢識別結(jié)果，并且通過控制單元171將該結(jié)果提供給操作處理單元56。操作處理單元56使圖像處理裝置201的每個單元執(zhí)行對應(yīng)于所提供的姿勢識別結(jié)果的處理。以這種方式，還可以使不同于圖像處理裝置201的裝置(服務(wù)器202)執(zhí)行姿勢識別的處理。此外，在圖11和圖12中的示例中，圖像處理裝置161或圖像處理裝置201可以從設(shè)置在外部的拍攝裝置獲得拍攝圖像，或者顯示單元12可以連接到圖像處理裝置161或圖像處理裝置201。另外，由圖7中的圖像處理裝置101執(zhí)行的處理的一部分可以通過外部裝置來執(zhí)行，如圖11或圖12中的示例所示。同時，到目前為止，已經(jīng)描述了在所拍攝的圖像上確定的剪切區(qū)域的數(shù)目為1，然而，在所拍攝的圖像上確定的剪切區(qū)域的數(shù)目可以是多個。第五實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置被配置成例如如圖13所示。此外，在圖13中，與圖7中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖13中的圖像處理裝置301由拍攝單元11、圖像處理單元311、姿勢詞典記錄單元54、姿勢識別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元311基于由拍攝單元11提供的拍攝圖像來提取用于識別姿勢的特征量，將特征量提供給姿勢識別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元311包括:識別區(qū)域設(shè)置單元321、剪切圖像生成單元322、差異計(jì)算單元72和特征量提取單元73。識別區(qū)域設(shè)置單元321將識別區(qū)域設(shè)置為其中多個剪切區(qū)域布置在所拍攝的圖像上的區(qū)域。剪切圖像生成單元322確定布置在所拍攝的圖像上的識別區(qū)域中的多個剪切區(qū)域的各個尺寸，并在識別區(qū)域中布置剪切區(qū)域。此外，剪切區(qū)域生成單元322剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將其設(shè)置為剪切圖像。姿勢識別單元312基于由姿勢詞典記錄單元54提供的姿勢詞典以及由圖像處理單元311提供的在每個剪切區(qū)域中的特征量來執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。姿勢識別處理的描述接下來，將參照圖14中的流程圖來描述通過圖像處理裝置301進(jìn)行的姿勢識別處理。在步驟Slll中，拍攝單元11開始對要被拍攝的圖像進(jìn)行拍攝。也就是說，拍攝單元11拍攝在拍攝單元11的周圍的作為對象的用戶，并將作為其結(jié)果獲得的每個幀中的拍攝圖像依次地提供給圖像處理單元311和顯示控制單元57。此外，顯示控制單元57將由拍攝單元11提供的拍攝圖像提供給顯示單元12，并使顯示單元顯示該圖像。在步驟S112中，識別區(qū)域設(shè)置單元321在由拍攝單元11提供的拍攝圖像上設(shè)置識別區(qū)域。此處，假設(shè)識別區(qū)域設(shè)置單元321將所拍攝的圖像的幾乎整個區(qū)域設(shè)置為識別區(qū)域，具體地，將所拍攝的圖像上的除了周邊部分的區(qū)域設(shè)置為識別區(qū)域。在步驟SI 13中，剪切圖像生成單元322確定布置在由識別區(qū)域設(shè)置單元321設(shè)置的識別區(qū)域中的多個剪切區(qū)域的每個尺寸，并在識別區(qū)域中布置剪切區(qū)域。此處，剪切圖像生成單元322將多個剪切區(qū)域中的每個的尺寸設(shè)置為相同尺寸。以這種方式，由于在識別區(qū)域中布置了作為姿勢識別的處理目標(biāo)的剪切區(qū)域，識別區(qū)域可以被視為其中能夠識別姿勢的區(qū)域。此外，圖像處理單元311將表示所設(shè)置的識別區(qū)域的位置的信息和表示所確定的剪切區(qū)域的各個位置的信息提供給顯示控制單元57。在步驟SI 14中，顯示控制單元57基于由圖像處理單元311提供的信息，使顯示單元12顯示表示識別區(qū)域的位置的幀或表示剪切區(qū)域的位置的幀。例如,如圖15所示,顯示控制單元57使顯示單元12顯示巾貞RFl-1至RFl-N(在下文中，也被稱為識別幀)，所述幀RFl-1至RFl-N表示布置在識別區(qū)域RAl中的多個剪切區(qū)域。此外，在圖15中，與圖1中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被省略。此外，在下文中，在識別幀RFl-1至RFl-N中表示的剪切區(qū)域也被稱為剪切區(qū)域RFl-1至 RF1-N。在圖15中的示例中，表示N個剪切區(qū)域的識別幀RFl-1至RFl-N顯示在顯示單元12中所顯示的拍攝圖像上的包括用戶U31的整個識別區(qū)域RAl中。在該示例中，剪切區(qū)域的各個尺寸是預(yù)先確定的指定尺寸，并且是可以遍布整個識別區(qū)域RAl的沒有交疊且沒有留出空間的尺寸。此外，如圖16所示,還優(yōu)選的是,只顯示表示在顯示單元12中顯示的拍攝圖像上的包括用戶U31的識別區(qū)域RAl的幀。以這種方式，用戶在查看顯示在顯示單元12中的幀或他們的手的同時作出期望的姿勢。在步驟S115中，剪 切圖像生成單元322相對于在由拍攝單元11提供的每個幀中的拍攝圖像，剪切出布置在所拍攝的圖像上的識別區(qū)域中的剪切區(qū)域中的圖像，并生成多個剪切圖像。在步驟S116中，差異計(jì)算單元72獲得在每個剪切區(qū)域中的剪切圖像的幀之間的差異，并生成差異圖像。此外，在步驟SI 17中，特征量提取單元73基于在每個剪切區(qū)域中的差異圖像來提取用于姿勢識別的特征量，并將特征量提供給姿勢識別單元312。例如，在步驟S117中，執(zhí)行與圖3中的步驟S20相同的處理，并且提取每個剪切區(qū)域中的特征量。在步驟SI 18中，姿勢識別單元312基于由特征量提取單元73提供的特征量和記錄在姿勢詞典記錄單元54中的姿勢詞典來執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。在步驟SI 18中，如圖17所示，姿勢識別單元312基于相對于各個剪切區(qū)域RFl-1至RFl-N而提取的特征量、通過使用一個識別器來逐個執(zhí)行與圖3中的步驟S21中相同的識別處理、來執(zhí)行姿勢識別。此外，如圖18所示，姿勢識別單元312可以基于相對于各個剪切區(qū)域RFl-1至RFl-N而提取的特征量、通過使用N個識別器串行地執(zhí)行識別處理、來執(zhí)行姿勢識別。另外，在相對于剪切區(qū)域RFl-1至RFl-N中的一個執(zhí)行了識別處理之后，姿勢識別單元312可以通過將作為識別處理的目標(biāo)的剪切區(qū)域的數(shù)目增加至四、九……來執(zhí)行姿勢識別。
具體地，如圖19所示，首先，在相對于由一個剪切區(qū)域形成的區(qū)域RF2-1執(zhí)行識別處理之后，姿勢識別單元312相對于由四個剪切區(qū)域形成的區(qū)域RF2-2執(zhí)行識別處理。接下來，姿勢識別單元312相對于由9個剪切區(qū)域形成的區(qū)域RF2-3執(zhí)行識別處理。以這種方式，可以通過依次擴(kuò)大作為識別目標(biāo)的區(qū)域來執(zhí)行姿勢識別。此外，當(dāng)同時剪切區(qū)域RFl-1至RFl-N中的預(yù)定數(shù)目的剪切區(qū)域的所提取的特征量大于預(yù)定值時，可以通過相對于所述剪切區(qū)域執(zhí)行識別處理來執(zhí)行姿勢識別。另外，當(dāng)其中所提取的特征量大于預(yù)定值的剪切區(qū)域的數(shù)目在特定時間段內(nèi)超過預(yù)定數(shù)目時，可以通過執(zhí)行相對于所述剪切區(qū)域的識別處理來執(zhí)行姿勢識別。此外，在姿勢識別中，上述識別處理可以組合執(zhí)行。在步驟SI 19中，操作處理單元56使圖像處理裝置301的每個單元執(zhí)行與由姿勢識別單元312提供的姿勢識別結(jié)果相對應(yīng)的處理。此外，當(dāng)指定的姿勢被識別并且對應(yīng)于該姿勢執(zhí)行了處理時，可以執(zhí)行關(guān)于姿勢被識別的反饋。例如，通過顯示控制單元57使表示顯示在顯示單元12中的剪切區(qū)域的識別幀進(jìn)行閃爍或使預(yù)定的圖像被顯示來執(zhí)行這樣的反饋。具體地，如圖20所示，通過進(jìn)行改變來顯示表示區(qū)域RF3的幀的色彩，區(qū)域RF3顯示在顯示單元12上，且是在布置于識別區(qū)域RAl中的剪切區(qū)域中的執(zhí)行姿勢識別的區(qū)域。此外，如圖21所示,還優(yōu)選的是,只顯示表示區(qū)域RF4的巾貞,在該區(qū)域RF4中，在不使顯示單元12顯示剪切區(qū)域的狀態(tài)下執(zhí)行姿勢識別。此外，如圖22所示，還優(yōu)選的是，通過將圖標(biāo)與表示其中沒有執(zhí)行姿勢識別的區(qū)域的部分進(jìn)行交疊來顯示預(yù)定圖標(biāo)IC5。此外，作為關(guān)于姿勢被識別的反饋，還優(yōu)選的是，輸出預(yù)定的聲音，而不是輸出顯示在顯示單元12上的巾貞或圖像。步驟S119之后，過程返回到步驟S115，并重復(fù)上述處理。此外，當(dāng)用戶指示完成姿勢識別時，姿勢識別處理完成。如上所述，圖像處理裝置301在所拍攝的圖像上的識別區(qū)域中布置多個剪切區(qū)域，并且從通過獲取其每個剪切區(qū)域中的圖像之間的差異而獲得的差異圖像中提取特征量。此外，圖像處理裝置301基于按時間順序排列的特征量、通過按時間順序執(zhí)行識別過程來識別用戶的姿勢，并執(zhí)行對應(yīng)于識別結(jié)果的處理。以這種方式，可以相對于多個剪切區(qū)域從差異圖像中提取特征量并執(zhí)行姿勢識別來在較寬的范圍內(nèi)識別用戶的姿勢。相應(yīng)地，用戶能夠在任意位置執(zhí)行姿勢操作，而無需考慮在其中姿勢例如從右到左(或從左到右)輕彈手的運(yùn)動(在下文中稱為輕彈運(yùn)動)被識別的區(qū)域。也就是說，用戶能夠使用自然運(yùn)動來執(zhí)行姿勢操作，而無需考慮剪切區(qū)域的位置，并且能夠提高其中執(zhí)行對應(yīng)于姿勢的處理的應(yīng)用程序等的方便性。此外，由于在整個識別區(qū)域中執(zhí)行姿勢識別，存在如下可能性:即使在局部作出不同運(yùn)動，也將相同的運(yùn)動作為整體進(jìn)行識別，相應(yīng)地，即使在用戶的姿勢存在個體差異的情況下，也可以較魯棒地識別姿勢。此外，如上面參照圖15所描述的，假設(shè)剪切區(qū)域遍布在識別區(qū)域中，且沒有交疊，并且沒有留下空間，然而，如圖23所示，識別區(qū)域可以被布置成使得剪切區(qū)域RF6與其中的識別區(qū)域RAl交疊，并使得如圖24所示，識別區(qū)域RF7以預(yù)定間隔布置在識別區(qū)域RAl中。
此外，到目前為止，假設(shè)將其中布置有多個剪切區(qū)域的識別區(qū)域設(shè)置在預(yù)定的位置，然而，如圖25所示，優(yōu)選的是，在與圖9中的箭頭Q42的示例中描述的顯示單元12上顯示的按鈕圖標(biāo)的區(qū)域相對應(yīng)的拍攝圖像上的位置處設(shè)置識別區(qū)域。在圖25中，在顯示單元12上顯示被拍攝的用戶U31和用于執(zhí)行各處理的按鈕圖標(biāo)AC21-1和AC21-2。類似于圖9，還優(yōu)選的是，使當(dāng)操作時提醒所執(zhí)行的處理的圖像或描述處理的字符顯示在這些按鈕圖標(biāo)AC21-1和AC21-2中。在該示例中，將在所拍攝的圖像上的對應(yīng)于按鈕圖標(biāo)AC21-1和AC21-2中的每個的區(qū)域的位置設(shè)置為其中布置有四個剪切區(qū)域的識別區(qū)域RA2-1和RA2-2。在這種情況下，當(dāng)執(zhí)行將手移動到所期望的按鈕圖標(biāo)AC21-1或AC21-2中的區(qū)域的姿勢時，用戶U31能夠執(zhí)行相對于按鈕圖標(biāo)AC21-1和AC21-2所確定的處理。此外，可以將識別區(qū)域設(shè)置在由執(zhí)行姿勢識別的系統(tǒng)的提供者預(yù)先指定的位置，或者可以設(shè)置在預(yù)先指定或使用該系統(tǒng)的用戶在使用時指定的位置。到目前為止，假設(shè)識別區(qū)域設(shè)置在預(yù)先確定的位置，然而，識別區(qū)域可以基于在所拍攝的圖像上的作為用戶的身體的部位的位置來設(shè)置。第六實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置為如圖26所示。此外，在圖26中，與圖13中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖26中的圖像處理裝置401由拍攝單元11、面部詞典記錄單元411、面部檢測單元412、圖像處理單元413、姿勢詞典記錄單元54、姿勢識別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。面部詞典記錄單元411記錄檢測面部時使用的面部詞典,該面部詞典是通過統(tǒng)計(jì)學(xué)習(xí)如AdaBoost獲得的，并且根據(jù)需要將面部詞典提供給面部檢測單元412。例如，當(dāng)學(xué)習(xí)面部詞典時，使用用于學(xué)習(xí)的、包括作為檢測目標(biāo)的面部的圖像的多個圖像，并且由于該學(xué)習(xí)而獲得作為面部詞典的識別器等。面部檢測單元412基于由面部詞典記錄單元411提供的面部詞典從由拍攝單元11提供的拍攝圖像中檢測面部，并將檢測結(jié)果和拍攝圖像提供給圖像處理單元413。圖像處理單元413基于面部檢測結(jié)果和由面部檢測單元412提供的拍攝圖像來提取用于姿勢識別的特征量，將特征量提供給姿勢識別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域等的信息提供給顯示控制單元57。圖像處理單元413包括識別區(qū)域設(shè)置單元421、剪切圖像生成單元422、差異計(jì)算單元72和特征量提取單元73。識別區(qū)域設(shè)置單元421基于面部檢測結(jié)果來設(shè)置識別區(qū)域。剪切圖像生成單元422基于面部檢測結(jié)果來確定各個剪切區(qū)域的尺寸，并在識別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元422剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。姿勢識別處理的描述接下來，將參照圖27中的流程圖來描述通過圖像處理裝置401進(jìn)行的姿勢識別處理。此外，圖27的流程圖中的步驟S211以及S215至S220中的過程與圖14中的步驟Sm以及SI 14至SI 19中的相同，其描述將被省略。也就是說，在步驟S212中，面部檢測單元412檢測面部。具體地，面部檢測單元412基于記錄在面部詞典記錄單元411中的面部詞典以及由拍攝單元11提供的拍攝圖像來從每個幀中的拍攝圖像中檢測面部，并將檢測結(jié)果和拍攝圖像提供給圖像處理單元413。在步驟S212中，識別區(qū)域設(shè)置單元421基于由面部檢測單元412提供的面部檢測結(jié)果來設(shè)置所拍攝的圖像上的識別區(qū)域。具體地，識別區(qū)域設(shè)置單元421基于在所拍攝的圖像上檢測到的作為用戶身體的部位的面部的位置來設(shè)置識別區(qū)域。例如，如圖28所示，在顯示在顯示單元12上的拍攝圖像中，當(dāng)檢測到用戶U31的面部時，基于檢測到的面部區(qū)域FAl的位置來將被假設(shè)為用戶的手臂的可移動范圍的區(qū)域設(shè)置為識別區(qū)域RA3。在步驟S213中，剪切圖像生成單元422基于由面部檢測單元412提供的面部檢測結(jié)果來確定布置在由識別區(qū)域設(shè)置單元421設(shè)置的識別區(qū)域中的多個剪切單元的各個尺寸，并在識別區(qū)域中布置剪切區(qū)域。具體地，剪切圖像生成單元422基于在所拍攝的圖像上檢測到的面部的尺寸來確定剪切區(qū)域的尺寸，并在識別區(qū)域中布置剪切區(qū)域。例如，如圖29所示，當(dāng)在顯示在顯示單元12上的拍攝圖像中檢測到用戶U31的面部時，基于所檢測到的面部區(qū)域FAl的尺寸來確定剪切區(qū)域RF8的尺寸，并在識別區(qū)域RA3中布置剪切區(qū)域。在下文中，從布置在識別區(qū)域中的剪切區(qū)域中剪切出圖像，并從通過獲取其每個剪切區(qū)域中的圖像中的差異而獲得的差異圖像中提取特征量。此外，基于按時間順序排列的特征量使用按時間順序的識別處理來識別用戶的姿勢，并執(zhí)行對應(yīng)于其識別結(jié)果的處理。即使在上述處理中，也可以通過關(guān)于多個剪切區(qū)域從差異圖像中提取特征量執(zhí)行姿勢識別來在較寬的范圍內(nèi)識別用戶的姿勢。另外，由于基于用戶面部的位置來設(shè)置識別區(qū)域，對于顯然不是識別處理的目標(biāo)的區(qū)域，不執(zhí)行識別處理，相應(yīng)地，可以減輕姿勢識別中的處理負(fù)擔(dān)。此外，即使在上面的描述中，剪切區(qū)域也可以沒有交疊、沒有留下空間地遍布在識別區(qū)域中，可以布置成使得在識別區(qū)域中交疊，以及可以以預(yù)定間隔布置在識別區(qū)域中。然而，在上面的描述中，假設(shè)基于作為用戶身體的部位的面部的位置來設(shè)置識別區(qū)域，然而，可以基于作為用戶身體的部位的手的位置來設(shè)置識別區(qū)域。第七實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖30所示。此外，在圖30中，與圖13中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷浴D30中的圖像處理裝置501由拍攝單元11、手詞典記錄單元511、手檢測單元512、圖像處理單元513、姿勢詞典記錄單元54、姿勢識別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。手詞典記錄單元511記錄當(dāng)檢測手時使用的手詞典，該手詞典是通過統(tǒng)計(jì)學(xué)習(xí)例如AdaBoost而獲得的，并根據(jù)需要將該手詞典提供給手檢測單元512。例如，當(dāng)學(xué)習(xí)手詞典時，使用用于學(xué)習(xí)的、包括作為檢測目標(biāo)的手的圖像的多個圖像，并且通過該學(xué)習(xí)來獲得作為手詞典的識別器等。手檢測單元512基于由手詞典記錄單元511提供的手詞典從由拍攝單元11提供的拍攝圖像中檢測手，并將檢測結(jié)果和拍攝圖像提供給圖像處理單元513。圖像處理單元513基于所拍攝的圖像和由手檢測單元512提供的手檢測結(jié)果來提取用于執(zhí)行姿勢識別的特征量，將特征量提供給姿勢識別單元312，并根據(jù)需要將關(guān)于剪切區(qū)域等的信息提供給顯示控制單元57。圖像處理單元513包括識別區(qū)域設(shè)置單元521、剪切圖像生成單元522、差異計(jì)算單元72和特征量提取單元73。識別區(qū)域設(shè)置單元521基于手檢測結(jié)果來設(shè)置識別區(qū)域。剪切圖像生成單元522基于手檢測結(jié)果來確定剪切區(qū)域的各個尺寸，并在識別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元522剪切出布置在所拍攝的圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。姿勢識別處理的描述接下來，將參照圖31中的流程圖來描述通過圖像處理裝置501進(jìn)行的姿勢識別處理。此外，由于圖31的流程圖中的步驟S311、步驟S315至S320中的過程分別與圖14中的步驟S111、步驟S114至S119中的過程相同，其描述將被省略。也就是說，在步驟S312中，手檢測單元512檢測手。具體地，手檢測單元512基于記錄在手詞典記錄單元511中的手詞典和由拍攝單元11提供的拍攝圖像來從每個幀中的拍攝圖像中檢測手，并將檢測結(jié)果和拍攝圖像提供給圖像處理單元513。在步驟S313中，識別區(qū)域設(shè)置單元521基于由手檢測單元512提供的手檢測結(jié)果來在拍攝圖像上設(shè)置識別區(qū)域。具體地，識別區(qū)域設(shè)置單元521基于在所拍攝的圖像上檢測到的作為用戶身體的部位的手的位置來設(shè)置識別區(qū)域。例如，如圖32所示，當(dāng)在顯示在顯示單元12上的拍攝圖像中檢測到用戶U31的手時，將檢測到的手區(qū)域HAl的位置周圍的預(yù)定范圍內(nèi)的區(qū)域設(shè)置為識別區(qū)域RA4。在步驟S313中，剪切圖像生成單元522基于由手檢測單元512提供的手檢測結(jié)果來確定布置在由識別區(qū)域設(shè)置單元521設(shè)置的識別區(qū)域中的多個剪切區(qū)域的各個尺寸，并在識別區(qū)域中布置剪切區(qū)域。具體地，剪切圖像生成單元522基于在所拍攝的圖像上檢測到的手的尺寸來確定剪切區(qū)域的尺寸，并在識別區(qū)域中布置剪切區(qū)域。例如，如圖33所示，當(dāng)在顯示在顯示單元12中的拍攝圖像中檢測到用戶U31的手時，基于檢測到的手區(qū)域HAl的尺寸來確定剪切區(qū)域RF9的尺寸，并且在識別區(qū)域RA4中布置剪切區(qū)域。在下文中，剪切出布置在識別區(qū)域中的識別幀，從通過獲取其每個剪切區(qū)域中的圖像的差異而獲得的差異圖像中提取特征量。此外，基于按時間順序排列的特征量通過按時間順序的識別處理來識別用戶的姿勢，并執(zhí)行對應(yīng)于識別結(jié)果的處理。即使在上述處理中，可以通過相對于多個剪切區(qū)域從差異圖像中提取特征量來執(zhí)行姿勢識別從而在較寬的范圍內(nèi)識別用戶的姿勢。此外，由于基于用戶的手的位置來設(shè)置識別區(qū)域，所以對于明顯不是識別處理的目標(biāo)的區(qū)域，不執(zhí)行識別處理，相應(yīng)地，可以減輕在姿勢識別中的處理負(fù)擔(dān)。此外，即使在上面的描述中，剪切區(qū)域也可以沒有交疊、且沒有留下空間地遍布在識別區(qū)域中，可以布置成在識別區(qū)域中交疊，以及可以以預(yù)定間隔布置在識別區(qū)域中。此外，在上面的描述中，已經(jīng)描述了如下配置:其中包括檢測用戶的面部的面部檢測單元412和檢測用戶的手的手檢測單元512中的任何一個，作為用于檢測所拍攝的圖像上的用戶身體的部位的單元，然而，也可以是如下配置:面部檢測單元412和手檢測單元512均被包括。第八實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖34所示。此外，在圖34中，與圖13中的情況對應(yīng)的部分被給予的相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖34中的圖像處理裝置601由拍攝單元11、面部詞典記錄單元411、面部檢測單元412、手詞典記錄單元511、手檢測單元512、圖像處理單元613、姿勢詞典記錄單元54、姿勢識別單元312、操作處理單元56、顯示控制單元57和顯示單元12配置而成。此外，由于面部詞典記錄單元411和面部檢測單元412與圖26中的圖像處理裝置401中設(shè)置的那些具有相同的配置，并且手詞典記錄單元511和手檢測單元512具有與圖30中的圖像處理裝置501中設(shè)置的那些相同的配置，所有其描述將被省略。此外，在圖34中，面部檢測單元412從由拍攝單元11提供的拍攝圖像中檢測面部，并將檢測結(jié)果和拍攝圖像提供給手檢測單元512。此外，手檢測單元512從由面部檢測單元412提供的拍攝圖像中檢測手，并將檢測結(jié)果、面部檢測結(jié)果和拍攝圖像提供給圖像處理單元611。圖像處理單元613包括識別區(qū)域設(shè)置單元621、剪切圖像生成單元622、差異計(jì)算單元72和特征量提取單元73。識別區(qū)域設(shè)置單元621基于面部或手的檢測結(jié)果來設(shè)置識別區(qū)域。剪切圖像生成單元622基于面部或手的檢測結(jié)果來確定各個剪切區(qū)域的尺寸，并在識別區(qū)域中布置剪切區(qū)域。此外，剪切圖像生成單元622剪切出布置在拍攝圖像上的剪切區(qū)域中的圖像，并將該圖像設(shè)置為剪切圖像。此外，由于通過將上述圖27和圖31中的流程圖中的處理進(jìn)行組合來執(zhí)行通過圖像處理裝置601進(jìn)行的姿勢識別處理，所以其詳細(xì)描述將被省略。作為一個示例，執(zhí)行通過圖像處理裝置601進(jìn)行的姿勢識別處理，使得:例如在圖27中的流程圖中，圖31中的流程圖的步驟S312 (手檢測)在步驟S212 (面部檢測)之后執(zhí)行，在步驟S213中設(shè)置基于面部或手的位置的識別區(qū)域，并且在步驟S214中基于面部或手的尺寸來進(jìn)行剪切區(qū)域的尺寸的確定。此外，即使在通過圖像處理裝置601進(jìn)行的姿勢識別處理中，也可以獲得與參照圖27或圖31中的流程圖而描述的姿勢識別處理中相同的操作和效果。同時，在上述處理中，當(dāng)拍攝到作出與作為識別目標(biāo)的姿勢相似的運(yùn)動的對象時，存在如下?lián)?該對象的運(yùn)動可能會被誤識別為作為識別目標(biāo)的姿勢。例如，當(dāng)關(guān)于由用戶U31執(zhí)行的在圖15中示出的輕彈運(yùn)動執(zhí)行姿勢識別時，在上述處理中，存在如下?lián)?由于在識別區(qū)域中的整體運(yùn)動，用戶U31的左右擺動其身體的上部分的運(yùn)動可能會被誤識別為輕彈運(yùn)動。因此，在執(zhí)行姿勢識別處理的圖像處理裝置中，還優(yōu)選的是設(shè)置防止姿勢被誤識別的配置。第九實(shí)施方式圖像處理裝置的配置示例在這樣的情況下，圖像處理裝置例如被配置成如圖35所示。此外，在圖35中，與圖13中的情況對應(yīng)的部分被給予相同的附圖標(biāo)記，并且其描述將被適當(dāng)?shù)厥÷?。圖35中的圖像處理裝置701由拍攝單元11、圖像處理單元713、姿勢詞典記錄單元54、姿勢識別單元712、操作處理單元56、顯示控制單元57和顯示單元12配置而成。圖像處理單元711基于由拍攝單元11提供的拍攝圖像來提取用于執(zhí)行姿勢識別的特征量，將特征量提供給姿勢識別單元712，并根據(jù)需要將關(guān)于剪切區(qū)域的信息等提供給顯示控制單元57。圖像處理單元711包括識別區(qū)域設(shè)置單元321、剪切圖像生成單元322、差異計(jì)算單元72、特征量提取單元73和運(yùn)動確定單元721。運(yùn)動確定單元721基于識別區(qū)域中的多個顯著點(diǎn)中的運(yùn)動矢量的大小來確定識別區(qū)域中的運(yùn)動，并將確定結(jié)果提供給姿勢識別單元 712。姿勢識別單元712根據(jù)由運(yùn)動確定單元721提供的確定結(jié)果，基于由姿勢詞典記錄單元54提供的姿勢詞典和由圖像處理單元711提供的每個剪切區(qū)域中的特征量執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。姿勢識別處理的描述接下來，將參照圖36中的流程圖來描述通過圖像處理裝置701進(jìn)行的姿勢識別處理。此外，在圖36的流程圖中的步驟S411、步驟S417至步驟S420中的過程與圖14的流程圖中的步驟Slll至步驟S117以及步驟S119中的過程相同，相應(yīng)地，其描述將被省略。也就是說，在步驟S418中，運(yùn)動確定單元721執(zhí)行運(yùn)動確定處理。運(yùn)動確定處理的描述此處，將參照圖37中的流程圖來描述通過運(yùn)動確定單元721進(jìn)行的運(yùn)動確定處理。在步驟S451中，運(yùn)動確定單元721使用由拍攝單元11提供的拍攝圖像的光流來計(jì)算識別區(qū)域中的多個顯著點(diǎn)中的運(yùn)動矢量。假設(shè)顯著點(diǎn)均勻地設(shè)置在整個識別區(qū)域中。此外，可以使用另外的方法來計(jì)算每個顯著點(diǎn)中的運(yùn)動矢量，而不限于其中使用光流的方法。在步驟S452中，運(yùn)動確定單元721沿關(guān)注方向上通過大小對在每個顯著點(diǎn)中計(jì)算的運(yùn)動矢量進(jìn)行排序。此處，關(guān)注方向是在作為識別目標(biāo)的姿勢中運(yùn)動變得特別大的方向，在這種情況下，將該方向設(shè)置為水平方向。在下文中，在拍攝的圖像中，水平方向被設(shè)置為X軸方向，豎直方向被設(shè)置為I軸方向。此外，在水平方向和豎直方向上，可以隨意設(shè)置正方向和負(fù)方向。在步驟S453中，運(yùn)動確定單元721使用其最大值來對按x軸方向上的量值(具體地，運(yùn)動矢量的X分量)排序的運(yùn)動矢量來進(jìn)行歸一化。在步驟S454中，運(yùn)動確定單元721將按x軸方向上的量值排序的運(yùn)動矢量中的、運(yùn)動矢量的負(fù)值轉(zhuǎn)換為正值，并且使用大小的最大值來進(jìn)行歸一化。
在步驟S455中，運(yùn)動確定單元721關(guān)于按x軸方向上的量值排序的運(yùn)動矢量執(zhí)行預(yù)定閾值處理，使用大小的最大值來進(jìn)行歸一化，并轉(zhuǎn)換成正值。例如，在每個顯著點(diǎn)中，計(jì)算如圖38所示的運(yùn)動矢量。在圖38中，橫軸表示顯著點(diǎn)，豎軸表示使用光流計(jì)算的運(yùn)動矢量在X軸方向上的大小。圖39示出了如下結(jié)果:其中該運(yùn)動矢量按量值進(jìn)行排序，并使用其大小的最大值來進(jìn)行歸一化，且其負(fù)值被轉(zhuǎn)換為正值。在圖39中，在水平軸的最左側(cè)表示的運(yùn)動矢量是在X軸方向上具有最大大小的運(yùn)動矢量，而在從大小近似為O且在中心附近的運(yùn)動矢量起的右側(cè)所表示的運(yùn)動矢量是值被轉(zhuǎn)換為正值的運(yùn)動矢量。此外，在圖39中，示出了根據(jù)作為識別目標(biāo)圖像數(shù)據(jù)的姿勢所確定的閾值曲線Cth。也就是說，在步驟S456中，確定例如在圖39中示出的運(yùn)動矢量是否超過閾值曲線Cth0例如，假設(shè)根據(jù)左右方向上的輕彈動作確定閾值曲線Cth。當(dāng)用戶執(zhí)行左右方向上的輕彈動作時，由于運(yùn)動矢量僅在識別區(qū)域中的X軸方向上的區(qū)域部分中變大，如果按X軸方向上的量值對運(yùn)動矢量進(jìn)行排序、歸一化，并且將其負(fù)值轉(zhuǎn)換成正值，可以獲得如圖39所示的結(jié)果。在這種情況下，由于在X軸方向上的運(yùn)動矢量的量值超過了閾值曲線Cth，因此存在如下可能性:用戶在識別區(qū)域中的運(yùn)動是左右方向上的輕彈動作。另一方面，當(dāng)用戶作出左右晃動其上部身體的運(yùn)動時，由于幾乎在整個識別區(qū)域中運(yùn)動矢量在X軸方向上變得較大，當(dāng)按量值對運(yùn)動矢量排序、歸一化，并且將其負(fù)值轉(zhuǎn)換成正值時，可以整體上獲得值較高的運(yùn)動矢量。在這種情況下，運(yùn)動矢量在X軸方向上的量值超過在水平軸中心附近的閾值曲線Cth，不可能用戶在識別區(qū)域中的運(yùn)動是左右方向上的輕彈動作。以這種方式，在步驟S456中，通過確定運(yùn)動矢量是否超過閾值曲線Cth來確定用戶的運(yùn)動是否是作為識別目標(biāo)的姿勢。運(yùn)動確定單元721將確定結(jié)果提供給姿勢識別單元712，并且過程返回到圖36中的步驟S418。此外，當(dāng)作為識別區(qū)域的姿勢是上下方向上的輕彈運(yùn)動時，例如，在圖37中的運(yùn)動確定處理中，關(guān)于每個顯著點(diǎn)中的運(yùn)動矢量在y軸方向的量值執(zhí)行上述處理。返回到圖36中的流程圖，在步驟418之后的步驟S419中，姿勢識別單元712根據(jù)由運(yùn)動確定單元721提供的確定結(jié)果執(zhí)行姿勢識別，并將識別結(jié)果提供給操作處理單元56。也就是說，當(dāng)從運(yùn)動確定單元721提供了用戶的運(yùn)動是作為識別目標(biāo)的姿勢的確定結(jié)果時，姿勢識別單元712執(zhí)行姿勢識別。此外，當(dāng)從運(yùn)動確定單元721中提供了用戶的運(yùn)動不是作為識別目標(biāo)的姿勢的確定結(jié)果時，姿勢識別單元712不執(zhí)行姿勢識別。如上所述，圖像處理裝置701基于所拍攝的圖像上的識別區(qū)域中的運(yùn)動矢量的大小來確定用戶的運(yùn)動。此外，圖像處理裝置701根據(jù)確定結(jié)果識別用戶的姿勢，并執(zhí)行對應(yīng)于識別結(jié)果的處理。以這種方式，即使拍攝到作出類似于作為識別目標(biāo)的姿勢的運(yùn)動的對象，也可以通過確定用戶的運(yùn)動來防止對象的運(yùn)動被誤識別為作為識別目標(biāo)的姿勢。此外，執(zhí)行上述運(yùn)動確定處理的運(yùn)動確定單元721也可以設(shè)置在圖像處理裝置401,501 和 601 中。同時，在上面的描述中，在設(shè)置的識別區(qū)域中，假設(shè)布置具有相同尺寸的剪切區(qū)域，然而，可以布置具有多個尺寸的剪切區(qū)域。此外，在前一幀中執(zhí)行姿勢識別的區(qū)域中，在作為處理目標(biāo)的當(dāng)前幀中，可以通過將剪切區(qū)域布置成如圖23所示在識別區(qū)域中交疊來增加剪切區(qū)域的密度。以這種方式，可以進(jìn)一步提高姿勢識別的精度，這是因?yàn)楹苡锌赡芗词褂脩粼谪Q直方向或水平方向上偏離一定程度的位置作出姿勢也能夠在剪切區(qū)域中的任一個中執(zhí)行姿勢識別。此外，當(dāng)通過減小剪切區(qū)域的尺寸來將手指的運(yùn)動識別為手的運(yùn)動時，也可能將比使用手進(jìn)行的左右輕彈動作小的動作，例如使用手指的左右輕彈動作識別為姿勢。另外，在識別區(qū)域中的多個部分的每個中，可以同時執(zhí)行相同的姿勢識別。以這種方式，例如，使用左右兩只手的姿勢被識別，并且可以執(zhí)行諸如所謂的多觸摸的操作輸入。此外，根據(jù)上述的第五實(shí)施方式至第九實(shí)施方式的過程的一部分可以使用通過通信網(wǎng)絡(luò)連接的其他裝置等來執(zhí)行，這在第三實(shí)施方式和第四實(shí)施方式的配置中進(jìn)行了描述。系統(tǒng)的應(yīng)用示例同時，上述姿勢識別處理可以應(yīng)用于各種系統(tǒng)。上述姿勢識別處理可以應(yīng)用于如下系統(tǒng):該系統(tǒng)在例如顯示單元12上顯示與記錄在記錄介質(zhì)(未示出)中的圖像數(shù)據(jù)相對應(yīng)的縮略圖PICll-1至PIC11-6，如圖40中的箭頭Q61所表示的。在圖40中的箭頭Q61中，通過執(zhí)行從右到左的輕彈動作，用戶U31能夠?qū)⒃陲@示單元12上顯示縮略圖PICll-1至PICl 1-6的屏幕滾動到左側(cè)。此外，如圖40中的箭頭Q62所示的，可以將上述姿勢識別處理應(yīng)用于例如其中在顯示單元12上顯示滑動式開關(guān)SW12的系統(tǒng)。在圖40的箭頭Q62中，通過執(zhí)行從右到左的輕彈動作，用戶U31能夠?qū)@示的開關(guān)SW12在顯示單元12上從OFF切換到0N。此外，盡管未示出，上述姿勢識別處理可以應(yīng)用于例如電視接收機(jī)。在該示例中，通過執(zhí)行從右到左的輕彈動作，用戶能夠選擇節(jié)目的頻道或連接到電視接收器的連接設(shè)備諸如記錄器的頻道。上述姿勢識別處理可以應(yīng)用于包括用戶接口的系統(tǒng)，在該系統(tǒng)中，在與顯示單元分離的位置處使用姿勢來控制在顯示單元上的顯示，但不限于上述示例。另外，當(dāng)然，被識別的姿勢不局限于左右輕彈動作，可以是上下執(zhí)行的輕彈動作，或其他動作。同時，上述系列處理可以通過硬件執(zhí)行，或者可以通過軟件執(zhí)行。當(dāng)所述系列處理由軟件執(zhí)行時，在計(jì)算機(jī)中安裝構(gòu)造成軟件的程序。此處，在計(jì)算機(jī)中，包括了結(jié)合在專用硬件中的計(jì)算機(jī)或例如能夠通過安裝各種程序執(zhí)行各種功能的通用個人計(jì)算機(jī)等。圖41是示出其中使用程序執(zhí)行上述系列處理的計(jì)算機(jī)的硬件的配置示例的框圖。在該計(jì)算機(jī)中，CPU (中央處理單元)901、ROM (只讀存儲器)902、RAM (隨機(jī)存取存儲器)903通過總線904彼此連接。在總線904中，還連接輸入-輸出接口 905。輸入-輸出接口 905連接至輸入單元906、輸出單元907、記錄單元908、通信單元909和驅(qū)動器910。輸入單元906由鍵盤、鼠標(biāo)、麥克風(fēng)等配置而成。輸出單元907由顯示器、揚(yáng)聲器等配置而成。記錄單元908由硬盤、非易失性存儲器等配置而成。通信單元909由網(wǎng)絡(luò)接口等配置而成。驅(qū)動器910驅(qū)動磁盤、光盤、磁光盤或諸如半導(dǎo)體存儲器的可移除介質(zhì)911。在如上所述配置而成的計(jì)算機(jī)中，例如，當(dāng)CPU901通過輸入-輸出接口 905和總線904等將記錄在記錄單元908中的程序裝載到RAM903中來執(zhí)行該程序時，執(zhí)行上述系列處理。由計(jì)算機(jī)(CPU901)執(zhí)行的程序可以通過被記錄在可移除介質(zhì)911 (例如，封裝介質(zhì)等)中來提供。此外，可以通過有線或無線傳輸介質(zhì)例如局域網(wǎng)、因特網(wǎng)、數(shù)字衛(wèi)星廣播等來提供程序。在計(jì)算機(jī)中，程序可以通過在驅(qū)動器910上安裝可移除介質(zhì)911經(jīng)由輸入-輸出接口 905來安裝到記錄單元908。此外，該程序可以通過經(jīng)由有線或無線傳輸介質(zhì)在通信單元909中進(jìn)行接收從而安裝到記錄單元908中。此外，程序可以安裝到R0M902中，或預(yù)先安裝在記錄單元908中。此外，由計(jì)算機(jī)執(zhí)行的程序可以是其中根據(jù)在說明書中描述的順序以時間順序執(zhí)行處理的程序，并且可以是其中并行地執(zhí)行處理或在必要定時注入在被調(diào)用時執(zhí)行處理的程序。此外，本技術(shù)的實(shí)施方式并不限于上述實(shí)施方式，并且可以在不脫離本技術(shù)的范圍的情況下進(jìn)行各種改變。例如，本技術(shù)是能夠采用云計(jì)算配置，在該云計(jì)算配置中，通過網(wǎng)絡(luò)在多個裝置中進(jìn)行共享來聯(lián)合處理一個功能。另外，上述流程圖中所描述的每個步驟可以在一個裝置中執(zhí)行，并且也可以通過共享在多個裝置中執(zhí)行。另外，當(dāng)多個過程被包括在一個步驟中時，包括在一個步驟中的多個過程可以在一個裝置中執(zhí)行，以及也可以通過共享在多個裝置中執(zhí)行。另外，本技術(shù)也可以采用以下配置。[I] 一種圖像處理裝置，包括:差異圖像生成單元，所述差異圖像生成單元通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及識別單元，所述識別單元識別在所拍攝的圖像上的對象的具體運(yùn)動。[2]在[I]中公開的圖像處理裝置，其中，所述識別單元將用戶的手作出的姿勢識別為所述對象的具體運(yùn)動。[3]在[2]中公開的圖像處理裝置，還包括:手檢測單元，所述手檢測單元從所拍攝的圖像中檢測所述用戶的手；以及剪切區(qū)域確定單元，所述剪切區(qū)域確定單元基于所檢測到的用戶的手在所拍攝的圖像上的位置來確定所述預(yù)定區(qū)域。[4]在[3]中公開的圖像處理裝置，其中，當(dāng)關(guān)于連續(xù)的多個幀的所拍攝的圖像，所檢測到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時，所述剪切區(qū)域確定單元基于所述用戶的手的位置來確定所述預(yù)定區(qū)域。[5]在[2]中公開的圖像處理裝置，還包括剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過獲得在所拍攝的圖像上的每個區(qū)域中的幀之間的差異來確定所述預(yù)定區(qū)域。[6]在[2]中公開的圖像處理裝置，其中，所述預(yù)定區(qū)域是在所拍攝的圖像上預(yù)先確定的區(qū)域。
[7]在[2]中公開的圖像處理裝置，還包括:區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個預(yù)定區(qū)域的識別區(qū)域，其中，所述差異圖像生成單元生成布置在所述識別區(qū)域中的每個所述預(yù)定區(qū)域中的差異圖像，其中，所述特征量提取單元從每個所述預(yù)定區(qū)域中的差異圖像中提取特征量，以及其中，所述識別單元基于從在每個所述預(yù)定區(qū)域中的按時間順序排列的多個差異圖像中獲得的特征量來識別所述用戶的姿勢。[8]在[7]中公開的圖像處理裝置，還包括:剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個預(yù)定區(qū)域的尺寸，并設(shè)置在所述識別區(qū)域中。[9]在[8]中公開的圖像處理裝置，還包括:檢測單元，所述檢測單元從所拍攝的圖像中檢測所述用戶的身體的部位，其中，所述區(qū)域設(shè)置單元基于所檢測到的所述用戶的身體的部位在所拍攝的圖像上的位置來設(shè)置所述識別區(qū)域。[10]在[9]中公開的圖像處理裝置，其中，所述剪切區(qū)域確定單元基于所檢測到的所述用戶的身體的部位的尺寸來確定各個預(yù)定區(qū)域的尺寸。可使所述檢測單元從所拍攝的圖像檢測用戶的手。[11]在[9]中公開的圖像處理裝置，其中，所述檢測單元從所拍攝的圖像中檢測所述用戶的臉。[12]在[9]中公開的圖像處理裝置，其中，所述檢測單元從所拍攝的圖像中檢測所述用戶的手。[13]在[7]至[12]中任一個中公開的圖像處理裝置，還包括:運(yùn)動確定單元，所述運(yùn)動確定單元基于在所述識別區(qū)域中的運(yùn)動矢量的量值來確定在所述識別區(qū)域中的運(yùn)動，其中，所述識別單元根據(jù)所述運(yùn)動確定單元作出的確定結(jié)果來識別所述用戶的姿勢。[14]在[2]至[13]中任一個中公開的圖像處理裝置，還包括:顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示所述預(yù)定區(qū)域的位置的圖像。[15]在[14]中公開的圖像處理裝置，還包括:動作處理單元，當(dāng)所述用戶的姿勢被識別時，所述動作處理單元執(zhí)行對應(yīng)于所識別的姿勢的處理。[16]在[15]中公開的圖像處理裝置，其中，所述顯示控制單元使多個顯示單元顯示所述表示所述預(yù)定區(qū)域的位置的圖像，以及其中，所述動作處理單元執(zhí)行由所識別的姿勢以及多個所述預(yù)定區(qū)域中的其中所述用戶的姿勢被識別的預(yù)定區(qū)域所確定的處理。[17]在[14]至[16]中任一個中公開的圖像處理裝置，其中，所述顯示控制單元使所述顯示單元顯示如下事實(shí):正在執(zhí)行姿勢識別或所述用戶的姿勢已被識別。[18]在[2]至[17]中任一個中公開的圖像處理裝置，其中，所述特征量提取單元將所述差異圖像分成多個塊，并提取所述塊中的像素的平均亮度作為所述塊的特征量。本公開內(nèi)容包含與如下專利申請中的公開內(nèi)容相關(guān)的主題:于2012年I月13日提交日本專利局的日本優(yōu)先權(quán)專利申請JP2012-004837以及于2012年12月4日提交日本專利局的日本優(yōu)先權(quán)專利申請JP2012-265234，所述專利申請的全部內(nèi)容通過引用并入本文。本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解的是，可以根據(jù)設(shè)計(jì)需求和其他因素出現(xiàn)各種修改、組合、子組合和替代，只要它們落在所附權(quán)利要求或其等同物的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理裝置，包括: 差異圖像生成單元，所述差異圖像生成單元通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 特征量提取單元，所述特征量提取單元從所述差異圖像中提取特征量；以及 識別單元，所述識別單元基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，所述識別單元將用戶的手作出的姿勢識別為所述對象的具體運(yùn)動。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 手檢測單元，所述手檢測單元從所拍攝的圖像中檢測所述用戶的手；以及 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元基于所檢測到的用戶的手在所拍攝的圖像上的位置來確定所述預(yù)定區(qū)域。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置， 其中，當(dāng)關(guān)于連續(xù) 的多個幀的所拍攝的圖像，所檢測到的用戶的手位于所拍攝的圖像上的一定范圍內(nèi)時，所述剪切區(qū)域確定單元基于所述用戶的手的位置來確定所述預(yù)定區(qū)域。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元通過獲得在所拍攝的圖像上的每個區(qū)域中的幀之間的差異來確定所述預(yù)定區(qū)域。
6.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，所述預(yù)定區(qū)域是在所拍攝的圖像上預(yù)先確定的區(qū)域。
7.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 區(qū)域設(shè)置單元，所述區(qū)域設(shè)置單元在所拍攝的圖像上設(shè)置其中布置有多個預(yù)定區(qū)域的識別區(qū)域， 其中，所述差異圖像生成單元生成布置在所述識別區(qū)域中的每個所述預(yù)定區(qū)域中的差異圖像， 其中，所述特征量提取單元從每個所述預(yù)定區(qū)域中的差異圖像中提取特征量，以及 其中，所述識別單元基于從在每個所述預(yù)定區(qū)域中的按時間順序排列的多個差異圖像中獲得的特征量來識別所述用戶的姿勢。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，還包括: 剪切區(qū)域確定單元，所述剪切區(qū)域確定單元確定各個預(yù)定區(qū)域的尺寸，并設(shè)置在所述識別區(qū)域中。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，還包括: 檢測單元，所述檢測單元從所拍攝的圖像中檢測所述用戶的身體的部位， 其中，所述區(qū)域設(shè)置單元基于所檢測到的所述用戶的身體的部位在所拍攝的圖像上的位置來設(shè)置所述識別區(qū)域。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述剪切區(qū)域確定單元基于所檢測到的所述用戶的身體的部位的尺寸來確定各個預(yù)定區(qū)域的尺寸。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述檢測單元從所拍攝的圖像中檢測所述用戶的臉。
12.根據(jù)權(quán)利要求9所述的圖像處理裝置， 其中，所述檢測單元從所拍攝的圖像中檢測所述用戶的手。
13.根據(jù)權(quán)利要求7所述的圖像處理裝置，還包括: 運(yùn)動確定單元，所述運(yùn)動確定單元基于在所述識別區(qū)域中的運(yùn)動矢量的量值來確定在所述識別區(qū)域中的運(yùn)動， 其中，所述識別單元根據(jù)所述運(yùn)動確定單元作出的確定結(jié)果來識別所述用戶的姿勢。
14.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括: 顯示控制單元，所述顯示控制單元使顯示單元顯示所拍攝的圖像上的用戶以及表示所述預(yù)定區(qū)域的位置的圖像。
15.根據(jù)權(quán)利要求14所述的圖像處理裝置，還包括: 動作處理單元，當(dāng)所述用戶的姿勢被識別時，所述動作處理單元執(zhí)行對應(yīng)于所識別的姿勢的處理。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置， 其中，所述顯示控制單元使多個顯示單元顯示所述表示所述預(yù)定區(qū)域的位置的圖像， 以及 其中，所述動作處理單元執(zhí)行由所識別的姿勢以及多個所述預(yù)定區(qū)域中的其中所述用戶的姿勢被識別的預(yù)定區(qū)域所確定的處理。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置， 其中，所述顯示控制單元使所述顯示單元顯示如下事實(shí):正在執(zhí)行姿勢識別或所述用戶的姿勢已被識別。
18.根據(jù)權(quán)利要求2所述的圖像處理裝置， 其中，所述特征量提取單元將所述差異圖像分成多個塊，并提取所述塊中的像素的平均亮度作為所述塊的特征量。
19.一種圖像處理方法，包括: 通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 從所述差異圖像中提取特征量；以及 基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。
20.一種程序，所述程序使計(jì)算機(jī)執(zhí)行如下處理: 通過獲得剪切圖像的幀之間的差異來生成差異圖像，其中所述剪切圖像是通過剪切出在所拍攝的圖像上的預(yù)定區(qū)域而獲得的； 從所述差異圖像中提取特征量；以及 基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。
全文摘要
一種圖像處理裝置，包括差異圖像生成單元，其通過獲得剪切圖像的幀之間的差異生成差異圖像，其中所述剪切圖像是通過剪切出所拍攝的圖像上的預(yù)定區(qū)域而獲得的；特征量提取單元，其從差異圖像中提取特征量；以及識別單元，其基于從按時間順序排列的多個差異圖像中獲得的特征量來識別在所拍攝的圖像上的對象的具體運(yùn)動。
文檔編號G06K9/00GK103207985SQ20131000381
公開日2013年7月17日 申請日期2013年1月6日 優(yōu)先權(quán)日2012年1月13日
發(fā)明者前田幸德, 橫野順, 南野活樹 申請人:索尼公司