專利名稱：信息處理裝置以及信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理技術(shù)，特別涉及包含用于進(jìn)行對應(yīng)于用戶的輸入的處理的用戶接口的信息處理裝置，以及在該裝置中執(zhí)行的信息處理方法。
背景技術(shù)：
近年來，包含游戲裝置或電器產(chǎn)品等的電子儀器的功能正在顯著地高度化。伴隨著這一變化，用戶通過用戶接口可以進(jìn)行的輸入體系變得復(fù)雜化。為了即使是這樣復(fù)雜的輸入體系，也可以容易進(jìn)行輸入，對用戶接口想了各種各樣的辦法。比如，在控制器的按鈕的分配上想辦法，或使用觸摸屏之外，也有提議將對用戶進(jìn)行拍攝的裝置作為接口，通過檢測用戶的面部的狀態(tài)，進(jìn)行各種各樣的處理的技術(shù)(參照比如專利文獻(xiàn)1)。這樣，在將攝像裝置作為用戶接口的情況下，為了檢測用戶的面部狀態(tài)，可以使用一般的面部檢測技術(shù)。比如對預(yù)先準(zhǔn)備的基準(zhǔn)圖像和檢測的面部區(qū)域的圖像進(jìn)行匹配，根據(jù)面部區(qū)域的面積判斷面部的朝向和傾斜。專利文獻(xiàn)1特開2008-15942號公報

發(fā)明內(nèi)容
由于信息處理技術(shù)進(jìn)步，使用電子儀器或信息處理裝置的環(huán)境、用戶、處理內(nèi)容等也多樣化，相應(yīng)于這些因素，期望的用戶接口也不同。因此，為了符合這樣的需求，用戶接口形式需要更加多樣化。特別是可以不進(jìn)行通過多個按鈕的復(fù)雜的輸入，而由自然的動作來進(jìn)行輸入的用戶接口很受歡迎。本發(fā)明是鑒于這樣的課題而做出的，其目的在于提供一種包含根據(jù)人的動作可以進(jìn)行正確且多樣的輸入的用戶接口的信息處理技術(shù)。本發(fā)明的一種形式是信息理裝置。該信息處理裝置具有攝像裝置，將對象物的運(yùn)動作為視頻圖像進(jìn)行拍攝；輸入值取得單元，根據(jù)對象物的輪廓線，從視頻圖像推定攝像裝置的對象物從位于豎向、橫向、縱深方向的三維空間中的基準(zhǔn)位置的運(yùn)動量；輸出數(shù)據(jù)生成單元，根據(jù)輸入值取得單元取得的在三維空間的運(yùn)動量，進(jìn)行不同的處理，生成輸出數(shù)據(jù)。本發(fā)明的另一種形式也是信息理裝置。該信息處理裝置具有攝像裝置，將對象物的運(yùn)動作為視頻圖像進(jìn)行拍攝；輸入值取得單元，從所述視頻圖像推定攝像裝置的對象物從位于豎向、橫向的二維空間中的基準(zhǔn)位置的運(yùn)動量、以及離開縱深方向的基準(zhǔn)位置的距離；輸出數(shù)據(jù)生成單元，對應(yīng)于追蹤處理單元取得在二維空間中的運(yùn)動量，進(jìn)行不同的處理并生成輸出數(shù)據(jù)。輸入值取得單元根據(jù)離開對象物的縱深方向的基準(zhǔn)位置的距離，修正從攝像裝置來看的表面上的豎向以及橫向的運(yùn)動量，由此分別推定實(shí)際的豎向以及橫向的運(yùn)動量。本發(fā)明的另一種形式是信息處理方法。該信息處理方法具有將對象物的運(yùn)動作為視頻圖像由攝像裝置進(jìn)行拍攝的步驟；根據(jù)對象物的輪廓線，從視頻圖像推定攝像裝置的對象物從位于豎向、橫向、縱深方向的三維空間中的基準(zhǔn)位置的運(yùn)動量的步驟；根據(jù)推定的在三維空間中的運(yùn)動量，進(jìn)行不同的處理并生成輸出數(shù)據(jù)的步驟。以上構(gòu)成要素的任意組合、將本發(fā)明的表現(xiàn)方式在方法、裝置、系統(tǒng)、計算機(jī)程序、 記錄有計算機(jī)程序的記錄介質(zhì)等之間轉(zhuǎn)換而成的形式，均作為本發(fā)明的形式有效。根據(jù)本發(fā)明，在各種各樣的信息處理中，可以將用戶自身的自然的運(yùn)動作為輸入值，高精度地進(jìn)行多種多樣的處理。


圖1是表示可適用于本實(shí)施方式的信息處理系統(tǒng)的構(gòu)成例的圖。圖2是用于說明將人物作為追蹤對象的情況下的視覺追蹤方法的圖。圖3是說明使用粒子過濾器(粒子過濾器)的概率密度分布推定的方法的圖。圖4是詳細(xì)表示在本實(shí)施方式中的信息處理裝置的構(gòu)成的圖。圖5是表示在本實(shí)施方式中的追蹤處理單元的構(gòu)成的圖。圖6是詳細(xì)表示在本實(shí)施方式中的輸入值轉(zhuǎn)換單元的構(gòu)成的圖。圖7是表示在本實(shí)施方式的初期處理單元進(jìn)行的校準(zhǔn)(* V」O — * 3 > )中拍攝用戶時的頭部的位置的圖。圖8是示意性地表示在本實(shí)施方式中用戶縱深方向的移動和圖像規(guī)定參數(shù)的對應(yīng)關(guān)系的圖。圖9是用于說明修正表示本實(shí)施方式中表面上的移動量的直行運(yùn)動(並進(jìn))量的值的原理的圖。圖10是表示本實(shí)施方式的信息處理裝置的處理順序的流程圖。圖11是表示在圖10的流程圖中，作為處理對象的游戲顯示在顯示裝置上的圖像相對于用戶的位置的變化的例子的圖。圖12是表示在圖10的流程圖中，作為處理對象的游戲顯示在顯示裝置上的圖像相對于用戶的位置的變化的例子的圖。
具體實(shí)施例方式圖1表示適用于本實(shí)施方式的信息處理系統(tǒng)的構(gòu)成例。信息處理系統(tǒng)10具有對用戶18進(jìn)行拍攝的攝像裝置12、檢測用戶的動作并進(jìn)行對應(yīng)于該動作的信息處理的信息處理裝置14、將作為信息處理裝置處理的結(jié)果而得到的圖像數(shù)據(jù)進(jìn)行輸出的顯示裝置16。信息處理裝置14與攝像裝置12或顯示裝置16的連接可以通過有線、無線、或各種網(wǎng)絡(luò)進(jìn)行。另外，攝像裝置12、信息處理裝置14、顯示裝置16中的任何2個或全部可以組合為一體。攝像裝置12不一定設(shè)置在顯示裝置16上。在下面的說明中，以攝像裝置12 從正面拍攝與顯示裝置16相對著的用戶18為前提，但即使拍攝方向不同，也可以根據(jù)簡單的坐標(biāo)轉(zhuǎn)換來進(jìn)行同樣的處理。另外，將攝像裝置12的鏡頭朝著的方向作為“縱深方向”， 加上與鏡頭面平行的平面中的“縱方向”以及“橫向”后的這3個方向，作為用戶移動的三維空間的軸來表現(xiàn)。攝像裝置12以設(shè)定的幀速率取得包含用戶18的圖像的數(shù)據(jù)。取得的視頻圖像數(shù)據(jù)被輸入到信息處理裝置14。信息處理裝置14根據(jù)從攝像裝置12取得的視頻圖像數(shù)據(jù)檢測用戶的動作。在本實(shí)施方式中，為了提高用戶根據(jù)自己的動作可以進(jìn)行的輸入的自由度，也取得對于攝像裝置12的縱深方向的移動的信息。具體的方法將在后面敘述，但通過檢測縱深方向的運(yùn)動，不只是可以進(jìn)行縱深方向的參數(shù)的輸入，也可以正確檢測豎向、橫向的運(yùn)動。其結(jié)果，與只檢測圖像平面上的運(yùn)動相比，可以大大提高輸入的自由度。信息處理裝置14檢測包含縱深方向的運(yùn)動的用戶的動作，并據(jù)此改變處理。在此，信息處理裝置14執(zhí)行的、與用戶接口相關(guān)的處理以外的處理的內(nèi)容不被限定。比如、可以想象將顯示在顯示裝置16中的圖像作為用戶18的視野，或把與用戶18對應(yīng)的對象作為化身來顯示，在洞穴或街中等假想空間一邊移動，一邊進(jìn)行各種各樣的動作的游戲等。角色扮演游戲或射擊游戲、拳擊游戲、足球游戲等，可以考慮各種使用這種狀態(tài)的游戲。在游戲以外，也可以在假想空間內(nèi)的假想店鋪購物，選擇顯示處理菜單的對象。這些處理都是基于使顯示裝置16顯示的圖像和用戶18的動作聯(lián)動這一想法，但本實(shí)施方式不限于此，可以是根據(jù)用戶的輸入而動作的所有應(yīng)用軟件(7 7?！笵 3 > )。即，如果事先進(jìn)行用戶的動作和處理的對應(yīng)，也可以考慮根據(jù)動作來切換顯示在顯示裝置16上的電視節(jié)目或網(wǎng)站等的使用。另外，也可以只選擇菜單但不伴隨圖像顯示。無論哪種方式，即時將用戶的運(yùn)動這一單純的變化作為“輸入值”，也可以提高輸入的自由度，同時可以高精度地檢測“輸入值”，因此，可以和各種各樣的應(yīng)用軟件進(jìn)行組合。顯示裝置16取得反映信息處理裝置14檢測的用戶18動作的結(jié)果而生成的圖像數(shù)據(jù)，并作為圖像輸出。在后面的說明中，將著眼于處理讓用戶的動作和顯示在顯示裝置16 上的圖像聯(lián)動的游戲的形式，如上所述，可適用的應(yīng)用軟件很多。下面對信息處理裝置14進(jìn)行的用戶18的動作檢測的原理進(jìn)行說明。在本實(shí)施方式中，攝像裝置12拍攝的包含用戶18的圖像執(zhí)行使用粒子過濾器的視覺追蹤處理。圖2 是用于說明將人物作為追蹤對象的情況下的視覺追蹤方法的圖。人物圖像150是構(gòu)成拍攝的視頻圖像的圖像流的圖像幀之一，成為追蹤對象的人物152映照在其中。該人物152與圖1中的用戶18相對應(yīng)。為了追蹤該人物152的運(yùn)動，用已知的表現(xiàn)方式記載將人物152的頭部輪廓的形狀近似化的Ω形的曲線154。另一方面，對包含人物152的人物圖像150進(jìn)行邊緣抽出處理，取得邊緣影像。通過使規(guī)定曲線154的參數(shù)，使該曲線IM直行運(yùn)動、伸縮、旋轉(zhuǎn)，搜索其附近的邊緣，由此確定被推定為和人物152的頭部輪廓最符合的參數(shù)的值。通過對每個幀反復(fù)進(jìn)行以上的處理，來進(jìn)行人物152的追蹤。此處的邊緣一般是指圖像的濃度和顏色發(fā)生突然變化的地方。為了進(jìn)行將規(guī)定的參數(shù)的值發(fā)生了各種變化的曲線IM和人物152的頭部輪廓的匹配，引入通過粒子過濾器進(jìn)行概率分布預(yù)測的技術(shù)。即，對應(yīng)于前一個幀的參數(shù)空間上的對象物的概率分布，增減曲線154的樣本數(shù)，進(jìn)行追蹤候補(bǔ)的優(yōu)選。由此，可對存在概率高的部分重點(diǎn)進(jìn)行搜索，高效地進(jìn)行高精度的匹配。對于著眼于對象物的輪廓的追蹤適用粒子過濾器的方法，比如非專利文獻(xiàn) (!Condensation Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998)中有所記載。在此，著眼于與本實(shí)施方式相關(guān)的部分進(jìn)行說明。首先將Ω形曲線巧4用B樣條曲線(B ^ ，^ >曲線)記述。B樣條曲線有η 個控制點(diǎn)⑴0，...，Q η)和η個節(jié)點(diǎn)(7 7卜)(s 0，. . .，sn)來定義。優(yōu)先設(shè)定這些參數(shù)，使得基本的曲線性在該情況下成為Ω形曲線。以下將由此時的設(shè)定得到的曲線稱為模板(〒>:/> 一卜)Qt。在進(jìn)行圖2所示的人物圖像150中的人物152的追蹤的情況下，模板Qt是Ω形，使該形狀根據(jù)追蹤對象而變化。即，如果追蹤對象是球時成為圓形，是手掌時成為手的形狀等。作為用于使模板的狀態(tài)變化的轉(zhuǎn)換參數(shù)，準(zhǔn)備了形狀空間矢量X。形狀空間矢量χ 由以下的6個參數(shù)構(gòu)成。χ = (shiftx, shifty, extendxcos θ -1, extendycos θ -1, -extendxsin θ , extendysin θ )τ (1)此處(shiftx，shifty)是向(χ，y)方向的直行運(yùn)動量，(extend,, extendy)是放大率，θ是旋轉(zhuǎn)角。如使用將形狀空間矢量χ作用于模板Qt的互動矩陣W，變形后的曲線， 即，候補(bǔ)曲線Q可以表述如下。
權(quán)利要求
1.一種信息處理裝置，其特征在于包括攝像裝置，將對象物的運(yùn)動作為視頻圖像進(jìn)行拍攝；輸入值取得單元，根據(jù)所述對象物的輪廓線，從所述視頻圖像推定所述對象物相對于所述攝像裝置、在豎向、橫向、縱深方向的三維空間離開基準(zhǔn)位置的運(yùn)動量；輸出數(shù)據(jù)生成單元，根據(jù)所述輸入值取得單元推定的、在三維空間的運(yùn)動量，進(jìn)行不同的處理，生成輸出數(shù)據(jù)。
2.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述輸入值取得單元包括追蹤處理單元，用曲線表示所述對象物的一般形狀，至少使該曲線的放大率以及直行運(yùn)動量變化的同時，與構(gòu)成所述攝像裝置拍攝的視頻圖像的圖像幀的邊緣影像進(jìn)行匹配， 由此對每個圖像幀取得規(guī)定與該圖像幀中的所述對象物最吻合的曲線的放大率以及直行運(yùn)動量的數(shù)據(jù)；輸入值轉(zhuǎn)換單元，使用所述追蹤處理單元取得的所述直行運(yùn)動量的數(shù)據(jù)，推定豎向以及橫向的運(yùn)動量，使用所述放大率的數(shù)據(jù)，推定縱深方向的運(yùn)動量。
3.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述輸入值取得單元包括追蹤處理單元，用曲線表示所述對象物的一般形狀，至少使該曲線的放大率以及直行運(yùn)動量變化的同時，與構(gòu)成所述攝像裝置拍攝的視頻圖像的圖像幀的邊緣影像進(jìn)行匹配， 由此對每個圖像幀取得與該圖像幀中的所述對象物最吻合的曲線；輸入值轉(zhuǎn)換單元，使用由所述追蹤處理單元取得的曲線圍著的區(qū)域的像素數(shù)，推定縱深方向的運(yùn)動量。
4.如權(quán)利要求2或3所述的信息處理裝置，其特征在于，所述追蹤處理單元將人的頭部的輪廓形狀作為所述對象物并用Ω形狀的曲線來表示；所述輸入值轉(zhuǎn)換單元推定用戶的頭部在三維空間的運(yùn)動量。
5.如權(quán)利要求1至3中任一項(xiàng)所述的信息處理裝置，其特征在于，所述輸出數(shù)據(jù)生成單元根據(jù)所述運(yùn)動量將唯一決定的變數(shù)作為輸入值進(jìn)行處理；還具有初期處理單元，在所述輸出數(shù)據(jù)生成單元的處理之前，對每個對象物確定所述對象物在各方向的運(yùn)動范圍，決定該運(yùn)動范圍和所述輸出數(shù)據(jù)生成單元的輸入值的對應(yīng)關(guān)系。
6.如權(quán)利要求1至3中任一項(xiàng)所述的信息處理裝置，其特征在于，所述輸出數(shù)據(jù)生成單元根據(jù)預(yù)先設(shè)定的對應(yīng)關(guān)系，將對應(yīng)于所述運(yùn)動量唯一地決定的變數(shù)作為輸入值進(jìn)行處理；還具有初期處理單元，在所述輸出數(shù)據(jù)生成單元的處理之前，將所述攝像裝置拍攝的用戶的圖像的鏡象顯示到顯示裝置上后，在由所述對應(yīng)關(guān)系規(guī)定的、與所述對象物在各方向的許可移動范圍的端點(diǎn)相對應(yīng)的鏡象上的位置，還顯示表示所述對象物的一般形狀的曲線，以在顯示圖像上使該曲線和所述對象物的實(shí)際的輪廓線相一致的方式移動所述對象物，由此，讓用戶認(rèn)識所述對象物的許可移動范圍。
7.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述輸入值取得單元根據(jù)所述對象物的縱深方向的運(yùn)動量，修正從攝像裝置看上去的豎向以及橫向的運(yùn)動量，由此，分別推定實(shí)際的豎向以及橫向的運(yùn)動量。
8.如權(quán)利要求1所述的信息處理裝置，其特征在于，所述輸出數(shù)據(jù)生成單元在所述三維空間的、離開基準(zhǔn)位置的運(yùn)動量沒有超過預(yù)先設(shè)定的閾值的情況下，不使該運(yùn)動量的變化反映到執(zhí)行的處理中。
9.如權(quán)利要求2所述的信息處理裝置，其特征在于，所述輸入值轉(zhuǎn)換單元對于在各圖像幀取得的所述直行運(yùn)動量的數(shù)據(jù)和所述放大率的數(shù)據(jù)，使用此前的圖像幀的各數(shù)據(jù)的時間變化，實(shí)施去噪過濾，進(jìn)行修正。
10.如權(quán)利要求4所述的信息處理裝置，其特征在于，所述輸出數(shù)據(jù)生成單元生成表示在用戶的假想世界的視野的圖像的數(shù)據(jù)，根據(jù)用戶的頭部在三維空間的運(yùn)動量，使該視野的視點(diǎn)變化；還具有顯示裝置，以用戶在三維空間移動的同時可以確認(rèn)的方式，顯示所述輸出數(shù)據(jù)生成單元生成的圖像顯示。
11.如權(quán)利要求4所述的信息處理裝置，其特征在于，所述輸出數(shù)據(jù)生成單元生成表現(xiàn)表示在假想世界中的用戶的對象的圖像的數(shù)據(jù)，根據(jù)用戶的頭部在三維空間的運(yùn)動量，使該對象運(yùn)動；還具有顯示裝置，以用戶在三維空間移動的同時可以確認(rèn)的方式，顯示所述輸出數(shù)據(jù)生成單元生成的圖像。
12.一種信息處理裝置，其特征在于具有攝像裝置，將對象物的運(yùn)動作為視頻圖像進(jìn)行拍攝；輸入值取得單元，從所述視頻圖像推定所述對象物對于所述攝像裝置在豎向、橫向的二維空間離開基準(zhǔn)位置的運(yùn)動量、和縱深方向離開基準(zhǔn)位置的距離；輸出數(shù)據(jù)生成單元，根據(jù)所述輸入值取得單元推定的、在二維空間的運(yùn)動量，進(jìn)行不同的處理，生成輸出數(shù)據(jù)；所述輸入值取得單元根據(jù)所述對象物離開縱深方向的基準(zhǔn)位置的距離，修正從攝像裝置看上去的豎向以及橫向的運(yùn)動量，由此，分別推定實(shí)際的豎向以及橫向的運(yùn)動量。
13.一種信息處理方法，其特征在于具有將對象物的運(yùn)動作為視頻圖像，由攝像裝置進(jìn)行拍攝的步驟； 根據(jù)所述對象物的輪廓線，從所述視頻圖像推定所述對象物對于攝像裝置在豎向、橫向、縱深方向的三維空間離開基準(zhǔn)位置的運(yùn)動量的步驟；根據(jù)推定的在三維空間的運(yùn)動量進(jìn)行不同的處理，生成輸出數(shù)據(jù)的步驟。
14.如權(quán)利要求13所述的信息處理方法，其特征在于生成所述輸出數(shù)據(jù)的步驟與所述對象物在三維空間的運(yùn)動量相聯(lián)動，生成變化的視頻圖像的數(shù)據(jù)；還具有顯示所述視頻圖像的步驟。
15.一種計算機(jī)程序，其特征在于，使計算機(jī)實(shí)現(xiàn)如下功能 將對象物的運(yùn)動作為視頻圖像，由攝像裝置進(jìn)行拍攝的功能；根據(jù)所述對象物的輪廓線，從所述視頻圖像推定所述對象物對于攝像裝置在豎向、橫向、縱深方向的三維空間離開基準(zhǔn)位置的運(yùn)動量的功能；根據(jù)推定的、在三維空間的運(yùn)動量，進(jìn)行不同的處理，生成輸出數(shù)據(jù)的功能。
16.一種存儲介質(zhì)，其特征在于，存儲有使計算機(jī)實(shí)現(xiàn)如下功能的計算機(jī)程序 將對象物的運(yùn)動作為視頻圖像，由攝像裝置進(jìn)行拍攝的功能；根據(jù)所述對象物的輪廓線，從所述視頻圖像推定所述對象物對于攝像裝置在豎向、橫向、縱深方向的三維空間離開基準(zhǔn)位置的運(yùn)動量的功能；根據(jù)推定的、在三維空間的運(yùn)動量，進(jìn)行不同的處理，生成輸出數(shù)據(jù)的功能。
全文摘要
本發(fā)明涉及信息處理裝置以及信息處理方法。信息處理裝置(14)的圖像取得單元(20)取得攝像裝置(12)取得的、包含用戶姿態(tài)的視頻圖像的數(shù)據(jù)。初期處理單元(22)決定用戶的移動量和規(guī)定最終輸出的圖像的參數(shù)的對應(yīng)關(guān)系，存儲到轉(zhuǎn)換信息存儲單元(24)。追蹤處理單元(26)對視頻圖像進(jìn)行通過粒子過濾器的視覺追蹤，推定用戶的頭部輪廓的放大率、直行運(yùn)動量。輸入值轉(zhuǎn)換單元(28)以放大率、直行運(yùn)動量為媒介，將用戶的移動量轉(zhuǎn)換成規(guī)定圖像的參數(shù)。輸出數(shù)據(jù)生成單元(30)根據(jù)該參數(shù)生成圖像。輸出控制單元(32)以將生成的圖像顯示到顯示裝置(16)上的方式進(jìn)行控制。
文檔編號G06F3/01GK102317888SQ200980156868
公開日2012年1月11日 申請日期2009年10月23日 優(yōu)先權(quán)日2009年2月19日
發(fā)明者池上涉一 申請人:索尼計算機(jī)娛樂公司