專(zhuān)利名稱(chēng)：娛樂(lè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于識(shí)別在真實(shí)空間上存在的對(duì)象的技術(shù)。
背景技術(shù)：
近年來(lái)，提出了這樣的技術(shù)，就是用攝像機(jī)拍攝二維碼來(lái)識(shí)別碼數(shù)據(jù)， 并執(zhí)行與該碼數(shù)據(jù)對(duì)應(yīng)的規(guī)定的處理。與一維碼相比，二維碼可編碼的信息 量較多，當(dāng)前各種二維碼已經(jīng)實(shí)用化。在這樣的狀況下，以往提出與二維碼 的圖像識(shí)別有關(guān)的技術(shù)(例如，參照專(zhuān)利文獻(xiàn)1 )。
為了取得真實(shí)空間上的對(duì)象的三維位置或姿勢(shì)等，存在利用了磁方式、
超聲波方式或光學(xué)方式的各種測(cè)量系統(tǒng)?；诖欧绞降臏y(cè)量系統(tǒng)容易受到環(huán) 境中存在的電子設(shè)備或地磁等的影響，而基于超聲波方式的測(cè)量系統(tǒng)容易受 到環(huán)境的氣壓和溫度等的影響。另一方面，基于光學(xué)方式的測(cè)量系統(tǒng)由于利 用攝像機(jī)所拍攝的拍攝圖像，因此不會(huì)受到周邊的磁場(chǎng)或氣壓、溫度等的影 響。作為利用光學(xué)方式的測(cè)量系統(tǒng)，提出了以下的技術(shù)，即分別以唯一確定
的閃爍模式使對(duì)象上設(shè)置的多個(gè)LED進(jìn)行閃爍，從而利用二維圖像傳感器的 拍攝圖像來(lái)識(shí)別三維位置和姿勢(shì)等(例如，參照專(zhuān)利文獻(xiàn)2)。在專(zhuān)利文獻(xiàn)2 中，用作標(biāo)記(marker)的LED具有對(duì)每個(gè)LED可唯一識(shí)別的識(shí)別信息。
專(zhuān)利文獻(xiàn)l:特開(kāi)2000-82108號(hào)公報(bào)
專(zhuān)利文獻(xiàn)2:特開(kāi)2003-254716號(hào)公報(bào)

發(fā)明內(nèi)容
發(fā)明要解決的課題
隨著近年來(lái)的技術(shù)進(jìn)步，游戲系統(tǒng)的硬件規(guī)格飛躍性地提高。由此，游 戲應(yīng)用也多樣化，最近，實(shí)現(xiàn)了這樣的游戲系統(tǒng)，即將攝像機(jī)和游戲裝置連 接，在用戶(hù)在攝像機(jī)前面移動(dòng)身體時(shí)，游戲裝置對(duì)用戶(hù)的移動(dòng)進(jìn)行光學(xué)識(shí)別， 從而用作對(duì)游戲的輸入。在這樣的游戲環(huán)境下，本發(fā)明人通過(guò)有效地利用與 游戲裝置連接的攝像機(jī)，從而設(shè)想到以往沒(méi)有的游戲系統(tǒng)和控制器。此外，
考慮如果由攝像機(jī)拍攝真實(shí)空間中的對(duì)象，并從拍攝圖像中將關(guān)于對(duì)象實(shí)施 了加工處理的信息顯示在圖像顯示裝置上，則不僅游戲系統(tǒng)，在其它環(huán)境例 如教育現(xiàn)場(chǎng)和商務(wù)現(xiàn)場(chǎng)等娛樂(lè)系統(tǒng)中，也能夠產(chǎn)生有效的應(yīng)用。
因此，本發(fā)明的目的在于提供具有新的應(yīng)用處理功能的娛樂(lè)系統(tǒng)和在該 娛樂(lè)系統(tǒng)中利用的操作輸入裝置。
解決課題的手段
為了解決上述課題，本發(fā)明的某一方案的娛樂(lè)系統(tǒng)包括操作輸入裝置， 用于由用戶(hù)進(jìn)行操作輸入；處理裝置，基于所述操作輸入裝置中的操作輸入 來(lái)處理應(yīng)用，并生成表示應(yīng)用的處理結(jié)果的圖像信號(hào)；拍攝裝置，對(duì)所述操 作輸入裝置進(jìn)行拍攝；以及圖像顯示裝置，輸出在所述處理裝置中生成的圖 像、信號(hào)。
在該方案的娛樂(lè)系統(tǒng)中，所述操作輸入裝置具有多個(gè)用于進(jìn)行操作輸入 的輸入單元，以及用于表現(xiàn)在執(zhí)行的應(yīng)用中對(duì)該操作輸入裝置設(shè)定的號(hào)碼的 多個(gè)發(fā)光元件，所述操作輸入是用戶(hù)進(jìn)行應(yīng)用的操作輸入，所述處理裝置具 有以下功能接受所述搡作輸入裝置中的操作輸入并反映在應(yīng)用的處理中， 同時(shí)從所述拍攝裝置取得拍攝圖像，從拍攝圖像中的所述發(fā)光元件的位置來(lái) 取得所述操作輸入裝置在拍攝圖像中的位置，從而將取得的位置信息反映在 應(yīng)用的處理中，并生成圖像信號(hào)，用于表示基于操作輸入和取得的位置信息 的應(yīng)用處理結(jié)果。
本發(fā)明的另 一方案涉及將用戶(hù)的操作輸入傳輸給游戲裝置的游戲控制 器。該方案的游戲控制器包括由用戶(hù)把持的把持單元、為了在用戶(hù)把持所述 把持單元的狀態(tài)下由用戶(hù)進(jìn)行操作輸入而設(shè)置在殼體上面的多個(gè)輸入單元、 將經(jīng)由所述輸入單元輸入的操作輸入傳輸?shù)接螒蜓b置的傳輸單元、以及設(shè)置 在殼體背面的多個(gè)發(fā)光元件。
另外，以上的構(gòu)成元件的任意組合、將本發(fā)明的表現(xiàn)在方法、裝置、系 統(tǒng)、記錄介質(zhì)、計(jì)算機(jī)程序等之間變換的結(jié)果作為本發(fā)明的方案都有效。


圖1是表示本發(fā)明的實(shí)施例的游戲系統(tǒng)的使用環(huán)境的圖。
圖2是表示控制器的外觀結(jié)構(gòu)的圖。
圖3是表示控制器的背面一側(cè)的外觀結(jié)構(gòu)的圖。
圖4是表示控制器的內(nèi)部結(jié)構(gòu)的圖。
圖5是表示游戲裝置的結(jié)構(gòu)的圖。
圖6是表示圖像處理單元的結(jié)構(gòu)的圖。
圖7 (a)是表示當(dāng)前幀圖像的圖，圖7 (b)是表示當(dāng)前幀圖像和前一幀 圖像的差分圖像的圖。
圖8 (a)是表示當(dāng)前幀圖像的二值化圖像的圖，圖8 (b)是表示"與" 圖像的圖。
圖9是表示LED圖像候選的檢測(cè)處理的處理步驟的流程圖。 圖10是表示LED提取處理的處理步驟的流程圖。
圖11是表示圖10的S122所示的第二 LED4企測(cè)處理的處理步驟的流程圖。
圖12是表示圖10的S124所示的第三LED檢測(cè)處理的處理步驟的流程圖。
圖13是表示圖10的S126所示的第四LED檢測(cè)處理的處理步驟的流程圖。
圖14是用于說(shuō)明用于與控制器對(duì)應(yīng)的虛擬對(duì)象在游戲畫(huà)面內(nèi)實(shí)現(xiàn)平滑 的跟隨動(dòng)作的算法的圖。
具體實(shí)施例方式
圖1表示本發(fā)明的實(shí)施例的游戲系統(tǒng)的使用環(huán)境。游戲系統(tǒng)1包括拍攝 裝置2、圖像顯示裝置3、聲音輸出裝置4、游戲裝置10和控制器20。拍攝 裝置2、圖像顯示裝置3、聲音輸出裝置4和控制器20連接到游戲裝置10。
控制器20是用于用戶(hù)進(jìn)行操作輸入的操作輸入裝置，游戲裝置10是基 于控制器20中的操作輸入來(lái)處理游戲應(yīng)用并且生成表示游戲應(yīng)用的處理結(jié) 果的圖像信號(hào)的處理裝置。另外，本實(shí)施例所示的技術(shù)不限于游戲應(yīng)用，在 包括執(zhí)行其它種類(lèi)的應(yīng)用的處理裝置的娛樂(lè)系統(tǒng)中也能夠?qū)崿F(xiàn)。以下，以?shī)?樂(lè)系統(tǒng)為代表，說(shuō)明執(zhí)行游戲應(yīng)用的游戲系統(tǒng)1。
拍攝裝置2是由CCD拍攝元件或CMOS拍攝元件等構(gòu)成的攝影機(jī)，以 規(guī)定的周期拍攝真實(shí)空間，生成每個(gè)周期的幀圖像。例如，拍攝裝置2的拍 攝周期為30張/秒，也可以與圖像顯示裝置3的幀頻一致。拍攝裝置2經(jīng)由 USB ( Universal Serial Bus )或者其它的接口與游戲裝置10連接。
圖像顯示裝置3是輸出圖像信號(hào)的顯示器，接受在游戲裝置10中生成的 圖像信號(hào)并顯示游戲畫(huà)面。聲音輸出裝置4是輸出聲音的揚(yáng)聲器，接受在游
戲裝置10中生成的聲音信號(hào)并輸出游戲聲音。圖像顯示裝置3和聲音輸出裝 置4構(gòu)成游戲系統(tǒng)1中的輸出裝置。
游戲裝置10和圖像顯示裝置3可以通過(guò)有線(xiàn)連接，也可以通過(guò)無(wú)線(xiàn)連接。 游戲裝置10和圖像顯示裝置3也可以通過(guò)AV電纜連接。此外，在游戲裝置 10和圖像顯示裝置3之間也可以構(gòu)造通過(guò)網(wǎng)絡(luò)(LAN)電纜或無(wú)線(xiàn)LAN等 構(gòu)筑的家庭網(wǎng)絡(luò)。
控制器20具有將用戶(hù)的操作輸入傳輸?shù)接螒蜓b置10的功能，在本實(shí)施 例中，構(gòu)成在與游戲裝置10之間可進(jìn)行無(wú)線(xiàn)通信的無(wú)線(xiàn)控制器?？刂破?0 和游戲裝置10可以使用Bluetooth (藍(lán)牙)(注冊(cè)商標(biāo))協(xié)議來(lái)確立無(wú)線(xiàn)連接。 游戲裝置10可以進(jìn)行與多個(gè)控制器20的無(wú)線(xiàn)連接，即在游戲系統(tǒng)l中，可 以實(shí)現(xiàn)游戲裝置10和控制器20的一對(duì)N連接。游戲裝置10作為主機(jī)(master) 起作用，控制器20作為從屬機(jī)(slave)起作用。另外，控制器20不限于無(wú) 線(xiàn)控制器，也可以是經(jīng)由電纜和游戲裝置IO連接的有線(xiàn)控制器。
控制器20通過(guò)未圖示的電池驅(qū)動(dòng)，具有用于進(jìn)行操作輸入的多個(gè)按鈕或 鍵，該操作輸入是進(jìn)行游戲的操作輸入。用戶(hù)操作控制器20的按鈕或鍵時(shí)， 該操作輸入通過(guò)無(wú)線(xiàn)被發(fā)送到游戲裝置10。游戲裝置10從控制器20接收與 游戲應(yīng)用有關(guān)的操作輸入，并根據(jù)操作輸入來(lái)控制游戲進(jìn)行，從而生成游戲 圖像信號(hào)和游戲聲音信號(hào)。生成的游戲圖像信號(hào)和游戲聲音信號(hào)分別由圖像 顯示裝置3和聲音輸出裝置4輸出。此外，游戲裝置IO具有根據(jù)游戲應(yīng)用的 進(jìn)行狀況來(lái)對(duì)控制器20發(fā)送使控制器20振動(dòng)的振動(dòng)控制信號(hào)的功能?？刂?器20具有振子，如果接收到振動(dòng)控制信號(hào)則振動(dòng)振子。
本實(shí)施例的游戲系統(tǒng)l中，控制器20具有多個(gè)發(fā)光元件。多個(gè)發(fā)光元件 分別是同色的LED，具有作為表現(xiàn)由游戲應(yīng)用設(shè)定的控制器號(hào)碼的指示器的 作用。游戲系統(tǒng)中的控制器號(hào)碼例如在游戲開(kāi)始時(shí)選擇游戲角色時(shí)等被用戶(hù) 利用，因此需要通過(guò)某種手段通知用戶(hù)控制器號(hào)碼。因此，在控制器20中， 假設(shè)如果多個(gè)LED中例如第一個(gè)LED點(diǎn)亮，則控制器號(hào)碼為1，此外，如果 第二個(gè)LED點(diǎn)亮則控制器號(hào)碼為2,從而使用戶(hù)知道控制器號(hào)碼。另外，也 可以通過(guò)多個(gè)LED的組合來(lái)表現(xiàn)控制器號(hào)碼。
在控制器20為有線(xiàn)控制器的情況下，也可以通過(guò)從控制器20延伸的電
纜連接器插入游戲裝置IO的端口的位置來(lái)決定控制器號(hào)碼。但是，在將具有 多個(gè)端口的多端口裝置外置于游戲裝置10上來(lái)使用的情況下，由于用戶(hù)不能
立即得知控制器號(hào)碼，因此優(yōu)選使用多個(gè)LED對(duì)用戶(hù)通知控制器號(hào)碼。
在游戲系統(tǒng)1中，不僅將控制器20的LED用作控制器號(hào)碼的指示器， 而且也用作對(duì)游戲應(yīng)用的進(jìn)行帶來(lái)影響的游戲輸入。在該情況下，LED的控 制不是作為指示器點(diǎn)亮，而是切換到作為對(duì)游戲應(yīng)用的輸入而點(diǎn)亮。拍攝裝 置2拍攝控制器20的LED,并生成幀圖像從而提供給游戲裝置10。游戲裝 置IO取得幀圖像，從幀圖像中的LED圖像的位置來(lái)推測(cè)并取得控制器20在 幀圖像中的位置和姿勢(shì)，并將取得的位置信息和/或姿勢(shì)信息反映在游戲應(yīng)用 的處理中。即，本實(shí)施例的游戲裝置10具有不僅使用在控制器20中輸入的 操作輸入，而且使用取得的控制器20的位置信息和姿勢(shì)信息來(lái)處理游戲應(yīng) 用，從而生成表示其處理結(jié)果的圖像信號(hào)的功能。
圖2表示控制器的外觀結(jié)構(gòu)?？刂破?0中設(shè)有方向鍵21、模擬搖桿27、 四種操作按鈕26。方向鍵21、模擬搖桿27、操作按鈕26是設(shè)置在殼體上面 30上的輸入單元。為了互相區(qū)別而在四種按鈕22-25上以不同顏色畫(huà)上不 同圖形。即，〇按鈕22上畫(huà)了紅色的圈，x按鈕23上畫(huà)了藍(lán)色的叉，口按 鈕24上畫(huà)了紫色的四邊形，A按鈕25上畫(huà)了綠色的三角形。.在控制器20的 殼體背面29上設(shè)有多個(gè)LED。
用戶(hù)左手把持左側(cè)把持單元28a,右手把持右側(cè)把持單元28b,從而操作 控制器20。方向鍵21、模擬搖桿27、操作按鈕26被設(shè)置在殼體上面30上， 從而能夠在用戶(hù)把持左側(cè)把持單元28a，右側(cè)把持單元28b的狀態(tài)下進(jìn)行操 作。
在殼體上面30上也設(shè)有帶LED的按鈕31。帶LED的按鈕31例如用作 在圖像顯示裝置3上顯示菜單畫(huà)面的按鈕。此外，也具有通過(guò)LED的發(fā)光狀 態(tài)來(lái)對(duì)用戶(hù)通知郵件的來(lái)信，和表示控制器20的電池的充電狀態(tài)等功能。例 如，充電中點(diǎn)亮為紅色，充電結(jié)束時(shí)點(diǎn)亮為綠色，在充電剩余量所剩無(wú)幾時(shí) 點(diǎn)亮LED以閃爍紅色。
由于用戶(hù)一邊觀看顯示在圖像顯示裝置3中的游戲畫(huà)面一邊進(jìn)行游戲， 因此圖像顯示裝置3存在于箭頭A所示的控制器20的前方。因此，通常， 將配置了 LED的殼體背面29朝向圖像顯示裝置3。本實(shí)施例中，拍攝裝置2 需要在游戲應(yīng)用的執(zhí)行中拍攝LED,因此被配置為該攝像范圍朝向與圖像顯
示裝置3相同的方向，優(yōu)選朝向控制器20的殼體背面29。 一^:由于用戶(hù)在 圖像顯示裝置3的正面玩游戲的情況較多，因此拍攝裝置2配置為其光軸方 向與圖像顯示裝置3的正面方向一致。具體來(lái)說(shuō)，拍攝裝置2優(yōu)選在圖像顯 示裝置3附近被配置為將用戶(hù)可識(shí)別圖像顯示裝置3的顯示畫(huà)面的位置包含 在拍攝范圍中。由此，拍攝裝置2可以拍攝用戶(hù)的身體以及控制器20。
圖3表示控制器的背面一側(cè)的外觀結(jié)構(gòu)。在圖3中，省略了控制器20的 殼體上面30中的方向鍵21和操作按鈕26等的圖示。在殼體背面29設(shè)有LED 配設(shè)區(qū)域42,在LED配設(shè)區(qū)域42內(nèi)配置第一 LED40a 、第二 LED40b 、第三 LED40c以及第四LED40d。以下，在總稱(chēng)第一LED40a、第二LED40b、第三 LED40c以及第四LED40d的情況下，表示為"LED40"。 LED配設(shè)區(qū)域42 -陂形成在殼體背面29中的中央?yún)^(qū)域。在LED配設(shè)區(qū)域42的中央部分設(shè)有 USB連接器46。 USB連接器46上連接從游戲裝置IO延伸的USB電纜，可 以進(jìn)行控制器20的充電處理。另外，如果連接USB電纜，則也可以將控制 器20用作有線(xiàn)控制器。
在殼體背面29 —側(cè)，隔著LED配設(shè)區(qū)域42在左右設(shè)有操作按鈕48a、 48b、 48c、 48d。操作按鈕48a、 48b、 48c、 48d被設(shè)置在用戶(hù)保持了左側(cè)4巴 持單元28a、右側(cè)把持單元28b的狀態(tài)下食指的前端也能夠操作的位置。由此， 在操作搡作按鈕48a、 48b、 48c、 48d時(shí)，LED40不會(huì)一皮食指蓋住。
LED40被用作表現(xiàn)控制器號(hào)碼的指示器，但作為使用控制器20的用戶(hù)來(lái) 說(shuō)，只要一次確認(rèn)了就足夠了，并不優(yōu)選配置在通常能看到的殼體上面30。 另一方面，在存在其它用戶(hù)的情況下，通過(guò)將LED40配置在殼體背面29上， 從而具有其它用戶(hù)能夠容易看見(jiàn)的優(yōu)點(diǎn)。此外，由于在殼體上面30上存在帶 有LED的按鈕31，因此如果配置LED40則用戶(hù)難以區(qū)別。因此控制器20 將LED40配置在殼體背面29上。
拍攝裝置2取得各像素中的RGB的亮度值。為了正確地檢測(cè)出發(fā)光了的 LED40,優(yōu)選LED40和LED40周?chē)膮^(qū)域的對(duì)比度較大。因此，LED配設(shè) 區(qū)域42具有比其相鄰的殼體顏色的亮度低的顏色，例如施加黑色的配色。LED 配設(shè)區(qū)域42構(gòu)成為黑色半透明板，LED40設(shè)在其背后即殼體內(nèi)部一側(cè)。由此， 如果LED40不點(diǎn)亮則從拍攝裝置2看不見(jiàn)，僅點(diǎn)亮?xí)r被拍攝。黑色半透明板 也具有將光擴(kuò)散從而將LED40的窄定向性變?yōu)閷挾ㄏ蛐缘淖饔谩Ｍㄟ^(guò)將 LED40設(shè)置在LED配設(shè)區(qū)域42中，從而可以提高與發(fā)光的LED40對(duì)比度，
并且在以后的圖像處理中，可以從幀圖像中有效地提取出LED圖像。
第一 LED40a、第二 LED40b、第三LED40c以及第四LED40d以規(guī)定的 二維圖形配置。例如，第一LED40a、第二LED40b、第三LED40c以及第四 LED40d配置在構(gòu)成矩形的頂點(diǎn)的位置上。游戲裝置10預(yù)先掌握該位置關(guān)系， 用于LED圖像的提取處理。另外，在各LED40附近刻有或印刷有數(shù)字，用 戶(hù)觀看點(diǎn)亮的LED40附近的ft字，從而可以得知控制器號(hào)碼。
圖4表示控制器的內(nèi)部結(jié)構(gòu)。控制器20包括無(wú)線(xiàn)通信模塊58、處理單 元60、 LED40以及振子44。無(wú)線(xiàn)通信模塊58具有在與游戲裝置10的無(wú)線(xiàn)通 信模塊之間發(fā)送接收數(shù)據(jù)的功能。處理單元60執(zhí)行控制器20中的希望的處 理。
處理單元60具有主控制單元50、輸入接受單元52、 PWM控制單元54 以及驅(qū)動(dòng)單元56。主控制單元50在與無(wú)線(xiàn)通信模塊58之間進(jìn)行必要的數(shù)據(jù) 的發(fā)送接收。
輸入接受單元52接受來(lái)自方向鍵21、操作按鈕26、模擬搖桿27等輸入 單元的輸入信息，并發(fā)送到主控制單元50。主控制單元50將取得的輸入信 息提供給無(wú)線(xiàn)通信模塊58，無(wú)線(xiàn)通信模塊58在規(guī)定的定時(shí)發(fā)送給游戲裝置 10。此外，無(wú)線(xiàn)通信模塊58從游戲裝置IO取得振動(dòng)控制信號(hào)時(shí)，提供給主 控制單元50,主控制單元50基于振動(dòng)控制信號(hào)驅(qū)動(dòng)用于使振子44振動(dòng)的驅(qū) 動(dòng)單元56。驅(qū)動(dòng)單元56可以構(gòu)成為用于驅(qū)動(dòng)振子44的開(kāi)關(guān)，而且也可以構(gòu) 成為可改變供給電壓的占空比的PWM控制單元。
在本實(shí)施例中，PWM控制單元54包括第一 PWM控制單元54a、第二 PWM控制單元54b、第三PWM控制單元54c和第四PWM控制單元54d。 第一 PWM控制單元54a、第二PWM控制單元54b、第三PWM控制單元54c 和第四PWM控制單元54d分別被設(shè)置用于控制第一 LED40a、第二 LED40b、 第三LED40c和第四LED40d的點(diǎn)亮。PWM控制單元54通過(guò)PWM (脈寬調(diào) 制)來(lái)控制施加到LED40的電壓。例如，PWM控制單元54通過(guò)以數(shù)kHz 的高頻率對(duì)施加電壓進(jìn)行PWM控制，從而可以調(diào)整LED40的亮度。此外， PWM控制單元54通過(guò)以數(shù)Hz ~ 100Hz程度的低頻率對(duì)施加電壓進(jìn)行PWM 控制，從而可以在拍攝裝置2中識(shí)別LED40點(diǎn)亮的開(kāi)/關(guān)。
在本實(shí)施例的游戲系統(tǒng)1中，首先，希望參加游戲系統(tǒng)1的用戶(hù)的控制 器20在與游戲裝置IO之間確立通信。此時(shí)，控制器20的識(shí)別信息例如藍(lán)牙地址被傳送到游戲裝置10,以后的通信基于該藍(lán)牙地址進(jìn)行。另外，在不使
用藍(lán)牙作為通信協(xié)議的情況下，也可以利用MAC地址等設(shè)備地址。在確立
連接之后，用戶(hù)可以參加游戲應(yīng)用。
此時(shí)，從游戲裝置IO對(duì)控制器20發(fā)送用于指示控制器號(hào)碼的信息。主 控制單元50基于該號(hào)碼指示信息，僅使與設(shè)定的控制器號(hào)碼對(duì)應(yīng)的LED40 點(diǎn)亮。由此，用戶(hù)能夠得知本身的控制器20的控制器號(hào)碼。另外，也可以從 游戲裝置IO發(fā)送用于指示與控制器號(hào)碼對(duì)應(yīng)的LED40的點(diǎn)亮的控制信號(hào)來(lái) 代替號(hào)碼指示信息。這樣，主控制單元50可以使任意的LED40點(diǎn)亮。
在本實(shí)施例的游戲系統(tǒng)1中，游戲裝置10基于在將所有LED40a 40d 點(diǎn)亮了的狀態(tài)下拍攝的幀圖像，對(duì)控制器20的位置以及姿勢(shì)進(jìn)行估計(jì)。估計(jì) 的位置和姿勢(shì)作為要執(zhí)行的游戲應(yīng)用的輸入被利用。此外，游戲裝置10也接 受控制器20的方向鍵21和操作按鈕26等的操作輸入。游戲裝置10基于這 些輸入信息，生成游戲應(yīng)用的游戲參數(shù)，并控制游戲的進(jìn)行，從而生成游戲 圖像和游戲聲音的AV數(shù)據(jù)。AV數(shù)據(jù)在圖像顯示裝置3和聲音輸出裝置4中 被輸出。用戶(hù)一邊觀看游戲畫(huà)面， 一邊在真實(shí)空間上移動(dòng)控制器20，進(jìn)而以 方向鍵21和操作按鈕26作為操作輸入來(lái)進(jìn)行游戲。以下，說(shuō)明游戲裝置IO 中的處理。
圖5表示游戲裝置的結(jié)構(gòu)。游戲裝置10包括輸入單元100、圖像處理單 元102、位置估計(jì)單元104、閃爍指示單元106、無(wú)線(xiàn)通信模塊108、應(yīng)用處 理單元110以及輸出單元112。本實(shí)施例中的游戲裝置10的處理功能由CPU、 存儲(chǔ)器、被載入存儲(chǔ)器的程序等實(shí)現(xiàn)，這里，繪出了通過(guò)它們的協(xié)作而實(shí)現(xiàn) 的結(jié)構(gòu)。程序可以?xún)?nèi)置于游戲裝置10，或者以存儲(chǔ)在記錄介質(zhì)中的形式從外 部提供。從而，這些功能塊可以?xún)H以硬件形式、僅以軟件形式或它們的組合 而以各種形式實(shí)現(xiàn)，這是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的。在圖示的例子中，游 戲裝置10的CPU具有作為圖像處理單元102、位置估計(jì)單元104、閃爍指示 單元106、應(yīng)用處理單元110的功能。另外，在硬件的結(jié)構(gòu)上，游戲裝置10 也可以具有多個(gè)CPU。在這樣的情況下，也可以是一個(gè)CPU作為執(zhí)行游戲應(yīng) 用的應(yīng)用處理單元110工作，其它CPU作為處理拍攝裝置2的拍攝圖像的圖 像處理單元102、位置估計(jì)單元104、閃爍指示單元106工作。
無(wú)線(xiàn)通信模塊108在與控制器20的無(wú)線(xiàn)通信模塊58之間確立無(wú)線(xiàn)通信。 在同步確立階段，無(wú)線(xiàn)通信模塊108對(duì)包含周邊的控制器20的終端設(shè)備進(jìn)行
連接查詢(xún)即"詢(xún)問(wèn)"處理。具體來(lái)說(shuō)，無(wú)線(xiàn)通信模塊108對(duì)附近的終端裝置
廣播IQ (詢(xún)問(wèn))分組。接收到IQ分組的控制器20的無(wú)線(xiàn)通信模塊58對(duì)游 戲裝置10發(fā)送回包含藍(lán)牙地址和藍(lán)牙塊信息的FHS (Frequency Hop Synchronization)分組。在該時(shí)刻的發(fā)送接收中，由于在游戲裝置10和控制 器20之間未確立與頻率跳躍模式有關(guān)的同意，所以使用為專(zhuān)用于詢(xún)問(wèn)而定義 的固定跳躍模式。
無(wú)線(xiàn)通信模塊108從控制器20取得FHS分組，在掌握了存在何種控制 器20之后，對(duì)特定的控制器20發(fā)送ID分組。這是無(wú)線(xiàn)通信模塊108的"尋 呼"處理。如果從特定的控制器20返回對(duì)于ID分組的響應(yīng)，則無(wú)線(xiàn)通信模 塊108將FHS分組發(fā)送到控制器20,并將自己的地址和時(shí)鐘通知給控制器 20。由此，使得游戲裝置10和控制器20可以共享同一跳躍模式。
如果進(jìn)行"尋呼"，則在控制器20和游戲裝置IO之間形成微微網(wǎng)，并進(jìn) 入"連接"狀態(tài)。微微網(wǎng)表示在藍(lán)牙終端之間接近時(shí)在終端之間臨時(shí)形成的 網(wǎng)絡(luò)，最大8臺(tái)藍(lán)牙終端能夠參加一個(gè)微微網(wǎng)。連接了的控制器20從無(wú)線(xiàn)通 信模塊108被分配從屬識(shí)別符，即提供給連接中的控制器20的3比特的地址 (1~7)。該從屬識(shí)別符被稱(chēng)作AM—ADDR (有效成員地址，active member address )。進(jìn)入"連接"狀態(tài)后，發(fā)送接收用于設(shè)定通信鏈路的控制分組，由 此能夠進(jìn)行"數(shù)據(jù)傳送"。
如果成為連接狀態(tài)，并且控制器20參加到游戲應(yīng)用，則應(yīng)用處理單元 110分配控制器20的控制器號(hào)碼，并生成用于指示控制器號(hào)碼的號(hào)碼指示信 息。無(wú)線(xiàn)通信模塊108將號(hào)碼指示信息發(fā)送到控制器20?？刂破?0接收到 號(hào)碼指示信息后點(diǎn)亮對(duì)應(yīng)的LED40。另外，無(wú)線(xiàn)通信模塊108也可以對(duì)控制 器20發(fā)送用于指示與控制器號(hào)碼對(duì)應(yīng)的LED40的點(diǎn)亮的控制信號(hào)來(lái)代替號(hào) 碼指示信息。
游戲應(yīng)用開(kāi)始后，閃爍指示單元106生成控制信號(hào)，該控制信號(hào)用于對(duì) 控制器20指示閃爍模式，以使其以規(guī)定周期閃爍。該閃爍控制信號(hào)被從無(wú)線(xiàn) 通信模塊108發(fā)送到控制器20。
輸入單元100被構(gòu)成為USB接口 ，從拍攝裝置2以規(guī)定的拍攝周期(例 如30幀/秒)取得幀圖像。圖像處理單元102按照后述的LED提取算法，從 幀圖像中提取LED圖像。位置估計(jì)單元104從提取的LED圖像中取得LED 圖像的位置信息，并估計(jì)控制器20的位置和姿勢(shì)。位置估計(jì)單元104由于取
得LED圖像的位置信息，因此也可以作為位置取得單元工作。另外，控制器 20的位置也可以規(guī)定在四個(gè)LED圖像的重心位置。
從點(diǎn)亮的四個(gè)LED40的位置和姿勢(shì)所估計(jì)的控制器20的位置信息和/或 姿勢(shì)信息被用作游戲應(yīng)用的輸入。因此，由位置估計(jì)單元104估計(jì)的控制器 20的位置信息和姿勢(shì)信息被依次發(fā)送到應(yīng)用處理單元110，并反映在應(yīng)用的 處理中。用戶(hù)對(duì)控制器20的方向鍵21等進(jìn)行操作的輸入也通過(guò)無(wú)線(xiàn)通信模 塊108被發(fā)送到應(yīng)用處理單元110。應(yīng)用處理單元110根據(jù)控制器20的位置、 姿勢(shì)信息以及控制器20中的操作輸入來(lái)進(jìn)行游戲，并生成表示游戲應(yīng)用的處 理結(jié)果的圖像信號(hào)和聲音信號(hào)。圖像信號(hào)和聲音信號(hào)從輸出單元112分別被 發(fā)送到圖像顯示裝置3和聲音輸出裝置4并輸出。
圖6表示圖像處理單元的結(jié)構(gòu)。圖像處理單元102包括幀圖像取得單元 130、當(dāng)前幀緩沖器132、前一幀緩沖器134、差分圖像生成單元136、 二值 化圖像生成單元138、邏輯運(yùn)算單元140以及LED圖像拔^又單元142。
幀圖像取得單元130從輸入單元IOO取得幀圖像數(shù)據(jù)，并臨時(shí)存儲(chǔ)在當(dāng) 前幀緩沖器132中。前一幀緩沖器134中存儲(chǔ)了前一個(gè)幀圖像數(shù)據(jù)。差分圖 像生成單元136生成在當(dāng)前幀緩沖器132中存儲(chǔ)的當(dāng)前幀數(shù)據(jù)和在前一幀緩 沖器134中存儲(chǔ)的前一幀數(shù)據(jù)的差分圖像。將幀圖像中的坐標(biāo)(x, y)中的 前一幀數(shù)據(jù)的R像素值設(shè)為Pr，將G像素值設(shè)為Pg，將B像素值設(shè)為Pb， 將當(dāng)前幀數(shù)據(jù)的R像素值設(shè)為Cr，將G像素值設(shè)為Cg,將B像素值設(shè)為Cb 時(shí)，差分圖像函數(shù)F(x, y)表現(xiàn)為以下的算式。
,(x，力=如-C,')2 + (尸g-Cg)2 + (尸6-OO2 -77/ ...(l)
這里，Th是規(guī)定的閾值。如果F (x, y)大于0,則坐標(biāo)(x， y)的像 素值被編碼為"1"，在顯示上，該像素為白色。另一方面，如果F(x， y) 為O以下，則像素值被編碼為"0",在顯示上，該像素為黑色。這樣由差分 圖像生成單元136生成的差分圖像成為二值化處理后的圖像。通過(guò)生成差分 圖像，從而可以除去在前一幀圖像和當(dāng)前幀圖像之間沒(méi)有移動(dòng)的對(duì)象的影響。
二值化圖像生成單元138使用規(guī)定的閾值對(duì)當(dāng)前幀數(shù)據(jù)進(jìn)行二值化處 理，生成二值化的圖像。二值化圖像生成單元138將保持大于規(guī)定閾值的亮 度的像素的像素值編碼為"1"，將保持規(guī)定鬮值以下的亮度的像素的像素值 編碼為"0"。通過(guò)生成當(dāng)前幀圖像的二值化圖像，從而可在當(dāng)前幀圖像中僅
提取明亮的對(duì)象。
邏輯運(yùn)算單元140生成將由差分圖像生成單元136生成的差分圖像和由 二值化圖像生成單元138生成的二值化圖像進(jìn)行了邏輯運(yùn)算的邏輯運(yùn)算圖 像。詳細(xì)來(lái)說(shuō)，邏輯運(yùn)算單元140通過(guò)對(duì)每個(gè)像素進(jìn)行差分圖像的像素值和 二值化圖像的像素值的"與"運(yùn)算，從而生成"與"圖像。這通過(guò)將差分圖 像和二值化圖像的對(duì)應(yīng)的像素之間的像素值在數(shù)學(xué)上進(jìn)行"與"運(yùn)算從而生 成。
圖7 (a)表示當(dāng)前幀圖像。在當(dāng)前幀圖像中，用戶(hù)把持控制器20來(lái)玩游 戲，在右側(cè)照明點(diǎn)亮了的狀態(tài)被拍攝。此時(shí)，控制器20的全部LED40點(diǎn)亮。 另外，全部LED40通過(guò)同一點(diǎn)亮圖形以同一亮度發(fā)光。
圖7 (b)表示當(dāng)前幀圖像和前一幀圖像的差分圖像。如果從前一幀圖像 的位置移動(dòng)控制器20，則通過(guò)算式(1)生成差分圖像。在本例中，控制器 20和與控制器20 —起移動(dòng)的身體的至少一部分區(qū)域被作為白色圖像(像素 值為'T，)取得。另外，不總是取得這樣的白色圖像，圖7(b)不過(guò)是滿(mǎn)足 算式(1 )時(shí)所生成的差分圖像的一例。此時(shí)，由于照明不移動(dòng)，因此不包含 在差分圖像中。另外，用戶(hù)如果未移動(dòng)控制器20,則不取得控制器20的白 色圖像。
圖8 (a)表示當(dāng)前幀圖像的二值化圖像。在二值化圖像中，圖7 (a)中 的高亮度區(qū)域即發(fā)光的LED和照明燈被二值化后變換為白色圖像。為了防止 其它的噪聲，在進(jìn)行二值化處理時(shí)設(shè)定的閾值優(yōu)選被設(shè)定為從LED發(fā)光亮度 減去規(guī)定的余量值之后的亮度值。
圖8 (b)表示"與"圖像。"與"圖像進(jìn)行圖7(b)所示的差分圖像和 圖8 (a)所示的二值化圖像的"與"運(yùn)算。在差分圖像和二值化圖像中，白 色像素的像素值為'T，，黑色像素的像素值為"0"。從而，僅僅在兩個(gè)圖像 中作為白色像素存在的像素在"與"運(yùn)算中作為白色像素被生成。
通過(guò)這樣來(lái)取差分圖像和二值化圖像的"與"，從而能夠生成易于提取 LED圖像的"與"圖像。"與"圖像被發(fā)送到LED圖像提取單元142。
生成"與"圖像后，保持在前一幀緩沖器134中的前一幀數(shù)據(jù)由保持在 當(dāng)前幀緩沖器132中的當(dāng)前幀數(shù)據(jù)覆蓋。該覆蓋處理也可以在前一幀緩沖器 134由差分圖像生成單元136讀出之后立即進(jìn)行。然后，當(dāng)前幀緩沖器132 中保持的當(dāng)前幀數(shù)據(jù)由下一幀數(shù)據(jù)覆蓋，從而執(zhí)行下一幀中的"與"圖像的
生成處理。
LED圖像提取單元142從"與，，圖像中提取LED圖像。為了提取LED 圖像，首先檢測(cè)LED圖像的候選。接著將任意的候選假設(shè)為第一LED40a, 并搜索其周?chē)鷧^(qū)域，從而調(diào)查是否存在可能成為第二LED40b的LED圖像候 選。如果發(fā)現(xiàn)第二LED40b,則再搜索第一LED40a的周邊區(qū)域，從而調(diào)查是 否存在可能成為第三LED40c的LED圖像候選。如果發(fā)現(xiàn)第三LED40c,則 再搜索其周邊區(qū)域，從而調(diào)查是否存在可能成為第四LED40d的LED圖像候 選。此時(shí)，LED圖像提取單元142預(yù)先識(shí)別了由多個(gè)LED40形成的二維圖形， 并利用該二維圖形進(jìn)行LED圖像的提取處理。以下，為了說(shuō)明的方便，以下 面情況為例在控制器20的殼體背面29上配置第一 LED40a、第二 LED40b、 第三LED40c、第四LED40d,使其構(gòu)成正方形的頂點(diǎn)。
另外，LED圖像提取單元142不使用"與，，圖像而從二值化圖像中提取 LED圖像也可以。二值化圖像中也包含LED圖像以外的噪聲，但例如在差分 圖像中不能取得LED圖像的情況下，通過(guò)利用二值化圖像，從而可以檢測(cè)出 LED圖像的位置和姿勢(shì)。以下所示的處理步驟也可以使用"與"圖像和二值 化圖像的其中一個(gè)來(lái)執(zhí)行，但由于"與，，圖像中LED圖像以外的噪聲分量少， 因此利用"與"圖像則處理速度較快。
圖9是表示LED圖像候選的檢測(cè)處理的處理步驟的流程圖。LED圖像提 取單元142在"與"圖像中，將白色像素(像素值為"r的像素)連續(xù)存在 的區(qū)域作為一個(gè)連接區(qū)域取得(SIOO)。接著，LED圖像提取單元142提取 白色像素連接區(qū)域的邊緣部分，并決定短邊和長(zhǎng)邊(S102)。
LED圖像提取單元142判定短邊是否由規(guī)定像素?cái)?shù)Ma以上的像素構(gòu)成 (S104)。在短邊由少于像素?cái)?shù)Ma的像素構(gòu)成的情況下(S104 "否")，LED 圖像提取單元142認(rèn)為不是LED圖像而結(jié)束該白色像素連接區(qū)域的處理。在 短邊由像素?cái)?shù).Ma以上的像素構(gòu)成的情況下(S104 "是")，LED圖像提取單 元142判斷長(zhǎng)邊是否由規(guī)定像素?cái)?shù)Mb以下的像素構(gòu)成(SI06)。在長(zhǎng)邊由多 于像素?cái)?shù)Mb的像素構(gòu)成的情況下(S106 "否，，)，LED圖像提取單元142認(rèn) 為不是LED圖像而結(jié)束該白色像素連接區(qū)域的處理。在長(zhǎng)邊由像素?cái)?shù)Mb以 下的像素構(gòu)成的情況下(S106 "是")，LED圖像提取單元142認(rèn)為是LED圖 像的候選而取得構(gòu)成白色像素連接區(qū)域的像素?cái)?shù)(S108 )。對(duì)于全部白色像素 連接區(qū)域重復(fù)進(jìn)行該LED圖像候選檢測(cè)處理。由此，可以檢測(cè)包含在"與"
圖像中的LED圖像候選。另外，LED圖像候選的坐標(biāo)設(shè)定為連接區(qū)域的重心。 圖10是表示LED提取處理的處理步驟的流程圖。LED圖像提取單元142 假設(shè)檢測(cè)出的LED圖像候選中任意的LED圖像候選是第一 LED40a( S120 )。 接著，對(duì)第一LED40a判定是否存在滿(mǎn)足可能成為第二LED40b的條件的LED 圖像候選(S122 )。如果存在成為第二 LED40b的LED圖像候選(S122 "是")， 則對(duì)第一 LED40a以及第二LED40b判定是否存在滿(mǎn)足可能成為第三LED40c 的條件的LED圖像候選(S124 )。如果存在成為第三LED40c的LED圖像候 選(S124 "是，，)，則對(duì)第一 LED40a、第二 LED40b以及第三LED40c判定是 否存在滿(mǎn)足可能成為第四LED40d的條件的LED圖像候選(S126)。如果存 在成為第四LED40d的LED圖像候選(S126 "是")，則提取控制器20的第 一LED40a 第四LED40d。另外，在不存在第二LED圖像候選的情況下(S122 "否")、不存在第三LED圖像候選的情況下(S124 "否，，)、不存在第四LED 圖像候選的情況下(S126 "否，，)的情況下，假設(shè)其它的LED圖像候選為第 一LED40a,從而再執(zhí)行圖8的處理。
在LED提取處理中，為了減輕處理負(fù)荷，也可以將控制器20的姿勢(shì)不 傾斜規(guī)定角度以上設(shè)定為處理?xiàng)l件。由于LED40的定向性比較強(qiáng)，因此如果 過(guò)于傾斜控制器20,則在拍攝裝置2中難以接收光。在利用該LED40的定向 性來(lái)搜索LED圖像候選時(shí)，以從第一 LED40a未傾斜規(guī)定角度(例如45° ) 以上為條件來(lái)進(jìn)行LED圖像的提取處理，從而能夠大幅地減輕處理負(fù)荷。
在本實(shí)施例中，由于利用前一幀圖像和當(dāng)前幀圖像的差分圖像，因此在 控制器20沒(méi)有移動(dòng)的情況下，LED40的圖像被從差分圖像中除去。因此，在 利用差分圖像的情況下，通過(guò)圖10所示的LED提取處理，不一定能發(fā)現(xiàn)LED 圖像。位置估計(jì)單元104通過(guò)圖IO所示的LED提取處理未發(fā)現(xiàn)LED圖像的 情況下，估計(jì)控制器20未從前一幀的位置移動(dòng)，并取得前一幀中的控制器 20的位置信息和姿勢(shì)信息。此時(shí)，位置估計(jì)單元104也可以使用二值化圖像 來(lái)提取LED圖像。
圖11是表示圖10的S122所示的第二 LED檢測(cè)處理的處理步驟的流程 圖。假設(shè)假定為第一LED40a的LED圖像候選的構(gòu)成像素?cái)?shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素?cái)?shù)是否為1/2 x N以上并且2N以 下(S140)。這是基于以下事實(shí)如果是LED圖像，則大小和形狀與第一 LED40a差不多。如果LED圖像候選的構(gòu)成像素?cái)?shù)相對(duì)于構(gòu)成像素?cái)?shù)N在規(guī)
定范圍內(nèi)(S140 "是")，則判定該LED圖像候選是否存在于第一LED40a的 右方(S142)。是否是右方的判斷通過(guò)是否存在于第一LED40a的右上45。至 右下45°的范圍內(nèi)來(lái)決定。在第一LED40a的右方的情況下(S142 "是，，)， 判定第一 LED40a和LED圖像候選的距離D,2是否為Da以上且Db以下
(S144)。這里，在互相的距離過(guò)近和過(guò)遠(yuǎn)的情況下，判定不適于作為第二 LED40b。在距離D,2為Da以上且Db以下的情況下(S144 "是")，判斷該 LED圖像候選可能成為第二 LED40b,并確認(rèn)第二 LED40b的存在(S146 )。 另一方面，在LED圖像候選的構(gòu)成像素?cái)?shù)不在規(guī)定范圍內(nèi)的情況下(S140
"否")、不在LED40a的右方的情況下(S142 "否，，)、距離D,2不在規(guī)定的 范圍內(nèi)的情況下(S144 "否")，判斷該LED圖像候選不是第二LED40b。
圖12是表示圖10的S124所示的第三LED檢測(cè)處理的處理步驟的流程 圖。假設(shè)假定為第一 LED40a的LED圖像候選的構(gòu)成像素?cái)?shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素?cái)?shù)是否為1/2 x N以上并且2N以 下(S160)。如果LED圖像候選的構(gòu)成像素?cái)?shù)相對(duì)于構(gòu)成像素?cái)?shù)N在規(guī)定范 圍內(nèi)(S160 "是")，則判定該LED圖像候選是否存在于第一LED40a的下方
(S162 )。是否是下方的判斷通過(guò)是否存在于第一 LED40a的左下45。至右下 45。的范圍內(nèi)來(lái)決定。在第一 LED40a的下方的情況下(S162 "是，，)，判定 第一 LED40a和LED圖像候選的距離是否為1/^ x Dl2以上且V^D,2以下
(S164)。這里，在互相的距離過(guò)近和過(guò)遠(yuǎn)的情況下，判定不適于作為第三 LED40c。在距離為1/V^ xDi2以上且V^Dp以下的情況下(S164 "是，，)，判 定從第一 LED40a到第二 LED40b的線(xiàn)段和從第一 LED40a到LED圖像候選 的線(xiàn)段的角度是否為規(guī)定范圍內(nèi)(S166)。此時(shí)，如果在規(guī)定范圍內(nèi)(S166
"是，')，則判斷該LED圖像候選可能成為第三LED40c，并確認(rèn)存在第三 LED40c (S16S)。另一方面，在LED像素候選的構(gòu)成像素?cái)?shù)不在規(guī)定的范圍 內(nèi)的情況下(S160 "否，，)、不在LED40a的下方的情況下(S162 "否，，)、與 第一 LED40a的距離不在規(guī)定的范圍內(nèi)的情況下(S164 "否")、角度不在規(guī) 定的范圍內(nèi)的情況下(S166 "否")，判斷該LED圖像候選不是第三LED40c
(S170)。
圖13是表示圖10的S126所示的第四LED檢測(cè)處理的處理步驟的流程 圖。假設(shè)假定為第一 LED40a的LED圖像候選的構(gòu)成像素?cái)?shù)為N。首先，LED 圖像提取單元142判定LED圖像候選的像素?cái)?shù)是否為1/2 x N以上并且2N以
下(S180)。如果LED圖像候選的構(gòu)成像素?cái)?shù)相對(duì)于構(gòu)成像素?cái)?shù)N在規(guī)定范 圍內(nèi)(S180 "是")，則判定從第一 LED40a到第二 LED40b的向量和第三 LED40c與LED圖像候選的向量所成的角度是否為規(guī)定值以下(S182 )。如果 從第一 LED40a到第二 LED40b的向量和第三LED40c與LED圖像候選的向 量所成的角度為規(guī)定值以下(S182 "是，，)，則判定從第一 LED40a到第三 LED40c的向量和第二 LED40b與LED圖像候選的向量所成的角度是否為規(guī) 定值以下(S184 )。如果從第一 LED40a到第三LED40c的向量和第二 LED40b 與LED圖像候選的向量所成的角度為規(guī)定值以下(S184 "是")，則判斷該 LED圖像候選可能成為第四LED40d,并確認(rèn)第四LED40d的存在(S186)。 另一方面，在LED像素候選的構(gòu)成像素?cái)?shù)不在規(guī)定的范圍內(nèi)的情況下(S180
"否")、從第一 LED40a到第二 LED40b的向量和第三LED40c與LED圖像 候選的向量所成的角度超過(guò)規(guī)定值的情況下(S182 "否")、從第一 LED40a 到第三LED40c的向量和第二LED40b與LED圖像候選的向量所成的角度超 過(guò)規(guī)定值的情況下(S184 "否，，)，判斷該LED圖像候選不是第四LED40d
(S188)。
通過(guò)以上這樣，LED圖像提取單元142可以從"與"圖像中提取第一 LED40a ~第四LED40d的圖像。提取出的第一 LED40a ~第四LED40d的圖 像的位置信息纟皮發(fā)送到位置估計(jì)單元104。
位置估計(jì)單元104基于控制器20中的LED40的二維配置，取得第一 LED40a 第四LED40d的圖像的幀圖像中的位置信息。位置估計(jì)單元104求 提取出的第一LED40a、第二 LED40b、第三LED40c和第四LED40d的仿射 變換(affine transformation),并計(jì)算真實(shí)空間中的位置和姿勢(shì)。真實(shí)空間中 的位置是正交坐標(biāo)系中的坐標(biāo)(X, Y， Z),真實(shí)空間中的姿勢(shì)是X軸、Y 軸、Z軸的旋轉(zhuǎn)角。通過(guò)求三個(gè)軸中的坐標(biāo)和旋轉(zhuǎn)角，從而位置估計(jì)單元104 可以估計(jì)也包含離拍攝裝置2的距離的空間內(nèi)的位置。位置估計(jì)單元104通 過(guò)求仿射變換從而也可以估計(jì)控制器20的幀圖像中的位置。例如，通過(guò)取 XYZ空間中的XY坐標(biāo)從而可以取得幀圖像中的位置。位置估計(jì)單元104將 估計(jì)的控制器20的位置和姿勢(shì)發(fā)送到應(yīng)用處理單元110。
為了避免LED40的誤識(shí)別，位置估計(jì)單元104在前次取得的LED圖像 的位置和本次取得的LED圖像的位置的變化量超過(guò)規(guī)定值的情況下，將本次 取得的LED圖像的位置作為差錯(cuò)來(lái)處理。即，在一幀之間，位置和姿勢(shì)變化
了規(guī)定值以上的情況下，因?yàn)榇嬖谟捎诟蓴_的因素而將其它對(duì)象誤識(shí)另^為
LED40的可能性，因此將提取出的LED40的位置信息廢棄。
但是，即使是這樣的情況，控制器20也可能以實(shí)際上較大的變化量移動(dòng)， 因此位置估計(jì)單元104對(duì)連續(xù)發(fā)生的差錯(cuò)的次數(shù)進(jìn)行計(jì)數(shù)，在計(jì)數(shù)值達(dá)到規(guī) 定值的情況下，也可以將此時(shí)取得的LED圖像的位置作為正常的位置處理。 位置估計(jì)單元104例如也可以基于當(dāng)前幀圖像和"與，，圖像來(lái)估計(jì)LED40 的移動(dòng)方向和速度。例如，降低拍攝裝置2的快門(mén)速度時(shí)，LED40的圖像被 拍攝為橢圓或正方體。因此，根據(jù)LED圖像的形狀，不僅能夠估計(jì)移動(dòng)方向， 而且能夠估計(jì)移動(dòng)速度。例如，如果能估計(jì)移動(dòng)方向和速度，則即使在拍攝 裝置2中突然看不見(jiàn)的情況下，也能夠預(yù)測(cè)控制器20的位置或姿勢(shì)。在所有 的LED40的形狀偏向同一方向的情況下，也可以估計(jì)控制器20的移動(dòng)方向 和速度。
應(yīng)用處理單元110將估計(jì)的控制器20的位置或姿勢(shì)作為游戲輸入而反映 在游戲應(yīng)用的處理中。該反映的方法考慮各種方法，但最直觀的是使虛擬對(duì) 象追隨與估計(jì)的控制器20的位置對(duì)應(yīng)的游戲圖像中的位置來(lái)進(jìn)行顯示。如果 用戶(hù)對(duì)拍攝裝置2移動(dòng)控制器20,則可以追隨該移動(dòng)來(lái)移動(dòng)游戲圖像內(nèi)的虛 擬對(duì)象。
另外，如果是理想的狀態(tài)，則對(duì)每個(gè)幀圖像求LED40的位置和姿勢(shì)并反 映在頓圖像中即可，但另一方面，根據(jù)控制器20的方向和周邊光的環(huán)境等， 也可能發(fā)生在幀圖像中不能求LED40的位置和姿勢(shì)的情況。在這樣的狀態(tài)持 續(xù)之后，如果突然求LED40的位置和姿勢(shì)，則已停止了的虛擬對(duì)象突然移動(dòng) 到新的位置，對(duì)用戶(hù)帶來(lái)不適。因此，即使從"與"圖像中檢測(cè)出LED40的 位置和姿勢(shì)，作為游戲圖像，虛擬對(duì)象不是移動(dòng)到取得的位置，即使假設(shè)存 在信息丟失的情況下，也進(jìn)行追隨處理，以便能夠?qū)崿F(xiàn)平滑的移動(dòng)。
圖14 (a)、圖14 (b)是用于說(shuō)明用于與控制器對(duì)應(yīng)的虛擬對(duì)象在游戲 畫(huà)面內(nèi)實(shí)現(xiàn)平滑的追隨動(dòng)作的算法的圖。為了說(shuō)明的方便，說(shuō)明虛擬對(duì)象的 位置變化，但關(guān)于姿勢(shì)變化也可以應(yīng)用同樣的算法。
在位置估計(jì)單元104中，通過(guò)求仿射變換而導(dǎo)出的位置參數(shù)為P-1,、Pi、 Pi+I (P的腳標(biāo)表示游戲畫(huà)面幀的號(hào)碼)。首先，考慮幀圖像切換，位置參數(shù) 從Pi變化到Pi+1的情況。
在得到新的位置參數(shù)(Pi+1)時(shí)，反映在游戲畫(huà)面中的位置參數(shù)通過(guò)以下的式子求出。
Qi+I= (Qi + Pi+1) /2
即，由于不是直接移動(dòng)到新的位置參數(shù)Pi + 1,而是將前一幀的游戲畫(huà)面 中的位置參數(shù)和當(dāng)前幀的新的位置參數(shù)Pi+I的中點(diǎn)設(shè)定為游戲畫(huà)面中的新的 位置參數(shù)。另外，位置參數(shù)Qi + ,不必是位置參數(shù)Qi和位置參數(shù)Pi + ,的中點(diǎn)， 也可以是將位置參數(shù)Qi和位置參數(shù)Pi"之間的線(xiàn)段分割為A: B的點(diǎn)。
圖12 (b)是作為位置參數(shù)不能取得Pi + 1的情況下的例子。在這樣的情 況下，可以發(fā)揮本算法的效果。在該情況下，使用最新的位置參數(shù)代替Pj + ,。 這里，最新的位置參數(shù)是Pi,并作為下式求解
Qi+i = (Qi + Pi) /2。
如果通過(guò)本算法取得游戲圖像中的位置參數(shù)Q,則即使在空間內(nèi)的控制 器20位置較大地變化，或者不能從"與"圖像中提取的情況下，虛擬對(duì)象總 是可以一點(diǎn)一點(diǎn)移動(dòng)。因此，可以避免在游戲圖像中虛擬對(duì)象突然不能移動(dòng) 或者突然移動(dòng)的狀況的發(fā)生，對(duì)控制器20能夠?qū)崿F(xiàn)平滑的追隨處理。
以上，基于實(shí)施例說(shuō)明了本發(fā)明。本實(shí)施例為例示，這些各構(gòu)成要素和 各處理過(guò)程的組合可以有各種變形例，而且這樣的變形例也在本發(fā)明的范圍 內(nèi)，這是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的。
在本實(shí)施例中，用拍攝裝置2拍攝控制器20,并從幀圖像中估計(jì)控制器 20的位置和姿勢(shì)，并將該位置信息和姿勢(shì)信息反映在游戲應(yīng)用的處理中。控 制器20的LED40例如也可以根據(jù)游戲應(yīng)用的進(jìn)行狀況而變更點(diǎn)亮圖形。
也可以在用戶(hù)參加了游戲應(yīng)用之后，游戲裝置10對(duì)控制器20發(fā)送以規(guī) 定的低頻率點(diǎn)亮4個(gè)LED40的控制信號(hào)。閃爍指示單元106生成用于對(duì)控制 器20指示以規(guī)定的低頻率的閃爍模式的控制信號(hào)。該低頻率閃爍控制信號(hào)從 無(wú)線(xiàn)通信模塊108被發(fā)送到控制器20。另外，在存在多個(gè)控制器20的情況 下，對(duì)每個(gè)控制器20設(shè)定閃爍頻率。
控制器20以指定的低頻率將LED40點(diǎn)亮，拍攝裝置2以30張/秒的拍 攝周期拍攝幀圖像。游戲裝置IO從多個(gè)幀圖像中提取以規(guī)定周期對(duì)點(diǎn)亮進(jìn)行 開(kāi)關(guān)的LED圖像。在游戲系統(tǒng)1內(nèi)存在多個(gè)控制器20的情況下，對(duì)每個(gè)控 制器20設(shè)定點(diǎn)亮的周期。由此，可以確認(rèn)控制器20的位置，同時(shí)也可以區(qū) 別來(lái)識(shí)別各個(gè)控制器20。理想情況下，該處理在參加到游戲應(yīng)用之后進(jìn)行一 次即可，在實(shí)際空間內(nèi)，有時(shí)控制器20突然從拍攝裝置2中消失。因此，以
每個(gè)數(shù)秒等規(guī)定的周期，各控制器20以對(duì)每個(gè)控制器設(shè)定的低頻率使LED40 閃爍也可以。
例如，在四個(gè)LED40以低頻率進(jìn)行點(diǎn)亮和熄滅的情況下，能夠拍攝 LED40的幀和不能拍攝的幀以規(guī)定的周期切換。對(duì)于拍攝周期(30幀/秒)， 如果以45Hz對(duì)LED40進(jìn)行點(diǎn)亮控制，則重復(fù)以下?tīng)顩r，即以連續(xù)的兩張幀 拍攝，接著兩幀不拍攝。由于存在幀圖像中被拍攝的情況和未被拍攝的情況， 因此即使是LED40靜止的狀態(tài)下，也能夠取得位置信息。
這里，低頻率點(diǎn)亮表示對(duì)于拍攝周期，以可能存在拍攝到LED發(fā)光的幀 和未拍攝到的幀的頻率進(jìn)行的點(diǎn)亮。另一方面，高頻率點(diǎn)亮表示對(duì)于拍攝裝 置2的拍攝周期(30幀/秒)以始終在幀圖像中被拍攝到的頻率進(jìn)行的點(diǎn)亮。 例如，即使是以lkHz點(diǎn)亮了 LED40的情況下，例如如果拍攝裝置2的拍攝 周期非常高，則出現(xiàn)拍攝到LED發(fā)光的幀和未拍攝到的幀，因此即使是 LED40靜止的狀態(tài)，也能夠取得位置信息。
高頻率點(diǎn)亮的LED40的位置和姿勢(shì)用作游戲應(yīng)用的輸入。因此，由位置 估計(jì)單元104估計(jì)的控制器20的位置信息被依次發(fā)送到應(yīng)用處理單元110， 并反映在應(yīng)用的處理中。用戶(hù)對(duì)控制器20的方向鍵21等進(jìn)行操作的輸入也 通過(guò)無(wú)線(xiàn)通信模塊108被發(fā)送到應(yīng)用處理單元110。應(yīng)用處理單元110根據(jù)控 制器20的位置、姿勢(shì)信息以及控制器20中的操作輸入來(lái)進(jìn)行游戲，并生成 表示游戲應(yīng)用的處理結(jié)果的圖像信號(hào)和聲音信號(hào)。
此外，作為變形例，通過(guò)將四個(gè)LED40中的一個(gè)以與其它LED40不同 的閃爍模式點(diǎn)亮，從而也能夠識(shí)別特定的LED40。例如三個(gè)LED進(jìn)行高頻率 點(diǎn)亮，并且4吏一個(gè)LED進(jìn)行低頻率點(diǎn)亮，從而例如也可以確認(rèn)幀圖像中的第 一LED40a是哪個(gè)。
通過(guò)檢測(cè)真實(shí)空間中的控制器20的位置和姿勢(shì)并反映在游戲應(yīng)用的處 理中，從而能夠?qū)崿F(xiàn)新的游戲應(yīng)用。如果以網(wǎng)球游戲?yàn)槔?，則將幀圖像中的 控制器20的高度作為網(wǎng)球的擊打點(diǎn)高度，將控制器20的方向作為球的擊球 方向，將移動(dòng)控制器20的速度作為打進(jìn)球的強(qiáng)度，從而可通過(guò)移動(dòng)控制器 20來(lái)可以進(jìn)行游戲。由于這些移動(dòng)近似于實(shí)際的揮舞球拍的移動(dòng)，因此能夠 給用戶(hù)帶來(lái)接近于實(shí)際打網(wǎng)球的感覺(jué)。此時(shí)，通過(guò)使得能夠?qū)⒖刂破?0的按 鈕或鍵作為游戲輸入而原樣利用，從而能夠維持以往的游戲操作輸入，同時(shí) 進(jìn)行感覺(jué)上嶄新的游戲輸入。這樣，通過(guò)有效地靈活使用作為指示器而設(shè)置
在控制器20上的LED,從而能夠進(jìn)一步擴(kuò)展游戲應(yīng)用的寬度。
例如，可以通過(guò)控制器20的按鈕操作來(lái)決定打入球的強(qiáng)度。通過(guò)將以往 類(lèi)型的按鈕操作和嶄新的游戲輸入進(jìn)行組合可以實(shí)現(xiàn)新的游戲性。例如，可 以制作如下的網(wǎng)球游戲 一邊通過(guò)控制器20的方向來(lái)指定球落入對(duì)方場(chǎng)地的 位置，同時(shí)進(jìn)行按鈕輸入，從而拋球，進(jìn)而通過(guò)移動(dòng)控制器20,來(lái)打出強(qiáng)烈 的發(fā)球。
作為游戲應(yīng)用，例如，摩托車(chē)的駕駛游戲中，通過(guò)操作控制器20的姿勢(shì)， 也可以用作控制摩托車(chē)的游戲輸入。此時(shí)，速度可以由移動(dòng)控制器20的速度 決定，也可以由按鈕輸入決定。這樣，通過(guò)將以往類(lèi)型的按鈕輸入和基于控 制器20的位置和姿勢(shì)的靜態(tài)輸入以及基于控制器20的移動(dòng)速度等狀態(tài)變化 的動(dòng)態(tài)的輸入組合利用，從而能夠提高游戲應(yīng)用的操作性。
例如，也可以在控制器20要從圖像顯示裝置3的畫(huà)面中脫離(frame out) 的情況下，應(yīng)用處理單元110基于控制器20的位置信息，進(jìn)行對(duì)用戶(hù)通知要 脫離的處理。例如，也可以在控制器20要脫離的情況下，對(duì)控制器20生成 用于使振子振動(dòng)的振動(dòng)控制信號(hào)，并通過(guò)無(wú)線(xiàn)通信模塊108發(fā)送。此外，也 可以在將追隨控制器20的移動(dòng)的虛擬對(duì)象作為游戲圖像顯示的情況下，通過(guò) 對(duì)于用戶(hù)醒目地移動(dòng)虛擬對(duì)象，從而對(duì)用戶(hù)傳達(dá)要脫離的情況。是否要脫離 例如可以由幀圖像的位置決定，也可以在接近幀圖像的邊緣部分的位置估計(jì) 控制器20的位置的情況下，進(jìn)行該通知處理。
(項(xiàng)目1 )
一種圖像處理裝置，從輸入的幀圖像中取得發(fā)光體圖像的位置，其特征 在于，包括
差分圖像生成單元，生成前一幀圖像和當(dāng)前幀圖像的差分圖像； 二值化圖像生成單元，使用規(guī)定的閾值將當(dāng)前幀圖像進(jìn)行二值化處理而 生成二值化圖像；
邏輯運(yùn)算單元，生成對(duì)所述差分圖像和所述二值圖像進(jìn)行了邏輯運(yùn)算的 邏輯運(yùn)算圖像；
提取單元，從所述邏輯運(yùn)算圖像中提取發(fā)光體圖像；以及 位置取得單元，取得發(fā)光體圖像的幀圖像中的位置。 (項(xiàng)目2 )
如項(xiàng)目1所述的圖像處理裝置，其特征在于，所述邏輯運(yùn)算單元通過(guò)對(duì) 每個(gè)像素進(jìn)行所述差分圖像的像素值和所述二值化圖像的像素值的"與"運(yùn) 算，從而生成邏輯運(yùn)算圖像。 (項(xiàng)目3 )
如項(xiàng)目1或2所述的圖像處理裝置，其特征在于，所述提取單元預(yù)先識(shí) 別了由多個(gè)發(fā)光體形成的二維圖形，并利用該二維圖形進(jìn)行發(fā)光體圖像的提 取處理。
(項(xiàng)目4 )
如項(xiàng)目1至3的任何一項(xiàng)所述的圖像處理裝置，其特征在于，所述位置 取得單元在前次取得的發(fā)光體圖像的位置和本次取得的發(fā)光體圖像的位置的 變化量超過(guò)規(guī)定值的情況下，將本次取得的發(fā)光體圖像的位置作為差錯(cuò)來(lái)處理。
(項(xiàng)目5 )
如項(xiàng)目4所述的圖像處理裝置，其特征在于，所述位置取得單元對(duì)連續(xù) 發(fā)生的差錯(cuò)的次數(shù)進(jìn)行計(jì)數(shù)，在計(jì)數(shù)值達(dá)到規(guī)定值的情況下，將此時(shí)取得的 發(fā)光體圖像的位置作為正常的位置處理。
產(chǎn)業(yè)上的可利用性
本發(fā)明可利用于在具有應(yīng)用處理功能的娛樂(lè)系統(tǒng)和用于該娛樂(lè)系統(tǒng)的操 作輸入裝置中。
權(quán)利要求
1.一種娛樂(lè)系統(tǒng)，包括操作輸入裝置，用于由用戶(hù)進(jìn)行操作輸入；處理裝置，基于所述操作輸入裝置中的操作輸入來(lái)處理應(yīng)用，并生成表示應(yīng)用的處理結(jié)果的圖像信號(hào)；拍攝裝置，對(duì)所述操作輸入裝置進(jìn)行拍攝；以及圖像顯示裝置，輸出在所述處理裝置中生成的圖像信號(hào)，其特征在于，所述操作輸入裝置具有多個(gè)用于進(jìn)行操作輸入的輸入單元，以及用于表現(xiàn)在執(zhí)行的應(yīng)用中對(duì)該操作輸入裝置設(shè)定的號(hào)碼的多個(gè)發(fā)光元件，所述操作輸入是用戶(hù)進(jìn)行應(yīng)用的操作輸入，所述處理裝置接受所述操作輸入裝置中的操作輸入并反映在應(yīng)用的處理中，同時(shí)從所述拍攝裝置取得拍攝圖像，從拍攝圖像中的所述發(fā)光元件的位置來(lái)取得所述操作輸入裝置在拍攝圖像中的位置，從而將取得的位置信息反映在應(yīng)用的處理中，并生成圖像信號(hào)，用于表示基于操作輸入和取得的位置信息的應(yīng)用處理結(jié)果。
2. 如權(quán)利要求1所述的娛樂(lè)系統(tǒng)，其特征在于，所述操作輸入裝置通過(guò)在多個(gè)發(fā)光元件中僅將對(duì)該操作輸入裝置設(shè)定的 號(hào)碼所對(duì)應(yīng)的發(fā)光元件點(diǎn)亮，從而使發(fā)光元件作為表現(xiàn)該號(hào)碼的指示器起作用。
3. 如權(quán)利要求1所述的娛樂(lè)系統(tǒng)，其特征在于，所述處理裝置對(duì)所述操作輸入裝置發(fā)送用于控制所述發(fā)光元件的點(diǎn)亮的 控制信號(hào)，所述操作輸入裝置按照所述控制信號(hào)來(lái)點(diǎn)亮所述發(fā)光元件。
4. 如權(quán)利要求3所述的娛樂(lè)系統(tǒng)，其特征在于，所述處理裝置在將所述操作輸入裝置的位置信息反映在應(yīng)用的處理中 時(shí)，將以低頻點(diǎn)亮所述發(fā)光元件的第 一控制信號(hào)和以高頻點(diǎn)亮所述發(fā)光元件 的第二控制信號(hào)的其中 一個(gè)發(fā)送到所述操作輸入裝置。
5. 如權(quán)利要求1至4的任何一項(xiàng)所述的娛樂(lè)系統(tǒng)，其特征在于， 所述拍攝裝置被配置在所述圖像顯示裝置附近，使得用戶(hù)能夠識(shí)別所述圖像顯示裝置的顯示畫(huà)面的位置包含在拍攝范圍內(nèi)。
全文摘要
提供一種利用控制器(20)的LED的游戲系統(tǒng)。在本發(fā)明的游戲系統(tǒng)(1)中，拍攝裝置(2)拍攝控制器(20)?？刂破?20)具有多個(gè)用于進(jìn)行操作輸入的輸入單元，以及用于表現(xiàn)在執(zhí)行的游戲應(yīng)用中對(duì)控制器(20)設(shè)定的控制器號(hào)碼的多個(gè)LED，所述操作輸入是進(jìn)行游戲的操作輸入。游戲裝置(10)接受控制器(20)中的操作輸入并反映在游戲應(yīng)用的處理中，同時(shí)從拍攝裝置(2)取得拍攝圖像，從拍攝圖像中的LED的位置來(lái)取得控制器(20)在拍攝圖像中的位置，從而將取得的位置信息反映在游戲應(yīng)用的處理中，并生成圖像信號(hào)，用于表示基于操作輸入和取得的位置信息的應(yīng)用處理結(jié)果。
文檔編號(hào)G01B11/00GK101340954SQ20078000084
公開(kāi)日2009年1月7日 申請(qǐng)日期2007年2月23日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者勢(shì)川博之, 后藤禎佑, 大場(chǎng)章男, 齊藤勝 申請(qǐng)人:索尼計(jì)算機(jī)娛樂(lè)公司