專利名稱：圖像顯示系統(tǒng)、裝置以及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像顯示系統(tǒng)、裝置以及方法，具體涉及用于在能夠進行立體顯示的立體顯示裝置的屏幕上，對合成有三維的虛擬對象的現(xiàn)實空間圖像進行立體顯示的圖像顯示系統(tǒng)、裝置以及方法。
背景技術(shù)：
近年來，有關(guān)增強現(xiàn)實(Augmented Reality, AR)的技術(shù)研究正在不斷地取得進步，AR技術(shù)通過在現(xiàn)實空間的圖像上合成顯示虛擬對象，從而使所顯示的虛擬對象猶如實際存在于現(xiàn)實空間一樣。例如，專利文獻1(日本特開2008-146109號公報)所公開的立體顯示裝置中，根據(jù)安裝在頭戴式顯示器(Head-Mounted Display)上的右眼拍攝裝置以及左眼拍攝裝置分別所拍攝的圖像，來分別求出右眼拍攝裝置以及左眼拍攝裝置相對于現(xiàn)實空間中所配置的標(biāo)記(Marker)的相對位置姿勢，并基于該結(jié)果來分別生成右眼用虛擬對象的圖像和左眼用虛擬對象的圖像。然后，分別將右眼用虛擬對象的圖像和左眼用虛擬對象的圖像與由右眼拍攝裝置以及左眼拍攝裝置所分別拍攝的圖像進行合成，并在右眼LCD (液晶屏幕)和左眼IXD上分別顯示這些合成圖像。此夕卜，非專利文獻 1 (Hirokazu Kato,Mark Billinghurst,“Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System,"iwar, pp. 85,2nd IEEE and ACM International Workshop on Augmented Reality,1999)中，公開了一種基于拍攝裝置所拍攝的圖像中的標(biāo)記的位置及姿勢，來計算現(xiàn)實空間中的標(biāo)記和拍攝裝置之間的相對位置及相對姿勢的方法。然而，基于拍攝裝置所拍攝的圖像中的標(biāo)記的位置及姿勢，來計算現(xiàn)實空間中的標(biāo)記與拍攝裝置之間的相對位置及相對姿勢時，在拍攝裝置所拍攝的圖像模糊的情況下， 或在標(biāo)記識別的精度不準(zhǔn)確的情況下，計算結(jié)果中會含有誤差。因此，專利文獻1所公開的立體顯示裝置中，基于右眼拍攝裝置所拍攝的圖像來計算的、右眼拍攝裝置相對于標(biāo)記的相對位置姿勢并不一定正確，同樣地，基于左眼拍攝裝置所拍攝的圖像來計算的、左眼拍攝裝置相對于標(biāo)記的相對位置姿勢也不一定正確。這樣，因為基于不正確的計算結(jié)果而生成的右眼用虛擬對象的圖像和左眼用虛擬對象的圖像成為互相不匹配而矛盾的圖像，從而用戶不能夠看到正常的立體的虛擬對象。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種對虛擬對象進行立體顯示時，能夠確保正常的立體視覺的圖像顯示系統(tǒng)、裝置以及方法。為了解決上述技術(shù)問題，本發(fā)明采用以下結(jié)構(gòu)。本發(fā)明的圖像顯示系統(tǒng)是利用來自右眼用現(xiàn)實拍攝裝置及左眼用現(xiàn)實拍攝裝置的輸出，在能夠進行立體顯示的立體顯示裝置的屏幕上，對合成有三維虛擬對象的現(xiàn)實空間圖像進行立體顯示的圖像顯示系統(tǒng)，它包括規(guī)定的拍攝對象，第1位置姿勢計算單元， 虛擬拍攝裝置設(shè)定單元，右虛擬空間圖像生成單元，左虛擬空間圖像生成單元以及顯示控制單元。上述第1位置姿勢計算單元通過從上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的上述規(guī)定的拍攝對象，來計算表示該一方的現(xiàn)實拍攝裝置與上述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息。上述虛擬拍攝裝置設(shè)定單元用上述第1位置姿勢計算單元所算出的上述位置姿勢信息，來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩者的位置及姿勢，其中，右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象。上述右虛擬空間圖像生成單元生成表示從上述右虛擬拍攝裝置看到的上述虛擬空間的右虛擬空間圖像。 上述左虛擬空間圖像生成單元生成表示從上述左虛擬拍攝裝置看到的上述虛擬空間的左虛擬空間圖像。上述顯示控制單元將上述右虛擬空間圖像合成在從上述右眼用現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像上，并且，將上述左虛擬空間圖像合成在從上述左眼用現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像上，并向上述立體顯示裝置輸出用于進行立體顯示的圖像。此外，上述虛擬拍攝裝置設(shè)定單元可以不使用從與上述第1位置姿勢計算單元中的上述一方的現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的、 上述規(guī)定的拍攝對象的識別結(jié)果，而決定用于生成規(guī)定的虛擬空間中的右眼用圖像的右虛擬拍攝裝置和用于生成左眼用圖象的左虛擬拍攝裝置兩者的位置及姿勢。根據(jù)上述結(jié)構(gòu)，即使在只能從上述2個現(xiàn)實拍攝裝置輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的任意一方，來識別上述規(guī)定的拍攝對象的情況下，根據(jù)基于對上述規(guī)定的拍攝對象識別成功一方的現(xiàn)實空間圖像數(shù)據(jù)而算出的位置姿勢信息，來決定2個虛擬拍攝裝置中的一方的虛擬拍攝裝置的位置及姿勢，從而基于由此而決定的一方的虛擬拍攝裝置的位置及姿勢，來決定另一方的虛擬拍攝裝置的位置及姿勢。因此，即使在只能從上述2個現(xiàn)實拍攝裝置所輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的任意一方，來識別上述規(guī)定的拍攝對象的情況下，也能夠?qū)μ摂M對象進行適當(dāng)?shù)牧Ⅲw顯示。此外，在從上述2個現(xiàn)實拍攝裝置輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的兩方都能夠識別上述規(guī)定的拍攝對象的情況下，只要從任意一方的現(xiàn)實空間圖像數(shù)據(jù)中識別上述規(guī)定的拍攝對象，就能夠?qū)μ摂M對象進行正確的立體顯示， 從而能夠減輕計算機的處理負(fù)擔(dān)。作為其他優(yōu)選例，可以是上述虛擬拍攝裝置設(shè)定單元決定上述右虛擬拍攝裝置和上述左虛擬拍攝裝置的位置及姿勢，使上述右虛擬拍攝裝置和上述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與上述右眼用現(xiàn)實拍攝裝置和上述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。根據(jù)上述結(jié)構(gòu)，即使由于上述規(guī)定的拍攝對象的識別精度誤差，或者上述2個現(xiàn)實拍攝裝置的安裝精度誤差等，而導(dǎo)致基于上述2個現(xiàn)實拍攝裝置中的任意一方所輸出的現(xiàn)實空間圖像數(shù)據(jù)而算出的位置姿勢信息、及基于任意另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)而算出的位置姿勢信息，不與上述2個現(xiàn)實拍攝裝置的相對姿勢正確地對應(yīng)，也能夠適當(dāng)?shù)卦O(shè)定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對姿勢，從而能夠適當(dāng)?shù)貙μ摂M對象進行立體顯示。作為其他優(yōu)選例，上述虛擬拍攝裝置設(shè)定單元可以包括第1虛擬拍攝裝置姿勢決定部和第2虛擬拍攝裝置姿勢決定部。上述第1虛擬拍攝裝置姿勢決定部用上述第1位置姿勢計算單元所算出的上述位置姿勢信息，來決定上述右虛擬拍攝裝置及上述左虛擬拍攝裝置中、與上述第1位置姿勢計算單元中的上述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；上述第2虛擬拍攝裝置姿勢決定部基于上述第1虛擬拍攝裝置決定部所決定的上述一方的虛擬拍攝裝置的姿勢，來決定另一方的虛擬拍攝裝置的姿勢，使上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與上述右眼用現(xiàn)實拍攝裝置與上述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還可以具備決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系的虛擬拍攝裝置相對位置關(guān)系決定單元。上述虛擬拍攝裝置設(shè)定單元可以包括第1虛擬拍攝裝置位置決定部和第2虛擬拍攝裝置位置決定部。上述第1虛擬拍攝裝置位置決定部用上述第1位置姿勢計算單元所算出的上述位置姿勢信息， 來決定上述右虛擬拍攝裝置及上述左虛擬拍攝裝置中、與上述第1位置姿勢計算單元中的上述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；上述第2虛擬拍攝裝置位置決定部將另一方的虛擬拍攝裝置的位置決定在，與上述第1虛擬拍攝裝置位置決定部所決定的上述一方的虛擬拍攝裝置的位置、僅相隔由上述虛擬拍攝裝置相對位置關(guān)系決定單元決定的上述相對位置所確定的距離的位置。此外，上述的“相對位置關(guān)系”既可以是上述左虛擬拍攝裝置與上述右虛擬拍攝裝置之間的距離，也可以是以一方的虛擬拍攝裝置為基準(zhǔn)時，另一方的虛擬拍攝裝置的相對位置。此外，上述虛擬拍攝裝置相對位置關(guān)系決定單元既可以根據(jù)對上述2個現(xiàn)實拍攝裝置所輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的規(guī)定的拍攝對象進行識別的結(jié)果，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系，也可以基于上述右眼用現(xiàn)實拍攝裝置與上述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對位置關(guān)系，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系。根據(jù)上述結(jié)構(gòu)，即使由于上述規(guī)定的拍攝對象的識別精度誤差，或者上述2個現(xiàn)實拍攝裝置的安裝精度誤差，而導(dǎo)致基于上述2個現(xiàn)實拍攝裝置中的任意一方所輸出的現(xiàn)實空間圖像數(shù)據(jù)而算出的位置姿勢信息，及基于任意另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)而算出的位置姿勢信息，不與上述2個現(xiàn)實拍攝裝置的相對位置關(guān)系正確地對應(yīng)的情況下，也能夠適當(dāng)?shù)卦O(shè)定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對位置關(guān)系，從而能夠適當(dāng)?shù)貙μ摂M對象進行立體顯示。作為其他優(yōu)選例，上述虛擬拍攝裝置設(shè)定單元可以包括第1虛擬拍攝裝置位置決定部、第1虛擬拍攝裝置姿勢決定部、第2虛擬拍攝裝置位置決定部。上述第1虛擬拍攝裝置位置決定部用上述第1位置姿勢計算單元所算出的上述位置姿勢信息，來決定上述右虛擬拍攝裝置及上述左虛擬拍攝裝置中、與上述第1位置姿勢計算單元中的上述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；上述第1虛擬拍攝裝置姿勢決定部用上述第1位置姿勢計算單元所算出的上述位置姿勢信息，來決定上述右虛擬拍攝裝置以及上述左虛擬拍攝裝置中、與上述第1位置姿勢計算單元中的上述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；上述第2虛擬拍攝裝置位置決定部將另一方的虛擬拍攝裝置的位置決定在，相對上述第1虛擬拍攝位置決定部所決定的上述一方的虛擬拍攝裝置的
12位置而確定的規(guī)定方向上。此外，上述第2虛擬拍攝裝置位置決定部可以將另一方的虛擬拍攝裝置的位置決定在，相對上述第1虛擬拍攝位置決定部所決定的上述一方的虛擬拍攝裝置的位置而確定的橫方向上。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還具備決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的距離的虛擬拍攝裝置間距決定單元。上述第2虛擬拍攝裝置位置決定部可以將上述另一方的虛擬拍攝裝置的位置決定在，位于相對上述第1虛擬拍攝裝置位置決定部所決定的上述一方的虛擬拍攝裝置的位置而確的規(guī)定方向、且僅相隔上述虛擬拍攝裝置間距決定單元所決定的距離的位置處。作為其他優(yōu)選例，上述虛擬拍攝裝置相對位置關(guān)系決定部可以基于上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)與上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)之間的視差，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系。根據(jù)上述的結(jié)構(gòu)例，由于基于上述2個現(xiàn)實空間圖像數(shù)據(jù)的視差，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系，所以即使在上述2個現(xiàn)實拍攝裝置的相對位置關(guān)系未知的情況下，或者由于上述2個現(xiàn)實拍攝裝置的安裝精度誤差，而導(dǎo)致上述2個現(xiàn)實拍攝裝置的相對位置關(guān)系中含有誤差的情況下，也能夠?qū)ι鲜鲇姨摂M拍攝裝置及上述左虛擬拍攝裝置進行適當(dāng)?shù)卦O(shè)定。作為其他優(yōu)選例，上述相對位置關(guān)系決定單元所決定的上述相對位置關(guān)系可以是，上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的間隔。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還具備第2位置姿勢計算單元，該第2位置姿勢計算單元通過從上述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中，識別與上述第1位置姿勢計算單元的上述一方現(xiàn)實拍攝裝置不同的另一方現(xiàn)實拍攝裝置所輸出的、現(xiàn)實空間圖像數(shù)據(jù)中的上述規(guī)定的拍攝對象，來計算表示該另一方現(xiàn)實拍攝裝置與上述拍攝對象之間的相對位置及姿勢的位置姿勢信息。上述虛擬拍攝裝置相對位置關(guān)系決定單元可以用上述第1位置姿勢計算單元所算出的上述一方現(xiàn)實拍攝裝置與上述拍攝對象之間的相對位置信息、及上述第2位置姿勢計算單元所算出的上述另一方現(xiàn)實拍攝裝置與上述拍攝對象之間的相對位置信息，來計算上述一方現(xiàn)實拍攝裝置與上述另一方現(xiàn)實拍攝裝置之間的距離。作為其他優(yōu)選例，上述第1位置姿勢計算單元包括第1變換矩陣生成單元，該第 1變換矩陣生成部基于上述一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第1變換矩陣，該第1變換矩陣用于將通過以上述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以上述一方的現(xiàn)實拍攝裝置為原點的第1拍攝部坐標(biāo)系來表示的坐標(biāo)值。 上述第2位置姿勢計算單元包括第2變換矩陣生成單元，該第2變換矩陣生成單元基于上述另一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第2變換矩陣，該第2變換矩陣用于將通過以上述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以上述另一方的現(xiàn)實拍攝裝置為原點的第2拍攝部坐標(biāo)系來表示的坐標(biāo)值。作為其他優(yōu)選的結(jié)構(gòu)例，上述虛擬拍攝裝置相對位置關(guān)系決定單元可以每當(dāng)從上述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，便執(zhí)行計算上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系的處理，并基于通過多次執(zhí)行該處理而得到的多次的相對位置關(guān)系計算結(jié)果，來確定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對位置關(guān)系。根據(jù)上述結(jié)構(gòu)例，能夠減輕在現(xiàn)實空間圖像數(shù)據(jù)中識別上述規(guī)定的拍攝對象時的識別精度誤差所造成的影響，從而能夠提高上述虛擬拍攝裝置相對位置關(guān)系決定單元所決定的上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系的可靠性。作為其他優(yōu)選例，上述虛擬拍攝裝置相對位置關(guān)系決定單元可以只在上述多次的相對位置關(guān)系計算結(jié)果都在規(guī)定范圍內(nèi)的情況下，才基于該多次的相對位置關(guān)系計算結(jié)果，來確定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對位置關(guān)系。根據(jù)上述結(jié)構(gòu)例，能夠提高上述虛擬拍攝裝置相對位置關(guān)系決定單元所決定的、 上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對位置關(guān)系的可靠性。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還具備進深變化判定單元，在上述虛擬拍攝裝置相對位置關(guān)系決定單元決定了上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系后，該進深變化判定單元判定上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離，是否從決定了該相對位置關(guān)系的時點開始，超出規(guī)定范圍而發(fā)生變化。在上述進深變化判斷單元的判斷結(jié)果是肯定的情況下，上述虛擬拍攝裝置相對位置關(guān)系決定單元可以重新決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的相對位置關(guān)系。上述2個現(xiàn)實拍攝裝置的安裝精度誤差所產(chǎn)生的影響的大小，根據(jù)從上述2個現(xiàn)實拍攝裝置到上述規(guī)定的拍攝對象的進深距離而發(fā)生變化，而根據(jù)上述優(yōu)選例，能夠根據(jù)需要隨時對因上述2個現(xiàn)實拍攝裝置的安裝精度誤差而產(chǎn)生的影響進行適當(dāng)?shù)匮a償。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還具備進深距離計算單元，該進深距離計算單元基于含有上述規(guī)定的拍攝對象的現(xiàn)實空間圖像數(shù)據(jù)，來計算上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離。上述進深變化判定單元可以通過將基準(zhǔn)進深距離與最新進深距離進行比較，來判定上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離是否超出規(guī)定范圍而發(fā)生變化，其中，基準(zhǔn)進深距離是上述進深距離計算單元在上述虛擬拍攝裝置相對位置關(guān)系決定單元決定了上述右虛擬拍攝裝置與上述左虛擬拍攝裝置之間的相對位置關(guān)系的時點算出的進深距離，最新進深距離是上述進深距離計算單元在該時點之后算出的進深距離。作為其他優(yōu)選例，可以是每當(dāng)從上述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，上述進深距離計算單元便執(zhí)行計算上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離的處理，并基于通過多次執(zhí)行該處理而得到的、多次的進深距離計算結(jié)果，來計算上述基準(zhǔn)進深距離。根據(jù)上述結(jié)構(gòu)例，能夠減輕在現(xiàn)實空間圖像數(shù)據(jù)中識別上述規(guī)定的拍攝對象時， 因識別精度誤差而造成的影響，從而能夠提高上述進深距離計算單元所計算的、上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離的可靠性。作為其他優(yōu)選例，上述進深距離計算單元可以只在上述多次的進深距離計算結(jié)果都在規(guī)定范圍內(nèi)的情況下，才基于該多次的進深距離計算結(jié)果來計算上述基準(zhǔn)進深距離。根據(jù)上述結(jié)構(gòu)例，能夠提高上述進深距離計算單元所計算的、上述規(guī)定的拍攝對象相對于上述2個現(xiàn)實拍攝裝置的進深距離的可靠性。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還具備第2位置姿勢計算單元及現(xiàn)實拍攝裝置選擇單元。上述第2位置姿勢計算單元通過從上述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中，識別與上述第1位置姿勢計算單元的上述一方現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的上述規(guī)定的拍攝對象，來計算表示該另一方現(xiàn)實拍攝裝置與上述拍攝對象之間的相對位置及姿勢的位置姿勢信息；上述現(xiàn)實拍攝裝置選擇單元根據(jù)上述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中、至少一方中的上述規(guī)定的拍攝對象的位置，從該2個現(xiàn)實拍攝裝置中選擇相應(yīng)的1個。當(dāng)上述現(xiàn)實拍攝裝置選擇單元所選擇的現(xiàn)實拍攝裝置是上述一方的現(xiàn)實拍攝裝置時，上述虛擬拍攝裝置設(shè)定單元可以用上述第1位置姿勢計算單元所算出的、表示該一方的現(xiàn)實拍攝裝置與上述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的位置及姿勢；當(dāng)上述現(xiàn)實拍攝裝置選擇單元所選擇的現(xiàn)實拍攝裝置是上述另一方的現(xiàn)實拍攝裝置時，上述虛擬拍攝裝置設(shè)定單元用上述第2位置姿勢計算單元所算出的、表示該另一方的現(xiàn)實拍攝裝置與上述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定上述右虛擬拍攝裝置與上述左虛擬拍攝裝置的位置及姿勢。根據(jù)上述結(jié)構(gòu)例，即使上述規(guī)定的拍攝對象不在一方的現(xiàn)實拍攝裝置的拍攝范圍內(nèi)時，也能夠?qū)ι鲜鲇姨摂M拍攝裝置及上述左虛擬拍攝裝置進行適當(dāng)?shù)卦O(shè)定，從而能夠使虛擬對象的立體顯示持續(xù)進行。作為其他優(yōu)選例，當(dāng)上述2個現(xiàn)實拍攝裝置中的左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的上述規(guī)定的拍攝對象的位置進入到該現(xiàn)實空間圖像數(shù)據(jù)的右端區(qū)域時，上述現(xiàn)實拍攝裝置選擇單元可以相應(yīng)地從上述左眼用現(xiàn)實拍攝裝置切換至上述右眼用現(xiàn)實拍攝裝置，當(dāng)上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的上述規(guī)定的拍攝對象的位置進入到該現(xiàn)實空間圖像數(shù)據(jù)的左端區(qū)域時，上述現(xiàn)實拍攝裝置選擇單元可以相應(yīng)地從上述右眼用現(xiàn)實拍攝裝置切換至上述左眼用現(xiàn)實拍攝裝置。作為其他優(yōu)選例，上述第1位置姿勢計算單元及上述顯示控制單元所利用的上述現(xiàn)實空間圖像數(shù)據(jù)，也可以是從上述現(xiàn)實拍攝裝置實時所輸出的現(xiàn)實空間圖像數(shù)據(jù)。根據(jù)上述結(jié)構(gòu)例，能夠?qū)崟r地看到立體顯示裝置的屏幕上的虛擬對象仿佛實際存在于現(xiàn)實空間一樣。作為其他優(yōu)選例，上述圖像顯示系統(tǒng)還可以具備上述2個現(xiàn)實拍攝裝置和上述立體顯示裝置。本發(fā)明的圖像顯示裝置是利用來自右眼用現(xiàn)實拍攝裝置以及左眼用現(xiàn)實拍攝裝置的輸出，在能夠進行立體顯示的立體顯示裝置的屏幕上對合成有三維虛擬對象的現(xiàn)實空間圖像進行立體顯示的圖像顯示裝置，它包括第1位置姿勢計算單元，虛擬拍攝裝置設(shè)定單元，右虛擬空間圖像生成單元，左虛擬空間圖像生成單元以及顯示控制單元。上述第1位置姿勢計算單元通過從上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的規(guī)定的拍攝對象，來計算表示該一方的現(xiàn)實拍攝裝置與上述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息。上述虛擬拍攝裝置設(shè)定單元用上述第1位置姿勢計算單元所算出的上述位置姿勢信息，來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩者的位置及姿勢，其中，右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象。上述右虛擬空間圖像生成單元生成表示從上述右虛擬拍攝裝置看到的上述虛擬空間的右虛擬空間圖像。上述左虛擬空間圖像生成單元生成表示從上述左虛擬拍攝裝置看到的上述虛擬空間的左虛擬空間圖像。上述顯示控制單元將上述右虛擬空間圖像合成在上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并且，將上述左虛擬空間圖像合成在上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并向上述立體顯示裝置輸出用于進行立體顯示的圖像。本發(fā)明的圖像顯示方法是利用來自右眼用現(xiàn)實拍攝裝置以及左眼用現(xiàn)實拍攝裝置的輸出，在能夠進行立體顯示的立體顯示裝置的屏幕上對合成了三維虛擬對象的現(xiàn)實空間圖像進行立體顯示的圖像顯示方法，它包括第1位置姿勢計算步驟，虛擬拍攝裝置設(shè)定步驟，右虛擬空間圖像生成步驟，左虛擬空間圖像生成步驟以及顯示控制步驟。在上述第 1位置姿勢計算步驟中，通過從上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的規(guī)定的拍攝對象，來計算表示該一方的現(xiàn)實拍攝裝置與上述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息。在上述虛擬拍攝裝置設(shè)定步驟中，用上述第1位置姿勢計算步驟中所算出的上述位置姿勢信息，來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩者的位置及姿勢，其中，右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象。在上述右虛擬空間圖像生成步驟中，生成表示從上述右虛擬拍攝裝置看到的上述虛擬空間的右虛擬空間圖像。 在上述左虛擬空間圖像生成步驟中，生成表示從上述左虛擬拍攝裝置看到的上述虛擬空間的左虛擬空間圖像。在上述顯示控制步驟中，將上述右虛擬空間圖像合成在上述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并且，將上述左虛擬空間圖像合成在上述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并向上述立體顯示裝置輸出用于進行立體顯示的圖像。根據(jù)本發(fā)明，在對虛擬對象進行立體顯示時，能夠確保正常的立體視覺。以下結(jié)合附圖，通過詳細(xì)說明來進一步闡明本發(fā)明的這些及其他的目的、特征、方面以及效果。


圖1是開狀態(tài)下的游戲裝置10的主視圖。圖2是開狀態(tài)下的游戲裝置10的側(cè)視圖。圖3是合狀態(tài)下的游戲裝置10的左視圖、主視圖、右視圖以及后視圖。圖4是圖1所示的上殼體21的A-A，線剖面圖。圖5A是示出3D調(diào)節(jié)開關(guān)25的滑塊2 位于最低點(第3位置)時的情況的圖。圖5B是示出3D調(diào)節(jié)開關(guān)25的滑塊2 位于最低點的上方位置(第1位置)時的情況的圖。圖5C是示出3D調(diào)節(jié)開關(guān)25的滑塊25a位于頂點(第2位置)時的情況的圖。圖6是示出游戲裝置10的內(nèi)部結(jié)構(gòu)的方框圖。圖7是示出上部IXD22的屏幕上所顯示的立體圖像的一例的圖。圖8是示出上部IXD22的屏幕上所顯示的立體圖像的另一例的圖。圖9是示出標(biāo)記61的圖。
圖10是示出上部IXD22的屏幕上所顯示的立體圖像的又一例的圖。圖11是示出游戲裝置10的主存儲器32的存儲分配圖表的圖。圖12是示出主存儲器32中所儲存的各種變量的一例的圖。圖13是示出標(biāo)記處理的流程的流程圖。圖14是示出主處理的流程的流程圖。圖15是示出更新處理的內(nèi)容的流程圖。圖16是示出虛擬拍攝裝置間隔決定處理的內(nèi)容的流程圖。圖17是示出視點矩陣生成處理的內(nèi)容的流程圖。圖18是示出主現(xiàn)實空間圖像設(shè)定處理的內(nèi)容的流程圖。圖19是示出顯示模式切換處理的內(nèi)容的流程圖。圖20是示出左現(xiàn)實空間圖像以及右現(xiàn)實空間圖像的一例的圖。圖21是根據(jù)標(biāo)記識別處理的結(jié)果而算出的左虛擬拍攝裝置63L的位置及姿勢的圖。圖22是根據(jù)標(biāo)記識別處理的結(jié)果而算出的右虛擬拍攝裝置63R的位置及姿勢的圖。圖23是示出基于立體顯示零距離的左現(xiàn)實空間圖像的提取范圍的圖。圖M是示出基于立體顯示零距離的右現(xiàn)實空間圖像的提取范圍的圖。圖25是示出虛擬對象62與左虛擬拍攝裝置63L之間的位置關(guān)系的圖。圖沈是示出左眼用圖像的生成方法的圖。圖27是示出用左虛擬拍攝裝置坐標(biāo)系來表示的右虛擬拍攝裝置63R的坐標(biāo)的計算方法的圖。圖28是示出ew和ed的圖。圖四是示出用標(biāo)記坐標(biāo)系來表示的左虛擬拍攝裝置63L及右虛擬拍攝裝置63R 的坐標(biāo)的計算方法的圖。圖30是示出基于左虛擬拍攝裝置63L的位置及姿勢而決定的右虛擬拍攝裝置63R 的位置的圖。圖31是示出基于右虛擬拍攝裝置63R的位置及姿勢而決定的左虛擬拍攝裝置63L 的位置的圖。圖32是示出I V. ζ I的圖。圖33是用于說明再次計算EyeWidth的理由的圖。圖34是用于說明再次計算EyeWidth的理由的圖。圖35是用于說明再次計算EyeWidth的理由的圖。圖36是用于說明再次計算EyeWidth的理由的圖。圖37是用于說明左投影矩陣的圖。圖38是用于說明右投影矩陣的圖。圖39是示出判定是否將主現(xiàn)實空間圖像從左現(xiàn)實空間圖像切換至右現(xiàn)實空間圖像的方法的圖。圖40是示出判定是否將主現(xiàn)實空間圖像從右現(xiàn)實空間圖像切換至左現(xiàn)實空間圖像的方法的圖。
具體實施例方式(游戲裝置的結(jié)構(gòu))以下，對本發(fā)明的一實施方式所涉及的游戲裝置進行說明。圖1 圖3是示出游戲裝置10的外觀的平面圖。游戲裝置10是便攜式游戲裝置。如圖1 圖3所示是可以折疊的結(jié)構(gòu)。圖1及圖2示出打開狀態(tài)(開狀態(tài))下的游戲裝置10，圖3示出閉合狀態(tài)(合狀態(tài))下的游戲裝置10。圖1是開狀態(tài)下的游戲裝置10的主視圖；圖2是開狀態(tài)下的游戲裝置10的右視圖。游戲裝置10能夠通過拍攝部來拍攝圖像，并將所拍攝的圖像顯示在屏幕上，或保存所拍攝的圖像的數(shù)據(jù)。并且，游戲裝置10能夠執(zhí)行儲存在可更換記憶卡內(nèi)的、 或者從服務(wù)器或其他游戲裝置接收到的游戲程序，并能夠?qū)⑼ㄟ^計算機圖形處理而生成的圖像，如虛擬空間中所設(shè)定的虛擬拍攝裝置所拍攝的圖像等顯示在屏幕上。首先，參照圖1 圖3來說明游戲裝置10的外觀結(jié)構(gòu)。如圖1 圖3所示，游戲裝置10包括下殼體11以及上殼體21。下殼體11與上殼體21能夠開合(能夠折疊)地連接。在本實施方式中，下殼體11和上殼體21分別呈長方形的板狀，各自的長邊部分可轉(zhuǎn)動地連接在一起。如圖1及圖2所示，在下殼體11的上部長邊部分設(shè)置有，從垂直于下殼體11的內(nèi)側(cè)面(主面)IlB的方向突起的突起部11A。并且，在上殼體21的下部長邊部分設(shè)置有，從上殼體21的下側(cè)面在垂直于該下側(cè)面的方向上突起的突起部21A。通過連接下殼體11的突起部IlA和上殼體21的突起部21A，下殼體11和上殼體21能夠可折疊地連接。(下殼體的說明)首先，說明下殼體11的結(jié)構(gòu)。如圖1 圖3所示，在下殼體11中設(shè)置有下部液晶顯示器(Liquid Crystal Display :LCD) 12、觸摸面板13、各個操作按鈕14A 14L(圖 1、圖3)、模擬搖桿15、LED16A 16B、插槽17以及擴音器用孔18。以下對它們進行詳細(xì)說明。如圖1所示，下部IXD12裝在下殼體11中。下部IXD12為長方形，其長邊方向配置成與下殼體11的長邊方向一致。下部IXD12配置于下殼體11的中央。下部IXD12設(shè)置于下殼體11內(nèi)側(cè)面(主面)，并且該下部LCD12的屏幕從下殼體11上所開設(shè)的開口部露出。 不使用游戲裝置10時使之為合狀態(tài)，能夠避免弄臟下部LCD12的屏幕，或防止其受損。下部 IXD12的像素數(shù)例如可以是256dotX192dot (寬X高)。下部IXD12與后述的上部IXD22 不同，是對圖像進行平面顯示(不能夠進行立體顯示)的顯示裝置。此外，在本實施方式中使用IXD來作為顯示裝置，但是也可以用例如利用了電致發(fā)光(Electro Luminescence EL)的顯示裝置等其他任何顯示裝置。此外，下部IXD12也可以使用任意解像度的顯示裝置。如圖1所示，游戲裝置10以觸摸面板13來作為輸入裝置。觸摸面板13安裝在下部LCD12的屏幕上。并且，在本實施方式中，觸摸面板13是電阻膜式觸摸面板。但是，觸摸面板并不僅限于電阻膜式，可以用如靜電容式等任何方式的觸摸面板。在本實施方式中，使用與下部LCD12的解像度相同(檢測精度)的觸摸面板來作為觸摸面板13。但觸摸面板 13的解像度并不需要與下部IXD12的解像度一致。此外，在下殼體11的上側(cè)面設(shè)置有插槽 17(圖1及圖3(d)所示的虛線)。插槽17能夠收納用于對觸摸面板13進行操作的觸控筆觀。此外，通常使用觸控筆觀來對觸摸面板13進行輸入，但并不僅限于觸控筆觀，也可以通過用戶的手指來對觸摸面板13進行輸入。各個操作按鈕14A 14L是用于進行規(guī)定的輸入的輸入裝置。如圖1所示，下殼體11的內(nèi)側(cè)面(主面)上設(shè)置了各個操作按鈕14A 14L中的十字按鈕14A(方向輸入按鈕14A)、按鈕14B、按鈕14C、按鈕14D、按鈕14E、電源按鈕14F、選擇按鈕14J、H0ME按鈕14K 以及開始按鈕14L。十字按鈕14A呈十字形狀，具有指示上下左右方向的按鈕。按鈕14B、 按鈕14C、按鈕14D、按鈕14E呈十字形配置。按鈕14A 14E、選擇按鈕14J、H0ME按鈕14K 以及開始按鈕14L中被適當(dāng)?shù)胤峙淞伺c游戲裝置10所執(zhí)行的程序相應(yīng)的功能。例如，十字按鈕14A用于選擇操作等、各個按鈕14A 14E例如用于決定操作或取消操作等。此外，電源按鈕14F用于打開/關(guān)閉游戲裝置10的電源。模擬搖桿15是指示方向的器件，被設(shè)置在下殼體11的內(nèi)側(cè)面靠下部LCD12的左側(cè)區(qū)域的上部區(qū)域。如圖1所示，十字按鈕14A設(shè)置在靠下部IXD12的左側(cè)區(qū)域的下部區(qū)域，模擬搖桿15設(shè)置于十字按鈕14A的上方。此外，將模擬搖桿15及十字按鈕14A設(shè)計在把持下殼體的左手拇指能夠進行操作的位置。并且，通過將模擬搖桿15設(shè)置在上部區(qū)域， 使得把持下殼體11的左手大拇指自然地落在模擬搖桿15所設(shè)置的地方，而當(dāng)左手的大拇指稍向下移動時，就能夠操作十字按鈕14A。模擬搖桿15的鍵頂(keytop)被構(gòu)成為能夠平行于下殼體11的內(nèi)側(cè)面滑動。模擬搖桿15根據(jù)游戲裝置10所執(zhí)行的程序來實現(xiàn)相應(yīng)的功能。例如，游戲裝置10執(zhí)行在三維虛擬空間中出現(xiàn)規(guī)定對象的游戲的情況下，模擬搖桿 15作為輸入裝置實現(xiàn)使該規(guī)定對象在三維虛擬空間中移動的功能。該情況下，規(guī)定對象向模擬搖桿15的鍵頂滑動的方向移動。此外，模擬搖桿15也可以作為通過向上下左右以及斜方向的任意方向傾倒規(guī)定量來實現(xiàn)模擬輸入。呈十字形配置的按鈕14B、按鈕14C、按鈕14D、按鈕14E的四個按鈕被配置在把持下殼體11的右手大拇指自然落在的位置。并且，這四個按鈕和模擬搖桿15左右對稱地配置在下部IXD12的兩側(cè)。由此，根據(jù)游戲程序，例如習(xí)慣用左手的人能夠使用這四個按鈕來進行方向指示輸入。此外，揚聲器用孔18設(shè)置在下殼體11的內(nèi)側(cè)面上。在揚聲器用孔18的下部設(shè)置有后述的作為聲音輸入裝置的傳聲器(參照圖6)，該傳聲器檢測游戲裝置10的外部的聲
曰°圖3(a)是合狀態(tài)下的游戲裝置10的左視圖，圖3(b)是合狀態(tài)下的游戲裝置10 的主視圖，圖3(c)是合狀態(tài)下的游戲裝置10的右視圖，圖3(d)是合狀態(tài)下的游戲裝置10 的后視圖。如圖3(b)及(d)所示，在下殼體11上側(cè)面設(shè)置有L按鈕14G及R按鈕14H。L 按鈕14G設(shè)置在下殼體11頂面的左端部，R按鈕14H設(shè)置在下殼體11頂面的右端部。L按鈕14G及R按鈕14H例如能夠?qū)崿F(xiàn)作為拍攝部的快門按鈕(拍攝指示按鈕)的功能。此外， 如圖3(a)所示，音量按鈕141設(shè)置在下殼體11的左側(cè)面。音量按鈕141用于調(diào)節(jié)游戲裝置10所具備的揚聲器的音量。如圖3(a)所示，在下殼體11的左側(cè)面設(shè)置有可開合的翻蓋部11C。在該翻蓋部 lie的內(nèi)側(cè)設(shè)置有用于實現(xiàn)游戲裝置10和數(shù)據(jù)保存用外部存儲器25的電連接的連接器 (connector)(未圖示)。數(shù)據(jù)保存用外部存儲器45拆卸自由地安裝于連接器。數(shù)據(jù)保存用外部存儲器45例如用于存儲(保存)游戲裝置10所拍攝的圖像的數(shù)據(jù)。此外，上述連接器及其翻蓋部IlC也可以設(shè)置在下殼體11的右側(cè)面。此外，如圖3(d)所示，在下殼體11的上側(cè)面設(shè)置有用于對游戲裝置10插入存儲有游戲程序的外部存儲器44的插槽11D，在該插槽IlD的內(nèi)部設(shè)置有用于能夠與外部存儲器44拆卸自由地實現(xiàn)電連接的連接器(未圖示)。當(dāng)外部存儲器44與游戲裝置10連接時，能夠執(zhí)行規(guī)定的游戲程序。此外，上述連接器及其插槽IlD也可以設(shè)置在下殼體11的其他側(cè)面(例如，右側(cè)面等)。此外，如圖1及圖3 (c)所示，在下殼體11的下側(cè)面設(shè)置有向用戶通知游戲裝置10 的電源的0N/0FF狀況的第1LED16A，在下殼體11的右側(cè)面設(shè)置有向用戶通知游戲裝置10 的無線通信的建立狀況的第2LED16B。游戲裝置10與其他設(shè)備之間能夠進行無線通信，當(dāng)無線通信建立時第2LED16B亮燈。游戲裝置10例如采用基于IEEE802. 11. b/g規(guī)格的方式， 而具有連接無線LAN的功能。在下殼體11的右側(cè)面設(shè)置有使該無線通信的功能有效/無效的無線開關(guān)19 (參照圖3(c))。此外，下殼體11中裝有作為游戲裝置10的電源的充電式電池，并且可以通過設(shè)置在下殼體11的側(cè)面(例如，上側(cè)面)的端子來對該電池進行充電，但圖示中省略了該部分。(上殼體的說明)接著，說明上殼體21的結(jié)構(gòu)。如圖1 圖3所示，上殼體21上設(shè)置有上部 LCD (Liquid Crystal Display) 22、外側(cè)拍攝部23 (外側(cè)拍攝部(左)23a及外側(cè)拍攝部 (右)23b)、內(nèi)側(cè)拍攝部M、3D調(diào)節(jié)開關(guān)25以及3D指示器26。以下對它們進行詳細(xì)說明。如圖1所示，上部IXD22安裝在上殼體21中。上部IXD22為長方形，其長邊方向配置成與上殼體21的長邊方向一致。上部IXD22配置在上殼體21的中央。上部IXD22的屏幕的面積設(shè)計得比下部LCD12的屏幕的面積大。并且，上部LCD22的屏幕設(shè)計得比下部 IXD12的屏幕寬。即，上部IXD22的屏幕的幅形比(aspect ratio)中的寬度比例設(shè)定得比下部IXD12的屏幕的幅形比中的寬度比例大。上部IXD22的屏幕設(shè)置在上殼體21的內(nèi)側(cè)面(主面)21B上，并且該上部IXD22 的屏幕露出于上殼體21上所設(shè)置的開口部。此外，如圖2所示，上殼體21的內(nèi)側(cè)面被透明的屏蓋27覆蓋。該屏蓋27不僅保護上部IXD22的屏幕，還使上部IXD22與上殼體21的內(nèi)側(cè)面為一體，使之具有整體感。上部IXD22的像素數(shù)例如可以是640dotX200dot (寬X 高)。此外，在本實施方式中上部LCD22是液晶顯示裝置，但是也可以用例如利用了電致發(fā)光(Electro Luminescence :EL)的顯示裝置等。此外，上部IXD22也可以使用任意解像度的顯示裝置。上部IXD22是能夠?qū)D像進行立體顯示的顯示裝置。此外，在本實施方式中，用實質(zhì)上相同的顯示區(qū)域來顯示左眼用圖像和右眼用圖像。具體地，它是采用以規(guī)定單位 (例如，每一列)來橫向交替地顯示左眼用圖像和右眼用圖像的方式的顯示裝置?；蛘?， 它也可以是采用交替地顯示左眼用圖像和右眼用圖像的方式的顯示裝置。此外，本實施方式中的顯示裝置是裸眼能夠看到立體圖像的顯示裝置。并且，可以使用柱狀透鏡方式 (lenticular)或視差屏障方式(Paralax Barriers)，將橫向交替地顯示的左眼用圖像和右眼用圖像分別分解給左眼及右眼，以使左眼及右眼看到各自的圖像。在本實施方式中，設(shè)定上部IXD22是視差屏障方式。上部IXD22用右眼用圖像和左眼用圖像，來顯示用裸眼能夠看到的有立體感的圖像(立體圖像)。即，上部IXD22利用視差屏障，使用戶的左眼看到左眼用圖像，右眼看到右眼用圖像，由此能夠顯示對于用戶而言具有立體感的立體圖象(產(chǎn)生立體視覺的圖像)。此外，上部IXD22能夠使上述視差屏障無效，使視差屏障無效的情況下，能夠顯示平面圖像(與上述的立體顯示的意思相反，能夠顯示平面圖像。即，左眼和右眼看到同樣的顯示圖像的顯示模式)。這樣，上部IXD22是能夠在顯示立體圖像的立體顯示模式和，顯示平面圖像的平面顯示模式之間進行切換的顯示裝置。該顯示模式的切換將通過后述的3D調(diào)節(jié)開關(guān)25來進行。外側(cè)拍攝部23是設(shè)置在上殼體21的外側(cè)面(與設(shè)置有上部IXD22的主面相反的背面)21D上的兩個拍攝部(23a及2 )的總稱。外側(cè)拍攝部(左)23a和外側(cè)拍攝部 (右)2 的拍攝方向都是該外側(cè)面21D向外的法線方向。并且，這些拍攝部都設(shè)計在與上部LCD22的顯示面(內(nèi)側(cè)面)的法線方向呈180度相反的方向。即，外側(cè)拍攝部(左)23a 的拍攝方向與外側(cè)拍攝部(右)2 的拍攝方向平行。外側(cè)拍攝部(左)23a和外側(cè)拍攝部 (右)2 根據(jù)游戲裝置10所執(zhí)行的程序，能夠作為立體攝像機使用。此外，可以根據(jù)程序單獨地使用2個外側(cè)拍攝部及23b)中的任意一方，從而將外側(cè)拍攝部23作為非立體攝像機來使用。此外，還可以根據(jù)程序，通過合成2個外側(cè)拍攝部及23b)所拍攝的圖像，或者互補性地使用該2個外側(cè)拍攝部及23b)所拍攝的圖像，來實現(xiàn)擴大了拍攝范圍的拍攝。在本實施方式中，外側(cè)拍攝部23由外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 兩個拍攝部構(gòu)成。外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 包含具有各自規(guī)定的相同解像度的拍攝元件(例如，CCD圖像傳感器或CMOS圖像傳感器等)，以及鏡頭。鏡頭也可以具有變焦機構(gòu)。如圖1的虛線以及圖3 (b)的實線所示，構(gòu)成外側(cè)拍攝部23的外側(cè)拍攝部(左)23a 和外側(cè)拍攝部(右)2 平行排列地配置在上部LCD22的屏幕的寬度方向。即，外側(cè)拍攝部 (左)23a和外側(cè)拍攝部(右)2 配置成使連接2個拍攝部的直線與上部IXD22的屏幕的寬度方向平行。圖1的虛線所示的23a及2 分別表示位于與上殼體21的內(nèi)側(cè)面相反側(cè)的外側(cè)面的外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2北。如圖1所示，當(dāng)用戶從正面觀看上部LCD22的屏幕時，外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 分別位于左側(cè)和右側(cè)。 當(dāng)執(zhí)行使外側(cè)拍攝部23實現(xiàn)立體攝像機的功能的程序時，外側(cè)拍攝部(左)23a拍攝用戶的左眼看到的左眼用圖像，外側(cè)拍攝部(右)2 拍攝用戶的右眼看到的右眼用圖像。外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔被設(shè)定為人的雙眼的間隔，例如可以設(shè)定在30mm 70mm的范圍內(nèi)。此外，外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔并不僅限于該范圍。此外，在本實施方式中，外側(cè)拍攝部(左)23a及外側(cè)拍攝部(右)2 被固定在殼體上，不能改變拍攝方向。此外，外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)23b分別配置在，上部IXD22 (上殼體21)的左右方向上相對于中央對稱的位置。即，外側(cè)拍攝部(左)23a和外側(cè)拍攝部 (右)2 分別配置在相對于將上部IXD22左右2等分的直線對稱的位置。此外，當(dāng)上殼體 21呈打開的狀態(tài)下，外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 配置在上殼體21的上部，且位于比上部IXD22的屏幕的上端高的位置的背面。即，外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 被配置在上殼體21的外側(cè)面，并且將上部IXD22投影到外側(cè)面時，位于比上部IXD22的屏幕的投影的上端高的位置。
這樣，將外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)23b分別配置在，上部IXD22的左右方向上相對于中央對稱的位置，當(dāng)用戶正視上部LCD22時，能夠使外側(cè)拍攝部23的拍攝方向與用戶的視線方向一致。并且，由于外側(cè)拍攝部23被配置在比上部LCD22的屏幕的上端高的背面的位置，所以外側(cè)拍攝部23與上部LCD22不會在上殼體21的內(nèi)部彼此妨礙。 因此，與將外側(cè)拍攝部23配置在上部IXD22的屏幕的背面的情況相比，能夠使上殼體21變薄。內(nèi)側(cè)拍攝部M設(shè)置在上殼體21的內(nèi)側(cè)面(主面)21B，并且是將該內(nèi)側(cè)面的向內(nèi)的法線方向作為拍攝方向的拍攝部。內(nèi)側(cè)拍攝部M包含具有規(guī)定的解像度的拍攝元件 (例如，CXD圖像傳感器或CMOS圖像傳感器等)，以及鏡頭。鏡頭也可以具有變焦機構(gòu)。如圖1所示，在打開上殼體21的狀態(tài)下，內(nèi)側(cè)拍攝部M被配置在上殼體21的上部，且比上部IXD22的屏幕的頂端高，而且是配置在上殼體21的左右方向上的中央位置 (將上殼體21(上部IXD22的屏幕)左右2等分的線上)。具體地，如圖1及圖3(b)所示， 內(nèi)側(cè)拍攝部M被配置在上殼體21的內(nèi)側(cè)面，且位于外側(cè)拍攝部23的左右拍攝部(外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)23b)背面的中間位置。即，在將上殼體21的外側(cè)面上所設(shè)置的外側(cè)拍攝部23的左右拍攝部投影到上殼體21的內(nèi)側(cè)面的情況下，內(nèi)側(cè)拍攝部M 設(shè)置該左右拍攝部的投影的中間。圖3(b)所示的虛線M表示位于上殼體21的內(nèi)側(cè)面的內(nèi)側(cè)拍攝部24。這樣，內(nèi)側(cè)拍攝部M拍攝與外側(cè)拍攝部23相反的方向。內(nèi)側(cè)拍攝部M設(shè)置在上殼體21的內(nèi)側(cè)面，且位于外側(cè)拍攝部23的左右拍攝部背面的中間位置。由此，用戶正視上部IXD22的情況下，通過內(nèi)側(cè)拍攝部M能夠從正面拍攝用戶的臉。此外，由于外側(cè)拍攝部 23的左右拍攝部與上部IXD22不會在上殼體21的內(nèi)部彼此妨礙，因而能夠使上殼體21變薄。3D調(diào)節(jié)開關(guān)25是滑動開關(guān)，并且如上所述是用于切換上部IXD22的顯示模式的開關(guān)。并且，3D調(diào)節(jié)開關(guān)25用于調(diào)節(jié)上部IXD22所顯示的能夠產(chǎn)生立體視覺的圖像(立體圖像)的立體感。如圖1 圖3所示，3D調(diào)節(jié)開關(guān)25設(shè)置在上殼體21的內(nèi)側(cè)面及右側(cè)面的端部，并且設(shè)置在當(dāng)用戶正視上部IXD22時，能夠看到該3D調(diào)節(jié)開關(guān)25的位置。并且， 3D調(diào)節(jié)開關(guān)25的操作部突出于內(nèi)側(cè)面及右側(cè)面兩方，并從任何一方都能夠看到并能夠進行操作。此外，3D調(diào)節(jié)開關(guān)25以外的開關(guān)都設(shè)置在下殼體11。圖4是圖1所示的上殼體21的A-A’線剖面圖。如圖4所示，在上殼體21的內(nèi)側(cè)面的右端部形成有凹部21C，且該凹部21C中設(shè)置有3D調(diào)節(jié)開關(guān)25。如圖1及圖2所示， 3D調(diào)節(jié)開關(guān)25被配置在從上殼體21的正面及右側(cè)面能夠看到的位置。3D調(diào)節(jié)開關(guān)25的滑塊2 能夠在規(guī)定方向(上下方向)滑動到任意的位置，并且根據(jù)該滑塊25a的位置來相應(yīng)地設(shè)定上部IXD22的顯示模式。圖5A到圖5C是示出3D調(diào)節(jié)開關(guān)25的滑塊2 滑動的情況的圖。圖5A是示出 3D調(diào)節(jié)開關(guān)25的滑塊2 位于最低點(第3位置)時的情況的圖。圖5B是示出3D調(diào)節(jié)開關(guān)25的滑塊2 位于最低點的上方位置(第1位置)時的情況的圖。圖5C是示出3D 調(diào)節(jié)開關(guān)25的滑塊2 位于頂點(第2位置)時的情況的圖。如圖5A所示，當(dāng)3D調(diào)節(jié)開關(guān)25的滑塊2 位于最低點(第3位置)時，上部 IXD22被設(shè)定為平面顯示模式，上部IXD22的屏幕上顯示平面圖像(此外，也可以在使上部
22IXD22保持立體顯示模式的情況下，通過使左眼用圖像和右眼用圖像成為同一圖像，來進行平面顯示)。而當(dāng)滑塊2 位于圖5B所示的位置(比最低點高的位置(第1位置))到圖 5C所示的位置(最頂點的位置(第2位置))之間時，上部IXD22被設(shè)定為立體顯示模式。 該情況下，上部IXD22的屏幕上顯示能夠產(chǎn)生立體視覺的立體圖像。當(dāng)滑塊2 位于第1位置與第2位置之間時，能夠根據(jù)滑塊2 的位置來調(diào)節(jié)立體圖像的立體感。具體地，能夠根據(jù)滑塊2 的位置來相應(yīng)地調(diào)節(jié)右眼用圖像及左眼用圖像的橫向位置的偏差量。3D調(diào)節(jié)開關(guān)25的滑塊2 被構(gòu)成為，能夠在第3位置固定，并能夠在第1位置和第2位置之間沿上下方向滑動到任意的位置。例如，滑塊2 被構(gòu)成為被從形成3D調(diào)節(jié)開關(guān)25的側(cè)面沿圖 5A所示的橫向突出的凸部(未圖示)固定在第3位置，且只有從上方施加規(guī)定以上的力量才能使之滑動到第3位置的上方。當(dāng)滑塊2 從第3位置到第1位置時，立體圖像的立體感不被調(diào)節(jié)，這是所謂的閑置空間(idle space)。在其他例子中，也可以不設(shè)置閑置區(qū)間， 而將第3位置和第1位置作為相同的位置。此外，也可以將第3位置設(shè)置在第2位置與第 1位置之間。該情況下，使滑塊從第3位置向第1位置的方向移動的情況和，向第2位置移動的情況下，調(diào)節(jié)左眼用圖像以及右眼用圖像的橫向位置的偏差量的調(diào)節(jié)方向變反。3D指示器沈表示上部IXD22是否是立體顯示模式。3D指示器沈是LED，在上部 IXD22的立體顯示模式有效的情況下亮燈。此外，也可以使3D指示器沈只有在上部IXD22 為立體顯示模式，且顯示立體圖像的程序處理被執(zhí)行時(即，3D調(diào)節(jié)開關(guān)從上述第1位置到上述第2位置，執(zhí)行使左眼用圖像和右眼用圖像不同的圖像處理時)才亮燈。如圖1所示，3D指示器沈設(shè)置在上殼體21的內(nèi)側(cè)面，且位于上部IXD22的屏幕附近。從而，當(dāng)用戶正視上部IXD22的屏幕時，用戶容易看到3D指示器26。因此，當(dāng)用戶正在確認(rèn)上部IXD22 的屏幕的狀態(tài)下，能夠容易地識別上部IXD22的顯示模式。此外，在上殼體21的內(nèi)側(cè)面設(shè)置有揚聲器孔21E。從該揚聲器孔21E輸出來自于后述的揚聲器43的聲音。(游戲裝置10的內(nèi)部結(jié)構(gòu))接著，參照圖6，說明游戲裝置10的內(nèi)部電結(jié)構(gòu)。圖6是示出游戲裝置10的內(nèi)部結(jié)構(gòu)的方框圖。如圖6所示，游戲裝置10除了上述的各個部以外，還具備信息處理部31、 主存儲器32、外部存儲器接口(外部存儲器I/F) 33、數(shù)據(jù)保存用外部存儲器I/F34、數(shù)據(jù)保存用內(nèi)部存儲器35、無線通信模塊36、局部通信模塊37、實時時鐘(RTC) 38、加速度傳感器 39、電源電路40以及接口電路(I/F電路)41等電子元件。這些電子元件集成于電子電路基板，并被裝在下殼體11 (或者也可以是上殼體21)中。信息處理部31是包括用于執(zhí)行規(guī)定的程序的中央處理器(Central Processing Unit :CPU) 311、進行圖像處理的圖形處理器(Graphics Processing Unit :GPU) 312等的信息處理單元。信息處理部31的CPU311通過執(zhí)行保存在游戲裝置10內(nèi)的存儲器(例如連接于外部存儲器I/F33的外部存儲器44或數(shù)據(jù)保存用內(nèi)部存儲器3 中的程序，來執(zhí)行與該程序相應(yīng)的處理(例如，拍攝處理或后述的圖像顯示處理)。此外，由信息處理部31的 CPU311所執(zhí)行的程序可以通過與其他設(shè)備進行通信而從其他設(shè)備獲得。此外，信息處理部 31包括視頻RAM (Video RAM，VRAM) 313。信息處理部31的GPU312根據(jù)來自信息處理部31 的CPU311的命令來生成圖像，并繪制到VRAM313。然后，信息處理部31的GPU312將繪制到 VRAM313的圖像輸出到上部IXD22及/或下部IXD2，從而在上部IXD22及/或下部IXD2顯示該圖像。信息處理部31上連接有主存儲器32、外部存儲器I/F33、數(shù)據(jù)保存用外部存儲器 I/F34及數(shù)據(jù)保存用內(nèi)部存儲器35。外部存儲器I/F33是用于與外部存儲器44拆卸自由地連接的接口。并且，數(shù)據(jù)保存用外部存儲器I/F34是用于與數(shù)據(jù)保存用外部存儲器45拆卸自由地連接的接口。主存儲器32是用作信息處理部31 (的CPU311)的工作區(qū)或緩沖區(qū)的易失性存儲單元。即，主存儲器32暫時儲存基于上述程序的處理所用的各種數(shù)據(jù)，或者暫時儲存從外部(外部存儲器44或其它設(shè)備等)獲取的程序。在本實施方式中，例如使用虛擬靜態(tài)隨機存取存儲器O3Seudo-SRAM =PSRAM)來作為主存儲器32。外部存儲器44是用于存儲信息處理部31所執(zhí)行的程序的非易失性存儲單元。外部存儲器44例如通過讀取專用的半導(dǎo)體存儲器而構(gòu)成。當(dāng)外部存儲器44與外部存儲器I/ F33連接時，信息處理部31能夠載入外部存儲器44中所儲存的程序。通過執(zhí)行信息處理部31所載入的程序，來執(zhí)行規(guī)定的處理。數(shù)據(jù)保存用外部存儲器45由非易失性的能夠讀寫的存儲器(例如，NAND閃存)構(gòu)成，用于儲存規(guī)定的數(shù)據(jù)。例如，數(shù)據(jù)保存用外部存儲器 45中儲存有外側(cè)拍攝部23所拍攝的圖像或通過其他設(shè)備拍攝的圖像。當(dāng)數(shù)據(jù)保存用外部存儲器45與數(shù)據(jù)保存用外部存儲器I/F34連接時，信息處理部31載入數(shù)據(jù)保存用外部存儲器45所儲存的圖像，從而能夠在上部IXD22及/或下部IXD2顯示該圖像。數(shù)據(jù)保存用內(nèi)部存儲器35由可讀寫的非易失性存儲器(例如NAND型閃存)構(gòu)成， 用于儲存規(guī)定的數(shù)據(jù)。例如，數(shù)據(jù)保存用內(nèi)部存儲器35中保存有通過經(jīng)由無線通信模塊36 的無線通信而下載的數(shù)據(jù)或程序。無線通信模塊36例如采用基于IEEE802. 11. b/g規(guī)格的方式而具有與無線LAN連接的功能。此外，局部通信模塊37具有通過規(guī)定的通信方式(例如，基于獨自的協(xié)議的通信或紅外通信)，而在同種類的游戲裝置之間進行無線通信的功能。無線通信模塊36及局部通信模塊37連接于信息處理部31。信息處理部31能夠用無線通信模塊36經(jīng)由因特網(wǎng)而與其它設(shè)備之間進行數(shù)據(jù)的收發(fā)，或者用局部通信模塊37來與其它同種類的游戲裝置之間進行數(shù)據(jù)的收發(fā)。此外，信息處理部31上連接有加速度傳感器39。加速度傳感器39檢測沿三個軸 (xyz軸)方向的直線方向的加速度(直線加速度)的大小。加速度傳感器39設(shè)置在下殼體11的內(nèi)部。如圖1所示，加速度傳感器39檢測出以下殼體11的長邊方向為χ軸、下殼體11的短邊方向為y軸、與下殼體11的內(nèi)側(cè)面(主面)垂直的方向為ζ軸的各個軸的直線加速度的大小。并且加速度傳感器39例如是靜電容量式的加速度傳感器，也可以是其他方式的加速度傳感器。此外，加速度傳感器39也可以是檢測1個或2個軸方向的加速度傳感器。信息處理部31通過接收表示由加速度傳感器39檢測出的加速度的數(shù)據(jù)(加速度數(shù)據(jù))，能夠檢測出游戲裝置10的姿勢或動作。此外，信息處理部31上連接有RTC38以及電源電路40。RTC38對時間進行計數(shù)，并輸出給信息處理部31。信息處理部31基于RTC38所計時的時間來計算當(dāng)前時刻(日期)。 電源電路40控制來自游戲裝置10所具有的電源(裝在下殼體11中的上述充電式電池) 的電力，并向游戲裝置10的各個元件供電。此外，信息處理部31上連接有I/F電路41。I/F電路41上連接有傳聲器42以及揚聲器43。具體地，揚聲器43經(jīng)由未圖示的放大器連接在I/F電路41上。傳聲器42檢測用戶的聲音并將聲音信號輸出給I/F電路41。放大器將來自I/F電路41的聲音信號放大，并將聲音從揚聲器43輸出。此外，觸摸面板13連接在I/F電路41上。I/F電路41包括對傳聲器42及揚聲器43 (放大器)進行控制的聲音控制電路、以及對觸摸面板進行控制的觸摸面板控制電路。聲音控制電路對聲音信號進行A/D轉(zhuǎn)換以及D/A轉(zhuǎn)換，或?qū)⒙曇粜盘栟D(zhuǎn)換成規(guī)定格式的聲音數(shù)據(jù)。觸摸面板控制電路基于來自觸摸面板13的信號來生成規(guī)定格式的觸摸位置數(shù)據(jù)，并輸出到信息處理部31。觸摸位置數(shù)據(jù)表示在觸摸面板13的輸入面上進行輸入的位置坐標(biāo)。此外，觸摸面板控制電路在間隔規(guī)定時間來讀取來自觸摸面板13的信號以及生成觸摸位置數(shù)據(jù)。信息處理部31通過獲取觸摸位置數(shù)據(jù)，能夠得知對觸摸面板13進行了輸入的位置。操作按鈕14包括上述各個操作按鈕14A 14L，并與信息處理部31連接。從操作按鈕14向信息處理部13輸出表示對各個操作按鈕14A 141的輸入狀況(是否被按下) 的操作數(shù)據(jù)。信息處理部31通過從操作按鈕14獲取操作數(shù)據(jù)，按照對操作按鈕14所進行的輸入來執(zhí)行處理。下部IXD12及上部IXD22連接于信息處理部31。下部IXD12及上部IXD22按照信息處理部31(的GPU312)的指示來顯示圖像。在本實施方式中，信息處理部31使立體圖像 (產(chǎn)生立體視覺的圖像)顯示在上部IXD22上。具體地，信息處理部31連接于上部IXD22的IXD控制器(未圖示)，并對該IXD控制器控制視差屏障的0N/0FF。當(dāng)上部IXD22的視差屏障為ON時，信息處理部31的VRAM313 中所儲存的右眼用圖像和左眼用圖像被輸出到上部LCD22。更具體地，LCD控制器通過交替地執(zhí)行讀出右眼用圖像的縱向1列的像素數(shù)據(jù)的處理、和讀出左眼用圖像的縱向1列的像素數(shù)據(jù)的處理，來從VRAM313讀出右眼用圖像和左眼用圖像。由此，右眼用圖像和左眼用圖像被分割成像素在縱向按列排列的帶狀圖像，被分割后的右眼用圖像的帶狀圖像和左眼用圖像的帶狀圖像交替地配置的圖像被顯示在上部IXD22的屏幕上。然后，用戶經(jīng)由上部 LCD22的視差屏障便能夠看到該圖像，由此，用戶的右眼能夠看到右眼用圖像，用戶的左眼能夠看到左眼用圖像。如此便能夠?qū)a(chǎn)生立體視覺的圖像顯示在上部IXD22的屏幕上。外側(cè)拍攝部23及內(nèi)側(cè)拍攝部M連接在信息處理部31上。外側(cè)拍攝部23及內(nèi)側(cè)拍攝部M按照信息處理部31的指示來拍攝圖像，并將所拍攝的圖像數(shù)據(jù)輸出到信息處理部31。3D調(diào)節(jié)開關(guān)25連接在信息處理部31上。3D調(diào)節(jié)開關(guān)25根據(jù)滑塊25a的位置相應(yīng)地將電信號發(fā)送給信息處理部31。此外，3D指示器沈連接在信息處理部31上。由信息處理部31來控制3D指示器 26的亮燈。例如，當(dāng)上部IXD22是立體顯示模式時，信息處理部31使3D指示器沈亮燈。 以上是有關(guān)游戲裝置10的內(nèi)部結(jié)構(gòu)的說明。(游戲裝置10的動作概要)以下，說明本實施方式中的游戲裝置10的動作概要。在本實施方式中，基于圖像顯示程序，將由外側(cè)拍攝部23(外側(cè)拍攝部(左)23a、外側(cè)拍攝部(右)23b)當(dāng)前正在拍攝的現(xiàn)實空間的圖像與、存在于三維虛擬空間的虛擬對象的圖像合成后的合成圖像，作為立體圖像顯示在上部IXD22的屏幕上。
(現(xiàn)實空間圖像的立體顯示)使提供給上部IXD22的、由外側(cè)拍攝部23拍攝的2個拍攝圖像具有規(guī)定的視差， 來實現(xiàn)立體顯示。圖7是示出外側(cè)拍攝部23正在拍攝3個球60a 60c (現(xiàn)實對象)時，上部IXD22 的屏幕上所顯示的立體圖像的一例。當(dāng)外側(cè)拍攝部23拍攝3個球60a 60c時，在上部 IXD22上能夠顯示出這些球60a 60c的立體圖像。如圖7所示，在上部IXD22的屏幕上， 離外側(cè)拍攝部23最近的球60a在用戶看來是位于離自己最近的位置，而離外側(cè)拍攝部23 最遠的球60a在用戶看來是位于離自己最遠的位置。此外，為了便于理解，圖7中示出的是球超出了上部LCD22的屏幕，但實際上球是顯示在屏幕內(nèi)的。后述的圖8、圖10也同樣。此外，圖7中，由于后述的標(biāo)記61 (參照圖8)沒有被外側(cè)拍攝部23拍攝，所以在上部LCD22的屏幕上沒有顯示虛擬對象。并且，在圖7、圖8、圖10等中示出的是，看到的顯示對象好像是飛出了屏幕，但是進行立體顯示的情況下，看到的顯示對象并不一定都是如飛出了屏幕的方向，也包括使顯示對象具有深度而進行顯示，從而看到的顯示對象位于屏幕的內(nèi)側(cè)深處。(現(xiàn)實空間圖像及CG圖像的立體顯示)圖8示出外側(cè)拍攝部23正在拍攝標(biāo)記61 (現(xiàn)實對象)時，上部IXD22的屏幕上所顯示的立體圖像的一例。如圖8所示，標(biāo)記61中繪制有包含箭頭的正方形，CPU311通過對從外側(cè)拍攝部23獲取的圖像進行如模式匹配等圖像處理，能夠判定該圖像中是否含有標(biāo)記。當(dāng)外側(cè)拍攝部23正在拍攝標(biāo)記61時，上部IXD22不僅將標(biāo)記61作為現(xiàn)實空間圖像來進行立體顯示，還將虛擬對象62 (例如模擬狗的虛擬對象)合成在標(biāo)記61的位置來進行立體顯示。如圖9所示，標(biāo)記61被定義了朝向(前方、右方、上方)，并能夠?qū)⑻摂M對象的姿勢配置成與標(biāo)記61相應(yīng)的姿勢。例如，能夠在標(biāo)記61上將虛擬對象62配置成，虛擬對象62 的前方與標(biāo)記61的前方一致。圖10示出外側(cè)拍攝部23正在拍攝標(biāo)記61時，上部IXD22的屏幕上所顯示的立體圖像的另一例。這樣，當(dāng)用戶移動游戲裝置10，而使上部IXD22的屏幕上所顯示的標(biāo)記61 的位置及朝向發(fā)生變化時，虛擬對象62的位置及朝向也隨之而發(fā)生變化。因此，在用戶看來虛擬對象62仿佛真的存在于現(xiàn)實空間中一樣。以下，參照圖11 圖40，詳細(xì)說明游戲裝置10中基于圖像顯示程序而執(zhí)行的圖像顯示處理。(存儲分配圖表)首先，對進行圖像顯示處理時主存儲器32中所儲存的主要數(shù)據(jù)進行說明。圖11是示出游戲裝置10的主存儲器32的存儲器分配圖表的圖。如圖11所示，主存儲器32中儲存有圖像顯示程序70、最新左現(xiàn)實空間圖像71L、最新右現(xiàn)實空間圖像71R、顯示用左現(xiàn)實空間圖像72L、顯示用右現(xiàn)實空間圖像72R、立體視零距離73、虛擬對象信息74、左變換矩陣 75L、右變換矩陣75R、左視點矩陣76L、右視點矩陣76R、左投影矩陣77L、右投影矩陣77R、顯示模式78、標(biāo)記識別模式79、主現(xiàn)實空間圖像識別信息80以及各種變量81等。圖像顯示程序70是用于使CPU311執(zhí)行上述圖像顯示處理的程序。最新左現(xiàn)實空間圖像71L是由外側(cè)拍攝部(左)23a拍攝的最新圖像。最新右現(xiàn)實空間圖像71R是由外側(cè)拍攝部(右)2 拍攝的最新圖像。顯示用左現(xiàn)實空間圖像72L是由外側(cè)拍攝部(左)23a所拍攝的圖像中、被決定為在上部IXD22上顯示的最新的圖像。顯示用右現(xiàn)實空間圖像72R是由外側(cè)拍攝部(右)2 所拍攝的圖像中、被決定為在上部IXD22上顯示的最新的圖像。立體視零距離73是一個變量，該變量表示在上部IXD22的屏幕上對某物體進行立體顯示時，該物體要在拍攝方向上與外側(cè)拍攝部23相隔多少距離才能被看到是位于與上部LCD22的屏幕相同進深的位置。立體視零距離73例如可以厘米為單位。在本實施方式中，立體視零距離73固定為25cm，但這只不過是一個例子，可以根據(jù)用戶的指示，或者通過計算機來自動地隨時改變立體視零距離73。立體視零距離73也可以根據(jù)與標(biāo)記61相距的距離、或外側(cè)拍攝部23與標(biāo)記61之間的距離的比例來進行指定。此外，并不一定指定為現(xiàn)實空間的距離，也可以指定為虛擬空間中的距離。當(dāng)標(biāo)記61的尺寸為已知等情況時，能夠使現(xiàn)實空間中的長度單位與虛擬空間中的長度單位一致。這樣在能夠使兩者的單位一致的情況下，能夠以現(xiàn)實空間中的長度單位來設(shè)定立體視零距離73。而在不能使兩者的單位一致的情況下，則可以以虛擬空間中的長度單位來設(shè)定立體視零距離73。此外，如后述，在本實施方式中，不用標(biāo)記61的尺寸，就能夠使現(xiàn)實空間中的長度單位與虛擬空間中的長度單位一致。虛擬對象信息74是與上述的虛擬對象62相關(guān)聯(lián)的信息，并含有表示虛擬對象 62的形狀的3D模型數(shù)據(jù)(多邊形數(shù)據(jù))、表示虛擬對象62的圖案的紋理數(shù)據(jù)、或表示虛擬空間中的虛擬對象62的位置或姿勢的信息等。左變換矩陣75L是通過識別左現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢來計算的矩陣，是將通過以標(biāo)記61的位置及姿勢為基準(zhǔn)而設(shè)定的坐標(biāo)系(標(biāo)記坐標(biāo))來表示的坐標(biāo)，變換為以外側(cè)拍攝部(左)23a的位置及姿勢為基準(zhǔn)來表示的坐標(biāo)系(外側(cè)拍攝部(左) 坐標(biāo)系)的坐標(biāo)變換矩陣。左變換矩陣75L是含有外側(cè)拍攝部(左)23a相對于標(biāo)記61的位置及姿勢的相對位置及姿勢信息的矩陣，更具體地，它是含有標(biāo)記坐標(biāo)系中外側(cè)拍攝部 (左)23a的位置及姿勢的信息的矩陣。右變換矩陣75R是通過識別右現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢來計算的矩陣，是將通過標(biāo)記坐標(biāo)來表示的坐標(biāo)變換為，以外側(cè)拍攝部(右)2 的位置及姿勢為基準(zhǔn)來表示的坐標(biāo)系(外側(cè)拍攝部(右)坐標(biāo)系)的坐標(biāo)變換矩陣。右變換矩陣75R是含有外側(cè)拍攝部(左)2 相對于標(biāo)記61的位置及姿勢的相對位置及姿勢信息的矩陣，更具體地，它是含有標(biāo)記坐標(biāo)系中外側(cè)拍攝部(右)2 的位置及姿勢的信息的矩陣。此外，在本說明書中，把從標(biāo)記坐標(biāo)變換成外側(cè)拍攝部(左)坐標(biāo)系或外側(cè)拍攝部 (右)坐標(biāo)系的變換矩陣稱為“標(biāo)記/拍攝裝置變換矩陣”。左變換矩陣75L和右變換矩陣 75R是“標(biāo)記/拍攝裝置變換矩陣”。左視點矩陣76L是繪制從左虛擬拍攝裝置看到的虛擬對象62時所用的矩陣，是用于將通過虛擬世界的世界坐標(biāo)系來表示的坐標(biāo)變換為，通過左虛擬拍攝裝置坐標(biāo)系來表示的坐標(biāo)的坐標(biāo)變換矩陣。左視點矩陣76L是含有虛擬世界的世界坐標(biāo)系中的左虛擬拍攝裝置的位置及姿勢的信息的矩陣。右視點矩陣76R是繪制從右虛擬拍攝裝置看到的虛擬對象62時所用的矩陣，它是用于將通過虛擬世界的世界坐標(biāo)系來表示的坐標(biāo)變換為，通過右虛擬拍攝裝置坐標(biāo)系來表示的坐標(biāo)的坐標(biāo)變換矩陣。右視點矩陣76R是含有虛擬世界的世界坐標(biāo)系中的右虛擬拍攝裝置的位置及姿勢的信息的矩陣。左投影矩陣77L是繪制從左虛擬拍攝裝置看到的虛擬世界(存在于虛擬世界的虛擬對象62)時用的矩陣，是用于將通過左虛擬拍攝裝置坐標(biāo)系來表示的坐標(biāo)變換為，通過屏幕坐標(biāo)系來表示的坐標(biāo)的坐標(biāo)變換矩陣。右投影矩陣77R是繪制從右虛擬拍攝裝置看到的虛擬世界(存在于虛擬世界的虛擬對象62)時用的矩陣，是用于將通過右虛擬拍攝裝置坐標(biāo)系來表示的坐標(biāo)變換為，通過屏幕坐標(biāo)系來表示的坐標(biāo)的坐標(biāo)變換矩陣。顯示模式78是表示當(dāng)前的處理模式的數(shù)據(jù)，更具體地，它是表示使現(xiàn)實空間圖像和虛擬空間圖像同步地進行合成顯示的同步顯示模式，或者是表示使現(xiàn)實空間圖像和虛擬空間圖像非同步地進行合成顯示的非同步顯示模式的數(shù)據(jù)。標(biāo)記識別模式79是表示當(dāng)前的處理模式的數(shù)據(jù)，更具體地，它是表示只對左現(xiàn)實空間圖像和右現(xiàn)實空間圖像中的某一個進行標(biāo)記識別處理的單圖像識別模式，或者是表示對左現(xiàn)實空間圖像和右現(xiàn)實空間圖像的兩者分別進行標(biāo)記識別處理的雙圖像識別模式。主現(xiàn)實空間圖像識別信息80是表示左現(xiàn)實空間圖像和右現(xiàn)實空間圖像中的哪一個是主現(xiàn)實空間圖像的數(shù)據(jù)。在上述單圖像識別模式下，只對主現(xiàn)實空間圖像進行標(biāo)記識別處理，而不對另一方的現(xiàn)實空間圖像(以下，稱為子現(xiàn)實空間圖像)進行標(biāo)記識別處理。各種變量81是執(zhí)行圖像顯示程序70時所用的變量，包含圖12所示的變量。以下將隨時說明這些變量的含義。當(dāng)游戲裝置10接通電源時，游戲裝置10的信息處理部31 (CPU311)執(zhí)行儲存在未圖示的ROM中的啟動程序，由此，主存儲器32等各個單元被初始化。接著，數(shù)據(jù)保存用內(nèi)部存儲器35中所儲存的圖像顯示程序被載入主存儲器32，并通過信息處理部31的CPU311來開始執(zhí)行該圖像顯示程序。以下，結(jié)合圖13 圖19的流程圖，來說明基于圖像顯示程序而執(zhí)行的處理的流程。此外，圖13 圖19的流程圖只不過是一個例子。因此，只要能夠得到同樣的結(jié)果，各個步驟的順序也可以調(diào)換。并且，變量的值或判斷步驟中所利用的閾值也僅僅是一個例子， 也可以根據(jù)需要采用其它的值。此外，在本實施方式中，說明的是由CPU311執(zhí)行圖13 圖 19的流程圖的所有步驟的處理的情況，但也可以設(shè)定CPU311以外的處理器或?qū)Ｓ秒娐穪韴?zhí)行圖13 圖19的流程圖的一部分步驟的處理。(標(biāo)記處理)圖13是示出CPU311基于圖像顯示程序70所執(zhí)行的標(biāo)記處理的流程的流程圖。標(biāo)記處理是與后述的主處理并列執(zhí)行的處理，在本實施方式中是在CPU311的閑置(Idle)狀態(tài)時執(zhí)行。以下詳細(xì)說明標(biāo)記處理。圖13的步驟SlO中，CPU311判斷是否從外側(cè)拍攝部23獲得兩方的現(xiàn)實空間圖像 (即，左現(xiàn)實空間圖像及右現(xiàn)實空間圖像)，并且，在獲得了兩方的現(xiàn)實空間圖像的情況下， 處理進入步驟S11。從外側(cè)拍攝部23獲得的最新的左現(xiàn)實空間圖像作為最新左現(xiàn)實空間圖像71L被儲存到主存儲器32，所獲得的最新的右現(xiàn)實空間圖像作為最新右現(xiàn)實空間圖像 7IR被儲存到主存儲器32。此外，如上所述，在上殼體21中，外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 只間隔一定的距離(例如3. 5cm,以下為拍攝部間距離)。因此，當(dāng)外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 同時拍攝到標(biāo)記61時，如圖20所示，外側(cè)拍攝部(左)23a所拍攝到的左現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢、與外側(cè)拍攝部(右)2 所拍攝到的右現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢之間，因視差而產(chǎn)生了偏差。步驟Sll中，CPU311對主現(xiàn)實空間圖像進行標(biāo)記識別處理。更具體地，通過模式匹配方法等來判斷主現(xiàn)實空間圖像中是否含有標(biāo)記61，并且，在主現(xiàn)實空間圖像中含有標(biāo)記61的情況下，基于主現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢，來計算左變換矩陣75L或右變換矩陣75R(當(dāng)主現(xiàn)實空間圖像是左現(xiàn)實空間圖像時，計算左變換矩陣75L，而當(dāng)主現(xiàn)實空間圖像是右現(xiàn)實空間圖像時，計算右變換矩陣75R)。此外，左變換矩陣75L是反映基于左現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢而計算出的、外側(cè)拍攝部(左)23a的位置及姿勢的矩陣。更準(zhǔn)確地說，如圖21所示，它是坐標(biāo)變換矩陣，用于將通過標(biāo)記坐標(biāo)系(以現(xiàn)實空間中的標(biāo)記61的位置為原點，以標(biāo)記61的縱向、橫向、法線方向的各個方向為各個軸的坐標(biāo)系)所表示的坐標(biāo)變換為，通過外側(cè)拍攝部 (左)坐標(biāo)系來表示的坐標(biāo)，其中，外側(cè)拍攝部(左)坐標(biāo)系以基于左現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢而計算出的外側(cè)拍攝部(左)23a的位置及姿勢為基準(zhǔn)。并且，右變換矩陣75R是反映基于右現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢而計算出的、外側(cè)拍攝部(右)2 的位置及姿勢的矩陣。更準(zhǔn)確地說，如圖22所示，它是坐標(biāo)變換矩陣，用于將通過標(biāo)記坐標(biāo)系所表示的坐標(biāo)變換為，通過外側(cè)拍攝部(右)坐標(biāo)系來表示的坐標(biāo)，其中，外側(cè)拍攝部(右)坐標(biāo)系以基于右現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢而計算出的外側(cè)拍攝部(右)2 的位置及姿勢為基準(zhǔn)。此外，假設(shè)標(biāo)記識別精度完全沒有誤差，且外側(cè)拍攝部(左)23a和外側(cè)拍攝部 (右)2 相對于游戲裝置10的安裝精度也毫無誤差，那么右現(xiàn)實空間圖像的標(biāo)記識別結(jié)果，即右變換矩陣75R所示出的外側(cè)拍攝部(右)2 的位置則位于，使左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果，即左變換矩陣75L所示出的外側(cè)拍攝部(左)23a的位置、沿外側(cè)拍攝部 (左)坐標(biāo)系的χ軸方向(游戲裝置10的橫方向，使用時的水平方向)只移動一定距離(拍攝部間距離)的位置，并且，右變換矩陣75R所示出的外側(cè)拍攝部(右)2 的姿勢和左變換矩陣75L所示出的外側(cè)拍攝部(左)23a的姿勢，與游戲裝置10上的外側(cè)拍攝部(左)23a 和外側(cè)拍攝部(右)2 的安裝狀態(tài)相同。在本實施方式中，因外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 被設(shè)計為平行地安裝在游戲裝置10上，所以外側(cè)拍攝部(左)坐標(biāo)系的χ軸、y軸、ζ軸分別與外側(cè)拍攝部(右)坐標(biāo)系的χ軸、y軸、ζ軸平行。但實際上，由于標(biāo)記識別精度、以及外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 相對于游戲裝置10的安裝精度都存在著誤差，所以左變換矩陣75L所示出的外側(cè)拍攝部(左)23a的位置及姿勢與右變換矩陣75R所示出的外側(cè)拍攝部(右)2 的位置及姿勢不能成為理想的關(guān)系。例如， 左變換矩陣75L和右變換矩陣75R會成為外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 要么離得太近，要么離得太遠，或者外側(cè)拍攝部(左)23a的姿勢和外側(cè)拍攝部(右)2 的姿勢不同的矩陣。此外，還會成為外側(cè)拍攝部(左)23a的姿勢和外側(cè)拍攝部(右)2 的姿勢不平行的矩陣。這里，在AR技術(shù)中，雖然通過把將標(biāo)記坐標(biāo)系變換成外側(cè)拍攝部(左)坐標(biāo)系或外側(cè)拍攝部(右)坐標(biāo)系的矩陣指定為虛擬拍攝裝置的視點矩陣，能夠?qū)G圖像合成到現(xiàn)實空間圖像上，但單純地將左變換矩陣75L指定為左視點矩陣76L，將右變換矩陣75R指定為右視點矩陣76R來在上部IXD22上對虛擬空間圖像進行立體顯示時，可能會有不能夠正常地看到立體的虛擬對象62的情況。對此，通過后述的說明可以得知，本實施方式根據(jù)基于左現(xiàn)實空間圖像和右現(xiàn)實空間圖像中任意一方的標(biāo)記識別結(jié)果(標(biāo)記/拍攝裝置變換矩陣)而算出的一方的虛擬拍攝裝置的位置及姿勢(視點矩陣)，來決定另一方的虛擬拍攝裝置的位置及姿勢(視點矩陣)，從而能使左虛擬拍攝裝置63L的位置及姿勢與右虛擬拍攝裝置63R的位置及姿勢成為理想的關(guān)系。此外，在步驟Sll中，在從主現(xiàn)實空間圖像中沒有識別出標(biāo)記61的情況下，通過將 Null值儲存到左變換矩陣75L或右變換矩陣75R中，來記錄左現(xiàn)實空間圖像或右現(xiàn)實空間圖像中的標(biāo)記61的識別失敗。步驟S12中，CPU311判斷標(biāo)記識別模式是否是單圖像識別模式。是單圖像識別模式的情況下，處理進入步驟S13，不是的情況下(即，是雙圖像識別模式的情況下)，處理進入步驟S14。步驟S13中，CPU311將左現(xiàn)實空間圖像及右現(xiàn)實空間圖像中、不是主現(xiàn)實空間圖像的一方的現(xiàn)實空間圖像(以下稱為子現(xiàn)實空間圖像)的標(biāo)記識別結(jié)果看成“失敗”。更具體地，主現(xiàn)實空間圖像是左現(xiàn)實空間圖像的情況下，將Null值存儲到右變換矩陣75R中，而在主現(xiàn)實空間圖像是右現(xiàn)實空間圖像的情況下，將Null值存儲到左變換矩陣75L中。步驟S14中，CPU311對子現(xiàn)實空間圖像進行標(biāo)記識別處理。更具體地，通過模式匹配方法等來判斷子現(xiàn)實空間圖像中是否含有標(biāo)記61，并且，在子現(xiàn)實空間圖像中含有標(biāo)記61的情況下，基于子現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢，來計算左變換矩陣75L或右變換矩陣75R(當(dāng)子現(xiàn)實空間圖像是左現(xiàn)實空間圖像時，計算左變換矩陣75L，而當(dāng)子現(xiàn)實空間圖像是右現(xiàn)實空間圖像時，計算右變換矩陣75R)。步驟S15中，CPU311判斷顯示模式是否是同步顯示模式。是同步顯示模式的情況下，處理進入步驟S17，不是的情況下(即，是非同步顯示模式的情況)，處理進入步驟S16。步驟S16中，CPU311將最新左現(xiàn)實空間圖像71L及最新右現(xiàn)實空間圖像71R，分別作為顯示用左現(xiàn)實空間圖像72L及顯示用右現(xiàn)實空間圖像71R儲存到主存儲器32。然后， 處理返回步驟S10。步驟S17中，CPU311判斷標(biāo)記識別模式是否是單圖像識別模式。是單圖像識別模式的情況下，處理進入步驟S18，不是的情況下(即，是雙圖像識別模式的情況下)，處理進入步驟S19。步驟S18中，CPU311判斷主現(xiàn)實空間圖像的標(biāo)記識別是否成功。更具體地，在主現(xiàn)實空間圖像是左現(xiàn)實空間圖像的情況下，CPU311判斷左變換矩陣75L中是否存儲有不是 Null值的有效的矩陣，并且，在主現(xiàn)實空間圖像是右現(xiàn)實空間圖像的情況下，CPU311判斷右變換矩陣75R中是否存儲有不是Null值的有效的矩陣。在判斷為主現(xiàn)實空間圖像的標(biāo)記識別成功的情況下，處理進入步驟S16，不是的情況下處理返回步驟S10。步驟S19中，CPU311判斷左現(xiàn)實空間圖像和右現(xiàn)實空間圖像中的至少一方的標(biāo)記識別是否成功。更具體地，CPU311判斷左變換矩陣75L及右變換矩陣75R兩者中是否存儲有不是Null值的有效的矩陣。在判斷為左現(xiàn)實空間圖像和右現(xiàn)實空間圖像中的至少一方的標(biāo)記識別成功的情況下，處理進入步驟S16，不是的情況下處理返回步驟S10。(主處理)
圖14是示出CPU311基于圖像顯示程序70而執(zhí)行的主處理的流程的流程圖。主處理是與上述的標(biāo)記處理并列執(zhí)行的處理。以下對主處理進行詳細(xì)說明。圖14的步驟S20中，CPU311將虛擬對象62配置在三維虛擬空間的規(guī)定位置。在本實施方式中，將虛擬對象62配置在虛擬空間的原點(世界坐標(biāo)系的原點)。步驟S21中，CPU311執(zhí)行更新處理。該更新處理是用于更新繪制虛擬對象62所用的各種變量的處理。具體的更新處理將后述。步驟S22中，CPU311執(zhí)行虛擬對象處理。虛擬對象處理是與虛擬空間中所配置的虛擬對象62有關(guān)的處理，例如，根據(jù)需要來改變虛擬對象62的大小，或使虛擬對象62進行規(guī)定的動作(在虛擬空間內(nèi)移動。例如，若使其在虛擬空間的原點的周圍行走那樣來移動虛擬對象，顯示的則是其在虛擬空間的原點的周圍行走)。此外，虛擬對象62的移動控制通過改變虛擬空間的世界坐標(biāo)系中的虛擬對象的位置坐標(biāo)來實現(xiàn)。步驟S23中，CPU311根據(jù)立體視零距離73來決定左現(xiàn)實空間圖像中用于顯示的范圍，即繪制范圍。更具體地，如圖23所示，將以在拍攝方向上與外側(cè)拍攝部23僅相距立體視零距離73的值(例如30cm)、且分別與外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)23b 相距等距離的點作為立體視零點，從而將從外側(cè)拍攝部(左)23a來看該立體視頻零點位于中心的范圍，決定成左現(xiàn)實空間圖像的繪制范圍。如圖23所示，該范圍的橫向的長度，例如可以通過用表示外側(cè)拍攝部(左)23a的視角的直線來截取與外側(cè)拍攝部(左)23a的拍攝方向垂直的直線，而得到的線段之比來定義，基于與現(xiàn)實空間圖像的橫向的長度和該比，來決定該范圍的橫向的長度。此外，該范圍的縱向的長度根據(jù)橫向的長度來決定，以符合顯示屏幕的縱橫比。此外，當(dāng)在后述的步驟S27中決定右現(xiàn)實空間圖像的繪制范圍時，如圖對所示，將該立體視零點從外側(cè)拍攝部(右)2 來看是中心的范圍決定為右現(xiàn)實空間圖像的繪制范圍。由此，上部IXD22所顯示的左眼用圖像中的立體視零點的位置與右眼用圖像中的立體視頻零點的位置，在上部LCD22的屏幕上就變?yōu)橐恢?，從而在用戶看來就是似乎存在于與屏幕相同進深的位置。步驟S24中，CPU311將顯示用左現(xiàn)實空間圖像72L中的、在步驟S23所決定的繪制范圍，繪制到VRAM313中的規(guī)定的存儲區(qū)域(以下稱為左邊框緩沖)，其中，VRAM313用于暫時保存要提供給上部IXD22的左眼用圖像。步驟S25中，CPU311判斷ARActive (參照圖12)的值是否為true。ARActive是表示是否能夠?qū)⑻摂M對象合成顯示在現(xiàn)實空間圖像上的狀況的變量(標(biāo)示，flag)，在能夠在現(xiàn)實空間圖像上合成顯示虛擬對象的情況下，其值被設(shè)定為true，在不能夠在現(xiàn)實空間圖像上合成顯示虛擬對象的情況(例如，完全不能識別標(biāo)記61的情況)下，其值被設(shè)定為 false (初始值)。ARActive的值是true的情況下，處理進入步驟S26，不是的情況(即， ARActive的值是false的情況)下，處理進入步驟S27。步驟S26中，如圖23所示，CPU311將從左虛擬拍攝裝置63L看到的虛擬空間(以下稱為左眼用的虛擬空間圖像)，蓋寫在左邊框緩沖上(實際上，典型的是按照來自CPU311 的指示，由GPU312來繪制)。由此，如圖沈所示，左眼用的虛擬空間圖像被合成在步驟SM 中繪制到左邊框緩沖的左現(xiàn)實空間圖像上。繪制在左邊框緩沖上的圖像作為左眼用圖像， 將在規(guī)定的定時被提供給上部LCD22。此外，在該左眼用的虛擬空間圖像中，虛擬空間的背景是透明的，因此通過將虛擬空間圖像合成到現(xiàn)實空間圖像上，能夠生成虛擬對象62猶如存在于現(xiàn)實空間圖像上一樣的圖像。步驟S27中，CPU311根據(jù)立體視零距離73來決定右現(xiàn)實空間圖像的繪制范圍。由于決定繪制范圍的具體處理與決定左現(xiàn)實空間圖像的繪制范圍的處理相同，所以這里省略其說明。步驟S28中，CPU311將顯示用右現(xiàn)實空間圖像72R中的、在步驟S27所決定的繪制范圍，繪制到VRAM313中的規(guī)定的存儲區(qū)域(以下稱為右邊框緩沖)，其中，VRAM313用于暫時保存要提供給上部IXD22的右眼用圖像。步驟S29中，CPU311判斷ARActive的值是否為true。ARActive的值是true的情況下，處理進入步驟S30，不是的情況(即，ARActive的值是false的情況)下，處理進入步驟S31。步驟S30中，CPU311將從右虛擬拍攝裝置63R看到的虛擬空間(以下稱為右眼用的虛擬空間圖像)，蓋寫在右邊框緩沖上(實際上，典型的是按照來自CPU311的指示，由 GPU312來繪制)。由此，右眼用的虛擬空間圖像被合成在步驟S28中繪制到右邊框緩沖的右現(xiàn)實空間圖像上。繪制在右邊框緩沖上的圖像作為右眼用圖像，將在規(guī)定的定時被提供給上部LCD22。步驟S31中，CPU311等待來自上部IXD22的中斷信號(垂直同步中斷)，并在產(chǎn)生了該中斷信號的情況下，處理返回步驟S21。由此，以一定的周期(例如，1/60秒的周期) 來反復(fù)步驟S21 S31的處理。(更新處理)接著，參照圖15的流程圖來詳細(xì)說明主處理中的步驟S21的更新處理。圖15的步驟S40中，CPU311判斷上述的標(biāo)記處理中標(biāo)記識別結(jié)果(即，左變換矩陣75L和右變換矩陣75R)是否被更新，在被更新的情況下處理進入步驟S41，尚未被更新的情況下處理進入步驟S44。步驟S41中，CPU311判斷左現(xiàn)實空間圖像和右現(xiàn)實空間圖像兩方的現(xiàn)實空間圖像的標(biāo)記識別是否成功。然后，兩方的現(xiàn)實空間圖像的標(biāo)記識別成功的情況下，處理進入步驟 S42，在任一方或者兩方的現(xiàn)實空間圖像的標(biāo)記識別失敗的情況下，處理進入步驟S44。步驟S42中，CPU311判斷EyeWidth(參照圖12)的值是否為0，或者 EyeMeaSure(參照圖1 的值是否為true。EyeWidth表示用左變換矩陣75L和右變換矩陣 75R計算出的、外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的位置關(guān)系中的、兩拍攝部間的距離。并且，這里的兩拍攝部間的距離不需要按現(xiàn)實空間的規(guī)模來求，可以作為在虛擬空間中的距離來求。具體地，根據(jù)左變換矩陣75L所示出的、外側(cè)拍攝部(左)23a在標(biāo)記坐標(biāo)系中的位置與右變換矩陣75R所示出的、外側(cè)拍攝部(右)23b在標(biāo)記坐標(biāo)系中的位置之間的距離。在該距離未確定的情況下，其值被設(shè)定為0(初始值)。此外，在本實施方式中，Eyeffidth是標(biāo)量值，也可以將EyeWidth設(shè)定為，連接左變換矩陣75L所示出的外側(cè)拍攝部(左)23a的位置和右變換矩陣75R所示出的外側(cè)拍攝部(右)2 的位置之間的矢量。此外，也可以將EyeWidth設(shè)定為，連接左變換矩陣75L所示出的外側(cè)拍攝部(左)23a 的位置和右變換矩陣75R所示出的外側(cè)拍攝部(右)2 的位置之間的矢量的、與拍攝方向正交的分量的長度。此外，如后述，EyeWidth用于設(shè)定虛擬空間中左虛擬拍攝裝置63L和
32右虛擬拍攝裝置63R之間的距離(間隔)。EyeMeasure是表示是否要再次計算EyeWidth 的變量(標(biāo)示)，在要再次計算EyeWidth的情況下，其值被設(shè)定為true，不要的情況下，其值被設(shè)定為false (初始值)。在EyeWidth的值為0，或者EyeMeasure的值為true的情況下，處理進入步驟S43，不是的情況(S卩，Eyeffidth為0以外的值，而且EyeMeasure的值為 false的情況)下，處理進入步驟S44。步驟S43中，CPU311執(zhí)行虛擬拍攝裝置間隔決定處理。在虛擬拍攝裝置間隔決定處理中，適當(dāng)?shù)貨Q定并更新左虛擬拍攝裝置63L和右虛擬拍攝裝置63R之間的間隔(即， Eyeffidth)。之后將詳細(xì)說明虛擬拍攝裝置間隔決定處理。步驟S44中，CPU311執(zhí)行視點矩陣生成處理。在視點矩陣生成處理中，基于已經(jīng)決定了的左虛擬拍攝裝置63L和右虛擬拍攝裝置63R之間的間隔(S卩，EyeWidth)，來計算左視點矩陣76L和右視點矩陣76R。之后將詳細(xì)說明視點矩陣生成處理。步驟S45中，CPU311執(zhí)行主現(xiàn)實空間圖像設(shè)定處理。在主現(xiàn)實空間圖像設(shè)定處理中，主現(xiàn)實空間圖像在左現(xiàn)實空間圖像和右現(xiàn)實空間圖像之間適當(dāng)?shù)剡M行切換(這等同于在外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間切換主拍攝部)。之后將詳細(xì)說明主現(xiàn)實空間圖像設(shè)定處理。步驟S46中，CPU311執(zhí)行顯示模式切換處理，然后結(jié)束更新處理。在顯示模式切換處理中，在同步顯示模式與非同步顯示模式之間適當(dāng)?shù)厍袚Q顯示模式。之后將詳細(xì)說明顯示模式切換處理。(虛擬拍攝裝置間隔決定處理)接著，參照圖16的流程圖來具體說明更新處理(圖15)中的步驟S43的虛擬拍攝裝置間隔決定處理。這里，如前所述，求出左變換矩陣75L所示出的相對于標(biāo)記61的位置的外側(cè)拍攝部(左)23a的位置、與右變換矩陣75R所示出的相對于標(biāo)記61的位置的外側(cè)拍攝部(右)2 的位置之間的距離。該距離的計算方法有幾種，作為計算方法的一個例子， 在本實施方式中采用下述的方法。在圖16的步驟S50中，CPU311基于左變換矩陣75L及右變換矩陣76R來計算坐標(biāo)V0。以下，參照圖27 圖四來說明VO的計算方法。此外，如前所述的，基于左現(xiàn)實空間圖像所計算的、外側(cè)拍攝部(左)23a相對于標(biāo)記61的相對位置及相對姿勢，與基于右現(xiàn)實空間圖像所計算的、外側(cè)拍攝部(右)2 相對于標(biāo)記61的相對位置及相對姿勢，并不一定成理想關(guān)系，為了強調(diào)該情況，在圖27 圖四中圖示出的外側(cè)拍攝部(左)23a的拍攝方向和外側(cè)拍攝部(右)2 的拍攝方向相互偏離較大。首先，如圖27所示，將(0，0，0)乘以左變換矩陣75L，能夠求得用外側(cè)拍攝部(左) 坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)VI。坐標(biāo)Vl表示基于左現(xiàn)實空間圖像所計算的、標(biāo)記61相對于外側(cè)拍攝部(左)23a的相對位置。若將該坐標(biāo)Vl看成是用外側(cè)拍攝部 (右)坐標(biāo)系來表示的坐標(biāo)，那么坐標(biāo)Vl所示出的位置在外側(cè)拍攝部(右)坐標(biāo)系中則移動到圖觀所示的位置。再將該坐標(biāo)Vl乘以右變換矩陣75R的逆矩陣。與右變換矩陣75R 的逆矩陣相乘相當(dāng)于，將用外側(cè)拍攝部(右)坐標(biāo)系來表示的坐標(biāo)變換成用標(biāo)記坐標(biāo)系來表示的坐標(biāo)。因此，如圖四所示，上述與逆矩陣的乘算就是將用外側(cè)拍攝部(右)坐標(biāo)系來表示的坐標(biāo)Vl (圖28)變換成用標(biāo)記坐標(biāo)系來表示的坐標(biāo)V0。由此所計算出的坐標(biāo)VO表示基于左現(xiàn)實空間圖像所計算的、標(biāo)記61相對于外側(cè)拍攝部(左)23a的相對位置(即，用外側(cè)拍攝部(左)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo))，與基于右現(xiàn)實空間圖像所計算的、標(biāo)記61相對于外側(cè)拍攝部(右)2 的相對位置(即，用外側(cè)拍攝部(右)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo))的差。在本實施方式中，將該標(biāo)記61的相對位置的差考慮為是因外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 的安裝位置的偏差而產(chǎn)生的，由此來推斷外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 的安裝位置。步驟S51中，CPU311基于左變換矩陣75L來計算用外側(cè)拍攝部(左)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)VI。具體地，通過將(0，0，0)乘以左變換矩陣75L，來求得通過外側(cè)拍攝部(左)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)VI。此外，這里將用外側(cè)拍攝部(左)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)作為VI，但也可以換為將用外側(cè)拍攝部(右)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)作為VI。步驟S52中，CPU311將在步驟S50求得的VO的大小(與原點相距的距離)(參照圖29)儲存到ew(參照圖12)，并將在步驟S51求得的Vl的ζ軸值的絕對值(參照圖27) 儲存到ed(參照圖12)。其中，ew的值以標(biāo)記坐標(biāo)系中的長度單位來計算，與現(xiàn)實空間中的長度單位不一致。然后，如前所述，由于外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 之間的實際距離是已知的(例如3. 5cm)，所以用該實際距離和ew的值，能夠使現(xiàn)實空間中的長度單位與虛擬空間中的長度單位一致。此外，若已知標(biāo)記61的尺寸，則根據(jù)基于標(biāo)記圖像的識別結(jié)果而求得的標(biāo)記61的尺寸與、現(xiàn)實空間中標(biāo)記61的尺寸之間的對應(yīng)關(guān)系，也能夠使現(xiàn)實空間中的長度單位與虛擬空間中的長度單位一致。此外，在因外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 相對于游戲裝置10的安裝精度的誤差，而致使外側(cè)拍攝部(左)23a的拍攝方向和外側(cè)拍攝部(右)2 的拍攝方向不平行的情況下，由此所計算出的外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 之間的距離(ew)會根據(jù)外側(cè)拍攝部23與標(biāo)記61之間的在拍攝方向上的距離而變化。因此，如后述的，當(dāng)外側(cè)拍攝部23與標(biāo)記61之間的在拍攝方向的距離發(fā)生變化時，用此時的標(biāo)記/拍攝裝置變換矩陣來再次計算外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 之間的距離(后述的 EyeWidth)。此外，在本實施方式中，將ew作為VO的大小，也可以將ew作為VO的“連接左變換矩陣75L所示出的外側(cè)拍攝部(左)23a的位置和右變換矩陣75R所示出的外側(cè)拍攝部 (右)2 的位置的方向”的分量。由此計算出的ew盡管是“外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 之間在標(biāo)記坐標(biāo)系中的間隔”，但也將它用作左虛擬拍攝裝置63L和右虛擬拍攝裝置63R之間的間隔 (后述的步驟S65或S68)。此外，求ew的方法除上述方法以外還有其他方法。例如，也可以將(0，0，0)乘以左變換矩陣75L，來求得用外側(cè)拍攝部(左)坐標(biāo)系來表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo) Vl (即，標(biāo)記61相對于外側(cè)拍攝部(左)23a的相對位置)，同時，將(0,0,0)乘以右變換矩陣75R，來求出用外側(cè)拍攝部(右)坐標(biāo)系所表示的標(biāo)記坐標(biāo)系的原點的坐標(biāo)Vr(即，標(biāo)記 61相對于外側(cè)拍攝部(右)23b的相對位置)，并通過計算由此所求得的坐標(biāo)Vl和坐標(biāo)Vr 之間的距離來求ew。步驟S53中，CPU311判斷Loghdex (參照圖12)的值是否大于1 (初始值)，大于 1的情況下處理進入步驟S54，不大于1的情況下(即是1的情況)下處理進入步驟S54。Loglndex是用于識別后述的數(shù)組(LogWidth、LogD^th)的各要素的變量。步驟S54中，CPU311將在步驟S52中求得的ew的值儲存到數(shù)組 Logffidth [Loglndex]，并將在步驟S52中求得的ed的值儲存到數(shù)組LogD印th [Loghdex]， 再將Loglndex的值增量。LogWidth是用于事先保存多個ew的值的數(shù)組變量。LogD^th 是用于事先保存多個ed的值的數(shù)組變量。步驟S55中，CPU311判定LogIndexd的值是否大于LogMax的值，大于的情況下處理進入步驟S56，不是的情況下(即，Loghdex的值為LogMax以下的情況)，結(jié)束虛擬拍攝裝置間隔處理。步驟S56中，CPU311計算LogWidth的各個要素的平均值，并將該平均值儲存到 EyeWidth。并且，計算LogD^th的各個要素的平均值，并將該平均值儲存到EyeD印th。再將EyeMeasure的值設(shè)定為false。再將標(biāo)記識別模式79設(shè)定為單圖像識別模式。EyeDepth 是表示，從左變換矩陣75L所示出的、表示外側(cè)拍攝部(左)23a在標(biāo)記坐標(biāo)系中的位置的坐標(biāo)(或，右變換矩陣75R所示出的、表示外側(cè)拍攝部(右)2 在標(biāo)記坐標(biāo)系中的位置的坐標(biāo))，到標(biāo)記坐標(biāo)系的原點之間的進深距離(深度在拍攝方向上的距離)的變量，并被用作后述圖17的步驟S72中判斷時的基準(zhǔn)值。EyeD^th的初始值為O。步驟S56的處理結(jié)束時，虛擬拍攝裝置間隔決定處理結(jié)束。步驟S57中，CPU311判斷步驟S52中求得的ew的值和LogWidth [1]的值之差的絕對值是否小于LogWidth [1]的值的10%，且步驟S52中求得的ed的值與LogD印th[l]的值之差的絕對值是否小于LogD印th[l]的值的10%。然后，在步驟S57的判斷結(jié)果是肯定的情況下處理進入步驟S54，在步驟S57的判斷結(jié)果是否定的情況下處理進入步驟S58。步驟S58中，CPU311將Loglndex的值恢復(fù)到1 (初始值)后，結(jié)束虛擬拍攝裝置間隔決定處理。如上所述，在虛擬拍攝裝置間隔決定處理中，根據(jù)基于左現(xiàn)實空間圖像中所包含的標(biāo)記61的位置及姿勢而計算出的外側(cè)拍攝部(左)23a的位置，和基于右現(xiàn)實空間圖像中所包含的標(biāo)記61的位置及姿勢而計算出的外側(cè)拍攝部(右)2 的位置，來計算ew和 ed。由此所計算出的ew的值和ed的值被依次儲存到LogWidth和LogD^th中。此時，在新計算的ew的值超過以LogWidth中最初所存儲的ew的值(即，LogWidth[1]的值)為基準(zhǔn)的規(guī)定范圍(士 10%)的情況下，或在新計算的ed的值超過以LogD印th中最初所存儲的ed的值(即，LogWidth[l]的值)為基準(zhǔn)的規(guī)定范圍(士 10%)的情況下，再次從頭開始將ew的值和ed的值重新儲存到LogWidth和LogD^th中。因此，只有在依次計算的ew 的值和ed的值沒有出現(xiàn)大的變化的情況(即，在一定期間內(nèi)ew的值和ed的值在一定程度上穩(wěn)定的情況)下，才將這些ew的值的平均值和這些ed的值的平均值儲存到EyeWidth及 EyeDepth0并且，當(dāng)用戶使游戲裝置10移動或轉(zhuǎn)動時，外側(cè)拍攝部23所拍攝的左現(xiàn)實空間圖像和右現(xiàn)實空間圖像容易模糊，標(biāo)記61的識別精度明顯降低，并且依次檢測出的ew的值或 ed的值容易發(fā)生大的變化。因此，應(yīng)該避免基于在這樣的情況下檢測出的可靠性低的ew的值及ed的值，來決定EyeWidth的值及EyeD^th的值。于是，在本實施方式中，只有在依次計算的ew的值和ed的值沒有出現(xiàn)大的變化的情況下，才基于這些值來決定EyeWidth的值及EyeD^th的值。并且，通過將多次計算的ew的值及ed的值的平均值用作EyeWidth的值及EyeD^th的值，能夠提高EyeWidth的值及EyeD^th的值的精度。(視點矩陣生成處理)接著，參照圖17的流程圖來詳細(xì)說明更新處理(圖15)中的步驟S44的視點矩陣生成處理。圖17的步驟S60中，CPU311判斷EyeWidth是否大于0，在大于0的情況下處理進入步驟S63，不是的情況(即，為0的情況)下處理進入步驟S61。步驟S61中，CPU311判斷顯示模式是否是同步顯示模式。是同步顯示模式的情況下，結(jié)束視點矩陣生成處理，不是的情況(即，是非同步顯示模式的情況)下，處理進入步驟 S62。步驟S62中，CPU311將ARActive的值設(shè)定為false。然后結(jié)束視點矩陣生成處理。步驟S63中，CPU311參照左變換矩陣75L，來判斷左現(xiàn)實空間圖像的標(biāo)記識別是否成功，在左現(xiàn)實空間圖像的標(biāo)記識別成功的情況下，處理進入步驟S64，不是的情況(即，左變換矩陣75L的值為Null值的情況)下，處理進入步驟S66。步驟S64中，CPU311將左變換矩陣75L的值儲存到左視點矩陣76L。其含義是將根據(jù)左現(xiàn)實空間圖像中所包含的標(biāo)記61的位置及姿勢而計算出的、標(biāo)記坐標(biāo)系中的外側(cè)拍攝部(左)23a的位置及姿勢，直接用作用于生成左眼用的虛擬空間圖像的左虛擬拍攝裝置63L的位置及姿勢。步驟S65中，CPU311將左視點矩陣76L的值與平行移動矩陣(-EyeWidth，0，0)相乘而得到的結(jié)果的值，儲存到右視點矩陣76R。如圖30所示，其含義是將相對前述的步驟 S64中所設(shè)定的虛擬空間的世界坐標(biāo)系中的左虛擬拍攝裝置63L的位置，在左虛擬拍攝裝置坐標(biāo)系的χ軸的正向上僅偏離了 EyeWidth的值的位置，直接用作用于生成右眼用的虛擬空間圖像的右虛擬拍攝裝置63R的位置。并且，右虛擬拍攝裝置63R的姿勢與左虛擬拍攝裝置63L的姿勢相同(即，左虛擬拍攝裝置坐標(biāo)系的χ軸、y軸、ζ軸分別與右虛擬拍攝裝置坐標(biāo)系的χ軸、y軸、ζ軸平行)。由此，使左虛擬拍攝裝置63L的位置及姿勢、與右虛擬拍攝裝置63R的位置及姿勢保持匹配性，從而能夠在上部IXD22顯示有正常的立體視覺的虛擬對象62。 步驟S66中，CPU311參照右變換矩陣75R，來判斷右現(xiàn)實空間圖像的標(biāo)記識別是否成功，在右現(xiàn)實空間圖像的標(biāo)記識別成功的情況下，處理進入步驟S67，不是的情況(即，右變換矩陣75R的值為Null值的情況)下結(jié)束視點矩陣生成處理。步驟S67中，CPU311將右變換矩陣75R的值儲存到右視點矩陣76R。其含義是將根據(jù)右現(xiàn)實空間圖像中所包含的標(biāo)記61的位置及姿勢而計算出的、標(biāo)記坐標(biāo)系中的外側(cè)拍攝部(右)2 的位置及姿勢，直接用作用于生成右眼用的虛擬空間圖像的右虛擬拍攝裝置63R的位置及姿勢。步驟S68中，CPU311將右視點矩陣76R的值與平行移動矩陣(EyeWidth，0，0)相乘而得到的結(jié)果的值，儲存到左視點矩陣76L。如圖31所示，其含義是將相對前述的步驟 S67中所設(shè)定的虛擬空間的世界坐標(biāo)系中的右虛擬拍攝裝置63R的位置，在右虛擬拍攝裝置坐標(biāo)系的χ軸的負(fù)方向上僅偏離了 EyeWidth的值的位置，直接用作用于生成左眼用的虛擬空間圖像的左虛擬拍攝裝置63L的位置。并且，左虛擬拍攝裝置63L的姿勢與右虛擬拍攝裝置63R的姿勢相同(即，左虛擬拍攝裝置坐標(biāo)系的χ軸、y軸、ζ軸分別與右虛擬拍攝裝置坐標(biāo)系的χ軸、y軸、ζ軸平行)。由此，使左虛擬拍攝裝置63L的位置及姿勢、與右虛擬拍攝裝置63R的位置及姿勢保持匹配性，從而能夠在上部LCD22顯示有正常的立體視覺的立體虛擬對象62。這樣，在本實施方式中，對一方的虛擬拍攝裝置(例如，左虛擬拍攝裝置63L)的位置及姿勢，使用基于該一方的外側(cè)拍攝部(例如，外側(cè)拍攝部(左)23a)的拍攝圖像而算出的“標(biāo)記/拍攝裝置變換矩陣”來進行設(shè)定(具體而言，就是直接使用)，而對于另一方的虛擬拍攝裝置(例如，右虛擬拍攝裝置63R)的位置及姿勢，則不使用基于該另一方的外側(cè)拍攝部(例如，外側(cè)拍攝部(右)2 )的拍攝圖像而算出的“標(biāo)記/拍攝裝置變換矩陣”來進行設(shè)定在用立體攝像機來進行AR的立體顯示的情況下，需要設(shè)定右用和作用2個虛擬拍攝裝置，并且，“標(biāo)記/拍攝裝置變換矩陣”包括基于外側(cè)拍攝部(左)23a的變換矩陣(左變換矩陣75L)和基于外側(cè)拍攝部(右)2 的變換矩陣(右變換矩陣75R)。在本實施方式中，設(shè)定各個虛擬拍攝裝置63L、63R時，不是使用各個變換矩陣75L、75R，而是設(shè)定1個變換矩陣(直接用變換矩陣75L、75R中的一方的變換矩陣，或者基于兩方的變換矩陣75L、75R 來生成另外的新的1個變換矩陣(作為平均位置、平均姿勢等))，并用該1個變換矩陣來設(shè)定兩方的虛擬拍攝裝置63L、63R的位置及姿勢。由此，能夠解決AR識別中的精度問題。步驟S69中，CPU311將ARActive的值設(shè)定為true。由此，開始或再次開始虛擬對象62在現(xiàn)實空間圖像上的合成顯示。步驟S70中，CPU311判斷EyeMeasure的值是否為true，是true的情況下結(jié)束視點矩陣生成處理，不是的情況(即，是false的情況)下處理進入步驟S71。步驟S71中，CPU311基于在步驟S64或步驟S68所決定的左視點矩陣76L，來計算用左虛擬拍攝裝置坐標(biāo)系來表示的虛擬空間的原點的坐標(biāo)V。具體地，如圖32所示，通過將(0，0，0)乘以左視點矩陣76L，能夠求得通過左虛擬拍攝裝置坐標(biāo)系來表示的虛擬空間的原點的坐標(biāo)V。并且，這里將用左虛擬拍攝裝置坐標(biāo)系來表示的虛擬空間的原點的坐標(biāo)， 來作為V，但也可以換為基于步驟S65或步驟S67所決定的右視點矩陣76R而計算的、用左虛擬拍攝裝置坐標(biāo)系來表示的虛擬空間的原點的坐標(biāo)作為V。由此而求得的V與外側(cè)拍攝部(左)坐標(biāo)系中的標(biāo)記61的位置實質(zhì)上相同(其中，V的值以虛擬空間或標(biāo)記坐標(biāo)系中的長度單位來計算，與現(xiàn)實空間中的長度單位不一致)。步驟S72中，CPU311判斷V的ζ坐標(biāo)值的絕對值(|V. z|)與EyeD印th的值之差的絕對值是否大于EyeD^th的值的20 %，大于的情況下處理進入步驟S73，不是的情況下結(jié)束視點矩陣生成處理。|V. ζ I與拍攝方向上外側(cè)拍攝部23到標(biāo)記61的距離(深度)實質(zhì)上相同。即，步驟S72中，以虛擬拍攝裝置間隔決定處理(圖16)中計算EyeWidth的值時為基準(zhǔn)，判斷外側(cè)拍攝部23到標(biāo)記61的進深距離(深度)是否超出士20%的范圍而變化。步驟S73中，CPU311將EyeMeasure的值設(shè)定為true，并將LogIndex的值恢復(fù)為 1，再將標(biāo)記識別模式79設(shè)定為雙圖像識別模式后，結(jié)束視點矩陣生成處理。其結(jié)果，基于虛擬拍攝裝置間隔處理的EyeWidth的計算處理再次開始。如上所述，在虛擬拍攝裝置間隔決定處理中，以前次計算EyeWidth的值時為基
37準(zhǔn)，當(dāng)外側(cè)拍攝部23到標(biāo)記61的進深距離(深度)超出規(guī)定范圍而發(fā)生變化時，再次計算 Eyeffidth0其理由是因為外側(cè)拍攝部(左)23a和外側(cè)拍攝部(右)2 相對于拍攝裝置 10的安裝精度誤差，導(dǎo)致最佳的虛擬拍攝裝置間隔(EyeWidth)根據(jù)外側(cè)拍攝部23到標(biāo)記 61的進深距離(深度)而相應(yīng)發(fā)生變化的緣故。例如，在外側(cè)拍攝部(左)23a的拍攝方向和外側(cè)拍攝部(右)2 的拍攝方向不平行的情況下，如圖33所示，當(dāng)從外側(cè)拍攝部23到標(biāo)記61的進深距離為Dl時，若將在虛擬拍攝裝置間隔決定處理中所計算的EyeWidth的值作為EyeWidthl，則在虛擬空間中，適當(dāng)?shù)氖鞘棺筇摂M拍攝裝置63L和右虛擬拍攝裝置63R 間隔EyeWidthl的距離而配置(由此，例如，配置在虛擬空間的原點的虛擬對象猶如實際存在于現(xiàn)實空間圖像的標(biāo)記61上一樣，而得實現(xiàn)正常的立體顯示)。并且，如圖35所示，當(dāng)外側(cè)拍攝部23到標(biāo)記61的進深距離變?yōu)樾∮贒l的D2時，在虛擬拍攝裝置間隔決定處理中所計算的EyeWidth的值則為小于EyeWidthl的EyeWidth2，在虛擬空間中，適當(dāng)?shù)膭t是使左虛擬拍攝裝置63L和右虛擬拍攝裝置63R如圖36所示的那樣間隔EyeWidth2的距離而配置。(主現(xiàn)實空間圖像設(shè)定處理)接著，參照圖18的流程圖來詳細(xì)說明更新處理(圖15)中的步驟S45的主現(xiàn)實空間圖像設(shè)定處理。圖18的步驟S80中，CPU311判斷ARActive的值是否為true，為true的情況下處理進入步驟S81，不是的情況(即，ARActive的值為false的情況)下主現(xiàn)實空間圖像設(shè)定
處理結(jié)束。步驟S81中，CPU311生成左投影矩陣77L和右投影矩陣77R。左投影矩陣77L是規(guī)定從左虛擬拍攝裝置63L看到的虛擬空間的繪制范圍的矩陣，在本實施方式中，如圖37 所示，生成的是與主處理的步驟S23中所決定的左現(xiàn)實空間圖像的繪制范圍相對應(yīng)的左投影矩陣77L。右投影矩陣77R是規(guī)定從右虛擬拍攝裝置63R看到的虛擬空間的繪制范圍的矩陣，在本實施方式中，如圖38所示，生成的是與主處理的步驟S27中所決定的右現(xiàn)實空間圖像的繪制范圍相對應(yīng)的右投影矩陣77R。具體地，左虛擬拍攝裝置63L的投影矩陣被設(shè)定為定義具有下述視角的視景體積 (view volum)的投影矩陣，該視角為使外側(cè)拍攝部(左)23a的水平方向的視角與該左虛擬拍攝裝置的水平方向的視角之比，和左現(xiàn)實空間圖像的橫向的長度與該左現(xiàn)實空間圖像的繪制范圍的橫向的長度之比相同的視角。步驟S82中，CPU311判斷主現(xiàn)實空間圖像是否是左現(xiàn)實空間圖像，在主現(xiàn)實空間圖像是左現(xiàn)實空間圖像的情況下，處理進入步驟S83，不是的情況(即，主現(xiàn)實空間圖像是右現(xiàn)實空間圖像的情況)下，處理進入步驟S86。步驟S83中，CPU311通過將(0，0，0，1)與左視點矩陣76L和左投影矩陣77L相乘，
來求矢量V。步驟S84中，CPU311判斷將矢量V的第1分量(χ)除以第4份量(w)而得到的結(jié)果的值(V. x/V. w)是否大于0. 5，大于0. 5的情況下處理進入步驟S85，不是的情況下結(jié)束主現(xiàn)實空間圖像設(shè)定處理。上述的V. x/V. w的值表示在左眼用的虛擬空間圖像上，虛擬空間的世界坐標(biāo)系的原點存在于圖像的左右方向上的哪一位置(此外，“在左眼用的虛擬空間圖像上，虛擬空間的世界坐標(biāo)系的原點存在于圖像的左右方向上的哪一位置”等同于“在外側(cè)拍攝部(左)23a的拍攝圖像上，標(biāo)記坐標(biāo)系的原點存在于圖像的左右方向上的哪一位置”)。當(dāng)虛擬空間的世界坐標(biāo)系的原點位于左眼用的虛擬空間圖像的中央時，V. x/V. w 的值為0，并且，虛擬空間的世界坐標(biāo)系的原點越接近左眼用的虛擬空間圖象的左端，V. χ/ V. w的值就越接近于-1. 0，虛擬空間的世界坐標(biāo)系的原點越接近左眼用的虛擬空間圖象的右端，V. x/V. w的值就越接近于+1. 0。V. x/V. w的值大于0. 5意味著虛擬空間的世界坐標(biāo)系的原點位于左眼用的虛擬空間圖象的右端區(qū)域(圖39的斜線區(qū)域)。換句話說，其意味著標(biāo)記61位于外側(cè)拍攝部(左)23a所拍攝的左現(xiàn)實空間圖像的右端區(qū)域。步驟S85中，CPU311將主現(xiàn)實空間圖像從左現(xiàn)實空間圖像變更為右現(xiàn)實空間圖像。即，在左虛擬拍攝裝置63L所拍攝的虛擬空間圖像上，虛擬空間的原點存在于從圖像的中心只向右相隔規(guī)定距離(或僅為圖像的左右寬度的規(guī)定比例)的位置的右側(cè)時，將主現(xiàn)實空間圖像變更為右現(xiàn)實空間圖像?；蛘?，在外側(cè)拍攝部(左)23a所拍攝的拍攝圖像上， 標(biāo)記坐標(biāo)系的原點存在于從圖像的中心只向右相距規(guī)定距離(或僅為圖像的左右寬度的規(guī)定比例)的位置的右側(cè)時，將主現(xiàn)實空間圖像變更為右現(xiàn)實空間圖像。由此，例如即使在左現(xiàn)實空間圖像中，標(biāo)記61的位置逐漸地向右移動，直至標(biāo)記61最終從左現(xiàn)實空間圖像中消失的情況下，由于在標(biāo)記61從左現(xiàn)實空間圖像消失之前，主現(xiàn)實空間圖像就被變更到右現(xiàn)實空間圖像，因而能夠在單圖像識別模式下繼續(xù)識別標(biāo)記61。當(dāng)步驟S85的處理結(jié)束時， 結(jié)束主現(xiàn)實空間圖像設(shè)定處理。步驟S86中，CPU311通過將(0，0，0，1)與右視點矩陣76R和右投影矩陣77R相乘，
來求矢量V。步驟S87中，CPU311判斷將矢量V的第1分量(χ)除以第4分量(w)而得到的結(jié)果的值(V. x/V. w)是否小于-0. 5，小于-0. 5的情況下處理進入步驟S87，不是的情況下結(jié)束主現(xiàn)實空間圖像設(shè)定處理。上述的V. x/V. w的值表示在右眼用的虛擬空間圖像上，虛擬空間的世界坐標(biāo)系的原點存在于圖像的左右方向上的哪一位置。當(dāng)虛擬空間的世界坐標(biāo)系的原點位于右眼用的虛擬空間圖像的中央時，V. x/V. w的值為0，并且，虛擬空間的世界坐標(biāo)系的原點越接近右眼用的虛擬空間圖象的左端，V. x/V. w的值越接近于-1. 0，虛擬空間的世界坐標(biāo)系的原點越接近右眼用的虛擬空間圖象的右端，V. x/V. w的值越接近于+1. 0。 V. x/V. w的值小于-0. 5意味著虛擬空間的世界坐標(biāo)系的原點位于右眼用的虛擬空間圖象的左端區(qū)域(圖40的斜線區(qū)域)。換句話說，其意味著標(biāo)記61位于外側(cè)拍攝部(右)2 所拍攝的右現(xiàn)實空間圖像的左端區(qū)域。步驟S88中，CPU311將主現(xiàn)實空間圖像從右現(xiàn)實空間圖像變更為左現(xiàn)實空間圖像。由此，例如即使標(biāo)記61的位置在右現(xiàn)實空間圖像中逐漸地向左移動，直至標(biāo)記61最終從右現(xiàn)實空間圖像中消失的情況下，由于在標(biāo)記61從右現(xiàn)實空間圖像中消失之前，主現(xiàn)實空間圖像就被變更到左現(xiàn)實空間圖像，因而能夠在單圖像識別模式下繼續(xù)識別標(biāo)記61。當(dāng)步驟S88的處理結(jié)束時，結(jié)束主現(xiàn)實空間圖像設(shè)定處理。(顯示模式切換處理)接著，參照圖19的流程圖來詳細(xì)說明更新處理(圖15)中的步驟S46的顯示模式切換處理。圖19的步驟S90中，CPU311判斷顯示模式是否是同步顯示模式，是同步顯示模式的情況下處理進入步驟S91，不是的情況(S卩，是非同步顯示模式的情況)下，處理進入步驟S96。步驟S91中，CPU311判斷EyeWidth是否大于0，并且左現(xiàn)實空間圖像及右現(xiàn)實空間圖像中任意一方的現(xiàn)實空間圖像的標(biāo)記識別是否成功。在判斷結(jié)果是肯定的情況下處理進入步驟S92，判斷結(jié)果是否定的情況(即，EyeWidth為0，或者，左現(xiàn)實空間圖像及右現(xiàn)實空間圖像中兩方的現(xiàn)實空間圖像的標(biāo)記識別失敗的情況)下，處理進入步驟S93。步驟S92中，CPU311將SyncCount (參照圖12)的值設(shè)定為20。SyncCount是用于決定將顯示模式從同步顯示模式切換到非同步顯示模式的定時的變量。當(dāng)步驟S92的處理結(jié)束時，結(jié)束顯示模式切換處理。步驟S93 中，CPU311 將 SyncCount 的值減量。步驟S94中，CPU311判斷SyncCoimt的值是否大于0，大于O的情況下結(jié)束顯示模式切換處理，不是的情況(即，為O的情況)下處理進入步驟S95。步驟S95中，CPU311將LogIndex的值設(shè)定為1，并將EyeWidth及EyeD印th的值設(shè)定為0，再將顯示模式78從同步顯示模式變更到非同步顯示模式，然后將標(biāo)記識別模式 79設(shè)定為雙圖像識別模式。當(dāng)步驟S95的處理結(jié)束時，結(jié)束顯示模式切換處理。步驟S96中，CPU311判斷EyeWidth是否大于0，并且左現(xiàn)實空間圖像及右現(xiàn)實空間圖像中任意一方的現(xiàn)實空間圖像的標(biāo)記識別是否成功。在判斷結(jié)果是肯定的情況下處理進入步驟S97，在判斷結(jié)果是否定的情況(即，EyeWidth為0，或者，左現(xiàn)實空間圖像及右現(xiàn)實空間圖像兩方的現(xiàn)實空間圖像的標(biāo)記識別失敗的情況)下，結(jié)束顯示模式切換處理。步驟S97中，CPU311將SyncCoimt (參照圖12)的值設(shè)定為20，并將顯示模式從非同步顯示模式變更到同步顯示模式。當(dāng)步驟S97的處理結(jié)束時，結(jié)束顯示模式切換處理。如上所述，通過顯示模式切換處理，顯示模式能夠在同步顯示模式與非同步顯示模式之間適當(dāng)?shù)剡M行切換。更具體地，在剛開始執(zhí)行圖像顯示程序后，顯示模式為非同步顯示模式，在上部IXD22上一直顯示最新的現(xiàn)實空間圖像。之后，在識別出標(biāo)記61，成為能夠?qū)⑻摂M對象62合成顯示在上部IXD22上所顯示的現(xiàn)實空間圖像上的狀態(tài)的時點，顯示模式從非同步顯示模式變化到同步顯示模式。在同步顯示模式下，為了將虛擬對象62顯示在現(xiàn)實空間圖像中的正確位置，而將虛擬對象62被合成在最后識別出標(biāo)記61的現(xiàn)實空間圖像 (并不僅限于最新的現(xiàn)實空間圖像)上的合成圖像，顯示在上部IXD22上。由此，能夠防止合成顯示在現(xiàn)實空間圖像上的虛擬對象62的位置發(fā)生偏移。之后，在不能夠識別出標(biāo)記61 的狀態(tài)持續(xù)了一定時間的時點，顯示模式從同步顯示模式變化到非同步顯示模式，從而上部LCD22上總是顯示最新的現(xiàn)實空間圖像。由此，能夠防止不能識別出標(biāo)記61的狀態(tài)持續(xù)時，上部IXD22持續(xù)顯示舊圖像的情況。(本實施方式的效果)如上所述，本發(fā)明的實施方式根據(jù)基于左現(xiàn)實空間圖像及右現(xiàn)實空間圖像中的任一方的標(biāo)記識別結(jié)果而計算的、一方的外側(cè)拍攝部(外側(cè)拍攝部(左)23a或外側(cè)拍攝部 (右)23b)的標(biāo)記坐標(biāo)系中的位置及姿勢，來決定該一方的虛擬拍攝裝置的位置及姿勢，并決定另一方的拍攝裝置的位置及姿勢，以使左虛擬拍攝裝置63L的位置及姿勢與右虛擬拍攝裝置63R的位置及姿勢成為理想的關(guān)系。因此，在能夠進行立體顯示的顯示裝置中，能夠顯示有正常的立體視覺的虛擬對象62。此外，根據(jù)基于對左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)拍攝部(左)23a的位置，以及基于對左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)拍攝部 (右)2 的位置，來算出兩個外側(cè)拍攝部的間隔，并基于該結(jié)果來決定虛擬拍攝裝置間隔 (EyeWidth)，進一步通過使一方的虛擬拍攝裝置的位置沿與該虛擬拍攝裝置的坐標(biāo)系的拍攝方向正交的方向，僅移動該間隔，來決定另一方的虛擬拍攝裝置的位置。由此，能夠?qū)商摂M拍攝裝置設(shè)定成在與拍攝方向正交的方向上并排。此外，即使在外側(cè)拍攝部(左)23a 與外側(cè)拍攝部(右)2 之間的間隔不是已知的情況下，或者外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 相對于游戲裝置10的安裝精度不佳的情況下，也能夠?qū)⒆筇摂M拍攝裝置 63L和右虛擬拍攝裝置63R以理想的間隔來配置。此外，在經(jīng)虛擬拍攝裝置間隔決定處理決定了虛擬拍攝裝置間隔(EyeWidth)后， 由于只對主現(xiàn)實空間圖像進行標(biāo)記識別處理便可，因此與總是要對左現(xiàn)實空間圖像和右現(xiàn)實空間圖像兩方進行標(biāo)記識別處理的情況相比，能夠減輕處理負(fù)擔(dān)。此外，在外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔已知的情況下， 基于虛擬拍攝裝置間隔決定處理的結(jié)果，來判明與現(xiàn)實空間中的外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔(例如，3. 5cm)相對應(yīng)的、標(biāo)記坐標(biāo)系中的外側(cè)拍攝部 (左)23a與外側(cè)拍攝部(右)2 之間的間隔(Eyeffidth) 0因此，在虛擬空間中，能夠根據(jù)現(xiàn)實空間的規(guī)模來進行處理，例如，在現(xiàn)實空間圖像上合成顯示身高為30cm的物體(虛擬對象)，或使現(xiàn)實空間圖像上合成顯示的物體(虛擬對象)以每秒IOcm的速度移動。(變形例)此外，在上述實施方式中，識別含在現(xiàn)實空間圖像中的標(biāo)記61的位置及姿勢，并根據(jù)該識別結(jié)果將虛擬對象62合成在現(xiàn)實空間圖像上，但在其他實施方式中，不僅限于識別標(biāo)記61，也可以識別任意的識別對象的位置及/或姿勢，并根據(jù)該識別結(jié)果將虛擬對象 62合成在現(xiàn)實空間圖像上。識別對象例如是人的臉。此外，在上述實施方式中，基于外側(cè)拍攝部23實時拍攝的現(xiàn)實空間圖像來在上部 IXD22上顯示立體圖像，但在其他實施方式中，可以基于外側(cè)拍攝部23或外部的立體攝像機等所拍攝的過去的動態(tài)圖像數(shù)據(jù)，來在上部IXD22上顯示立體圖像。此外，在上述實施方式中，外側(cè)拍攝部23事先搭載于游戲裝置10中，但在其他實施方式中，也可以利用可從游戲裝置10拆卸的外配型拍攝裝置。此外，在上述實施方式中，上部IXD22事先搭載于游戲裝置10，但在其他實施方式中，也可以利用可從游戲裝置10拆卸的外配型立體視頻顯示器。此外，在上述實施方式中，將虛擬對象62配置在標(biāo)記坐標(biāo)系的原點位置，但在其他實施方式中，也可以將虛擬對象62配置在遠離標(biāo)記坐標(biāo)系原點的位置。此外，在上述實施方式中，在虛擬空間只配置1個虛擬對象，但在其他實施方式中，也可以在虛擬空間中配置多個虛擬對象。此外，在上述實施方式中，在虛擬拍攝裝置間隔決定處理中，在計算了標(biāo)記坐標(biāo)系中的外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔(Eyeffidth)后，基于該間隔，根據(jù)基于標(biāo)記識別結(jié)果而計算出的、左虛擬拍攝裝置63L及右虛擬拍攝裝置63R中任意一方的虛擬拍攝裝置的位置及姿勢，來決定另一方的虛擬拍攝裝置的位置及姿勢。但在其他實施方式中，也可以根據(jù)基于對左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)拍攝部(左)23a的位置及姿勢，以及基于對右現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)CN 102274633 A
說明書
33/33 頁
拍攝部(右)2 的位置及姿勢，來計算外側(cè)拍攝部23的位置及姿勢(例如，外側(cè)拍攝部 (左)23a的位置和外側(cè)拍攝部(右)2 的位置的平均位置、外側(cè)拍攝部(左)23a的姿勢和外側(cè)拍攝部(右)2 的姿勢的平均姿勢)，并根據(jù)此來決定左虛擬拍攝裝置63L及右虛擬拍攝裝置63R的位置及/或姿勢。例如，可以將左虛擬拍攝裝置63L及右虛擬拍攝裝置63R 的姿勢決定為左虛擬拍攝裝置63L及右虛擬拍攝裝置63R的姿勢都正好是，基于對左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)拍攝部(左)23a的姿勢，與基于對右現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出的、外側(cè)拍攝部(右)2 的姿勢之間的中間姿勢。此外例如， 在虛擬拍攝裝置間隔決定處理中決定了外側(cè)拍攝部(左)23a與外側(cè)拍攝部(右)2 之間的間隔(EyeWidth)后，可以通過從與外側(cè)拍攝部(左)23a的位置與外側(cè)拍攝部(右)2 的位置之間的平均位置相對應(yīng)的虛擬空間中的位置，相互反向地在與虛擬拍攝裝置的拍攝方向正交的方向上僅偏離EyeWidth/2，來決定左虛擬拍攝裝置63L及右虛擬拍攝裝置63R 的位置，其中外側(cè)拍攝部(左)23a的位置基于對左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出，外側(cè)拍攝部(右)2 的位置基于對右現(xiàn)實空間圖像的標(biāo)記識別結(jié)果而計算出。此外，在上述實施方式中，在經(jīng)虛擬拍攝裝置間隔決定處理決定了虛擬拍攝裝置間隔(EyeWidth)后，只對主現(xiàn)實空間圖像進行標(biāo)記識別處理，但在其他實施方式中，也可以總是對左現(xiàn)實空間圖像和右現(xiàn)實空間圖像兩方進行標(biāo)記識別處理。此外，在上述實施方式中，上部IXD22是視覺屏障式立體顯示裝置，但在其他實施方式中，上部LCD22也可以是柱狀透鏡式等其他任何方式的立體顯示裝置。例如，利用柱狀透鏡式的立體顯示裝置的情況下，通過CPU311或其他處理器將左眼用圖像和右眼用圖像合成后，將該合成圖像提供給柱狀透鏡式的立體顯示裝置。此外，在上述實施方式中，用游戲裝置10來將虛擬對象合成顯示在現(xiàn)實空間圖像上，但在其他實施方式中，也可以用任何信息處理裝置或信息處理系統(tǒng)(例如， PDA (Personal Digital Assistant)、移動電話、個人電腦、照相機等)，來將虛擬對象合成顯示在現(xiàn)實空間圖像上。此外，在上述實施方式中，只通過一臺信息處理裝置(游戲裝置10)來執(zhí)行圖像顯示處理，但在其他實施方式中，在具有相互能夠通信的多個信息處理裝置的圖像顯示系統(tǒng)中，可以由該多個信息處理裝置來分擔(dān)執(zhí)行圖像顯示處理。以上對本發(fā)明進行了詳細(xì)說明，但上述說明只不過例示出了本發(fā)明的各個方面， 并沒有限定其范圍。在不超出本發(fā)明范圍的情況下，當(dāng)然也可以進行各種改良及變形。
4權(quán)利要求
1.一種圖像顯示系統(tǒng)，利用來自右眼用現(xiàn)實拍攝裝置及左眼用現(xiàn)實拍攝裝置的輸出， 在能夠進行立體顯示的立體顯示裝置的屏幕上，對合成有三維虛擬對象的現(xiàn)實空間圖像進行立體顯示，其特征在于，包括規(guī)定的拍攝對象；第1位置姿勢計算單元，通過從所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，來計算表示該一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置以及姿勢的位置姿勢信息；虛擬拍攝裝置設(shè)定單元，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息， 來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩方的位置及姿勢，其中，所述右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，所述左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象；右虛擬空間圖像生成單元，生成表示從所述右虛擬拍攝裝置看到的所述虛擬空間的右虛擬空間圖像；左虛擬空間圖像生成單元，生成表示從所述左虛擬拍攝裝置看到的所述虛擬空間的左虛擬空間圖像；以及顯示控制單元，將所述右虛擬空間圖像合成在所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并且，將所述左虛擬空間圖像合成在所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并向所述立體顯示裝置輸出用于進行立體顯示的圖像。
2.根據(jù)權(quán)利要求1所述的圖像顯示系統(tǒng)，其特征在于所述虛擬拍攝裝置設(shè)定單元決定所述右虛擬拍攝裝置和所述左虛擬拍攝裝置的位置及姿勢，使所述右虛擬拍攝裝置和所述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與所述右眼用現(xiàn)實拍攝裝置和所述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。
3.根據(jù)權(quán)利要求2所述的圖像顯示系統(tǒng)，其特征在于，所述虛擬拍攝裝置設(shè)定單元包括第1虛擬拍攝裝置姿勢決定部，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述第1位置姿勢計算單元中的所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；以及第2虛擬拍攝裝置姿勢決定部，基于所述第1虛擬拍攝裝置姿勢決定部所決定的、所述一方的虛擬拍攝裝置的姿勢，來決定另一方的虛擬拍攝裝置的姿勢，使所述右虛擬拍攝裝置和所述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與所述右眼用現(xiàn)實拍攝裝置和所述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。
4.根據(jù)權(quán)利要求2或3所述的圖像顯示系統(tǒng)，其特征在于，還具備虛擬拍攝裝置相對位置關(guān)系決定單元，決定所述右虛擬拍攝裝置和所述左虛擬拍攝裝置的相對位置關(guān)系，所述虛擬拍攝裝置設(shè)定單元包括第1虛擬拍攝裝置位置決定部，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述第1位置姿勢計算單元中的所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；第2虛擬拍攝裝置位置決定部，將另一方的虛擬拍攝裝置的位置決定在，與所述第1虛擬拍攝裝置位置決定部所決定的所述一方的虛擬拍攝裝置的位置、僅相隔由所述虛擬拍攝裝置相對位置關(guān)系決定單元決定的所述相對位置所確定的距離的位置。
5.根據(jù)權(quán)利要求2或3所述的圖像顯示系統(tǒng)，其特征在于，所述虛擬拍攝裝置設(shè)定單元包括第1虛擬拍攝裝置位置決定部，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述第1位置姿勢計算單元中的所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；第1虛擬拍攝裝置姿勢決定部，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置以及所述左虛擬拍攝裝置中、與所述第1位置姿勢計算單元中的所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；第2虛擬拍攝裝置位置決定部，將另一方的虛擬拍攝裝置的位置決定在，相對所述第1 虛擬拍攝位置決定部所決定的所述一方的虛擬拍攝裝置的位置而確定的規(guī)定方向上。
6.根據(jù)權(quán)利要求5所述的圖像顯示系統(tǒng)，其特征在于，還具備虛擬拍攝裝置間距決定單元，決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的距離；所述第2虛擬拍攝裝置位置決定部將所述另一方的虛擬拍攝裝置的位置決定在，位于相對所述第1虛擬拍攝位置決定部所決定的所述一方的虛擬拍攝裝置的位置而確定的規(guī)定方向、且僅相隔所述虛擬拍攝裝置間距決定單元所決定的距離的位置處。
7.根據(jù)權(quán)利要求4所述的圖像顯示系統(tǒng)，其特征在于所述虛擬拍攝裝置相對位置關(guān)系決定部基于所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)與所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)之間的視差，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
8.根據(jù)權(quán)利要求7所述的圖像顯示系統(tǒng)，其特征在于所述相對位置關(guān)系決定單元所決定的所述相對位置關(guān)系是所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的間隔。
9.根據(jù)權(quán)利要求4所述的圖像顯示系統(tǒng)，其特征在于，還具備第2位置姿勢計算單元，通過從所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中，識別與所述第1位置姿勢計算單元中的所述一方的現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，來計算表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，所述虛擬拍攝裝置相對位置關(guān)系決定部用所述第1位置姿勢計算單元所算出的、所述一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置信息、及所述第2位置姿勢計算單元所算出的、所述另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置信息，來計算所述一方的現(xiàn)實拍攝裝置與所述另一方的現(xiàn)實拍攝裝置之間的距離。
10.根據(jù)權(quán)利要求9所述的圖像顯示系統(tǒng)，其特征在于所述第1位置姿勢計算單元包括第1變換矩陣生成單元，該第1變換矩陣生成單元基于所述一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第1變換矩陣，該第1變換矩陣用于將通過以所述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以所述一方的現(xiàn)實拍攝裝置為原點的第1拍攝部坐標(biāo)系來表示的坐標(biāo)值，所述第2位置姿勢計算單元包括第2變換矩陣生成單元，該第2變換矩陣生成單元基于所述另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第2變換矩陣，該第2變換矩陣用于將通過以所述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以所述另一方的現(xiàn)實拍攝裝置為原點的第2拍攝部坐標(biāo)系來表示的坐標(biāo)值。
11.根據(jù)權(quán)利要求7所述的圖像顯示系統(tǒng)，其特征在于每當(dāng)從所述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，所述虛擬拍攝裝置相對位置關(guān)系決定單元便執(zhí)行計算所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系的處理，并基于通過多次執(zhí)行該處理而得到的多次的相對位置關(guān)系計算結(jié)果，來確定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
12.根據(jù)權(quán)利要求11所述的圖像顯示系統(tǒng)，其特征在于所述虛擬拍攝裝置相對位置關(guān)系決定單元只在所述多次的相對位置關(guān)系計算結(jié)果都在規(guī)定范圍內(nèi)的情況下，才基于該多次的相對位置關(guān)系計算結(jié)果來確定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
13.根據(jù)權(quán)利要求7所述的圖像顯示系統(tǒng)，其特征在于，還具備進深變化判定單元，在由所述虛擬拍攝裝置相對位置關(guān)系決定單元決定了所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系后，判定所述規(guī)定的拍攝對象相對于所述 2個現(xiàn)實拍攝裝置的進深距離，是否從決定了該相對位置關(guān)系的時點開始，超出規(guī)定范圍而發(fā)生變化，在所述進深變化判斷單元的判斷結(jié)果是肯定的情況下，所述虛擬拍攝裝置相對位置關(guān)系決定單元重新決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
14.根據(jù)權(quán)利要求13所述的圖像顯示系統(tǒng)，其特征在于，還具備進深距離計算單元，基于含有所述規(guī)定的拍攝對象的現(xiàn)實空間圖像數(shù)據(jù)，來計算所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離，所述進深變化判定單元通過將基準(zhǔn)進深距離與最新進深距離進行比較，來判定所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離是否超出規(guī)定范圍而發(fā)生變化，其中，所述基準(zhǔn)進深距離是，所述進深距離計算單元在所述虛擬拍攝裝置相對位置關(guān)系決定單元決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系的時點算出的進深距離，所述最新進深距離是所述進深距離計算單元在所述時點之后算出的進深距離。
15.根據(jù)權(quán)利要求14所述的圖像顯示系統(tǒng)，其特征在于每當(dāng)從所述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，所述進深距離計算單元便執(zhí)行計算所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離的處理，并基于通過多次執(zhí)行該處理而得到的多次的進深距離計算結(jié)果，來計算所述基準(zhǔn)進深距離。
16.根據(jù)權(quán)利要求15所述的圖像顯示系統(tǒng)，其特征在于所述進深距離計算單元只在所述多次的進深距離計算結(jié)果都在規(guī)定范圍內(nèi)的情況下， 才基于該多次的進深距離計算結(jié)果來計算所述基準(zhǔn)進深距離。
17.根據(jù)權(quán)利要求1所述的圖像顯示系統(tǒng)，其特征在于，還具備第2位置姿勢計算單元，通過從所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中，識別與所述第1位置姿勢計算單元的所述一方的現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，來計算表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息；以及現(xiàn)實拍攝裝置選擇單元，根據(jù)所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的至少一方中的所述規(guī)定的拍攝對象的位置，相應(yīng)地從該2個現(xiàn)實拍攝裝置中選擇 1個，當(dāng)所述現(xiàn)實拍攝裝置選擇單元所選擇的現(xiàn)實拍攝裝置是所述一方的現(xiàn)實拍攝裝置時， 所述虛擬拍攝裝置設(shè)定單元用所述第1位置姿勢計算單元所算出的、表示該一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的位置及姿勢；當(dāng)所述現(xiàn)實拍攝裝置選擇單元所選擇的現(xiàn)實拍攝裝置是所述另一方的現(xiàn)實拍攝裝置時，所述虛擬拍攝裝置設(shè)定單元用所述第2位置姿勢計算單元所算出的、表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的位置及姿勢。
18.根據(jù)權(quán)利要求17所述的圖像顯示系統(tǒng)，其特征在于當(dāng)所述2個現(xiàn)實拍攝裝置中的左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象的位置進入到該現(xiàn)實空間圖像數(shù)據(jù)的右端區(qū)域時，所述現(xiàn)實拍攝裝置選擇單元相應(yīng)地從所述左眼用現(xiàn)實拍攝裝置切換到所述右眼用現(xiàn)實拍攝裝置；當(dāng)所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象的位置，進入到該現(xiàn)實空間圖像數(shù)據(jù)的左端區(qū)域時，所述現(xiàn)實拍攝裝置選擇單元相應(yīng)地從所述右眼用現(xiàn)實拍攝裝置切換到所述左眼用現(xiàn)實拍攝裝置。
19.根據(jù)權(quán)利要求1所述的圖像顯示系統(tǒng)，其特征在于所述第1位置姿勢計算單元及所述顯示控制單元所利用的所述現(xiàn)實空間圖像數(shù)據(jù)是從所述現(xiàn)實拍攝裝置實時地輸出的現(xiàn)實空間圖像數(shù)據(jù)。
20.根據(jù)權(quán)利要求1所述的圖像顯示系統(tǒng)，其特征在于，還具備所述2個現(xiàn)實拍攝裝置和所述立體顯示裝置。
21.—種圖像顯示裝置，利用來自右眼用現(xiàn)實拍攝裝置及左眼用現(xiàn)實拍攝裝置的輸出， 在能夠進行立體顯示的立體顯示裝置的屏幕上，對合成有三維虛擬對象的現(xiàn)實空間圖像進行立體顯示，其特征在于，包括第1位置姿勢計算單元，從所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，由此來計算表示該一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息；虛擬拍攝裝置設(shè)定單元，用所述第1位置姿勢計算單元所算出的所述位置姿勢信息， 來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩方的位置及姿勢，其中，所述右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，所述左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象；右虛擬空間圖像生成單元，生成表示從所述右虛擬拍攝裝置看到的所述虛擬空間的右虛擬空間圖像；左虛擬空間圖像生成單元，生成表示從所述左虛擬拍攝裝置看到的所述虛擬空間的左虛擬空間圖像；以及顯示控制單元，將所述右虛擬空間圖像合成在所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并且，將所述左虛擬空間圖像合成在所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并向所述立體顯示裝置輸出用于進行立體顯示的圖像。
22.—種圖像顯示方法，利用來自右眼用現(xiàn)實拍攝裝置及左眼用現(xiàn)實拍攝裝置的輸出， 在能夠進行立體顯示的立體顯示裝置的屏幕上，對合成有三維虛擬對象的現(xiàn)實空間圖像進行立體顯示，其特征在于，包括下述步驟第1位置姿勢計算步驟，通過從所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)、和所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中，識別從一方的現(xiàn)實拍攝裝置輸出的現(xiàn)實空間圖像數(shù)據(jù)中的規(guī)定的拍攝對象，來計算表示該一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息；虛擬拍攝裝置設(shè)定步驟，用所述第1位置姿勢計算步驟所算出的所述位置姿勢信息， 來決定右虛擬拍攝裝置和左虛擬拍攝裝置兩方的位置及姿勢，其中，所述右虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的右眼用圖象，所述左虛擬拍攝裝置用于生成規(guī)定的虛擬空間中的左眼用圖象；右虛擬空間圖像生成步驟，生成表示從所述右虛擬拍攝裝置看到的所述虛擬空間的右虛擬空間圖像；左虛擬空間圖像生成步驟，生成表示從所述左虛擬拍攝裝置看到的所述虛擬空間的左虛擬空間圖像；以及顯示控制步驟，將所述右虛擬空間圖像合成在所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并且，將所述左虛擬空間圖像合成在所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像上，并向所述立體顯示裝置輸出用于進行立體顯示的圖像。
23.根據(jù)權(quán)利要求22所述的圖像顯示方法，其特征在于所述虛擬拍攝裝置設(shè)定步驟中，決定所述右虛擬拍攝裝置和所述左虛擬拍攝裝置的位置及姿勢，使所述右虛擬拍攝裝置和所述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與所述右眼用現(xiàn)實拍攝裝置和所述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。
24.根據(jù)權(quán)利要求23所述的圖像顯示方法，其特征在于，所述虛擬拍攝裝置設(shè)定步驟包括第1虛擬拍攝裝置姿勢決定步驟，用所述第1位置姿勢計算步驟中所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；以及第2虛擬拍攝裝置姿勢決定步驟，基于所述第1虛擬拍攝裝置姿勢決定步驟中所決定的所述一方的虛擬拍攝裝置的姿勢，來決定另一方的虛擬拍攝裝置的姿勢，使所述右虛擬拍攝裝置和所述左虛擬拍攝裝置之間的相對姿勢關(guān)系、與所述右眼用現(xiàn)實拍攝裝置和所述左眼用現(xiàn)實拍攝裝置之間在設(shè)計上的相對姿勢關(guān)系相同。
25.根據(jù)權(quán)利要求23或M所述的圖像顯示方法，其特征在于，還包括虛擬拍攝裝置相對位置關(guān)系決定步驟，決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系，所述虛擬拍攝裝置設(shè)定步驟包括第1虛擬拍攝裝置位置決定步驟，用所述第1位置姿勢計算步驟中所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；第2虛擬拍攝裝置位置決定步驟，將另一方的虛擬拍攝裝置的位置決定在，與所述第1 虛擬拍攝裝置位置決定步驟中所決定的所述一方的虛擬拍攝裝置的位置、僅相隔由所述虛擬拍攝裝置相對位置關(guān)系決定單元決定的所述相對位置所確定的距離的位置。
26.根據(jù)權(quán)利要求23或M所述的圖像顯示方法，其特征在于，所述虛擬拍攝裝置設(shè)定步驟包括第1虛擬拍攝裝置位置決定步驟，用所述第1位置姿勢計算步驟中所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置以及所述左虛擬拍攝裝置中、與所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的位置；第1虛擬拍攝裝置姿勢決定步驟，用所述第1位置姿勢計算步驟中所算出的所述位置姿勢信息，來決定所述右虛擬拍攝裝置及所述左虛擬拍攝裝置中、與所述一方的現(xiàn)實拍攝裝置相對應(yīng)的一方的虛擬拍攝裝置的姿勢；第2虛擬拍攝裝置位置決定步驟，將另一方的虛擬拍攝裝置的位置決定在，相對所述第1虛擬拍攝位置決定步驟所決定的所述一方的虛擬拍攝裝置的位置而確定的規(guī)定方向上。
27.根據(jù)權(quán)利要求沈所述的圖像顯示方法，其特征在于，還包括虛擬拍攝裝置間距決定步驟，決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的距離，所述第2虛擬拍攝裝置決定步驟中將所述另一方的虛擬拍攝裝置的位置決定在，位于相對所述第1虛擬拍攝位置決定步驟中所決定的所述一方的虛擬拍攝裝置的位置而確定的規(guī)定方向、且僅相隔所述虛擬拍攝裝置間距決定步驟中所決定的距離的位置處。
28.根據(jù)權(quán)利要求25所述的圖像顯示方法，其特征在于所述虛擬拍攝裝置相對位置關(guān)系決定步驟中，基于所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)與所述左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)之間的視差，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
29.根據(jù)權(quán)利要求觀所述的圖像顯示方法，其特征在于所述相對位置關(guān)系決定步驟中所決定的所述相對位置關(guān)系是所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的間隔。
30.根據(jù)權(quán)利要求25所述的圖像顯示方法，其特征在于，還包括第2位置姿勢計算步驟，通過從所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中、識別與所述一方的現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，來計算表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，所述虛擬拍攝裝置相對位置關(guān)系決定步驟中，用所述第1位置姿勢計算步驟中所算出的所述一方的現(xiàn)實拍攝裝置與所述拍攝對象之間的相對位置信息、以及所述第2位置姿勢計算步驟所算出的所述另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置信息，來計算所述一方的現(xiàn)實拍攝裝置與所述另一方的現(xiàn)實拍攝裝置之間的距離。
31.根據(jù)權(quán)利要求30所述的圖像顯示方法，其特征在于所述第1位置姿勢計算步驟包括第1變換矩陣生成步驟，該第1變換矩陣生成步驟中， 基于所述一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第1變換矩陣，該第1變換矩陣用于將通過以所述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以所述一方的現(xiàn)實拍攝裝置為原點的第1拍攝部坐標(biāo)系來表示的坐標(biāo)值，所述第2位置姿勢計算步驟包括第2變換矩陣生成步驟，該第2變換矩陣生成中，基于所述另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)，生成第2變換矩陣，該第2變換矩陣用于將通過以所述規(guī)定的拍攝對象為原點的坐標(biāo)系來表示的坐標(biāo)值，變換為通過以所述另一方的現(xiàn)實拍攝裝置為原點的第2拍攝部坐標(biāo)系來表示的坐標(biāo)值。
32.根據(jù)權(quán)利要求觀所述的圖像顯示方法，其特征在于所述虛擬拍攝裝置相對位置關(guān)系決定步驟中，每當(dāng)從所述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，便執(zhí)行計算所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系的處理，并基于通過多次執(zhí)行該處理而得到的多次的相對位置關(guān)系計算結(jié)果，來確定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
33.根據(jù)權(quán)利要求32所述的圖像顯示方法，其特征在于所述虛擬拍攝裝置相對位置關(guān)系決定步驟中，只在所述多次的相對位置關(guān)系計算結(jié)果都在規(guī)定范圍內(nèi)的情況下，才基于該多次的相對位置關(guān)系計算結(jié)果來確定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的相對位置關(guān)系。
34.根據(jù)權(quán)利要求觀所述的圖像顯示步驟，其特征在于，還包括進深變化判定步驟，在所述虛擬拍攝裝置相對位置關(guān)系決定步驟中決定了所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的相對位置關(guān)系后，判定所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離，是否從決定了該相對位置關(guān)系的時點開始，超出規(guī)定范圍而發(fā)生變化；所述虛擬拍攝裝置相對位置關(guān)系決定步驟中，在所述進深變化判定步驟中的判定結(jié)果是肯定的情況下，重新決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的相對位置關(guān)系。
35.根據(jù)權(quán)利要求34所述的圖像顯示方法，其特征在于，還包括進深距離計算步驟，基于包含所述規(guī)定的拍攝對象的現(xiàn)實空間圖像數(shù)據(jù)，來計算所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離；所述進深變化判定步驟中，通過將基準(zhǔn)進深距離與最新進深距離進行比較，來判定所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離是否超出規(guī)定范圍而發(fā)生變化，其中，所述基準(zhǔn)進深距離是在所述虛擬拍攝裝置相對位置關(guān)系決定步驟中決定了所述右虛擬拍攝裝置與所述左虛擬拍攝裝置之間的相對位置關(guān)系的時點，在所述進深距離計算步驟算出的進深距離，所述最新進深距離是在所述時點之后，在所述進深距離計算步驟算出的進深距離。
36.根據(jù)權(quán)利要求35所述的圖像顯示方法，其特征在于所述進深距離計算步驟中，每當(dāng)從所述2個現(xiàn)實拍攝裝置輸出新的現(xiàn)實空間圖像數(shù)據(jù)，便執(zhí)行計算所述規(guī)定的拍攝對象相對于所述2個現(xiàn)實拍攝裝置的進深距離的處理，并基于通過多次執(zhí)行該處理而得到的多次的進深距離計算結(jié)果，來計算所述基準(zhǔn)進深距離。
37.根據(jù)權(quán)利要求36所述的圖像顯示方法，其特征在于所述進深距離計算步驟中，只在所述多次的進深距離計算結(jié)果都在規(guī)定范圍內(nèi)的情況下，才基于該多次的進深距離計算結(jié)果來計算所述基準(zhǔn)進深距離。
38.根據(jù)權(quán)利要求22所述的圖像顯示方法，其特征在于，還包括第2位置姿勢計算步驟，通過從所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中，識別與所述一方的現(xiàn)實拍攝裝置不同的另一方的現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象，來計算表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象的之間的相對位置及姿勢的位置姿勢信息；以及現(xiàn)實拍攝裝置選擇步驟，根據(jù)所述2個現(xiàn)實拍攝裝置所分別輸出的2個現(xiàn)實空間圖像數(shù)據(jù)中的至少一方中的所述規(guī)定的拍攝對象的位置，相應(yīng)地從該2個現(xiàn)實拍攝裝置中選擇 1個，所述虛擬拍攝裝置設(shè)定步驟中，當(dāng)所述現(xiàn)實拍攝裝置選擇步驟中所選擇的現(xiàn)實拍攝裝置是所述一方的現(xiàn)實拍攝裝置時，用所述第1位置姿勢計算步驟中所算出的、表示該一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的位置及姿勢，并且，當(dāng)所述現(xiàn)實拍攝裝置選擇單元所選擇的現(xiàn)實拍攝裝置是所述另一方的現(xiàn)實拍攝裝置時，用所述第2位置姿勢計算步驟中所算出的、表示該另一方的現(xiàn)實拍攝裝置與所述規(guī)定的拍攝對象之間的相對位置及姿勢的位置姿勢信息，來決定所述右虛擬拍攝裝置與所述左虛擬拍攝裝置的位置及姿勢。
39.根據(jù)權(quán)利要求38所述的圖像顯示方法，其特征在于所述現(xiàn)實拍攝裝置選擇步驟中，當(dāng)所述2個現(xiàn)實拍攝裝置中的左眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象的位置，進入到該現(xiàn)實空間圖像數(shù)據(jù)的右端區(qū)域時，相應(yīng)地從所述左眼用現(xiàn)實拍攝裝置切換到所述右眼用現(xiàn)實拍攝裝置，并且，當(dāng)所述右眼用現(xiàn)實拍攝裝置所輸出的現(xiàn)實空間圖像數(shù)據(jù)中的所述規(guī)定的拍攝對象的位置進入到該現(xiàn)實空間圖像數(shù)據(jù)的左端區(qū)域時，相應(yīng)地從所述右眼用現(xiàn)實拍攝裝置切換到所述左眼用現(xiàn)實拍攝裝置。
40.根據(jù)權(quán)利要求22所述的圖像顯示方法，其特征在于所述第1位置姿勢計算步驟及所述顯示控制步驟所利用的所述現(xiàn)實空間圖像數(shù)據(jù)是所述現(xiàn)實拍攝裝置實時輸出的現(xiàn)實空間圖像數(shù)據(jù)。
全文摘要
本發(fā)明涉及一種圖像顯示系統(tǒng)、裝置及方法。首先，根據(jù)基于左現(xiàn)實空間圖像的標(biāo)記識別結(jié)果所計算出的、外側(cè)拍攝部(左)相對于標(biāo)記的相對位置及相對姿勢，以及基于右現(xiàn)實空間圖像的標(biāo)記識別結(jié)果所計算出的、外側(cè)拍攝部(右)相對于標(biāo)記的相對位置及相對姿勢，來決定左虛擬拍攝裝置和右虛擬拍攝裝置之間的間隔。在決定了左虛擬拍攝裝置和右虛擬拍攝裝置之間的間隔后，基于所決定的間隔，來決定左虛擬拍攝裝置和右虛擬拍攝裝置的位置及姿勢，以使左虛擬拍攝裝置的位置及姿勢與右虛擬拍攝裝置的位置及姿勢成為理想的關(guān)系。
文檔編號G06T17/00GK102274633SQ201110159170
公開日2011年12月14日 申請日期2011年6月8日 優(yōu)先權(quán)日2010年6月11日
發(fā)明者伊藤裕一朗 申請人:任天堂株式會社