本發(fā)明涉及顯示裝置、用于該顯示裝置的控制方法以及程序。
背景技術(shù):
已經(jīng)存在顯示分別對應(yīng)于用戶的右眼和左眼的圖像的公知的裝置(參見,例如,PTL1和PTL2)。在PTL1和PTL2中所描述的裝置通過使用戶能夠?qū)@示在對稱的液晶顯示器上的兩個畫面識別為一個連接的畫面來顯示具有不同的寬高比的圖像。在PTL2中所描述的裝置通過調(diào)整兩個畫面的交疊寬度來調(diào)整交疊部分的亮度。
引用列表
專利文獻(xiàn)
PTL 1:JP-A-7-302063
PTL 2:JP-A-7-302064
技術(shù)實現(xiàn)要素:
技術(shù)問題
如在以往的顯示裝置中,當(dāng)顯示分別與用戶的右眼和左眼對應(yīng)的兩個圖像時,必需處理比輸入圖像大的圖像。PTL1描述了以下示例,其中利用NTSC標(biāo)準(zhǔn)的兩個液晶面板(水平分辨率600×垂直分辨率500)將MUSE類型的高清晰度(high-vision)圖像顯示為水平分辨率1200×垂直分辨率500的寬圖像。在這個示例中,必須進(jìn)行將輸入圖像轉(zhuǎn)換成具有較高分辨率的圖像的處理。處理轉(zhuǎn)換后的圖像的負(fù)荷高于處理輸入圖像的負(fù)荷。如此,通常,組合的兩個畫面的顯示的圖像的分辨率高于輸入圖像的分辨率。存在關(guān)于高處理負(fù)荷的問題。
本發(fā)明的一些方面的優(yōu)點是降低當(dāng)包括多個顯示單元的顯示裝置顯示輸入圖像時所施加的處理負(fù)荷。
問題的解決方案
本發(fā)明的一個方面涉及一種顯示裝置,該顯示裝置包括:第一顯示單元,其被配置成顯示對應(yīng)于用戶的左眼的圖像;第二顯示單元,其被配置成顯示對應(yīng)于用戶的右眼的圖像;以及圖像處理單元,其被配置成分割顯示目標(biāo)圖像,并且向第一顯示單元和第二顯示單元輸出包括分割成的圖像的第一圖像和第二圖像。第一圖像和第二圖像包括圖像區(qū)和非圖像區(qū),圖像區(qū)由通過圖像處理單元分割成的圖像構(gòu)成,非圖像區(qū)不包括分割成的圖像。第一圖像和第二圖像中的一個的非圖像區(qū)的狀態(tài)對應(yīng)于第一圖像和第二圖像中的另一個的圖像區(qū)的狀態(tài)。
根據(jù)本發(fā)明的方面,第一顯示單元和第二顯示單元顯示第一圖像和第二圖像。第一圖像和第二圖像除了包括由通過分割顯示目標(biāo)圖像而獲得的圖像配置的圖像區(qū)之外,還包括不包含分割成的圖像的非圖像區(qū)。因此,不涉及諸如顯示目標(biāo)圖像的分辨率增大和放大的處理,或者能夠抑制處理的負(fù)荷。另外,能夠抑制用于將圖像傳送至顯示單元的傳送速度。如果用于生成非圖像區(qū)的處理以及非圖像區(qū)被簡化,則能夠容易地抑制負(fù)荷。因此,能夠抑制與圖像的顯示有關(guān)的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,包括在第一圖像和第二圖像中的非圖像區(qū)是包括與分割成的圖像不同的偽圖像的偽圖像區(qū)。
根據(jù)本發(fā)明的方面,通過利用偽圖像,可以抑制與圖像的顯示有關(guān)的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,第一圖像和第二圖像是在第一圖像和第二圖像被顯示在第一顯示單元和第二顯示單元上時被用戶視覺地識別為顯示目標(biāo)圖像的圖像。
根據(jù)本發(fā)明的方面,通過分割目標(biāo)圖像并且在第一顯示單元和第二顯示單元上顯示所分割成的圖像,可以抑制處理的負(fù)荷,并且利用兩個顯示單元顯示目標(biāo)圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,圖像處理單元將圖像區(qū)在第一圖像和第二圖像中的位置與分割成的圖像在顯示目標(biāo)圖像中的位置相關(guān)聯(lián)。
根據(jù)本發(fā)明的方面,分割顯示目標(biāo)圖像,并且在第一顯示單元和第二顯示單元上顯示所分割成的圖像,而不改變所分割成的圖像的位置。因此,可以使得用戶能夠利用兩個顯示單元視覺地識別一個顯示目標(biāo)圖像。
在本發(fā)明的方面中,優(yōu)選地是,顯示裝置還包括顯示狀態(tài)控制單元,該顯示狀態(tài)控制單元被配置成控制第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置。
根據(jù)本發(fā)明的方面,可以適當(dāng)?shù)卣{(diào)整第一圖像的圖像區(qū)的顯示位置和第二圖像的圖像區(qū)的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。
在本發(fā)明的方面中,優(yōu)選地是,顯示裝置還包括配置成接收用戶的輸入的接收單元,并且顯示狀態(tài)控制單元根據(jù)通過接收單元接收的輸入來改變第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置中的至少一個。
根據(jù)本發(fā)明的方面,可以根據(jù)被用戶感知的視圖來調(diào)整圖像區(qū)的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。
在本發(fā)明的方面中,優(yōu)選地是,顯示裝置根據(jù)用戶的視線的狀態(tài)來控制第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置中的至少一個。
根據(jù)本發(fā)明的方面,可以根據(jù)被用戶感知的視圖來調(diào)整圖像區(qū)的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。
在本發(fā)明的方面中,優(yōu)選地是,顯示裝置還包括配置成檢測用戶的視線方向的視線檢測單元,并且顯示狀態(tài)控制單元根據(jù)由視線檢測單元檢測的視線方向來控制第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置中的至少一個。
根據(jù)本發(fā)明的方面,可以根據(jù)用戶的視線方向來調(diào)整圖像區(qū)的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元根據(jù)視線檢測單元檢測的用戶的主視眼的視線方向,來控制第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置。
根據(jù)本發(fā)明的方面,可以調(diào)整圖像區(qū)的顯示位置以使用戶的主視眼的視線方向優(yōu)先,并且滿意地保持顯示目標(biāo)圖像的可視性。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,第一顯示單元和第二顯示單元透射外部場景,并且顯示能夠與外部場景一起被視覺地識別的圖像,并且顯示狀態(tài)控制單元調(diào)整第一圖像和第二圖像至少之一中的非圖像區(qū)的顯示模式。
根據(jù)本發(fā)明的方面,通過調(diào)整偽圖像區(qū)的顯示模式,可以控制通過偽圖像區(qū)透射的外部場景或者與偽圖像區(qū)對應(yīng)的圖像區(qū)的可視性。
在本發(fā)明的方面中,優(yōu)選地是,顯示裝置還包括顯示控制單元,顯示控制單元配置成使第一顯示單元和第二顯示單元根據(jù)位置來顯示顯示目標(biāo)圖像,在該位置處用戶視覺地識別包括在外部場景中的目標(biāo)對象,并且顯示狀態(tài)控制單元根據(jù)用戶視覺地識別目標(biāo)對象的位置來控制第一圖像的圖像區(qū)在第一顯示單元中的顯示位置和第二圖像的圖像區(qū)在第二顯示單元中的顯示位置。
根據(jù)本發(fā)明的方面,可以滿意地執(zhí)行與包括在外部場景中的目標(biāo)對象對應(yīng)的AR顯示。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元從顯示目標(biāo)圖像提取具有彼此交疊的部分的兩個圖像,并且將兩個圖像分別設(shè)置為第一圖像和第二圖像的圖像區(qū)。
根據(jù)本發(fā)明的方面,可以使第一顯示單元顯示的圖像與第二顯示單元顯示的圖像彼此交疊。因此,在第一顯示單元和第二顯示單元所顯示的圖像的接縫產(chǎn)生不適感的情況下,可以消除不適感并且顯示高清晰度的圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元在預(yù)先設(shè)置在第一圖像和第二圖像中的區(qū)域中布置圖像區(qū)和非圖像區(qū)。
根據(jù)本發(fā)明的方面,可以通過圖像處理單元降低用于分割顯示目標(biāo)圖像的處理的負(fù)荷,以及用于結(jié)合非圖像區(qū)以生成第一圖像或第二圖像的處理的負(fù)荷。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元在第一圖像和第二圖像中的每一個中設(shè)置多個圖像區(qū)和多個非圖像區(qū)。
根據(jù)本發(fā)明的方面,第一圖像和第二圖像以更加復(fù)雜的形狀結(jié)合以使得用戶能夠視覺地識別顯示目標(biāo)。因此,可以以容易被用戶視覺地識別的形狀來分割顯示目標(biāo)圖像并且顯示圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元將在第一顯示單元上顯示的第一圖像的顯示尺寸與在第二顯示單元上顯示的第二圖像的顯示尺寸設(shè)置為相同的尺寸。
根據(jù)本發(fā)明的方面,因為第一顯示單元和第二顯示單元的顯示尺寸相等,所以第一顯示單元顯示的圖像與第二顯示單元顯示的圖像之間的對應(yīng)關(guān)系是清楚的。存在著容易根據(jù)兩個顯示單元的圖像識別一個顯示目標(biāo)圖像的優(yōu)點。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元在第一圖像與第二圖像的公共位置處布置預(yù)定標(biāo)志。
根據(jù)本發(fā)明的方面,因為標(biāo)志存在于第一顯示單元和第二顯示單元上顯示的圖像中的公共位置處,所以第一顯示單元顯示的圖像與第二顯示單元顯示的圖像之間的對應(yīng)關(guān)系是清楚的。因此,存在著容易根據(jù)兩個顯示單元的圖像識別一個顯示目標(biāo)圖像的優(yōu)點。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元改變在第一顯示單元和第二顯示單元上顯示的標(biāo)志的顯示尺寸。
根據(jù)本發(fā)明的方面,可以根據(jù)需要增大標(biāo)志的可視性,并且適當(dāng)?shù)仫@示標(biāo)志以不妨礙顯示目標(biāo)圖像的視覺識別。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,顯示狀態(tài)控制單元隨著時間流逝減小標(biāo)志的顯示尺寸,并且當(dāng)顯示目標(biāo)圖像改變時放大標(biāo)志的顯示尺寸。
根據(jù)本發(fā)明的方面,可以在需要標(biāo)志時使標(biāo)志顯示得大,并且增大可視性,并且在標(biāo)志的必要性降低時減小標(biāo)志,并且使標(biāo)志顯示為不阻礙圖像的視覺識別。因此,可以適當(dāng)?shù)仫@示標(biāo)志并且獲得便利性的改善。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,第一顯示單元和第二顯示單元分別包括光源、配置成二維地掃描來自光源的光的光掃描單元、以及配置成將由光掃描單元二維地掃描的光反射至用戶的反射單元,并且顯示狀態(tài)控制單元使得圖像處理單元向第一顯示單元和第二顯示單元輸出與第一顯示單元和第二顯示單元的光掃描單元掃描光的幅值對應(yīng)的第一圖像和第二圖像。
根據(jù)本發(fā)明的方面,當(dāng)?shù)谝伙@示單元和第二顯示單元具有用于掃描光并且使得用戶視覺地識別圖像的配置時,可以控制顯示器使得以這種配置滿意地視覺地識別第一圖像和第二圖像。因此,可以以掃描類型的顯示裝置滿意地視覺地識別顯示目標(biāo)圖像。
在本發(fā)明的方面中,在顯示裝置中,優(yōu)選地是,第一顯示單元和第二顯示單元在彼此不同的定時顯示第一圖像和第二圖像。
根據(jù)本發(fā)明的方面,通過設(shè)置用于顯示圖像的不同定時,可以分配用于傳送圖像的定時,并且抑制每單位時間圖像的傳送量。
本發(fā)明的另一方面涉及一種顯示裝置,該顯示裝置包括:第一顯示單元,其被配置成顯示對應(yīng)于用戶的左眼的圖像;第二顯示單元,其被配置成顯示對應(yīng)于用戶的右眼的圖像;圖像處理單元,其被配置成分割顯示目標(biāo)圖像,并且向第一顯示單元和第二顯示單元輸出包括分割成的圖像的第一圖像和第二圖像;視線檢測單元,其被配置成檢測用戶的視線方向;以及顯示狀態(tài)控制單元,其被配置成根據(jù)視線檢測單元檢測的用戶的視線方向來控制第一顯示單元顯示的第一圖像的顯示模式和第二顯示單元顯示的第二圖像的顯示模式。
根據(jù)本發(fā)明的方面,第一顯示單元和第二顯示單元顯示第一圖像和第二圖像。因此,不涉及諸如顯示目標(biāo)圖像的分辨率增大和放大的處理,或者能夠抑制處理的負(fù)荷。另外,能夠抑制將圖像傳送至顯示單元的傳送速度。因此,可以抑制涉及圖像的顯示的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。另外可以根據(jù)用戶的視線方向調(diào)整圖像區(qū)的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。
本發(fā)明的又一方面涉及用于包括第一顯示單元和第二顯示單元的顯示裝置的控制方法。該控制方法包括:分割顯示目標(biāo)圖像;在第一顯示單元和第二顯示單元上顯示與分割成的圖像對應(yīng)的第一圖像和第二圖像;以及將第一圖像和第二圖像設(shè)置為包括由分割成的圖像構(gòu)成的圖像區(qū)和不包括分割成的圖像的非圖像區(qū),第一圖像和第二圖像中的一個的非圖像區(qū)的狀態(tài)對應(yīng)于第一圖像和第二圖像中的另一個的圖像區(qū)的狀態(tài)。
根據(jù)本發(fā)明的方面,不涉及諸如顯示目標(biāo)圖像的分辨率增大和放大的處理,或者能夠抑制處理的負(fù)荷。另外,能夠抑制將圖像傳送至顯示單元的傳送速度。如果用于生成非圖像區(qū)的處理以及非圖像區(qū)被簡化,則能夠容易地抑制負(fù)荷。因此,可以抑制與圖像的顯示有關(guān)的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。
本發(fā)明的又一方面涉及一種控制包括第一顯示單元和第二顯示單元的顯示裝置的計算機可執(zhí)行的程序。該程序使計算機用作圖像處理單元,該圖像處理單元配置成分割顯示目標(biāo)圖像,并且向第一顯示單元和第二顯示單元輸出包括分割成的圖像的第一圖像和第二圖像。第一圖像和第二圖像包括由通過圖像處理單元分割成的圖像構(gòu)成的圖像區(qū)和不包括分割成的圖像的非圖像區(qū)。第一圖像和第二圖像中的一個的非圖像區(qū)的狀態(tài)對應(yīng)于第一圖像和第二圖像中的另一個的圖像區(qū)的狀態(tài)。
根據(jù)本發(fā)明的方面,不涉及諸如顯示目標(biāo)圖像的分辨率增大和放大的處理,或者能夠抑制處理的負(fù)荷。另外,能夠抑制將圖像傳送至顯示單元的傳送速度。如果用于生成非圖像區(qū)的處理以及非圖像區(qū)被簡化,則能夠容易地抑制負(fù)荷。因此,可以抑制與圖像的顯示有關(guān)的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。
附圖說明
[圖1]圖1是示出在第一實施方式中的頭戴式顯示裝置的外部配置的示意圖。
[圖2]圖2是示出頭戴式顯示裝置的功能配置的框圖。
[圖3]圖3是用于說明頭戴式顯示裝置的操作的流程圖。
[圖4]圖4(A)至圖4(G)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖5]圖5(A)至圖5(E)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖6]圖6(A)至圖6(E)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖7]圖7(A)至圖7(D)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖8]圖8(A)至圖8(D)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖9]圖9(A)至圖9(D)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖10]圖10是用于說明頭戴式顯示裝置的操作的流程圖。
[圖11]圖11(A)至圖11(F)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖12]圖12是用于說明頭戴式顯示裝置的操作的流程圖。
[圖13]圖13(A)至圖13(C)是示出通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖14]圖14(A)至圖14(D)是頭戴式顯示裝置的渲染操作的示意圖。
[圖15]圖15是示出在第二實施方式中頭戴式顯示裝置的功能配置的框圖。
[圖16]圖16(A)和圖16(B)是示出圖像顯示單元的主要部件配置的圖。
[圖17]圖17是用于說明頭戴式顯示裝置的操作的流程圖。
[圖18]圖18(A)至圖18(G)是示出通過頭戴式顯示裝置顯示的圖像與視線之間的對應(yīng)關(guān)系以及通過頭戴式顯示裝置顯示的圖像的示例的示意圖。
[圖19]圖19是用于說明頭戴式顯示裝置的操作的流程圖。
[圖20]圖20是示出在第三實施方式中的頭戴式顯示裝置的功能配置的框圖。
[圖21]圖21(A)至圖21(D)是頭戴式顯示裝置的顯示系統(tǒng)的示意圖。
[圖22]圖22(A)至圖22(E)是示出通過頭戴式顯示裝置顯示的圖像和頭戴式顯示裝置的顯示操作的示例的示意圖。
[圖23]圖23(A)至圖23(C)是示出通過頭戴式顯示裝置顯示的圖像和頭戴式顯示裝置的顯示操作的示例的示意圖。
[圖24]圖24是用于說明頭戴式顯示裝置的操作的流程圖。
具體實施方式
第一實施方式
下面將參照附圖描述應(yīng)用本發(fā)明的第一實施方式。
圖1是示出頭戴式顯示裝置100的外部配置的示意圖。頭戴式顯示裝置100是安裝在頭部上的顯示裝置并且也被稱為頭戴式顯示器(HMD)。在這個實施方式中的頭戴式顯示裝置100是光透射類型的頭戴式顯示裝置,用戶可以用該裝置視覺地識別虛擬圖像并且同時直接地視覺地識別外部場景。注意的是,在這個說明書中,為了方便用頭戴式顯示裝置100被用戶視覺地識別的虛擬圖像也被稱為“顯示圖像”。發(fā)射基于圖像數(shù)據(jù)生成的圖像光也被稱為“顯示一圖像”。
頭戴式顯示裝置100包括圖像顯示單元20(顯示單元)和控制圖像顯示單元20的控制裝置(控制器)10,圖像顯示單元20使得用戶能夠在圖像顯示單元20戴在用戶的頭上的狀態(tài)下視覺地識別虛擬圖像。
圖像顯示單元20是戴在用戶的頭上的可穿戴主體。在這個實施方式中,圖像顯示單元20具有眼鏡形狀。圖像顯示單元20包括右保持單元21、右顯示驅(qū)動單元22、左保持單元23、左顯示驅(qū)動單元24、右光學(xué)圖像顯示單元26、左光學(xué)圖像顯示單元28、相機61和麥克風(fēng)63。右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28分別設(shè)置為在用戶佩戴圖像顯示單元20時位于用戶的右眼和左眼的前方。右光學(xué)圖像顯示單元26的一端和左光學(xué)圖像顯示單元28的一端在當(dāng)用戶佩戴圖像顯示單元20時在用戶前額的中間部分所對應(yīng)的位置彼此連接。
右保持單元21是設(shè)置為從端部ER向?qū)?yīng)于當(dāng)用戶佩戴圖像顯示單元20時用戶的顳區(qū)對應(yīng)的位置延伸的構(gòu)件,端部ER是右光學(xué)圖像顯示單元26的另一端。類似地,左保持單元23是設(shè)置為從端部EL向?qū)?yīng)于當(dāng)用戶佩戴圖像顯示單元20時用戶的顳區(qū)對應(yīng)的位置延伸的構(gòu)件,端部EL是左光學(xué)圖像顯示單元28的另一端。右保持單元21和左保持單元23使圖像顯示單元20像眼鏡腿一樣保持在用戶的頭部上。
右顯示驅(qū)動單元22和左顯示驅(qū)動單元24設(shè)置在當(dāng)用戶佩戴圖像顯示單元20時用戶的頭部相對的側(cè)上。注意的是,在下面的描述中,右保持單元21和左保持單元23也簡單地統(tǒng)稱為“保持單元”。右顯示驅(qū)動單元22和左顯示驅(qū)動單元24也簡單地統(tǒng)稱為“顯示驅(qū)動單元”。右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28也簡單地統(tǒng)稱為“光學(xué)圖像顯示單元”。
顯示驅(qū)動單元22和24包括液晶顯示器241和242(下文中也被稱為“LCD241和242”)和投影光學(xué)系統(tǒng)251和252(見圖2)。下面描述顯示驅(qū)動單元22和24的配置的細(xì)節(jié)。起光學(xué)構(gòu)件作用的光學(xué)圖像顯示單元26和28包括導(dǎo)光板261和262(見圖2)。調(diào)光板(附圖中未示出)可以設(shè)置在右光學(xué)圖像顯示單元26和28的前表面?zhèn)壬?。?dǎo)光板261和262由透光樹脂等形成,并且將從顯示驅(qū)動單元22和24輸出的圖像光引導(dǎo)至用戶的眼睛。調(diào)光板是薄板狀光學(xué)元件并且設(shè)置為覆蓋圖像顯示單元20的前側(cè),其是與用戶眼睛的一側(cè)相對的側(cè)??梢允褂弥T如光透射率幾乎為0的調(diào)光板、幾乎透明的調(diào)光板、衰減光量并且透射光的調(diào)光板、以及衰減或者反射具有特定波長的光的調(diào)光板的各種調(diào)光板作為調(diào)光板。通過適當(dāng)?shù)剡x擇調(diào)光板的光學(xué)特性(光透射率等),可以調(diào)整從外部入射到右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28上的光量并且調(diào)整虛擬圖像的視覺識別的容易性。在這個實施方式中,具有足夠的光透射率的調(diào)光板用于使得佩戴圖像顯示單元20的用戶能夠視覺地識別外部的場景。調(diào)光板對保護(hù)導(dǎo)光板261和262并且抑制對右導(dǎo)光板261和左導(dǎo)光板262的損壞、塵埃的吸附等是有用的。
調(diào)光板可以可拆卸地附接至右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28。多種調(diào)光板可以被替代或安裝??梢允÷哉{(diào)光板。
相機61設(shè)置在端部ER處,端部ER是右光學(xué)圖像顯示單元26的另一端。相機61采集外部場景的圖像并且獲取外部場景圖像,所述外部場景是沿著用戶眼睛一側(cè)的相反一側(cè)的方向上的外部場景。
圖像采集方向,即相機61的視角是采集在圖像顯示單元20的前側(cè)方向中的圖像的方向。換言之,相機61的視角是在佩戴圖像顯示單元20的狀態(tài)下用戶視野的至少一部分的外部場景的圖像被采集的方向。相機61的視角的寬度可以被設(shè)置為合適。然而,相機61的圖像采集范圍優(yōu)選地是包括通過右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28被用戶視覺地識別的外部世界的范圍。另外,相機61的圖像采集范圍更優(yōu)選地設(shè)置為使得用戶的整個視野的圖像可以通過調(diào)光板來采集。
圖像顯示單元20還包括用于將圖像顯示單元20連接至控制裝置10的連接單元40。連接單元40包括連接至控制裝置10的主體線48、右線42、左線44以及耦接構(gòu)件46。右線42和左線44是從主體線48分支的兩根線。右線42沿著右保持單元21的延伸方向從遠(yuǎn)端部AP插入到右保持單元21的殼中,并且連接至右顯示驅(qū)動單元22。類似地,左線44沿著左保持單元23的延伸方向從遠(yuǎn)端部AP插入到左保持單元23的殼中,并且連接至左顯示驅(qū)動單元24。
耦接構(gòu)件46設(shè)置在主體線48與右線42和左線44的分支點處并且包括用于連接耳機插頭30的插孔。右耳機32和左耳機34從耳機插頭30延伸。麥克風(fēng)63連接至耳機插頭30的附近。從耳機插頭30至麥克風(fēng)63的線被集中為一根線。線從麥克風(fēng)63分支并且分別被連接至右耳機32和左耳機34。
注意的是,右線42和左線44也可以被集中為一根線。具體地,在右線42的一側(cè)上的引線可以通過圖像顯示單元20的主體的內(nèi)部引出到左保持單元23側(cè)。所述引線和在左線44內(nèi)部的引線可以被涂覆有樹脂并且被集中為一根線。
圖像顯示單元20和控制裝置10經(jīng)由連接單元40執(zhí)行各種信號的傳輸。彼此適配的連接器(附圖中未示出)分別設(shè)置在在主體線48中和在控制裝置10中耦接構(gòu)件46的相對側(cè)的端部處??刂蒲b置10和圖像顯示單元20根據(jù)主體線48的連接器與控制裝置10的連接器的適配和不適配而連接和斷開。例如,可以采用金屬電纜或光纖作為右線42、左線44和主體線48。
控制裝置10是用于控制頭戴式顯示裝置100的裝置??刂蒲b置10包括確定鍵11、發(fā)光單元12、顯示切換鍵13、亮度切換鍵15、方向鍵16、菜單鍵17以及包括電源開關(guān)18的開關(guān)。控制裝置10包括用戶利用手指可觸摸操作的觸摸板14。
確定鍵11檢測按壓操作并且輸出用于確定在控制裝置10中的操作的內(nèi)容的信號。發(fā)光單元12用其發(fā)光狀態(tài)表示頭戴式顯示裝置100的操作狀態(tài)。作為頭戴式顯示裝置100的工作狀態(tài),存在著例如電源的開/關(guān)。例如使用LED(發(fā)光二極管)作為發(fā)光單元12。顯示切換鍵13檢測按壓操作,并且輸出例如用于切換內(nèi)容運動圖像的顯示模式為3D和2D的信號。
觸摸板14檢測用戶的手指在觸摸板14的操作表面上的操作,并且輸出與檢測的內(nèi)容對應(yīng)的信號。可以采用諸如靜電類型、按壓類型和光學(xué)類型的各種觸摸板作為觸摸板14。亮度切換鍵15檢測按壓操作,并且輸出用于增加或減小圖像顯示單元20的亮度的信號。方向鍵16檢測在與上、下、左和右方向?qū)?yīng)的按鍵上的按壓操作,并且輸出與所檢測的內(nèi)容對應(yīng)的信號。電源開關(guān)18檢測開關(guān)的滑動操作,以切換頭戴式顯示裝置100的電源狀態(tài)。
圖2是頭戴式顯示裝置100的功能框圖。在圖2中,還示出了連接至頭戴式顯示裝置100的圖像供給裝置OA。頭戴式顯示裝置100和圖像供給裝置OA可以配置顯示系統(tǒng)。
如圖2所示,控制裝置10包括控制單元140、操作單元135、輸入信息獲取單元110(接收單元)、存儲單元120、電源130、接口180以及發(fā)送單元(Tx)51和發(fā)送單元(Tx)52。
操作單元135檢測用戶的操作。操作單元135包括諸如在圖1中示出的確定鍵11、顯示切換鍵13、觸摸板14、亮度切換鍵15、方向鍵16、菜單鍵17和電源開關(guān)18的單元。
輸入信息獲取單元110獲取與用戶的操作輸入對應(yīng)的信號。存在著與諸如對觸摸板14、方向鍵16和電源開關(guān)18的操作輸入的操作輸入對應(yīng)的信號。
電源130向頭戴式顯示裝置100的單元提供電力??梢允褂美缍坞姵刈鳛殡娫?30。
在存儲單元120中存儲有各種計算機程序。存儲單元120由ROM、RAM等配置。
控制單元140包括CPU、ROM和RAM并且執(zhí)行存儲在ROM或存儲單元120中的程序,從而控制頭戴式顯示裝置100的單元??刂茊卧?40執(zhí)行程序從而起操作系統(tǒng)(OS)150的作用,其是頭戴式顯示裝置100的基本控制系統(tǒng)??刂茊卧?40執(zhí)行程序以起圖像處理單元160、分割控制單元164、聲音處理單元170和顯示控制單元190的作用。這些功能可以是操作系統(tǒng)150的一部分或者可以是在操作系統(tǒng)150上操作的應(yīng)用程序的功能。
圖像處理單元160獲取包括在內(nèi)容中的圖像信號。圖像處理單元160從所獲取的圖像信號中分離諸如垂直同步信號VSync和水平同步信號HSync的同步信號。圖像處理單元160根據(jù)所分離的垂直同步信號VSync和水平同步信號HSync的周期利用PLL(鎖相環(huán))電路等(附圖中未示出)生成時鐘信號PCLK。圖像處理單元160利用A/D轉(zhuǎn)換電路等(附圖中未示出)將模擬圖像信號轉(zhuǎn)換成數(shù)字圖像信號,同步信號是從模擬圖像信號中分離出的。之后,在轉(zhuǎn)換之后,圖像處理單元160將數(shù)字圖像信號以一幀一幀的形式存儲在存儲單元120中的DRAM中作為目標(biāo)圖像的圖像數(shù)據(jù)(在附圖中,Data)。圖像數(shù)據(jù)是例如RGB數(shù)據(jù)。存儲單元120的DRAM起臨時存儲一個幀的圖像數(shù)據(jù)的幀存儲器或幀緩沖器的作用。
注意的是,圖像處理單元160可以根據(jù)需要在圖像數(shù)據(jù)上執(zhí)行諸如分辨率轉(zhuǎn)換處理、用于調(diào)整亮度和色度的各種色調(diào)校正處理、以及梯形失真校正處理的圖像處理。
圖像處理單元160發(fā)送由圖像處理單元160生成的時鐘信號PCLK、垂直同步信號VSync和水平同步信號HSync并且分別經(jīng)由發(fā)送單元51和52發(fā)送存儲在存儲單元120的DRAM中的圖像數(shù)據(jù)Data。注意的是,經(jīng)由發(fā)送單元51發(fā)送的圖像數(shù)據(jù)Data也被稱為“用于右眼的圖像數(shù)據(jù)”。經(jīng)由發(fā)送單元52發(fā)送的圖像數(shù)據(jù)Data也被稱為“用于左眼的圖像數(shù)據(jù)”。發(fā)送單元51和52起用于在控制裝置10和圖像顯示單元20之間串行傳輸?shù)氖瞻l(fā)器。
顯示控制單元190生成用于控制右顯示驅(qū)動單元22和左顯示驅(qū)動單元24的控制信號。具體地,顯示控制單元190利用控制信號通過右LCD控制單元211單獨地控制右LCD241的驅(qū)動的開/關(guān),通過右背光控制單元201單獨地控制右背光221的驅(qū)動的開/關(guān),通過左LCD控制單元212單獨地控制左LCD242的驅(qū)動的開/關(guān),通過左背光控制單元202單獨地控制左背光222的驅(qū)動的開/關(guān)等。因此,顯示控制單元190通過右顯示驅(qū)動單元22和左顯示驅(qū)動單元24分別地控制圖像光的生成和發(fā)射。例如,顯示控制單元190使得右顯示驅(qū)動單元22和左顯示驅(qū)動單元24兩者生成圖像光,使得僅右顯示驅(qū)動單元22和左顯示驅(qū)動單元24中之一生成圖像光,或者使得右顯示驅(qū)動單元22和左顯示驅(qū)動單元24兩者均不生成圖像光。
顯示控制單元190分別經(jīng)由發(fā)送單元51和52發(fā)送用于右LCD控制單元211和左LCD控制單元212的控制信號。顯示控制單元190分別發(fā)送用于右背光控制單元201和左背光控制單元202的控制信號。
頭戴式顯示裝置100利用圖像處理單元160和顯示控制單元190的功能使得圖像顯示單元20顯示經(jīng)由以下描述的接口180或通信單元117輸入的內(nèi)容的圖像。當(dāng)輸入內(nèi)容是2D(平面)的靜止圖像或運動圖像時,右顯示驅(qū)動單元22和左顯示驅(qū)動單元24顯示相同的圖像。圖像處理單元160發(fā)送存儲在存儲單元120中的DRAM中的圖像數(shù)據(jù)作為來自發(fā)送單元51的用于右眼的圖像數(shù)據(jù),并且發(fā)送所述圖像數(shù)據(jù)作為來自發(fā)送單元52的用于左眼的圖像數(shù)據(jù)。也就是說,圖像處理單元160處理用于右眼和左眼的兩種圖像數(shù)據(jù)。當(dāng)圖像數(shù)據(jù)具有高分辨率或者幀速率高時,在圖像處理單元160上的處理負(fù)荷大。當(dāng)處理負(fù)荷過大時,存在著對配置控制單元140的硬件的熱值增加、功耗增加、發(fā)生引起不必要的輻射的諧波等方面的擔(dān)憂。因此,執(zhí)行適合于處理負(fù)荷增加的熱輻射測量、確保充足的電力供給能力、加強硬件性能等。因此,使得由于配置的復(fù)雜化成本增加并且裝置的尺寸增加。
在這個實施方式中的頭戴式顯示裝置100包括分割控制單元164(顯示狀態(tài)控制單元)。頭戴式顯示裝置100利用分割控制單元164的功能執(zhí)行分割的顯示。因此,能夠降低在圖像處理單元160上的處理負(fù)荷。
分割顯示是分割內(nèi)容的圖像并且在右顯示驅(qū)動單元22和左顯示驅(qū)動單元24中分割地顯示圖像的一種方法。在執(zhí)行分割顯示期間,分割控制單元164控制圖像的分割的狀態(tài)以及分割的圖像的顯示位置。圖像處理單元160根據(jù)控制來分割和顯示圖像。圖像處理單元160能夠根據(jù)來自內(nèi)容的圖像的用于生成用于右眼的圖像數(shù)據(jù)和用于左眼的圖像數(shù)據(jù)的處理抑制由于重復(fù)而增加圖像數(shù)據(jù)的數(shù)據(jù)量。因此,能夠降低處理負(fù)荷。以下描述分割顯示的細(xì)節(jié)。
聲音處理單元170獲取包括在內(nèi)容中的聲音信號,放大所獲取的聲音信號,并且將聲音信號提供到在右耳機32中的揚聲器(附圖中未示出)和在左耳機34中的揚聲器(附圖中未示出),右耳機32和左耳機34連接至耦接構(gòu)件46。注意的是,例如,在采用杜比(注冊商標(biāo))系統(tǒng)時,執(zhí)行關(guān)于聲音信號的處理。不同的聲音(其的頻率等變化)分別從右耳機32和左耳機34輸出。聲音處理單元170獲取通過麥克風(fēng)63收集和輸入的聲音,將聲音轉(zhuǎn)換成數(shù)字聲音數(shù)據(jù),并且執(zhí)行與聲音有關(guān)的處理。例如,聲音處理單元170可以執(zhí)行用于從所獲取的聲音提取特性并且對所述特性進(jìn)行建模的揚聲器識別,以單獨地識別多個人的聲音并且指定關(guān)于各個聲音的說話人。
三軸傳感器113、GPS 115和通信單元117連接至控制單元140。三軸傳感器113是具有三個軸的加速度傳感器??刂茊卧?40能夠獲取三軸傳感器113的檢測值,并且檢測控制裝置10的運動和運動的方向。
GPS115包括天線(附圖中未示出),接收GPS(全球定位系統(tǒng))信號并且計算控制裝置10的當(dāng)前位置。GPS 115向控制單元140輸出基于GPS信號計算的當(dāng)前位置和當(dāng)前時間。GPS 115可以包括基于包括在GPS信號中的信息來獲取當(dāng)前時間、并且使得控制裝置10的控制單元140改正被控制單元140鎖定的時間的功能。
通信單元117執(zhí)行符合無線LAN(Wi-Fi(注冊商標(biāo)))和藍(lán)牙(注冊商標(biāo))標(biāo)準(zhǔn)的無線數(shù)據(jù)通信。
接口180是用于將各種圖像供給裝置OA連接至控制裝置10的接口,各種圖像供給裝置OA為內(nèi)容的供給源。通過圖像供給裝置OA提供的內(nèi)容包括靜止圖像或者運動圖像,并且可以包括聲音。圖像供給裝置OA的示例包括個人計算機(PC)、蜂窩電話終端和游戲終端??梢允褂美鏤SB接口、微型USB接口、用于存儲卡的接口等作為接口180。
圖像供給裝置OA還可以通過無線通信線路連接至控制裝置10。在這種情況下,圖像供給裝置OA與通信單元117執(zhí)行無線通信,并且利用諸如Miracast(注冊商標(biāo))的無線通信技術(shù)發(fā)送內(nèi)容的數(shù)據(jù)。
圖像顯示單元20包括右顯示驅(qū)動單元22、左顯示驅(qū)動單元24、起右光學(xué)圖像顯示單元26作用的右導(dǎo)光板261、起左光學(xué)圖像顯示單元28作用的左導(dǎo)光板262、相機61、振動傳感器65以及九軸傳感器66。
振動傳感器65被利用加速度傳感器來配置,并且被設(shè)置在如圖1所示的圖像顯示單元20的內(nèi)部。在圖1所示的示例中,振動傳感器65結(jié)合在右保持單元21中的右光學(xué)圖像顯示單元26的端部ER的附近。當(dāng)用戶執(zhí)行敲擊端部ER的操作(敲擊操作)時,振動傳感器65檢測由于這個操作而產(chǎn)生的振動,并且向控制單元140輸出檢測結(jié)果??刂茊卧?40根據(jù)振動傳感器65的檢測結(jié)果來檢測用戶的敲擊操作。
九軸傳感器66是檢測加速度(三個軸)、角速度(三個軸)和地磁(三個軸)的運動傳感器。因為九軸傳感器66設(shè)置在圖像顯示單元20中,所以當(dāng)圖像顯示單元20戴在用戶的頭上時,九軸傳感器66檢測用戶的頭的運動。例如,控制單元140可以根據(jù)通過九軸傳感器66檢測的用戶的頭的運動,來確定圖像顯示單元20的方向并且估計用戶的視線方向。
右顯示驅(qū)動單元22包括接收單元(Rx)53、起光源作用的右背光(BL)控制單元201和右背光(BL)221、起顯示元件作用的右LCD控制單元211和右LCD241以及右投影光學(xué)系統(tǒng)251。右背光控制單元201和右背光221起光源的作用。右LCD控制單元211和右LCD241起顯示元件的作用。注意的是,右背光控制單元201、右LCD控制單元211、右背光221和右LCD241也被統(tǒng)稱為“圖像光生成單元”。
接收單元53起用于在控制裝置10與圖像顯示單元20之間串行傳輸?shù)慕邮掌鞯淖饔?。右背光控制單?01基于輸入控制信號驅(qū)動右背光221。例如,右背光221是諸如LED或者電致發(fā)光(EL)元件的發(fā)光體。右LCD控制單元211基于時鐘信號PCLK、垂直同步信號VSync、水平同步信號HSync和經(jīng)由接收單元53輸入的用于右眼的圖像數(shù)據(jù)Data1驅(qū)動右LCD241。右LCD241是其上以矩陣形狀設(shè)置有多個像素的透射型液晶面板。
右投影光學(xué)系統(tǒng)251由將從右LCD241發(fā)射的圖像光改變成平行狀態(tài)的光束的準(zhǔn)直透鏡配置。起右光學(xué)圖像顯示單元26作用的右導(dǎo)光板261在沿著預(yù)定的光路反射圖像光的同時將從右投影光學(xué)系統(tǒng)251輸出的圖像光引導(dǎo)至用戶的右眼RE。注意的是,右投影光學(xué)系統(tǒng)251和右導(dǎo)光板261也被統(tǒng)稱為“導(dǎo)光單元”。
左顯示驅(qū)動單元24包括與右顯示驅(qū)動單元22的配置相同的配置。左顯示驅(qū)動單元24包括接收單元(Rx)54、起光源作用的左背光(BL)控制單元202和左背光(BL)222、起顯示元件作用的左LCD控制單元212和左LCD242以及左投影光學(xué)系統(tǒng)252。左背光控制單元202和左背光222起光源的作用。左LCD控制單元212和左LCD242起顯示元件的作用。
注意的是,左背光控制單元202、左LCD控制單元212、左背光222和左LCD242也被統(tǒng)稱為“圖像光生成單元”。左投影光學(xué)系統(tǒng)252通過將從左LCD242發(fā)射的圖像光改變成平行狀態(tài)的光的準(zhǔn)直透鏡配置。起左光學(xué)圖像顯示單元28的作用的左引導(dǎo)板262在沿著預(yù)定的光路反射圖像光的同時將從左投影光學(xué)系統(tǒng)252輸出的圖像光引導(dǎo)至用戶的左眼LE。注意的是,左投影光學(xué)系統(tǒng)252和左導(dǎo)光板262也被統(tǒng)稱為“導(dǎo)光單元”。
左顯示驅(qū)動單元24和左導(dǎo)光板262配置顯示與用戶的左眼對應(yīng)的圖像的第一顯示單元。右顯示驅(qū)動單元22和右導(dǎo)光板261配置顯示與用戶的右眼對應(yīng)的圖像的第二顯示單元。
圖3是用于說明頭戴式顯示裝置100的操作的流程圖。特別是,圖3示出了涉及利用分割控制單元164的功能執(zhí)行的分割顯示的操作。
當(dāng)通過接口180或者通信單元117輸入內(nèi)容并且通過操作單元135的操作執(zhí)行內(nèi)容的顯示時,分割控制單元164控制圖像處理單元160和顯示控制單元190并且開始分割顯示(步驟S11)。
預(yù)先設(shè)置是執(zhí)行正常圖像的顯示還是執(zhí)行分割顯示。分割控制單元164可以確定諸如寬高比、顯示尺寸或顯示分辨率以及與從圖像供給裝置OA輸入的內(nèi)容的圖像有關(guān)的顯示刷新率的屬性,并且根據(jù)確定的屬性確定是否執(zhí)行分割顯示。分割控制單元164可以自動地執(zhí)行與所確定的屬性相關(guān)聯(lián)的確定,或者當(dāng)屬性與用戶設(shè)定的條件對應(yīng)時執(zhí)行分割顯示。另外,分割控制單元164可以使得用戶執(zhí)行用于選擇是否執(zhí)行分割顯示的輸入操作。
圖像處理單元160獲取包括在內(nèi)容中的圖像信號,并且將配置內(nèi)容圖像的數(shù)字圖像數(shù)據(jù)作為目標(biāo)圖像的圖像數(shù)據(jù)(在附圖中,Data)一幀一幀地存儲在單元120中的DRAM中(步驟S12)。
隨后,分割控制單元164參照例如存儲在存儲單元120中的設(shè)置數(shù)據(jù)123獲取與圖像的分割有關(guān)的設(shè)置(步驟S13)。設(shè)置數(shù)據(jù)123是設(shè)置與通過圖像處理單元160獲取的內(nèi)容的圖像數(shù)據(jù)的分割模式有關(guān)的數(shù)據(jù)。存在諸如縱向(垂直方向)一半、橫向(水平方向)一半、橫向線單元、縱向線單元以及點單元的各種模式作為圖像數(shù)據(jù)的分割模式??梢栽O(shè)置分割的數(shù)據(jù)的交疊部分??梢蕴砑訕?biāo)記。下面參照在圖4(A)至圖9(D)中示出的具體示例描述分割的模式。注意的是,標(biāo)記的示例包括諸如條形碼的一維碼、諸如QR碼(注冊商標(biāo))的二維碼、以及其他的機器可識別的標(biāo)記。標(biāo)記可以包括信息或者可以不包括信息。
分割控制單元164使得圖像處理單元160分割存儲在存儲單元120的DRAM中的圖像數(shù)據(jù)(步驟S14)。另外,分割控制單元164使得圖像處理單元160生成包括分割之后的圖像數(shù)據(jù)的用于左眼的圖像數(shù)據(jù)(第一圖像)和用于右眼的圖像數(shù)據(jù)(第二圖像)(步驟S15)。
之后,圖像處理單元160經(jīng)由發(fā)送單元51向右顯示驅(qū)動單元22發(fā)送用于右眼的圖像數(shù)據(jù),經(jīng)由發(fā)送單元52向左顯示驅(qū)動單元24發(fā)送用于左眼的圖像數(shù)據(jù),并且使得右顯示驅(qū)動單元22和左顯示驅(qū)動單元24顯示用于右眼的圖像和用于左眼的圖像(步驟S16)。
控制單元140辨別是否存在與顯示的結(jié)束有關(guān)的指令(步驟S17)。當(dāng)顯示持續(xù)時(在步驟S17中為“否”),控制單元140返回至步驟S12。當(dāng)通過操作單元135指示顯示結(jié)束時(步驟S17中為“是”),控制單元140結(jié)束處理。
圖4(A)至圖9(D)是示出分割顯示的具體示例的圖。
圖4(A)至圖4(G)是示出圖像沿著縱向方向(上下方向、高度方向以及垂直方向)在預(yù)定的位置處被分割的圖。圖4(A)示出了在分割之前內(nèi)容的圖像(分割之前的圖像)350。圖4(B)示出了分割的圖像之一的圖像(分割的圖像)351。圖4(C)示出了分割的圖像中之另一的圖像(分割的圖像)353。圖4(D)示出了基于分割的圖像351的用于左眼的圖像352。圖4(E)示出了基于分割的圖像353的用于右眼的圖像354。
在圖4(A)至圖4(G)示出的示例中,圖像處理單元160根據(jù)分割控制單元164的控制,沿著上下方向?qū)⒎指钪暗膱D像350(顯示目標(biāo)圖像)分成兩個。分割的位置是分割之前的圖像350的沿著上下方向的中心。分割之前的圖像350是等分的。分割的圖像351和分割的圖像353沿著縱向方向的尺寸相等。分割的圖像351和353沿著橫向方向的尺寸與分割之前的圖像350的橫向方向的尺寸相等。
分割的圖像351對應(yīng)于分割之前的圖像350的上半部分。分割的圖像351沿著縱向方向的分辨率(像素的數(shù)目)是分割之前的圖像350的分辨率的一半。因此,圖像處理單元160基于分割的圖像351輸出用于左眼的圖像
(第一圖像)352。用于左眼的圖像352由圖像區(qū)352A和偽圖像區(qū)(pseudo image region)352B構(gòu)成。圖像區(qū)352A是分割的圖像351。偽圖像區(qū)352B是為了調(diào)整偽圖像區(qū)352B的沿著縱向方向的分辨率而由圖像處理單元160添加的假數(shù)據(jù)(dummy data)。
圖像處理單元160基于分割的圖像353輸出用于右眼的圖像(第二圖像)354。用于右眼的圖像354由圖像區(qū)354A和偽圖像區(qū)354B構(gòu)成。圖像區(qū)354A是分割的圖像353。偽圖像區(qū)354B是為了調(diào)整沿著縱向方向的分辨率而由圖像處理單元160添加的假數(shù)據(jù)。
在這個示例中,用于左眼的圖像352輸出至左顯示驅(qū)動單元24并且通過左光學(xué)圖像顯示單元28顯示。用于右眼的圖像354輸出至右顯示驅(qū)動單元22并且通過右光學(xué)圖像顯示單元26顯示。對于用戶,用于左眼的圖像光352入射在左眼上,并且用于右眼的圖像光354入射在右眼上。因此,左眼看見用于左眼的圖像352,并且右眼看見用于右眼的圖像354。根據(jù)經(jīng)驗需要澄清的是,人腦具有結(jié)合在左眼和右眼中看到的圖像的功能。用戶將在這個實施方式中顯示的用于左眼的圖像352與用于右眼的圖像354結(jié)合。因此,用戶識別結(jié)合的分割之前的圖像350。
特別是,用于左眼的圖像352的偽圖像區(qū)352B的尺寸和像素數(shù)目與用于右眼的圖像354的圖像區(qū)354A的尺寸和像素的數(shù)目相等。用于右眼的圖像354的偽圖像區(qū)354B的尺寸和像素數(shù)目與用于左眼的圖像352的圖像區(qū)352A的尺寸和像素數(shù)目相同。如此,偽圖像區(qū)352B對應(yīng)于圖像區(qū)354A。偽圖像區(qū)354B對應(yīng)于圖像區(qū)352A。也就是說,在用戶的一只眼睛看到分割之前的圖像350的一部分的位置處,在另一只眼睛中看到假數(shù)據(jù)。因此,當(dāng)借助用戶的大腦功能結(jié)合圖像時,圖像和假數(shù)據(jù)疊加。因此,圖像自然地疊加。用戶能夠合理地識別分割之前的圖像350。
分割的圖像351(其是分割之前的圖像350的上半部分)是用于左眼的圖像352的上半部分的圖像區(qū)352A。分割的圖像353(其是分割之前的圖像350的下半部分)是用于右眼的圖像354的下半部分的圖像區(qū)354A。也就是說,圖像區(qū)352A和354A被設(shè)置在與以下位置相同的位置處:與其相對應(yīng)的分割的圖像在分割之前的圖像350中所占據(jù)的位置。因此,用戶能夠更加自然地疊加圖像并且識別分割之前的圖像350。
期望將在左光學(xué)圖像顯示單元28的可顯示區(qū)中的用于左眼的圖像352的顯示位置和在右光學(xué)圖像顯示單元26的可顯示區(qū)中的用于右眼的圖像354的顯示位置設(shè)置在相同的位置。另外,更加期望在左光學(xué)圖像顯示單元28的可顯示區(qū)中的用于左眼的圖像352的顯示尺寸和在右光學(xué)圖像顯示單元26的可顯示區(qū)中的用于右眼的圖像354的顯示尺寸是相同的尺寸。在這種情況下,在用戶的左眼中看到的用于左眼的圖像352的位置與在用戶的右眼中看到的用于右眼的圖像354的位置彼此重疊。因此,有利的是,用戶可以容易地結(jié)合左眼和右眼的視野并且識別分割之前的圖像350??娠@示區(qū)指的是右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28的可以顯示圖像的區(qū)域。
根據(jù)本發(fā)明人的研究,如以下所描述的,已經(jīng)說明了用于左眼的圖像352和用于右眼的圖像354的顯示尺寸對用戶的可視性的影響。
當(dāng)顯示尺寸大時,看見圖像區(qū)352A和354A。另外,偽圖像區(qū)352B和354B清楚地被視覺地識別。因此,因為偽圖像區(qū)352B和354B是顯眼的,圖像區(qū)352A和354A往往被視為模糊。已經(jīng)發(fā)現(xiàn)因為顯示尺寸較大,所以用于左眼的圖像352和用于右眼的圖像354更加清晰地被看到。這被認(rèn)為是因為用于左眼的圖像352和用于右眼的圖像354的光量大。
另一方面,當(dāng)顯示尺寸小時,偽圖像區(qū)352B和354B不顯眼。圖像區(qū)352A和354A往往被清晰地看見。分割之前的圖像350可以在圖像區(qū)352A和354A具有小的偏移并且正確疊加的狀態(tài)下被視覺地識別。然而,因為顯示尺寸較小所以識別的圖像較暗。
因此,期望用于左眼的圖像352和用于右眼的圖像354的顯示尺寸較小。例如,期望顯示尺寸沿著相對于右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28的可顯示區(qū)的縱向方向和橫向方向兩者是一半的尺寸或者更小。
在這個實施方式中,通過圖像處理單元160處理的圖像數(shù)據(jù)是分割之前的圖像350和配置偽圖像區(qū)352B和354B的假數(shù)據(jù)。偽圖像區(qū)352B和354B是例如表示黑色的(R,G,B)=(0,0,0)的數(shù)據(jù)。偽圖像區(qū)352B和354B可以是表示為純白的數(shù)據(jù)(在RGB 24位數(shù)據(jù)為(255,255,255)的情況)。能夠容易地生成和壓縮通過連續(xù)的黑色和白色像素而配置的圖像數(shù)據(jù)。因此,在這個實施方式中,與當(dāng)向發(fā)送單元51和52中的每一個輸出分割之前的圖像350時相比,可以減少或壓縮被圖像處理單元160處理的實質(zhì)的數(shù)據(jù)量??梢越档驮趫D像處理單元160上的處理負(fù)荷。
如上所述,圖像顯示單元20是透射式顯示裝置。圖像光可以通過透射外部光的右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28而入射在用戶的眼睛上。當(dāng)偽圖像區(qū)352B和354B被上色為黑色時,在與偽圖像區(qū)352B和354B對應(yīng)的部分中缺乏圖像光。因此,分割的圖像351的圖像光和分割的圖像353的圖像光入射在用戶的眼睛上。另一方面,假數(shù)據(jù)的圖像光不入射在眼睛上。因此,入射在用戶的眼睛上的圖像光的光量基本上等于分割之前的圖像350的一個畫面的光量。因此,用戶能夠容易地識別分割之前的圖像350。
注意的是,在上述示例中,與當(dāng)分割之前的圖像350通過右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28兩者顯示時相比,圖像光的光量基本為一半,并且分割之前的圖像350看起來是深色的。與執(zhí)行正常顯示時相比,當(dāng)圖像處理單元160根據(jù)分割控制單元164的控制而執(zhí)行分割顯示時,可以增加通過右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28發(fā)射的圖像光的光量,作為處理這個問題的措施。具體地,存在著增加右背光221和左背光222的光量的方法,以及用圖像處理單元160執(zhí)行亮度放大處理以增加用于左眼的圖像352和用于右眼的圖像354的亮度的方法??商孢x地,當(dāng)右顯示驅(qū)動單元22和左顯示驅(qū)動單元24包括用于縮窄(narrowing)圖像光的隔膜機制(消光機制)時,可以通過隔膜機制的功能增加圖像光。
另一方面,當(dāng)偽圖像區(qū)352B和354B被上色為白色時,具有最大亮度的像素的圖像光入射在與偽圖像區(qū)352B和354B對應(yīng)的部分上。分割的圖像351的圖像光和分割的圖像353的圖像光入射在用戶的眼睛上。另外,與假數(shù)據(jù)對應(yīng)的白色的圖像光也入射在眼睛上。在這種情況下,因為假數(shù)據(jù)的顏色是無色的,所以入射在用戶眼睛上的圖像光的光量不阻礙用戶將分割的圖像351和353結(jié)合并且識別分割之前的圖像350。另外,當(dāng)偽圖像區(qū)352B和354B的圖像光入射在用戶的眼睛上時,存在著利用該圖像光,眼睛不太容易受外部光的影響的優(yōu)點。也就是說,因為圖像光入射在眼睛上,所以在偽圖像區(qū)352B和354B的顯示位置處不太容易看到外部場景。因此,例如,當(dāng)外部光強時,可以預(yù)料的是分割之前的圖像350的可視性被提高。
在頭戴式顯示裝置100中預(yù)先設(shè)置分割之前的圖像350被分割的位置、配置偽圖像區(qū)352B和354B的假數(shù)據(jù)的像素值等。設(shè)置內(nèi)容存儲為設(shè)置數(shù)據(jù)123。
注意的是,在圖4(B)至圖4(E)中,示出了以下示例,其中分割之前的圖像350沿著縱向方向在中心處被分割,基于在上半部分的圖像輸出對應(yīng)于左眼的用于左眼的圖像352,并且輸出對應(yīng)于下半部分和右眼的用于右眼的圖像354。分割之前的圖像350被分割的位置不限于分割之前的圖像350的中心并且可以是任意位置。在這種情況下,偽圖像區(qū)352B和354B僅需要對應(yīng)于圖像區(qū)352A和354A的像素數(shù)目與分割之前的圖像350的像素數(shù)目之間的差異。也就是說,如果偽圖像區(qū)352B對應(yīng)于圖像區(qū)354A并且偽圖像區(qū)354B對應(yīng)于圖像區(qū)352A,則可以獲得與參照圖4(B)至圖4(E)描述的示例中的效果相同的效果。
圖像處理單元160可以真實地生成與分割的圖像351和353對應(yīng)的圖像數(shù)據(jù),并且將圖像數(shù)據(jù)存儲在存儲單元120中,或者可以在當(dāng)從存儲單元120讀出圖像數(shù)據(jù)時執(zhí)行的數(shù)據(jù)處理中實現(xiàn)圖像的分割,并且輸出至發(fā)送單元51和52。
例如,圖像處理單元160從存儲單元120的DRAM中讀出分割之前的圖像350,將上半部分寫入在DRAM上作為分割的圖像351,并且將下半部分寫入在DRAM上作為分割的圖像353。隨后,圖像處理單元160向在DRAM上的分割的圖像351添加配置偽圖像區(qū)352B的假數(shù)據(jù),并且生成用于左眼的圖像352。類似地,圖像處理單元160向在DRAM上的分割的圖像353添加假數(shù)據(jù)并且生成用于右眼的圖像354。在這種情況下,用于左眼的圖像352和用于右眼的圖像354的圖像數(shù)據(jù)被存儲在DRAM上。圖像處理單元160從DRAM讀取用于左眼的圖像352和用于右眼的圖像354,并且用發(fā)送單元51和52發(fā)送用于左眼的圖像352和用于右眼的圖像354。
例如,圖像處理單元160可以配置成基于在DRAM上的分割之前的圖像350,當(dāng)從發(fā)送單元51和52輸出圖像數(shù)據(jù)時執(zhí)行圖像的分割和假數(shù)據(jù)的添加。在這種情況下,圖像處理單元160以預(yù)定字節(jié)或預(yù)定數(shù)目的線(line)為單位,從分割之前的圖像350的上端位置讀取數(shù)據(jù),并且將數(shù)據(jù)輸出至發(fā)送單元52。在讀取分割之前的圖像350的上半部分的數(shù)據(jù)之后,圖像處理單元160向發(fā)送單元52輸出假數(shù)據(jù)。圖像處理單元160向發(fā)送單元52輸出與偽圖像區(qū)352B的線數(shù)目對應(yīng)的一定量的假數(shù)據(jù)。在這個處理中由圖像處理單元160向發(fā)送單元51輸出的數(shù)據(jù)與在圖4(D)中示出的用于左眼的圖像352的數(shù)據(jù)相同。
圖像處理單元160向發(fā)送單元51輸出與偽圖像區(qū)354B對應(yīng)的一定數(shù)量的假數(shù)據(jù)。在輸出假數(shù)據(jù)之后,圖像處理單元160從分割之前的圖像350的中心位置讀取下半部分的數(shù)據(jù),并且將所述數(shù)據(jù)輸出至發(fā)送單元51。在這個過程中由圖像處理單元160向發(fā)送單元51輸出的數(shù)據(jù)與在圖4(E)中示出的用于右眼的圖像354的數(shù)據(jù)相同。
如此,即使用于左眼的圖像352和用于右眼的圖像354的圖像數(shù)據(jù)沒有實際地存儲在DRAM上,也可以實現(xiàn)如下操作:對分割之前的圖像350進(jìn)行分割,并且基于分割的圖像351和353輸出用于左眼的圖像352和用于右眼的圖像354。
另外,當(dāng)圖像處理單元160包括并行地處理向發(fā)送單元51輸出的數(shù)據(jù)和向發(fā)送單元52輸出的數(shù)據(jù)并且輸出所述數(shù)據(jù)的處理器時,圖像處理單元160可以并行地執(zhí)行對與分割之前的圖像350的上半部分相關(guān)的處理以及對與分割之前的圖像350的下半部分相關(guān)的處理。在這種情況下,在各種處理中從DRAM讀取的數(shù)據(jù)是不同的數(shù)據(jù)。因此,針對DRAM上的相同地址的處理不會沖突或競爭。對于競爭調(diào)整的處理的必要性低。因此,與當(dāng)向發(fā)送單元51和發(fā)送單元52中的每一個輸出整個分割之前的圖像350時相比,可以降低整個控制單元140的處理負(fù)荷。
分割控制單元164可以控制圖像處理單元160以執(zhí)行使右顯示驅(qū)動單元22和左顯示驅(qū)動單元24的圖像的顯示定時偏移的處理。具體地,分割控制單元164調(diào)整用于輸出來自發(fā)送單元51和52的用于左眼的圖像352和用于右眼的圖像354的定時、垂直同步信號VSync和水平同步信號HSync等。
在這種情況下,可以抑制由圖像處理單元160輸出的每單位時間的圖像數(shù)據(jù)量并且還降低處理的負(fù)荷。左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26顯示圖像時的定時不同。然而,當(dāng)所顯示的圖像的幀頻率不過低時(例如,幾幀至幾十幀/秒),疊加用戶感知到的后像。因此,用戶能夠疊加右光學(xué)圖像顯示單元26的顯示圖像和左光學(xué)圖像顯示單元28的顯示圖像,并且識別分割之前的圖像350。
另外,在圖4(A)至圖4(E)示出的示例中,分割之前的圖像350的上半部分被設(shè)置為與用戶的左眼對應(yīng)的用于左眼的圖像352,并且分割之前的圖像350的下半部分被設(shè)置為與用戶的右眼對應(yīng)的用于右眼的圖像354。然而,這僅是示例。用于左眼的圖像352可以是包括分割之前的圖像350的下半部分的圖像。在這種情況下,用于右眼的圖像354僅需要包括分割之前的圖像350的上半部分的圖像。也就是說,用于左眼的圖像352和用于右眼的圖像354僅需要是以下圖像:在所述圖像中,用于左眼的圖像352和用于右眼的圖像354中的一個的偽圖像區(qū)與用于左眼的圖像352和用于右眼的圖像354中的另一個的圖像區(qū)相對應(yīng)的關(guān)系被保持,并且當(dāng)結(jié)合圖像區(qū)352A和354A時整個分割之前的圖像350被視覺地識別。
圖4(F)示出了在圖像內(nèi)添加有疊加位置標(biāo)記M的用于左眼355的圖像。圖4(G)示出了與用于左眼的圖像355對應(yīng)的用于右眼的圖像356。
用于左眼的圖像355和用于右眼的圖像356兩者包括疊加位置標(biāo)記M(標(biāo)志)。在圖4(F)和圖4(G)示出的示例中,疊加位置標(biāo)記M設(shè)置在圖像的中心。然而,在用于左眼的圖像355中的疊加位置標(biāo)記M的位置和在用于右眼的圖像356中的疊加位置標(biāo)記M的位置相同。也就是說,在用于左眼的圖像355和用于右眼的圖像356中,在右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28中顯示的顯示尺寸被設(shè)置為相同的尺寸。用于左眼的圖像355和用于右眼的圖像356包括在公共位置處的疊加位置標(biāo)記M。在這種情況下,在用戶的右眼和左眼中均看見疊加位置標(biāo)記M。因此,疊加位置標(biāo)記M起標(biāo)尺(yardstick)的作用或者在結(jié)合用于左眼的圖像355和用于右眼的圖像356的圖像區(qū)時對準(zhǔn)的參考的作用。因此,用戶能夠參照疊加位置標(biāo)記M合理地結(jié)合在左眼和右眼中看到的圖像,并且識別在被分割之前的分割之前的圖像350。
分割控制單元164設(shè)置在用于左眼的圖像355和用于右眼的圖像356中的疊加位置標(biāo)記M的顯示位置和疊加位置標(biāo)記M的顯示尺寸,并且使得圖像處理單元160能夠顯示疊加位置標(biāo)記M。分割控制單元164讀取預(yù)先存儲在存儲單元120中的疊加位置標(biāo)記M的圖像,并且使得圖像處理單元160能夠以指定位置和指定尺寸顯示疊加位置標(biāo)記M。
在圖4(F)和圖4(G)中,示出了以下示例:在用于左眼的圖像355和用于右眼的圖像356的每一個中設(shè)置有一個疊加位置標(biāo)記M。然而,標(biāo)志(疊加位置標(biāo)記)的數(shù)目、形狀等是可選的。例如,可以使用諸如其他圖形、字符和圖像的各種形狀作為疊加位置標(biāo)記的形狀。顯示顏色、亮度等也是可選的。用戶僅需要能夠視覺地識別設(shè)置在用于左眼的圖像355和用于右眼的圖像356中的疊加位置標(biāo)記M。例如,在與頭戴式顯示裝置100有關(guān)的菜單屏幕上的向用戶示出的圖標(biāo)等可以被用作疊加位置標(biāo)記??梢允褂镁哂锌蛐螤畹寞B加位置標(biāo)記??梢燥@示包括多個圖或圖像的疊加位置標(biāo)記。疊加位置標(biāo)記的位置僅需要在對于用于左眼的圖像355和用于右眼的圖像356公共的位置處,并且不限于用于左眼的圖像355和用于右眼的圖像356的中心。
例如,圖像處理單元160可以根據(jù)分割控制單元164的控制,使得能夠調(diào)整疊加位置標(biāo)記的顯示顏色和亮度,并且根據(jù)用于左眼的圖像355和用于右眼的圖像356的顏色來確定疊加位置標(biāo)記的顯示顏色和亮度。當(dāng)通過多個圖等等來配置疊加位置標(biāo)記時,多個圖等等的顯示模式可以變化。
圖5(A)至圖5(E)是示出關(guān)于分割圖像的處理另一示例的圖,其中圖像是沿著橫向方向(水平方向)在預(yù)定的位置處被分割的。圖5(A)示出了分割之前的圖像350。圖5(B)示出了分割的圖像357。圖5(C)示出了分割的圖像359。圖5(D)示出了基于分割的圖像357的用于左眼的圖像358。圖5(E)示出了基于分割的圖像359的用于右眼的圖像360。
分割的圖像357和359是在沿著橫向方向預(yù)先設(shè)置的位置出通過對分割之前的圖像350進(jìn)行分割而獲得的圖像。分割之前的圖像350沿著橫向方向在中心位置處被相等地分割成兩個。分割的圖像357和分割的圖像359的沿著橫向方向的尺寸相同。分割的圖像357和359的沿著縱向方向的尺寸與分割之前的圖像350的尺寸相同。
圖像處理單元160基于分割的圖像357和359生成用于左眼的圖像358和用于右眼的圖像360,并且向發(fā)送單元51和52輸出用于左眼的圖像358和用于右眼的圖像360。
用于左眼的圖像358的左半部分是包括分割的圖像357的圖像區(qū)358A。用于左眼的圖像358的右半部分是偽圖像區(qū)358B。與偽圖像區(qū)352B和354B類似,偽圖像區(qū)358B是由圖像處理單元160添加的假數(shù)據(jù)形成的。在用于左眼的圖像358中圖像區(qū)358A的位置和尺寸與在分割之前的圖像350中分割的圖像357的位置和尺寸相同。
用于右眼的圖像360的右半部分是包括分割的圖像359的圖像區(qū)360A。用于右眼的圖像360的左半部分是偽圖像區(qū)360B。與偽圖像區(qū)352B和354B類似,偽圖像區(qū)360B是由圖像處理單元160添加的假數(shù)據(jù)形成的。在用于右眼的圖像360中圖像區(qū)360A的位置和尺寸與在分割之前的圖像350中分割的圖像359的位置和尺寸相同。
在圖5(A)至圖5(E)所示的示例中,能夠獲得與參照圖4(A)至圖4(G)描述的示例中的效果相同的效果。
也就是說,當(dāng)左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26分別顯示用于左眼的圖像358和用于右眼的圖像360時,用戶識別分割之前的圖像350。與圖像處理單元160向發(fā)送單元51和發(fā)送單元52中的每一個輸出整個分割之前的圖像350的情況相比,通過對分割之前的圖像350進(jìn)行分割,可以降低在整個控制單元140上的處理負(fù)荷。
用于左眼的圖像358的偽圖像區(qū)358B的尺寸和像素的數(shù)目與用于右眼的圖像360的圖像區(qū)360A的尺寸和像素的數(shù)目相同。偽圖像區(qū)360B的尺寸和像素數(shù)目與圖像區(qū)358A的尺寸和像素數(shù)目相同。因此,當(dāng)借助用戶大腦的功能結(jié)合圖像時,圖像和假數(shù)據(jù)疊加。因此,圖像自然地疊加。用戶能夠合理地識別分割之前的圖像350。
分割的圖像357(其是分割之前的圖像350的左半部分)是用于左眼的圖像358的左半部分的圖像區(qū)358A。分割的圖像359(其是分割之前的圖像350的右半部分)是用于右眼的圖像360的右半部分的圖像區(qū)360A。因此,用戶能夠更加自然地疊加圖像并且識別分割之前的圖像350。
期望將在左光學(xué)圖像顯示單元28的可顯示區(qū)中用于左眼的圖像358的顯示位置與在右光學(xué)圖像顯示單元26的可顯示區(qū)中用于右眼的圖像360的顯示位置設(shè)置在相同的位置。另外,更期望在左光學(xué)圖像顯示單元28的可顯示區(qū)中用于左眼的圖像358的顯示尺寸與在右光學(xué)圖像顯示單元26的可顯示區(qū)中用于右眼的圖像360的顯示尺寸是相同的尺寸。在這種情況下,存在著以下優(yōu)點:用戶能夠更加容易地結(jié)合左眼和右眼的視野并且識別分割之前的圖像350。
在圖4(A)至圖4(G)和圖5(A)至圖5(E)所示出的示例中,示出了分割之前的圖像350被分割而沒有交疊的示例。然而,可以存在交疊部分。在圖6(A)至圖6(E)中示出了交疊部分的示例。
與圖5(A)至圖5(E)類似,在圖6(A)至圖6(E)是示出沿著橫向方向(水平方向)在預(yù)定的位置處分割圖像的示例的圖。圖6(A)示出了分割之前的圖像350。圖6(B)示出了分割的圖像361。圖6(C)示出了分割的圖像363。圖6(D)示出了基于分割的圖像361的用于左眼的圖像362。圖6(E)示出了基于分割的圖像363的用于右眼的圖像364。在圖6(A)至圖6(E)中的交替的長短劃線表示在分割之前的圖像350的沿著橫向方向的中心位置。
分割的圖像361是通過提取分割之前的圖像350的左半部分以及相對于分割之前的圖像350的寬度方向中心進(jìn)一步在右側(cè)上的一部分而獲得的圖像。分割的圖像363是通過提取分割之前的圖像350的右半部分以及相對于分割之前的圖像350的寬度方向中心進(jìn)一步在左側(cè)上的一部分而獲得的圖像。用于左眼的圖像362包括通過分割的圖像361配置的圖像區(qū)362A和通過向圖像區(qū)362A的右側(cè)添加假數(shù)據(jù)而形成的偽圖像區(qū)362B。用于左眼的圖像362和用于右眼的圖像364中的每一個的尺寸和像素數(shù)目與分割之前的圖像350的尺寸和像素數(shù)目相同。
圖像處理單元160基于分割的圖像361和363生成用于左眼的圖像362和用于右眼的圖像364,并且向發(fā)送單元51和52輸出用于左眼的圖像362和用于右眼的圖像364。
用于左眼的圖像358的左半部分是包括分割的圖像357的圖像區(qū)358A。用于左眼的圖像358的右半部分是偽圖像區(qū)358B。與偽圖像區(qū)352B和354B類似,偽圖像區(qū)358B是由圖像處理單元160添加的假數(shù)據(jù)形成的。在用于左眼的圖像358中圖像區(qū)358A的位置和尺寸與在分割之前的圖像350中分割的圖像357的位置和尺寸相同。
用于右眼的圖像360的右半部分是包括分割的圖像359的圖像區(qū)360A。用于右眼的圖像360的左半部分是偽圖像區(qū)360B。與偽圖像區(qū)352B和354B類似,偽圖像區(qū)360B是由圖像處理單元160添加的假數(shù)據(jù)形成的。在用于右眼的圖像360中圖像區(qū)360A的位置和尺寸與在分割之前的圖像350中分割的圖像359的位置和尺寸相同。
當(dāng)通過左光學(xué)圖像顯示單元28顯示用于左眼的圖像362并且通過右光學(xué)圖像顯示單元26顯示用于右眼的圖像364時,可以獲得與在圖5(D)和圖5(E)中示出的用于左眼的圖像358和用于右眼的圖像360的效果相同的效果。
與用于左眼的圖像358不同,用于左眼的圖像362包括在相對于分割之前的圖像350的中心進(jìn)一步在右側(cè)上的一部分。類似地,與用于右眼的圖像360不同,用于右眼的圖像364包括在相對于分割之前的圖像350的中心進(jìn)一步在左側(cè)上的一部分。也就是說,圖像區(qū)362A與圖像區(qū)364A具有交疊部分。
在用戶的眼睛中看到用于左眼的圖像362和用于右眼的圖像364。用于左眼的圖像362和用于右眼的圖像364共同具有分割之前的圖像350的中心以及中心附近區(qū)域。因此,在用戶的兩只眼睛中看到這個公共部分交疊。在這種情況下,用戶將在兩只眼睛中看到的交疊的部分識別為用于疊加圖像的標(biāo)志。因此,用戶能夠容易地根據(jù)用于左眼的圖像362和用于右眼的圖像364識別分割之前的圖像350。
當(dāng)與圖像區(qū)362A和364A相比,偽圖像區(qū)362B和364B的顯示顏色是暗顏色時,圖像區(qū)362A和364A交疊的交疊區(qū)域與除了交疊區(qū)域之外的圖像區(qū)362A和364A相比是亮的。為了防止這種不適感,可以降低交疊區(qū)域的亮度。具體地,圖像處理單元160可以向用于左眼的圖像362和用于右眼的圖像364施加用于降低交疊區(qū)域的像素值和亮度的處理,并且在處理之后從發(fā)送單元51和52輸出數(shù)據(jù)。
當(dāng)與圖像區(qū)362A和364A相比,偽圖像區(qū)362B和364B的顯示顏色是亮色時,或者當(dāng)偽圖像區(qū)362B和364B的亮度等于圖像區(qū)362A和364A的亮度時,圖像區(qū)362A和364A的交疊區(qū)域的亮度可能等于除了交疊區(qū)域之外的區(qū)域的亮度。在這種情況下,出現(xiàn)不適感的可能性小。
因此,圖像處理單元160可以確定偽圖像區(qū)362B和364B的設(shè)置顏色,并且根據(jù)顏色辨別是否存在調(diào)整交疊區(qū)域的亮度的必要性。當(dāng)辨別調(diào)整是必要時,如上所述,圖像處理單元160可以執(zhí)行用于調(diào)整在交疊區(qū)域中圖像數(shù)據(jù)的亮度的處理,并且向右顯示驅(qū)動單元22和左顯示驅(qū)動單元24輸出圖像數(shù)據(jù)。
用于左眼的圖像362和用于右眼的圖像364的公共部分(交疊部分)的尺寸不限于在圖6(A)至圖6(E)中示出的示例。當(dāng)對于用戶而言交疊部分大時,在左眼和右眼中看到的結(jié)合圖像的標(biāo)志是清楚的。因此,交疊部分是有效的。然而,即使交疊部分小,標(biāo)志的效果也是足夠的。
因為交疊部分較大,所以由圖像處理單元160處理的圖像接近兩個分割之前的圖像350的尺寸。也就是說,降低了對分割之前的圖像350進(jìn)行分割以及生成用于左眼的圖像和用于右眼的圖像的效果。因此,期望交疊部分具有以下尺寸:該尺寸足以使得用戶能夠獲得用于交疊圖像的標(biāo)志(index)的效果,并且期望交疊部分是較小的。
還可以將分割之前的圖像350分割成大量區(qū)域以生成用于左眼的圖像和用于右眼的圖像。
圖7(A)至圖7(D)是示出其中分割之前的圖像350沿著縱向方向被分割成多個部分的示例的圖。圖7(A)示出了由多個分割的圖像片段371A配置的分割的圖像371。圖7(B)示出了由多個分割的圖像片段373A配置的分割的圖像373。圖7(C)示出了基于分割的圖像371的用于左眼的圖像372。圖7(D)示出了基于分割的圖像373的用于右眼的圖像374。
在這個示例中,分割之前的圖像350沿著橫向方向以線為單位被分成沿著橫向方向拉長的多個分割的圖像片段371A和373A。分割的圖像片段371A和373A可以是例如一個線的圖像或可以是多個線的圖像。圖像處理單元160將圖像以線為單位分割成用于左眼的分割的圖像片段371A和用于右眼的分割的圖像片段373A。例如,圖像處理單元160將分割的圖像從分割之前的圖像350的頂部按順序分配為分割的圖像片段371A和分割的圖像片段373A。根據(jù)這個處理,圖像處理單元160獲得分割的圖像371和分割的圖像373,分割的圖像371是一組用于左眼的分割的圖像片段371A,分割的圖像373是一組用于右眼的分割的圖像片段373A。
圖像處理單元160將分割的圖像371設(shè)置為圖像區(qū)372A,將通過假數(shù)據(jù)形成的偽圖像區(qū)372B添加至在圖像區(qū)372A之中的空白部分,并且獲得用于左眼的圖像372。類似地,圖像處理單元160將分割的圖像373設(shè)置為圖像區(qū)374A,將通過假數(shù)據(jù)形成的偽圖像區(qū)374B添加至在圖像區(qū)374A之中的空白部分,并且獲得用于右眼的圖像374。用于左眼的圖像372和用于右眼的圖像374的尺寸與分割之前的圖像350的尺寸相同。
通過與用于右眼的圖像374的圖像區(qū)374A的圖像片段一樣多的圖像片段來配置用于左眼的圖像372的偽圖像區(qū)372B。所述圖像片段具有相同的尺寸和像素的數(shù)目。通過與圖像區(qū)372A的圖像片段一樣多的圖像片段配置偽圖像區(qū)374B。所述圖像片段具有相同的尺寸和像素的數(shù)目。
圖像處理單元160從發(fā)送單元52輸出用于左眼的圖像372,并且使得左顯示驅(qū)動單元24和左光學(xué)圖像顯示單元28顯示用于左眼的圖像372。圖像處理單元160從發(fā)送單元51輸出用于右眼的圖像374,并且使得右顯示驅(qū)動單元22和右光學(xué)圖像顯示單元26顯示用于右眼的圖像374。因此,能夠獲得與參照圖4(A)至圖6(E)描述的示例中的效果相同的效果。
也就是說,用戶識別通過將用于左眼的圖像372和用于右眼的圖像374疊加而獲得的分割之前的圖像350。通過對分割之前的圖像350進(jìn)行分割,與當(dāng)圖像處理單元160向發(fā)送單元51和發(fā)送單元52中的每一個輸出整個分割之前的圖像350時相比,可以降低在整個控制單元140上的處理負(fù)荷。
偽圖像區(qū)372B對應(yīng)于圖像區(qū)374A。偽圖像區(qū)372B對應(yīng)于圖像區(qū)374A。因此,當(dāng)借助用戶的大腦的功能結(jié)合圖像時,圖像和假數(shù)據(jù)疊加。因此,圖像自然地疊加。用戶能夠合理地識別分割之前的圖像350。
另外,因為分割之前的圖像350是沿著橫向方向以線為單位分割的,所以在分割的圖像371和373中,會增加分割的圖像片段371A和373A的數(shù)目。在這種情況下,分割的圖像371和373兩者均從頂部至底部包括分割之前的圖像350。因此,甚至用于左眼的圖像372和用于右眼的圖像374中的僅一個使得用戶能夠識別與分割之前的圖像350類似的圖像。用戶能夠用兩只眼睛視覺地識別與分割之前的圖像350類似將圖像。因此,可以降低用戶的不適感。
如圖8(A)至圖8(D)所示,圖像可以沿著縱向方向以線為單位分割。
圖8(A)示出了由多個分割的圖像片段375A配置的分割的圖像375。圖8(B)示出了由多個分割的圖像片段377A配置的分割的圖像377。圖8(C)示出了基于分割的圖像375的用于左眼的圖像376。圖8(D)示出了基于分割的圖像377的用于右眼的圖像378。
在這個示例中,分割之前的圖像350沿著縱向方向以線為單位被分成沿著縱向方向拉長的多個圖像片段375A和377A。分割的圖像片段375A和377A可以是例如一個線的圖像或可以是多個線的圖像。圖像處理單元160將圖像以線為單位分割成用于左眼的分割的圖像片段375A和用于右眼的分割的圖像片段377A。例如,圖像處理單元160將分割的圖像從分割之前的圖像350的左側(cè)按順序分配為分割的圖像片段375A和分割的圖像片段377A。根據(jù)這個處理,圖像處理單元160獲得分割的圖像375和分割的圖像377,分割的圖像375是一組用于左眼的分割的圖像片段375A,分割的圖像377是一組用于右眼的分割的圖像片段377A。
圖像處理單元160將分割的圖像375設(shè)置為圖像區(qū)376A,將通過假數(shù)據(jù)形成的偽圖像區(qū)376B添加至在圖像區(qū)376A之中的空白部分,并且獲得用于左眼的圖像376。類似地,圖像處理單元160將分割的圖像377設(shè)置為圖像區(qū)378A,將通過假數(shù)據(jù)形成的偽圖像區(qū)378B添加至在圖像區(qū)378A之中的空白部分,并且獲得用于右眼的圖像378。用于左眼的圖像376和用于右眼的圖像378的尺寸與分割之前的圖像350的尺寸相同。通過與用于右眼的圖像378的圖像區(qū)378A的圖像片段一樣多的圖像片段來配置用于左眼的圖像376的偽圖像區(qū)376B。所述圖像片段具有相同的尺寸和像素的數(shù)目。通過與圖像區(qū)376A的圖像片段一樣多的圖像片段來配置偽圖像區(qū)378B。所述圖像片段具有相同的尺寸和像素的數(shù)目。
圖像處理單元160從發(fā)送單元52輸出用于左眼的圖像376,并且使得左顯示驅(qū)動單元24和左光學(xué)圖像顯示單元28顯示用于左眼的圖像376。圖像處理單元160從發(fā)送單元51輸出用于右眼的圖像378,并且使得右顯示驅(qū)動單元22和右光學(xué)圖像顯示單元26顯示用于右眼的圖像378。在這種情況下,僅僅是對分割之前的圖像350進(jìn)行分割的方向是不同的。能夠獲得與參照圖7(A)至圖7(D)描述的示例中的效果相同的效果。
圖9(A)至圖9(D)示出了其中分割之前的圖像350被分割成矩形的圖像片段的示例。
圖9(A)示出了由多個分割的圖像片段379A配置的分割的圖像379。圖9(B)示出了由多個分割的圖像片段381A配置的分割的圖像381。圖9(C)示出了基于分割的圖像379的用于左眼的圖像380。圖9(D)示出了基于分割的圖像381的用于右眼的圖像382。
在這個示例中,分割之前的圖像350在橫向方向和縱向方向上被分割成矩形的分割的圖像片段(其包括若干個點的像素)。圖像處理單元160根據(jù)分割控制單元164的控制,將分割的圖像片段分割成用于左眼的分割的圖像片段379A和用于右眼的分割的圖像片段381A。例如,圖像處理單元160將分割的圖像片段從分割之前的圖像350中的左上部分按順序一個一個地分配為分割的圖像片段379A和分割的圖像片段381A。
圖像處理單元160將分割的圖像379設(shè)置為圖像區(qū)380A,將由假數(shù)據(jù)形成的偽圖像區(qū)380B添加至在圖像區(qū)380A之中的空白部分,并且獲得用于左眼的圖像380。類似地,圖像處理單元160將分割的圖像381設(shè)置為圖像區(qū)382A,將由假數(shù)據(jù)形成的偽圖像區(qū)382B添加至在圖像區(qū)382A之中的空白部分,并且獲得用于右眼的圖像382。用于左眼的圖像380和用于右眼的圖像382的尺寸與分割之前的圖像350的尺寸相同。
用于左眼的圖像380的偽圖像區(qū)380B包括與用于右眼的圖像382的圖像區(qū)382A的圖像片段一樣多的圖像片段。所述圖像片段具有相同的尺寸和相同的像素數(shù)目。偽圖像區(qū)382B包括與圖像區(qū)380A的圖像片段一樣多的圖像片段。所述圖像片段具有相同的尺寸和相同的像素數(shù)目。
圖像處理單元160從發(fā)送單元52輸出用于左眼的圖像380,并且使得左顯示驅(qū)動單元24和左光學(xué)圖像顯示單元28顯示用于左眼的圖像380。圖像處理單元160從發(fā)送單元51輸出用于右眼的圖像382,并且使得右顯示驅(qū)動單元22和右光學(xué)圖像顯示單元26顯示用于右眼的圖像382。在這種情況下,僅僅是對分割之前的圖像350進(jìn)行分割的方向是不同的。能夠獲得與參照圖7(A)至圖7(D)和圖8(A)至圖8(D)描述的示例中的效果相同的效果。
如此,分割控制單元164控制圖像處理單元160以用各種形式分割顯示目標(biāo)圖像(分割之前的圖像350),并且基于分割的圖像從發(fā)送單元51和52輸出用于左眼的圖像和用于右眼的圖像。圖像處理單元160可以能夠執(zhí)行在圖4(A)至圖9(D)中示出的示例的僅一部分,或者可以能夠執(zhí)行所有種類的處理。圖像處理單元160可以以除了在圖4(A)至圖9(D)中示出的形式之外的形式來分割顯示目標(biāo)圖像。
當(dāng)顯示疊加位置標(biāo)記M時,頭戴式顯示裝置100還能夠改變疊加位置標(biāo)記M的顯示尺寸。
圖10是用于示出頭戴式顯示裝置100的操作的流程圖。特別是,圖10示出了用于改變疊加位置標(biāo)記M的尺寸的操作。圖11(A)至圖11(F)是示出在疊加位置標(biāo)記M的顯示尺寸方面的改變的圖。圖11(A)和圖11(B)示出了疊加位置標(biāo)記M的顯示尺寸大的狀態(tài)。圖11(C)和圖11(D)示出了疊加位置標(biāo)記M的顯示尺寸被減小的狀態(tài)。圖11(E)和圖11(F)示出了顯示具有不同形狀的疊加位置標(biāo)記M的狀態(tài)。
如參照圖4(F)和圖4(G)所描述的,分割控制單元164控制圖像處理單元160以在用于左眼的圖像355和用于右眼的圖像356中在相同的位置顯示疊加位置標(biāo)記M。因此,在用戶的右眼和左眼中均看到疊加位置標(biāo)記M。疊加位置標(biāo)記M起到標(biāo)尺的作用或者在結(jié)合用于左眼的圖像355和用于右眼的圖像356的圖像區(qū)時起到對準(zhǔn)的參考的作用。
當(dāng)用戶開始觀看圖像(包括視頻)時,用戶不適應(yīng)將用于左眼的圖像355和用于右眼的圖像356識別為一個圖像的觀看方式。因此,疊加位置標(biāo)記M有效地起作用。然而,當(dāng)用戶習(xí)慣了這種觀看方式同時繼續(xù)觀看圖像時,作為用于將用于左眼的圖像355和用于右眼的圖像356對準(zhǔn)的標(biāo)志的疊加位置標(biāo)記M的必要性降低。
因此,分割控制單元164可以控制圖像處理單元160以改變疊加位置標(biāo)記M的顯示尺寸。例如,分割控制單元164讀取存儲在存儲單元120中的疊加位置標(biāo)記M的圖像數(shù)據(jù),并且將圖像數(shù)據(jù)疊加在由圖像處理單元160分割的用于左眼的圖像355和用于右眼的圖像356中的每一個上。在這種情況下,如果具有不同尺寸的疊加位置標(biāo)記M的多個圖像數(shù)據(jù)被預(yù)先存儲在存儲單元120中,則分割控制單元164可以通過改變從存儲單元120讀取的疊加位置標(biāo)記M的圖像數(shù)據(jù)來改變疊加位置標(biāo)記M的顯示尺寸。分割控制單元164可以從存儲單元120獲取疊加位置標(biāo)記M的圖像數(shù)據(jù),以預(yù)定的倍率放大或縮小所獲取的圖像數(shù)據(jù),并且使得圖像處理單元160來疊加圖像數(shù)據(jù)。在這種情況下,分割控制單元164可以通過改變用于放大或縮小疊加位置標(biāo)記M的倍率來改變疊加位置標(biāo)記M的顯示尺寸。
在圖10中,示出了用于改變疊加位置標(biāo)記M的顯示尺寸的分割控制單元164的操作的示例。
當(dāng)開始通過圖像顯示單元20顯示圖像時(步驟S21),分割控制單元164使得圖像處理單元160以預(yù)先設(shè)置的最大尺寸顯示疊加位置標(biāo)記M(步驟S22)。之后,分割控制單元164監(jiān)測疊加位置標(biāo)記M的顯示狀態(tài)持續(xù)的時間,并且確定該時間是否已經(jīng)到達(dá)了預(yù)先設(shè)置的時間(步驟S23)。當(dāng)該時間已經(jīng)到達(dá)設(shè)置的時間時(在步驟S23中為“是”),分割控制單元164減小疊加位置標(biāo)記M的顯示尺寸,并且使得圖像處理單元160更新疊加位置標(biāo)記M的顯示尺寸(步驟S24)。也就是說,每次用于顯示疊加位置標(biāo)記M的時間過去,就減小疊加位置標(biāo)記M。
當(dāng)疊加位置標(biāo)記M的顯示持續(xù)的時間還沒有達(dá)到設(shè)置時間時(在步驟S23中為“否”)并且在步驟S24中在疊加位置標(biāo)記M的顯示尺寸更新之后,分割控制單元164確定圖像是否切換(步驟S25)。當(dāng)圖像被切換時(在步驟S25中為“是”),分割控制單元164返回步驟S22,并且以最大的尺寸顯示疊加位置標(biāo)記M。
“圖像被切換”意思是由圖像處理單元160顯示的圖像的圖像數(shù)據(jù)被切換。具體地,當(dāng)頭戴式顯示裝置100的圖像源被改變時或者當(dāng)從圖像供給裝置OA輸入的圖像數(shù)據(jù)的分辨率或幀速率改變時,分割控制單元164確定圖像被切換。當(dāng)在用于左眼的圖像中在圖像區(qū)與偽圖像區(qū)之間的邊界和/或在用于右眼的圖像中在圖像區(qū)與偽圖像區(qū)之間的邊界改變時,分割控制單元164可以確定圖像被切換。當(dāng)在左光學(xué)圖像顯示單元28中用于左眼的圖像的顯示尺寸或者在右光學(xué)圖像顯示單元26中用于右眼的圖像的顯示尺寸改變時,分割控制單元164可以確定圖像被切換。
當(dāng)圖像未被切換時(在步驟S25中為“否”),分割控制單元164確定顯示是否結(jié)束(步驟S26)。當(dāng)顯示持續(xù)時(在步驟S26中為“否”),分割控制單元164返回至步驟S23。當(dāng)顯示結(jié)束時(在步驟S26中為“是”),分割控制單元164使得圖像處理單元160終止分割的圖像和疊加位置標(biāo)記M的顯示(步驟S27)。
在圖11(A)和圖11(B)中,示出了在用于左眼的圖像355和用于右眼的圖像356中設(shè)置有最大尺寸的疊加位置標(biāo)記M的示例。在這個示例中,大的疊加位置標(biāo)記M被設(shè)置在用于左眼的圖像355中的圖像區(qū)352A與偽圖像區(qū)352B之間的邊界處和用于右眼的圖像356中的圖像區(qū)354A與偽圖像區(qū)354B之間的邊界處。
如圖11(C)和圖11(D)所示,當(dāng)疊加位置標(biāo)記M減小時,疊加位置標(biāo)記M對圖像區(qū)352A和圖像區(qū)354A的可視性的影響減小。用戶能夠容易地觀看顯示目標(biāo)分割之前的圖像350。
如上所述,疊加位置標(biāo)記M的形狀是可選的。例如,如圖11(E)和圖11(F)所示,疊加位置標(biāo)記M可以以帶狀形成。在這個示例中,疊加位置標(biāo)記M與用于左眼的圖像355中的圖像區(qū)352A與圖像區(qū)352B之間的邊界交疊。在圖11(F)示出的示例中,疊加位置標(biāo)記M與用于右眼的圖像356中的圖像區(qū)354A與偽圖像區(qū)354B之間的整個邊界交疊。當(dāng)用戶觀看圖像以使得在左和在右的疊加位置標(biāo)記M交疊時,圖像區(qū)352A與偽圖像區(qū)352B之間的邊界和圖像區(qū)354A與偽圖像區(qū)354B之間的邊界不太容易看見。因此,用戶能夠使用疊加位置標(biāo)記M作為標(biāo)志(index)觀看在左和在右的要結(jié)合的圖像而不意識到邊界。例如,如在圖5(D)和圖(E)所示,當(dāng)分割之前的圖像350沿著水平方向分割時,具有沿著縱向方向(垂直方向)延伸的帶狀的疊加位置標(biāo)記M僅需要被顯示為匹配圖像區(qū)與偽圖像區(qū)之間的邊界。
代替于疊加位置標(biāo)記M,在用于右眼的圖像和用于左眼的圖像中圖像區(qū)交疊的交疊區(qū)域(例如,在圖18D至圖18G中示出的交疊區(qū)域W1)可以被設(shè)置為用于對準(zhǔn)的標(biāo)志。在這種情況下,如在用于改變疊加位置標(biāo)記M的尺寸的處理中,交疊區(qū)域的尺寸可以隨著時間變小。當(dāng)圖像被切換時,可以增大交疊區(qū)域的尺寸。
描述了頭戴式顯示裝置100的用于執(zhí)行調(diào)整(校準(zhǔn))分割的圖像351和353的顯示位置的功能。
圖12是用于說明頭戴式顯示裝置100的操作的流程圖。特別是,圖12示出了顯示位置調(diào)整的操作。圖13(A)至圖13(C)是示出在顯示位置調(diào)整的操作中由頭戴式顯示裝置100顯示的圖像的示例的圖。圖13(A)是示例地示出被用戶感知到的圖像的結(jié)合的圖像391。圖13(B)和圖13(C)示出了顯示位置調(diào)整的顯示示例。
在圖13(A)中示出的結(jié)合的圖像391是,當(dāng)圖像處理單元160使得圖像顯示單元20顯示在圖4(D)和圖4(E)中示出的用于左眼的圖像352和用于右眼的圖像354時可能被用戶感知到的圖像的狀態(tài)的示例。當(dāng)頭戴式顯示裝置100分割并且顯示分割之前的圖像350時,在用戶的感知方面存在個體差異。例如,由于用戶的兩只眼睛與右導(dǎo)光板261和左導(dǎo)光板262之間的位置關(guān)系,用于左眼的圖像352和用于右眼的圖像354看起來偏移例如像結(jié)合的圖像391。當(dāng)由于物理位置關(guān)系在結(jié)合的圖像391中發(fā)生偏移時,頭戴式顯示裝置100調(diào)整圖像在圖像顯示單元20中的顯示位置。然后,可以期待改善。
當(dāng)用戶感覺到結(jié)合的圖像391的偏移并且對操作單元135進(jìn)行操作以指示調(diào)整顯示位置時,分割控制單元164控制圖像處理單元160以顯示在圖13(B)和圖13(C)中示出的圖像。在圖13(B)中,圖像區(qū)352A被渲染為小于右LCD241的可顯示區(qū)241A(圖2)。顯示了表示圖像區(qū)352A可以移動的方向的箭頭。在圖13(C)中,圖像區(qū)354A被渲染為小于左LCD242的可顯示區(qū)242A(圖2)。顯示了表示圖像區(qū)354A可以移動的方向的箭頭。以例如黑色或深色顯示除了圖像區(qū)352A和354A以及箭頭之外的區(qū)域。
在圖13(B)和圖13(C)所示的顯示狀態(tài)中,用戶通過對操作單元135進(jìn)行操作來指示圖像區(qū)352A和354A的顯示位置的運動。如圖13(A)所示,用戶看到偏移的結(jié)合的圖像391。因此,期望用戶能夠用直觀操作指示能夠消除偏移的方向。因此,例如,每執(zhí)行一次觸摸板14或方向鍵16的操作,分割控制單元164將圖像區(qū)352A或圖像區(qū)354A的顯示位置移動預(yù)定的量。
在圖12中示出了涉及顯示位置的調(diào)整的操作。
分割控制單元164根據(jù)例如操作單元135的操作開始調(diào)整顯示位置(步驟S41),并且從存儲單元120獲取用于執(zhí)行顯示位置的調(diào)整的圖像數(shù)據(jù)(步驟S42)。用于調(diào)整的圖像數(shù)據(jù)包括例如在圖13(B)和圖13(C)中示出的箭頭等。分割控制單元164使得顯示處理單元160基于用于調(diào)整的圖像數(shù)據(jù)來顯示圖像(步驟S43)。用戶輸入用于移動顯示位置的指令(步驟S44)。分割控制單元164根據(jù)輸入的指令改變在右LCD241和左LCD242中的顯示位置(步驟S45),并且確定顯示位置的調(diào)整是否已經(jīng)完成(步驟S46)。
例如,當(dāng)通過操作單元135輸入關(guān)于調(diào)整完成的指令時,分割控制單元164確定完成了調(diào)整(在步驟S46中為“是”)。分割控制單元164結(jié)束用于調(diào)整的圖像的顯示。分割控制單元164分別針對右LCD241和左LCD242獲取在步驟S45的移動之后的顯示位置,將顯示位置記錄在設(shè)置數(shù)據(jù)123中(步驟S47),并且結(jié)束處理。當(dāng)確定調(diào)整還沒有完成時(步驟S46)時,分割控制單元164返回至步驟S44并且接收關(guān)于移動的指令。
圖像處理單元160能夠通過控制在使得右LCD241和左LCD242顯示分割的圖像時的數(shù)據(jù)輸出來適當(dāng)?shù)卣{(diào)整在右LCD241和左LCD242中的顯示定時。圖14(A)至圖14(D)是示出頭戴式顯示裝置100的渲染操作示意圖。
在圖14(A)至圖14(D)中,示出了參照圖8(A)至圖8(D)描述的在顯示由多個分割的圖像片段375A配置的用于左眼的圖像376(圖14(A))和由多個分割的圖像片段377A配置的用于右眼的圖像(圖14(B))方面的操作。
在正常的顯示處理中,圖像處理單元160沿著水平方向以線為單位向右LCD控制單元211(圖2)和左LCD控制單元212(圖2)發(fā)送圖像信號。基于圖像信號右LCD控制單元211更新針對各線的右LCD241的顯示,并且左LCD控制單元212更新針對各線的左LCD242的顯示。
圖像處理單元160可以從線的領(lǐng)頭位置(leading position)開始以兩個線為單位向右LCD控制單元211和左LCD控制單元212發(fā)送圖像信號。在這種情況下,如圖14(B)所示,左LCD控制單元212從左LCD 242的可顯示區(qū)242A的端部沿著縱向方向一次以兩個線來渲染圖像區(qū)376A。如圖14(C)所示,右LCD控制單元211從右LCD 241的可顯示區(qū)241A的端部沿著縱向方向一次以兩個線來渲染圖像區(qū)378A。
另外,更期望使得當(dāng)左LCD控制單元212渲染圖像區(qū)376A時的定時與當(dāng)右LCD控制單元211渲染圖像區(qū)378A時的定時對齊。例如,在與左LCD控制單元212渲染位于用于左眼的圖像376中的左端處的圖像區(qū)376A時的定時相同或基本相同的定時處,右LCD控制單元211渲染與被左LCD控制單元212渲染的圖像區(qū)376A相鄰的圖像區(qū)378A。也就是說,在分割之前的圖像350中彼此相鄰的部分是同時渲染的。在這種情況下,對于用戶,在分割之前的圖像350中相對大的區(qū)域被視為在基本相同的定時處被渲染。因此,容易視覺結(jié)合??梢灶A(yù)期的是可視性改善。
注意的是,調(diào)整在圖像顯示單元20中圖像的顯示位置的方法不限于改變在右LCD241和左LCD242中圖像被渲染的位置的方法。例如,可以移動右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28相對于右保持單元21和左保持單元23(其構(gòu)成圖像顯示單元20的框架)的位置。聚焦在右導(dǎo)光板261和左導(dǎo)光板262上的圖像的位置可以通過右投影光學(xué)系統(tǒng)251和左投影光學(xué)系統(tǒng)252的功能來改變??梢砸苿佑彝队肮鈱W(xué)系統(tǒng)251和左投影光學(xué)系統(tǒng)252的透鏡組等??梢酝ㄟ^僅改變右LCD241和左LCD242的位置來調(diào)整圖像的顯示位置。
如上所述,根據(jù)應(yīng)用本發(fā)明的實施方式的頭戴式顯示裝置100包括顯示與用戶的左眼對應(yīng)的圖像的左光學(xué)圖像顯示單元28和顯示與用戶的右眼對應(yīng)的圖像的右光學(xué)圖像顯示單元26。頭戴式顯示裝置100包括圖像處理單元160,其分割顯示目標(biāo)圖像,并且向左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26輸出包括分割的圖像的用于左眼的圖像和用于右眼的圖像。用于左眼的圖像和用于右眼的圖像包括由圖像處理單元160分割的圖像所配置的圖像區(qū)和不包括分割的圖像的非圖像區(qū)(偽圖像區(qū))。用于左眼的圖像和用于右眼的圖像中的一個的非圖像區(qū)的狀態(tài)與用于左眼的圖像和用于右眼的圖像中的另一個的圖像區(qū)的狀態(tài)對應(yīng)。因此,不涉及諸如增加分辨率以及放大顯示目標(biāo)圖像的處理,或者能夠抑制處理的負(fù)荷。另外,能夠抑制向顯示單元傳輸圖像的傳輸速度。如果簡化了用于生成非圖像區(qū)的處理和非圖像區(qū),則能夠容易地抑制負(fù)荷。因此,可以抑制涉及圖像的顯示的負(fù)荷,并且使得用戶能夠視覺地識別目標(biāo)圖像。
非圖像區(qū)可以是包括與分割的圖像不同的偽圖像的偽圖像區(qū)。
由頭戴式顯示裝置100顯示的用于左眼的圖像和用于右眼的圖像是當(dāng)在左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26上顯示用于左眼的圖像和用于右眼的圖像時被用戶視覺地識別為顯示目標(biāo)圖像的圖像。因此,可以向用戶示出與在分割之前的圖像相同的圖像。因此,可以分割圖像,降低處理負(fù)荷,并且利用兩個顯示單元顯示目標(biāo)圖像。
圖像處理單元160將在用于左眼的圖像和用于右眼的圖像中的圖像區(qū)的位置與在顯示目標(biāo)圖像中的分割的圖像的位置相關(guān)聯(lián)。因此,分割的圖像顯示在左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26上,而不改變分割的圖像的位置。因此,可以使得用戶能夠利用兩個顯示單元視覺地識別一個顯示目標(biāo)圖像。
頭戴式顯示裝置100用分割控制單元164控制在右光學(xué)圖像顯示單元26中用于右眼的圖像的圖像區(qū)的顯示位置和在左光學(xué)圖像顯示單元28中用于左眼的圖像的圖像區(qū)的顯示位置。因此,可以適當(dāng)?shù)卣{(diào)整用于左眼的圖像和用于右眼的圖像的顯示位置,并且滿意地保持顯示目標(biāo)圖像的可視性。分割控制單元164可以控制和改變用于右眼的圖像和用于左眼的圖像的顯示位置以及圖像區(qū)的顯示位置。
頭戴式顯示裝置100包括接收用戶的輸入的輸入信息獲取單元110。分割控制單元164根據(jù)由輸入信息獲取單元110接收的輸入來改變在右光學(xué)圖像顯示單元26中用于右眼的圖像的圖像區(qū)的顯示位置和在左光學(xué)圖像顯示單元28中用于左眼的圖像的圖像區(qū)的顯示位置中的至少之一。因此,用戶能夠根據(jù)用戶感知到的視圖通過執(zhí)行操作來調(diào)整圖像區(qū)的顯示位置。
在用于調(diào)整顯示位置的操作中,分割控制單元164僅需要改變用于右眼的圖像的圖像區(qū)在右光學(xué)圖像顯示單元26中的顯示位置和用于左眼的圖像的圖像區(qū)在左光學(xué)圖像顯示單元28中的顯示位置中的至少之一。分割控制單元164可以根據(jù)需要改變用于右眼的圖像的圖像區(qū)在右光學(xué)圖像顯示單元26中的顯示位置和用于左眼的圖像的圖像區(qū)在左光學(xué)圖像顯示單元28中的顯示位置兩者。
圖像顯示單元20可以透射外部場景,并且顯示圖像以使得能夠與外部場景一起被視覺地識別。圖像處理單元160可以調(diào)整用于左眼的圖像和用于右眼的圖像中的至少之一中偽圖像區(qū)(非圖像區(qū))的顯示模式。具體地,當(dāng)偽圖像區(qū)352B和354B(圖4(D)和圖4(E))被上色為黑色時,在與偽圖像區(qū)352B和354B對應(yīng)的部分中圖像光是不存在的。在這種情況下,分割的圖像351的圖像光和分割的圖像353的圖像光入射在用戶的眼睛上。另一方面,假數(shù)據(jù)的圖像光沒有入射到眼睛上。因此,入射在用戶眼睛上的圖像光的光量基本上等于分割之前的圖像350的一個畫面的光量。因此,用戶能夠容易地識別分割之前的圖像350。另一方面,當(dāng)偽圖像區(qū)352B和354B被上色為白色時。具有最大亮度的像素的圖像光輻射在與偽圖像區(qū)352B和354B對應(yīng)的部分上。在這種情況下,分割的圖像351的圖像光和分割的圖像353的圖像光入射在用戶的眼睛上。另外,與假數(shù)據(jù)對應(yīng)的圖像光也可以入射在眼睛上。如此,可以通過將顯示顏色改變?yōu)槔绾谏虬咨珌砀淖儌螆D像區(qū)的顯示模式,從而調(diào)整分割之前的圖像的視圖。
偽圖像區(qū)的顯示模式不限于在用均勻的顏色對偽圖像區(qū)上色時的顯示顏色,而是可以是偽圖像區(qū)的色度或亮度。在上述示例中,因為假數(shù)據(jù)的顏色是無色,所以偽圖像區(qū)不阻礙用戶結(jié)合分割的圖像351和353并且識別分割之前的圖像350。然而,偽圖像區(qū)的顏色可以是彩色的。在這種情況下,用戶視覺地識別的分割之前的圖像350的色度可能受偽圖像區(qū)的顏色的影響而改變。
另外,當(dāng)偽圖像區(qū)352B和354B的亮度低時,在與偽圖像區(qū)352B和354B交疊的位置處容易看到外部場景。因此,外部光被用戶感知到。另一方面,當(dāng)偽圖像區(qū)352B和354B的亮度高時,外部場景不太容易被透射。因此,用戶能夠視覺地識別分割之前的圖像350而不受外部場景的影響。
注意的是,偽圖像區(qū)的顯示模式不必固定,并且可以改變。在這種情況下,圖像處理單元160可以根據(jù)在要顯示的分割之前的圖像350的亮度和色調(diào)方面的改變,來改變偽圖像區(qū)的顯示模式(顏色、亮度、色調(diào)等)。可替選地,當(dāng)分割之前的圖像350不改變時,圖像處理單元160可以根據(jù)過去的時間來改變偽圖像區(qū)的顯示模式。
如參照圖6(A)至圖6(E)所示出的,圖像處理單元160可以從分割之前的圖像350提取具有彼此交疊部分的分割的圖像361和363,并且將分割的圖像361和363分別設(shè)置為用于左眼的圖像362和用于右眼的圖像364的圖像區(qū)。在這種情況下,因為由左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26顯示的圖像的接縫不太顯眼,所以可以降低用戶的不適感,并且顯示高分辨率圖像。
如參照圖7(A)至圖9(D)所示出的,圖像處理單元160可以在用于左眼的圖像和用于右眼的圖像中的每一個中設(shè)置多個圖像區(qū)和多個偽圖像區(qū)。在這種情況下,以更加復(fù)雜的形狀結(jié)合用于左眼的圖像和用于右眼的圖像,以使得用戶能夠視覺地識別顯示目標(biāo)圖像。因此,例如,可以以容易被用戶視覺地識別的形狀來分割顯示目標(biāo)圖像,并且顯示圖像。
在頭戴式顯示裝置100中,如參照圖4(F)和圖4(G)所描述的,圖像處理單元160可以包括在用于左眼的圖像和用于右眼的圖像的公共位置處的預(yù)定標(biāo)志(疊加位置標(biāo)記M)。另外,圖像處理單元160可以使左光學(xué)圖像顯示單元28和右光學(xué)圖像顯示單元26的顯示尺寸相等。在這種情況下,因為標(biāo)志設(shè)置在公共位置處,所以由右光學(xué)圖像顯示單元26顯示的圖像與由左光學(xué)圖像顯示單元28顯示的圖像之間的對應(yīng)關(guān)系是清楚的。存在著以下優(yōu)點:用戶能夠從兩個顯示單元的圖像中更容易地識別一個顯示目標(biāo)圖像。
分割控制單元164可以改變由右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28顯示的疊加位置標(biāo)記M(標(biāo)志)的顯示尺寸。因此,可以根據(jù)疊加位置標(biāo)記M的必要性程度來改變標(biāo)志的可視性??梢燥@示疊加位置標(biāo)記M以使得用戶能夠容易地識別圖像并且不阻礙圖像的視覺識別。
分割控制單元164隨著時間流逝減小疊加位置標(biāo)記M的顯示尺寸,并且當(dāng)顯示目標(biāo)圖像改變時放大疊加位置標(biāo)記M的顯示尺寸。因此,可以適當(dāng)?shù)靥幚懑B加位置標(biāo)記M的必要性方面的改變。也就是說,當(dāng)疊加位置標(biāo)記M是必需的時,將疊加位置標(biāo)記M顯示得大以提高可視性。當(dāng)疊加位置標(biāo)記M的必要性降低時,減小顯示尺寸。疊加位置標(biāo)記M可以被顯示為不阻礙圖像的視覺識別。
圖像處理單元160在預(yù)先設(shè)置在用于左眼的圖像和用于右眼的圖像中的區(qū)域中設(shè)置圖像區(qū)和偽圖像區(qū)。因此,可以降低圖像處理單元160的用于分割顯示目標(biāo)圖像的處理負(fù)荷,以及用于將偽圖像區(qū)與分割的圖像結(jié)合以產(chǎn)生用于左眼的圖像和用于右眼的圖像的處理負(fù)荷。
右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28構(gòu)成圖像顯示單元20,其透射外部場景并且顯示能夠與外部場景一起被視覺地識別的圖像。對于用戶,包括分割的圖像的用于左眼的圖像和用于右眼的圖像看起來與外部場景交疊。
在這種配置中,可以通過調(diào)整用于左眼的圖像和用于右眼的圖像的圖像區(qū)的顯示顏色和顯示亮度或者整個圖像的光量來調(diào)整用于左眼的圖像和用于右眼的圖像的視圖。例如,可以根據(jù)外部光的光量調(diào)整亮度或光量,以使得比外部場景更容易觀看顯示目標(biāo)圖像或者使得容易地觀看外部場景。
另外,可以通過調(diào)整包括在用于左眼的圖像和用于右眼的圖像中的偽圖像區(qū)的顏色和/或亮度來調(diào)整用于左眼的圖像和用于右眼的圖像的視圖。例如,當(dāng)外部光的光量大時,可以增加偽圖像區(qū)的亮度并且將顯示目標(biāo)圖像顯示得明亮。例如,當(dāng)外部光的光量小時,可以降低偽圖像區(qū)的亮度,使得顯示目標(biāo)圖像變暗,并且使得容易地根據(jù)外部場景來觀看顯示目標(biāo)圖像。反過來,當(dāng)外部光的光量小時,也可以增加偽圖像區(qū)的亮度并且使得顯示目標(biāo)圖像顯眼。
在第一實施方式中,描述了以下配置:在與圖12示出的顯示位置的調(diào)整有關(guān)的處理中,根據(jù)用戶輸入的指令而改變在右LCD 241和左LCD 242中的顯示位置。然而,可以根據(jù)控制單元140的控制,自動地調(diào)整顯示位置。例如,頭戴式顯示裝置100可以配置為包括采集用戶眼睛的圖像并且如在第二實施方式中描述的一樣檢測視線方向的視線檢測單元,或者可以配置成測量用戶眼睛的眼電位(eye potential)并且檢測眼球運動從而估計視線。在這種情況下,可以顯示包括有用于在右LCD241和左LCD242上進(jìn)行位置調(diào)整的標(biāo)志的圖像,檢測用戶在注視標(biāo)志的狀態(tài)下的用戶視線,并且基于檢測結(jié)果自動地調(diào)整顯示位置。頭戴式顯示裝置100可以配置為包括圖像采集單元(附圖中未示出),其采集利用由導(dǎo)光板261和262引導(dǎo)的圖像光被用戶視覺地識別的虛擬圖像。頭戴式顯示裝置100可以基于圖像采集單元采集的圖像來確定用于左眼的圖像和用于右眼的圖像的顯示位置是否合適,并且根據(jù)需要調(diào)整顯示位置。在這種情況下,存在著以下優(yōu)點:即使用戶不執(zhí)行用于指示顯示位置的操作也可以適當(dāng)?shù)卣{(diào)整顯示位置。
第二實施方式
圖15是示出在第二實施方式中頭戴式顯示裝置100A的功能配置的框圖。圖16(A)和圖16(B)是示出包括在頭戴式顯示裝置100A中的圖像顯示單元20A的主要部件配置的圖。圖16(A)是從用戶的頭部觀看的圖像顯示單元20A的主要部件配置透視圖。圖16(B)是視線方向的示意圖。
在第二實施方式中,描述了包括檢測用戶視線的功能和執(zhí)行與位于用戶視線方向上的目標(biāo)對象相對應(yīng)的AR顯示的功能的頭戴式顯示裝置100A。在第二實施方式中,通過相同的附圖標(biāo)記或符號表示與在第一實施方式中的單元一樣配置的單元。省略對這些單元的描述。
圖像顯示單元20A除了圖像顯示單元20的部件(圖2)之外還包括距離傳感器64和視線傳感器68(視線檢測單元)。頭戴式顯示裝置100與頭戴式顯示裝置100A在其他方面相同。頭戴式顯示裝置100A可以執(zhí)行第一實施方式中的頭戴式顯示裝置100的操作。
在圖16(A)中附圖標(biāo)記261A和262A分別表示在右導(dǎo)光板261和左導(dǎo)光板262上形成的半反射鏡。半反射鏡261A和262A對應(yīng)于使得外部場景能夠被透射的顯示圖像的顯示區(qū)。在第一實施方式中在圖像顯示單元20中也存在半反射鏡261A和262A。
如圖16(A)所示,距離傳感器64設(shè)置在右光學(xué)圖像顯示單元26與左光學(xué)圖像顯示單元28之間的邊界部分處。在用戶佩戴圖像顯示單元20A的狀態(tài)下,距離傳感器64的位置基本上在沿著水平方向在用戶的兩只眼睛之間的中間位置,并且沿著垂直方向在用戶的兩只眼睛之上。距離傳感器64檢測與位于預(yù)先設(shè)置的測量方向上的測量目標(biāo)對象的距離。
例如,如圖16(B)所示,距離傳感器64檢測與呈現(xiàn)在用戶右眼RE的視線RD和用戶左眼LE的視線LD的前方的目標(biāo)對象OB的距離。在這種情況下,距離傳感器64執(zhí)行檢測的方向64A是圖像顯示單元20A的前方。
距離傳感器64包括諸如LED或激光二極管的光源和光接收單元,光接收單元接收由光源發(fā)射并且反射在測量目標(biāo)對象上的反射光。在這種情況下,距離傳感器64根據(jù)控制單元140的控制,基于時間差執(zhí)行三角測量處理或測距處理。距離傳感器64可以包括發(fā)射超聲波的聲源和檢測單元,檢測單元接收反射在測量目標(biāo)對象上的超聲波。在這種情況下,距離傳感器64根據(jù)以下描述的位置檢測單元162的控制,基于直到超聲波反射時的時間差執(zhí)行測距處理。注意的是,距離傳感器64可以包括光源和光接收單元或聲源和檢測單元。距離檢測單元173可以執(zhí)行測距處理。
在這個實施方式中距離傳感器64的測量方向是頭戴式顯示裝置100A的前側(cè)方向并且與相機61的圖像采集方向交疊。
如圖16(A)所示,視線傳感器68設(shè)置在圖像顯示單元20A的外側(cè)的表面上。視線傳感器68在右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28之間的中心位置處被設(shè)置為一對,以分別與用戶的右眼RE(圖16(B))和左眼LE(圖16(B))對應(yīng)。視線傳感器68是由例如分別采集用戶的右眼RE和左眼LE的圖像的一對相機配置的。視線傳感器68根據(jù)控制單元140的控制,執(zhí)行圖像采集(圖2)??刂茊卧?40根據(jù)采集的圖像數(shù)據(jù)檢測反射在右眼RE和左眼LE的眼球表面上的光和瞳孔的圖像,并且指定視線方向。視線傳感器68分別采集用戶的左眼和右眼的圖像。因此,當(dāng)用戶閉合眼睛時,可以通過視線傳感器68檢測眼睛的閉合。
如圖15的框圖所示,距離傳感器64和視線傳感器68通過連接單元40連接至控制單元140。距離檢測單元173能夠控制距離傳感器64以檢測目標(biāo)對象的距離。注意的是,控制單元140可以配置成基于相機61采集的圖像數(shù)據(jù)來檢測與目標(biāo)對象的距離。
分割控制單元164可以根據(jù)視線傳感器68檢測的視線方向,調(diào)整通過分割顯示目標(biāo)圖像而獲得的用于右眼的圖像和用于左眼的圖像的顯示模式。
圖17是用于說明頭戴式顯示裝置100A的操作的流程圖,并且示出了用于根據(jù)視線方向調(diào)整用于分割顯示目標(biāo)圖像的邊界位置的操作。圖18(A)至圖18(G)是在圖17中示出的操作的示意圖。圖18(A)、圖18(B)和圖18(C)示出了視野特性。圖18(A)示出了沿著水平方向的視野。圖18(B)示出了沿著垂直方向的視野。圖18(C)示出了在與表示視線方向的直線垂直的表面上的視野的分布。圖18(D)、圖18(E)、圖18(F)和圖18(G)示出了分割的圖像的模式。
通常,公知的是,人們在視野的各個區(qū)域中具有不同觀看特性。具體地,作為集中于圖16(B)中的RD和LD所表示的視線方向上的人類視野,存在著靠近中心的辨別視野(distinguishing visual field)V1、有效視野(effective visual field)V2、和穩(wěn)定的固定視野V3。辨別視野V1是最優(yōu)異地顯示諸如視力(vision)的視功能的中心區(qū)域。辨別視野V1集中在視線方向上約±5°的范圍。辨別視野V1的沿著水平方向的范圍對應(yīng)于附圖中的X1。辨別視野V1的沿著垂直方向的范圍對應(yīng)于在附圖中的Y1。
有效視野V2是僅用眼球就能夠瞬間執(zhí)行信息接收的區(qū)域。有效視野V2的范圍集中在視線方向上的沿著水平方向約±30°的范圍(在附圖中,X2)和沿著垂直方向約±20°的范圍(在附圖中,Y2)。穩(wěn)定的固定視野V3是用眼球和頭部運動可以合理地執(zhí)行注視的范圍。穩(wěn)定的固定視野V3是可以執(zhí)行有效的信息接收的區(qū)域。穩(wěn)定的固定視野V3的范圍集中在視線方向上的沿著水平方向約±60°至90°的范圍(在附圖中,X3)和沿著垂直方向約±45°至70°的范圍(在附圖中,Y3)。
因此,當(dāng)用戶用左眼和右眼結(jié)合圖像并且視覺地識別顯示目標(biāo)圖像(即,在分割之前,分割之前的圖像350)時,如果用于分割分割之前的圖像350的位置(邊界)存在于辨別視野V1或辨別視野V1的附近,則用戶能夠滿意地視覺地識別分割之前的圖像350。因此,分割控制單元164根據(jù)用戶的視線來控制顯示在左邊和右邊的圖像的邊界。
分割控制單元164從存儲單元120獲取關(guān)于主視眼設(shè)置的圖像數(shù)據(jù)(步驟S61),并且基于所獲取的圖像數(shù)據(jù)使得圖像處理單元160顯示用于主視眼設(shè)置的圖像(步驟S62)。當(dāng)觀看用于主視眼設(shè)置的圖像的用戶根據(jù)操作單元135的操作執(zhí)行用于指明主視眼是右眼還是左眼的輸入時,分割控制單元164接收輸入(步驟S63),并且更新與主視眼有關(guān)的設(shè)置數(shù)據(jù)123的設(shè)置(步驟S64)。
在步驟S61至步驟S64的操作中,用戶的主視眼是指定的。如圖16(B)所示,視線傳感器68檢測用戶的右眼RE的視線方向RD和用戶的左眼LE的視線方向LD。然而,被用戶感知到的視線方向不總是在視線方向RD和LD之間的中間位置。主視眼的視線方向經(jīng)常被更強烈地感知。分割控制單元164執(zhí)行用于根據(jù)在圖17中示出的操作來指定用戶的主視眼的處理,并且處理主視眼的視線方向。
在步驟S62中顯示的用于主視眼設(shè)置的圖像是用戶用其能夠容易地辨別主視眼是右眼還是左眼的圖像。用于主視眼設(shè)置的圖像可以是如下圖像:用所述圖像可以通過右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28利用視覺地識別的外部場景來確定主視眼。用于主視眼設(shè)置的圖像可以包括用于引導(dǎo)用戶閉合一只眼睛以確定主視眼的消息或圖像。
分割控制單元164開始對顯示目標(biāo)圖像進(jìn)行顯示(步驟S65)。在步驟S66中,分割控制單元164使得圖像處理單元160顯示通過以預(yù)先設(shè)置的默認(rèn)位置和默認(rèn)形式分割顯示目標(biāo)圖像而獲得的用于右眼的圖像和用于左眼的圖像。
分割控制單元164通過視線傳感器68執(zhí)行視線的檢測(步驟S66)。在步驟S66中,分割控制單元164可以僅基于視線傳感器68檢測到的用戶的主視眼的視線方向來指定視線方向。分割控制單元164可以基于視線傳感器68檢測到的右眼RE的視線方向RD和左眼LE的視線方向LD來計算視線方向,使得主視眼的視線方向是優(yōu)先的。
分割控制單元164確定視線是否已經(jīng)移動(步驟S67)。當(dāng)在上一次執(zhí)行步驟S66中的檢測時的時間處的視線方向與下一次執(zhí)行步驟S66中的檢測時的時間處的視線方向之間的差異超過設(shè)定閾值時,分割控制單元164確定視線方向已經(jīng)移動(在步驟S67中為“是”)。在這種情況下,分割控制單元164根據(jù)在步驟S66中檢測的視線方向指明用于分割顯示目標(biāo)圖像的邊界的位置和交疊區(qū)域的尺寸,并且使得圖像處理單元160更新顯示(步驟S68)。因此,顯示被調(diào)整為最新視線方向的用于右眼的圖像和用于左眼的圖像。注意的是,當(dāng)首次執(zhí)行步驟S66中的操作時,步驟S68中的操作被執(zhí)行為與在視線移動時一樣。
當(dāng)確定視線方向沒有移動(在步驟S67中為“否”)并且在執(zhí)行步驟S68中的操作之后,分割控制單元164確定顯示是否結(jié)束(步驟S69)。當(dāng)顯示繼續(xù)時(在步驟S69中為“否”),分割控制單元164返回至步驟S66。當(dāng)顯示結(jié)束時(在步驟S69中為“是”),分割控制單元164使得圖像處理單元160結(jié)束顯示并且結(jié)束處理。
在圖17所示的操作中,描述了以下示例:基于用戶的選擇輸入來更新與主視眼有關(guān)的設(shè)置數(shù)據(jù)123,并且根據(jù)設(shè)置數(shù)據(jù)123的設(shè)置執(zhí)行步驟S67至步驟S68中的處理。然而,可以自動地改變或更新主視眼設(shè)置。在處理中被分割控制單元164使用的主視眼的設(shè)置可以被臨時地切換,而不更新與主視眼有關(guān)的設(shè)置數(shù)據(jù)123。
人類的主視眼有時候根據(jù)注視方向而改變。因此,當(dāng)在步驟S66中分割控制單元164檢測視線時,如果根據(jù)檢測的視線方向計算的注視方向是在設(shè)置數(shù)據(jù)123中設(shè)置的主視眼的相反側(cè)時,分割控制單元164可以將在設(shè)置數(shù)據(jù)123中設(shè)置的主視眼的相反側(cè)上的眼睛設(shè)置為主視眼,并且執(zhí)行在步驟S67至步驟S68中的處理。例如,當(dāng)右眼通過設(shè)置數(shù)據(jù)123被設(shè)置為主視眼并且在步驟S66中檢測的視線方向?qū)儆谟脩粢曇暗淖蟀氩糠謺r,分割控制單元164可以將左眼設(shè)置為主視眼,并且執(zhí)行步驟S67至步驟S68中的處理。
圖18(D)和圖18(E)示出了與視線方向?qū)?yīng)的用于左眼的圖像384和用于右眼的圖像385的示例。用于左眼的圖像384是通過將分割之前的圖像350(圖4(A))垂直地分割成兩個而獲得的圖像。與在圖4(D)中示出的用于左眼的圖像352相比,用于左眼的圖像384的圖像區(qū)384A包括分割之前的圖像350的一半或者更多。用于右眼的圖像385的圖像區(qū)385A是分割之前的圖像350的下部分,并且包括分割之前的圖像350的一半或者更多。當(dāng)用于左眼的圖像384與用于右眼的圖像385疊加時,生成在附圖中由附圖標(biāo)記W1表示的交疊區(qū)域。交疊區(qū)域W1是被顯示為在用戶的右眼和左眼兩者中都看到的區(qū)域。用戶更加清楚地視覺地識別交疊區(qū)域W1。分割控制單元164基于視線傳感器68的檢測結(jié)果確定圖像區(qū)384A和385A的位置和尺寸,使得用戶的視線被包括在交疊區(qū)域W1中。分割控制單元164使得圖像處理單元160能夠顯示圖像區(qū)384A和385A。
圖18(F)和圖18(G)示出了以下示例:根據(jù)視線傳感器68的檢測結(jié)果由分割控制單元164指定的視線方向向下移動。在圖18(F)和圖18(G)所示的狀態(tài)中,交疊區(qū)域W1根據(jù)視線方向呈現(xiàn)在圖像的下部中。圖像區(qū)384A和385A對應(yīng)于交疊區(qū)域W1的位置而改變。
通過根據(jù)視線方向調(diào)整交疊區(qū)域W1的位置和尺寸,可以顯示圖像使得在用戶視野中的辨別視野V1被包括在交疊區(qū)域W1中。因此,用戶能夠清楚地視覺地識別交疊區(qū)域W1。在用戶的視覺功能不太容易展現(xiàn)的穩(wěn)定的固定視野V3等中,可以通過將圖像分割成左和右來降低處理負(fù)荷。
在圖17描述的處理中,分割控制單元164利用關(guān)于辨別視野V1的一般值來確定用于根據(jù)視線方向分割顯示目標(biāo)圖像的邊界的位置和交疊區(qū)域的尺寸。在這個處理中,分割控制單元164可以執(zhí)行反映個體差異的處理。也就是說,分割控制單元164可以考慮辨別視野、有效視野或穩(wěn)定的固定視野相對于視線方向的范圍,測量標(biāo)準(zhǔn)值與用戶之間的個體差異(差異),并且通過添加該差異來執(zhí)行在圖17中的步驟S68中的處理。
圖19是用于描述頭戴式顯示裝置100A的操作的流程圖并且示出了涉及AR顯示的操作。
分割控制單元164執(zhí)行用于顯示與通過圖像顯示單元20A被用戶視覺地識別的目標(biāo)對象對應(yīng)的AR內(nèi)容的AR顯示。目標(biāo)對象是包括在外部場景中的物理主體、人、動物或遠(yuǎn)景。在AR顯示中,分割控制單元164在與目標(biāo)對象對應(yīng)的位置中顯示圖像、符號等以提供與目標(biāo)對象有關(guān)的信息或者改變通過圖像顯示單元20A看見的目標(biāo)對象的視圖。AR內(nèi)容包括在與目標(biāo)對象對應(yīng)的位置處顯示的圖像數(shù)據(jù)或者符號。用于指定目標(biāo)對象的數(shù)據(jù)、與圖像和符號的顯示位置有關(guān)的數(shù)據(jù)等可以包括在AR內(nèi)容中。AR內(nèi)容的數(shù)據(jù)存儲在例如存儲單元120中。
AR內(nèi)容的顯示位置可以是與目標(biāo)對象交疊的位置或者可以在目標(biāo)對象周圍。在這個實施方式中,目標(biāo)對象是物理主體。目標(biāo)對象可以具有不可移動的特性,例如建筑物,可以是可移動的主體,例如汽車或火車,或者可以是活的有機體,例如人或動物。
分割控制單元164檢測位于用戶的視野中的目標(biāo)對象。AR顯示控制單元186確定與所檢測的目標(biāo)對象對應(yīng)的AR內(nèi)容的顯示位置,并且顯示AR內(nèi)容。期望AR內(nèi)容被顯示為與用戶視覺地識別目標(biāo)對象的位置交疊或者依據(jù)與用戶視覺地識別目標(biāo)對象的位置。因此,分割控制單元164指定目標(biāo)對象的位置。例如存在著根據(jù)相機61采集的圖像數(shù)據(jù)檢測目標(biāo)對象的圖像的方法,作為指定目標(biāo)對象的位置的方法。在這個實施方式中,分割控制單元164估計目標(biāo)對象存在于用戶的視線方向上,并且用距離傳感器64檢測與存在于用戶視線方向上的目標(biāo)對象的距離,以獲得目標(biāo)對象所存在的方向和與目標(biāo)對象的距離。
分割控制單元164獲取存儲在存儲單元120中的AR內(nèi)容的數(shù)據(jù)(步驟S81),并且基于獲取的數(shù)據(jù)使得圖像處理單元160顯示AR內(nèi)容(步驟S82)。圖像處理單元160根據(jù)分割控制單元164的控制,基于預(yù)先設(shè)置的默認(rèn)的分割位置、交疊區(qū)域的默認(rèn)尺寸等來分割A(yù)R內(nèi)容的圖像,并且顯示用于右眼的圖像和用于左眼的圖像。
隨后,分割控制單元164通過視線傳感器68和距離傳感器64執(zhí)行AR的目標(biāo)對象的檢測(步驟S83),并且基于視線傳感器68的檢測結(jié)果和距離傳感器64的檢測結(jié)果來指定AR的目標(biāo)對象所存在的方向(步驟S84)。在步驟S84中指定的方向是相對于作為圖像顯示單元20A的顯示單元的右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28的相對方向,因此,不僅在目標(biāo)對象移動時,而且在圖像顯示單元20A相對于目標(biāo)對象移動時,目標(biāo)對象的方向改變。
分割控制單元164確定目標(biāo)對象的方向是否已經(jīng)改變(步驟S85)。當(dāng)在上一次在步驟S84中指定的方向與下一次在步驟S84中指定的方向之間的差達(dá)到預(yù)先設(shè)置的閾值時,分割控制單元164確定目標(biāo)對象的方向已經(jīng)改變(在步驟S85中為“是”)。在這種情況下,分割控制單元164根據(jù)在步驟S85中檢測的方向來改變用于分割顯示目標(biāo)圖像的邊界的位置和交疊區(qū)域的尺寸的設(shè)置(步驟S86),并且根據(jù)改變之后的設(shè)置更新顯示(步驟S87)。因此,顯示了被調(diào)整至目標(biāo)對象的方向的用于右眼的圖像和用于左眼的圖像。注意的是,當(dāng)步驟S84中的操作首次執(zhí)行時,以與目標(biāo)對象的方向改變時的方式相同的方式來執(zhí)行步驟S86中的操作。
當(dāng)確定目標(biāo)對象的方向還沒有改變(在步驟S85中為“否”)并且在執(zhí)行了步驟S87中的操作之后,分割控制單元164確定顯示是否結(jié)束(步驟S88)。當(dāng)顯示繼續(xù)時(在步驟S88中為“否”),分割控制單元164返回至步驟S83。當(dāng)顯示結(jié)束時(在步驟S88中為“是”),分割控制單元164使得圖像處理單元160結(jié)束顯示并且結(jié)束處理。
如此,根據(jù)應(yīng)用本發(fā)明的第二實施方式的頭戴式顯示裝置100A包括在頭戴式顯示裝置100A中檢測用戶的視線方向的視線傳感器68。分割控制單元164根據(jù)視覺傳感器68檢測的視線方向來控制用于右眼的圖像的圖像區(qū)在右光學(xué)圖像顯示單元26中的顯示位置和用于左眼的圖像的圖像區(qū)在左光學(xué)圖像顯示單元28中的顯示位置。因此,可以根據(jù)用戶的視線方向調(diào)整圖像區(qū)的顯示位置并且滿意地保持顯示目標(biāo)圖像的可視性。
分割控制單元164可以根據(jù)視線傳感器68檢測的用戶主視眼的視線方向來控制用于右眼的圖像的圖像區(qū)在右光學(xué)圖像顯示單元26中的顯示位置和用于左眼的圖像的圖像區(qū)在左光學(xué)圖像顯示單元28中的顯示位置。因此,可以調(diào)整圖像區(qū)的顯示位置以優(yōu)先考慮用戶的主視眼的視線方向??梢詽M意地保持顯示目標(biāo)圖像的可視性。
分割控制單元164起AR顯示控制單元的作用,其根據(jù)用戶視覺地識別包括在外部場景中的目標(biāo)對象的位置使右光學(xué)圖像顯示單元26和左光學(xué)圖像顯示單元28顯示顯示目標(biāo)圖像。分割控制單元164根據(jù)用戶視覺地識別目標(biāo)對象的位置來控制用于右眼的圖像的圖像區(qū)在右光學(xué)圖像顯示單元26中的顯示位置和用于左眼的圖像的圖像區(qū)在左光學(xué)圖像顯示單元28中的顯示位置。因此,可以滿意地執(zhí)行與包括在外部場景中的目標(biāo)對象對應(yīng)的AR顯示。
與被用戶視覺地識別的在外部場景中的目標(biāo)對象相對應(yīng)的顯示處理不限于AR顯示。分割控制單元164可以執(zhí)行所謂的MR(混合現(xiàn)實)顯示和VR(虛擬現(xiàn)實)顯示。分割控制單元164基于視線傳感器68檢測的用戶的視線方向,指定在外部場景中的目標(biāo)對象或者被用戶視覺地識別或者注視的目標(biāo)對象的位置。分割控制單元164僅需要用顯示控制單元190顯示基于相機61采集的圖像而生成的MR圖像,或者顯示包括CG(計算機圖形)的VR圖像,該CG用于與在外部場景中的目標(biāo)對象或者被用戶視覺地識別或者注視的目標(biāo)對象相對應(yīng)的VR顯示。MR圖像是例如通過將預(yù)先生成并存儲的CG或由控制單元140生成的CG與相機61的采集圖像結(jié)合而獲得的圖像。VR圖像是利用預(yù)先生成并存儲的CG或者由控制單元140生成的CG創(chuàng)建的圖像。當(dāng)執(zhí)行MR顯示或VR顯示時,分割控制單元164可以分割作為顯示目標(biāo)圖像的MR圖像和VR圖像,并且在右光學(xué)圖像顯示單元26上顯示用于右眼的圖像,以及在左光學(xué)圖像顯示單元28上顯示用于左眼的圖像。
注意的是,以上所描述的第一實施方式和第二實施方式僅是應(yīng)用本發(fā)明的具體模式的示例,并且不限制本發(fā)明。本發(fā)明還可以實施為與所述實施方式不同的模式。例如,可以將圖像顯示單元20配置為包括有機EL(有機電致發(fā)光)顯示器和有機EL控制單元,作為在圖像顯示單元20中用于生成圖像光的配置。還可以使用LCOS(硅上液晶,LCoS是注冊商標(biāo))、數(shù)字微鏡器件等。例如,本發(fā)明還應(yīng)用于例如激光視網(wǎng)膜投影類型的頭戴顯示器。也就是說,可以采用以下配置:其中圖像生成單元包括激光束源和用于將激光束引導(dǎo)至用戶的眼睛的光學(xué)系統(tǒng),使得激光束入射在用戶的眼睛上,以在視網(wǎng)膜上掃描激光束,將激光束聚焦在視網(wǎng)膜上從而使得用戶視覺地識別圖像。當(dāng)采用激光視網(wǎng)膜投影類型的頭戴顯示器時,“在圖像光生成單元中能夠發(fā)射圖像光的區(qū)域”可以被限定為被用戶的眼睛識別的圖像區(qū)。
可以采用以下配置作為用于將圖像光引導(dǎo)至用戶的眼睛的光學(xué)系統(tǒng):所述配置包括用于透射從外部朝著裝置入射的外部光的光學(xué)構(gòu)件,并且所述配置使得外部光與圖像光一起入射在用戶的眼睛上??梢允褂梦挥谟脩粞劬Φ那胺讲⑶遗c用戶的視野的一部分或全部交疊的光學(xué)構(gòu)件。另外,可以采用掃描激光光束等并且將激光光束改變成圖像光的掃描類型的光學(xué)系統(tǒng)。光學(xué)系統(tǒng)不限于將圖像光引導(dǎo)在光學(xué)構(gòu)件的內(nèi)側(cè)的的光學(xué)系統(tǒng),并且可以是僅具有折射和/或反射圖像光的功能并且將圖像光引導(dǎo)至用戶的眼睛的光學(xué)系統(tǒng)。
本發(fā)明還可應(yīng)用于以下顯示裝置:其中采用包括MEMS(微機電系統(tǒng))反射鏡的掃描光學(xué)系統(tǒng)并且使用MEMS顯示技術(shù)。也就是說,作為圖像顯示元件,顯示裝置可以包括信號光形成單元、包括MEMS反射鏡(其掃描信號光形成單元發(fā)射的光)的掃描光學(xué)系統(tǒng)、以及在其上通過掃描光學(xué)系統(tǒng)掃描的光形成虛擬圖像的光學(xué)構(gòu)件。在這個配置中,信號光形成單元發(fā)射的光被MEMS反射鏡反射,入射在光學(xué)構(gòu)件上,在光學(xué)構(gòu)件中被引導(dǎo),并且到達(dá)虛擬圖像形成表面。MEMS反射鏡掃描光,以在虛擬圖像形成表面上形成虛擬圖像。用戶用眼睛捕捉虛擬圖像以識別圖像。在這種情況下,光學(xué)部件可以是通過多次反射引導(dǎo)光的光學(xué)部件,例如在這個實施方式中的右導(dǎo)光板261和左導(dǎo)光板262??梢允褂冒敕瓷溏R表面。
以下描述了采用MEMS反射鏡的配置作為第三實施方式。
第三實施方式
圖20是在應(yīng)用本發(fā)明的第三實施方式中頭戴式顯示裝置100B的基本配置的框圖。
頭戴式顯示裝置100B是通過將圖像顯示單元20B連接至在第一實施方式和第二實施方式中所描述的控制裝置10而配置的。圖像顯示單元20B具有以下配置:其中用右顯示驅(qū)動單元22A和左顯示驅(qū)動單元24A代替包括在第一實施方式中的圖像顯示單元20的右顯示驅(qū)動單元22和左顯示驅(qū)動單元24和在第二實施方式中描述的圖像顯示單元20A。
右顯示驅(qū)動單元22A包括光源401、右光源驅(qū)動單元402、包括反射鏡403的MEMS掃描器404(光掃描單元)、反射鏡驅(qū)動控制單元405和接收單元53。
光源401包括例如激光束源(附圖中未示出),并且發(fā)射通過結(jié)合紅(R)、綠(G)和藍(lán)(B)顏色的光而獲得的光。右光源驅(qū)動單元402向光源401提供驅(qū)動電流并且點亮光源401。
反射鏡403設(shè)置為面對輻射單元,光源401從輻射單元輻射光。反射鏡403反射光源401發(fā)射的光。MEMS掃描器404移動反射鏡403以控制傾角,從而改變反射鏡403反射的光的光路。根據(jù)MEMS掃描器404的操作,反射鏡403反射的光入射在右導(dǎo)光板261的半反射鏡261A(圖16(A))上。MEMS掃描器404能夠通過以高的速度驅(qū)動反射鏡403來二維地掃描(掃掠)反射鏡403反射在半反射鏡261A上的光。因此,可以在半反射鏡261A上用反射鏡403反射的光形成圖像,并且將圖像顯示給用戶。
反射鏡驅(qū)動控制單元405基于通過接收單元53接收的控制數(shù)據(jù)來控制MEMS掃描器404的運動。
左顯示驅(qū)動單元24A包括光源411、左光源驅(qū)動單元412、包括反射鏡413的MEMS掃描器414(光掃描單元)、反射鏡驅(qū)動控制單元415和接收單元54。
光源411包括例如激光束源(附圖中未示出),并且發(fā)射通過結(jié)合紅(R)、綠(G)和藍(lán)(B)顏色的光而獲得的光。左光源驅(qū)動單元412向光源411提供驅(qū)動電流并且點亮光源411。
反射鏡413設(shè)置為面對輻射單元,光源411從輻射單元輻射光。反射鏡413反射光源411發(fā)射的光。MEMS掃描器414移動反射鏡413以控制傾角,從而改變反射鏡413反射的光的光路。根據(jù)MEMS掃描器414的操作,反射鏡413反射的光入射在左導(dǎo)光板262的半反射鏡262A(圖16(A))上。MEMS掃描器414能夠通過以高的速度驅(qū)動反射鏡413來二維地掃描(掃掠)反射鏡423反射在半反射鏡262A上的的光。因此,可以在半反射鏡262A上用反射鏡413反射的光形成圖像,并且將圖像顯示給用戶。
反射鏡驅(qū)動控制單元415基于通過接收單元54接收的控制數(shù)據(jù)來控制MEMS掃描器414的運動。
在這個配置中,半反射鏡261A和262A起反射單元的作用。
圖21(A)至圖21(D)是示出顯示系統(tǒng)的示例的示意圖,頭戴式顯示裝置100A用所述顯示系統(tǒng)顯示圖像。圖21(A)示出了在右導(dǎo)光板261中掃描的示例。圖21(B)、圖21(C)和圖21(D)示出了當(dāng)執(zhí)行分割顯示時執(zhí)行的掃描的示例。
如圖21(A)所示,圖像顯示單元20B掃描由激光器發(fā)射的圖像光,以顯示圖像。例如,在半反射鏡261A中,圖像光沿著由軌跡405A表示的水平方向掃描。具體地,圖像光在半反射鏡261A上沿著水平方向移動,在半反射鏡261A的端部返回并且傾斜地向下移動,并且沿著水平方向再次移動。因此,折返部405B形成在軌跡405A的兩端處。為了處理折返部405B的形成,在半反射鏡261A中,不包括折返部405B的范圍形成為可顯示區(qū)261C。盡管在附圖中未示出,但是當(dāng)左顯示驅(qū)動單元24A執(zhí)行在左導(dǎo)光板262上的顯示時這同樣適用。
在折返部405B中右顯示驅(qū)動單元22A驅(qū)動MEMS掃描器404。另一方面,右顯示驅(qū)動單元22A能夠通過右光源驅(qū)動單元402的控制來停止光源401的光的發(fā)射。因此,在折返部405B中,實際上,光沒有輻射在半反射鏡261A上。用戶視覺地識別可顯示區(qū)261C的光。在可顯示區(qū)261C中,在反射鏡403反射的光水平地移動并且同時反射的光傾斜地向下移動的同時,通過輻射在半反射鏡261A上的光形成圖像。注意的是,可以使光輻射在可顯示區(qū)261C上并且僅在反射鏡403反射的光水平移動時形成圖像。在這種情況下,在反射鏡403反射的光傾斜地向下移動的過程中不形成圖像。
當(dāng)頭戴式顯示裝置100B根據(jù)分割控制單元164的控制執(zhí)行分割顯示時,例如,如圖21(B)和圖21(C)所示,頭戴式顯示裝置100B沿著水平方向分割顯示目標(biāo)圖像,并且顯示該顯示目標(biāo)圖像。在圖21(B)中,示出了在半反射鏡262A上的左導(dǎo)光板262的掃描范圍。在圖21(C)中,示出了在半反射鏡261A上的掃描范圍。當(dāng)執(zhí)行分割顯示時,在右保持單元21和左導(dǎo)光板262中的每一個中,考慮到折返部405B,在比可顯示區(qū)261C和262C的一半大的區(qū)域中執(zhí)行圖像光的掃描。因此,在MEMS掃描器404和414執(zhí)行掃描(掃掠)的范圍內(nèi),如圖21(D)所示,至少是折返部405B交疊,并且圖像被顯示為形成交疊區(qū)域W11。期望交疊區(qū)域W11不僅包括折返部405B還包括軌跡405A。
如圖22(A)至圖22(E),頭戴式顯示裝置100B可以顯示包括沿著縱向方向延伸的帶狀圖像區(qū)和偽圖像區(qū)的分割的圖像。
圖22(A)至圖22(E)示出了圖像的顯示示例。圖22(A)示出了分割之前的圖像350。圖22(B)和圖22(C)示出了分割的圖像。分割的圖像395包括要被用戶的左眼視覺地識別的用于左眼的分割的圖像片段395A和由假數(shù)據(jù)形成的偽圖像區(qū)395B。分割的圖像396包括要被用戶的右眼視覺地識別的用于右眼的分割的圖像片段396A和由假數(shù)據(jù)形成的偽圖像區(qū)396B。
當(dāng)右顯示驅(qū)動單元22A顯示分割的圖像片段395A并且左顯示驅(qū)動單元24A顯示分割的圖像片段396A時,如圖22(D)所示,可以沿著水平方向掃描圖像光。在這種情況下,右光源驅(qū)動單元402和左光源驅(qū)動單元412執(zhí)行以下控制:在與分割的圖像片段395A和396A對應(yīng)的位置處輻射圖像光,并且在偽圖像區(qū)395B和396B以及折返部405B中阻擋圖像光。
如圖22(D)所示,右顯示驅(qū)動單元22A和左顯示驅(qū)動單元24A可以沿著縱向方向掃描反射鏡403和413反射的光。也就是說,右顯示驅(qū)動單元22A根據(jù)分割的圖像片段395A的寬度沿著水平方向掃描反射鏡403反射的光,傾斜地向下返回反射的光,并且再次沿著水平方向掃描反射的光。右顯示驅(qū)動單元22A重復(fù)掃描以掃掠與一個分割的圖像片段395A對應(yīng)的范圍。右顯示驅(qū)動單元22A執(zhí)行與分割的圖像片段395A的數(shù)目相同次數(shù)的掃掠。左顯示驅(qū)動單元24A也可以執(zhí)行掃掠。在這種情況下,可以降低在與偽圖像區(qū)395B對應(yīng)的區(qū)域中的掃掠??梢酝ㄟ^圖像光有效地執(zhí)行顯示。
分割控制單元164可以生成分割的圖像397和分割的圖像398,分割的圖像397包括沿著水平方向延伸的帶狀分割的圖像片段397A和偽圖像區(qū)397B,分割的圖像398包括沿著水平方向延伸的帶狀分割的圖像片段398A和偽圖像區(qū)398B。
在這種情況下,如圖23(C)所示,期望右顯示驅(qū)動單元22A沿著水平方向掃掠反射鏡403反射的光。這同樣適用于左顯示驅(qū)動單元24A。
如此,頭戴式顯示裝置100B可以根據(jù)分割控制單元164的控制,共同地控制用于分割顯示目標(biāo)圖像的方法和模式以及右顯示驅(qū)動單元22A和左顯示驅(qū)動單元24A利用MEMS掃掠圖像光的模式。因此,可以更有效地顯示圖像,并且降低與圖像顯示有關(guān)的負(fù)荷。
圖24是用于說明頭戴式顯示裝置100B的操作的流程圖。特別是,圖24示出了用于基于圖像數(shù)據(jù)開始圖像的顯示的操作。
分割控制單元164從存儲單元120獲取顯示目標(biāo)圖像數(shù)據(jù)(步驟S101),并且確定用于分割圖像的邊界位置(步驟S102)。隨后,分割控制單元164通過將非渲染部分添加至在步驟S102中確定的邊界位置來確定分割的圖像的尺寸(步驟S103),在非渲染部分中圖像不能被顯示,與在折返部405B中一樣。在步驟S103中確定的尺寸不表示放大比或縮小比,并且是與設(shè)置在分割的圖像中的交疊區(qū)域的尺寸有關(guān)的尺寸。在步驟S103中可以改變用于分割圖像的邊界位置。
之后,分割控制單元164基于分割的圖像的所確定的邊界和尺寸,使得圖像處理單元160生成分割的圖像的數(shù)據(jù)(步驟S104),并且開始顯示(步驟S105)。
根據(jù)應(yīng)用本發(fā)明的第三實施方式的頭戴式顯示裝置100B可以執(zhí)行在第一實施方式和第二實施方式中描述的操作并且獲得相同的效果。
另外,頭戴式顯示裝置100B包括光源401、右光源驅(qū)動單元402、包括反射鏡403的MEMS掃描器404、以及包括反射鏡驅(qū)動控制單元405的右顯示驅(qū)動單元22A。頭戴式顯示裝置100B包括光源411、左光源驅(qū)動單元412、包括反射鏡413的MEMS掃描器414、以及包括反射鏡驅(qū)動控制單元415的左顯示驅(qū)動單元24A。頭戴式顯示裝置100B生成與MEMS掃描器404和414掃描圖像光的幅值相對應(yīng)的分割的圖像,并且用圖像顯示單元20B顯示分割的圖像。例如,考慮到在圖像光的掃描中的折返部405B,分割控制單元164控制圖像處理單元160以生成分割的圖像。因此,在用于通過圖像光的掃掠而顯示圖像的配置中,可以控制顯示使得分割的圖像被滿意地視覺地識別。
注意的是,本發(fā)明不限于實施方式的配置,并且在不脫離本發(fā)明的精神的情況下可以以各種模式執(zhí)行。
例如,在實施方式中,描述了以下示例:矩形的分割之前的圖像350被分割和顯示。然而,本發(fā)明不限制要顯示的圖像的像素的尺寸、形狀和數(shù)目、圖像是彩色圖像還是單色圖像、以及圖像是運動圖像還是靜止圖像。
在實施方式中,在用于右眼的圖像和用于左眼的圖像中的分割的區(qū)域可以在每個預(yù)定的時間(例如每一幀)被切換。在這種情況下,可以使得左眼和右眼在每個預(yù)定的時間視覺地識別一個分割之前的圖像。因此,可以期望提高圖像的可視性的效果。
在這個實施方式中,圖像處理單元160被描述為配置成將形成內(nèi)容的圖像的數(shù)字圖像信號一幀一幀地存儲在DRAM中,分割圖像,并且生成分割的圖像。然而,本發(fā)明不限于此。例如,當(dāng)由圖像供給裝置OA輸入模擬圖像信號時,圖像處理單元160可以分割模擬圖像信號。另外,在分別向右顯示驅(qū)動單元22和左顯示驅(qū)動單元24輸出模擬圖像信號的配置中,圖像處理單元160可以在偽圖像區(qū)中生成模擬圖像信號,并且合并該模擬圖像信號。也就是說,圖像處理單元160可以將在偽圖像區(qū)中的模擬圖像信號與輸出至右顯示驅(qū)動單元22和左顯示驅(qū)動單元24的模擬圖像信號結(jié)合,以生成和輸出第一圖像和第二圖像。
可以省略設(shè)置在控制裝置10中的方向鍵16和觸摸板14中之一。除了方向鍵16和觸摸板14之外,或者代替于方向鍵16和觸摸板14,還可以設(shè)置用于操作的其他接口諸如用于操作的桿。諸如鍵盤和鼠標(biāo)的輸入裝置可以是可連接至控制裝置10的??刂蒲b置10可以從鍵盤和鼠標(biāo)接收輸入。
本發(fā)明的顯示裝置不限于頭戴式顯示裝置,并且還可以應(yīng)用于各種顯示裝置,例如平板顯示器和投影儀。本發(fā)明的顯示裝置僅需要使得用戶能夠利用圖像光和外部光一起視覺地識別圖像的顯示裝置。顯示裝置的示例包括以下配置:該配置使得用戶利用透射外部光的光學(xué)構(gòu)件通過圖像光視覺地識別圖像。具體地,顯示裝置除了可應(yīng)用于包括有在頭戴顯示器中透射外部光的光學(xué)構(gòu)件的配置之外,還可應(yīng)用于將圖像光投射在固定地或可移動地設(shè)置在遠(yuǎn)離用戶的位置處的半透明平面或曲面(玻璃、透明塑料等)上的顯示裝置。顯示裝置的示例包括以下顯示裝置的配置:將圖像光投射在車輛的窗玻璃上,并且使得在車輛上的用戶或者在車輛外的用戶與圖像光的圖像一起視覺地識別車輛內(nèi)部和外部的場景,以及以下顯示裝置的配置:將圖像光投射在固定設(shè)置的透明,或半透明,或彩色透明顯示表面上(例如建筑物的窗玻璃),并且使得在顯示表面周圍的用戶與圖像光的圖像一起視覺地識別通過顯示表面場景。
用于利用相機61采集的圖像或CG執(zhí)行MR顯示或VR顯示的配置不限于使得用戶能夠視覺地識別圖像與外部光的顯示裝置,并且還適用于各種顯示裝置,例如,在不能視覺地識別外部場景的狀態(tài)下顯示圖像的顯示裝置。具體地,本發(fā)明可以應(yīng)用于以下顯示裝置:該顯示裝置顯示例如相機61采集的圖像、基于采集的圖像生成的CG和圖像、以及基于預(yù)先存儲的視頻數(shù)據(jù)的視頻和從外部輸入的視頻數(shù)據(jù)。這種類型的顯示裝置可以包括所謂的封閉類型的顯示裝置,利用該顯示裝置,外部場景不能被視覺地識別。不執(zhí)行諸如AR顯示、MR顯示或VR顯示的處理、并且顯示從外部輸入的視頻數(shù)據(jù)或模擬視頻信號的顯示裝置自然地被包括作為本發(fā)明的應(yīng)用目標(biāo)。
在這個實施方式中,示出了戴在用戶頭上的眼鏡類型的圖像顯示單元20。然而,本發(fā)明不限于此。例如,可以采用諸如戴起來像帽子一樣的圖像顯示單元的另一類型的圖像顯示單元代替圖像顯示單元20。圖像顯示單元可以是其他配置。圖像顯示單元僅需要包括顯示與用戶左眼對應(yīng)的圖像的顯示單元和顯示與用戶右眼對應(yīng)的圖像的顯示單元。根據(jù)本發(fā)明的顯示裝置可以配置為可安裝在交通工具(例如,汽車或飛機)上的頭戴顯示器。例如,顯示裝置可以配置為結(jié)合在人體保護(hù)器(例如,頭盔)中的頭戴顯示器或者可以是用于汽車風(fēng)擋的頭戴顯示器(HUD)。另外,例如,可以采用由用戶雙手使用的雙目類型的手持顯示器作為這種應(yīng)用的圖像顯示單元20。另外,可以采用將光聚焦在用戶的眼球中的視網(wǎng)膜上的顯示器,諸如所謂的隱形眼睛類型顯示器或者嵌入在眼球中的植入類型顯示器(在附接至用戶兩只眼睛的眼球(即,在角膜上)的同時被使用),作為圖像顯示單元20。在所有的情況下,使得用戶的一只眼睛能夠識別圖像的顯示單元可以被設(shè)置為第一顯示單元,并且使得另一只眼睛能夠識別圖像的顯示單元可以被設(shè)置為第二顯示單元。
另外,在這個實施方式中,描述了圖像顯示單元20和控制裝置10分開并且經(jīng)由連接單元40連接的配置作為示例。然而,還可以采用以下配置:控制裝置10和圖像顯示單元20被一體地配置并且佩戴在用戶的頭上。
控制裝置10和圖像顯示單元20可以通過較長的電纜或無線通信線路連接??梢允褂霉P記本計算機、平板計算機、或臺式計算機、包括游戲機、蜂窩電話、智能電話、和便攜式媒體播放器的便攜式電子設(shè)備、其他專用設(shè)備等作為控制裝置10。
在圖2、圖15和圖20中示出的功能塊的至少一部分可以通過硬件實現(xiàn),或者可以配置成通過硬件和軟件的結(jié)合實現(xiàn)。功能塊不限于以下配置:獨立的硬件資源被設(shè)置為如圖2、圖15和圖20所示。由控制單元140執(zhí)行的程序可以被存儲在存儲單元120或控制裝置10中的存儲裝置中,或者存儲在外部裝置中的程序可以配置成經(jīng)由通信單元117或接口180來獲取并且被執(zhí)行。在控制裝置10中形成的部件之中,僅操作單元135可以形成為獨立的用戶接口(UI)。在這個實施方式中電源130可以是獨立形成的,并且配置為是可替換的。在控制裝置10中形成的部件可以冗余地形成在圖像顯示單元20中。例如,在圖2、圖15和圖20中示出的控制單元140可以形成在控制裝置10和圖像顯示單元20兩者中。由形成在控制裝置10中的控制單元140和形成在圖像顯示單元20中的CPU執(zhí)行的功能可以被配置為單獨地分割。
[附圖標(biāo)記列表]
10 控制裝置
20、20A、20B 圖像顯示單元:
21 右保持單元
22、22A 右顯示驅(qū)動單元(第二顯示單元)
23 左保持單元
24,24A 左顯示驅(qū)動單元(第一顯示單元)
26 右光學(xué)圖像顯示單元(第二顯示單元)
28 左光學(xué)圖像顯示單元(第一顯示單元)
68 視線傳感器(視線檢測單元)
100、100A、100B 頭戴式顯示裝置(顯示裝置)
110 輸入信息獲取單元(接收單元)
117 通信單元
120 存儲單元
140 控制單元
150 操作系統(tǒng)
160 圖像處理單元
164 分割控制單元(顯示狀態(tài)控制單元)
170 聲音處理單元
180 接口
190 顯示控制單元
201 右背光控制單元
202 左背光控制單元
211 右LCD控制單元
212 左LCD控制單元
221 右背光
222 左背光
241 右LCD
242 左LCD
251 右投影光學(xué)系統(tǒng)
252 左投影光學(xué)系統(tǒng)
261 右導(dǎo)光板
261A、262A 半反射鏡(反射單元)
262 左導(dǎo)光板
401、411 光源
402 右光源驅(qū)動單元
403、413 反射鏡
404、414 MEMS掃描器(光掃描單元)
405、415 反射鏡驅(qū)動控制單元
412 左光源驅(qū)動單元