圖像顯示裝置和圖像顯示方法
【專利摘要】提供了配戴在頭部和面部上并且用于觀看圖像的優(yōu)異的圖像顯示裝置和圖像顯示方法。當(dāng)在顯示單元(309)上顯示諸如電影或計(jì)算機(jī)圖形的虛擬世界的圖像時(shí)，這個(gè)頭戴式顯示器(100)暫時(shí)清除在觸摸面板上指定的區(qū)域中的圖像并且顯示通過外部的攝像機(jī)(312)拍攝的現(xiàn)實(shí)世界的圖像。用戶通過查看與虛擬世界的圖像相混合的現(xiàn)實(shí)世界的圖像，能夠感知現(xiàn)實(shí)世界并且與現(xiàn)實(shí)世界適當(dāng)?shù)亟换?，從而減輕心理抵抗感并且可以避免諸如與現(xiàn)實(shí)世界中的實(shí)物碰撞造成的身體傷害。
【專利說明】
圖像顯示裝置和圖像顯示方法
技術(shù)領(lǐng)域
[0001]本說明書中公開的技術(shù)涉及配戴在用戶的頭部或面部并用于觀看圖像的圖像顯示裝置并且涉及圖像顯示方法。
【背景技術(shù)】
[0002]配戴在頭部或面部并用于觀看圖像的圖像顯示裝置，或者換言之，已知的頭戴式顯示器。利用頭戴式顯示器，為左眼和右眼中的每個(gè)布置圖像顯示單元，并且例如由虛擬圖像光學(xué)系統(tǒng)形成顯示圖像的放大的虛擬圖像，從而使得用戶能夠觀看到身臨其境的圖像。頭戴式顯示器是非常流行的。如果大量生產(chǎn)將在未來進(jìn)一步發(fā)展，在頭戴式顯示器會(huì)變得像移動(dòng)電話、智能手機(jī)或手提式游戲機(jī)一樣普遍，并且每個(gè)人都可以擁有他們自己的頭戴式顯示器。
[0003]頭戴式顯示器被配置為在配戴在頭部上時(shí)直接覆蓋用戶的眼睛。換言之，頭戴式顯示器是不透明的，因而在觀看圖像時(shí)增加了身臨其境的感覺。虛擬圖像光學(xué)系統(tǒng)被用于放大和投射顯示屏幕，使得用戶能夠?qū)D像觀看為在合適的視角下的放大虛擬圖像。此外，如果利用耳機(jī)再現(xiàn)多聲道音頻，則可以再造電影院中的感覺(例如，參見專利文獻(xiàn)I)。另一方面，還存在透視頭戴式顯示器，即使在用戶將該裝置配戴在他的或她的頭部上并且顯示圖像時(shí)，仍可以透過圖像看見外界環(huán)境(即，透視圖像)(例如，參見專利文獻(xiàn)2)。
[0004]無論類型是不透明的還是透視的，頭戴式顯示器都限制了配戴用戶的視覺和聽覺。因此，存在關(guān)于用戶處于與現(xiàn)實(shí)世界隔絕并且對(duì)外部世界中發(fā)生的現(xiàn)象較慢地做出反應(yīng)的擔(dān)憂。

【發(fā)明內(nèi)容】

[0005]技術(shù)問題
[0006]本說明書中公開的技術(shù)的目的是提供配戴在用戶的頭部或面部并且用于觀看圖像的優(yōu)異的圖像顯示裝置以及圖像顯示方法。
[0007]問題的解決方案
[0008]有鑒于上述問題提出本申請(qǐng)，權(quán)利要求1中陳述的技術(shù)是一種配戴在頭部或面部上的圖像顯示裝置，包括:顯示單元;現(xiàn)實(shí)世界圖像獲取單元，被配置為獲取現(xiàn)實(shí)世界(realworld)的圖像;區(qū)域指定單元(reg1n specificat1n unit)，被配置為指定顯示該現(xiàn)實(shí)世界的圖像的區(qū)域；以及圖像生成單元，被配置為基于指定的該區(qū)域?qū)⒃摤F(xiàn)實(shí)世界的圖像混合至虛擬圖像(virtual image)中并且生成顯示在該顯示單元上的圖像。
[0009]根據(jù)本申請(qǐng)的權(quán)利要求2中所陳述的技術(shù)，根據(jù)權(quán)利要求1該的圖像顯示裝置的顯示單元被布置在將該圖像顯示裝置配戴在他或她的頭部或面部上的用戶的眼睛位置處，并且該圖像顯示裝置進(jìn)一步包括拍攝該用戶的凝視方向(gaze direct1n，視線方向)的圖像的圖像拍攝單元。該現(xiàn)實(shí)世界圖像獲取單元獲取通過該圖像拍攝單元拍攝的該現(xiàn)實(shí)世界的圖像。
[0010]根據(jù)本申請(qǐng)的權(quán)利要求3中所陳述的技術(shù)，根據(jù)權(quán)利要求1該的圖像顯示裝置進(jìn)一步包括:虛擬世界圖像生成單元，被配置為生成虛擬世界的圖像；以及區(qū)域圖像生成單元，被配置為計(jì)算與通過該區(qū)域指定單元指定的該區(qū)域相對(duì)應(yīng)的該現(xiàn)實(shí)世界的圖像辦和該虛擬世界的圖像Rv，其中，該圖像生成單元通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換為該現(xiàn)實(shí)世界的該對(duì)應(yīng)區(qū)域的圖像Ri來生成顯示在該顯示單元上的圖像。
[0011]根據(jù)本申請(qǐng)的權(quán)利要求4中所陳述的技術(shù)，根據(jù)權(quán)利要求3的圖像顯示裝置的該區(qū)域指定單元基于用戶的操作指定顯示該現(xiàn)實(shí)世界的圖像的該區(qū)域。
[0012]根據(jù)本申請(qǐng)的權(quán)利要求5中所陳述的技術(shù)，根據(jù)權(quán)利要求4的圖像顯示裝置的該圖像生成單元基于從該用戶執(zhí)行用于指定該區(qū)域的操作時(shí)起所經(jīng)過的時(shí)間來控制該現(xiàn)實(shí)世界的圖像的混合比例(mixture rat1)。
[0013]根據(jù)本申請(qǐng)的權(quán)利要求6中所陳述的技術(shù)，在從該用戶執(zhí)行用于指定該區(qū)域的操作時(shí)起經(jīng)過固定時(shí)間之后，根據(jù)權(quán)利要求5的圖像顯示裝置的圖像生成單元將該對(duì)應(yīng)區(qū)域從該現(xiàn)實(shí)世界的圖像R1切換至該虛擬世界的圖像Rv，或者將該對(duì)應(yīng)區(qū)域逐漸恢復(fù)到該虛擬世界的圖像Rv。
[0014]根據(jù)本申請(qǐng)的權(quán)利要求7中所陳述的技術(shù)，根據(jù)權(quán)利要求4的圖像顯示裝置進(jìn)一步包括:輸入單元，被配置為接受該用戶的輸入操作，其中，該區(qū)域指定單元基于該用戶對(duì)該輸入單元的操作來指定顯示該現(xiàn)實(shí)世界的圖像的該區(qū)域。
[0015]根據(jù)本申請(qǐng)的權(quán)利要求8中所陳述的技術(shù)，根據(jù)權(quán)利要求7的圖像顯示裝置的該輸入單元是觸摸面板，并且該區(qū)域指定單元指定與該用戶觸摸該觸摸面板的位置相對(duì)應(yīng)的區(qū)域。
[0016]根據(jù)本申請(qǐng)的權(quán)利要求9中所陳述的技術(shù)，根據(jù)權(quán)利要求8的圖像顯示裝置的觸摸面板被布置在顯示單元的顯示屏幕的背面。
[0017]根據(jù)本申請(qǐng)的權(quán)利要求10中所陳述的技術(shù)，根據(jù)權(quán)利要求4的圖像顯示裝置的區(qū)域指定單元被配置為基于該用戶的手勢(shì)操作指定顯示該現(xiàn)實(shí)世界的圖像的區(qū)域。
[0018]根據(jù)本申請(qǐng)的權(quán)利要求11中所陳述的技術(shù)，根據(jù)權(quán)利要求4的圖像顯示裝置的該區(qū)域指定單元根據(jù)該用戶在該現(xiàn)實(shí)世界的圖像與該虛擬世界的圖像之間的邊界上的操作改變顯示該現(xiàn)實(shí)世界的圖像的區(qū)域。
[0019]根據(jù)本申請(qǐng)的權(quán)利要求12中所陳述的技術(shù)，根據(jù)權(quán)利要求1的圖像顯示裝置進(jìn)一步包括:實(shí)物檢測(cè)單元(object detect1n unit)，被配置為檢測(cè)該現(xiàn)實(shí)世界中的實(shí)物(object);以及三維模型計(jì)算單元，被配置基于由該現(xiàn)實(shí)世界圖像獲取單元獲取的該現(xiàn)實(shí)世界的圖像生成包括該實(shí)物的規(guī)定范圍(certain range)的三維模型Mi，并且還計(jì)算與檢測(cè)到該實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv，其中，該圖像生成單元計(jì)算該實(shí)物的該三維模型Mi被放置在虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv中的三維模型Mm，并且進(jìn)行渲染處理(rendering process)。
[0020]根據(jù)本申請(qǐng)的權(quán)利要求13中所陳述的技術(shù)，根據(jù)權(quán)利要求12的圖像顯示裝置的該實(shí)物檢測(cè)單元檢測(cè)用戶的身體的部分或者檢測(cè)該現(xiàn)實(shí)世界中的預(yù)先確定的物體(physicalbody) ο
[0021]根據(jù)本申請(qǐng)的權(quán)利要求14中所陳述的技術(shù)，根據(jù)權(quán)利要求12的圖像顯示裝置的該實(shí)物檢測(cè)單元檢測(cè)該現(xiàn)實(shí)世界中的距該圖像顯示裝置固定距離以內(nèi)的物體。
[0022]根據(jù)本申請(qǐng)的權(quán)利要求15中所陳述的技術(shù)，根據(jù)權(quán)利要求12的圖像顯示裝置的該圖像生成單元基于從該實(shí)物檢測(cè)單元檢測(cè)到該實(shí)物時(shí)起所經(jīng)過的時(shí)間來控制該現(xiàn)實(shí)世界的圖像的混合比例。
[0023]根據(jù)本申請(qǐng)的權(quán)利要求16中所陳述的技術(shù)，根據(jù)權(quán)利要求12的圖像顯示裝置的該區(qū)域指定單元在該實(shí)物的當(dāng)前位置與該現(xiàn)實(shí)世界的該三維模型尬和該虛擬世界V之間的邊界重疊的條件下對(duì)邊界進(jìn)行操作。[〇〇24]本申請(qǐng)的權(quán)利要求17中所陳述的技術(shù)是一種圖像顯示方法，包括:獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟;指定顯示該現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟;基于指定的該區(qū)域?qū)⒃摤F(xiàn)實(shí)世界的圖像混合至虛擬圖像中并且生成圖像的圖像生成步驟；以及將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。[〇〇25]本申請(qǐng)的權(quán)利要求18中所陳述的技術(shù)是一種圖像顯示方法，包括:獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟;指定顯示該現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟;生成虛擬世界的圖像的虛擬世界圖像生成步驟;計(jì)算與在該區(qū)域指定步驟中所指定的區(qū)域相對(duì)應(yīng)的該現(xiàn)實(shí)世界的圖像辦和該虛擬世界的圖像Rv的區(qū)域圖像生成步驟;通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換成該現(xiàn)實(shí)世界的對(duì)應(yīng)區(qū)域的圖像辦來生成圖像的圖像生成步驟；以及將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。[〇〇26]本申請(qǐng)的權(quán)利要求19中所陳述的技術(shù)是一種圖像顯示方法，包括:獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟;檢測(cè)該現(xiàn)實(shí)世界中的實(shí)物的實(shí)物檢測(cè)步驟;指定檢測(cè)到的該實(shí)物的虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv的區(qū)域指定步驟;基于由該現(xiàn)實(shí)世界圖像獲取單元獲取的該現(xiàn)實(shí)世界的圖像生成包括該實(shí)物的規(guī)定范圍的三維模型此，并且還計(jì)算與檢測(cè)到該實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv的三維模型計(jì)算步驟;計(jì)算該實(shí)物的該三維模型此被放置于該虛擬世界的該三維模型V的對(duì)應(yīng)區(qū)域Rv中的三維模型Mm并且進(jìn)行渲染處理從而生成圖像的圖像生成步驟；以及將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。[〇〇27]發(fā)明的有益效果
[0028]根據(jù)本說明書中所公開的技術(shù)，可以提供配戴在用戶的頭部或面部并用于觀看圖像并且使用戶能夠觀察發(fā)生在外部世界的現(xiàn)象的優(yōu)異的圖像顯示裝置以及圖像顯示方法。 [〇〇29]根據(jù)本說明中公開的技術(shù)，圖像顯示裝置被配置為顯示與虛擬世界的圖像相混合的利用攝像機(jī)等拍攝的現(xiàn)實(shí)世界的圖像。因此，將圖像顯示裝置配戴在他的或她的頭部或面部上的用戶即使在顯示圖像的時(shí)，仍能夠觀察外部世界，或者換言之，現(xiàn)實(shí)世界。此外，應(yīng)用本說明中所公開的技術(shù)的圖像顯示裝置使得能夠在沒有減少沉浸于觀看的圖像，或者換言之虛擬世界中的感覺的情況下與現(xiàn)實(shí)世界交互。此外，即使將圖像顯示裝置配戴在他的或她的頭部或面部的用戶在沉浸于虛擬世界中的同時(shí)進(jìn)行現(xiàn)實(shí)世界中的身體動(dòng)作，用戶仍然能夠觀察到現(xiàn)實(shí)世界，從而減少由身體動(dòng)作引起的身體傷害的危險(xiǎn)。
[0030]應(yīng)注意，本說明書中描述的有益效果僅僅是示例，并且本發(fā)明的有益效果不限于此。此外，在一些情況下，本發(fā)明還可以表現(xiàn)出除了上文給出的有益效果以外的另外的有益效果。
[0031]將基于在下文中論述的示例性實(shí)施方式和附圖，通過更詳細(xì)的說明來闡明本說明書中公開的技術(shù)的另外的目的、特征和優(yōu)點(diǎn)。
【附圖說明】
[0032][圖1]圖1是示出將頭戴式顯示器100配戴在他的或她的頭部的用戶的前視圖的示圖。
[0033][圖2]圖2是示出配戴圖1中示出的頭戴式顯示器100的用戶的俯視圖的示圖。
[0034][圖3]圖3是示出頭戴式顯示器100的內(nèi)部配置的實(shí)例的示圖。
[0035][圖4]圖4是示出如何將光標(biāo)放置在形成在用戶的頭腦中的顯示圖像上使得凝視的中心線、光標(biāo)和操作手指位于相同的線上的示圖。
[0036][圖5]圖5是示出用戶如何使用觸摸面板315指定顯示現(xiàn)實(shí)世界的圖像的區(qū)域的示圖。
[0037][圖6]圖6是示出由用戶操作所指定的區(qū)域602如何從由顯示單元309顯示的虛擬世界的圖像601替換為現(xiàn)實(shí)世界的圖像的示圖。
[0038][圖7]圖7是示出頭戴式顯示器100將顯示區(qū)域的部分區(qū)域替換為現(xiàn)實(shí)世界的圖像以進(jìn)行顯示的功能配置的示圖。
[0039][圖8]圖8是示出虛擬世界渲染結(jié)果V的實(shí)例以及由用戶指定的區(qū)域中的相應(yīng)的區(qū)域的圖像Rv的實(shí)例的示圖。
[°04°][圖9]圖9是示出由外側(cè)攝像機(jī)(outward-facing camera)312拍攝的現(xiàn)實(shí)世界的圖像I的實(shí)例，以及與由用戶指定的區(qū)域相對(duì)應(yīng)的區(qū)域的圖像辦的實(shí)例的示圖。
[0041][圖10]圖10是示出虛擬世界渲染結(jié)果V的相應(yīng)的區(qū)域的圖像Rv被替換為現(xiàn)實(shí)世界的相應(yīng)的區(qū)域的圖像R1的顯示圖像的實(shí)例的示圖。
[0042][圖11]圖11是示出頭戴式顯示器100將顯示區(qū)域的部分區(qū)域替換為現(xiàn)實(shí)世界的圖像以進(jìn)行顯示的處理順序的流程圖。
[0043][圖12]圖12是示出用戶如何移動(dòng)指尖來指定顯示現(xiàn)實(shí)世界的區(qū)域1201的邊界，從而將區(qū)域1201放大至區(qū)域1202的示圖。
[0044][圖13]圖13是示出用戶如何移動(dòng)指尖來指定顯示現(xiàn)實(shí)世界的區(qū)域1301的邊界，從而將區(qū)域1301減少至區(qū)域1302的示圖。
[0045][圖14]圖14是示出頭戴式顯示器100顯示存在于現(xiàn)實(shí)世界中的實(shí)物的三維模型被放入虛擬世界中的圖像的功能配置的示圖。
[0046][圖15]圖15是示出如何檢測(cè)現(xiàn)實(shí)世界中的特定實(shí)物的實(shí)例的示圖。
[0047][圖16]圖16是示出如何生成包括檢測(cè)到的實(shí)物的指定范圍的三維模型紐，以及如何計(jì)算虛擬空間V的相應(yīng)的區(qū)域Rv的示圖。
[0048][圖17]圖17是示出計(jì)算并渲染實(shí)物的三維模型M1被放入虛擬世界的三維模型V的相應(yīng)的區(qū)域Rv中的三維模型Mm的結(jié)果的實(shí)例的示圖。
[0049][圖18]圖18是示出頭戴式顯示器100顯示存在于現(xiàn)實(shí)世界中的實(shí)物的三維模型被放入虛擬世界中的圖像的處理順序的流程圖。
【具體實(shí)施方式】
[0050]在下文中，將參考附圖詳細(xì)描述本說明書中公開的技術(shù)的實(shí)施方式。
[0051]圖1示出將應(yīng)用本說明書中所公開的技術(shù)的頭戴式顯示器100配戴在他的或她的頭部的用戶的前視圖。
[0052]頭戴式顯示器100在配戴在用戶的頭部或面部上時(shí)直接覆蓋用戶的眼睛，從而在觀看圖像時(shí)給予用戶身臨其境的感覺。此外，與透視類型不同，配戴著頭戴式顯示器100的用戶不能直接看見在現(xiàn)實(shí)世界中的他的或她的周圍環(huán)境。然而，通過提供沿著用戶的視線方向拍攝周圍環(huán)境的外側(cè)攝像機(jī)312并且顯示所拍攝的圖像，用戶能夠間接看見現(xiàn)實(shí)世界中的他的或她的周圍環(huán)境(即，周圍環(huán)境通過視頻透視顯示)。顯而易見的，諸如AR圖像的虛擬顯示圖像還可以重疊在視頻透視圖像上并呈現(xiàn)出來。此外，因?yàn)轱@示圖像從外部不可見 (換言之，其他人不可見)，所以容易保護(hù)針對(duì)信息顯示的私密性。[〇〇53]在圖1中示出的頭戴式顯示器100被構(gòu)造為類似于帽子，并且被配置為直接覆蓋配戴用戶的左眼和右眼。在頭戴式顯示器100的內(nèi)側(cè)上的與左眼和右眼相對(duì)的位置處布置用戶觀看的顯示面板(在圖1中未示出)。顯示面板由諸如有機(jī)電子發(fā)光(EL)元件或液晶顯示器的微顯示器或者諸如視網(wǎng)膜掃描顯示器的激光掃描顯示器組成。[〇〇54]在頭戴式顯示器100的前面的中心附近，布置用于輸入周圍環(huán)境的圖像(用戶的視場)的外側(cè)攝像機(jī)312。此外，麥克風(fēng)103L和103R分別布置在頭戴式顯示器100的主體的左邊緣和右邊緣附近。通過從左至右大約對(duì)稱地設(shè)置麥克風(fēng)103L和103R，使得正好可以識(shí)別放置在中心的音頻(用戶的語音)，并且從而分出外界噪聲和其他人的語音以防止例如在通過語音輸入執(zhí)行操作時(shí)的意外操作。[〇〇55]此外，在頭戴式顯示器100的主體的外側(cè)上，布置使用戶能夠使用指尖等進(jìn)行觸摸輸入的觸摸面板315。在所示出的實(shí)例中，設(shè)置一對(duì)左觸摸面板和右觸摸面板315,但是同樣可以設(shè)置單個(gè)觸摸面板315或者三個(gè)或更多個(gè)觸摸面板315。
[0056]圖2示出配戴在圖1中示出的頭戴式顯示器100的用戶的俯視圖。在附圖中示出的頭戴式顯示器100在面向用戶的面部的側(cè)面上具有左眼和右眼的顯示面板104L和104R。顯示面板104L和104R由諸如有機(jī)電子發(fā)光(EL)元件或液晶顯示器的微顯示器，或者諸如視網(wǎng)膜掃描顯示器的激光掃描顯示器組成。在左顯示面板104L和右顯示面板104R的前面，分別布置虛擬圖像光學(xué)單元101L和101R。虛擬圖像光學(xué)單元101L和101R將顯示面板104L和104R 的顯示圖像的放大虛擬圖像分別聚焦在用戶的左眼和右眼上。用戶然后通過在他的或她的頭腦中結(jié)合左放大虛擬圖像和右放大虛擬圖像來觀看圖像。另外，因?yàn)樵趥€(gè)人用戶之間眼睛的高度和瞳孔間寬度不同，所以必須將左顯示系統(tǒng)和右顯示系統(tǒng)中的每個(gè)與用戶的眼睛對(duì)齊。在圖2中示出的實(shí)例中，在右眼的顯示面板和左眼的顯示面板之間設(shè)置瞳孔間寬度調(diào)整機(jī)構(gòu)105。
[0057]圖3示出頭戴式顯示器100的內(nèi)部配置的實(shí)例。在下文中，將描述相應(yīng)的組件。[〇〇58] 控制單元301配備有只讀存儲(chǔ)器(R0M)301A和隨機(jī)存取存儲(chǔ)器(RAMWOIBJOM 301A存儲(chǔ)由控制單元301執(zhí)行的程序代碼，以及各種數(shù)據(jù)。控制單元301，通過執(zhí)行從ROM 301A或存儲(chǔ)單元306(隨后論述)加載至RAM 301B中的程序，控制圖像的顯示，并且在總體上集中控制頭戴式顯示器100的操作。存儲(chǔ)在ROM 301A中的程序和數(shù)據(jù)可以是用于視頻播放等的圖像顯示控制程序，使得用戶能夠觀看顯示圖像以與現(xiàn)實(shí)世界交互的交互控制程序， 相關(guān)的頭戴式顯示器100所獨(dú)有的識(shí)別信息，用戶使用相關(guān)的頭戴式顯示器100的用戶屬性信息等。
[0059]輸入接口(IF)單元302配備有一個(gè)或多個(gè)操作元件，用戶在操作元件上進(jìn)行輸入操作，諸如按鍵、按鈕和開關(guān)(均未示出)經(jīng)由操作元件接收用戶指令，并且輸出至控制單元301。另外，輸入接口單元302接收由遠(yuǎn)程控制接收單元303接收的遠(yuǎn)程控制命令組成的用戶指令，并且輸出至控制單元301。
[0060]另外，如果用戶利用指尖在布置在頭戴式顯示器100的主體之外的觸摸面板315上進(jìn)行觸摸操作，則輸入接口單元302將諸如觸摸指尖位置的坐標(biāo)數(shù)據(jù)的輸入信息輸出至控制單元301。例如，如果觸摸面板315布置在頭戴式顯示器100的主體的前面上，直接在顯示單元309的顯示圖像(通過虛擬圖像光學(xué)單元310觀看的放大虛擬圖像)的后面，則用戶能夠利用他的或她的指尖觸摸顯示圖像的感覺進(jìn)行觸摸操作。
[0061 ]狀態(tài)信息獲取單元304是獲取關(guān)于頭戴式顯示器100本身或者配戴頭戴式顯示器100的用戶的狀態(tài)信息的功能模塊。狀態(tài)信息獲取單元304可以配備有用于檢測(cè)它自身的狀態(tài)信息的各種傳感器，或者被配置為經(jīng)由通信單元305(隨后論述)從配備有一些或全部這樣的傳感器的外部設(shè)備(例如，智能電話、手表或者由用戶配戴的其它多功能終端)獲取狀態(tài)?目息O
[0062]狀態(tài)信息獲取單元304獲取有關(guān)位置與方位的信息或者有關(guān)用戶的頭部的方位的信息，例如，以追蹤用戶的頭部運(yùn)動(dòng)O為了追蹤用戶的頭部運(yùn)動(dòng)，狀態(tài)信息獲取單元304采用包括三軸陀螺儀傳感器、三軸加速度傳感器和三軸地磁傳感器的，總共九個(gè)可檢測(cè)軸的傳感器例如。此外，狀態(tài)信息獲取單元304可以進(jìn)一步將以上傳感器與以下一個(gè)或多個(gè)其他傳感器相結(jié)合使用，諸如全球定位系統(tǒng)(GPS)傳感器、多普勒傳感器、紅外傳感器或射頻場強(qiáng)度傳感器。此外，狀態(tài)信息獲取單元304可以進(jìn)一步將獲取的位置和方位信息與由以下各種基礎(chǔ)設(shè)施提供的信息相結(jié)合使用，諸如移動(dòng)電話基站信息或PlaceEngine(注冊(cè)商標(biāo))信息(來自無線LAN接入點(diǎn)的射頻場強(qiáng)度測(cè)量信息)。在圖3中示出的實(shí)例中，用于頭部運(yùn)動(dòng)追蹤的狀態(tài)信息獲取單元304內(nèi)置于頭戴式顯示器100中，但是也可以由從外部附接至頭戴式顯示器100的類似的配件配置。在后者的情況下，狀態(tài)信息獲取單元304以旋轉(zhuǎn)矩陣的形式表示頭部定向信息，并且通過諸如藍(lán)牙(注冊(cè)商標(biāo))通信的無線通信，或者通過諸如通用串行總線(USB)的高速有線接口將頭部定向信息發(fā)送至頭戴式顯示器100本體。
[0063]此外，除如上所述的追蹤用戶的頭部運(yùn)動(dòng)之外，狀態(tài)信息獲取單元304還可以獲取其他信息作為關(guān)于配戴頭戴式顯示器100的用戶的狀態(tài)信息，諸如用戶的操作狀態(tài)(用戶是否配戴頭戴式顯示器100)，用戶的行為狀態(tài)(諸如靜止、行走或奔跑的運(yùn)動(dòng)狀態(tài)，利用手或手指完成的手勢(shì)，眼皮的打開/關(guān)閉狀態(tài)，凝視方向以及瞳孔的尺寸)，心理狀態(tài)(諸如有印象的程度、興奮的程度、警覺的程度、情緒以及感情，諸如用戶是否沉浸于或?qū)Ｐ挠谟^看顯示圖像)，以及生理狀態(tài)。此外，為了從用戶獲取這些狀態(tài)信息，狀態(tài)信息獲取單元304還可以配備有各種狀態(tài)傳感器，諸如由外側(cè)攝像機(jī)312、機(jī)械開關(guān)等組成的配戴傳感器、拍攝用戶的面部的面向內(nèi)的攝像機(jī)、陀螺儀傳感器、加速度傳感器、速度傳感器、壓力傳感器、感測(cè)體溫或空氣溫度的溫度傳感器、出汗傳感器、脈搏傳感器、肌電電位傳感器、眼電位傳感器、腦電波傳感器、呼吸傳感器以及氣態(tài)離子濃度傳感器、以及計(jì)時(shí)器(在.附圖中均未示出)。
[0064]環(huán)境信息獲取單元316是獲取與相關(guān)的頭戴式顯示器100的主體或者配戴相關(guān)的頭戴式顯示器100的用戶周圍的環(huán)境相關(guān)的信息的功能模塊。本文中，與環(huán)境相關(guān)的信息可以是聲音、氣流、氣溫、氣壓、氣氛(煙或霧)、淹沒相關(guān)的頭戴式顯示器100或用戶的電磁波(紫外光、藍(lán)光、無線電波)、福射、大氣中的一氧化碳、二氧化碳、氧氣、以及含氮化合物(尼古丁)、漂浮在大氣中的氮氧化物(N0X)和碳化氫(揮發(fā)性有機(jī)化合物(VOC))或者通過由于紫外光的影響而引起這些中的光化學(xué)反應(yīng)而產(chǎn)生的光化學(xué)煙霧、顆粒物質(zhì)、花粉、諸如室內(nèi)塵埃的微粒、以及諸如石棉的有害的化學(xué)物質(zhì)以及其它環(huán)境因素。為了檢測(cè)環(huán)境信息，環(huán)境信息獲取單元316可以配備有聲音傳感器和氣流傳感器，以及各種類型的環(huán)境傳感器。麥克風(fēng)和先前論述的外側(cè)攝像機(jī)312也可以包括在環(huán)境傳感器之中?？商鎿Q地，環(huán)境信息獲取單元316可被配置為經(jīng)由通信單元305(隨后論述)從配備有一些或所有這樣的傳感器的外部設(shè)備(例如，智能電話、手表或由用戶配戴的其它多功能終端)獲取環(huán)境信息。[〇〇65]外側(cè)攝像機(jī)312布置在頭戴式顯示器100的主要單元的前面的中心附件，例如(參見圖1)，并且能夠拍攝周圍環(huán)境的圖像。用戶能夠通過經(jīng)由輸入接口單元302的輸入操作， 或者通過由諸如面向內(nèi)的攝像機(jī)或肌電傳感器的設(shè)備識(shí)別的瞳孔大小或語音輸入調(diào)整外側(cè)攝像機(jī)312的縮放。此外，通過對(duì)外側(cè)攝像機(jī)312的搖攝、傾斜和滾動(dòng)方向進(jìn)行定向控制以匹配通過狀態(tài)信息獲取單元304獲取的用戶的凝視方向，可以利用外側(cè)攝像機(jī)312拍攝用戶自身的凝視的圖像，或者換言之用戶的凝視方向上的圖像。從外側(cè)攝像機(jī)312拍攝的圖像可以被輸出以便通過顯示單元309顯示，并且所拍攝的圖像還可以從通信單元305發(fā)送或者保存在存儲(chǔ)單元306中。
[0066]更優(yōu)選地，外側(cè)攝像機(jī)312由多個(gè)攝像機(jī)組成以允許外側(cè)攝像機(jī)312通過使用視差信息獲取有關(guān)周圍環(huán)境的圖像的三維信息。另外，即使使用單個(gè)攝像機(jī)，也可以在移動(dòng)攝像機(jī)的同時(shí)使用同時(shí)定位和構(gòu)建地圖(mapp i ng)(SLAM)圖像識(shí)別來拍攝圖像，使用在時(shí)間上彼此承接的多幀圖像計(jì)算視差信息(參見專利文獻(xiàn)3,例如)，并且從計(jì)算的視差信息獲取有關(guān)周圍環(huán)境的圖像的三維信息。[〇〇67]外側(cè)攝像機(jī)312能夠獲取三維信息，并且因此也可以用作距離傳感器?？商鎿Q地， 由諸如檢測(cè)來自實(shí)物的反射信號(hào)的位置靈敏檢測(cè)器(PSD)的便宜的設(shè)備組成距離傳感器， 例如可以與外側(cè)攝像機(jī)312結(jié)合使用。外側(cè)攝像機(jī)312和距離傳感器可以用于檢測(cè)配戴頭戴式顯示器100的用戶的身體的位置、方位和形狀。
[0068]通信單元305與外部設(shè)備進(jìn)行通信過程，以及對(duì)通信信號(hào)進(jìn)行調(diào)制/解調(diào)和編碼/ 解碼過程。外部設(shè)備可以是在用戶使用頭戴式顯示器100時(shí)提供觀看內(nèi)容的內(nèi)容播放設(shè)備 (藍(lán)光光盤或DVD播放器)，諸如智能電話、游戲機(jī)或流服務(wù)器的多功能終端。另外，控制單元 301將傳輸數(shù)據(jù)從通信單元305發(fā)送至外部設(shè)備。[〇〇69] 通信單元305的配置是任意的。例如，通信單元305可以根據(jù)用于與充當(dāng)通信對(duì)等設(shè)備(peer)的外部設(shè)備發(fā)送和接收操作的通信方案配置。通信方案可以或者是有線的或者是無線的。本文中提到的通信標(biāo)準(zhǔn)可以是以下標(biāo)準(zhǔn)，諸如移動(dòng)高清鏈接(MHL)、通用串行總線(USB)、高清晰度多媒體接口(HDMI;注冊(cè)商標(biāo))、藍(lán)牙(注冊(cè)商標(biāo))通信或藍(lán)牙(注冊(cè)商標(biāo)) 低能(BLE)通信、諸如ANT的超低功耗無線通信、或者由IEEE 802.11s等標(biāo)準(zhǔn)化的網(wǎng)狀網(wǎng)鉻。 可替換地，通信單元305例如可以是根據(jù)諸如寬帶碼分多址(W-CDMA)或長期演進(jìn)(LTE)的建立標(biāo)準(zhǔn)操作的蜂窩無線電收發(fā)器。
[0070]存儲(chǔ)單元306是諸如固態(tài)驅(qū)動(dòng)(SSD)的大容量存儲(chǔ)設(shè)備。存儲(chǔ)單元306存儲(chǔ)由控制單元301執(zhí)行的應(yīng)用程序，以及各種數(shù)據(jù)。例如，用戶使用頭戴式顯示器100觀看的內(nèi)容存儲(chǔ)在存儲(chǔ)單元306中。
[0071]圖像處理單元307另外進(jìn)行信號(hào)處理，諸如對(duì)從控制單元301輸出的圖像信號(hào)進(jìn)行圖像質(zhì)量校正，以及將圖像信號(hào)轉(zhuǎn)換為適合于顯示單元309的屏幕的分辨率。隨后，顯示器驅(qū)動(dòng)單元308在進(jìn)行線序掃描的同時(shí)順次選擇每行的顯示單元309的像素，并且基于處理的圖像信號(hào)提供像素信號(hào)。
[0072]顯示單元309包括顯示面板，該顯示面板由諸如有機(jī)電子發(fā)光(EL)元件或液晶顯示器的微顯示器，或者諸如視網(wǎng)膜掃描顯示器的激光掃描顯示器組成。虛擬圖像光學(xué)單元310放大并投射顯示單元309的顯示圖像，使得用戶能夠?qū)@示圖像觀看為放大虛擬圖像。
[0073]應(yīng)注意，由顯示單元309輸出的顯示圖像可以是來自內(nèi)容播放設(shè)備(藍(lán)光光盤或DVD播放器)，諸如智能電話、游戲機(jī)或流服務(wù)器的多功能終端提供的商業(yè)內(nèi)容(虛擬世界)，來自外側(cè)攝像機(jī)312的拍攝圖像(現(xiàn)實(shí)世界)等。
[0074]音頻處理單元313對(duì)從控制單元301輸出的音頻信號(hào)進(jìn)行音頻質(zhì)量校正和音頻放大，并且對(duì)諸如輸入的音頻信號(hào)的信號(hào)另外進(jìn)行信號(hào)處理。另外，音頻輸入/輸出單元314對(duì)外輸出處理的音頻，并且還接受來自麥克風(fēng)(如上所述)的音頻輸入。
[0075]如在圖1和圖2中示出的頭戴式顯示器100是不透明的，或者換言之，覆蓋配戴用戶的眼睛。另外，通過諸如計(jì)算計(jì)圖形的技術(shù)表示的諸如電影或圖像的視頻內(nèi)容在顯示單元309上顯示。虛擬圖像光學(xué)單元310放大和投射顯示單元309的顯示圖像，使得用戶能夠?qū)@示圖像觀看為具有合適的視角的放大虛擬圖像，并且再造在電影院中的感覺，例如用戶能夠具有對(duì)顯示單元309上顯示的虛擬世界的身臨其境的體驗(yàn)。
[0076]然而，在用戶沉浸于虛擬世界中時(shí)，存在對(duì)于失去與現(xiàn)實(shí)世界的交互的擔(dān)憂。如果僅有部分用戶的感知(諸如視覺和聽覺)來體驗(yàn)虛擬世界，即使用戶的身體仍存在于現(xiàn)實(shí)世界中，則用戶仍會(huì)感到心理抵抗感(psychological resistance)。另外，因?yàn)橛脩舻囊曈X和聽覺都針對(duì)虛擬世界，所以意識(shí)到諸如與現(xiàn)實(shí)世界中的實(shí)物的接觸或碰撞的事件變得困難，并且存在受到身體傷害的危險(xiǎn)。明顯地，因?yàn)椴还芾貌煌该鞯念^戴式顯示器還是利用透視頭戴式顯示器都是在一定程度上將用戶拉入虛擬世界，所以心理抵抗感的問題和身體傷害的危險(xiǎn)是相似的。
[0077]因此，在本實(shí)施方式中，在利用顯示單元309顯示諸如電影或計(jì)算機(jī)圖形的虛擬世界的圖像時(shí)，頭戴式顯示器100混合入利用外側(cè)攝像機(jī)312拍攝的外部世界(或者換言之現(xiàn)實(shí)世界)的圖像。因此，通過看著與虛擬世界的圖像混合的現(xiàn)實(shí)世界的圖像，用戶能夠感知現(xiàn)實(shí)世界并與現(xiàn)實(shí)世界適當(dāng)?shù)亟换?，從而使得其可以減少心理抵抗感，同時(shí)還避免了由于諸如與現(xiàn)實(shí)世界中的實(shí)物碰撞的事件所導(dǎo)致的身體傷害。
[0078][實(shí)施方式I]
[0079]在第一實(shí)施方式中，頭戴式顯示器100將顯示虛擬世界的圖像的顯示單元309的顯示區(qū)域之中的部分的用戶指定區(qū)域替換為利用外側(cè)攝像機(jī)312所拍攝的現(xiàn)實(shí)世界的圖像以進(jìn)行顯示。
[0080]由顯示單元309顯示的圖像(由用戶的眼睛通過虛擬圖像光學(xué)單元310所觀看到的圖像)是有關(guān)諸如商業(yè)內(nèi)容的播放圖像的虛擬世界的信息和有關(guān)利用外側(cè)攝像機(jī)312所拍攝的現(xiàn)實(shí)世界的信息的組合。因此，用戶能夠連續(xù)掌握周圍環(huán)境(在他們自身附近實(shí)際發(fā)生的事件)，而不打斷沉浸在由內(nèi)容表示的虛擬世界中的狀態(tài)。顯示的現(xiàn)實(shí)世界的圖像主要是利用外側(cè)攝像機(jī)312所拍攝的活動(dòng)圖像，但是也可以是暫時(shí)存儲(chǔ)在存儲(chǔ)單元306中的記錄圖像。
[0081]應(yīng)注意，在由用戶指定的區(qū)域中顯示現(xiàn)實(shí)世界的圖像是暫時(shí)的。例如，顯示單元 309的整個(gè)顯示區(qū)域可以根據(jù)取消由用戶指定的區(qū)域的明確的操作而恢復(fù)至虛擬世界的圖像。可替換地，顯示器可以在從用戶指定區(qū)域時(shí)起經(jīng)過固定時(shí)間之后從現(xiàn)實(shí)世界的圖像切換至虛擬世界的圖像，或者顯示器可以逐漸恢復(fù)至虛擬世界的圖像(例如，在改變現(xiàn)實(shí)世界的圖像和虛擬世界的圖像的混合比例的同時(shí))。虛擬世界的圖像根據(jù)經(jīng)過的時(shí)間恢復(fù)，因?yàn)閺挠脩暨M(jìn)行操作時(shí)起經(jīng)過固定時(shí)間之后，假定用戶不再需要顯示現(xiàn)實(shí)世界。
[0082]此外，用戶指定顯示現(xiàn)實(shí)世界的圖像的區(qū)域的方法是任意的。例如，用戶可以操作包括在輸入接口單元302上的按鍵來指定替換為現(xiàn)實(shí)世界的區(qū)域。例如，替換為現(xiàn)實(shí)世界的區(qū)域可以根據(jù)方向按鍵上的操作向上、向下、向左和向右移動(dòng)。可替換地，與用戶利用指尖在觸摸面板315上進(jìn)行觸摸操作的位置相對(duì)應(yīng)的區(qū)域可以被替換為現(xiàn)實(shí)世界。可替換地，用戶使用手等做出手勢(shì)可以利用外側(cè)攝像機(jī)312拍攝，并且由手勢(shì)指定的區(qū)域可以被替換為現(xiàn)實(shí)世界。[〇〇83]例如，如果觸摸面板315布置在頭戴式顯示器100的主體的前面上，直接在顯示單元309的顯示圖像(通過虛擬圖像光學(xué)單元310觀看的放大虛擬圖像)的后面，則用戶能夠利用他的或她的指尖觸摸顯示圖像的感覺進(jìn)行觸摸操作。更具體地，在光標(biāo)顯示在與觸摸該觸摸面板315的位置相對(duì)應(yīng)的位置時(shí)，如在圖4中示出的，如果光標(biāo)403被放置使得凝視(觀看用戶的頭腦中形成的放大虛擬圖像)的中心線401與利用指尖觸摸的位置402位于相同的線上，則用戶能夠利用從后面直接觸摸顯示圖像的感覺指定顯示區(qū)域上的期望位置(例如， 參見專利文獻(xiàn)4)。[〇〇84]圖5示出用戶如何使用觸摸面板315指定顯示現(xiàn)實(shí)世界的圖像的區(qū)域。在顯示單元 309僅顯示虛擬世界的圖像時(shí)，用戶在顯示單元309的后面的觸摸面板315上移動(dòng)指尖，并且指定顯示現(xiàn)實(shí)世界的期望位置503,如通過參考標(biāo)號(hào)501和502示出的。[〇〇85]圖6示出由在圖5中示出的用戶操作指定的區(qū)域602的內(nèi)部如何從通過顯示單元 309顯示的虛擬世界的圖像601被替換成利用外側(cè)攝像機(jī)312拍攝的現(xiàn)實(shí)世界的圖像。顯示單元309顯示的圖像是有關(guān)虛擬世界的信息和有關(guān)現(xiàn)實(shí)世界的信息的結(jié)合。因此，用戶能夠連續(xù)掌握周圍環(huán)境(在他們自身附近實(shí)際發(fā)生的事件)，而不打斷沉浸在由內(nèi)容表示的虛擬世界中的狀態(tài)。[〇〇86]圖7示出頭戴式顯示器100將顯示區(qū)域的部分區(qū)域替換為現(xiàn)實(shí)世界的圖像以進(jìn)行顯示的功能配置。[〇〇87]虛擬世界圖像生成單元701基于有關(guān)預(yù)先存儲(chǔ)在存儲(chǔ)單元306中的或者利用通信單元305從外部接收的虛擬世界的信息，來計(jì)算將由顯示單元309顯示的虛擬世界渲染 (rendering)結(jié)果V，例如。現(xiàn)實(shí)世界圖像獲取單元702基于諸如利用外側(cè)攝像機(jī)312所拍攝的圖像的數(shù)據(jù)獲取用戶周圍的現(xiàn)實(shí)世界的圖像I。[〇〇88]區(qū)域指定單元703基于觸摸面板315上的用戶操作(參見圖5)、輸入接口單元302上的操作、手勢(shì)輸入等指定顯示關(guān)于在顯示單元309的顯示屏幕之中的現(xiàn)實(shí)世界的圖像信息的區(qū)域。
[0089]區(qū)域圖像生成單元704計(jì)算與通過區(qū)域指定單元703所指定的區(qū)域相對(duì)應(yīng)的現(xiàn)實(shí)世界的圖像R〗和虛擬世界的圖像Rv。隨后，圖像替換單元705合成虛擬世界渲染結(jié)果V的相應(yīng)的區(qū)域的圖像Rv由現(xiàn)實(shí)世界的相應(yīng)的區(qū)域的圖像R1代替的圖像。合成的圖像顯示在顯示單元309上。
[0090]應(yīng)注意，以上功能塊701至705中的每個(gè)通過由控制單元301執(zhí)行的程序?qū)崿F(xiàn)，例如，但是也可以被配置為專用硬件。
[0091]圖8示出虛擬世界渲染結(jié)果V的實(shí)例，以及由用戶指定的區(qū)域中的相應(yīng)的區(qū)域的圖像Rv的實(shí)例。另外，圖9示出由外側(cè)攝像機(jī)312所拍攝的現(xiàn)實(shí)世界的圖像I的實(shí)例，以及與由用戶指定的區(qū)域相對(duì)應(yīng)的區(qū)域的圖像RI的實(shí)例。另外，圖10示出虛擬世界渲染結(jié)果V的相應(yīng)的區(qū)域的圖像Rv被替換為現(xiàn)實(shí)世界的相應(yīng)的區(qū)域的圖像R1的顯示圖像的實(shí)例。
[0092]圖11以流程圖的形式示出了頭戴式顯示器100將顯示區(qū)域的部分區(qū)域替換為現(xiàn)實(shí)世界的圖像以進(jìn)行顯示的處理順序。
[0093]虛擬世界圖像生成單元701計(jì)算虛擬世界渲染結(jié)果V(步驟S1101)。有關(guān)虛擬世界的信息例如通過預(yù)先存儲(chǔ)在存儲(chǔ)單元306中或者通過利用通信單元305從外部接收而變得可用。
[0094]另外，與虛擬世界渲染過程并行，區(qū)域指定單元703基于用戶的操作指定現(xiàn)實(shí)世界顯示區(qū)域(步驟S1102)。如上所述，用戶能夠通過在觸摸面板315上執(zhí)行操作，在輸入接口單元302上執(zhí)行操作、執(zhí)行手勢(shì)輸入等指定現(xiàn)實(shí)世界顯示區(qū)域。
[0095]另外，在執(zhí)行虛擬世界渲染過程并且由用戶指定現(xiàn)實(shí)世界顯示區(qū)域的同時(shí)，現(xiàn)實(shí)世界圖像獲取單元702從諸如利用外側(cè)攝像機(jī)312拍攝的圖像的數(shù)據(jù)獲取用戶周圍環(huán)境的圖像K步驟S1103)。
[0096]隨后，區(qū)域圖像生成單元704計(jì)算現(xiàn)實(shí)世界的拍攝圖像R1和與在步驟S1102中指定的區(qū)域相對(duì)應(yīng)的虛擬世界的圖像Rv(步驟S1104)。
[0097]另外，圖像替換單元705將與在步驟SllOl中計(jì)算的虛擬世界渲染結(jié)果V的對(duì)應(yīng)的區(qū)域的圖像Rv替換為現(xiàn)實(shí)世界的對(duì)應(yīng)的區(qū)域的圖像&，并且生成現(xiàn)實(shí)世界的圖像混合至虛擬世界的圖像中的圖像(步驟S1105)。將生成的圖像通過顯示單元309顯示(步驟S1106)。
[0098]由用戶指定的區(qū)域中的現(xiàn)實(shí)世界的圖像Ri的顯示是暫時(shí)的。例如，顯示單元309的整個(gè)顯示區(qū)域可以根據(jù)用于取消由用戶指定的區(qū)域的明確操作而恢復(fù)至虛擬世界的圖像。可替換地，顯示器可以在從用戶指定區(qū)域其經(jīng)過固定時(shí)間之后切換至虛擬世界的圖像Rv，或者顯示器可以逐漸恢復(fù)至虛擬世界的圖像Rv(例如，在改變現(xiàn)實(shí)世界的圖像R1和虛擬世界的圖像Rv的混合比例的同時(shí))。虛擬世界的圖像根據(jù)經(jīng)過的時(shí)間恢復(fù)，因?yàn)閺挠脩魣?zhí)行操作起經(jīng)過固定時(shí)間之后，假定用戶不再需要顯示現(xiàn)實(shí)世界。
[0099]另外，在利用顯示單元309繼續(xù)顯示虛擬世界的圖像(步驟S1107，否)時(shí)，以上論述的過程返回至步驟SllOl并且重復(fù)執(zhí)行。
[0100]應(yīng)注意，在顯示現(xiàn)實(shí)世界的圖像R1期間，現(xiàn)實(shí)世界顯示區(qū)域在步驟S1102中不斷更新。例如，如果用戶移動(dòng)他的或她的指尖來指定顯示現(xiàn)實(shí)世界的所希望的區(qū)域602的邊界，則在步驟SI 102中，觸摸面板315能夠讀取指尖移動(dòng)的位置，并且將區(qū)域1201放大至區(qū)域1202，如在圖12中示出的，或者相反地，將區(qū)域1301減少至區(qū)域1302，如在圖13中示出的。如果用戶想要更多地了解現(xiàn)實(shí)世界中的情況，則顯示現(xiàn)實(shí)世界的圖像的區(qū)域可以通過像在圖12中示出的那樣的操作放大，然而如果現(xiàn)實(shí)世界的情況變得不那么重要，則顯示現(xiàn)實(shí)世界的圖像的區(qū)域可以像在圖13中示出的那樣的操作減少，從而放大顯示虛擬世界的區(qū)域。
[0101]如上所述，根據(jù)第一實(shí)施方式的頭戴式顯示器100,用戶變得能夠在沒有減少沉浸在虛擬世界中的感覺的情況下與現(xiàn)實(shí)世界交互。配戴這樣的頭戴式顯示器100的用戶能夠減輕他的或她的針對(duì)將自己沉浸于虛擬世界中的心理抵抗感。此外，即使用戶沉浸于虛擬世界中時(shí)，能夠減少由現(xiàn)實(shí)世界中的身體動(dòng)作而造成的身體傷害的危險(xiǎn)。
[0102][實(shí)施方式2]
[0103]在第二實(shí)施方式中，頭戴式顯示器100顯示將現(xiàn)實(shí)世界中存在的特定實(shí)物的三維 (3D)模型放置在三維虛擬世界內(nèi)部的圖像。在第一實(shí)施方式中，現(xiàn)實(shí)世界的圖像重疊到虛擬世界的顯示圖像的部分上(類似圖片中的圖片)。相反地，第二實(shí)施方式在不同之處在于整個(gè)顯示圖像是虛擬世界的圖像。在第二實(shí)施方式中，與現(xiàn)實(shí)世界中的實(shí)物相對(duì)應(yīng)的3D模型被顯示為虛擬世界的圖像內(nèi)部的實(shí)物。3D模型是有關(guān)現(xiàn)實(shí)世界的信息，但是該實(shí)物被轉(zhuǎn)變?yōu)?D模型，并且因此與虛擬世界的顯示圖像具有高度的親合性。
[0104]在這里，現(xiàn)實(shí)世界中的實(shí)物是配戴頭戴式顯示器100的用戶的身體的部分，諸如右手，例如?？商鎿Q地，現(xiàn)實(shí)世界中的各種實(shí)物的三維模型，包括諸如用戶的熟人的特定的人、 諸如寵物的特定的動(dòng)物、運(yùn)動(dòng)實(shí)物或者靜止實(shí)物，也可以被放置在虛擬世界中并被顯示。放置在虛擬世界中的實(shí)物可以是固定的，或者可以由用戶依次選擇。頭戴式顯示器100,在使用外側(cè)攝像機(jī)312和距離傳感器檢測(cè)現(xiàn)實(shí)世界中的實(shí)物時(shí)，追蹤檢測(cè)實(shí)物，將檢測(cè)實(shí)物的三維模型放置在虛擬世界中，并且進(jìn)行渲染處理。
[0105]此外，距頭戴式顯示器100固定距離以內(nèi)的現(xiàn)實(shí)世界中的所有物體(physical body)均可以被自動(dòng)檢測(cè)為實(shí)物，并且這樣的實(shí)物的三維模型Mi可以被放置于虛擬世界中并被顯示。例如，在用戶使得拿著諸如杯子的物體的他的或她的手接近頭戴式顯示器100 時(shí)，該物體被自動(dòng)檢測(cè)為實(shí)物，并且只要手仍然在距頭戴式顯示器100的固定距離以內(nèi)，則物體被追蹤并且該物體的三維模型Mi被放入虛擬世界中并且被持續(xù)顯示。如果手移動(dòng)到比固定距離更遠(yuǎn)的遠(yuǎn)處，則該物體不再被檢測(cè)，并且顯示的三維模型此同樣消失。透明度可以隨著距離逐漸升高并且自動(dòng)返回至僅虛擬世界的原始顯示，而不是使得三維模型尬瞬間消失。這是因?yàn)轱@示移動(dòng)到比固定距離更遠(yuǎn)的遠(yuǎn)處的實(shí)物被認(rèn)為對(duì)用戶而言不再需要。[〇1〇6]在第二實(shí)施方式中，由顯示單元309顯示的圖像(由用戶的眼睛經(jīng)由虛擬圖像光學(xué)單元310觀看的圖像)是關(guān)于虛擬世界的信息(諸如商業(yè)內(nèi)容的播放圖像)和關(guān)于利用外側(cè)攝像機(jī)312拍攝的現(xiàn)實(shí)世界的信息的轉(zhuǎn)變的三維模型的結(jié)合。因此，用戶能夠連續(xù)掌握周圍環(huán)境(在自己附近實(shí)際發(fā)生的事件)，而不妨礙沉浸于由內(nèi)容表示的虛擬世界的狀態(tài)。三維模型基本基于在利用外側(cè)攝像機(jī)312拍攝的活動(dòng)圖像中出現(xiàn)的現(xiàn)實(shí)世界中的實(shí)物生成，但是也可以基于暫時(shí)存儲(chǔ)在存儲(chǔ)單元306中的記錄圖像中出現(xiàn)的現(xiàn)實(shí)世界中的實(shí)物生成。
[0107]然而，第一實(shí)施方式利用二維圖像處理結(jié)合有關(guān)虛擬世界的信息和有關(guān)現(xiàn)實(shí)世界的信息，第二實(shí)施方式的不同之處在于利用三維渲染處理結(jié)合有關(guān)虛擬世界的信息和有關(guān)現(xiàn)實(shí)世界的信息。明顯地，第二實(shí)施方式同樣可以現(xiàn)實(shí)世界的二維顯示和三維顯示的功能。
[0108]應(yīng)注意，在與檢測(cè)到實(shí)物的位置相對(duì)應(yīng)的區(qū)域中的現(xiàn)實(shí)世界的圖像的顯示是暫時(shí)的。例如，如果現(xiàn)實(shí)世界中不再檢測(cè)到實(shí)物(實(shí)物從視場消失或者從視野丟失)，則與實(shí)物相對(duì)應(yīng)的三維模型可以從虛擬世界的顯示圖像清除，或者與現(xiàn)實(shí)世界中的實(shí)物相對(duì)應(yīng)的三維模型可以逐漸達(dá)到透明(例如，在改變現(xiàn)實(shí)世界的圖像和虛擬世界的圖像的混合比例的同時(shí))以恢復(fù)到僅虛擬世界的原始圖像。這是因?yàn)槿绻麑?shí)物不再可見，則認(rèn)為用戶不再需要顯示現(xiàn)實(shí)世界?？商鎿Q地，，顯示單元309的整個(gè)顯示區(qū)域可以根據(jù)取消由用戶指定的區(qū)域的明確操作恢復(fù)至虛擬世界的圖像。
[0109]圖14示出頭戴式顯示器100顯示現(xiàn)實(shí)世界中存在的實(shí)物已被轉(zhuǎn)變成三維模型并且被放入虛擬世界中的圖像的功能配置。
[0110]實(shí)物檢測(cè)單元1401基于對(duì)來自外側(cè)攝像機(jī)312的拍攝圖像、來自距離傳感器的檢測(cè)信號(hào)等進(jìn)行的識(shí)別處理來檢測(cè)現(xiàn)實(shí)世界中的特定實(shí)物，諸如用戶的身體的部分。此外，距頭戴式顯示器100固定距離以內(nèi)的現(xiàn)實(shí)世界中的所有物體均可以被自動(dòng)檢測(cè)為實(shí)物。
[0111]現(xiàn)實(shí)世界圖像獲取單元1402基于諸如利用外側(cè)攝像機(jī)312所拍攝的圖像的數(shù)據(jù)獲取包括由實(shí)物檢測(cè)單元1401檢測(cè)到的實(shí)物的現(xiàn)實(shí)世界的圖像。
[0112]三維模型計(jì)算單元1403基于通過實(shí)物檢測(cè)單元1401的檢測(cè)結(jié)果和通過現(xiàn)實(shí)世界圖像獲取單元1402獲取的現(xiàn)實(shí)世界的圖像生成包括檢測(cè)到的實(shí)物的某個(gè)范圍的三維模型 Mi。此外，三維模型計(jì)算單元1403計(jì)算與實(shí)物檢測(cè)單元1401檢測(cè)到實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv。
[0113]虛擬世界圖像生成單元1404計(jì)算實(shí)物的三維模型Mi被放入虛擬世界的三維模型V 的相應(yīng)的區(qū)域Rv中的三維模型Mm，并且進(jìn)行渲染處理。隨后，將渲染的圖像顯示在顯示單元 309 上。
[0114]應(yīng)注意，以上功能塊1401之1404中的每個(gè)通過由控制單元301執(zhí)行的程序?qū)崿F(xiàn)，例如，但是還可以被配置為專用硬件。
[0115]圖15示出實(shí)物檢測(cè)單元1401如何檢測(cè)諸如現(xiàn)實(shí)世界中的用戶的身體的部分的特定實(shí)物(如通過參考標(biāo)號(hào)1501示出的)的實(shí)例。外側(cè)攝像機(jī)312拍攝包括由實(shí)物檢測(cè)單元 1401檢測(cè)的實(shí)物的現(xiàn)實(shí)世界的圖像。在圖15中示出的實(shí)例中，通過實(shí)物檢測(cè)單元1401檢測(cè)到現(xiàn)實(shí)世界中放置在桌子上的并且由用戶的右手握住的PET瓶。
[0116]圖16示出三維模型計(jì)算單元1403如何生成包括由實(shí)物檢測(cè)單元1401檢測(cè)到的實(shí)物的某個(gè)范圍的三維模型Mi(如通過參考標(biāo)號(hào)1601示出的)的實(shí)例，。在所示出的實(shí)例中，生成圖像此，在生成的圖像中，用戶的右手和握在右手中的PET瓶已經(jīng)被轉(zhuǎn)變?yōu)槿S模型。圖 16還示出三維模型計(jì)算單元1403如何計(jì)算與實(shí)物檢測(cè)單元1401檢測(cè)到實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv的實(shí)例。
[0117]圖17示出虛擬世界圖像生成單元1404計(jì)算并渲染實(shí)物的三維模型此被放入虛擬世界的三維模型V的相應(yīng)的區(qū)域Rv中的三維模型Mm的結(jié)果的實(shí)例。在所示出的實(shí)例中，將用戶的右手和握在右手中的PET瓶已經(jīng)轉(zhuǎn)變?yōu)槿S模型的圖像此重疊到虛擬空間V的三維圖像上。
[0118]應(yīng)注意，在圖15至圖17中示出的實(shí)例中，虛擬實(shí)物不存在于與實(shí)物的三維模型此相對(duì)應(yīng)的虛擬空間V中的相應(yīng)的區(qū)域Rv的前面，并且因此顯示整個(gè)三維模型此，如在圖17中示出的。然而，如果虛擬實(shí)物存在于現(xiàn)實(shí)世界中的實(shí)物(在圖15至圖17中示出的實(shí)例中，PET 瓶)的前面，則三維模型尬被顯示為由虛擬實(shí)物遮蓋在后面。
[0119]圖18以流程圖形式示出頭戴式顯示器100顯示存在于現(xiàn)實(shí)世界中的實(shí)物的三維模型被放入虛擬世界中的圖像的處理順序。[〇12〇]實(shí)物檢測(cè)單元1401基于對(duì)來自外側(cè)攝像機(jī)312的拍攝圖像、來自距離傳感器的檢測(cè)信號(hào)等進(jìn)行的識(shí)別處理來檢測(cè)現(xiàn)實(shí)世界中的特定實(shí)物，諸如用戶的身體的部分(S1801)。
[0121]在步驟S1801中，實(shí)物檢測(cè)單元1401還可以自動(dòng)檢測(cè)距頭戴式顯示器100固定距離以內(nèi)的現(xiàn)實(shí)世界中的所有物體。例如，在用戶使得他的或者她的拿著諸如杯子的物體的手接近頭戴式顯示器100時(shí)，物體被自動(dòng)檢測(cè)為實(shí)物并且被追蹤，只要手仍然在固定距離以內(nèi)。另外，如果手移動(dòng)到比固定距離更遠(yuǎn)處，則實(shí)物檢測(cè)單元1401不再檢測(cè)物體，并且停止追足示O
[0122]另外，與由實(shí)物檢測(cè)單元1401進(jìn)行的實(shí)物探測(cè)過程并行，現(xiàn)實(shí)世界圖像獲取單元1402基于利用外側(cè)攝像機(jī)312所拍攝的圖像的數(shù)據(jù)獲取現(xiàn)實(shí)世界的包括由實(shí)物檢測(cè)單元1401檢測(cè)到的實(shí)物的圖像(步驟SI802)。
[0123]隨后，三維模型計(jì)算單元1403基于通過實(shí)物檢測(cè)單元1401的檢測(cè)結(jié)果和通過現(xiàn)實(shí)世界圖像獲取單元1402獲取的現(xiàn)實(shí)世界的圖像生成包括檢測(cè)到的實(shí)物的某個(gè)范圍的三維模型Mi(步驟S1803)。
[0124]此外，三維模型計(jì)算單元1403計(jì)算與實(shí)物檢測(cè)單元1401檢測(cè)到實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv(步驟S1804)。
[0125]隨后，虛擬世界圖像生成單元1404計(jì)算包括實(shí)物的某個(gè)范圍的三維模型Mi被放入虛擬世界的三維模型V的相應(yīng)的區(qū)域Rv中的三維模型Mm(步驟S1805)，并且進(jìn)行使Mm同樣以3D形式出現(xiàn)的渲染處理(步驟S1806)。隨后，將渲染的圖像顯示在顯示單元309上(步驟S1807)。
[0126]另外，在利用顯示單元309繼續(xù)顯示虛擬世界的圖像(步驟S1808，否)時(shí)，以上論述的過程返回至步驟S1801并且重復(fù)執(zhí)行。
[0127]應(yīng)注意，在顯示現(xiàn)實(shí)世界中的實(shí)物的三維模型M1期間，在步驟S1801中，將三維模型紐放置在虛擬空間V中的相應(yīng)的區(qū)域Rv隨著現(xiàn)實(shí)世界中的實(shí)物的移動(dòng)而不斷更新。此外，在實(shí)物的當(dāng)前位置與顯示在顯示單元309上的現(xiàn)實(shí)世界的三維模型M1和虛擬世界V之間的邊界重疊的情況下可以對(duì)邊界進(jìn)行操作?？商鎿Q地，使得對(duì)邊界進(jìn)行操作的狀態(tài)可以通過識(shí)別用戶的特定手勢(shì)而被激活。
[0128]如上所述，根據(jù)第二實(shí)施方式的頭戴式顯示器100，用戶變得能夠在沒有減少沉浸在虛擬世界中的感覺的情況下與現(xiàn)實(shí)世界交互。對(duì)于配戴這樣的頭戴式顯示器100的用戶，可以減少針對(duì)將自己沉浸于虛擬世界中的心理抵抗感。此外，即使用戶沉浸于虛擬世界中時(shí)，能夠減少由現(xiàn)實(shí)世界中的身體動(dòng)作造成的身體傷害的危險(xiǎn)。
[0129]參考文獻(xiàn)列表
[0130]專利文獻(xiàn)
[0131]專利文獻(xiàn)1:JP2012-141461A
[0132]專利文獻(xiàn)2:JP2012-42654A
[0133]專利文獻(xiàn)3:JP2008-304268A
[0134]專利文獻(xiàn)4:JP2013-258573A
[0135]工業(yè)實(shí)用性
[0136]因而上文詳細(xì)地并且參考【具體實(shí)施方式】描述了本說明書中公開的技術(shù)。然而，可見本領(lǐng)域技術(shù)人員可以在不偏離在本說明書中公開的技術(shù)的精神的前提下，對(duì)這些實(shí)施方式進(jìn)行修改和替換。
[0137]本說明書主要描述將本說明書公開的技術(shù)應(yīng)用于不透明的頭戴式顯示器的實(shí)施方式，但是本說明書公開的技術(shù)的主旨不限于此。本說明書公開的技術(shù)可以相似地應(yīng)用至配備有顯示現(xiàn)實(shí)世界的圖像和虛擬世界的圖像的功能的各種類型的圖像顯示裝置，諸如透視頭戴式顯示器、平視顯示器、配備攝像機(jī)的智能電話以及多功能終端。
[0138]實(shí)質(zhì)上，本說明書中公開的技術(shù)已通過舉例的方式進(jìn)行描述，并且本說明書所陳述的內(nèi)容不應(yīng)被解釋為受到限制。本說明書公開的技術(shù)的精神應(yīng)當(dāng)考慮到權(quán)利要求來確定。
[0139]另外，本文中公開的本技術(shù)還可以如下配置。[〇14〇](1) 一種配戴在頭部或面部上的圖像顯示裝置，包括:
[0141]顯示單元；
[0142]現(xiàn)實(shí)世界圖像獲取單元，被配置為獲取現(xiàn)實(shí)世界的圖像；
[0143]區(qū)域指定單元，被配置為指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域;以及
[0144]圖像生成單元，被配置為基于指定的所述區(qū)域?qū)⑺霈F(xiàn)實(shí)世界的圖像混合至虛擬圖像中并且生成顯示在所述顯示單元上的圖像。
[0145](2)根據(jù)(1)所述的圖像顯示裝置，其中，
[0146]所述顯示單元被布置在將所述圖像顯示裝置配戴在他或她的頭部或面部上的用戶的眼睛位置處，
[0147]所述圖像顯示裝置進(jìn)一步包括拍攝所述用戶的凝視方向的圖像的圖像拍攝單元， 并且
[0148]所述現(xiàn)實(shí)世界圖像獲取單元獲取通過所述圖像拍攝單元拍攝的所述現(xiàn)實(shí)世界的圖像。
[0149](3)根據(jù)(1)或(2)中任一項(xiàng)所述的圖像顯示裝置，進(jìn)一步包括:
[0150]虛擬世界圖像生成單元，被配置為生成虛擬世界的圖像；以及
[0151]區(qū)域圖像生成單元，被配置為計(jì)算與通過所述區(qū)域指定單元指定的所述區(qū)域相對(duì)應(yīng)的所述現(xiàn)實(shí)世界的圖像辦和所述虛擬世界的圖像Rv，其中，
[0152]所述圖像生成單元通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換為所述現(xiàn)實(shí)世界的所述對(duì)應(yīng)區(qū)域的圖像辦來生成顯示在所述顯示單元上的圖像。[〇153](4)根據(jù)(3)所述的圖像顯示裝置，其中，
[0154]所述區(qū)域指定單元基于用戶的操作指定顯示所述現(xiàn)實(shí)世界的圖像的所述區(qū)域。
[0155](5)根據(jù)(4)所述的圖像顯示裝置，其中，
[0156]所述圖像生成單元基于從所述用戶執(zhí)行用于指定所述區(qū)域的操作時(shí)起所經(jīng)過的時(shí)間來控制所述現(xiàn)實(shí)世界的圖像的混合比例。
[0157](6)根據(jù)(5)所述的圖像顯示裝置，其中，
[0158]在從所述用戶執(zhí)行用于指定所述區(qū)域的操作時(shí)起經(jīng)過固定時(shí)間之后，所述圖像生成單元將所述對(duì)應(yīng)區(qū)域從所述現(xiàn)實(shí)世界的圖像辦切換至所述虛擬世界的圖像Rv，或者將所述對(duì)應(yīng)區(qū)域逐漸恢復(fù)到所述虛擬世界的圖像Rv。
[0159](7)根據(jù)(4)至(6)中任一項(xiàng)所述的圖像顯示裝置，進(jìn)一步包括:[〇16〇]輸入單元，被配置為接受所述用戶的輸入操作，其中，
[0161]所述區(qū)域指定單元基于所述用戶對(duì)所述輸入單元的操作來指定顯示所述現(xiàn)實(shí)世界的圖像的所述區(qū)域。
[0162](8)根據(jù)(7)所述的圖像顯示裝置，其中，
[0163]所述輸入單元是觸摸面板，并且
[0164]所述區(qū)域指定單元指定與所述用戶觸摸所述觸摸面板的位置相對(duì)應(yīng)的區(qū)域。
[0165](9)根據(jù)(8)所述的圖像顯示裝置，其中，
[0166]所述觸摸面板被布置在所述顯示單元的顯示屏幕的背面。
[0167](10)根據(jù)(4)至(6)中任一項(xiàng)所述的圖像顯示裝置，其中，
[0168]所述區(qū)域指定單元基于所述用戶的手勢(shì)操作指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域。
[0169](11)根據(jù)(4)至(6)中任一項(xiàng)所述的圖像顯示裝置，其中，
[0170]所述區(qū)域指定單元根據(jù)所述用戶在所述現(xiàn)實(shí)世界的圖像與所述虛擬世界的圖像之間的邊界上的操作改變顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域。
[0171](12)根據(jù)(I)或(2)中任一項(xiàng)所述的圖像顯示裝置，進(jìn)一步包括:
[0172]實(shí)物檢測(cè)單元，被配置為檢測(cè)所述現(xiàn)實(shí)世界中的實(shí)物；以及
[0173]三維模型計(jì)算單元，被配置基于由所述現(xiàn)實(shí)世界圖像獲取單元獲取的所述現(xiàn)實(shí)世界的圖像生成包括所述實(shí)物的規(guī)定范圍的三維模型紐，并且還計(jì)算與檢測(cè)到所述實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv，其中，
[0174]所述圖像生成單元計(jì)算所述實(shí)物的所述三維模型M1被放置在虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv中的三維模型Mm，并且進(jìn)行渲染處理。
[0175](13)根據(jù)(12)所述的圖像顯示裝置，其中，
[0176]所述實(shí)物檢測(cè)單元檢測(cè)用戶的身體的部分或者檢測(cè)所述現(xiàn)實(shí)世界中的預(yù)先確定的物體。
[0177](14)根據(jù)(12)所述的圖像顯示裝置，其中，
[0178]所述實(shí)物檢測(cè)單元檢測(cè)所述現(xiàn)實(shí)世界中的距所述圖像顯示裝置固定距離以內(nèi)的物體。
[0179](15)根據(jù)(12)至(14)中任一項(xiàng)所述的圖像顯示裝置，其中，
[0180]所述圖像生成單元基于從所述實(shí)物檢測(cè)單元檢測(cè)到所述實(shí)物時(shí)起所經(jīng)過的時(shí)間來控制所述現(xiàn)實(shí)世界的圖像的混合比例。
[0181](16)根據(jù)(12)至(15)中任一項(xiàng)所述的圖像顯示裝置，其中，
[0182]所述區(qū)域指定單元在所述實(shí)物的當(dāng)前位置與所述現(xiàn)實(shí)世界的所述三維模型沿和所述虛擬世界V之間的邊界重疊的條件下對(duì)邊界進(jìn)行操作。
[0183](17)—種圖像顯示方法，包括:
[0184]獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟；
[0185]指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟；
[0186]基于指定的所述區(qū)域?qū)⑺霈F(xiàn)實(shí)世界的圖像混合至虛擬圖像中并且生成圖像的圖像生成步驟；以及
[0187]將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。
[0188](18)—種圖像顯示方法，包括:
[0189]獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟；
[0190]指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟；
[0191]生成虛擬世界的圖像的虛擬世界圖像生成步驟；
[0192]計(jì)算與在所述區(qū)域指定步驟中所指定的區(qū)域相對(duì)應(yīng)的所述現(xiàn)實(shí)世界的圖像&和所述虛擬世界的圖像Rv的區(qū)域圖像生成步驟；
[0193]通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換成所述現(xiàn)實(shí)世界的對(duì)應(yīng)區(qū)域的圖像辦來生成圖像的圖像生成步驟；以及
[0194]將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟
[0195](19) 一種圖像顯示方法，包括:
[0196]獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟；
[0197]檢測(cè)所述現(xiàn)實(shí)世界中的實(shí)物的實(shí)物檢測(cè)步驟；
[0198]指定檢測(cè)到的所述實(shí)物的虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv的區(qū)域指定步驟；
[0199]基于由所述現(xiàn)實(shí)世界圖像獲取單元獲取的所述現(xiàn)實(shí)世界的圖像生成包括所述實(shí)物的規(guī)定范圍的三維模型M1，并且還計(jì)算與檢測(cè)到所述實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv的三維模型計(jì)算步驟；
[0200]計(jì)算所述實(shí)物的所述三維模型紐被放置于所述虛擬世界的所述三維模型V的對(duì)應(yīng)區(qū)域Rv中的三維模型Mm并且進(jìn)行渲染處理從而生成圖像的圖像生成步驟；以及
[0201]將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。
[0202]符號(hào)說明
[0203]100頭戴式顯示器
[0204]1lLaoiR虛擬圖像光學(xué)單元
[0205]103L、103R 麥克風(fēng)
[0206]104L、104R 顯示面板
[0207]105瞳孔間寬度調(diào)整機(jī)構(gòu)
[0208]301控制單元
[0209]301A ROM
[0210]301B RAM
[0211]302輸入接口單元
[0212]303遠(yuǎn)程控制接收單元
[0213]304狀態(tài)信息獲取單元
[0214]305通信單元
[0215]306存儲(chǔ)單元
[0216]307圖像處理單元
[0217]308顯示器驅(qū)動(dòng)單元
[0218]309顯示單元
[0219]310虛擬圖像光學(xué)單元
[0220]312外側(cè)攝像機(jī)
[0221]313音頻處理單元
[0222]314音頻輸入/輸出單元
[0223]315觸摸面板
[0224]316環(huán)境信息獲取單元
[0225]701虛擬世界圖像生成單元
[0226]702現(xiàn)實(shí)世界圖像獲取單元
[0227]703區(qū)域指定單元
[0228]704區(qū)域圖像生成單元
[0229]705圖像替換單元
[0230]1401實(shí)物檢測(cè)單元
[0231]1402現(xiàn)實(shí)世界圖像獲取單元
[0232]1403三維模型計(jì)算單元
[0233]1404虛擬世界圖像生成單元
【主權(quán)項(xiàng)】
1.一種配戴在頭部或面部上的圖像顯示裝置，包括:顯示單元；現(xiàn)實(shí)世界圖像獲取單元，被配置為獲取現(xiàn)實(shí)世界的圖像；區(qū)域指定單元，被配置為指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域；以及圖像生成單元，被配置為基于指定的所述區(qū)域?qū)⑺霈F(xiàn)實(shí)世界的圖像混合至虛擬圖像 中并且生成顯示在所述顯示單元上的圖像。2.根據(jù)權(quán)利要求1所述的圖像顯示裝置，其中，所述顯示單元被布置在將所述圖像顯示裝置配戴在他或她的頭部或面部上的用戶的 眼睛位置處，所述圖像顯示裝置進(jìn)一步包括拍攝所述用戶的凝視方向的圖像的圖像拍攝單元，并且所述現(xiàn)實(shí)世界圖像獲取單元獲取通過所述圖像拍攝單元拍攝的所述現(xiàn)實(shí)世界的圖像。3.根據(jù)權(quán)利要求1所述的圖像顯示裝置，進(jìn)一步包括:虛擬世界圖像生成單元，被配置為生成虛擬世界的圖像；以及區(qū)域圖像生成單元，被配 置為計(jì)算與通過所述區(qū)域指定單元指定的所述區(qū)域相對(duì)應(yīng)的所述現(xiàn)實(shí)世界的圖像心和所 述虛擬世界的圖像Rv，其中，所述圖像生成單元通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換為所述現(xiàn)實(shí)世 界的所述對(duì)應(yīng)區(qū)域的圖像辦來生成顯示在所述顯示單元上的圖像。4.根據(jù)權(quán)利要求3所述的圖像顯示裝置，其中，所述區(qū)域指定單元基于用戶的操作指定顯示所述現(xiàn)實(shí)世界的圖像的所述區(qū)域。5.根據(jù)權(quán)利要求4所述的圖像顯示裝置，其中，所述圖像生成單元基于從所述用戶執(zhí)行用于指定所述區(qū)域的操作時(shí)起所經(jīng)過的時(shí)間 來控制所述現(xiàn)實(shí)世界的圖像的混合比例。6.根據(jù)權(quán)利要求5所述的圖像顯示裝置，其中，在從所述用戶執(zhí)行用于指定所述區(qū)域的操作時(shí)起經(jīng)過固定時(shí)間之后，所述圖像生成單 元將所述對(duì)應(yīng)區(qū)域從所述現(xiàn)實(shí)世界的圖像辦切換至所述虛擬世界的圖像Rv，或者將所述對(duì) 應(yīng)區(qū)域逐漸恢復(fù)到所述虛擬世界的圖像Rv。7.根據(jù)權(quán)利要求4所述的圖像顯示裝置，進(jìn)一步包括:輸入單元，被配置為接受所述用戶的輸入操作，其中，所述區(qū)域指定單元基于所述用戶對(duì)所述輸入單元的操作來指定顯示所述現(xiàn)實(shí)世界的 圖像的所述區(qū)域。8.根據(jù)權(quán)利要求7所述的圖像顯示裝置，其中，所述輸入單元是觸摸面板，并且所述區(qū)域指定單元指定與所述用戶觸摸所述觸摸面板的位置相對(duì)應(yīng)的區(qū)域。9.根據(jù)權(quán)利要求8所述的圖像顯示裝置，其中，所述觸摸面板被布置在所述顯示單元的顯示屏幕的背面。10.根據(jù)權(quán)利要求4所述的圖像顯示裝置，其中，所述區(qū)域指定單元基于所述用戶的手勢(shì)操作指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域。11.根據(jù)權(quán)利要求4所述的圖像顯示裝置，其中，所述區(qū)域指定單元根據(jù)所述用戶在所述現(xiàn)實(shí)世界的圖像與所述虛擬世界的圖像之間的邊界上的操作改變顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域。12.根據(jù)權(quán)利要求1所述的圖像顯示裝置，進(jìn)一步包括: 實(shí)物檢測(cè)單元，被配置為檢測(cè)所述現(xiàn)實(shí)世界中的實(shí)物；以及 三維模型計(jì)算單元，被配置基于由所述現(xiàn)實(shí)世界圖像獲取單元獲取的所述現(xiàn)實(shí)世界的圖像生成包括所述實(shí)物的規(guī)定范圍的三維模型M1，并且還計(jì)算與檢測(cè)到所述實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv，其中， 所述圖像生成單元計(jì)算所述實(shí)物的所述三維模型紐被放置在虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv中的三維模型Mm，并且進(jìn)行渲染處理。13.根據(jù)權(quán)利要求12所述的圖像顯示裝置，其中， 所述實(shí)物檢測(cè)單元檢測(cè)用戶的身體的部分或者檢測(cè)所述現(xiàn)實(shí)世界中的預(yù)先確定的物體。14.根據(jù)權(quán)利要求12所述的圖像顯示裝置，其中， 所述實(shí)物檢測(cè)單元檢測(cè)所述現(xiàn)實(shí)世界中的距所述圖像顯示裝置固定距離以內(nèi)的物體。15.根據(jù)權(quán)利要求12所述的圖像顯示裝置，其中， 所述圖像生成單元基于從所述實(shí)物檢測(cè)單元檢測(cè)到所述實(shí)物時(shí)起所經(jīng)過的時(shí)間來控制所述現(xiàn)實(shí)世界的圖像的混合比例。16.根據(jù)權(quán)利要求12所述的圖像顯示裝置，其中， 所述區(qū)域指定單元在所述實(shí)物的當(dāng)前位置與所述現(xiàn)實(shí)世界的所述三維模型跑和所述虛擬世界V之間的邊界重疊的條件下對(duì)邊界進(jìn)行操作。17.—種圖像顯示方法，包括: 獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟； 指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟； 基于指定的所述區(qū)域?qū)⑺霈F(xiàn)實(shí)世界的圖像混合至虛擬圖像中并且生成圖像的圖像生成步驟；以及 將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。18.—種圖像顯示方法，包括: 獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟； 指定顯示所述現(xiàn)實(shí)世界的圖像的區(qū)域的區(qū)域指定步驟； 生成虛擬世界的圖像的虛擬世界圖像生成步驟； 計(jì)算與在所述區(qū)域指定步驟中所指定的區(qū)域相對(duì)應(yīng)的所述現(xiàn)實(shí)世界的圖像沿和所述虛擬世界的圖像Rv的區(qū)域圖像生成步驟； 通過將虛擬世界渲染結(jié)果V的對(duì)應(yīng)區(qū)域的圖像Rv替換成所述現(xiàn)實(shí)世界的對(duì)應(yīng)區(qū)域的圖像辦來生成圖像的圖像生成步驟；以及 將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。19.一種圖像顯示方法，包括: 獲取現(xiàn)實(shí)世界的圖像的現(xiàn)實(shí)世界圖像獲取步驟； 檢測(cè)所述現(xiàn)實(shí)世界中的實(shí)物的實(shí)物檢測(cè)步驟； 指定檢測(cè)到的所述實(shí)物的虛擬世界的三維模型V的對(duì)應(yīng)區(qū)域Rv的區(qū)域指定步驟； 基于由所述現(xiàn)實(shí)世界圖像獲取單元獲取的所述現(xiàn)實(shí)世界的圖像生成包括所述實(shí)物的規(guī)定范圍的三維模型此，并且還計(jì)算與檢測(cè)到所述實(shí)物的位置相對(duì)應(yīng)的虛擬空間V的區(qū)域Rv 的三維模型計(jì)算步驟；計(jì)算所述實(shí)物的所述三維模型此被放置于所述虛擬世界的所述三維模型V的對(duì)應(yīng)區(qū)域 Rv中的三維模型Mm并且進(jìn)行渲染處理從而生成圖像的圖像生成步驟；以及將所生成的圖像顯示在布置于用戶的眼睛位置處的顯示單元上的顯示步驟。
【文檔編號(hào)】H04N5/64GK105992986SQ201480064167
【公開日】2016年10月5日
【申請(qǐng)日】2014年11月11日
【發(fā)明人】山本祐輝, 河本獻(xiàn)太, 今孝安
【申請(qǐng)人】索尼公司