頭部佩戴型顯示裝置、控制其的方法及計(jì)算機(jī)程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及頭部佩戴型顯示裝置。
【背景技術(shù)】
[0002]公知有使用計(jì)算機(jī)對(duì)實(shí)際存在于現(xiàn)實(shí)世界的物體、即實(shí)際物體附加提示信息的被稱為增強(qiáng)現(xiàn)實(shí)感(AR，Augmented Reality，擴(kuò)展現(xiàn)實(shí))的技術(shù)。在增強(qiáng)現(xiàn)實(shí)感中，也將附加性地顯示于實(shí)際物體的信息稱為“虛擬物體”。增強(qiáng)現(xiàn)實(shí)感的功能搭載于例如頭戴式顯示器(以下，也稱為“HMD”或者“頭部佩戴型顯示裝置”。)。
[0003]HMD利用相機(jī)來拍攝外景，對(duì)拍攝所得的圖像進(jìn)行圖像識(shí)別而生成或者獲取虛擬物體。在佩戴著HMD的狀態(tài)下利用者的視野不被遮擋的透過型HMD中，僅使利用者對(duì)包含虛擬物體的虛像進(jìn)行視覺識(shí)別。利用者可以通過觀察現(xiàn)實(shí)世界的實(shí)際物體與虛像所表示的虛擬物體這雙方來體驗(yàn)增強(qiáng)現(xiàn)實(shí)感。
[0004]在透過型的HMD中實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)感的情況下，為了降低帶給利用者的視覺上的不協(xié)調(diào)感，優(yōu)選地使利用者要視覺識(shí)別的實(shí)際物體的位置與利用者要視覺識(shí)別的虛擬物體的位置對(duì)準(zhǔn)?！拔恢谩卑c利用者相距的距離以及利用者的視野內(nèi)的水平方向和鉛垂方向的位置。于是，以往，使利用者的左右眼對(duì)包含向利用者的左右眼賦予視差的虛擬物體的虛像進(jìn)行視覺識(shí)別，據(jù)此將實(shí)際物體的位置與虛擬物體的位置對(duì)準(zhǔn)。
[0005]然而，人的眼是存在個(gè)人差異的。換言之，眼的位置、眼球的形狀、眼中的與視覺相關(guān)的部位(例如，晶狀體、視網(wǎng)膜，中央凹等)的位置等是因人而異的。因此，為了將實(shí)際物體的位置與虛擬物體的位置對(duì)準(zhǔn)，使利用者的左右眼對(duì)包含向利用者的左右眼賦予視差的虛擬物體的虛像進(jìn)行視覺識(shí)別，但即便如此，若利用者不同，則各利用者所視覺識(shí)別的虛擬物體的位置會(huì)產(chǎn)生偏移。專利文獻(xiàn)I中記載了通過對(duì)攝像機(jī)所獲取的患者的面部圖像進(jìn)行圖像處理來非接觸性地檢測(cè)患者的視線方向的技術(shù)。
[0006](現(xiàn)有技術(shù)文獻(xiàn))
[0007](專利文獻(xiàn))
[0008]專利文獻(xiàn)1:日本特開2005-100366號(hào)公報(bào)
[0009]專利文獻(xiàn)2:日本特開2005-128901號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0010]為了降低在增強(qiáng)現(xiàn)實(shí)感處理中對(duì)利用者賦予的視覺上的不協(xié)調(diào)感，優(yōu)選地，考慮眼的個(gè)人差異來確定虛擬物體的位置。關(guān)于這點(diǎn)，在專利文獻(xiàn)1、2所記載的技術(shù)中，關(guān)于增強(qiáng)現(xiàn)實(shí)感處理中對(duì)眼的個(gè)人差異的考慮未作任何記載。
[0011]因此，可以實(shí)現(xiàn)考慮了眼的個(gè)人差異的增強(qiáng)現(xiàn)實(shí)感處理的頭部佩戴型顯示裝置被人們所期望。
[0012](用于解決問題的措施)
[0013]本發(fā)明為了解決上述的問題的至少一部分而提出，可以實(shí)現(xiàn)為以下的方式。
[0014](I)根據(jù)本發(fā)明的一個(gè)方式，提供一種利用者可以對(duì)虛像和外景進(jìn)行視覺識(shí)別的頭部佩戴型顯示裝置。上述頭部佩戴型顯示裝置具備:使所述利用者對(duì)所述虛像進(jìn)行視覺識(shí)別的圖像顯示部；偏移檢測(cè)部，使得用于使所述利用者在三維空間上的任意的標(biāo)準(zhǔn)坐標(biāo)上對(duì)記號(hào)進(jìn)行視覺識(shí)別的所述虛像形成于所述圖像顯示部，求取表示所述利用者注視所述記號(hào)時(shí)的注視點(diǎn)的所述三維空間上的注視點(diǎn)坐標(biāo)，對(duì)所述標(biāo)準(zhǔn)坐標(biāo)與所述注視點(diǎn)坐標(biāo)之間的偏移進(jìn)行檢測(cè)；以及增強(qiáng)現(xiàn)實(shí)感處理部，使得包含用于針對(duì)實(shí)際存在于現(xiàn)實(shí)世界的實(shí)際物體顯示的、使用檢測(cè)出的所述偏移而配置的虛擬物體的所述虛像形成于所述圖像顯示部。
[0015]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以檢測(cè)形成在三維空間上的記號(hào)的標(biāo)準(zhǔn)坐標(biāo)與表示利用者注視記號(hào)時(shí)的注視點(diǎn)的注視點(diǎn)坐標(biāo)之間的偏移。上述“偏移”是標(biāo)準(zhǔn)的利用者注視記號(hào)時(shí)的注視點(diǎn)與頭部佩戴型顯示裝置的實(shí)際的利用者注視記號(hào)時(shí)的注視點(diǎn)之間的偏移，是因?qū)嶋H的利用者的眼的個(gè)人差異而產(chǎn)生的偏移。另外，增強(qiáng)現(xiàn)實(shí)感處理部使用由偏移檢測(cè)部檢測(cè)出的標(biāo)準(zhǔn)坐標(biāo)與注視點(diǎn)坐標(biāo)之間的偏移(即，因?qū)嶋H的利用者的眼的個(gè)人差異而產(chǎn)生的偏移)，來配置用于針對(duì)實(shí)際物體顯示的虛擬物體。結(jié)果，能夠提供可實(shí)現(xiàn)考慮了眼的個(gè)人差異的增強(qiáng)現(xiàn)實(shí)感處理的頭部佩戴型顯示裝置。
[0016](2)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測(cè)部也可以:求取連結(jié)發(fā)送至所述圖像顯示部的圖像數(shù)據(jù)內(nèi)的所述記號(hào)的坐標(biāo)和所述標(biāo)準(zhǔn)坐標(biāo)的標(biāo)準(zhǔn)向量與連結(jié)發(fā)送至所述圖像顯示部的圖像數(shù)據(jù)內(nèi)的所述記號(hào)的坐標(biāo)和所述注視點(diǎn)坐標(biāo)的注視點(diǎn)向量之間的角度差，作為所述標(biāo)準(zhǔn)坐標(biāo)與所述注視點(diǎn)坐標(biāo)之間的偏移。
[0017]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以將標(biāo)準(zhǔn)坐標(biāo)與注視點(diǎn)坐標(biāo)之間的偏移定義為:可等同視為連結(jié)標(biāo)準(zhǔn)的利用者的眼的中央凹與晶狀體的中心的向量的“標(biāo)準(zhǔn)向量”與可等同視為連結(jié)實(shí)際的利用者的眼的中央凹與晶狀體的中心的向量的“注視點(diǎn)向量”之間的角度差。
[0018](3)在上述方式的頭部佩戴型顯示裝置中，所述角度差也可以包含滾轉(zhuǎn)角的角度差、俯仰角的角度差以及偏航角的角度差。
[0019]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以求取關(guān)于三維空間上的正交坐標(biāo)系中的X軸、y軸、z軸的每一個(gè)的、標(biāo)準(zhǔn)向量與注視點(diǎn)向量的角度差。
[0020](4)在上述方式的頭部佩戴型顯示裝置中，還可以具備獲取與所述利用者的左右眼對(duì)應(yīng)的至少2張外景圖像的外景圖像獲取部，所述偏移檢測(cè)部引導(dǎo)所述利用者指示所述記號(hào)，基于由所述外景圖像獲取部獲取的所述至少2張外景圖像內(nèi)的所述指示，來求取所述注視點(diǎn)坐標(biāo)。
[0021]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以使用由頭部佩戴型顯示裝置中較廣泛地搭載的外景圖像獲取部(例如，立體相機(jī))獲取的至少2張外景圖像，來求取注視點(diǎn)坐標(biāo)。
[0022](5)在上述方式的頭部佩戴型顯示裝置中，還具備獲取所述利用者的視野方向的外景圖像的外景圖像獲取部和獲取到任意的目標(biāo)物為止的距離的距離獲取部，所述偏移檢測(cè)部可以引導(dǎo)所述利用者指示所述記號(hào)，基于由所述外景圖像獲取部獲取的所述外景圖像內(nèi)的所述指示和由所述距離獲取部獲取的到所述目標(biāo)物為止的距離，來求取所述注視點(diǎn)坐標(biāo)。
[0023]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部在外景圖像獲取部?jī)H可以獲取I張外景圖像的情況下，可以通過同時(shí)使用距離獲取部所獲取的到指示為止的距離來求取注視點(diǎn)坐標(biāo)。
[0024](6)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測(cè)部針對(duì)具有不同的多個(gè)標(biāo)準(zhǔn)坐標(biāo)的不同的多個(gè)記號(hào)反復(fù)執(zhí)行:使所述利用者在所述標(biāo)準(zhǔn)坐標(biāo)上對(duì)所述記號(hào)進(jìn)行視覺識(shí)別、求取所述注視點(diǎn)坐標(biāo)、檢測(cè)所述標(biāo)準(zhǔn)坐標(biāo)與所述注視點(diǎn)坐標(biāo)之間的偏移的一系列的處理，所述增強(qiáng)現(xiàn)實(shí)感處理部在所述虛擬物體的配置中，也可以使用針對(duì)不同的多個(gè)標(biāo)準(zhǔn)坐標(biāo)分別檢測(cè)出的多個(gè)偏移。
[0025]根據(jù)上述方式的頭部佩戴型顯示裝置，由于增強(qiáng)現(xiàn)實(shí)感處理部使用針對(duì)不同的多個(gè)標(biāo)準(zhǔn)坐標(biāo)分別檢測(cè)出的多個(gè)偏移來配置虛擬物體，因此可以提高在增強(qiáng)現(xiàn)實(shí)感處理中考慮的眼的個(gè)人差異的精度。
[0026](7)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測(cè)部也可以將利用所述頭部佩戴型顯示裝置內(nèi)的任意的應(yīng)用程序形成的任意的顯示用作所述記號(hào)，來執(zhí)行所述一系列的處理。
[0027]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以將利用頭部佩戴型顯示裝置內(nèi)的任意的應(yīng)用程序形成的任意的顯示用作記號(hào)，在任意的應(yīng)用程序的背景中執(zhí)行用于檢測(cè)標(biāo)準(zhǔn)坐標(biāo)與注視點(diǎn)坐標(biāo)之間的偏移的一系列的處理。結(jié)果，可以減輕利用者的費(fèi)事程度。
[0028](8)在上述方式的頭部佩戴型顯示裝置中，所述偏移檢測(cè)部也可以通過對(duì)所述利用者用右眼進(jìn)行視覺識(shí)別的所述虛像與所述利用者用左眼進(jìn)行視覺識(shí)別的所述虛像之間賦予視差來使所述利用者在所述標(biāo)準(zhǔn)坐標(biāo)上對(duì)所述記號(hào)進(jìn)行視覺識(shí)別。
[0029]根據(jù)上述方式的頭部佩戴型顯示裝置，偏移檢測(cè)部可以使用三角測(cè)量的原理簡(jiǎn)單地在圖像顯示部形成用于使得在標(biāo)準(zhǔn)坐標(biāo)上對(duì)記號(hào)進(jìn)行視覺識(shí)別的虛像。
[0030]上述的本發(fā)明的各方式所具有的多個(gè)結(jié)構(gòu)要素并不是全部都是必須的，為了解決上述的問題的一部分或者全部、或者為了達(dá)成本說明書所記載的效果的一部分或者全部，可以適當(dāng)?shù)貙?duì)所述多個(gè)結(jié)構(gòu)要素的一部分的結(jié)構(gòu)要素進(jìn)行變更、刪除、替換為新的結(jié)構(gòu)要素、刪除限定內(nèi)容的一部分。另外，為了解決上述的問題的一部分或者全部、或者為了達(dá)成本說明書中記載的效果的一部分或者全部，也可以將上述的本發(fā)明的一個(gè)方式所含的技術(shù)的特征的一部分或者全部與上述的本發(fā)明的其它方式所含的技術(shù)的特征的一部分或者全部進(jìn)行組合來作為本發(fā)明的獨(dú)立的一個(gè)方式。
[0031]例如，本發(fā)明的一個(gè)方式可以實(shí)現(xiàn)為具備圖像顯示部、偏移檢測(cè)部、增強(qiáng)現(xiàn)實(shí)處理部這3個(gè)要素中的一部分或者全部要素的裝置。S卩，上述裝置可以具有圖像顯示部，也可以不具有圖像顯示部。另外，上述裝置可以具有偏移檢測(cè)部，也可以不具有偏移檢測(cè)部。另外，上述裝置可以具有增強(qiáng)現(xiàn)實(shí)處理部，也可以不具有增強(qiáng)現(xiàn)實(shí)處理部。這樣的裝置可以實(shí)現(xiàn)為例如頭部佩戴型顯示裝置，但也可以實(shí)現(xiàn)為頭部佩戴型顯示裝置以外的其它的裝置。上述的頭部佩戴型顯示裝置的各方式的技術(shù)的特征的一部分或者全部都可以適用于上述裝置。例如，作為本發(fā)明的一個(gè)方式的裝置將實(shí)現(xiàn)考慮了眼的個(gè)人差異的增強(qiáng)現(xiàn)實(shí)處理為問題。但是，對(duì)于上述裝置，除了上述以外還期望裝置的小型化、利便性的提高、裝置制造時(shí)的低成本化、節(jié)省資源化、制造的容易化等。
[0032]此外，本發(fā)明可以以各種方式來實(shí)現(xiàn)，例如，可以以頭部佩戴型顯示裝置及頭部佩戴型顯示裝置的控制方法、包含頭部佩戴型顯示裝置的系統(tǒng)、用于實(shí)現(xiàn)上述的方法、裝置、系統(tǒng)的功能的計(jì)算機(jī)程序、存儲(chǔ)了上述計(jì)算機(jī)程序的存儲(chǔ)媒介等方式來實(shí)現(xiàn)。
【附圖說明】
[0033]圖1是表示本發(fā)明的一個(gè)實(shí)施方式中的頭部佩戴型顯示裝置的概略構(gòu)成的說明圖。
[0034]圖2是功能性地示出HMD100的構(gòu)成的框圖。
[0035]圖3是表示利用者所視覺識(shí)別的虛像的一例的說明圖。
[0036]圖4是表示偏移校正處理的次序的流程圖。
[0037]圖5是用于對(duì)偏移校正處理的步驟S102進(jìn)行說明的圖。
[0038]圖6是用于對(duì)偏移校正處理的步驟S104以后的處理進(jìn)行說明的圖。
[0039]圖7是用于對(duì)偏移校正處理的步驟S106進(jìn)行說明的圖。
[0040]圖8是用于對(duì)偏移校正處理的步驟S116以后的處理進(jìn)行說明的圖。
[0041 ] 圖9是用于對(duì)變形2進(jìn)行說明的圖。
[0042]圖10是表示變形例中的HMD的外觀構(gòu)成的說明圖。
[0043]【附圖標(biāo)記的說明】
[0044]10…控制部;11...確定鍵;12…點(diǎn)亮部;13…顯示切換鍵;14…觸控板;15…亮度切換鍵；16...方向鍵；17...菜單鍵；18…電源開關(guān)；20...圖像顯示部；21…右保持部；22…右顯示驅(qū)動(dòng)部；23…左保持部；24…左顯示驅(qū)動(dòng)部；26…右光學(xué)像顯示部；28…左光學(xué)像顯不部;30…耳機(jī)插頭;32…右耳機(jī);34…左耳機(jī);40…連接部;42…右軟線;44…左軟線；46…連結(jié)部件；48…主體軟線；51…發(fā)送部;52…發(fā)送部;53…接收部;54…接收部相機(jī)(外景圖像獲取部);66…9軸傳感器；110…輸入信息獲取部；100…HMD(頭部佩戴型顯示裝置)；120…存儲(chǔ)部；122…距離信息；130…電源；132…無線通信部；140…CPU;142…增強(qiáng)現(xiàn)實(shí)感處理部；144…偏移檢測(cè)部；160…圖像處理部；170…聲音處理部；180…接口 ；190…顯示控制部；201…右背光源控制部；202…左背光源控制部；211…右IXD控制部；212…左IXD控制部；221…右背光源；222…左背光源；241…右IXD ;242…左IXD ;251…右投射光學(xué)系統(tǒng)；252…左投射光學(xué)系統(tǒng)；261…右導(dǎo)光板；262…左導(dǎo)光板；60…晶狀體；70…中央凹;80…手;PCLK…時(shí)鐘信號(hào)；VSync…垂直同步信號(hào)；HSync…水平同步信號(hào)；Data…圖像數(shù)據(jù)；Datal…右眼用圖像數(shù)據(jù)；Data2…左眼用圖像數(shù)據(jù)；0A…外部設(shè)備；PO"個(gè)人計(jì)算機(jī);SC…外景;VI…虛像;VR…視野;RE…右眼;LE…左眼;ER…端部;EL…端部；IM…認(rèn)證畫面；V0…虛擬物體;B1L…標(biāo)準(zhǔn)向量