專利名稱：顯示處理裝置、顯示方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及增強現(xiàn)實技木。
背景技術(shù)：
增強現(xiàn)實(AR Augmented Reality)技術(shù)是指在現(xiàn)實世界的圖像上重疊虛擬物體使用戶觀看的技木。為了實現(xiàn)對用戶造成的不舒適感較少的增強現(xiàn)實感，需要根據(jù)現(xiàn)實世界的圖像在適當位置顯示適當種類的虛擬物體。關(guān)于這點,在非專利文獻I中，使用搭載了照相機的HMD(Head Mounted Display/頭戴式顯示器)作為顯示器件，利用由該照相機拍攝的標記的位置或標記獨自的圖案，進行 應(yīng)該在HMD中顯示的虛擬物體的處理?，F(xiàn)有技術(shù)文獻專利文獻專利文獻I :日本專利3993423號公報非專利文獻非專利文獻I :加藤博一ら著「マーカー追跡に基づく拡張現(xiàn)実感システムとそのキヤリブレーシヨン」日本VR學(xué)會論文誌Vol4、No4、pp60 (1999)

發(fā)明內(nèi)容
發(fā)明要解決的課題本發(fā)明人研討了針對佩戴HMD進行讀書的用戶顯示與書頁對應(yīng)的虛擬物體的技術(shù)。例如，如果在印刷了背景畫的兒童書的頁中顯示作為虛擬物體的人物的圖像，則能夠給用戶帶來躍動感。但是，正在讀書的用戶打開的書的頁有時會彎曲，所以，為了不給用戶帶來不舒適感，需要考慮現(xiàn)實世界中的這種彎曲來顯示虛擬物體。本發(fā)明是鑒于這種問題而完成的，在拍攝了書頁的攝影圖像(現(xiàn)實世界的圖像)上重疊顯示虛擬物體時，顯示結(jié)合了頁的彎曲程度的適當形態(tài)的虛擬物體。用于解決課題的手段本發(fā)明的顯示處理裝置在拍攝了現(xiàn)實世界的攝影圖像上重疊顯示虛擬物體，其特征在于，該顯示處理裝置具有取得単元，取得拍攝了書頁的攝影圖像；提取單元，從所取得的攝影圖像中提取I個以上的標記圖像；生成単元，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理單元，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。發(fā)明效果根據(jù)本發(fā)明的顯示處理裝置，能夠有助于以結(jié)合了頁的彎曲程度的適當形態(tài)顯示虛擬物體。


圖I是示出讀書系統(tǒng)I的概要的圖。圖2是示出打開的書10的外觀的圖。圖3是嵌入標記2L、2R中的標記內(nèi)部信息的例子。圖4是HMD20的功能框圖。圖5是示出與重疊顯示有關(guān)的處理的流程圖。圖6是示出曲面計算處理的流程圖。圖7是示出3個坐標系的圖。圖8是示出曲面計算處理的流程的一例的圖。圖9是示出曲面計算處理的流程的一例的圖。圖10是示出重疊顯示的例子的圖。圖11是嵌入標記2L、2R中的標記內(nèi)部信息的例子。圖12是HMD21的功能框圖。圖13是示出重疊顯示的例子的圖。圖14是示出與重疊顯示有關(guān)的處理的流程圖。圖15是示出曲面計算處理的流程圖。圖16是示出設(shè)定附近點的例子的圖。圖17是HMD20的功能框圖。圖18是示出與重疊顯示有關(guān)的處理的流程圖。
具體實施例方式下面，參照附圖對實施方式進行說明。(實施方式I)〈結(jié)構(gòu)〉圖I是示出讀書系統(tǒng)的概要的圖。如圖I所示，讀書系統(tǒng)I構(gòu)成為包括書10和用戶佩戴的HMD20。HMD20生成拍攝了打開的書10的兩頁的圖像(現(xiàn)實世界的圖像)，在該圖像上重疊顯示與各頁對應(yīng)的虛擬物體，從而充實或補充書10的內(nèi)容。在重疊顯示吋，為了不給用戶帶來不舒適感，優(yōu)選以虛擬物體正好存在于紙頁上的方式進行顯示。但是，紙制的書10的頁有時會彎曲，所以，在將虛擬物體貼在完全平坦的平面上進行顯示的情況下，可能給用戶帶來虛擬物體向頁的上下方向或頁的前后方向偏移這樣的不舒適感。因此，在本實施方式的讀書系統(tǒng)I中，生成結(jié)合了頁的實際彎曲程度的曲面，以與所生成的曲面對應(yīng)的適當形態(tài)重疊顯示虛擬物體。圖2是示出打開的書10的外觀的圖。 如圖2 (a)所示，在書10的左頁的左下和右下部分印刷有標記2L、2R。右頁也同樣印刷有4L、4R。這樣，左右頁的結(jié)構(gòu)相同，所以，下面，以與左頁的重疊顯示有關(guān)的部分為中心進行說明。
并且，在書10的左頁中，將頁與脊(spine)相接的部分稱為喉部(gutter)15，將除去該喉部15以外的三個邊稱為小口 16a 16c (在圖2中由虛擬的雙點劃線示出。)。特別地，將上方的邊即小口 16a稱為“上邊”，將下方的邊即小口 16c稱為“下邊”。參照圖2 (b)對標記2L進行說明。另外，其他標記2R、4L、4R的結(jié)構(gòu)與標記2L相同。標記2L在四個角具有切出符號2a 2d，其余部分為黑白圖案。切出符號2a 2d的黑與白的長度之比為黑白黑白黑=1 I 3 I :1，該比用于檢測標記2L的位直和大小。這樣,標記2L與作為ニ維碼之一的QR (Quick Response)碼類似,但是，QR碼在三個角具有切出符號，與此相對，標記2L在四個角具有切出符號，這點與QR碼不同。并且，與QR碼同樣，能夠利用黒白圖案在標記2L中嵌入最大幾KB程度的信息。下面，將嵌入標記2L、2R中的信息稱為“標記內(nèi)部信息”。圖3示出標記內(nèi)部信息的例子。如圖3 (a)所示,標記內(nèi)部信息包括表示印刷有標記的書頁的“頁”20a、頁的“紙面尺寸” 20b、“標記坐標”20c、“標記尺寸” 20d這4個項目。上述“標記坐標” 20c表示在標記的4個頂點中、位于遠離頁中央的一側(cè)且在上下方向中位于“下”方向側(cè)的點的坐標。圖3 (b)是根據(jù)圖3 Ca)的標記內(nèi)部信息而得到的信息的圖。特別地，根據(jù)兩個標記2L、2R的坐標(50、750)、(450、750)，標記間的距離為400。圖4是HMD20的功能框圖。HMD20具有照相機22、取得部23、標記提取部24、坐標信息存儲部26、標記讀取部28、內(nèi)部信息存儲部30、虛擬物體取得部32、曲線計算部38、曲面生成部40、曲面信息存儲部42、顯示引擎44、顯示器46。照相機22具有通過拍攝而生成圖像的功能。例如是像素數(shù)為幾百萬像素的CMOS(Complementary Metal Oxide Semiconductor/互補金屬氧化物半導(dǎo)體)照相機,朝向與佩戴HMD20的用戶的視線一致的方向而安裝在HMD20的筐體上。取得部23取得由照相機拍攝的圖像。標記提取部24從由取得部23取得的圖像中檢測四個角的切出符號2a 2d，從而提取標記圖像的區(qū)域。在本說明書中，將現(xiàn)實中印刷在頁上的標記簡稱為“標記”，將從攝影圖像中提取出的標記稱為“標記圖像”，對兩者進行區(qū)分。然后，將表示提取出的標記圖像的區(qū)域的坐標的坐標信息存儲在坐標信息存儲部26中。標記讀取部28從由標記提取部24提取出的標記圖像的區(qū)域內(nèi)讀取標記內(nèi)部信息，將讀取出的內(nèi)部信息存儲在內(nèi)部信息存儲部30中。該讀取方法可以使用在QR碼中利用的手法。虛擬物體取得部32具有虛擬物體確定部34和虛擬物體存儲部36。虛擬物體存儲部36與頁碼相關(guān)聯(lián)地存儲多個虛擬物體。虛擬物體確定部34根據(jù)在內(nèi)部信息存儲部30中存儲的內(nèi)部信息的頁碼，從在虛擬物體存儲部36中存儲的多個虛擬物體中確定與該頁碼對應(yīng)的虛擬物體。列舉一例時，如圖3 (a)所示，如果“頁”13a的項目為35頁，則虛擬物體確定部34從在虛擬物體存儲部36中存儲的多個虛擬物體中，確定與該35頁對應(yīng)的虛擬物體。曲線計算部38根據(jù)坐標信息存儲部26的坐標信息和內(nèi)部信息存儲部30的內(nèi)部信息，計算表示照相機22拍攝的打開的書10的頁的彎曲的程度的曲線。曲面生成部40根據(jù)曲線計算部38計算出的曲線，計算曲面，并將其存儲在曲面信息存儲部42中。顯示引擎44根據(jù)在曲面信息存儲部42中存儲的曲面對由虛擬物體確定部34確定的虛擬物體進行變形(加工)，在顯示器46中重疊顯示變形后的虛擬物體。〈動作〉接著，使用圖5 圖10對HMD20中的與重疊顯示有關(guān)的處理進行說明。首先，取得部23從照相機22取得攝入了打開的書10的兩頁的攝影圖像(圖5 S51)。然后，標記提取部24從該攝影圖像中提取(切出)與標記2L、2R對應(yīng)的區(qū)域作為標記圖像，將提取出的標記圖像的坐標信息存儲在坐標信息存儲部26中(S52)。標記讀取部28將由標記提取部24提取出的各個標記圖像12L、12R的區(qū)域作為對象，讀取標記內(nèi)部信息，將讀取出的標記內(nèi)部信息存儲在內(nèi)部信息存儲部30中(S53)。然后，虛擬物體確定部34從虛擬物體存儲部36的虛擬物體中確定作為重疊顯示對象的虛擬物體(S54)。接著，轉(zhuǎn)移到圖6的計算曲面的處理(S55)。另外，在進入圖6的處理的說明之前，對在本實施方式中處理的3個坐標系進行說明。但是，這3個坐標系在AR技術(shù)領(lǐng)域中是廣泛公知的，所以，只做簡單介紹。(I)現(xiàn)實世界坐標系…是用于在現(xiàn)實世界的空間中表示物體位置的坐標系。在AR技術(shù)領(lǐng)域中，有時也稱為“世界坐標系”或“全局坐標系”。(2)照相機坐標系…是以照相機為中心的坐標系。(3)屏幕坐標系…是對現(xiàn)實世界的圖像進行拍攝(投影)的坐標系。圖7示出現(xiàn)實世界坐標系511、照相機坐標系512、屏幕坐標系521的圖。
從照相機22拍攝的圖像中提取出的坐標信息由該(3)屏幕坐標系表現(xiàn)，但是，在求解實際的現(xiàn)實世界中的頁的彎曲程度時，需要轉(zhuǎn)換為由(I)現(xiàn)實世界坐標系表現(xiàn)的坐標。因此，在本實施方式中，對(3)屏幕坐標系進行(3)屏幕坐標系一(2)照相機坐標系的轉(zhuǎn)換，進而，進行(2)照相機坐標系一(I)現(xiàn)實世界坐標系的轉(zhuǎn)換。前者的從(3)屏幕坐標系向(2)照相機坐標系的轉(zhuǎn)換方法例如可以使用非專利文獻I中記載的手法。關(guān)于后者的(2)照相機坐標系一(I)現(xiàn)實世界坐標系的轉(zhuǎn)換，首先，在HMD20側(cè)，根據(jù)大小已知的標記估計標記的3維坐標(估計方法的詳細情況參照非專利文獻I)。接著，根據(jù)估計出的3維坐標計算坐標轉(zhuǎn)換用的矩陣，從而能夠進行轉(zhuǎn)換。使用示出處理流程的一例的圖8 圖9對圖6的處理進行說明。曲線計算部38根據(jù)在坐標信息存儲部26中存儲的坐標信息和內(nèi)部信息存儲部30的標記內(nèi)部信息，計算兩個標記圖像12L、12R (標記2L、2R)在現(xiàn)實世界坐標系中的坐標(S61)。具體而言,如圖8 (a)所示，曲線計算部38計算標記圖像12L的頂點121L 124L和標記圖像12R的頂點121R 124R的坐標。
接著，曲線計算部38根據(jù)兩個標記圖像12L、12R的邊計算矢量(S62)。如圖8(b)所示，曲線計算部38計算通過標記12L的下邊的矢量125L和通過頁的左邊的矢量126L。同樣，計算通過標記圖像12R的下邊的矢量125R和通過標記圖像12R的右邊的126R。然后，曲線計算部38計算分別延長標記圖像12L的下邊的矢量和標記圖像12R的下邊的矢量的直線的交點(S63)。如圖8 (c)所示，曲線計算部38求出延長矢量125L和矢量125R的直線的交點130。這里，實際印刷的標記圖像12L、12R位于同一紙面上，所以，假設(shè)矢量125L和矢量125R也存在于同一平面上((Xb、Yb)平面)。另外，當兩個矢量的位置關(guān)系為處于扭曲位置而無法利用上述手法求出交點吋，設(shè)交點130的(Xb、Yb)分量為兩個矢量125LU25R的(Xb、Yb)分量的矢量的交點A。并且，關(guān)于交點130的Zb分量，也可以求出以下交點(I)與通過該交點A的Zb軸平行的矢量和矢量125L的交點B ;以及(2)與通過該交點A的Zb軸平行的矢量和矢量125R的交點C，求出兩個交點B、C的中間點((B+C ) /2 )，從而進行計算。接著，曲線計算部38在交點130的前后設(shè)定第I附近點131和第2附近點132(S64、圖8⑷)。第I附近點131和第2附近點132是從交點130向矢量126LU26R的矢量和方向(對應(yīng)于頁的“上”方向)移動一定距離的點。然后，曲線計算部38計算以下3條曲線140 142 (S65、圖9 Ce))(I)從左側(cè)的標記圖像12L的下邊起通過交點130到達右側(cè)的標記圖像12R的下邊的曲線140 ；(2)從左側(cè)的標記圖像12L的下邊起通過第I附近點131到達右側(cè)的標記圖像12R的下邊的曲線141 ;以及(3)從左側(cè)的標記圖像12L的下邊起通過第2附近點132到達右側(cè)的標記圖像12R的下邊的曲線142。關(guān)于該曲線的計算，計算連接左側(cè)下邊的頂點121L和頂點122L這2個點、中央的交點130的I個點以及右側(cè)下邊的頂點122R和頂點121R這2個點的合計5個點的樣條曲線，能夠求出曲線140。同樣，通過將中央的點分別變更為第I附近點131或第2附近132，分別求出曲線141、曲線142。在計算出3條曲線后，曲線計算部38將最接近根據(jù)標記內(nèi)部信息計算出的標記間距離的曲線確定為最終曲線(S66)。如使用圖3說明的那樣，曲線計算部38根據(jù)兩個標記圖像12L、12R的坐標(50、750)、(450、750)求出標記間的距離為400。然后，求出曲線140 142中最接近該距離400的曲線(在圖9 (f)的例子中，設(shè)曲線141最近。)。接著，曲面生成部40求出使所確定的曲線141從交點130向矢量126L、126R的矢量和方向(對應(yīng)于頁的“上”方向)平行移動后的曲線151 (S67、圖9 (f))。然后，曲面生成部40生成包圍平行移動前的曲線141和平行移動后的曲線151的曲面(S68)。具體而言，如圖9 (g)所示，曲面生成部40包圍曲線141上的點121L和122L、以及使該點121L和122L向“上”方向平行移動后的點161L和162L的合計4個點，而生成較小的曲面141。然后，同樣，曲面生成部40生成包圍點122L、點143、點162L、點163這4個點的較小的曲面172，進而，生成較小的曲面173 175，連接所生成的較小的曲面171 175而生成曲面170 (圖9 (h))。該曲面170是表示打開的書10的左頁的彎曲程度的曲面。另外，在圖9 (g)的例子中，在曲線141上設(shè)定6個點，但是不限于此，也可以設(shè)為任意個數(shù)。如果細致地設(shè)定點，則能夠生成更加精致的曲面，但是，處理負荷増大。在曲面計算處理(圖5 S55)結(jié)束后，結(jié)合曲面對虛擬物體進行變形，重疊顯示在顯不器46上(S56)。圖10示出重疊顯示的例子。在圖10中，在HMD20中顯示如下的圖像(重疊圖像):該圖像是在所拍攝的圖像(攝影圖像)上重疊了結(jié)合曲面170對虛擬物體180進行變形后的圖像(虛擬圖像)而得到的。另外，該虛擬物體180的變形使用在曲面170上粘貼虛擬物體180的紋理貼圖的手法。在HMD20中顯示的示出太陽和星星的虛擬物體180結(jié)合曲面170而變形，所以，能夠使用戶觀看到在用手打開的書10的左頁上正好描繪太陽和星星。并且，能夠防止觀看到虛擬物體180向頁的上下方向偏移，進而，能夠防止觀看到由于虛擬物體180向頁的前后方向偏移而從頁上浮起或埋沒在頁中的不自然的樣子。如以上說明的那樣，根據(jù)本實施方式，通過在頁上印刷的2個標記，能夠計算與頁的彎曲程度對應(yīng)的曲面。不需要為了計算曲面而準備大量的標記，能夠進行較輕的處理，所以，特別優(yōu)選應(yīng)用于HMD。(實施方式2)在實施方式2中，在描繪有地圖的書的圖像上重疊顯示表示當前地點的記號作為虛擬物體?；窘Y(jié)構(gòu)與實施方式I相同，所以，以不同的部分為中心進行說明。圖11不出嵌入標記2L、2R中的標記內(nèi)部信息的例子。標記內(nèi)部信息基本上與圖3相同，但是，“位置信息” 13e的項目不同。該“位置信息” 13e表示印刷有標記2L、2R的頁的地圖所覆蓋的緯度/經(jīng)度的范圍。圖12是HMD21的功能框圖。對與圖4相同的功能塊標注相同標號并省略說明。位置信息接收部50由一般的GPS (Global Positioning System)單元構(gòu)成,經(jīng)由GPS天線51接收位置信息。顯示引擎44沿著在曲面信息存儲部42中存儲的曲面對在虛擬物體存儲部36中存儲的表示當前地點的記號進行變形。并且，根據(jù)在內(nèi)部信息存儲部30中存儲的標記內(nèi)部信息的位置信息，在上述曲面中設(shè)定坐標系，在位置信息接收部50所示的位置重疊顯示表示當前地點的記號。
圖13示出重疊顯示的例子。如圖13的虛擬圖像所示，顯示引擎44將標記內(nèi)部信息的“位置信息” 13e (參照圖11)的(34. 7、135. 5)設(shè)定為頁左上的點A，將(34. 8、135. 6)設(shè)定為頁右下的點B。然后，顯示引擎44沿著曲面190對表示當前地點的記號200進行變形，將變形后的記號配置在位置信息接收部50所示的位置(34. 74、135. 55)上。
在圖13的重疊圖像中，在頁中印刷的地圖上顯示表示當前地點的記號，佩戴HMD21的用戶能夠確認當前地點。根據(jù)本實施方式2，在用戶閱覽印刷有地圖的紙書時，通過重疊表示當前地點的信息，能夠有助于提高便利性。并且，該重疊顯示也可以不使用網(wǎng)絡(luò)通信手段來進行。并且，記號200根據(jù)曲面190而變形，且重疊顯示在與曲面190對應(yīng)的位置上，所以，能夠防止記號在頁上、特別是沿上下方 向偏移。特別是在地圖細致而錯綜復(fù)雜的情況下，通過防止上下的偏移，能夠更加準確地表示當前地點。(實施方式3)上述重疊顯示需要實時進行，而且，多數(shù)情況下，HMD與通用PC等相比，處理能力并不擅長。因此，在實施方式3中，減輕了標記內(nèi)部信息的讀取處理(圖14)和曲面計算處理(圖 15)。如圖14所示，標記提取部24從攝影圖像中提取標記圖像后(S52)，對上次的標記圖像和本次的標記圖像的標記坐標進行比較。如果相同，則跳過標記內(nèi)部信息的讀取等處理(S53、S54) (S141 :相同)，再次利用上次讀取出的標記內(nèi)部信息。在實時的重疊顯示中，照相機22例如以60fps捕獲圖像，有時標記坐標在標記圖像間幾乎沒有變化。通過進行這種處理，能夠減輕標記內(nèi)部信息的讀取所需要的處理。并且，如圖15所示，在曲面計算處理中，如果本次的圖像的標記坐標與上次相比沒有變化(S151 :否)，則曲線計算部38將上次的最終曲線的中央點(交點或附近點)設(shè)定為本次的交點(S152)。這樣，能夠跳過步驟S61 S63，能夠減輕處理。〈補充1>以上對本實施方式進行了說明，但是，本發(fā)明不限于上述內(nèi)容，能夠在用于實現(xiàn)本發(fā)明的目的和與其相關(guān)聯(lián)或附帯的目的的各種方式中實施本發(fā)明，例如，也可以如下所述。(I)附近點的生成方法在實施方式中，如圖8 (d)所示，使交點130向頁的“上”方向移動而生成附近點131、132，但是不限于此，如圖16所示，也可以在沿Zb軸方向(是與頁的前后方向?qū)?yīng)的方向。)延伸的直線上設(shè)定附近點133、134。并且，在圖8 (d)中，生成2個附近點，但是，在處理負荷存在余量的情況下等，也可以增加該個數(shù)。(2)曲線的生成方法在實施方式中，生成圖9 (e)所示的樣條曲線，但是，生成曲線的手法不限于此?？梢允褂秘惾麪柷€、貝塞爾/樣條曲線(例如，按照每個劃分而生成貝塞爾曲線，連接所生成的貝塞爾曲線而得到樣條曲線。)等的手法。并且，在希望縮短計算曲線距離的計算時間的情況下，也可以使用如下的折線的距離作為曲線的距離，該折線是由使在樣條曲線計算中使用的5個點(例如點121LU22L、點130、點122R、點121R)中相鄰各點彼此連接的線段構(gòu)成的。(3)頁的材質(zhì)在實施方式中，設(shè)書10的頁為紙制，但是不限于紙，也可以是柔性顯示器等產(chǎn)生彎曲的材質(zhì)。
(4)虛擬物體在實施方式中，在HMD20的虛擬物體存儲部36內(nèi)存儲作為顯示對象的虛擬物體，但是，也可以不存儲而從外部取得。例如，作為標記的標記內(nèi)部信息，也可以包含URL (UniformResource Locator/統(tǒng)ー資源定位符)作為識別虛擬物體的信息，在HMD20中，經(jīng)由網(wǎng)絡(luò)從該URL所示的場所(Locator)取得虛擬物體。并且，虛擬物體不限于平面圖像(2D圖像)，也可以是立體圖像(3D圖像)。例如，在顯示在曲面上滾動的人物作為立體圖像的情況下，考慮將曲面生成部40生成的曲面用干與人物之間的沖突判定，或者對該曲面設(shè)定摩擦系數(shù)。(5)照相機在實施方式中，HMD20具有照相機22，但是，照相機不是必須的，也可以采用不具有照相機的HMD的結(jié)構(gòu)。該情況下，例如，也可以利用通信電纜連接HMD和作為外部裝置的照相機，在HMD的取得部中從照相機取得其攝影圖像。(6)曲面的生成方法在實施方式中，在計算出曲線后，根據(jù)計算出的曲線而生成曲面，但是不限于此，也可以采用不經(jīng)由曲線而直接生成曲面的手法。依據(jù)該(5)、(6)，圖17示出HMD20的主要部分20a。(7)程序用于使各種信息處理裝置的處理器和與該處理器連接的各種電路執(zhí)行上述實施方式所示的動作等的由程序碼構(gòu)成的控制程序可以記錄在記錄介質(zhì)中，或者經(jīng)由各種通信路流通和頒布。在這種記錄介質(zhì)中，存在IC卡、硬盤、光盤、軟盤、ROM等的非臨時(not-transitory)的記求介質(zhì)。流通、頒布的控制程序被存儲在處理器可讀出的存儲器等中以供利用，該處理器執(zhí)行該控制程序，從而實現(xiàn)實施方式所示的各種功能。(8) LSI附圖所示的各功能塊可以是集成電路即LSI。它們可以單獨單片化，也可以包含一部分或全部而單片化。這里設(shè)為LSI，但是，由于集成度的差異，有時也稱為1C、系統(tǒng)LSI、超級LSI、特級LSI。并且，集成電路化的手法不限于LSI，也可以通過專用電路或通用處理器來實現(xiàn)。也可以利用能夠在LSI制造后進行編程的FPGA (Field Programmable Gate Array/現(xiàn)場可編程門陣列)、或者能夠重構(gòu)LSI內(nèi)部的細胞電路的連接和設(shè)定的可重構(gòu)處理器。進而，如果出現(xiàn)了通過半導(dǎo)體技術(shù)的進步或派生的其他技術(shù)置換LSI的集成電路化的技術(shù)，則當然也可以使用該技術(shù)來進行功能塊的集成化?！囱a充2>本實施方式包含以下方式。(I)實施方式的顯示處理裝置在拍攝了現(xiàn)實世界的攝影圖像上重疊顯示虛擬物體，其中，該顯示處理裝置具有取得単元，取得拍攝了書頁的攝影圖像；提取單元，從所取得的攝影圖像中提取I個以上的標記圖像；生成単元，根據(jù)所述標記圖像生成表示所拍攝、的頁的彎曲程度的曲面；以及顯示處理單元，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。( 2 )并且，也可以 是，所述提取單元提取第I標記圖像和第2標記圖像，所述生成單元根據(jù)所述第I標記圖像和所述第2標記圖像，計算表示所拍攝的頁的彎曲程度的曲線，根據(jù)該曲線生成所述曲面。(3)并且，也可以是，在所述頁的上下方向中，與所述第I標記圖像和第2標記圖像相當?shù)挠‘嫴糠值囊环接∷⒃陧撟髠?cè)，另一方印刷在頁右側(cè)，兩者均具有沿頁的左右方向延伸的邊，所述生成単元計算的所述曲線是通過所述第I標記圖像的邊和所述第2標記圖像的邊的曲線，所述生成単元通過使所述曲線沿所述攝影圖像內(nèi)的頁的上下方向平行移動，生成所述曲面。(4)也可以是，所述顯示處理裝置具有讀取單元，分別從提取出的所述第I標記圖像和所述第2標記圖像中，讀取表示所述頁中的與各標記相當?shù)挠‘嫴糠值淖鴺说男畔?；以及計算單元，計算所讀取出的坐標間的距離，所述生成単元根據(jù)計算出的所述距離計算所述曲線。(5)也可以是，所述生成単元求出延長所述第I標記圖像的邊后的直線與延長所述第2標記圖像的邊后的直線的兩條直線的交點，生成以下曲線(a)從所述第I標記圖像的邊起通過所述交點到達所述第2標記圖像的邊的I條曲線；以及(b)從所述第I標記圖像的邊起通過位于所述交點的鄰近位置的附近點且通過所述第2標記圖像的邊的I條以上的曲線，計算所生成的所有曲線中、其距離最接近所述計算出的距離的曲線作為最終曲線。(6)也可以是，所述附近點是使所述交點向所述攝影圖像內(nèi)的頁的上下方向或進深方向移動的點。(7)也可以是，所述讀取単元從提取出的所述第I標記圖像和所述第2標記圖像的至少一方中讀取識別虛擬物體的信息，所述顯示處理單元將通過所述讀取而識別的虛擬物體作為所述重疊顯示的對象。(8)也可以是，在所述頁上印刷有地圖，所述讀取単元從提取出的所述第I標記圖像和所述第2標記圖像的至少一方中讀取坐標信息，該坐標信息表示在范圍內(nèi)包含該頁的地圖的坐標的范圍，所述顯示處理裝置具有接收表示當前地點的位置信息的接收單元，所述顯示處理單元根據(jù)所述曲面對表示當前地點的記號作為所述虛擬物體進行變形，在所述攝影圖像內(nèi)的頁上的、基于所述坐標信息所示的坐標的范圍的所述位置信息的位置，重疊顯示變形后的記號。(9)也可以是，與所述第I標記圖像和第2標記圖像相當?shù)挠‘嫴糠殖示匦蔚男螤?，該矩形具有沿所述頁的左右方向延伸的邊和沿頁的上下方向延伸的邊，所述生成単元根據(jù)所述提取出的所述第I標記圖像或第2標記圖像的沿所述上下方向延伸的邊，向所述上下方向平行移動。(10)也可以是，所述取得単元定期反復(fù)取得攝影圖像，所述提取単元在所述提取之前，對上次取得的攝影圖像和本次取得的攝影圖像的同一性進行比較，當判定為相同吋，不進行所述提取，輸出從上次取得的攝影圖像中提取出的第I標記圖像和第2標記圖像作為本次的提取結(jié)果。(11)也可以是，所述第I標記圖像和第2標記圖像是ニ維碼的圖像。
(12)也可以是，所述攝影圖像是拍攝了書的打開頁的圖像。(13)實施方式的顯示方法在現(xiàn)實世界的圖像上重疊顯示虛擬物體，其中，該方法包括以下步驟取得步驟，取得拍攝了書頁的攝影圖像；提取步驟，從所取得的攝影圖像中提取I個以上的標記圖像；生成步驟，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理步驟，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。該取得步驟、提取步驟、生成步驟和顯示處理步驟分別例示為圖18的步驟S181 S184。(14)實施方式的程序用于使顯示處理裝置執(zhí)行在現(xiàn)實世界的圖像上重疊顯示虛擬物體的顯示處理，其中，所述顯示處理包括以下各步驟取得步驟，取得拍攝了書頁的攝影圖像；提取步驟，從所取得的攝影圖像中提取I個以上的標記圖像；生成步驟，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理步驟，根據(jù)所述曲面對虛 擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。產(chǎn)業(yè)上的可利用性根據(jù)本發(fā)明的顯示處理裝置，能夠有助于實現(xiàn)對用戶造成的不舒適感較少的增強現(xiàn)實感，是有用的。標號說明I :讀書系統(tǒng);2し21 、4し41 :標記(與標記圖像相當?shù)挠‘嫴糠?；10 :書；12L、12R、14LU4R :標記圖像；20、21 =HMD (顯示處理裝置的一例);20a HMD的主要部分；22 :照相機；23 :取得部；24 :標記提取部；26 :坐標信息存儲部；28 :標記讀取部；30 :內(nèi)部信息存儲部；32 :虛擬物體取得部；34 :虛擬物體確定部；36 :虛擬物體存儲部；38 :曲線計算部；40 :曲面生成部；42 :曲面信息存儲部；44 :顯示引擎(顯示處理單元的一例);46 :顯示器；50 :位置信息接收部;51 :GPS天線;140、141、142 :曲線；170 :曲面；180 :虛擬物體；190 :曲面；200 :記號(虛擬物體的一例)。
權(quán)利要求
1.一種顯示處理裝置，在拍攝了現(xiàn)實世界的攝影圖像上重疊顯示虛擬物體，其特征在于，該顯示處理裝置具有 取得單元，取得拍攝了書頁的攝影圖像； 提取單元，從所取得的攝影圖像中提取I個以上的標記圖像； 生成單元，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理單元，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。
2.如權(quán)利要求I所述的顯示處理裝置，其特征在于， 所述提取單元提取第I標記圖像和第2標記圖像， 所述生成單元根據(jù)所述第I標記圖像和所述第2標記圖像，計算表示所拍攝的頁的彎曲程度的曲線，根據(jù)該曲線生成所述曲面。
3.如權(quán)利要求2所述的顯示處理裝置，其特征在于， 在所述頁的上下方向中，與所述第I標記圖像和第2標記圖像相當?shù)挠‘嫴糠值囊环接∷⒃陧撟髠?cè)，另一方印刷在頁右側(cè)，兩者均具有沿頁的左右方向延伸的邊， 所述生成單元計算的所述曲線是通過所述第I標記圖像的邊和所述第2標記圖像的邊的曲線， 所述生成單元通過使所述曲線沿所述攝影圖像內(nèi)的頁的上下方向平行移動，生成所述曲面。
4.如權(quán)利要求3所述的顯示處理裝置，其特征在于， 所述顯示處理裝置具有 讀取單元，分別從提取出的所述第I標記圖像和所述第2標記圖像中，讀取表示所述頁中的與各標記相當?shù)挠‘嫴糠值淖鴺说男畔?；以及計算單元，計算所讀取出的坐標間的距離， 所述生成單元根據(jù)計算出的所述距離計算所述曲線。
5.如權(quán)利要求4所述的顯示處理裝置，其特征在于， 所述生成單元求出延長所述第I標記圖像的邊后的直線與延長所述第2標記圖像的邊后的直線的兩條直線的交點， 生成以下曲線 (a)從所述第I標記圖像的邊起通過所述交點到達所述第2標記圖像的邊的I條曲線；以及 (b)從所述第I標記圖像的邊起通過位于所述交點的鄰近位置的附近點且通過所述第2標記圖像的邊的I條以上的曲線， 計算所生成的所有曲線中、其距離最接近所述計算出的距離的曲線作為最終曲線。
6.如權(quán)利要求5所述的顯示處理裝置，其特征在于， 所述附近點是使所述交點向所述攝影圖像內(nèi)的頁的上下方向或進深方向移動的點。
7.如權(quán)利要求4所述的顯示處理裝置，其特征在于， 所述讀取單元從提取出的所述第I標記圖像和所述第2標記圖像的至少一方中讀取識別虛擬物體的信息， 所述顯示處理單元將通過所述讀取而識別的虛擬物體作為所述重疊顯示的對象。
8.如權(quán)利要求4所述的顯示處理裝置，其特征在于， 在所述頁上印刷有地圖， 所述讀取單元從提取出的所述第I標記圖像和所述第2標記圖像的至少一方中讀取坐標信息，該坐標信息表示在范圍內(nèi)包含該頁的地圖的坐標的范圍， 所述顯示處理裝置具有接收表示當前地點的位置信息的接收單元， 所述顯示處理單元根據(jù)所述曲面對表示當前地點的記號作為所述虛擬物體進行變形，在所述攝影圖像內(nèi)的頁上的、基于所述坐標信息所示的坐標的范圍的所述位置信息的位 置，重疊顯示變形后的記號。
9.如權(quán)利要求3所述的顯示處理裝置，其特征在于， 與所述第I標記圖像和第2標記圖像相當?shù)挠‘嫴糠殖示匦蔚男螤?，該矩形具有沿所述頁的左右方向延伸的邊和沿頁的上下方向延伸的邊? 所述生成單元根據(jù)所述提取出的所述第I標記圖像或第2標記圖像的沿所述上下方向延伸的邊，向所述上下方向平行移動。
10.如權(quán)利要求2所述的顯示處理裝置，其特征在于， 所述取得單元定期反復(fù)取得攝影圖像， 所述提取單元在所述提取之前，對上次取得的攝影圖像和本次取得的攝影圖像的同一性進行比較，當判定為相同時，不進行所述提取，輸出從上次取得的攝影圖像中提取出的第I標記圖像和第2標記圖像作為本次的提取結(jié)果。
11.如權(quán)利要求2所述的顯示處理裝置，其特征在于， 所述第I標記圖像和第2標記圖像是二維碼的圖像。
12.如權(quán)利要求2所述的顯示處理裝置，其特征在于， 所述攝影圖像是拍攝了書的打開頁的圖像。
13.一種顯示方法，在現(xiàn)實世界的圖像上重疊顯示虛擬物體，其中，該方法包括以下步驟 取得步驟，取得拍攝了書頁的攝影圖像； 提取步驟，從所取得的攝影圖像中提取I個以上的標記圖像； 生成步驟，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理步驟，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。
14.一種程序，用于使顯示處理裝置執(zhí)行在現(xiàn)實世界的圖像上重疊顯示虛擬物體的顯示處理，其中， 所述顯示處理包括以下各步驟 取得步驟，取得拍攝了書頁的攝影圖像； 提取步驟，從所取得的攝影圖像中提取I個以上的標記圖像； 生成步驟，根據(jù)所述標記圖像生成表示所拍攝的頁的彎曲程度的曲面；以及顯示處理步驟，根據(jù)所述曲面對虛擬物體進行變形，在所述攝影圖像上重疊顯示變形后的虛擬物體。
全文摘要
顯示處理裝置從拍攝了書(10)的頁的圖像(攝影圖像)內(nèi)提取標記圖像。然后，根據(jù)提取出的標記圖像生成表示頁的彎曲程度的曲面(170)。然后，在攝影圖像上重疊根據(jù)曲面(170)對虛擬物體(180)進行變形后的虛擬圖像，在HMD(20)中顯示該重疊后的圖像。
文檔編號G06T19/00GK102652322SQ201180004928
公開日2012年8月29日 申請日期2011年8月2日 優(yōu)先權(quán)日2010年10月12日
發(fā)明者柏本和俊 申請人:松下電器產(chǎn)業(yè)株式會社