用于構(gòu)建錨定在真實(shí)世界物體上的虛擬圖像的方法和系統(tǒng)的制作方法
【專利摘要】一種用于生成和顯示表現(xiàn)為錨定在現(xiàn)實(shí)世界物體上的虛擬圖像的系統(tǒng)和方法。對(duì)通過(guò)一個(gè)或多個(gè)傳感器獲取的空間數(shù)據(jù)的數(shù)據(jù)幀進(jìn)行分析并判斷一個(gè)或多個(gè)可檢測(cè)真實(shí)世界物體是否位于其中。如果是，則確定與真實(shí)世界物體相關(guān)聯(lián)的真實(shí)世界參考點(diǎn)的坐標(biāo)。根據(jù)數(shù)據(jù)幀確定真實(shí)世界視錐、真實(shí)世界視見(jiàn)體、真實(shí)世界視表面和真實(shí)世界物體參考點(diǎn)。生成虛擬3D空間并構(gòu)建穿過(guò)虛擬物體參考點(diǎn)的基準(zhǔn)面。將一個(gè)或多個(gè)內(nèi)容要素設(shè)置在基準(zhǔn)面上或平行于基準(zhǔn)面。這些內(nèi)容要素通過(guò)觀察設(shè)備或顯示設(shè)備顯示并且形成表現(xiàn)為似乎平鋪在從檢測(cè)到的物體的真實(shí)世界參考點(diǎn)穿過(guò)的平面上的圖像。
【專利說(shuō)明】用于構(gòu)建錨定在真實(shí)世界物體上的虛擬圖像的方法和系統(tǒng)發(fā)明領(lǐng)域
[0001]本發(fā)明涉及在顯示裝置上顯示虛擬內(nèi)容的方法。
[0002]發(fā)明背景
[0003]以下現(xiàn)有技術(shù)參考資料被認(rèn)為與理解本發(fā)明的【背景技術(shù)】相關(guān)。
[0004].https://developer.vuforia.com/resources/dev-guide/vuforia-ar-architecture
[0005].https://developer.vuforia.com/resources/dev-guide/distance-target
[0006].http://docs.0pencv.0rg/trunk/modules/tracking/doc/tracking.html
[0007].http://docs.0pencv.0rg/trunk/modules/imgproc/doc/feature —detect1n.html
[0008].http://www2.1mm.dtu.dk/?aam/
[0009].http://ils.1ntel-research.net/everyday-obiect-recognit1n
[0010].https - //software.1ntel.com/en~us/node/504462[0011 ].https - //software.1ntel.com/en~us/node/504442
[0012].http://docs.0pencv.0rg/modules/contrib/doc/facerec/facerec—tutorial.html
[0013].http://www.r1.cmu.edu/research project detail.html?proiect id = 448&menu id = 261
[0014].http://www2.1mm.dtu.dk/?aam/faces/
[0015].http://kishordgupta.wordpress.com/2011/07/04/recognize-face~orientat1n-using-a-new-approach-based-on-eye-posit1n-and-size-by-c/
[0016].http://www.codeproiect.com/Articles/26897/TrackEye-Rea1-Time~Tracking-Of-Human-Eyes-Using—a
[0017].http://www.ncb1.nlm.nih.gov/pubmed/23239074
[0018].http:// gazeparser.sourceforge.net/
[0019].http://thume.ca/projects/2012/11/04/simple-accurate-eye-center-tracking-1n-opencv/
[0020]計(jì)算機(jī)屏幕等二維(2D)表面通常被用于顯示2D虛擬內(nèi)容，例如文本頁(yè)、圖表或Web網(wǎng)站頁(yè)面。某些形式的虛擬內(nèi)容包含兩種以上的內(nèi)容形式，例如由文本和圖表構(gòu)成的頁(yè)面或含有與網(wǎng)站相關(guān)的信息和不相關(guān)的廣告的Web網(wǎng)站頁(yè)面。通常，在屏幕上一次僅顯示一頁(yè)并且頁(yè)面受到屏幕邊界的限制。因此，頁(yè)面的不同要素即便彼此相關(guān)也必須彼此競(jìng)爭(zhēng)空間及觀看者的注意力。所以，現(xiàn)有的Web網(wǎng)站頁(yè)面通常混雜有過(guò)多的廣告，這是Web廣告目前被認(rèn)為效率低的主要原因。
[0021]改變顯示頁(yè)面(已知為瀏覽或?qū)Ш?是一個(gè)不連續(xù)的過(guò)程，其中初始顯示的頁(yè)面被從屏幕上移除，然后顯示第二頁(yè)面。一次僅觀看一個(gè)頁(yè)面的能力使得觀看者難以知曉其在網(wǎng)站中的位置并且也在網(wǎng)站中導(dǎo)航時(shí)產(chǎn)生不確定性。在具體步驟中已經(jīng)實(shí)行的做法是改變頁(yè)面的尺寸，每個(gè)步驟變化都需要回到瀏覽器。
[0022]還已知的是，在虛擬三維(3D)空間中設(shè)置數(shù)個(gè)頁(yè)面并且將三維空間的一部分投影到2D屏幕上。觀看者可以連續(xù)地在頁(yè)面之間導(dǎo)航。
[0023]Shef i的US專利8，035，635教導(dǎo)了一種在虛擬3D空間中定位內(nèi)容要素的系統(tǒng)。在3D空間中指定一2D基準(zhǔn)面，將虛擬內(nèi)容定位在3D空間中，其中至少一個(gè)頁(yè)面平行于基準(zhǔn)面。3D空間中的視點(diǎn)和視線選擇為從該視點(diǎn)和視線觀察3D空間時(shí)視線與基準(zhǔn)面既不平行也不垂直。隨后，將3D空間的至少一部分通過(guò)由視線決定的透視投影法則投影至2D表面上。該過(guò)程可根據(jù)需要重復(fù)，每一次可任選地選擇新的視點(diǎn)和/或選擇新的視線和/或改變一個(gè)或多個(gè)內(nèi)容要素的特性。在觀看表面上的投影可以顯示在顯示裝置例如計(jì)算機(jī)監(jiān)視器上。

【發(fā)明內(nèi)容】

[0024]本發(fā)明提供一種用于生成虛擬圖像和顯示該虛擬圖像的系統(tǒng)和方法，使得該圖像表現(xiàn)為被錨定在現(xiàn)實(shí)世界的物體上。分析通過(guò)一個(gè)或多個(gè)傳感器獲取的空間數(shù)據(jù)的數(shù)據(jù)幀(data frame)以判斷一個(gè)或多個(gè)待檢測(cè)現(xiàn)實(shí)世界物體是否位于該數(shù)據(jù)幀內(nèi)。如果一個(gè)現(xiàn)實(shí)世界物體的至少一部分處于該數(shù)據(jù)幀內(nèi)，則根據(jù)數(shù)據(jù)幀中的數(shù)據(jù)確定與該現(xiàn)實(shí)世界物體相關(guān)聯(lián)的現(xiàn)實(shí)世界參考點(diǎn)的坐標(biāo)。根據(jù)數(shù)據(jù)幀確定現(xiàn)實(shí)世界視錐(viewing pyramid)、現(xiàn)實(shí)世界視見(jiàn)體(view frustum)、現(xiàn)實(shí)世界視表面(viewing surface)和現(xiàn)實(shí)世界物體參考點(diǎn)。
[0025]數(shù)據(jù)幀用于生成虛擬3D空間，其中在所述3D空間中定位虛擬視錐、虛擬視見(jiàn)體、虛擬視表面和虛擬物體參考點(diǎn)。然后，構(gòu)建一穿過(guò)所述虛擬物體參考點(diǎn)的基準(zhǔn)面。將一個(gè)或多個(gè)平面內(nèi)容要素設(shè)置在基準(zhǔn)面上或平行于基準(zhǔn)面。然后，將定位在3D空間中的內(nèi)容要素投影到虛擬視表面上以形成投影圖像。接著，形成最終圖像，使其包括所述投影圖像和可能的數(shù)據(jù)幀的至少一部分。通過(guò)觀察設(shè)備或顯示設(shè)備顯示最終圖像。在最終圖像中，內(nèi)容要素表現(xiàn)為似乎位于從所檢測(cè)到的物體的現(xiàn)實(shí)世界參考點(diǎn)穿過(guò)的平面上。
[0026]因此，在一個(gè)方面中，本發(fā)明提供一種用于生成和顯示虛擬內(nèi)容的系統(tǒng)，包括:
[0027]-傳感器組，用于獲得包括3D現(xiàn)實(shí)世界空間的空間數(shù)據(jù)的一個(gè)或多個(gè)數(shù)據(jù)幀，所述傳感器組包括一個(gè)或多個(gè)傳感器，所述傳感器組中的至少一個(gè)傳感器具有在3D現(xiàn)實(shí)世界空間中的關(guān)聯(lián)感應(yīng)場(chǎng)和傳感器視線，所述傳感器視線是在3D現(xiàn)實(shí)世界坐標(biāo)系中從傳感器延伸進(jìn)入3D現(xiàn)實(shí)世界空間的向量，所述傳感器組中的至少一個(gè)傳感器具有相對(duì)于該傳感器固定的關(guān)聯(lián)指上向量(up-vector)，一個(gè)或多個(gè)傳感器的指上向量限定數(shù)據(jù)幀的指上向量；
[0028]-觀察設(shè)備或顯示設(shè)備；
[0029]-計(jì)算機(jī)處理單元，包括處理器和存儲(chǔ)器；
[0030]其中:
[0031]-所述存儲(chǔ)器存儲(chǔ)指示數(shù)據(jù)幀中一個(gè)或多個(gè)待檢測(cè)物體的數(shù)據(jù)，并且對(duì)于每個(gè)待檢測(cè)物體還存儲(chǔ)相對(duì)于該物體固定的預(yù)定現(xiàn)實(shí)世界參考點(diǎn);和
[0032]-所述處理器用于:
[0033]分析一個(gè)或多個(gè)數(shù)據(jù)幀并判斷一個(gè)或多個(gè)待檢測(cè)現(xiàn)實(shí)世界物體是否處于當(dāng)前現(xiàn)實(shí)世界視見(jiàn)體中；
[0034]如果檢測(cè)到一個(gè)現(xiàn)實(shí)世界物體的至少一部分處于當(dāng)前視見(jiàn)體中，則根據(jù)當(dāng)前數(shù)據(jù)幀確定與檢測(cè)到的現(xiàn)實(shí)世界物體相關(guān)聯(lián)的現(xiàn)實(shí)世界參考點(diǎn)在與現(xiàn)實(shí)世界視見(jiàn)體相關(guān)聯(lián)的現(xiàn)實(shí)世界坐標(biāo)系中的現(xiàn)實(shí)世界坐標(biāo)；
[0035]確定從現(xiàn)實(shí)世界視見(jiàn)體中的預(yù)定點(diǎn)發(fā)出至檢測(cè)到的現(xiàn)實(shí)世界物體的現(xiàn)實(shí)世界參考點(diǎn)的現(xiàn)實(shí)世界物體向量；
[0036]確定與數(shù)據(jù)幀相關(guān)聯(lián)的重力向量相對(duì)于現(xiàn)實(shí)世界視見(jiàn)體的位置；
[0037]構(gòu)建具有3D虛擬空間坐標(biāo)系的3D虛擬空間，并且在所述3D虛擬空間中定位:具有關(guān)聯(lián)虛擬世界視點(diǎn)的虛擬視錐、圍繞從所述虛擬視點(diǎn)發(fā)出的虛擬視線對(duì)稱定位的關(guān)聯(lián)虛擬視見(jiàn)體、形成所述虛擬視見(jiàn)體的表面的關(guān)聯(lián)虛擬視表面、以及關(guān)聯(lián)虛擬指上向量，其中所述虛擬指上向量的虛擬坐標(biāo)系的X和y軸平行于所述虛擬視表面并且z軸平行于所述虛擬視線；
[0038]在3D虛擬空間中構(gòu)建穿過(guò)所述虛擬物體參考點(diǎn)的基準(zhǔn)面，所述基準(zhǔn)面具有關(guān)聯(lián)2D坐標(biāo)系(X’，Z’)；
[0039]將在所述基準(zhǔn)面上的或平行于所述基準(zhǔn)面的一個(gè)或多個(gè)平面內(nèi)容要素設(shè)置在所述基準(zhǔn)面上的任意一個(gè)或多個(gè)預(yù)定準(zhǔn)許位置中；
[0040]將定位在3D虛擬空間中的內(nèi)容要素投影到所述虛擬視表面上以形成投影圖像；
[0041]形成最終圖像，所述最終圖像包括所述投影圖像;和
[0042]在觀察設(shè)備或顯示設(shè)備上顯示所述最終圖像。
[0043]在另一方面，本發(fā)明提供一種生成和顯示虛擬內(nèi)容的方法，包括:
[0044]分析一個(gè)或多個(gè)數(shù)據(jù)幀并判斷一個(gè)或多個(gè)待檢測(cè)真實(shí)世界物體是否處于當(dāng)前真實(shí)世界視見(jiàn)體中；
[0045]如果檢測(cè)到一個(gè)真實(shí)世界物體的至少一部分處于當(dāng)前視見(jiàn)體中，則根據(jù)當(dāng)前數(shù)據(jù)幀確定與待檢測(cè)的真實(shí)世界物體相關(guān)聯(lián)的真實(shí)世界參考點(diǎn)在與真實(shí)世界視見(jiàn)體相關(guān)聯(lián)的真實(shí)世界坐標(biāo)系中的真實(shí)世界坐標(biāo)；
[0046]確定從真實(shí)世界視見(jiàn)體中的預(yù)定點(diǎn)發(fā)出到達(dá)待檢測(cè)的真實(shí)世界物體的真實(shí)世界參考點(diǎn)的真實(shí)世界物體向量；
[0047]確定與數(shù)據(jù)幀相關(guān)聯(lián)的重力向量相對(duì)于真實(shí)世界視見(jiàn)體的位置；
[0048]構(gòu)建具有3D虛擬空間坐標(biāo)系的虛擬3D空間，并且在所述3D虛擬空間中定位:具有關(guān)聯(lián)虛擬世界視點(diǎn)的虛擬視錐、圍繞從所述虛擬視點(diǎn)發(fā)出的虛擬視線對(duì)稱定位的關(guān)聯(lián)虛擬視見(jiàn)體、形成所述虛擬視見(jiàn)體的表面的關(guān)聯(lián)虛擬視表面、以及關(guān)聯(lián)虛擬指上向量，其中所述虛擬指上向量在虛擬坐標(biāo)系中的X和y軸平行于所述虛擬視表面并且z軸平行于所述虛擬視線；
[0049]在3D虛擬空間中構(gòu)建穿過(guò)所述虛擬物體參考點(diǎn)的基準(zhǔn)面，所述基準(zhǔn)面具有關(guān)聯(lián)2D坐標(biāo)系(X’，Z’)；
[0050]將在所述基準(zhǔn)面上的或平行于所述基準(zhǔn)面的一個(gè)或多個(gè)平面內(nèi)容要素設(shè)置在所述基準(zhǔn)面上的任意一個(gè)或多個(gè)預(yù)定準(zhǔn)許位置中。
【附圖說(shuō)明】
[0051]為了理解本發(fā)明和知曉本發(fā)明實(shí)際如何實(shí)施，以下參照附圖并通過(guò)僅為非限制性的實(shí)施例描述實(shí)施方案，其中:
[0052]圖1示意性示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的用于顯示虛擬內(nèi)容的系統(tǒng)；
[0053]圖2示出具有關(guān)聯(lián)真實(shí)世界參考點(diǎn)的真實(shí)世界物體，所述真實(shí)世界參考點(diǎn)相對(duì)于真實(shí)世界物體具有固定位置；
[0054]圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的用于分析數(shù)據(jù)幀，生成圖像并顯示圖像的方法的流程圖；
[0055]圖4不出具有關(guān)聯(lián)2D坐標(biāo)系(X, z )的基準(zhǔn)面；
[0056]圖5示出最終圖像，其包括投影圖像和真實(shí)世界物體的圖像；
[0057]圖6示出本發(fā)明的一個(gè)實(shí)施方案，其中相機(jī)與用戶的移動(dòng)設(shè)備相關(guān)聯(lián)，并且真實(shí)世界參考點(diǎn)固定在用戶的移動(dòng)設(shè)備上;和
[0058]圖7示出在圖6的實(shí)施方案中的用戶的真實(shí)世界視錐。
[0059]發(fā)明的具體描述
[0060]圖1示意性示出根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于顯示虛擬內(nèi)容的系統(tǒng)2。系統(tǒng)2包括獲取3D真實(shí)世界空間的空間數(shù)據(jù)的傳感器組7。傳感器組7包括一個(gè)或多個(gè)傳感器4。傳感器4可以是例如2D相機(jī)、3D相機(jī)、GPS定位收發(fā)器、聲吶探測(cè)器、激光裝置、紅外探測(cè)器、近場(chǎng)通訊裝置和LIDAR(Light Detect1n And Ranging，激光探測(cè)與測(cè)量)裝置中的任意一個(gè)或多個(gè)。每個(gè)傳感器4具有在3D真實(shí)世界空間中的關(guān)聯(lián)感應(yīng)場(chǎng)和傳感器視線，所述傳感器視線是在3D真實(shí)世界坐標(biāo)系中從傳感器延伸進(jìn)入3D真實(shí)世界空間的向量。3D真實(shí)世界坐標(biāo)系可以例如相對(duì)于一個(gè)或多個(gè)傳感器或者相對(duì)于用戶的位置和觀察方向是固定的。作為替代方案，3D真實(shí)世界坐標(biāo)系可以是絕對(duì)坐標(biāo)系，例如GPS(全球定位系統(tǒng))所提供的坐標(biāo)系。物體可以移入或移出傳感器的感應(yīng)場(chǎng)，原因是在移動(dòng)傳感器的情況下傳感器的移動(dòng)或者物體在3D真實(shí)世界空間中的移動(dòng)。傳感器可以適合用戶穿戴，例如一對(duì)護(hù)目鏡或其它頭戴式設(shè)備，在這種情況下，傳感器的感應(yīng)場(chǎng)約為在解析變換(analytical transformat1n)下的穿戴者的視場(chǎng)。感應(yīng)單元可以是單向的或全向的。在全向感應(yīng)的情況下，觀察的傳感器視場(chǎng)延長(zhǎng)并圍繞傳感器視線的部分可以被指定為與穿戴者視場(chǎng)相容的視場(chǎng)。在任意時(shí)刻由傳感器組7獲取的空間數(shù)據(jù)在本文中稱為“數(shù)據(jù)幀”。傳感器組7獲取的數(shù)據(jù)幀被輸入計(jì)算機(jī)處理單元(CPU)6中。CPU 6包括存儲(chǔ)器8和處理器10。傳感器組7獲取的數(shù)據(jù)幀被輸入CPU 6并存儲(chǔ)在存儲(chǔ)器8中。
[0061]傳感器組7中的至少一個(gè)傳感器4具有相對(duì)于該傳感器固定的關(guān)聯(lián)指上向量。傳感器的一個(gè)或多個(gè)指上向量被用于限定傳感器組7的指上向量。傳感器組7的指上向量確定每個(gè)數(shù)據(jù)幀的指上向量。
[0062]存儲(chǔ)器8中還存儲(chǔ)有指示數(shù)據(jù)幀中一個(gè)或多個(gè)待檢測(cè)物體的數(shù)據(jù)。指示數(shù)據(jù)幀中一個(gè)或多個(gè)待檢測(cè)物體的數(shù)據(jù)可以是例如:在預(yù)定的物體列表中的一個(gè)或多個(gè)物體的描述或者指定數(shù)據(jù)幀中待檢測(cè)物體類型的標(biāo)準(zhǔn)的數(shù)據(jù)。對(duì)于待檢測(cè)的每一個(gè)物體或物體類型，存儲(chǔ)器8還存儲(chǔ)有相對(duì)于該物體固定的預(yù)定真實(shí)世界參考點(diǎn)。
[0063]處理器10用于確定真實(shí)世界重力向量。在一個(gè)實(shí)施方案中，系統(tǒng)2包括重力傳感器5，其生成指示當(dāng)前重力場(chǎng)方向的時(shí)變信號(hào)，該信號(hào)輸入CPU 6并存儲(chǔ)在存儲(chǔ)器8中。重力信號(hào)用于確定自獲取數(shù)據(jù)幀時(shí)刻的數(shù)據(jù)幀的重力向量。在另一實(shí)施方案中，處理器用于運(yùn)行軟件，該軟件分析數(shù)據(jù)幀和確定自分析數(shù)據(jù)幀時(shí)刻的數(shù)據(jù)幀的重力向量。
[0064]如下所述，處理器10用于分析用于構(gòu)建最終圖像的一個(gè)或多個(gè)數(shù)據(jù)幀，該最終圖像包括不同(不包括在數(shù)據(jù)幀中)的表現(xiàn)為似乎錨定在真實(shí)世界位置上的可視內(nèi)容要素。對(duì)數(shù)據(jù)幀流中連續(xù)數(shù)據(jù)幀的分析和據(jù)此構(gòu)建連續(xù)的最終不同可視內(nèi)容，產(chǎn)生了一種當(dāng)錨定的真實(shí)世界位置移入用戶視場(chǎng)中時(shí)內(nèi)容要素仍然保持錨定在該真實(shí)世界位置上的外在表象。最終圖像還可包括來(lái)自數(shù)據(jù)幀的數(shù)據(jù)或圖像。最終圖像經(jīng)由觀察設(shè)備或顯示設(shè)備12顯示。顯示設(shè)備可以是例如任意類型的屏幕或眼睛投影儀(eye projector)。
[0065]系統(tǒng)2可以是分布式系統(tǒng)并且該系統(tǒng)的一個(gè)或多個(gè)組件可以通過(guò)有線或無(wú)線網(wǎng)絡(luò)如有線或無(wú)線電話網(wǎng)絡(luò)或計(jì)算機(jī)通信網(wǎng)絡(luò)如Internet來(lái)彼此通信。
[0066]作為一個(gè)實(shí)施例，圖2示出真實(shí)世界物體60，其具有相對(duì)于真實(shí)世界物體60固定的關(guān)聯(lián)真實(shí)世界參考點(diǎn)62。包括具有焦點(diǎn)69的鏡頭64的相機(jī)的傳感器組(未完整示于圖2中)用于獲取包括真實(shí)世界物體60的空間區(qū)域的數(shù)據(jù)幀。焦點(diǎn)69和鏡頭64確定真實(shí)世界視體積，本文中稱為“真實(shí)世界視錐”，其相對(duì)于相機(jī)是固定的。真實(shí)世界視錐被從焦點(diǎn)69發(fā)出并穿過(guò)鏡頭64的邊緣的視線所限制。在圖2中通過(guò)幻影線65指出四條這樣的視線。圖2中鏡頭64左側(cè)的真實(shí)世界視錐部分在本文中稱為“真實(shí)世界視見(jiàn)體”。真實(shí)世界視錐具有在鏡頭64處的關(guān)聯(lián)真實(shí)世界視表面和在相機(jī)焦點(diǎn)69處相對(duì)于相機(jī)固定的關(guān)聯(lián)真實(shí)世界視點(diǎn)。相機(jī)還具有相對(duì)于相機(jī)固定的關(guān)聯(lián)真實(shí)世界指上向量72。相機(jī)具有從焦點(diǎn)69發(fā)出并穿過(guò)位于鏡頭64處的視表面中心的真實(shí)世界視線68。從視點(diǎn)69發(fā)出并穿過(guò)真實(shí)世界參考點(diǎn)62的幾何線66在本文中稱為真實(shí)世界物體60的“物體向量”。相機(jī)獲取當(dāng)前數(shù)據(jù)幀作為真實(shí)世界視見(jiàn)體在鏡頭64處的真實(shí)世界視表面上的2D投影，其至少一部分投影在相機(jī)的2D傳感器陣列67(可具有與鏡頭形狀不同的形狀)上。傳感器如相機(jī)的指上向量72確定數(shù)據(jù)幀的指上向量，數(shù)據(jù)幀的指上向量處于獲取該數(shù)據(jù)幀時(shí)刻的相機(jī)的指上向量的方向上。圖2還示出真實(shí)世界坐標(biāo)系71，在該實(shí)施例中，該坐標(biāo)系相對(duì)于相機(jī)是固定的。真實(shí)世界坐標(biāo)系71具有X軸、y軸和z軸。X軸和y軸平行于鏡頭64處的視表面，z軸平行于視線69。圖2還示出真實(shí)世界重力向量70，如前所述來(lái)確定。形成在相機(jī)傳感器陣列67上的圖像和數(shù)據(jù)幀的指上向量被輸入CPU 6并存儲(chǔ)在存儲(chǔ)器8中。
[0067]圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施方案的用于分析數(shù)據(jù)幀生成圖像和顯示該圖像的方法的流程圖。在步驟14中，從存儲(chǔ)器8中取回當(dāng)前數(shù)據(jù)幀并輸入到處理器10中。處理器10在步驟16中分析當(dāng)前數(shù)據(jù)幀，在步驟18中判斷一個(gè)或多個(gè)待檢測(cè)真實(shí)世界物體是否位于當(dāng)前數(shù)據(jù)幀中。如果在當(dāng)前數(shù)據(jù)幀中未檢測(cè)到待檢測(cè)物體，則過(guò)程回到步驟14，獲取新的當(dāng)前數(shù)據(jù)幀。如果，在步驟18中，一個(gè)真實(shí)世界物體(例如圖2中的真實(shí)世界物體60)的至少一部分處于當(dāng)前數(shù)據(jù)幀中，則在步驟20中，處理器10根據(jù)當(dāng)前數(shù)據(jù)幀確定與真實(shí)世界物體相關(guān)聯(lián)的真實(shí)世界參考點(diǎn)(例如圖2中的真實(shí)世界參考點(diǎn)62)在與真實(shí)世界視見(jiàn)體相關(guān)聯(lián)的真實(shí)世界坐標(biāo)系中的坐標(biāo)。真實(shí)世界物體向量(圖2中的66)從真實(shí)世界視見(jiàn)體中的預(yù)定點(diǎn)例如視點(diǎn)(圖2中的69)發(fā)出到達(dá)真實(shí)世界參考點(diǎn)。在步驟22中，處理器可以通過(guò)預(yù)定變換任選地變換真實(shí)世界物體向量，所述預(yù)定變換考慮真實(shí)世界視線和用戶視線之間的任意預(yù)定關(guān)系。這會(huì)是有用的，例如，傳感器安裝在帽子上使得傳感器的真實(shí)世界視線與用戶視線存在固定關(guān)系的情況。在這種情況下，用戶視線可以用作真實(shí)是世界視線。
[0068]在步驟24中，處理器確定與數(shù)據(jù)幀相關(guān)聯(lián)的重力向量相對(duì)于真實(shí)世界視見(jiàn)體的位置。處理器隨后構(gòu)建具有3D虛擬坐標(biāo)系(x，y，z)的虛擬3D空間(步驟26)。在步驟28中，處理器在3D虛擬空間中定位具有關(guān)聯(lián)虛擬世界視點(diǎn)的虛擬視錐、圍繞從所述虛擬視點(diǎn)發(fā)出的虛擬視線對(duì)稱定位的關(guān)聯(lián)虛擬視見(jiàn)體、形成虛擬視見(jiàn)體的表面的關(guān)聯(lián)虛擬視表面、以及關(guān)聯(lián)虛擬指上向量，其中指上向量的X和y軸平行于虛擬視表面并且Z軸平行于虛擬視線。3D虛擬空間利用預(yù)定的連續(xù)映射G構(gòu)建，所述映射G將真實(shí)世界視錐映射到虛擬世界視錐中，將真實(shí)世界視點(diǎn)映射到虛擬世界視點(diǎn)上，將真實(shí)世界視線映射到虛擬世界視線上，將真實(shí)世界視見(jiàn)體映射到虛擬視見(jiàn)體中，將真實(shí)世界視表面映射到虛擬是表面上使得虛擬世界視表面平行于虛擬世界的X軸和y軸并且虛擬世界視線平行于虛擬世界z軸，將真實(shí)世界重力向量映射成虛擬重力向量，將真實(shí)世界指上向量映射到虛擬指上向量上。映射G優(yōu)選選擇為使得真實(shí)世界物體向量與真實(shí)世界視線之間的夾角θ(參見(jiàn)圖2)等于虛擬世界物體向量與虛擬視線之間的夾角，此外使得真實(shí)世界指上向量與真實(shí)世界重力向量之間的夾角Φ(參見(jiàn)圖2)等于虛擬世界指上向量與虛擬世界重力向量之間的夾角。
[0069]在步驟38中，處理器隨后在3D虛擬空間中構(gòu)建穿過(guò)虛擬物體參考點(diǎn)的基準(zhǔn)面。如圖4所示，基準(zhǔn)面106具有關(guān)聯(lián)2D坐標(biāo)系(χ’，ζ’)?；鶞?zhǔn)面可以在3D虛擬空間中定位如下:(I)基準(zhǔn)面的X’軸平行于虛擬空間的X軸，(2)基準(zhǔn)面的X’軸與虛擬空間坐標(biāo)系的y軸之間的夾角可以是預(yù)定角度，例如90°，或者可以等于預(yù)定角度(優(yōu)選90°)和重力向量在xy平面上的投影與正向y軸之間的夾角之和，(3)根據(jù)虛擬視線與虛擬重力向量之間的夾角β’確定z’軸與ζ軸之間的夾角α。當(dāng)時(shí)，β為一預(yù)定常數(shù)閾值(例如20°)，α為β’的連續(xù)嚴(yán)格單調(diào)遞增函數(shù)。當(dāng)β’彡β時(shí)，α為一常數(shù)，等于當(dāng)β’從下方趨近于β時(shí)α的極限值。
[0070]作為替代方案，基準(zhǔn)面可以定位在虛擬空間的“橫向”上，使得(I)基準(zhǔn)面的ζ’軸平行于y平面的y軸，(2)基準(zhǔn)面的ζ’軸與虛擬空間坐標(biāo)系的y軸之間的夾角可以為預(yù)定角度如90°或者可以等于預(yù)定角度和重力向量在xy平面上的投影與正向y軸之間的夾角之和，(3)根據(jù)虛擬視線與虛擬重力向量之間的夾角β’確定X’軸與ζ軸之間的夾角α。當(dāng)時(shí)，β為一預(yù)定常數(shù)閾值(例如20°)，α為β’的連續(xù)嚴(yán)格單調(diào)遞增函數(shù)。當(dāng)β’多β時(shí)，α為一常數(shù)，等于當(dāng)β’從下方趨近于β時(shí)α的極限值。
[0071]基準(zhǔn)面具有一個(gè)或多個(gè)關(guān)聯(lián)準(zhǔn)許位置，由圖4中的幻影線指示，其中一個(gè)或多個(gè)平面內(nèi)容物體可以定位在基準(zhǔn)面上。至少一個(gè)準(zhǔn)許位置是側(cè)邊平行于基準(zhǔn)面坐標(biāo)系的X’和Ζ’軸的矩形。準(zhǔn)許位置可以排列成平行的行和列的網(wǎng)格。當(dāng)內(nèi)容要素具有內(nèi)在的上邊界和下邊界時(shí)，例如當(dāng)內(nèi)容要素包括圖像或文本時(shí)，內(nèi)容要素的上下方向最優(yōu)定位在具有與基準(zhǔn)面ζ’軸對(duì)準(zhǔn)的上下方向的基準(zhǔn)面上。在步驟40中，處理器隨后將在基準(zhǔn)面上的或平行于基準(zhǔn)面的一個(gè)或多個(gè)平面內(nèi)容要素110設(shè)置在任意一個(gè)或多個(gè)準(zhǔn)許位置中。處理器還可以將一個(gè)或多個(gè)3D內(nèi)容要素定位在基準(zhǔn)面上或其附近，所述3D內(nèi)容要素可以是旋轉(zhuǎn)的2D內(nèi)容要素或體積內(nèi)容要素例如3D模型或體積圖(步驟42)。
[0072]接著，處理器將定位在3D虛擬空間中的內(nèi)容要素投影到虛擬視表面64上以形成投影圖像114(步驟44)。內(nèi)容要素在3D虛擬視表面上的投影可以是例如透視投影。隨后形成最終圖像(步驟46)，其中最終圖像包括投影圖像114和可能的至少部分?jǐn)?shù)據(jù)幀。圖5示出包括投影圖像114和真實(shí)世界物體60的圖像的最終圖像116。最終圖像經(jīng)由觀察設(shè)備或顯示設(shè)備顯示(步驟48)，然后過(guò)程終止。
[0073]圖6示出另一實(shí)施方案，其中相機(jī)80與用戶移動(dòng)設(shè)備82相關(guān)聯(lián)，并且真實(shí)世界參考點(diǎn)84固定在用戶移動(dòng)設(shè)備82上。相機(jī)80具有圖6中幻影線所指示的視錐。相機(jī)80被操作用于獲取包括用戶臉的當(dāng)前數(shù)據(jù)幀。用戶90穿戴有包括顯示設(shè)備83的頭戴式設(shè)備81，顯示設(shè)備83可以是眼睛投影儀或顯示屏。在圖6的實(shí)施方案中，處理器可設(shè)置在移動(dòng)設(shè)備82或頭戴式設(shè)備81中，其用于識(shí)別由相機(jī)80獲取的數(shù)據(jù)幀中的人臉。處理器10還用于當(dāng)在數(shù)據(jù)幀中檢測(cè)到人臉時(shí)確定用戶的真實(shí)世界視錐。圖7示出用戶的真實(shí)世界視錐，其由限制幻影線92所指示。處理器10還用于確定用戶的真實(shí)世界視點(diǎn)、用戶的真實(shí)世界指上向量95、用戶的真實(shí)世界視表面和用戶的真實(shí)世界視線94，其從用戶的真實(shí)世界視點(diǎn)發(fā)出并穿過(guò)用戶的真實(shí)世界視表面的中心。從用戶的真實(shí)世界視點(diǎn)發(fā)出并穿過(guò)真實(shí)世界參考點(diǎn)84的線是真實(shí)世界物體82的物體向量。圖6和7還示出真實(shí)世界坐標(biāo)系91，在該實(shí)施例中，該坐標(biāo)系91相對(duì)于用戶的頭部是固定的。真實(shí)世界坐標(biāo)系91具有X軸、y軸和ζ軸。X軸和y軸平行于用戶的視表面，ζ軸平行于用戶的視線94。圖6和7還示出真實(shí)世界重力向量93，如上所確定。
[0074]用戶的真實(shí)世界視錐、真實(shí)世界視見(jiàn)體、真實(shí)世界視點(diǎn)、真實(shí)世界指上向量、真實(shí)世界視表面及真實(shí)世界視線和真實(shí)世界物體向量被用于參照?qǐng)D3所述的過(guò)程中。作為處理的結(jié)果，虛擬內(nèi)容要素85通過(guò)頭戴式81的顯示設(shè)備83呈現(xiàn)給用戶，至少部分虛擬內(nèi)容要素是表現(xiàn)為似乎平鋪在穿過(guò)參考點(diǎn)84的基準(zhǔn)面上的平面內(nèi)容要素。
[0075]參照?qǐng)D7，處理器10可以用于檢測(cè)用戶的手106和/或108在數(shù)據(jù)幀中的位置。在這種情況下，處理器還用于判斷手的一部分是否落入在虛擬視表面與根據(jù)本發(fā)明定位的任意內(nèi)容要素之間的虛擬視見(jiàn)體中。處理器可以用于從投影內(nèi)容中消除被該部分手所遮擋的區(qū)域。因此，例如內(nèi)容要素85的被手106所遮擋的部分被從內(nèi)容要素中消除。處理器10可以用于識(shí)別單手或雙手106和108實(shí)施的預(yù)定手勢(shì)或手指姿勢(shì)，以及執(zhí)行與識(shí)別出的手勢(shì)關(guān)聯(lián)的預(yù)定命令。如果例如預(yù)定的真實(shí)世界物體是具有屏幕的電子設(shè)備，則命令可以是將一個(gè)或多個(gè)內(nèi)容要素從屏幕移動(dòng)到基準(zhǔn)面上的命令。在另一實(shí)施例中，處理器識(shí)別出點(diǎn)擊動(dòng)作觸摸交互內(nèi)容的手勢(shì)，使得內(nèi)容動(dòng)作應(yīng)被激活并且在基準(zhǔn)面內(nèi)容中引起變化。
[0076]仍參照?qǐng)D7，待檢測(cè)的二級(jí)真實(shí)世界物體例如物體1O可以出現(xiàn)在用戶的視見(jiàn)體中。物體100具有關(guān)聯(lián)真實(shí)世界參考點(diǎn)102。包含物體100的一個(gè)或多個(gè)數(shù)據(jù)幀可以通過(guò)可設(shè)置在移動(dòng)設(shè)備82中且面對(duì)物體102的傳感器或安裝在頭戴式設(shè)備81上的傳感器來(lái)獲取。包含物體100的數(shù)據(jù)幀可如參照?qǐng)D3所述那樣進(jìn)行分析。如圖7所示，位于基準(zhǔn)面上的內(nèi)容要素104可通過(guò)頭戴式顯示設(shè)備83或移動(dòng)設(shè)備82的屏幕呈現(xiàn)給用戶，其中基準(zhǔn)面對(duì)于用戶而言似乎穿過(guò)參考點(diǎn)102。因此，兩個(gè)基準(zhǔn)面被呈現(xiàn)給用戶，并且內(nèi)容要素可以根據(jù)需要從一個(gè)基準(zhǔn)面移動(dòng)到另一基準(zhǔn)面。此外，處理器10還可用于識(shí)別用戶的手勢(shì)或命令，該手勢(shì)或命令應(yīng)該導(dǎo)致一個(gè)基準(zhǔn)面的內(nèi)容的一部分從一個(gè)物體轉(zhuǎn)移至另一物體，因此現(xiàn)在表現(xiàn)為另一物體的基準(zhǔn)面的一部分。此外，如果物體是“智能物體”，即能夠網(wǎng)絡(luò)通信，則上述從用戶設(shè)備的基準(zhǔn)面轉(zhuǎn)移到物體100基準(zhǔn)面上的內(nèi)容轉(zhuǎn)移可變得持久，使得當(dāng)物體100通過(guò)網(wǎng)絡(luò)訪問(wèn)或被新用戶利用根據(jù)本發(fā)明類似的設(shè)備觀看時(shí)，轉(zhuǎn)移的內(nèi)容保持可視。
【主權(quán)項(xiàng)】
1.一種用于生成和顯示虛擬內(nèi)容的系統(tǒng)，包括: -傳感器組，用于獲取包括3D現(xiàn)實(shí)世界空間的空間數(shù)據(jù)的一個(gè)或多個(gè)數(shù)據(jù)幀，所述傳感器組包括一個(gè)或多個(gè)傳感器，所述傳感器組中的至少一個(gè)傳感器具有在3D現(xiàn)實(shí)世界空間中的關(guān)聯(lián)感應(yīng)場(chǎng)和傳感器視線，所述傳感器視線是在3D現(xiàn)實(shí)世界坐標(biāo)系中從傳感器延伸進(jìn)入3D現(xiàn)實(shí)世界空間的向量，所述傳感器組中的至少一個(gè)傳感器具有相對(duì)于該傳感器固定的關(guān)聯(lián)指上向量，一個(gè)或多個(gè)傳感器指上向量限定數(shù)據(jù)幀的指上向量； -觀察設(shè)備或顯示設(shè)備； -計(jì)算機(jī)處理單元，包括處理器和存儲(chǔ)器;其中: 所述存儲(chǔ)器存儲(chǔ)指示數(shù)據(jù)幀中一個(gè)或多個(gè)待檢測(cè)物體的數(shù)據(jù)，并且對(duì)于每個(gè)待檢測(cè)物體還存儲(chǔ)相對(duì)于該物體固定的預(yù)定現(xiàn)實(shí)世界參考點(diǎn);和 所述處理器用于: a.分析一個(gè)或多個(gè)數(shù)據(jù)幀并判斷一個(gè)或多個(gè)待檢測(cè)現(xiàn)實(shí)世界物體是否處于當(dāng)前現(xiàn)實(shí)世界視見(jiàn)體中； b.如果檢測(cè)到一個(gè)現(xiàn)實(shí)世界物體的至少一部分處于當(dāng)前視見(jiàn)體中，則根據(jù)當(dāng)前數(shù)據(jù)幀確定與檢測(cè)到的現(xiàn)實(shí)世界物體相關(guān)聯(lián)的現(xiàn)實(shí)世界參考點(diǎn)在與現(xiàn)實(shí)世界視見(jiàn)體相關(guān)聯(lián)的現(xiàn)實(shí)世界坐標(biāo)系中的現(xiàn)實(shí)世界坐標(biāo)； c.確定從現(xiàn)實(shí)世界視見(jiàn)體中的預(yù)定點(diǎn)發(fā)出至檢測(cè)到的現(xiàn)實(shí)世界物體的現(xiàn)實(shí)世界參考點(diǎn)的現(xiàn)實(shí)世界物體向量； d.確定與數(shù)據(jù)幀相關(guān)聯(lián)的重力向量相對(duì)于現(xiàn)實(shí)世界視見(jiàn)體的位置； e.構(gòu)建具有3D虛擬空間坐標(biāo)系的虛擬3D空間，并且在所述3D虛擬空間中定位:具有關(guān)聯(lián)虛擬世界視點(diǎn)的虛擬視錐、圍繞從所述虛擬視點(diǎn)發(fā)出的虛擬視線對(duì)稱定位的關(guān)聯(lián)虛擬視見(jiàn)體、形成所述虛擬視見(jiàn)體的表面的關(guān)聯(lián)虛擬視表面、以及關(guān)聯(lián)虛擬指上向量，其中所述虛擬指上向量的虛擬坐標(biāo)系的X和y軸平行于所述虛擬視表面并且z軸平行于所述虛擬視線； f.在3D虛擬空間中構(gòu)建穿過(guò)所述虛擬物體參考點(diǎn)的基準(zhǔn)面，所述基準(zhǔn)面具有關(guān)聯(lián)2D坐標(biāo)系(X’，z’)； g.將在所述基準(zhǔn)面上的或平行于所述基準(zhǔn)面的一個(gè)或多個(gè)平面內(nèi)容要素設(shè)置在所述基準(zhǔn)面上的任意一個(gè)或多個(gè)預(yù)定準(zhǔn)許位置中； h.將定位在3D虛擬空間中的內(nèi)容要素投影到所述虛擬視表面上以形成投影圖像； I.形成最終圖像，所述最終圖像包括所述投影圖像;和 j.在觀察設(shè)備或顯示設(shè)備上顯示所述最終圖像。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述3D虛擬空間由預(yù)定的連續(xù)映射G構(gòu)建，所述映射G將真實(shí)世界視錐映射到虛擬世界視錐中，將真實(shí)世界視點(diǎn)映射到虛擬世界視點(diǎn)上，將真實(shí)世界視線映射到虛擬世界視線上，將真實(shí)世界視見(jiàn)體映射到虛擬視見(jiàn)體中，將真實(shí)世界重力向量映射成虛擬重力向量，將真實(shí)世界指上向量映射到虛擬指上向量上，以及將真實(shí)世界視表面映射到虛擬視表面上。3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中所述映射G選擇為使得真實(shí)世界物體向量與真實(shí)世界視線之間的夾角Θ等于虛擬世界物體向量與虛擬視線之間的夾角，此外使得真實(shí)世界指上向量與真實(shí)世界重力向量之間的夾角Φ等于虛擬世界指上向量與虛擬世界重力向量之間的夾角。4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述處理器還用于通過(guò)預(yù)定變換來(lái)變換真實(shí)世界物體向量，所述預(yù)定變換考慮在真實(shí)世界視線與用戶視線之間的預(yù)定關(guān)系。5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述基準(zhǔn)面定位在所述3D虛擬空間中，使得(I)基準(zhǔn)面的X’軸平行于虛擬空間的X軸，(2)基準(zhǔn)面的X’軸與虛擬空間坐標(biāo)系的y軸之間的夾角為預(yù)定角度或者等于預(yù)定角度和重力向量在xy平面上的投影與正向y軸之間的夾角之和，(3)根據(jù)虛擬視線與虛擬重力向量之間的夾角β’確定z’軸與z軸之間的夾角α。6.根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的系統(tǒng)，其中所述基準(zhǔn)面定位在所述3D虛擬空間中，使得(I)基準(zhǔn)面的ζ’軸平行于y平面的y軸，(2)基準(zhǔn)面的ζ’軸與虛擬空間坐標(biāo)系的y軸之間的夾角為預(yù)定角度或者等于預(yù)定角度和重力向量在xy平面上的投影與正向y軸之間的夾角之和，(3)根據(jù)虛擬視線與虛擬重力向量之間的夾角β’確定X’軸與z軸之間的夾角α。7.根據(jù)權(quán)利要求5或6所述的系統(tǒng)，其中當(dāng)時(shí)，β為一預(yù)定常數(shù)閾值，α為β’的連續(xù)嚴(yán)格單調(diào)遞增函數(shù);當(dāng)β’彡β時(shí)，α為一常數(shù)，等于當(dāng)β’從下方趨近于β時(shí)α的極限值。8.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中在基準(zhǔn)面上的所述準(zhǔn)許位置排列為平行的行和列的網(wǎng)格。9.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述處理器還用于將一個(gè)或多個(gè)3D內(nèi)容要素定位在所述基準(zhǔn)面上或其附近。10.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述內(nèi)容要素在3D虛擬視表面上的投影是透視投影。11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述最終圖像包括當(dāng)前數(shù)據(jù)幀的至少一部分。12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述一個(gè)或多個(gè)傳感器選自包括2D相機(jī)、3D相機(jī)、GPS定位收發(fā)器、聲吶探測(cè)器、激光裝置、紅外探測(cè)器、近場(chǎng)通信信號(hào)和LIDAR裝置的組別。13.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述指示數(shù)據(jù)幀中一個(gè)或多個(gè)待檢測(cè)物體的數(shù)據(jù)是在預(yù)定物體列表中一個(gè)或多個(gè)物體的描述或指定數(shù)據(jù)幀中待檢測(cè)物體類型的標(biāo)準(zhǔn)的數(shù)據(jù)。14.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，還包括重力傳感器，其適合生成指示重力場(chǎng)的當(dāng)前方向的時(shí)變信號(hào)，所述重力場(chǎng)的當(dāng)前方向用于確定自數(shù)據(jù)幀被獲取時(shí)刻的數(shù)據(jù)幀重力向量。15.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述處理器還用于運(yùn)行軟件，所述軟件分析數(shù)據(jù)幀并確定自數(shù)據(jù)幀被分析時(shí)刻的數(shù)據(jù)幀重力向量。16.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述系統(tǒng)是分布式系統(tǒng)并且所述系統(tǒng)的兩個(gè)以上的組件彼此通過(guò)有線或無(wú)線網(wǎng)絡(luò)進(jìn)行通信。17.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中至少一個(gè)傳感器與移動(dòng)通信設(shè)備相關(guān)聯(lián)，并且真實(shí)世界參考點(diǎn)固定在移動(dòng)設(shè)備上。18.根據(jù)權(quán)利要求17所述的系統(tǒng)，還包括具有顯示設(shè)備的可頭戴式設(shè)備。19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述處理器還用于識(shí)別數(shù)據(jù)幀中的人臉，所述數(shù)據(jù)幀通過(guò)與移動(dòng)通信設(shè)備相關(guān)聯(lián)的傳感器獲取，并且所述處理器還用于當(dāng)在數(shù)據(jù)幀中檢測(cè)到用戶的臉時(shí)確定用戶的真實(shí)世界視錐。20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述處理器還用于確定用戶的真實(shí)世界視點(diǎn)、用戶的真實(shí)世界指上向量、用戶的真實(shí)世界視表面、和用戶的真實(shí)世界視線，其從用戶的真實(shí)世界視點(diǎn)發(fā)出并穿過(guò)用戶的真實(shí)世界視表面的中心，并且從用戶的真實(shí)世界視錐中的預(yù)定點(diǎn)發(fā)出并穿過(guò)真實(shí)世界參考點(diǎn)的線被固定在移動(dòng)通信設(shè)備上。21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中用戶的真實(shí)世界視錐是真實(shí)世界視錐，用戶的真實(shí)世界視見(jiàn)體是真實(shí)世界視見(jiàn)體，用戶的真實(shí)世界視點(diǎn)是真實(shí)世界視點(diǎn)，用戶的真實(shí)世界指上向量是真實(shí)世界指上向量，用戶的真實(shí)世界視表面是真實(shí)世界視表面，用戶的真實(shí)世界視線是真實(shí)世界視線，并且用戶的真實(shí)世界物體向量是真實(shí)世界物體向量。22.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)，其中所述處理器還用于檢測(cè)用戶的單手或雙手的空間位置和用戶的手在數(shù)據(jù)幀中的輪廓。23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中所述處理器還用于判斷用戶的手的一部分是否落入在虛擬視表面與定位在基準(zhǔn)面上的任意內(nèi)容要素之間的虛擬視見(jiàn)體中。24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中所述處理器還用于從投影內(nèi)容中消除被手的一部分所遮擋的任意區(qū)域。25.根據(jù)權(quán)利要求23或24所述的系統(tǒng)，其中所述處理器還用于識(shí)別單手或雙手實(shí)施的預(yù)定手勢(shì)或手指姿勢(shì)，以執(zhí)行與識(shí)別出的手勢(shì)相關(guān)聯(lián)的預(yù)定命令。26.根據(jù)權(quán)利要求17-25中任一項(xiàng)所述的系統(tǒng)，其中所述處理器還用于: -檢測(cè)在當(dāng)前真實(shí)世界視見(jiàn)體中的附加的待檢測(cè)真實(shí)世界物體； -在穿過(guò)由附加的真實(shí)世界物體的真實(shí)世界參考點(diǎn)變換的虛擬參考點(diǎn)的虛擬空間中生成附加的基準(zhǔn)面； -在附加的基準(zhǔn)面上定位附加的內(nèi)容要素； -將附加的內(nèi)容要素投影在視表面上以形成附加的投影圖像;和 -在顯示設(shè)備上顯示投影圖像。27.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中所述處理器用于接收將內(nèi)容要素從第一基準(zhǔn)面轉(zhuǎn)移到第二基準(zhǔn)面的命令。28.—種用于生成和顯示虛擬內(nèi)容的方法，包括: a.分析一個(gè)或多個(gè)數(shù)據(jù)幀并判斷一個(gè)或多個(gè)待檢測(cè)現(xiàn)實(shí)世界物體是否處于當(dāng)前現(xiàn)實(shí)世界視見(jiàn)體中； b.如果檢測(cè)到一個(gè)現(xiàn)實(shí)世界物體的至少一部分處于當(dāng)前視見(jiàn)體中，則根據(jù)當(dāng)前數(shù)據(jù)幀確定與檢測(cè)到的現(xiàn)實(shí)世界物體相關(guān)聯(lián)的現(xiàn)實(shí)世界參考點(diǎn)在與現(xiàn)實(shí)世界視見(jiàn)體相關(guān)聯(lián)的現(xiàn)實(shí)世界坐標(biāo)系中的現(xiàn)實(shí)世界坐標(biāo)； c.確定從現(xiàn)實(shí)世界視見(jiàn)體中的預(yù)定點(diǎn)發(fā)出到達(dá)檢測(cè)到的現(xiàn)實(shí)世界物體的現(xiàn)實(shí)世界參考點(diǎn)的現(xiàn)實(shí)世界物體向量； d.確定與數(shù)據(jù)幀相關(guān)聯(lián)的重力向量相對(duì)于現(xiàn)實(shí)世界視見(jiàn)體的位置； e.構(gòu)建具有3D虛擬空間坐標(biāo)系的虛擬3D空間，并且在所述3D虛擬空間中定位:具有關(guān)聯(lián)虛擬世界視點(diǎn)的虛擬視錐、圍繞從所述虛擬視點(diǎn)發(fā)出的虛擬視線對(duì)稱定位的關(guān)聯(lián)虛擬視見(jiàn)體、形成上述虛擬視見(jiàn)體的表面的關(guān)聯(lián)虛擬視表面、以及關(guān)聯(lián)虛擬指上向量，其中所述虛擬指上向量的虛擬坐標(biāo)系的X和y軸平行于所述虛擬視表面并且z軸平行于所述虛擬視線； 在3D虛擬空間中構(gòu)建穿過(guò)所述虛擬物體參考點(diǎn)的基準(zhǔn)面，所述基準(zhǔn)面具有關(guān)聯(lián)2D坐標(biāo)系(X，，Z，)； f.將在所述基準(zhǔn)面上的或平行于所述基準(zhǔn)面的一個(gè)或多個(gè)平面內(nèi)容要素設(shè)置在所述基準(zhǔn)面上的任意一個(gè)或多個(gè)預(yù)定準(zhǔn)許位置中； g.將定位在3D虛擬空間中的內(nèi)容要素投影到所述虛擬視表面上以形成投影圖像； h.形成最終圖像，所述最終圖像包括所述投影圖像;和I.在觀察設(shè)備或顯示設(shè)備上顯示所述最終圖像。
【文檔編號(hào)】G06T15/20GK105934775SQ201480074085
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2014年11月26日
【發(fā)明人】約阿夫·謝斐
【申請(qǐng)人】約阿夫·謝斐