專利名稱：用于在真實(shí)環(huán)境中表示虛擬信息的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于在真實(shí)環(huán)境中表示虛擬信息的方法。該方法特別適合于通過增強(qiáng)現(xiàn)實(shí)技術(shù)的世界中的興趣點(diǎn)的人機(jī)工程學(xué)(ergonomic)表示和標(biāo)記。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)(AR)是其中虛擬數(shù)據(jù)覆蓋現(xiàn)實(shí)并且因此便利數(shù)據(jù)與現(xiàn)實(shí)的關(guān)聯(lián)的技術(shù)。在本領(lǐng)域中已知移動(dòng)AR系統(tǒng)的使用。在過去的幾年中，高性能移動(dòng)設(shè)備(例如，智能電話)變得適合于AR應(yīng)用。這些設(shè)備同時(shí)具有較大的彩色顯示器、安裝的相機(jī)、良好的處理器和附加的傳感器，諸如方向傳感器和GPS。除了這一點(diǎn)之外，還可以經(jīng)由無線電網(wǎng)絡(luò)來近似設(shè)備的位置。在過去，存在在使用AR的移動(dòng)設(shè)備上實(shí)現(xiàn)的各種工程。首先，使用用于確定設(shè)備的位置和方向的特殊光學(xué)標(biāo)記。關(guān)于也可用于大區(qū)域并且因此也被稱為大區(qū)域AR的AR，也已經(jīng)公布了用于與HMD相關(guān)的物體的可感測表示的提示[2，4，5，6，7，8，9]。最近，也存在用于利用現(xiàn)代設(shè)備的GPS和方向傳感器系統(tǒng)的手段[1，3，10，15]。然而，特別地，關(guān)于在小移動(dòng)設(shè)備上使用視頻透明AR的這些手段，還沒有公布用于分別增強(qiáng)其可用性和用戶友好性的創(chuàng)新方法。[1]AR Wikitude. http://www. mobilizy. com/wikitude. php.[2]B. Bell, S. Feiner, and T. H. . ollerer. View management for virtual and augmented reality. In Proceedings of the 14th ACM Symposium on User Interface Software and Technology, pages 101-110,2001.[3]Enkin. http://www. enkin. net.[4] S. Feiner, B. Maclntyre, T. H. . ollerer, and A. Webster. A touring machine Prototyping 3d mobile augmented reality systems for exploring the urban environment. In Proceedings of the 1st International Symposium on Wearable Computers，pages 74-81，1997.[5] J. L Gabbard，J. E. Swan II，D. Hix，S. -J. Kim, and G. Fitch. Active text drawing styles for outdoor augmented reality :A user-based study and design implications.In Proceedings of the IEEE Virtual Reality Conference， pages 35-42,2007.[6] T. H. H. . ollerer. User Interfaces for Mobile Augmented Reality Systems. PhD thesis，Graduate School of Arts and Sciences of Columbia University, 2004.[7]S. Julier, Y. Baillot, D. Brown, and M. Lanzagorta. Information filtering for mobile augmented reality. IEEE Computer Graphics and Applications，22 (5) 12-15,2002.[8]G. Reitmayr and D. Schmalstieg. Collaborative augmented reality foroutdoor navigation and information browsing. In Proceedings of the Symposium Location Based Services and TeleCartography-Geowissenschaftliche Mitteilungen, pages 31-41,2004.[9]J. Rekimoto.The magnifying glass approach to augmented reality systems. In Proceedings of the International Conference on Artificial Reality and Tele-Existence and Conference on Virtual Reality Software and Technology, pages 123-1 32,1995.[10]Sekai Camera. http://www. toncnidot. com/product-info. html.[11] J. Wither, S. DiVerdi, and T. H. . ollerer. Evaluating display types for ar selection and annotation. In IEEE International Symposium on Mixed and Augmented Reality. 2007.[12] J. Wither and T. H. . ollerer. Pictorial depth cues for outdoor augmented reality. In Proceedings of the 9th IEEE International Symposium on Wearable Computers, pages 92-99,2005. [13]From video image e.g. (Automatic Fog Detection and Estimation of Visibility Distance through use of an Onboard Camera)Journal Macnine Vision and Applications Publisher Springer Berlin/ Heidelberg ISSN0932-8092(Print)1432-1769(Online)Volume 17, Numberl/April 2006 Pages 8-20[14]Marko Heinrich,Bruce H. Thomas,Stefan Mueller, “ ARffeather, “ Mixed and Augmented Reality, IEEE/ACM International Symposium on, pp. 187-188,2008 7thIEEE/ACM International Symposium on Mixed and Augmented Reality, 2008.[15] layar. com申請(qǐng)人:已經(jīng)發(fā)現(xiàn)，對(duì)于使用大區(qū)域AR，應(yīng)當(dāng)滿足特定系統(tǒng)屬性(1)對(duì)于相關(guān)信息的不復(fù)雜、迅速使用和直接訪問。(2)將虛擬信息與現(xiàn)實(shí)相關(guān)聯(lián)的精確度是重要的。(3)用戶界面應(yīng)當(dāng)清楚整齊。迄今使用的方法的缺點(diǎn)(1)經(jīng)常使用所謂的“鳥瞰”(一種鳥瞰視角)來作為在周圍環(huán)境中的點(diǎn)上的概觀。這個(gè)視圖例如用于通過混和的虛擬信息來向用戶示出興趣點(diǎn)大體位于真實(shí)世界的位置。使用有限的屏幕大小，用戶具有遠(yuǎn)程元素的有限視圖，或換句話說， 分辨率變得太小，并且元素不可辨別/不可視。兩個(gè)觀看方向的同時(shí)表示使得界面被呈現(xiàn)地更為復(fù)雜。(2)如果物體的大小未被正確地縮放，則用戶的距離感覺并且因此關(guān)聯(lián)的能力將會(huì)被削弱。(3)如果物體的大小被縮放，則對(duì)于大距離，這些變小和難以辨認(rèn)。該界面具有不清楚和不整齊的外觀。

發(fā)明內(nèi)容
本發(fā)明的目的是指示一種用于表示真實(shí)環(huán)境中的虛擬信息的方法，它能夠?qū)崿F(xiàn)在真實(shí)世界中的興趣點(diǎn)的人機(jī)工程學(xué)表示，而不過度地限制用戶的視場，并且沒有過量的信息而使得用戶過度緊張。本發(fā)明的第一方面涉及一種用于表示真實(shí)環(huán)境中的虛擬信息的方法，包括下面的步驟
提供真實(shí)環(huán)境和系統(tǒng)設(shè)備的至少一個(gè)視圖，用于混和或覆蓋虛擬信息以在所述視圖的至少一部分中與真實(shí)環(huán)境疊加，所述系統(tǒng)設(shè)備包括至少一個(gè)顯示設(shè)備，確定所述系統(tǒng)設(shè)備的至少一個(gè)部分相對(duì)于所述真實(shí)環(huán)境的至少一個(gè)部件的位置和方向，將所述真實(shí)環(huán)境的所述視圖的至少一部分細(xì)分為多個(gè)區(qū)域，所述多個(gè)區(qū)域包括第一區(qū)域和第二區(qū)域，在所述第一區(qū)域內(nèi)的所述真實(shí)環(huán)境的物體被布置得比在所述第二區(qū)域內(nèi)的所述真實(shí)環(huán)境的物體更接近所述系統(tǒng)設(shè)備，根據(jù)所述系統(tǒng)設(shè)備的所述至少一個(gè)部分的所述位置和方向，在所述真實(shí)環(huán)境的視圖的至少一部分中在所述顯示設(shè)備上混和或覆蓋虛擬信息中的至少一項(xiàng)，其中，相對(duì)于在所述真實(shí)環(huán)境的所述視圖中的混和或覆蓋的類型，在所述第一區(qū)域中與在所述第二區(qū)域中不同地示出所述虛擬信息。所述系統(tǒng)設(shè)備的所述至少一個(gè)部分可以例如是其位置和方向(位姿)被確定的相機(jī)，所述相機(jī)不必然固定地連接到所述顯示設(shè)備。在特定情況下，例如，當(dāng)僅經(jīng)由GPS和方向傳感器確定所述系統(tǒng)設(shè)備的至少一部分的位姿時(shí)，整個(gè)系統(tǒng)根本不需要相機(jī)。只要存在對(duì)于用戶的觀看方向可能的結(jié)論，則所述系統(tǒng)設(shè)備的任何部分的位姿的確定在原則上就是適合的。例如，所述第一區(qū)域可以是近處區(qū)域，而所述第二區(qū)域可以是遠(yuǎn)程或遠(yuǎn)處區(qū)域。然而，也可能所述第一區(qū)域表示位置區(qū)域，而所述第二區(qū)域表示近處區(qū)域。以下參考附圖來更詳細(xì)地闡明具有近處區(qū)域、遠(yuǎn)處區(qū)域和位置區(qū)域的實(shí)施例。根據(jù)可以獨(dú)立于涉及將視圖細(xì)分為區(qū)域的本發(fā)明的以上第一方面而應(yīng)用的本發(fā)明的另一個(gè)方面，在真實(shí)環(huán)境的視圖中混和虛擬信息也可以考慮例如經(jīng)由互聯(lián)網(wǎng)(“在線”) 查詢的天氣數(shù)據(jù)，以便增強(qiáng)混和的虛擬信息相對(duì)于真實(shí)環(huán)境的真實(shí)程度，并且因此改善與其的關(guān)聯(lián)。存在可設(shè)想來用于處理的各種復(fù)雜度。例如，基于天氣情況，可以分配與天氣情況匹配的固定光照模型或材料(例如，紋理)。作為補(bǔ)充或替代，可以根據(jù)天氣數(shù)據(jù)(諸如云、太陽輻射等)和/或其他數(shù)據(jù)(諸如日時(shí)、年時(shí)等)來計(jì)算陰影投射或光照條件。在一個(gè)實(shí)施例中，虛擬信息的至少一項(xiàng)表示相對(duì)于真實(shí)環(huán)境的興趣點(diǎn)(一般也縮寫為POI，特別是與導(dǎo)航設(shè)備相關(guān)聯(lián))。本發(fā)明提供了下述優(yōu)點(diǎn)獲得在真實(shí)世界中的虛擬信息，特別是興趣點(diǎn)的人機(jī)工程學(xué)表示，而不過度地限制用戶的視場，并且沒有太多的信息項(xiàng)而使得用戶過度緊張。同時(shí)，可以顯示虛擬信息的許多不同的項(xiàng)，然而，所述虛擬信息的許多不同的項(xiàng)因?yàn)樗鎏摂M信息的所述人機(jī)工程學(xué)表示而不導(dǎo)致用戶過度緊張。而且，可以通過考慮人感知機(jī)制來增強(qiáng)信息的關(guān)聯(lián)。可以從從屬權(quán)利要求獲取本發(fā)明的另外的有益發(fā)展。


現(xiàn)在通過在附圖中示出的圖來更詳細(xì)地描述本發(fā)明，在附圖中圖1示出可以用于執(zhí)行根據(jù)本發(fā)明的方法的相對(duì)于真實(shí)環(huán)境的示例性系統(tǒng)設(shè)備的示意布置的平面圖，圖2示出將興趣點(diǎn)(周圍的Ρ0Ι)示例性地劃分到不同半徑區(qū)域的示意布置，
圖3示出用于計(jì)算扇區(qū)中的POI上的半徑的可能手段的示意布置，其中，每一個(gè)扇區(qū)的半徑可以彼此不同。圖4示出根據(jù)本發(fā)明的多個(gè)方面的用于形成用戶界面的實(shí)施例的、具有混和的虛擬信息(在此Ρ0Ι物體)的真實(shí)環(huán)境的示例性視圖的可能元素，圖5示出當(dāng)操作焦點(diǎn)位于位置區(qū)域中時(shí)根據(jù)圖4的用戶界面的可能元素，圖6示出在根據(jù)圖4的視圖的位置區(qū)域中的虛擬信息(在此Ρ0Ι)的示例性預(yù)覽，圖7示出當(dāng)不需要表面元素時(shí)從根據(jù)圖4的視圖中屏蔽這些表面元素的示例性可能，圖8至圖11示出用于虛擬信息(在此Ρ0Ι物體)的項(xiàng)的實(shí)施例的不同表示可能，圖12示出給出根據(jù)本發(fā)明的方法的實(shí)施例的整體處理的概況的流程圖，圖13示出如在根據(jù)圖4的視圖中例示的、說明用于計(jì)算位置區(qū)域的半徑0(參照?qǐng)D2)的可能過程的實(shí)施例，圖14示出說明用于計(jì)算在圖2中例示的半徑1的可能過程的實(shí)施例，圖15示出說明用于計(jì)算在圖2中例示的半徑2的可能過程的實(shí)施例，圖16示出用于說明虛擬信息(在此Ρ0Ι物體)的項(xiàng)的聚集的示例性可能的示意圖，圖17示出用于使陰影和材料效果(“描陰”)與虛擬信息(在此Ρ0Ι物體)的項(xiàng)相關(guān)聯(lián)的示例性可能過程，圖18示出與虛擬信息(在此Ρ0Ι物體)的項(xiàng)的示例性可能交互。
具體實(shí)施例方式圖1示出用于說明可以用于執(zhí)行根據(jù)本發(fā)明的方法的示例性系統(tǒng)設(shè)備的示意布置的平面圖。具體地說，圖1說明了系統(tǒng)設(shè)備的各種可能。在圖IA的說明中，用戶戴著作為顯示設(shè)備的頭戴式顯示系統(tǒng)(縮寫為HMD)，該頭戴式顯示系統(tǒng)包括作為系統(tǒng)設(shè)備20的一部分的顯示器21。顯示器21例如可以是公知的半透明數(shù)據(jù)眼鏡(“光學(xué)透明顯示器”)，其中，可以混和由計(jì)算機(jī)23提供的虛擬信息。用戶因此在真實(shí)世界40的視圖中通過半透的數(shù)據(jù)眼鏡21看到增加了混和的虛擬信息(諸如， 例如與真實(shí)世界相關(guān)的POI物體)的真實(shí)世界的物體。以這種方式，系統(tǒng)設(shè)備20構(gòu)成公知的增強(qiáng)現(xiàn)實(shí)(AR)系統(tǒng)的實(shí)施例。顯示器21可以具有附加的傳感器M，諸如旋轉(zhuǎn)傳感器；以及，其上安裝的用于光學(xué)跟蹤的相機(jī)22。顯示器21可以是半透明的或可以由相機(jī)圖像提供現(xiàn)實(shí)的圖像。對(duì)于半透明顯示器21，在眼睛25和顯示器21之間的校準(zhǔn)是必要的。為此，存在現(xiàn)在技術(shù)中記載的并且專家已知的各種方法。有利地，在顯示器21上或在用戶身體上的任何位置或計(jì)算機(jī)單元23中，也可以安裝位置傳感器，諸如GPS傳感器(GPS 全球定位系統(tǒng))，用于提供在真實(shí)世界40中的系統(tǒng)設(shè)備20的可能地理位置確定(例如，根據(jù)經(jīng)度和緯度)。在圖IB的說明中，示出可以例如在現(xiàn)代移動(dòng)電話(所謂的“智能電話”)中經(jīng)常發(fā)現(xiàn)的另一種示例性系統(tǒng)設(shè)備30。顯示設(shè)備31 (例如，以顯示屏幕或顯示器的形式)、計(jì)算機(jī) 33、傳感器34和相機(jī)32構(gòu)成例如在移動(dòng)電話的公共外殼中容納的系統(tǒng)單元。通過顯示器 31來提供真實(shí)世界40的視圖，顯示器31示出由相機(jī)32捕獲的真實(shí)世界40的相機(jī)圖像。對(duì)于增強(qiáng)現(xiàn)實(shí)應(yīng)用，可以在顯示器31上示出相機(jī)圖像，并且向該相機(jī)圖像增加額外的虛擬信息(諸如與真實(shí)世界相關(guān)的POI物體)。以這種方式，系統(tǒng)設(shè)備30構(gòu)成公知的增強(qiáng)現(xiàn)實(shí) (AR)系統(tǒng)的另一個(gè)實(shí)施例。基本上，本發(fā)明可以方便地用于所有形式的AR。例如，在使用半透明HMD的所謂的光學(xué)透明模式中或使用相機(jī)和顯示屏幕的視頻透明模式中實(shí)現(xiàn)表示是無關(guān)的。當(dāng)以下參考相機(jī)時(shí)，這可以是源自眼睛和透明顯示器(參照?qǐng)DIA的顯示器21)的組合的相機(jī)或光學(xué)系統(tǒng)。該兩者都包括用于混和虛擬信息的相關(guān)的相機(jī)屬性，諸如孔徑角和圖像的主點(diǎn)。本發(fā)明基本上也可以結(jié)合立體顯示器使用，在該立體顯示器中，視頻透明手段有利地使用兩個(gè)相機(jī)，每一個(gè)相機(jī)用于記錄每只眼睛的一個(gè)視頻流。在任何情況下，可以對(duì)于每只眼睛單獨(dú)地計(jì)算虛擬3D信息的項(xiàng)。以下描述的不同的部分步驟的處理基本上可以經(jīng)由網(wǎng)絡(luò)被分布到各個(gè)計(jì)算機(jī)。因此，客戶機(jī)/服務(wù)器架構(gòu)或純基于客戶機(jī)的解決方案是可能的。例如，客戶機(jī)可以向服務(wù)器發(fā)送圖像，服務(wù)器基于該圖像使得客戶機(jī)可獲得關(guān)于與真實(shí)世界相關(guān)的系統(tǒng)設(shè)備(參照?qǐng)D 1)或其一部分的3D位置和3D方向的信息(下面稱為位姿)和關(guān)于可視范圍的信息。此夕卜，客戶機(jī)或服務(wù)器也可以包括若干計(jì)算單元，諸如若干CPU ；或?qū)Ｓ糜布考T如公知的FPGA、ASIC、GPU或DSP。若干客戶機(jī)也可以在彼此之間交換信息，該信息是例如關(guān)于這個(gè)位置的可視范圍或在客戶機(jī)產(chǎn)生POI的情況下產(chǎn)生的。信息的這種交換可以經(jīng)由服務(wù)器發(fā)生，然而，也可以設(shè)想經(jīng)由藍(lán)牙或WLAN的直接連接。為了允許實(shí)現(xiàn)AR，空間中的相機(jī)的位姿(位置和方向)是必需的。可以用各種不同的方式來實(shí)現(xiàn)這一點(diǎn)。可以例如通過僅使用具有電子指南針的GPS和方向傳感器(例如在一些現(xiàn)代移動(dòng)電話中安裝的)來確定在世界上的位姿。然而，位姿的不確定度很高。因此，也可以使用其他方法，諸如光學(xué)初始化和跟蹤或使用GPS和方向傳感器的光學(xué)方法的組合。也以使用WLAN定位，或者，RFID或光學(xué)標(biāo)記可以支持定位處理。如上所述，基于客戶機(jī)/服務(wù)器的手段在此也是可能的。具體地說，客戶機(jī)可以從服務(wù)器請(qǐng)求用于光學(xué)跟蹤所需的位置特定信息。這樣的信息可以例如是具有位姿信息和深度信息的周圍環(huán)境的參考圖像。本發(fā)明可以改善客戶機(jī)的信息表示。然而，它也可以用在遠(yuǎn)程情境(遠(yuǎn)程視圖情境)中。在該情境中，例如，在控制室中的維護(hù)專家在他的顯示屏幕上觀看經(jīng)由數(shù)據(jù)網(wǎng)絡(luò)傳送的客戶機(jī)的圖像以及對(duì)應(yīng)地信息處理項(xiàng)。專家然后可以向客戶機(jī)給出指令或僅觀察。在類似的情境中，可以設(shè)想，人觀看記錄的圖像或視頻材料以及根據(jù)本發(fā)明表示的交互附加信息，并且如果可能，可以通過與基于互聯(lián)網(wǎng)的應(yīng)用“Google Mreetview”類似的材料來進(jìn)行導(dǎo)航。除此之外，本發(fā)明也可以作為監(jiān)控器、HMD或通過平視顯示器的方式被安裝或攜帶在汽車、飛機(jī)或船只中。一般，可以對(duì)于大量不同形式的信息建立興趣點(diǎn)(“Ρ0Ι”)。以下給出示例?？梢允褂肎PS信息來表示位置的圖像?？梢詮幕ヂ?lián)網(wǎng)自動(dòng)地提取信息。例如，這可以是具有地址或給出等級(jí)的頁面的公司或飯店網(wǎng)站。用戶可以在位置存儲(chǔ)文本、圖像或3D物體，并且使得其他人可獲得它?？梢詫?duì)于諸如Wikipedia的信息頁面搜索地理信息，并且，可以使得頁面可訪問以作為Ρ0Ι?？梢詮囊苿?dòng)設(shè)備的用戶的搜索和瀏覽行為自動(dòng)地產(chǎn)生Ρ0Ι?？梢允境銎渌d趣位置，諸如地下交通或公共汽車站、醫(yī)院、警察局、醫(yī)生、不動(dòng)產(chǎn)廣告或健身俱樂部。下面，將通過以圖12開始所示出的流程圖的形式并結(jié)合其余的圖1至圖11來更詳細(xì)地解釋本發(fā)明的方面和實(shí)施例。在這一點(diǎn)上，圖2示出用于說明將興趣點(diǎn)(周圍的Ρ0Ι)示例性地劃分到不同的半徑區(qū)域的示意布置。圖3示出用于計(jì)算在扇區(qū)中的POI上的半徑的可能手段的示意布置， 其中，每一個(gè)扇區(qū)的半徑可能不同，并且圖4示出根據(jù)本發(fā)明的多個(gè)方面的用于建立用戶界面的實(shí)施例的、具有混和的虛擬信息(在此Ρ0Ι物體)項(xiàng)的真實(shí)環(huán)境的示例性視圖的可言旨元素。如圖4中更詳細(xì)地所示，真實(shí)環(huán)境的視圖1的至少一部分(它可以是通過根據(jù)圖 IA的半透明HMD 21或在屏幕HMD 21上的視圖或根據(jù)圖IB的在顯示器31上的相機(jī)圖像的屏幕視圖)被細(xì)分為多個(gè)區(qū)域。在本實(shí)施例中，這些區(qū)域包括第一區(qū)域3，構(gòu)成在本實(shí)施例中的近處區(qū)域3 ；第二區(qū)域4，用于構(gòu)成在本實(shí)施例中的遠(yuǎn)處區(qū)域4;以及，第三區(qū)域5，用于構(gòu)成在本實(shí)施例中的位置區(qū)域5。在近處區(qū)域3內(nèi)的真實(shí)環(huán)境中的物體被布置得比在遠(yuǎn)處區(qū)域4內(nèi)的真實(shí)環(huán)境中的物體分別更接近系統(tǒng)設(shè)備20和30。在位置區(qū)域5中，繼而，真實(shí)世界40中的物體被布置得比在近處區(qū)域3內(nèi)的真實(shí)環(huán)境中的物體分別更接近系統(tǒng)設(shè)備 20 禾口 30。根據(jù)圖4的視圖1至少混和虛擬信息的至少一個(gè)項(xiàng)(在本實(shí)施例中，混和了虛擬信息的若干項(xiàng)P0I1-P0I4、P0I11-P0I14和P0I21-P0I23)。在本實(shí)施例中，這些表示與可以在視圖1中看到的現(xiàn)實(shí)相關(guān)的興趣點(diǎn)(POI)。例如，與在視圖1中可視的建筑物(在圖4中未示出)相關(guān)地混和虛擬信息POIl，該虛擬信息指代這個(gè)建筑物并且/或者與其光學(xué)地相關(guān)聯(lián)，并且可能允許檢索關(guān)于該建筑物的附加信息。分別考慮到對(duì)應(yīng)的系統(tǒng)設(shè)備20或30 或其一部分的位置和方向，分別在顯示設(shè)備21和31上在真實(shí)環(huán)境的視圖1的至少一部分中混和該信息P0I1。如將在下面更詳細(xì)地說明的，關(guān)于在視圖1中的混和的類型，在近處區(qū)域3中與在遠(yuǎn)處區(qū)域4中不同地示出所混和的虛擬信息。換句話說，在近處區(qū)域3中的同一虛擬信息(例如，POI1)，例如當(dāng)其與在近處區(qū)域3中的真實(shí)物體相關(guān)聯(lián)時(shí)，所示出的虛擬信息與例如當(dāng)其與在遠(yuǎn)處區(qū)域4中的真實(shí)物體相關(guān)聯(lián)時(shí)所示出的在遠(yuǎn)處區(qū)域4中混合的虛擬信息不同(這里在僅一個(gè)區(qū)域中同時(shí)出現(xiàn)一個(gè)Ρ0Ι)。如圖2和3中所示，通過相應(yīng)的邊界將近處區(qū)域3與遠(yuǎn)處區(qū)域4和位置區(qū)域5分離，該相應(yīng)的邊界在本實(shí)施例中分別具有在顯示設(shè)備的視角的方向上的半徑(半徑0至半徑3)(圖2進(jìn)一步示出邊界或半徑，如下面將更詳細(xì)解釋的)。在下面仍將更詳細(xì)地描述根據(jù)圖2和圖3的半徑的確定和計(jì)算。邊界沒有固定形狀，但是優(yōu)選地是分別相對(duì)于相機(jī)和觀察者是旋轉(zhuǎn)對(duì)稱的。此外，邊界不必是圓形的，而是可以具有例如橢圓或其他形狀。概述圖12結(jié)合圖1至圖11以流程圖示出了根據(jù)本發(fā)明的方法的實(shí)施例的處理的概述。在第一步驟1.0中，初始化系統(tǒng)，或者在周期(pass)已經(jīng)發(fā)生的情況中，可以可選地保留先前的值。在隨后的步驟中，如果還沒有存在數(shù)據(jù)或如果情況已經(jīng)改變則加載數(shù)據(jù)。數(shù)據(jù)源可以被包含在越來越多的服務(wù)器中，或者可以被本地存儲(chǔ)在設(shè)備上，或者可以被編碼為環(huán)境中的信息(例如，經(jīng)由RFID或QR代碼)。在數(shù)據(jù)源中存儲(chǔ)很大量的POI的情況中，則可以經(jīng)由半徑3的位置和確定來限制數(shù)量。例如，通過具有空間特征或?qū)傩缘默F(xiàn)代數(shù)據(jù)庫系統(tǒng)來提供這樣的功能?；旧希ㄟ^用戶自己定義的過濾器的方式在這個(gè)步驟中也已經(jīng)過濾了 Ρ0Ι。例如，僅烹飪或沒有烹飪。然后，挑選出承載對(duì)應(yīng)信息的Ρ0Ι。在此對(duì)于專家顯而易見的是，可以對(duì)于POI存儲(chǔ)對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)，其可以包含例如其位置、其2D或3D 形狀、圖像和/或另外的元信息，諸如類別。在步驟3. 0-6. 0中，然后根據(jù)本發(fā)明組織Ρ0Ι。其后，可以光學(xué)地處理和顯示它們。 其后，如將通過示例更詳細(xì)地解釋的，可以與所示的POI進(jìn)行交互。劃分為區(qū)域下面，將結(jié)合圖13至圖1 8和圖1至圖11更詳細(xì)地描述圖12的步驟3. 0-6.0。 在這一點(diǎn)上，圖13至圖18涉及在圖12中說明的一般方法步驟的可能子步驟。取決于系統(tǒng)的能力，以特定的間隔在每一個(gè)周期或在后臺(tái)中能夠基本上實(shí)現(xiàn)這些步驟。本發(fā)明的主要方面在于混和的虛擬信息(在此Ρ0Ι)的項(xiàng)被分配到真實(shí)世界的視圖中的固定配置或自動(dòng)計(jì)算的、不同的區(qū)域。圖2示出俯瞰視角下的可能情境的視圖。在相機(jī)的周圍的空間布置中示出各種 Ρ0Ι。如果簡單地顯示所有這些Ρ0Ι，則屏幕迅速地充滿大量物體。因?yàn)檫@個(gè)原因，對(duì)于不同區(qū)域進(jìn)行細(xì)分。通過半徑0來限制位置區(qū)域5。關(guān)于半徑，應(yīng)當(dāng)注意，它們不必然在所有角度上恒定，而是可以根據(jù)角度而變化(與圖3參照)。位置區(qū)域5示出位于附近的物體，使得用戶難以使用該設(shè)備來找到它。找到它們的可能性特別取決于可確定的位姿的精確度。 因此，可以有利地根據(jù)位姿確定(的不確定度)(圖1 來將半徑0設(shè)置得更大或更小。圖4示出根據(jù)本發(fā)明的方面的、用于形成用戶界面的實(shí)施例的具有混和的虛擬信息(在此Ρ0Ι物體)的真實(shí)環(huán)境的示例性視圖的可能元素。圖4在這一點(diǎn)上示出了用戶界面的有利細(xì)分。在位置區(qū)域5中的POI被固定地布置在視圖1的下部，并且可以例如通過鼠標(biāo)點(diǎn)擊或在觸摸屏的情況下的觸摸而被選擇。圖6示出作為示例性POI 23的激活的結(jié)果的可能視圖。如果被提供，則可以顯示P0I23的精確位置的圖像P23以用于定位。如果被提供，則可以額外地顯示存儲(chǔ)的信息的預(yù)覽V23。在位置區(qū)域5之外但是在近處存在的POI物體被布置在近處區(qū)域3中。在這個(gè)區(qū)域中，具有真實(shí)的虛擬信息的正確的關(guān)聯(lián)被認(rèn)為特別重要。例如，它可能與路徑的個(gè)人計(jì)劃相關(guān)，而不論P(yáng)OI物體是否位于道路交叉口之前或之后。通過半徑0和1(圖2)來限定近處區(qū)域3。圖14說明用于計(jì)算半徑1的可能。一方面，POI物體的方便的可見性具有相關(guān)性。 如果POI的表示仍然僅具有2 mm (示例值)的大小，則它沒有多大用途，而是只在顯示器上引起混亂。在步驟4. 1中的計(jì)算因此包含顯示器的分辨率、POI的大小(例如，恐龍的表示允許比具有1 m的大小的球體的表示更大的半徑1)和相機(jī)的孔徑角。在下面的步驟中，如果存在填充屏幕的太多POI，則可以進(jìn)一步匹配半徑1 (稱為全局手段)。計(jì)算可以參考相機(jī)的整個(gè)孔徑角或更大的范圍。也可以單獨(dú)地調(diào)整較小的扇區(qū)。扇區(qū)可以例如是固定的或者可以基于簇而形成，簇有助于劃分扇區(qū)(參照?qǐng)D16中的步驟6.幻。示例性方法可以被實(shí)現(xiàn)如下對(duì)于每一個(gè)簇計(jì)算重心。通過這個(gè)重心來繪制直線。組合彼此以小角度布置的直線。用整數(shù)角度排列每一個(gè)結(jié)果產(chǎn)生的直線，并且對(duì)其分配扇區(qū)。扇區(qū)的大小然后在整數(shù)角度步驟中迭代地循環(huán)增加，直到與相鄰的扇區(qū)建立接觸。當(dāng)通過簇或通過固定設(shè)置來定義扇區(qū)時(shí)，在步驟4. 2中計(jì)數(shù)扇區(qū)的POI的數(shù)量。如果該數(shù)量超過特定可配置閾值，則減小半徑，直到該值小于閾值為止(步驟4. 3)。作為替代，如果在表示中存在重疊的Ρ0Ι，則也可能移動(dòng)單獨(dú)的Ρ0Ι，而沒有與遠(yuǎn)處區(qū)域4匹配的半徑(稱為局部手段)。為此，在步驟4. 4中，計(jì)算根據(jù)渲染管線的POI的 2D位置和擴(kuò)展。渲染管線被專家理解為在3D空間中的物體向較小維數(shù)的顯示器的投影。 在近處區(qū)域中，例如，根據(jù)可用于近處區(qū)域的2D顯示部分的位置、方向、相機(jī)孔徑角和分辨率來進(jìn)行這一點(diǎn)。對(duì)于遠(yuǎn)處區(qū)域，渲染管線執(zhí)行向線的投影。可以例如使用標(biāo)準(zhǔn)3D-2D投影來進(jìn)行這一點(diǎn)，在標(biāo)準(zhǔn)3D-2D投影中，對(duì)于渲染程序而言，物體被發(fā)送地很遠(yuǎn)，以便確定物體在其消失點(diǎn)在可能旋轉(zhuǎn)的顯示器上的位置。在重疊的情況下，對(duì)于遠(yuǎn)處區(qū)域4標(biāo)記后面的POI (步驟4. 5)?？梢员Ａ暨@個(gè)標(biāo)記一個(gè)顯示周期(圖12的步驟1. 0至9. 0)或更長 (例如，3秒或5個(gè)顯示周期)。該系統(tǒng)可以執(zhí)行步驟4. 4和4. 5，直到不再有重疊或這些低于特定值。也可以有關(guān)于何時(shí)如此評(píng)估重疊的容差(例如，大于彼此相交的兩個(gè)物體的面積的和的10% )。有利地，也可以將全局手段與局部手段進(jìn)行組合。雖然為了可見性的原因，附圖從鳥瞰的視角說明了扇區(qū)和Ρ0Ι，但是也可以對(duì)于 3D應(yīng)用選擇性地應(yīng)用所有這些方法。遠(yuǎn)處區(qū)域4包含從近處區(qū)域轉(zhuǎn)移的POI或位于在扇區(qū)中的半徑1的外部的Ρ0Ι。 但是甚至在這里，顯示所有存在的POI物體也不必然是方便的。因此，如圖15中所示，可以有利地計(jì)算半徑2，類似于半徑1。由于半徑2特別是仍然顯示位于用戶可達(dá)范圍內(nèi)的POI 物體的事實(shí)，因此有利地是，可以使用用戶的當(dāng)前速度或平均速度或用戶在特定時(shí)間段內(nèi)通過公共交通、汽車或自行車等可以覆蓋的距離來計(jì)算半徑2。也可以獨(dú)立于本發(fā)明的其他權(quán)利要求來應(yīng)用根據(jù)這些因素來計(jì)算可以完全通過AR來顯示哪些物體的可能。在本發(fā)明的示例性發(fā)展中，也可能將單獨(dú)的POI從一個(gè)區(qū)域拖動(dòng)到另一個(gè)區(qū)域 (例如，經(jīng)由觸摸屏)，由此將其標(biāo)記以在近處區(qū)域中顯示。例如，然后將在近處區(qū)域3中永久地顯示該P(yáng)OI物體。對(duì)于半徑的手動(dòng)設(shè)置，也可以設(shè)想，當(dāng)混合入現(xiàn)實(shí)時(shí)，將其在正確的位置中顯示給用戶中。用戶可以然后通過觸摸屏手動(dòng)地改變半徑。物體的表不圖4示出在不同區(qū)域中的POI的表示的可能示例性形式。目前以均勻大小并且不可移動(dòng)地且獨(dú)立于觀看方向地表示在下面的位置區(qū)域5中的Ρ0Ι。在近處區(qū)域3中的POI 物體根據(jù)位姿、相機(jī)參數(shù)和模型屬性以正確的視角、三維地重疊在環(huán)境40上。在遠(yuǎn)處區(qū)域 4中的POI物體有利地以均勻大小被表示，并且有利地根據(jù)設(shè)備(特別是顯示設(shè)備)的方向來向前移動(dòng)，使得在向下方向上的垂直線將會(huì)碰到對(duì)應(yīng)的相關(guān)聯(lián)的真實(shí)位置。有利地，在右和左邊緣6上額外地顯示暗示在相機(jī)的孔徑角之外的POI物體的符號(hào)。箭頭8可以給出方向暗示，使得當(dāng)在箭頭的方向上圍繞觀察者移動(dòng)所述設(shè)備時(shí)，POI物體將會(huì)進(jìn)入可視范圍內(nèi)。這些邊緣6可以對(duì)于每一個(gè)區(qū)域(圖4)或例如僅對(duì)于近處區(qū)域3(圖5)存在。近處區(qū)域3、遠(yuǎn)處區(qū)域4和/或位置區(qū)域5可以被可選地隱藏或屏蔽，特別是當(dāng)在其中沒有顯示虛擬信息時(shí)。當(dāng)在這些區(qū)域中不存在POI時(shí)也可以自動(dòng)地進(jìn)行這一點(diǎn)(圖7)?；旧?，可以用符號(hào)、圖像、3D物體等來表示興趣點(diǎn)(POI)。對(duì)于表示，可以使用利用3D物體的3D渲染技術(shù)(諸如已知方法OpenGL或DirectX)、用自主地計(jì)算其投影的2D渲染技術(shù)重疊所謂的布告板(總是面向觀察者的2D物體)或所謂的2D的渲染。表示的種類可以基于POI的類別(例如，用于表示網(wǎng)站的球體)，或可以由用戶確定(例如，布置具有附加信息的恐龍)。具體地說，可以以形成鮮明對(duì)比的顏色來示出Ρ0Ι。如圖10和圖11中所示，POI可以具有詳細(xì)到不同程度的附加信息項(xiàng)(在下面通過POIl來例示)。最低的詳細(xì)水平僅是Ρ0Ι。在下一個(gè)水平或等級(jí)，可以顯示(圖10，左) 標(biāo)簽(參照標(biāo)簽Li)，該標(biāo)簽指示例如相關(guān)聯(lián)的POI物體的描述文本。下一等級(jí)是所謂的預(yù)覽(預(yù)覽參照Vl或圖11中的圖像Pl)(例如，圖像或網(wǎng)站渲染或信息文本)。在隨后的等級(jí)可以更接近地可視化一些POI物體(參照信息II)。這也可以觸發(fā)操作系統(tǒng)的本身程序的啟動(dòng)，諸如互聯(lián)網(wǎng)瀏覽器或媒體播放器的啟動(dòng)。根據(jù)配置或自動(dòng)可利用的標(biāo)準(zhǔn)，諸如顯示器的分辨率，可以將POI與其附加信息同時(shí)或僅在激活時(shí)顯示。有益地，也可以確定哪個(gè) POI物體最近，并且在特定距離時(shí)僅最前的POI物體首先指示標(biāo)簽，并且當(dāng)接近時(shí)自動(dòng)地指示預(yù)覽。作為替代，也可以通過所謂的眼睛跟蹤來控制顯示。使用附加信息來顯示由用戶觀看的Ρ0Ι。該附加信息可以有利地以不可移動(dòng)的方式錨定在視圖中，并且可以通過動(dòng)態(tài)連接的方式連接到可移動(dòng)的POI表示。這提供了增強(qiáng)的信息的易讀性。也可以獨(dú)立于根據(jù)權(quán)禾Ij要求1所述的方法來應(yīng)用用于經(jīng)由在AR中的POI激活附加信息的眼睛跟蹤的使用。為了改善POI物體與真實(shí)位置的關(guān)聯(lián)，可以組合根據(jù)本發(fā)明的各種方法步驟，如圖17中所示?；旧弦部梢元?dú)立于迄今所述的將真實(shí)環(huán)境的視圖劃分為多個(gè)區(qū)域(諸如近處、遠(yuǎn)處和位置區(qū)域)并且如上所述的根據(jù)相應(yīng)的區(qū)域來不同地表示混和的虛擬信息的想法而實(shí)現(xiàn)下面的方法步驟。通常實(shí)現(xiàn)(當(dāng)進(jìn)行向區(qū)域的劃分時(shí)，特別是在近處區(qū)域3中)使用正確的視角的 POI物體的3D渲染。此外，標(biāo)準(zhǔn)POI物體具有固定大小，以允許連續(xù)地估計(jì)到其的距離。為了提高真實(shí)程度并且因此改善關(guān)聯(lián)，有利地可以在線查詢或檢索天氣數(shù)據(jù)。在這一點(diǎn)上可以設(shè)想處理的各種復(fù)雜度。基于天氣情況(例如，根據(jù)Google天氣服務(wù)“大部多云”、“偶爾有暴雨”、“偶爾有雨”等)，可以分配與天氣情況匹配的固定光照模型或材料(例如，紋理)。然而，在最高復(fù)雜水平，也可以利用當(dāng)前的云或雨衛(wèi)星或雷達(dá)圖像來動(dòng)態(tài)地準(zhǔn)備云量的近似模型，并且根據(jù)其計(jì)算陰影投影和可選地詳細(xì)的光照條件(也參照?qǐng)D9)。如已經(jīng)描述的，可以通過使位置-特定形式的數(shù)據(jù)對(duì)客戶機(jī)可用的服務(wù)器來執(zhí)行這一點(diǎn)。關(guān)于距離的感知，確定在霧、雨或薄霧情況下的可視范圍也是有用的?？梢宰詣?dòng)地(參照"From video image e. g. (Automatic Fog Detection and Estimation of Visibility Distance through use of an Onboard Camera) “，Journal Machine Vision and Applications， Publisher Springer Berlin/Heidelberg ISSN 0932-8092 (Print) 1432-1769 (Online)， Volume 17，Number 1/April 2006，pages 8-20)或也可以通過當(dāng)前天氣數(shù)據(jù)來實(shí)現(xiàn)這一點(diǎn)O除了另外的已知方法之外，最容易的技術(shù)實(shí)現(xiàn)方式在于調(diào)整在OpenGL中的霧設(shè)置。尤其對(duì)于使用可視距離來用于距離的符合真實(shí)的表示，也可以通過霧來不同地表示虛擬物體的一部分，而清楚地示出另一個(gè)部分。這是為了防止例如當(dāng)在汽車中使用該技術(shù)時(shí)，POI信息的重要項(xiàng)因?yàn)殪F而完全消失。在技術(shù)上，可以例如通過第二渲染周期來實(shí)現(xiàn)這一點(diǎn)，該第二渲染周期僅考慮了特定材料，但是不顯示霧。如在圖17的步驟7. 2中所述，可以基于位置、日期和時(shí)間分別計(jì)算太陽和月亮的位置，并且所計(jì)算的太陽和月亮的位置可以用于調(diào)整光源。這特別對(duì)于幫助用戶更好地確定POI的位置的陰影(參照在圖4、圖10 和圖11中的用于POIl至P0I4的陰影S1-S4)有影響。陰影可以是預(yù)先計(jì)算的紋理(有利地具有透明度值)，該預(yù)先計(jì)算的紋理根據(jù)太陽或月亮的位置而位于在地平面上的POI之下，其中，在太陽或月亮與POI之間的直線與地平面相交(如果不是如此，則是例外)。在太陽和月亮同時(shí)可視的情況下，將使用太陽來進(jìn)行計(jì)算。然而，如現(xiàn)有技術(shù)中已知的，也可以動(dòng)態(tài)地計(jì)算陰影。有利地，這可以包括POI的相互描陰(shading)。當(dāng)環(huán)境的3D模型存在時(shí)(也參照在圖17中的步驟7. 4，例如，以遮蔽真實(shí)物體的模型的形式；所謂的“遮蔽(occlusion)幾何”)，這可以另外用于陰影情況的真實(shí)計(jì)算，例如在于它向POI上投影陰影(也參照?qǐng)D9)。在步驟7. 3中，可以通過經(jīng)由POI 的環(huán)境的圖像來增強(qiáng)材料以額外提高混和的真實(shí)程度。所謂的環(huán)境地圖的使用是專家已知的。新穎的是，以位置-特定的方式從例如Google Mreetview動(dòng)態(tài)地提取并且考慮這些。在步驟7. 4中，采用了用于增強(qiáng)觀察者的深度感知的另一個(gè)步驟。通過加載遮蔽模型(所謂的“遮蔽幾何”)，也可以確定POI對(duì)于觀察者是可見的還是消失在另一個(gè)建筑物之后，例如，POI在對(duì)其遮蔽的情況下可以直接地移動(dòng)到遠(yuǎn)處區(qū)域4或可以被特別地標(biāo)記。例如，可以半透明的、以虛線或不同的顏色示出被遮蔽的部分。有利地，不計(jì)算和顯示陰影?？梢酝ㄟ^SLAM算法、立體相機(jī)或飛行時(shí)間相機(jī)來動(dòng)態(tài)地存儲(chǔ)或產(chǎn)生深度模型。在該情況下，每一個(gè)圖像像素的深度信息是足夠的。在步驟7. 5中，產(chǎn)生用于在近處區(qū)域中的正確的疊加或覆蓋的相機(jī)參數(shù)(這不必連續(xù)地出現(xiàn))。這些參數(shù)可以例如通過SLAM機(jī)制被動(dòng)態(tài)地產(chǎn)生，或根據(jù)設(shè)備名稱從服務(wù)器被檢索，或可以存儲(chǔ)在程序中。在透明的HMD或HUD的情況下，使用眼睛位置關(guān)于顯示器的透明校準(zhǔn)或動(dòng)態(tài)測量的結(jié)果。在步驟7. 6中，可以有利地處理相機(jī)圖像，使得僅以鮮明對(duì)比的方式來示出最重要的圖像成分。這僅在視頻透明模式中有意義，并且應(yīng)當(dāng)特別在很亮的周圍光的情況下幫助用戶?？梢岳缤ㄟ^用于邊緣提取的Sobel算子來進(jìn)行視頻圖像的處理。在亮的外部光的情況下，例如，當(dāng)設(shè)備包含亮度傳感器時(shí)，可以有利地打開和關(guān)閉這個(gè)模式。在步驟7. 7 中，此外，如果這已經(jīng)對(duì)于在圖12的步驟3至6中的計(jì)算不必要，則使得渲染系統(tǒng)可獲得位姿的參數(shù)。取決于系統(tǒng)的硬件屬性，可以在步驟7. 8中顯示和計(jì)算每種事物。如果系統(tǒng)的硬件弱，則也可以在服務(wù)器的部分上進(jìn)行正確的材料表面的計(jì)算(步驟7. 8B)，或者，可以在服務(wù)器的部分上計(jì)算整個(gè)圖像。在強(qiáng)系統(tǒng)的情況下，現(xiàn)代GPU(圖形處理器單元)可以接管大的工作份額(步驟7.8A)。在這一點(diǎn)上，存在專家已知的多種可能。POI的聚集在(圖1 過程中的某個(gè)時(shí)間，有利地在步驟4. 0之前或步驟5. 0之后，還可以組合Ρ0Ι，如圖16中左下側(cè)所示。簇的點(diǎn)組成了新的、不同形狀的Ρ0Ι。這可以在近處區(qū)域3、 位置區(qū)域5和遠(yuǎn)處區(qū)域4中單獨(dú)地進(jìn)行，或者可以在細(xì)分之前已經(jīng)進(jìn)行了。有利地，僅可以對(duì)一個(gè)類別(例如，僅網(wǎng)站)的POI實(shí)施這一點(diǎn)。有利地，可以在該處理中排除最前面區(qū)域中的POI。與POI的交互圖18示出根據(jù)本發(fā)明的方法的方面的與POI的交互可能性。如在增強(qiáng)現(xiàn)實(shí)中常見地，用戶可以已經(jīng)通過改變他的位置或觀看方向來改變虛擬信息和現(xiàn)實(shí)的項(xiàng)的分段。這也可以觸發(fā)自動(dòng)交互，如在“物體的表示”中已經(jīng)描述的。如果設(shè)備配備了觸摸屏或一種鼠標(biāo)控制(例如，跟蹤球)，則在原理上可以直接地處理Ρ0Ι。如果已經(jīng)組合了若干POI來形成較大的POI物體，則現(xiàn)在可選擇地布置單獨(dú)的Ρ0Ι，并且顯示標(biāo)簽(步驟9. 8)。否則，如果還沒有顯示標(biāo)簽，則顯示它(步驟9. 9)。通過POI的重新的激活(步驟9. 1或按鍵按下)， 如果還沒有顯示信息文本或預(yù)覽，則顯示它(步驟9. 11)。通過重新激活，觸發(fā)對(duì)于存儲(chǔ)有對(duì)應(yīng)的信息項(xiàng)的POI的詳細(xì)顯示，步驟9. 13 (例如，播放電影、音樂或示出網(wǎng)站)。通過觸摸關(guān)閉按鈕或有利地通過擺動(dòng)設(shè)備和經(jīng)由移動(dòng)傳感器的登記，可以關(guān)閉當(dāng)前顯示器。替代地， 可能在后臺(tái)的操作中保留它。用戶也可以可選地提供以下效果的設(shè)置在后臺(tái)中執(zhí)行和運(yùn)行所存儲(chǔ)的下一個(gè)音頻或視頻文件。取代通過觸摸的直接選擇，也可以通過圖7中所示的十字標(biāo)7 (可選的)的方式來實(shí)現(xiàn)交互，如在圖18中的步驟9. 5至9. 7中所描述的。當(dāng)用戶將相機(jī)中的十字準(zhǔn)線7(或類似的目標(biāo)物體)引導(dǎo)到POI時(shí)，將會(huì)在那里激活下一詳細(xì)水平(在僅POI可視的情況下為標(biāo)簽，在標(biāo)簽可視的情況下為預(yù)覽)。有利地，系統(tǒng)也可以激活用戶界面上最接近十字準(zhǔn)線的Ρ0Ι。通過延長地瞄準(zhǔn)POI或按下按鈕，可以激活下一詳細(xì)水平。為了到達(dá)遠(yuǎn)處區(qū)域 4，用戶將相機(jī)向上引導(dǎo)，直到在近處區(qū)域3中的最高點(diǎn)POI已經(jīng)超過閾值(例如，10度)。 用戶然后可以通過右轉(zhuǎn)和左轉(zhuǎn)來在POI之間導(dǎo)航。以類似的方式，通過向下引導(dǎo)相機(jī)，用戶可以達(dá)到位置區(qū)域5。通過右轉(zhuǎn)和左轉(zhuǎn)，用戶在此也可以在否則固定的POI之間導(dǎo)航。在位置區(qū)域5中的特殊特征在于除了 POI詳細(xì)信息之外，POI如果被指示或適用于自動(dòng)地被產(chǎn)生則指示位置的圖像以便利找到它(參照在圖6中的P0I23的預(yù)覽V23和圖像P23)。該圖像可以手動(dòng)地被引入或可以通過包含位姿信息的圖像數(shù)據(jù)庫而被自動(dòng)地產(chǎn)生。可選地，也可以通過語音控制來進(jìn)行POI的選擇。為此，用戶通過特定語句來激活控制(例如，“激活語音控制”)。然后使用編號(hào)來標(biāo)記每一個(gè)POI。通過讀出該編號(hào)，然后可以激活對(duì)應(yīng)的POI。對(duì)于系統(tǒng)有利地，通過進(jìn)一步向下引導(dǎo)它來啟動(dòng)地圖模式。當(dāng)切換POI或觸發(fā)交互時(shí)，有利地立即觸發(fā)聲音信號(hào)。此外，也可以發(fā)出觸覺信號(hào)(例如，輕微振動(dòng))。在與POI的特定交互的情況下(例如，在短時(shí)間內(nèi)的三次點(diǎn)擊)，有利地，可以打開將地圖的中心定位在POI的位置的地圖模式。作為替代，可以通過特定交互來啟動(dòng)向這個(gè) POI的導(dǎo)航。除此之外，本發(fā)明還包含可以結(jié)合迄今已經(jīng)描述的內(nèi)容應(yīng)用的以下的方面和實(shí)施例?？梢砸跃鶆虻拇笮≡谶h(yuǎn)處區(qū)域4中在真實(shí)環(huán)境的視圖中混和虛擬信息(例如， Ρ0Ι)。相對(duì)于在真實(shí)環(huán)境的視圖中的混和的類型，與在近處區(qū)域中其混和類型不同地表示在位置區(qū)域5中的虛擬信息。具體地說，可以以不可移動(dòng)的方式，特別是也以均勻的大小并且/或者與顯示設(shè)備的方向無關(guān)地，在位置區(qū)域5中的真實(shí)環(huán)境的視圖中覆蓋虛擬信息。也可以在一個(gè)虛擬物體中組合不同的虛擬信息的若干項(xiàng)，并且在視圖中顯示該虛擬物體，而不是若干虛擬信息的項(xiàng)?？梢詮囊黄鹦纬纱氐囊唤M虛擬信息項(xiàng)中選擇該若干虛擬信息的項(xiàng)，虛擬物體具有與虛擬信息的項(xiàng)相比不同的形狀。而且，當(dāng)相對(duì)于地球表面大體水平地保持顯示設(shè)備或以超過在近處區(qū)域中的最低 POI之下的特定角度保持顯示設(shè)備或如果以下功能已經(jīng)被用于達(dá)到位置區(qū)域則進(jìn)一步向下保持該設(shè)備時(shí)，可以在顯示設(shè)備中混和地理地圖和/或鳥瞰視圖。當(dāng)用戶從區(qū)域中的一個(gè)(例如近處區(qū)域)向另一個(gè)區(qū)域(例如遠(yuǎn)程區(qū)域)和/或反之亦然傳送虛擬信息時(shí)，可以改變?cè)趨^(qū)域之間的各個(gè)邊界，特別是其半徑。也可以根據(jù)在視圖的特定扇區(qū)內(nèi)的虛擬信息的項(xiàng)的數(shù)量來計(jì)算邊界，特別是其半徑。還可以根據(jù)在特定扇區(qū)內(nèi)的若干虛擬信息的項(xiàng)的二維密度來計(jì)算邊界，特別是其半徑。 此外，還可以根據(jù)一起構(gòu)成簇的若干虛擬信息的項(xiàng)來計(jì)算邊界，特別是其半徑。在近處區(qū)域中，可以在顯示設(shè)備中、在信息之下、在顯示設(shè)備中所示的地平面附近指示陰影，所述陰影對(duì)應(yīng)于虛擬信息的位置。所使用的顯示設(shè)備可以是通過用于增強(qiáng)對(duì)比度的邊緣圖像來增強(qiáng)或替換真實(shí)環(huán)境的視圖的視頻顯示設(shè)備。在用于選擇虛擬信息或用于在若干虛擬信息項(xiàng)之間切換的用戶動(dòng)作中，用戶可以在用于進(jìn)行選擇的輸入設(shè)備處被提供聲音和/或觸覺反饋。通過分別確定關(guān)于真實(shí)環(huán)境的系統(tǒng)設(shè)備20和30的至少一部分的位置和方向，可以計(jì)算或加載關(guān)于在視圖中包含的至少一個(gè)真實(shí)物體的深度信息，并且，深度信息可以用來在視圖中的虛擬信息被要被遮蔽的真實(shí)物體遮蔽的情況中在顯示設(shè)備中混和用于遮蔽該真實(shí)物體的遮蔽模型。這樣的深度信息也可以用于計(jì)算在區(qū)域(近處區(qū)域和遠(yuǎn)處區(qū)域) 之間的邊界。除此之外，在顯示設(shè)備中的若干混和的虛擬信息項(xiàng)可以具有向其分配的各自的編號(hào)，并且可以通過編號(hào)的語音識(shí)別或在鍵盤或觸敏輸入板上的編號(hào)的選擇來選擇對(duì)應(yīng)的虛擬信息。此外，可以將若干虛擬信息項(xiàng)與若干分類中的一個(gè)相關(guān)聯(lián)，并且可以根據(jù)該分類來混和和/或掩蔽虛擬信息項(xiàng)。還可以在顯示設(shè)備中示出邊緣6，其指示近處區(qū)域3的范圍或覆蓋范圍，通過用戶動(dòng)作，特別是通過拖動(dòng)邊界能夠改變近處區(qū)域的邊界。例如，可以以至少三個(gè)等級(jí)來表示虛擬信息。第一等級(jí)包括僅作為對(duì)于虛擬信息 (參照在圖10、11中的POI1)的局部暗示的主體(例如，2D主體或3D主體)，第二等級(jí)包括具有標(biāo)題的標(biāo)簽(參照在圖11中的標(biāo)簽Li)形式的對(duì)于虛擬信息的暗示，并且，第三等級(jí)包括特別是當(dāng)通過用戶動(dòng)作選擇點(diǎn)狀表示或標(biāo)簽時(shí)混和的虛擬信息(POI)的類似摘要的預(yù)覽(參照在圖10、11中的預(yù)覽Vl和圖像P1)。第四等級(jí)則以全長度示出信息(參照來自圖10的信息II)。發(fā)展可以提供在遠(yuǎn)處區(qū)域4的第一部分中，僅以第一等級(jí)表示虛擬信息，在真實(shí)物體被布置得比在遠(yuǎn)處區(qū)域的第一部分和在近處區(qū)域3的第一部分中更接近顯示設(shè)備的遠(yuǎn)處區(qū)域4的第二部分，以第二等級(jí)表示虛擬信息，并且在真實(shí)物體被布置得比在近處區(qū)域的第一部分中更接近顯示設(shè)備的近處區(qū)域3的第二部分中，以第三等級(jí)表示虛擬信息。此外，可以提供根據(jù)混和的虛擬信息的大小、顯示設(shè)備的分辨率和/或用于產(chǎn)生視圖的相機(jī)的分辨率來計(jì)算在近處區(qū)域和遠(yuǎn)處區(qū)域之間的邊界，特別是邊界的半徑。此外，可以隨著提高的位置檢測的測量不確定度來提高位置區(qū)域的界線。此外，特別地可以是半徑并且確定要完全顯示哪些物體的邊界可以取決于用戶的當(dāng)前速度或平均速度或用戶在特定時(shí)間段內(nèi)通過公共交通、汽車或自行車等可以覆蓋的距離。 此外，與其他公開無關(guān)，系統(tǒng)可以在現(xiàn)實(shí)上疊加虛擬信息，并且在真實(shí)環(huán)境的視圖中的混和虛擬信息中，可以考慮例如經(jīng)由互聯(lián)網(wǎng)(“在線”)查詢的天氣數(shù)據(jù)，以便提高相對(duì)于所述真實(shí)環(huán)境的混和虛擬信息的真實(shí)程度，由此改善與其的關(guān)聯(lián)。還可以結(jié)合獨(dú)立于所描述的其他方面的該方面來應(yīng)用結(jié)合天氣數(shù)據(jù)等的在上文中描述的特征和實(shí)施例。
權(quán)利要求
1.一種用于在真實(shí)環(huán)境中表示虛擬信息的方法，包括下面的步驟-提供真實(shí)環(huán)境00)和系統(tǒng)設(shè)備O0，30)的至少一個(gè)視圖(1)，用于混和虛擬信息 (POI)以在所述視圖的至少一部分中與所述真實(shí)環(huán)境疊加，所述系統(tǒng)設(shè)備包括至少一個(gè)顯示設(shè)備01，31)，-確定所述系統(tǒng)設(shè)備(20，30)的至少一個(gè)部分相對(duì)于所述真實(shí)環(huán)境GO)的至少一個(gè)部件的位置和方向，-將所述真實(shí)環(huán)境的所述視圖(1)的至少一部分細(xì)分為多個(gè)區(qū)域，所述多個(gè)區(qū)域包括第一區(qū)域C3)和第二區(qū)域G)，在所述第一區(qū)域(3)內(nèi)的所述真實(shí)環(huán)境GO)的物體被布置得比在所述第二區(qū)域內(nèi)的所述真實(shí)環(huán)境GO)的物體更接近所述系統(tǒng)設(shè)備00，30)，-考慮所述系統(tǒng)設(shè)備O0，30)的所述至少一個(gè)部分的位置和方向，在所述真實(shí)環(huán)境的視圖(1)的至少一部分中在所述顯示設(shè)備01，31)上混和虛擬信息(POI)的至少一項(xiàng)，-其中，關(guān)于在所述真實(shí)環(huán)境的所述視圖(1)中的混和的類型，在所述第一區(qū)域(3)中與在所述第二區(qū)域中不同地示出所述虛擬信息(POI)。
2.根據(jù)權(quán)利要求1所述的方法，其中，以與所述顯示設(shè)備01，31)相對(duì)于所述真實(shí)環(huán)境的所述位置和方向?qū)?yīng)的正確的視角，特別是以根據(jù)在所述視圖中的所述虛擬信息的所述視角定位的各種大小，在所述第一區(qū)域(3)中的所述真實(shí)環(huán)境的所述視圖中混和所述虛擬信息(POI)的至少一項(xiàng)。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，以均勻的大小在所述第二區(qū)域中在所述真實(shí)環(huán)境的所述視圖中混和所述至少一個(gè)虛擬信息(POI)。
4.根據(jù)權(quán)利要求1至3的任何一項(xiàng)所述的方法，其中，除了所述第一區(qū)域C3)和所述第二區(qū)域(4)之外，所述真實(shí)環(huán)境的所述視圖的所述至少一部分被細(xì)分為的所述多個(gè)區(qū)域還包括第三區(qū)域(5)，其中，在所述第三區(qū)域(5) 中，所述真實(shí)環(huán)境的物體被布置得比在所述第一區(qū)域(3)內(nèi)的所述真實(shí)環(huán)境的物體更接近所述系統(tǒng)設(shè)備00，30)，并且其中，關(guān)于在所述真實(shí)環(huán)境的所述視圖(1)中混和的類型，在所述第三區(qū)域(5)中與在所述第一區(qū)域(3)中不同地示出所述虛擬信息(POI)的至少一項(xiàng)。
5.根據(jù)權(quán)利要求4所述的方法，其中，以不可移動(dòng)的方式，特別是也以均勻的大小和/或獨(dú)立于所述顯示設(shè)備01，31) 的所述方向，在所述位置區(qū)域(5)中的所述真實(shí)環(huán)境的所述視圖(1)中混和所述虛擬信息 (POI)的至少一項(xiàng)。
6.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，組合不同的虛擬信息(POI)的若干項(xiàng)以形成虛擬物體(P01_c)，并且，取代所述虛擬信息的若干項(xiàng)，在所述視圖(1)中顯示所述虛擬物體。
7.根據(jù)權(quán)利要求6所述的方法，其中，從一起構(gòu)成簇(Cl)的虛擬信息的項(xiàng)的組中選擇所述虛擬信息(POI)的若干項(xiàng)， 所述虛擬物體(P01_c)具有與所述虛擬信息(POI)的項(xiàng)相比不同的形狀。
8.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，當(dāng)所述顯示設(shè)備在所述區(qū)域(3，5)中的一個(gè)或在所述區(qū)域中的一個(gè)之下示出的虛擬信息(POI)之下傾斜超過特定角度時(shí)，在所述顯示設(shè)備01，31)上混和地理地圖和/ 或鳥瞰視圖。
9.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，通過用戶選擇所述虛擬信息和通過傳送動(dòng)作來傳送它可將所述虛擬信息(POI) 的至少一項(xiàng)從所述區(qū)域(3，4，5)中的一個(gè)傳送到所述區(qū)域(3，4，5)中的另一個(gè)，其中所述傳送動(dòng)作特別是拖動(dòng)所述虛擬信息。
10.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，所述第一區(qū)域C3)通過邊界(半徑1)與所述第二區(qū)域(4)分離，所述邊界(半徑1)特別地包括在所述顯示設(shè)備01，31)的觀察角的方向上的半徑，所述邊界，特別是其半徑被動(dòng)態(tài)地計(jì)算。
11.根據(jù)權(quán)利要求10所述的方法，其中，當(dāng)所述用戶從所述區(qū)域(3，4，5)中的一個(gè)向所述區(qū)域(3，4，5)的中另一個(gè)傳送虛擬信息(POI)時(shí)，改變所述邊界(半徑1)，特別是其半徑。
12.根據(jù)權(quán)利要求10或11所述的方法，其中，根據(jù)在所述視圖的特定扇區(qū)內(nèi)的虛擬信息(POI)的項(xiàng)的數(shù)量來計(jì)算所述邊界 (半徑1)，特別是其半徑。
13.根據(jù)權(quán)利要求10至12的任何一項(xiàng)所述的方法，其中，根據(jù)在所述視圖的特定扇區(qū)內(nèi)的虛擬信息(POI)的若干項(xiàng)的二維密度來計(jì)算所述邊界(半徑1)，特別是其半徑。
14.根據(jù)權(quán)利要求10至13的任何一項(xiàng)所述的方法，其中，根據(jù)一起構(gòu)成簇(Cl)的虛擬信息(POI)的若干項(xiàng)來計(jì)算所述邊界(半徑1)，特別是其半徑。
15.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，在所述顯示設(shè)備01，31)的所述第一區(qū)域(2)中，在所述虛擬信息(POI)的至少一項(xiàng)之下，接近在所述顯示設(shè)備中顯示的地平線示出陰影(S1-S4)，所述陰影對(duì)應(yīng)于所述虛擬信息的位置。
16.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，使用的所述顯示設(shè)備01，31)是視頻顯示設(shè)備，其中，在所述視頻顯示設(shè)備中， 通過用于增強(qiáng)的對(duì)比度的邊緣圖像來增強(qiáng)或替代所述真實(shí)環(huán)境的所述視圖(1)。
17.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，在用于選擇虛擬信息(POI)或用于在虛擬信息(POI)的若干項(xiàng)之間切換的用戶動(dòng)作中，所述用戶在用于選擇的輸入設(shè)備中被提供聲音和/或觸覺反饋。
18.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，通過確定所述系統(tǒng)設(shè)備00，30)的所述至少一個(gè)部分相對(duì)于所述真實(shí)環(huán)境GO) 的所述至少一個(gè)部件的所述位置和方向，計(jì)算或加載關(guān)于在所述視圖中包含的至少一個(gè)真實(shí)物體的深度信息，所述深度信息用于當(dāng)虛擬信息在所述視圖中被要被遮蔽的真實(shí)物體遮蔽時(shí)在所述顯示設(shè)備01，31)中混和用于遮蔽所述真實(shí)物體的遮蔽模型。
19.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，通過確定所述系統(tǒng)設(shè)備00，30)的所述至少一個(gè)部分相對(duì)于所述真實(shí)環(huán)境GO)的所述至少一個(gè)部件的所述位置和方向，計(jì)算或加載關(guān)于在所述視圖中包含的至少一個(gè)真實(shí)物體的深度信息，所述深度信息用于計(jì)算在第一區(qū)域(3)和第二區(qū)域(4)之間的邊界 (半徑1)。
20.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，在虛擬信息(POI)中混和的若干項(xiàng)具有向其分配的各自的編號(hào)，并且，能夠通過所述編號(hào)的語音識(shí)別或在鍵盤或觸敏輸入板上的所述數(shù)字的選擇來選擇對(duì)應(yīng)的虛擬信息。
21.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，所述顯示設(shè)備01，31)顯示用于指示所述第一區(qū)域(3)的覆蓋范圍的邊緣(6)， 所述第一區(qū)域的邊界適用于被用戶動(dòng)作改變，所述用戶動(dòng)作特別是拖動(dòng)所述邊界。
22.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，所述虛擬信息(POI)的至少一項(xiàng)適用于以至少三個(gè)等級(jí)被顯示，第一等級(jí)包括僅作為對(duì)于所述虛擬信息的局部提示的主體(POIl)，第二等級(jí)包括具有標(biāo)題的標(biāo)簽(Li) 形式的對(duì)于所述虛擬信息的提示，并且第三等級(jí)包括特別是當(dāng)通過用戶動(dòng)作選擇點(diǎn)狀表示 (POIl)或所述標(biāo)簽(Li)時(shí)混和的所述虛擬信息的類似摘要的預(yù)覽(VI)。
23.根據(jù)權(quán)利要求22所述的方法，其中，在所述第二區(qū)域的第一部分中，僅以所述第一等級(jí)顯示虛擬信息(POI)，在具有被布置得比在所述第二區(qū)域的所述第一部分中和在所述第一區(qū)域(3)的第一部分中更接近所述顯示設(shè)備01，31)的真實(shí)物體的所述第二區(qū)域的第二部分中，以所述第二等級(jí)顯示虛擬信息(POI)，并且，在具有被布置得比在所述第一區(qū)域的所述第一部分中更接近所述顯示設(shè)備01，31)的真實(shí)物體的所述第一區(qū)域(3)的第二部分中，以所述第三等級(jí)中顯示所述虛擬信息(POI)。
24.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，當(dāng)在所述第二區(qū)域和第三區(qū)域中分別沒有顯示的虛擬信息(POI)時(shí)，從所述視圖屏蔽所述第二區(qū)域(4)或第三區(qū)域(5)。
25.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，根據(jù)所混和的所述虛擬信息(POI)的大小、所述顯示設(shè)備01，31)的分辨率和/ 或用于產(chǎn)生所述視圖(1)的相機(jī)(22,3 的分辨率來計(jì)算在第一區(qū)域和第二區(qū)域之間的邊界(半徑1)，特別是邊界的半徑。
26.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，在所述真實(shí)環(huán)境的所述視圖中混和所述虛擬信息(POI)的至少一項(xiàng)中，考慮關(guān)于所述真實(shí)環(huán)境的動(dòng)態(tài)天氣信息。
27.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，所述虛擬信息的至少一項(xiàng)表示關(guān)于所述真實(shí)環(huán)境的興趣點(diǎn)(POI)。
28.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，所述第三區(qū)域(5)的邊界隨著增加的位置檢測的測量不確定度而提高。
29.根據(jù)前述權(quán)利要求的任何一項(xiàng)所述的方法，其中，特別是具有半徑并且確定要完全顯示哪些虛擬信息(POI)的邊界取決于所述用戶的當(dāng)前速度或平均速度或所述用戶在特定的時(shí)間段內(nèi)通過使用公共交通、汽車或自行車等能夠覆蓋的距離。
30. 一種用于在現(xiàn)實(shí)上覆蓋虛擬信息的方法，其中，在真實(shí)環(huán)境的視圖中混和的虛擬信息中，考慮特別是經(jīng)由互聯(lián)網(wǎng)(“在線”)查詢的天氣數(shù)據(jù)，以便提高混和的虛擬信息相對(duì)于所述真實(shí)環(huán)境的真實(shí)程度，從而增強(qiáng)與其的關(guān)聯(lián)。
全文摘要
本發(fā)明涉及一種用于在真實(shí)環(huán)境中人機(jī)工程地表示虛擬信息的方法，包括下面的步驟提供真實(shí)環(huán)境和系統(tǒng)設(shè)備的至少一個(gè)視圖，用于混和虛擬信息以在所述視圖的至少一部分中與真實(shí)環(huán)境疊加，所述系統(tǒng)設(shè)備包括至少一個(gè)顯示設(shè)備；確定所述系統(tǒng)設(shè)備的至少一個(gè)部分相對(duì)于所述真實(shí)環(huán)境的至少一個(gè)部件的位置和方向；將所述真實(shí)環(huán)境的所述視圖的至少一部分細(xì)分為多個(gè)區(qū)域，所述多個(gè)區(qū)域包括第一區(qū)域和第二區(qū)域，在所述第一區(qū)域內(nèi)的所述真實(shí)環(huán)境的物體被布置得比在所述第二區(qū)域內(nèi)的所述真實(shí)環(huán)境的物體更接近所述系統(tǒng)設(shè)備；并且考慮所述系統(tǒng)設(shè)備的所述至少一個(gè)部分的所述位置和方向，在所述真實(shí)環(huán)境的視圖的至少一部分中在所述顯示設(shè)備上混和虛擬信息的至少一項(xiàng)，其中，關(guān)于在所述真實(shí)環(huán)境的所述視圖中的混和的類型，在所述第一區(qū)域中與在所述第二區(qū)域中不同地示出所述虛擬信息。
文檔編號(hào)G06F3/01GK102473324SQ201080036494
公開日2012年5月23日 申請(qǐng)日期2010年8月13日 優(yōu)先權(quán)日2009年8月18日
發(fā)明者F·安格曼, P·邁爾 申請(qǐng)人:Metaio有限公司