專利名稱：通過使用標記來提供增強現(xiàn)實(ar)的裝置和方法
技術(shù)領(lǐng)域：
以下描述涉及用于基于標志和基于非標志的增強現(xiàn)實(AR)的裝置和方法。
背景技術(shù)：
增強現(xiàn)實(AR)是一種將虛擬對象或虛擬信息與真實環(huán)境相合成以便該虛擬對象或虛擬信息可以看起來如同真實環(huán)境中的真實對象或真實信息的計算機圖形技術(shù)。AR可以基于真實世界來合成虛擬對象，以提供不能從真實世界輕易獲得的額外信息。這不同于以虛擬空間和虛擬對象為目標的虛擬現(xiàn)實(VR)。因此，不同于已經(jīng)應用于諸如游戲領(lǐng)域的現(xiàn)有VR，AR可以應用到各種真實環(huán)境中。為了實現(xiàn)AR，基于標志(或基于標記)的對象識別或基于非標志的對象識別已經(jīng)被廣泛使用?；跇酥镜膶ο笞R別可以為用于通過標志的標識來確定額外信息是否可以被應用于顯示方案的技術(shù)。基于標記的識別AR可以用在廣告中。在廣告中，使用AR可以通過引起消費者的興趣來產(chǎn)生興趣和好奇心。通常通過在A4紙上或產(chǎn)品包裝上打印從互聯(lián)網(wǎng)下載的圖像來提供本身為媒介的標記。然而，由于向消費者提供標記的在前版本旨在提供打印的或下載的圖像，所以AR 實現(xiàn)尚未被使用。

發(fā)明內(nèi)容
本發(fā)明的示例性實施方式提供了用于使用標記來提供增強現(xiàn)實(AR)的裝置和方法，其中所述標記為即時(instant)或替代(substitution)標記。本發(fā)明的示例性實施方式提供一種增強現(xiàn)實(AR)裝置，該裝置包括第一圖像獲取單元，用來獲取與AR相關(guān)的基本標記(base marker)的圖像；第二圖像獲取單元，用來獲取對象的圖像；意義單元(meaning unit)分析器，用來分析基本標記的圖像的意義單元； 標記因素提取器，用來從對象的圖像中提取因素；以及替代標記創(chuàng)建器，用來將意義單元與因素相映射，以創(chuàng)建包括對象的圖像和所映射的因素的替代標記。本發(fā)明的示例性實施方式提供一種用于提供增強現(xiàn)實(AR)的方法，該方法包括獲取與AR相關(guān)的基本標記的圖像；獲取對象的圖像；分析基本標記的意義單元；從對象的圖像中提取因素；將意義單元與所述因素相映射；以及生成包括對象的圖像和所映射的因素的替代標記。本發(fā)明的示例性實施方式提供一種用于提供增強現(xiàn)實(AR)的方法，該方法包括 獲取與AR相關(guān)的三維對象的圖像；分析二維標記的意義單元；提取三維對象的圖像的因素；將意義單元與所述因素相映射；創(chuàng)建包括三維對象的圖像和所映射的因素的替代標記；以及用與二維標記相對應的AR信息來顯示替代標記。應當理解的是，以上概述以及以下的詳細描述是示意性和解釋性的，并且意欲提供對所要求保護的本發(fā)明的進一步解釋。從以下詳細描述、附圖以及權(quán)利要求，其他特征和方面將變得顯而易見。


被包括以提供對本發(fā)明的透徹理解且被并入本說明書并構(gòu)成本說明書的一部分的附圖示出了本發(fā)明的實施方式，且與本說明書一起用于對本發(fā)明的原理進行解釋。圖1為根據(jù)本發(fā)明示例性實施方式的增強現(xiàn)實(AR)提供裝置；圖2A和圖2B示出了根據(jù)本發(fā)明示例性實施方式的基本標記和該基本標記的意義單元；圖3A和圖3B示出了根據(jù)本發(fā)明示例性實施方式的替代標記和替代標記的標記因素；圖4示出了根據(jù)本發(fā)明示例性實施方式的基本標記和對象之間的映射關(guān)系；圖5為示出了根據(jù)本發(fā)明示例性實施方式的用于提供增強現(xiàn)實(AR)的方法的流程圖；圖6為根據(jù)本發(fā)明示例性實施方式的用于闡明提取標記因素的視圖；圖7示出了根據(jù)本發(fā)明示例性實施方式的用戶界面屏幕；圖8為根據(jù)本發(fā)明示例性實施方式的用于解釋將基本標記映射到對象的視圖；圖9為根據(jù)本發(fā)明示例性實施方式的用于解釋將多個基本標記映射到對象的視圖；圖10為根據(jù)本發(fā)明示例性實施方式的用于解釋將基本標記映射到對象的視圖；圖11示出了根據(jù)本發(fā)明示例性實施方式的三維標記；以及圖12示出了根據(jù)本發(fā)明示例性實施方式的三維標記。在整個附圖和詳細描述中，除非另有說明，否則相同的附圖標記將被理解為指示相同的元件、特征和結(jié)構(gòu)。為了清晰、圖示以及方便，這些元件的相對尺寸和描繪可以被放大。
具體實施例方式下面將參照附圖來對本發(fā)明作更全面的描述，其中示出了本發(fā)明的實施方式。但是本發(fā)明可以以多種不同形式來體現(xiàn)，并不應當被理解為局限于這里提出的實施方式。相反地，提供這些實施方式是為了使得本公開足夠全面，并向本領(lǐng)域技術(shù)人員充分表達本發(fā)明的范圍。在附圖中，為了清晰起見，可以放大層和區(qū)域的大小以及相對大小。在附圖中， 類似的參考標記指代類似的元件。在本文中使用的術(shù)語僅僅是為了說明特定實施方式，而并非用于限定本發(fā)明。正如本文中所使用的，除非上下文清楚指出的其它方面，否則單數(shù)形式的“一個”、“一”和“該” 意欲包括復數(shù)形式。將進一步理解的是，在說明書中使用的術(shù)語“包括(comprises)”和/ 或“包括(comprising) ”指定所闡述特征、整數(shù)、步驟、操作、元件和/或部件的存在，但是并不排除一個或多個其它特征、整數(shù)、步驟、操作、元件、部件和/或他們的集合的存在或添
5加。可以理解的是，出于本公開的目的，“每個中的至少一者”將被解釋為意指遵循各自語言的所列舉元素的任意組合，包括多個所列舉元素的組合。例如，“X、Y和Z中的至少一者” 將被解釋為意指僅X、僅Y、僅ζ或Χ、γ和ζ中的兩個或更多項的任意組合(例如，ΧΥΖ、ΧΖ、 YZ,XY)。圖1為根據(jù)本發(fā)明示例性實施方式的增強現(xiàn)實(AR)提供裝置。參照圖1，AR裝置100可以為移動終端(例如，智能手機)的一部分，該移動終端可以拍攝與AR相關(guān)的標記，該標記使得AR被顯示在所拍攝的標記的圖像上或被顯示在可由這樣的移動終端執(zhí)行的AR應用的一部分上。如果識別出了標記，則AR裝置100可以創(chuàng)建替代標記或即時標記，該替代標記或即時標記用作基于任何對象的原始標記的替代品。隨后，AR可以與該替代標記或即時標記一起被應用或顯示。例如，如果在AR應用中用戶使用智能手機拍攝印在紙上的標記并且在預覽屏幕上顯示所拍攝的標記，則然后虛擬化身(virtual avatar)可以在預覽屏幕上顯示該標記處的特定運動。在這種情況下，根據(jù)AR裝置100，用戶可以將原始標記的特性或意義單元映射到任意對象(例如，信用卡或名片)的特性或標記因素上，并且然后將所映射的任意對象用作標記。從而，在預覽屏幕上顯示任意對象，以便虛擬化身在預覽屏幕上所顯示的對象上運動。如圖1所示，AR裝置100包括第一圖像獲取單元101、第二圖像獲取單元102、意義單元分析器103、標記因素提取器104、替代標記創(chuàng)建器105、相關(guān)性(correlation)存儲器106以及顯示器107。第一圖像獲取單元101獲取用于AR的基本標記的圖像。根據(jù)當前的示例，該“基本標記”表示可以在紙上打印的常規(guī)二維標記等。當?shù)谝粓D像獲取單元101拍攝顯示在對象的特定部分上的基本標記時，可以獲取基本標記的圖像?？蛇x地，第一圖像獲取單元101可以從外部服務器下載基本標記的圖像，或者可以從另一終端或裝置接收基本標記的圖像。第二圖像獲取單元102獲取對象的圖像。該對象可以是用作替代標記的任意對象。例如，第二圖像獲取單元102可以包括拍攝任意對象的相機模塊。該圖像可以通過用戶指令來檢索。意義單元分析器103分析由第一圖像獲取單元101獲取的基本標記的意義單元。 根據(jù)一個示例，該“意義單元”可以表示在基本標記和AR應用之間限定的意義因素。例如， 基本標記的意義單元可以確定哪個AR被顯示或起作用，或者確定AR怎樣顯示或起作用。換言之，AR應用可以基于基本標記的意義單元的輸出，確定以特定方式顯示信息。意義單元可以定義整個基本標記圖像或部分基本標記圖像中的AR信息。例如，可以通過AR信息被顯示的位置來限定部分基本標記，或者通過AR信息被顯示的方向來限定部分，或者限定了表示哪個AR信息或如何表示AR信息的操作的部分，等等。然而，這些僅僅是示例性的，并且除了上述提及的部分以外的其他部分也可以被定義為意義單元。標記因素提取器104從第二圖像獲取單元102中提取因素，該因素可以與意義單元分析器103的輸出相對應。例如，該因素可以稱為標記因素。也就是說，該“標記因素”可以與標記的構(gòu)成要素相關(guān)聯(lián)，并且可以為區(qū)別于其他部分的特性圖樣、形狀或顏色，或者可以是區(qū)別于其他部分的特性因素之間的位置關(guān)系或相關(guān)性，等等。根據(jù)一個示例，標記因素提取器104可以基于第二圖像獲取單元102獲取的對象圖像來將對象的形狀提取作為標記因素。作為另一示例，標記因素提取器104可以識別圖像的對象中的字符或圖形 (picture)，并且將所識別的字符或圖形提取作為標記因素。作為另一示例，標記因素提取器104可以提取與圖像的對象有關(guān)的形狀或顏色。 標記因素提取器104可以通過將對象圖像分成多個網(wǎng)格單元、使用網(wǎng)格單元的像素值的平均值來計算每個網(wǎng)格單元的網(wǎng)格值以及將具有相似網(wǎng)格值的網(wǎng)格單元分組來提取形狀因
ο可以使用多種技術(shù)來確定標記因素。因此，除了本文公開的技術(shù)之外，也可以使用其他技術(shù)。替代標記創(chuàng)建器105通過將意義單元分析器103的輸出映射到標記因素提取器 104的輸出來創(chuàng)建替代標記。相應地，在當前示例中，該“替代標記”與基本標記相對應，并且可以意指可以替代基本標記的二維或三維對象。在替代標記創(chuàng)建器105將意義單元分析器103的輸出映射到標記因素提取器104 的輸出之后，相關(guān)性存儲器106存儲映射關(guān)系或相關(guān)性。例如，相關(guān)性存儲器106可以存儲指示哪個意義單元被映射到對象的哪個標記因素的信息。顯示器107使用由替代標記創(chuàng)建器105創(chuàng)建的替代標記和存儲在相關(guān)性存儲器 106中的相關(guān)性來基于要與替代標記的使用一起被顯示或被執(zhí)行的基本標記顯示和執(zhí)行 AR。例如，顯示器107可以使用替代標記來顯示與基本標記相關(guān)的AR。而且，可以根據(jù)用戶選擇的選項，基于由第一圖像獲取單元101獲取的基本標記或者基于替代基本標記的替代標記來實現(xiàn)特定AR。如果通過替代標記來實現(xiàn)AR，則可以通過提供用于通知將被用作替代標記的對象圖像準備好被輸入的通知消息來創(chuàng)建替代標記， 以及將基本標記圖像映射到對象圖像可以發(fā)生。因此，接收到的AR信息不但以基本標記為基礎(chǔ)，還以替代標記或即時標記為基礎(chǔ)。圖2A和圖2B示出了根據(jù)本發(fā)明示例性實施方式的基本標記和該基本標記的意義單元。如圖2A所示，基本標記201是計算機或終端可讀的二維圖像代碼。基本標記201 的圖像可以從所拍攝的圖片提取，或者例如通過服務網(wǎng)絡下載。如圖2B所示，所示的基本標記201包括5個意義單元210、220、230、240和250。 第一意義單元210與基本標記201的圖像相對應，并且是如果基本標記201被識別則指示是否執(zhí)行AR信息(或虛擬圖像)的部分。第二意義單元220是如果存在要被執(zhí)行多條AR 信息則指示AR信息的種類的部分。第三意義單元230是指示AR信息的顯示位置的部分。 第四意義單元240是指示AR信息的顯示方向的部分。第五意義單元250是確定與AR信息相關(guān)的操作的部分。例如，如果與第五意義單元250相對應的特定行為(諸如觸摸一設備) 被執(zhí)行，則虛擬圖像可以執(zhí)行操作(例如，AR信息的旋轉(zhuǎn)、反轉(zhuǎn)、縮小等)。如圖2A和圖2B所示，可以在基本標記201中表現(xiàn)各種意義單元210、220、230、240 和250，其中預先定義與基本標記201相關(guān)聯(lián)的每一意義單元和與基本標記202相對應的 AR應用。圖3A和圖3B示出了根據(jù)本發(fā)明示例性實施方式的替代標記和該替代標記的標記因素。
如圖3A所示，替代標記301可以為信用卡。因此，用戶可以使用基本標記201 (見圖2A)或信用卡301作為觀看AR信息的介質(zhì)。如圖3B所示，信用卡301的將信用卡301用作替代標記的標記因素可以是與其他部分相區(qū)別的特定字符區(qū)域310、特定圖形區(qū)域320或特征部分330。從某個對象(諸如信用卡301)中被提取作為標記因素的這些部分可以依賴于期望的用途而變化。因此，圖3B 所示的標記因素310、320和330僅僅是示例性的。圖4示出了根據(jù)本發(fā)明示例性實施方式的基本標記和對象的標記因素之間的映射關(guān)系。參照圖4，基本標記401的圖像中的意義單元402和403被分別映射到對象404的圖像中的標記因素405和406。然后，存儲意義單元402和403與標記因素405和406之間的映射407和408。因此，對象圖像404可以被用作替代標記。換言之，通過允許用戶在與移動終端相關(guān)聯(lián)的預覽屏幕上顯示被指定為替代標記的信用卡，AR可以使用信用卡的被顯示的圖像來實現(xiàn)。在圖4所示的示例中，意義單元與標記因素之間的映射可以改變。例如，可以基于意義單元與標記因素之間形狀或顏色的相似性來執(zhí)行映射，或者基于分配給單個標記因素的權(quán)重或優(yōu)先級來順序地執(zhí)行映射。但是，這些仍然僅僅是示例性的，并且各種映射方法可以被實現(xiàn)。圖5為示出了根據(jù)本發(fā)明示例性實施方式的用于提供增強現(xiàn)實(AR)的方法的流程圖。該方法可以在向用戶詢問是否使用替代標記來實現(xiàn)AR之后開始。參照圖5，獲取基本標記的圖像(501)。圖1所示的第一圖像獲取單元101可以通過拍攝基本標記或下載基本標記圖像201來獲取如圖2A中所示的基本標記的圖像201。獲取對象的圖像(502)。圖1所示的第二圖像獲取單元102可以通過拍攝諸如信用卡之類的特定對象來獲取如圖3A所示的對象圖像301。在上述步驟之后，分析基本標記的意義單元(503)。意義單元分析器103可以分析如圖2B所示的基本標記的意義單元。然后，從對象圖像中提取與基本標記的意義單元對應的標記因素(504)。圖1所示的標記因素提取器104可以提取如圖3B所示的標記因素310、320和330。然后，可以將基本標記的意義單元映射到對象的標記因素，以便創(chuàng)建替代標記 (505)。圖1所示的替代標記創(chuàng)建器105可以執(zhí)行如圖4所示的映射以創(chuàng)建替代標記?？梢砸远喾N方式來執(zhí)行意義單元和標記因素之間的映射。例如，還可以使用任意映射。任意映射可以被定義為隨機選擇標記因素，并且然后將意義單元映射到所選的標記因素。作為另一示例，可以基于意義單元和標記因素之間的相似性來執(zhí)行映射。例如，能夠?qū)⑺x的意義單元映射到在形狀、位置或顏色方面與該意義單元具有相似性的標記因素。在創(chuàng)建替代標記之后，可以存儲意義單元和標記因素之間的映射。可以在圖1所示的相關(guān)性存儲器106中存儲該信息。該方法進一步包括基于所創(chuàng)建的替代標記來實現(xiàn)AR的操作。例如，圖1所示的顯示器107可以使用所創(chuàng)建的替代標記和所存儲的相關(guān)性來提供與初始基本標記相對應的 AR0
圖6是根據(jù)本發(fā)明示例性實施方式的用于解釋提取標記因素的視圖。參照圖1和圖6，標記因素提取器104將對象602的預覽屏幕分成網(wǎng)格單元，其中每個網(wǎng)格單元可以具有基準尺寸。然后，標記因素提取器104以從在圖像數(shù)據(jù)方面具有較大變化的網(wǎng)格單元到在圖像數(shù)據(jù)方面具有較小變化的網(wǎng)格單元的順序來排列網(wǎng)格單元。然后，每個網(wǎng)格單元可以被提取作為標記因素。在標記因素提取的另一示例中，如果網(wǎng)格單元及其鄰近的網(wǎng)格單元之間的數(shù)據(jù)變化量小于閾值，則這些網(wǎng)格單元可以被看作是同一網(wǎng)格單元。然而，可以使用除了上面參照圖6描述的方法之外的多種方法來從圖像中提取特定部分以形成替代標記。例如，網(wǎng)格單元中的特定形狀或格式可以被提取作為標記因素。如果對象602具有主色，即形成該對象的主要部分的顏色，則具有與主色不同的顏色的部分可以被提取作為標記因素。如果在對象中無主色存在，則可以任意指定該對象的特定區(qū)域， 且將該區(qū)域的顏色與其鄰近區(qū)域的顏色相比較，之后，該比較可以提示標記因素的提取。而且，對象的可以用作替代標記的特定顏色可以被提取作為標記因素。例如，如果從某個對象中識別出紅色、黃色和藍色，則紅色、黃色和藍色可以被分別映射到原始標記的 A部分、B部分和C部分。如果標記因素被提取，則可以分析指示所提取的標記因素的數(shù)量的信息。例如，當基于形狀的L個標記因素和基于顏色的M個標記因素被提取，優(yōu)先級可以被分配為首先映射L個標記因素并然后其次映射M個標記因素。如果標記因素的全部總量L+M不足以映射在原始標記上識別到的全部意義單元，則可以顯示用于指示可以輸入另一對象圖像來達到 L+M數(shù)量的消息。圖7示出了根據(jù)本發(fā)明示例性實施方式的用戶界面屏幕。參照圖7，用戶界面屏幕可以包括在其上顯示基本標記的列701、在其上顯示關(guān)于基本標記的簡要信息的列702以及在其上顯示替代標記的列703。關(guān)于基本標記的簡要信息可以是與基本標記對應的AR應用的名稱或關(guān)于基本標記的意義單元的信息。在圖7的示例中，用戶可以觸摸在其上顯示替代標記的列703來選擇期望的替代標記，并且如果期望的替代標記被選擇，則執(zhí)行基本標記的AR應用，其中所選擇的替代標記與該基本標記相映射。而且，如果有多個替代標記，則用戶或許期望獲知與AR應用的相關(guān)性。因此，與它們對應的AR應用有關(guān)的替代標記可以以列表或縮略圖或文件夾形式顯示。圖8為根據(jù)本發(fā)明示例性實施方式的用于解釋將基本標記映射到對象的視圖。參照圖8，將被用作替代標記的對象被分成區(qū)域M1、M2和M3。區(qū)域M1、M2和M3中的每個區(qū)域可以被映射到基本標記。例如，如圖8所示，第一基本標記810被映射到第一區(qū)域M1，第二基本標記820被映射到第二區(qū)域M2，以及第三基本標記830被映射到第三區(qū)域 M3。如果多個基本標記被映射到一個對象，則可以針對各個區(qū)域M1、M2和M3來單獨提取替代標記的標記因素。圖9為根據(jù)本發(fā)明示例性實施方式的用于解釋將基本標記映射到對象的視圖。參照圖9，第一基本標記901映射到對象的第一部分910，而第二基本標記902映射到對象的第二部分920。第二部分920相對小于第一部分910。如果對象以其原始尺寸在預覽屏幕上顯示則可以識別第一部分910，而如果對象在預覽屏幕上被放大則可以識別第二部分920。因此，如果在原始尺寸期間查看，則與第二部分920對應的替代標記可以被用作隱藏標記(hiddenmarker)。圖10為根據(jù)本發(fā)明示例性實施方式的用于解釋將基本標記映射到對象的視圖。參照圖10，第一基本標記1001映射到對象的第一部分1002，而第二基本標記1003 映射到對象的第二部分1004。第一基本標記1001代表虛擬對象1005的AR，而第二基本標記1003代表虛擬對象1006的AR。因此，如果用戶使用第一基本標記1001和第二基本標記 1003與其映射的替代標記1007來實現(xiàn)AR，則在顯示器1008上可以出現(xiàn)引起虛擬對象1005 和1006的顯示的已執(zhí)行的AR。作為另一示例，如果對象中有多個映射點，則通過將各種基本標記映射到該對象來創(chuàng)建替代標記是可能的。例如，在諸如模具(die)(它的各個面具有不同的特性)的三維對象的情況下，不同的基本標記可以被映射到該模具的各個面。而且，在書的情況下，可以以向書的每一頁分配基本標記的方式來創(chuàng)建替代標記。圖11示出了根據(jù)本發(fā)明示例性實施方式的三維標記。參照圖11，與船相關(guān)的基本標記1101被映射到三維對象1102。三維對象1102的圖像或者三維對象1102的不同部分可以通過圖像獲取單元(諸如相機或文件)來獲取。三維對象1102不但具有正視圖像，還具有上、下、左和右屬性。從而，該三維對象1102的上、 下、左和右屬性可以根據(jù)船的上、下、左和右屬性而被映射。例如，當與船相關(guān)的基本標記 1101被映射到杯子1102時，用戶可以以如下方式來實現(xiàn)AR 在預覽屏幕上顯示杯子1102 并拍攝杯子1102的上面、下面、左面和右面，以便根據(jù)拍攝的方向來顯示船的上面、下面、 左面和右面。存在著原始標記為二維圖像而AR信息為三維圖像的情形。在這種情況下，在使用原始標記來實現(xiàn)AR圖像時存在局限性。然而，如圖11所示的示例那樣，通過將二維標記映射到三維對象且將那個三維對象用作替代標記，具有三維屬性的AR可以提供更強的查看能力或用來操作船的被顯示圖像的能力。圖12示出了根據(jù)本發(fā)明示例性實施方式的三維標記。參照圖12，與建筑圖相關(guān)的基本標記1201被映射到諸如杯子1202之類的三維對象。如果該建筑為三層建筑，則杯子1202的底部代表該建筑的第一層1203，杯子1202的中間部分代表該建筑的第二層1204，而杯子1202的上部代表該建筑的第三層1205。這樣， 如果諸如杯子1202之類的三維對象被用作替代標記，則可以根據(jù)三維對象的各種屬性(例如，杯子1202的特定面，畫在特定面上的各種圖形等)來顯示附加信息和原始AR。因此，三維可操作性和杯子1202的形狀可以向用戶提供更強的查看能力或用來操作3-D對象的被顯示圖像的能力。如上所述，在根據(jù)上述示例的用于提供AR的AR裝置和方法中，由于創(chuàng)建了能夠替代基本標記的替代標記并且使用該替代標記來實現(xiàn)AR，所以能夠在不存在基本標記并且替代標記還用來實現(xiàn)擴展的AR的情況下實現(xiàn)AR。同時，上述示例可以被實現(xiàn)為計算機可讀記錄介質(zhì)中的非短暫性計算機可讀代碼。計算機可讀記錄介質(zhì)包括存儲計算機系統(tǒng)可讀的數(shù)據(jù)的各種類型的記錄設備。計算機可讀介質(zhì)的示例包括ROM、RAM、⑶-ROM、磁帶、軟盤、光盤等等。而且，可以以載波(例如，通過因特網(wǎng)傳輸)的形式實現(xiàn)計算機可讀介質(zhì)。此外，計算機可讀存儲介質(zhì)可以分布在通過網(wǎng)絡連接的計算機系統(tǒng)之中，并且計算機可讀代碼或程序指令可以以分布
108/8頁
方式進行存儲和執(zhí)行。而且，用于實現(xiàn)本發(fā)明的功能程序、代碼和代碼段可以由本發(fā)明所屬技術(shù)領(lǐng)域中的編程人員容易地解釋。上面已經(jīng)描述了多個示例。盡管如此，應該理解的是，可以做出各種修改。例如，如果以不同的順序來執(zhí)行所描述的技術(shù)和/或如果所描述的系統(tǒng)、結(jié)構(gòu)、設備或電路中的部件以不同方式組合和/或由其他部件或它們的等同替換來替換或補充，則可以達到適當?shù)慕Y(jié)果。因此，其他實現(xiàn)方式落入了下述權(quán)利要求書的范圍。本領(lǐng)域技術(shù)人員應當明白，在不偏離本發(fā)明的實質(zhì)或范圍的情況下，可以對本發(fā)明進行各種修改和變形。因此，本發(fā)明意欲涵蓋在所附權(quán)利要求及其等同的范圍內(nèi)所提供的本發(fā)明的修改和變形。
權(quán)利要求
1.一種增強現(xiàn)實裝置，該增強現(xiàn)實裝置包括第一圖像獲取單元，用來獲取與增強現(xiàn)實相關(guān)的基本標記的圖像； 第二圖像獲取單元，用來獲取對象的圖像； 意義單元分析器，用來分析所述基本標記的所述圖像的意義單元； 標記因素提取器，用來從所述對象的所述圖像中提取因素；以及替代標記創(chuàng)建器，用來將所述因素與所述意義單元相映射以創(chuàng)建包括所述對象的所述圖像和所映射的因素的替代標記。
2.根據(jù)權(quán)利要求1所述的增強現(xiàn)實裝置，其中，所述意義單元分析器基于與所述基本標記相對應的增強現(xiàn)實信息來分析所述意義單元。
3.根據(jù)權(quán)利要求2所述的增強現(xiàn)實裝置，其中，所述意義單元分析器基于所述增強現(xiàn)實信息的顯示位置來分析所述意義單元。
4.根據(jù)權(quán)利要求2所述的增強現(xiàn)實裝置，其中，所述意義單元分析器基于所述增強現(xiàn)實信息的顯示方向來分析所述意義單元。
5.根據(jù)權(quán)利要求2所述的增強現(xiàn)實裝置，其中，所述意義單元分析器基于與所述增強現(xiàn)實信息相關(guān)的操作來分析所述意義單元。
6.根據(jù)權(quán)利要求1所述的增強現(xiàn)實裝置，其中，所述標記因素提取器從所述對象的所述圖像中識別所述對象的形狀、字符或圖形，并基于所述形狀、所述字符、所述圖形或者所述形狀、所述字符和所述圖形之間的位置關(guān)系中的至少一者來提取所述因素。
7.根據(jù)權(quán)利要求1所述的增強現(xiàn)實裝置，其中，所述標記因素提取器基于所述對象的所述圖像的形狀或顏色來提取所述因素。
8.根據(jù)權(quán)利要求7所述的增強現(xiàn)實裝置，其中，所述標記因素提取器將所述對象的所述圖像分成多個網(wǎng)格單元、使用所述網(wǎng)格單元的像素值的平均值計算每個網(wǎng)格單元的網(wǎng)格值、并將具有類似網(wǎng)格值的網(wǎng)格單元進行分組，來提取所述因素。
9.根據(jù)權(quán)利要求1所述的增強現(xiàn)實裝置，其中，所述替代標記創(chuàng)建器用所述替代標記來替代所述基本標記。
10.根據(jù)權(quán)利要求1所述的增強現(xiàn)實裝置，該增強現(xiàn)實裝置進一步包括相關(guān)性存儲器， 該相關(guān)性存儲器用來存儲所述因素與所述意義單元的映射結(jié)果。
11.一種提供增強現(xiàn)實的方法，該方法包括 獲取與增強現(xiàn)實相關(guān)的基本標記的圖像； 獲取對象的圖像；分析所述基本標記的意義單元；從所述對象的所述圖像中提取因素；將所述意義單元與所述因素相映射；以及生成包括所述對象的所述圖像和所映射的因素的替代標記。
12.根據(jù)權(quán)利要求11所述的方法，其中，基于與所述基本標記相對應的增強現(xiàn)實信息來分析所述意義單元。
13.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強現(xiàn)實信息的顯示位置來分析所述意義單元。
14.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強現(xiàn)實信息的顯示方向來分析所述意義單元。
15.根據(jù)權(quán)利要求12所述的方法，其中，基于所述增強現(xiàn)實信息的操作來分析所述意義單元。
16.根據(jù)權(quán)利要求11所述的方法，其中，提取所述因素包括識別形狀、或者字符、或者圖形，并且將所述形狀、所述字符、所述圖形或者所述形狀、所述字符和所述圖形之間的位置關(guān)系中的至少一者提取作為所述因素。
17.根據(jù)權(quán)利要求11所述的方法，其中，提取所述因素進一步包括基于所述對象的所述圖像的形狀或顏色來提取所述因素。
18.根據(jù)權(quán)利要求17所述的方法，其中，基于形狀來提取所述因素進一步包括 將所述對象的所述圖像分成多個網(wǎng)格單元；使用所述網(wǎng)格單元的像素值的平均值計算每個網(wǎng)格單元的網(wǎng)格值；以及將具有類似網(wǎng)格值的網(wǎng)格單元進行分組。
19.根據(jù)權(quán)利要求11所述的方法，其中，生成所述替代標記進一步包括 用所述替代標記替代所述基本標記。
20.根據(jù)權(quán)利要求11所述的方法，該方法進一步包括存儲所述意義單元與所述因素的映射結(jié)果。
21.一種提供增強現(xiàn)實的方法，該方法包括 獲取增強現(xiàn)實的二維標記的圖像；獲取與增強現(xiàn)實相關(guān)的三維對象的圖像； 分析二維標記的意義單元； 提取所述三維對象的圖像的因素； 將所述意義單元映射到所述因素；創(chuàng)建包括所述三維對象的圖像和所映射的因素的替代標記；以及用與所述二維標記相對應的增強現(xiàn)實信息來顯示所述替代標記。
22.根據(jù)權(quán)利要求21所述的方法，其中，如果所述三維對象被識別，則所述顯示發(fā)生。
23.根據(jù)權(quán)利要求21所述的方法，該方法進一步包括 確定所述基本標記是否被識別；以及如果所述基本標記被識別，則詢問是基于所述基本標記還是基于所述替代標記來提供所述增強現(xiàn)實。
全文摘要
提供了一種使用即時標記或替代標記的增強現(xiàn)實(AR)提供方法。根據(jù)一個示例，基于三維對象來創(chuàng)建即時標記或替代標記。分析原始二維標記的意義單元，并從對象的圖像中提取與意義單元相對應的標記因素，該對象的圖像被用于即時標記或替代標記?；谒鰧ο螅饬x單元被映射到標記因素以創(chuàng)建即時標記或替代標記，以便用戶可以使用利用了即時標記或替代標記的AR。
文檔編號G06F9/44GK102385512SQ20111024190
公開日2012年3月21日 申請日期2011年8月22日 優(yōu)先權(quán)日2010年8月25日
發(fā)明者南政佑, 宋昌奎, 李夏遠, 白承潤, 許元赫, 許志萬, 鄭恩耿 申請人:株式會社泛泰