本申請要求于2014年6月2日遞交的美國臨時申請No.62/006,749和于2014年10月6日遞交的美國申請No.14/507,591的優(yōu)先權(quán)權(quán)益。

背景技術(shù)：

所公開的主題的實施例總體上涉及電子設(shè)備領(lǐng)域，并且更具體地涉及增強現(xiàn)實。

增強現(xiàn)實(AR)是利用虛擬的、計算機生成的物體(諸如靜止的和/或移動的圖像、文本、數(shù)據(jù)等)來增強對真實世界的實時視圖的技術(shù)。在AR中，物理的、真實世界環(huán)境的相機視圖可以被計算機生成的傳感輸入增強(或補充)。AR設(shè)備指代運行AR應(yīng)用的設(shè)備。AR應(yīng)用可以增強相機視圖以顯示關(guān)于相機視圖中的物體的信息。例如，一些AR應(yīng)用疊加關(guān)于興趣點和地理地標(biāo)的信息。最近，AR應(yīng)用可以增強相機視圖以提供與附近物體相關(guān)聯(lián)的信息或用戶接口動作。例如，AR應(yīng)用可以識別相機視圖中的物體(有時可以被稱為可跟蹤物體)并且可以利用與該物體有關(guān)的額外信息或用戶接口動作來增強該相機視圖。為了識別相機視圖中的物體，AR應(yīng)用可能需要對要被跟蹤的物體進行描述的跟蹤數(shù)據(jù)。一旦使用跟蹤數(shù)據(jù)識別了相機視圖中的物體，AR應(yīng)用就可以利用關(guān)于該物體的額外信息來增強相機視圖。

技術(shù)實現(xiàn)要素：

描述了各個實施例，其中AR設(shè)備可以識別能夠經(jīng)由本地網(wǎng)絡(luò)進行通信的可跟蹤物體。能夠經(jīng)由本地網(wǎng)絡(luò)進行通信的物體可以被稱為聯(lián)網(wǎng)設(shè)備。聯(lián)網(wǎng)設(shè)備可以將對該聯(lián)網(wǎng)設(shè)備進行描述的跟蹤數(shù)據(jù)經(jīng)由本地網(wǎng)絡(luò)提供給AR設(shè)備。例如，跟蹤數(shù)據(jù)可以嵌入到聯(lián)網(wǎng)設(shè)備中。

在一些實施例中，一種由增強現(xiàn)實(AR)設(shè)備執(zhí)行的方法，包括：接收對聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，其中，所述跟蹤數(shù)據(jù)是經(jīng)由本地網(wǎng)絡(luò)從所述聯(lián)網(wǎng)設(shè)備接收的；以及響應(yīng)于在所述AR設(shè)備的相機視圖中檢測到所述聯(lián)網(wǎng)設(shè)備的至少一個可跟蹤特征，生成與所述聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的增強現(xiàn)實視圖。

在一些實施例中，所述方法還包括：至少部分地基于所述跟蹤數(shù)據(jù)，確定所述聯(lián)網(wǎng)設(shè)備在所述AR設(shè)備的所述相機視圖中的位置。

在一些實施例中，生成所述增強現(xiàn)實視圖包括：利用與所述聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的AR屬性來增強所述增強現(xiàn)實視圖的至少一部分。

在一些實施例中，所述跟蹤數(shù)據(jù)描述至少第一可跟蹤特征的一個或多個視覺屬性，所述一個或多個視覺屬性包括尺寸、形狀和顏色中的至少一者。

在一些實施例中，接收所述跟蹤數(shù)據(jù)包括：向所述聯(lián)網(wǎng)設(shè)備發(fā)送用于從所述聯(lián)網(wǎng)設(shè)備請求所述跟蹤數(shù)據(jù)的查詢；以及響應(yīng)于所述查詢來接收所述跟蹤數(shù)據(jù)。

在一些實施例中，所述方法還包括：在向所述聯(lián)網(wǎng)設(shè)備發(fā)送所述查詢之前，確定所述聯(lián)網(wǎng)設(shè)備在所述AR設(shè)備附近。

在一些實施例中，接收所述跟蹤數(shù)據(jù)包括：從所述聯(lián)網(wǎng)設(shè)備接收廣播消息，所述廣播消息包括所述跟蹤數(shù)據(jù)。

在一些實施例中，所述本地網(wǎng)絡(luò)包括無線局域網(wǎng)(WLAN)。

在一些實施例中，所述跟蹤數(shù)據(jù)是經(jīng)由設(shè)備互操作性框架消息接收的。

在一些實施例中，所述跟蹤數(shù)據(jù)是經(jīng)由短距離射頻通信介質(zhì)接收的。

在一些實施例中，所述跟蹤數(shù)據(jù)被包括在與所述聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的增強現(xiàn)實屬性數(shù)據(jù)集合中，所述增強現(xiàn)實屬性數(shù)據(jù)集合嵌入到所述聯(lián)網(wǎng)設(shè)備中。

在一些實施例中，所述方法還包括：使用所述AR設(shè)備處的集成相機來獲得所述相機視圖。

在一些實施例中，所述方法還包括：使用所述AR設(shè)備處的集成顯示器裝置來顯示所述增強現(xiàn)實視圖。

在一些實施例中，一種增強現(xiàn)實(AR)設(shè)備包括處理器；以及存儲指令的存儲器，所述指令在被所述處理器執(zhí)行時使得所述AR設(shè)備接收對聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，其中，所述跟蹤數(shù)據(jù)是經(jīng)由本地網(wǎng)絡(luò)從所述聯(lián)網(wǎng)設(shè)備接收的；以及響應(yīng)于在所述AR設(shè)備的相機視圖中檢測到所述聯(lián)網(wǎng)設(shè)備的至少一個可跟蹤特征，生成與所述聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的增強現(xiàn)實視圖。

在一些實施例中，所述指令還使得所述處理器至少部分地基于所述跟蹤數(shù)據(jù)，來確定所述聯(lián)網(wǎng)設(shè)備在所述AR設(shè)備的所述相機視圖中的位置。

在一些實施例中，所述指令還使得所述處理器執(zhí)行AR應(yīng)用，所述AR應(yīng)用基于所述相機視圖來生成所述增強現(xiàn)實視圖，其中，所述增強現(xiàn)實視圖是利用與所述聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的AR屬性來增強的。

在一些實施例中，所述AR設(shè)備還包括向所述AR設(shè)備的用戶顯示所述增強現(xiàn)實視圖的顯示器裝置。

在一些實施例中，所述AR設(shè)備還包括網(wǎng)絡(luò)接口，所述網(wǎng)絡(luò)接口向所述聯(lián)網(wǎng)設(shè)備發(fā)送用于從所述聯(lián)網(wǎng)設(shè)備請求所述跟蹤數(shù)據(jù)的查詢，以及響應(yīng)于所述查詢來接收所述跟蹤數(shù)據(jù)。

在一些實施例中，所述網(wǎng)絡(luò)接口響應(yīng)于所述AR設(shè)備確定所述聯(lián)網(wǎng)設(shè)備在所述AR設(shè)備附近來發(fā)送所述查詢。

在一些實施例中，所述AR設(shè)備還包括從所述聯(lián)網(wǎng)設(shè)備接收廣播消息的網(wǎng)絡(luò)接口，所述廣播消息包括所述跟蹤數(shù)據(jù)。

在一些實施例中，一種由聯(lián)網(wǎng)設(shè)備執(zhí)行的方法，所述方法包括：存儲對所述聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，所述跟蹤數(shù)據(jù)實現(xiàn)增強現(xiàn)實(AR)設(shè)備對所述聯(lián)網(wǎng)設(shè)備的視覺檢測；以及將所述跟蹤數(shù)據(jù)經(jīng)由本地網(wǎng)絡(luò)提供給所述AR設(shè)備。

在一些實施例中，所述跟蹤數(shù)據(jù)描述至少第一可跟蹤特征的一個或多個視覺屬性，所述一個或多個視覺屬性包括尺寸、形狀和顏色中的至少一者。

在一些實施例中，所述方法還包括：從所述AR設(shè)備接收用于請求所述跟蹤數(shù)據(jù)的查詢，其中，提供所述跟蹤數(shù)據(jù)是響應(yīng)于所述查詢的。

在一些實施例中，所述方法還包括：向所述AR設(shè)備提供關(guān)于所述聯(lián)網(wǎng)設(shè)備具有存儲在所述聯(lián)網(wǎng)設(shè)備處的所述跟蹤數(shù)據(jù)的指示。

在一些實施例中，所述方法還包括：根據(jù)設(shè)備發(fā)現(xiàn)協(xié)議經(jīng)由所述本地網(wǎng)絡(luò)來廣播所述跟蹤數(shù)據(jù)。

在一些實施例中，所述跟蹤數(shù)據(jù)被包括在存儲在所述聯(lián)網(wǎng)設(shè)備處的增強現(xiàn)實數(shù)據(jù)集合中并且響應(yīng)于來自所述AR設(shè)備的請求被提供給所述AR設(shè)備。

在一些實施例中，所述跟蹤數(shù)據(jù)是經(jīng)由設(shè)備互操作性框架消息來提供的。

在一些實施例中，一種聯(lián)網(wǎng)設(shè)備，包括用于經(jīng)由本地網(wǎng)絡(luò)進行通信的網(wǎng)絡(luò)接口；處理器；以及存儲器，所述存儲器存儲對所述聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，所述跟蹤數(shù)據(jù)實現(xiàn)增強現(xiàn)實(AR)設(shè)備對所述聯(lián)網(wǎng)設(shè)備的視覺檢測，所述存儲器存儲指令，所述指令在被所述處理器執(zhí)行時使得所述聯(lián)網(wǎng)設(shè)備將所述跟蹤數(shù)據(jù)經(jīng)由所述本地網(wǎng)絡(luò)提供給所述AR設(shè)備。

在一些實施例中，所述指令使得所述處理器從所述AR設(shè)備接收用于請求所述跟蹤數(shù)據(jù)的查詢，以及提供所述跟蹤數(shù)據(jù)是響應(yīng)于所述查詢的。

在一些實施例中，所述指令使得所述處理器向所述AR設(shè)備提供關(guān)于所述聯(lián)網(wǎng)設(shè)備具有存儲在所述聯(lián)網(wǎng)設(shè)備處的所述跟蹤數(shù)據(jù)的指示。

附圖說明

通過參照附圖，可以更好地理解本實施例，并且大量的目標(biāo)、特征和優(yōu)勢對于本領(lǐng)域技術(shù)人員變得顯而易見。

圖1描繪了示例系統(tǒng)以介紹本公開內(nèi)容的各個概念。

圖2描繪了使用跟蹤數(shù)據(jù)用于增強現(xiàn)實的示例操作。

圖3描繪了可以用在本公開內(nèi)容的各個實施例中的示例組件。

圖4根據(jù)本公開內(nèi)容的實施例，描繪了本地網(wǎng)絡(luò)中的聯(lián)網(wǎng)設(shè)備和AR設(shè)備之間的示例消息的消息流。

圖5根據(jù)本公開內(nèi)容的實施例，描繪了由聯(lián)網(wǎng)設(shè)備執(zhí)行用于提供跟蹤數(shù)據(jù)的示例操作。

圖6描繪了能夠?qū)崿F(xiàn)本公開內(nèi)容的各個實施例的示例電子設(shè)備。

具體實施方式

下面的描述包括體現(xiàn)本主題的技術(shù)的示例性系統(tǒng)、方法、技術(shù)、指令序列和計算機程序產(chǎn)品。然而，要理解的是，可以在沒有這些具體細(xì)節(jié)的情況下實施所描述的實施例。例如，雖然示例指代聯(lián)網(wǎng)設(shè)備的可跟蹤特征的視覺屬性，但是跟蹤數(shù)據(jù)也可以描述可跟蹤特征的其它屬性，包括聽覺、紅外、模式或可以被AR設(shè)備感應(yīng)到的其它屬性。在其它實例中，沒有詳細(xì)示出公知的指令實例、協(xié)議、結(jié)構(gòu)和技術(shù)，以便不模糊本描述。

AR設(shè)備可以包括處理器、存儲器以及位于電子設(shè)備內(nèi)的顯示器。AR設(shè)備可以是任何適當(dāng)?shù)碾娮釉O(shè)備，例如，桌上型計算機、膝上型計算機、手持計算機、移動計算機或可穿戴計算機。相機可以集成在AR設(shè)備中或者可以在AR設(shè)備外部。相機可以向AR設(shè)備提供實時視圖(有時被稱為“相機視圖”)。AR設(shè)備可以執(zhí)行AR應(yīng)用以確定相機視圖在真實世界中的位置并且檢測相機視圖中的任何物體(例如，啟用AR的物體)。當(dāng)檢測到物體時，AR應(yīng)用可以基于相機視圖和與該物體有關(guān)的計算機生成的疊加信息(諸如虛擬物體、圖像、用戶接口控制等)來生成增強現(xiàn)實視圖。疊加信息可以被稱為AR屬性。

為了檢測物體并且確定物體在相機視圖中的位置，AR設(shè)備可以使用對要跟蹤的物體進行描述的跟蹤數(shù)據(jù)。跟蹤數(shù)據(jù)可以基于能夠在相機視圖中搜索、識別和/或跟蹤的模式來描述多種多樣的可跟蹤特征(有時也被稱為“可跟蹤項”)。在本公開內(nèi)容中，跟蹤數(shù)據(jù)可以描述固定標(biāo)記或可以描述用于無標(biāo)記檢測的特性。固定標(biāo)記是可以使用模式匹配或圖像匹配來識別的已知特性。對于固定標(biāo)記，跟蹤數(shù)據(jù)可以包括興趣點、基準(zhǔn)標(biāo)記、快速響應(yīng)(QR)碼、要匹配的圖像或任何“可跟蹤”模式。標(biāo)記可以具有現(xiàn)在已知或?qū)黹_發(fā)的任何設(shè)計，包括圓形、線性、矩陣、可變比特長度矩陣、多級矩陣、黑/白(二進制)、灰度模式以及其組合。標(biāo)記可以是二維或三維條形碼。

在無標(biāo)記檢測中，AR設(shè)備可以基于描述性特性而不是固定標(biāo)記來檢測物體。對于無標(biāo)記跟蹤，跟蹤數(shù)據(jù)可以包括基于邊緣、點、角落、平面、顏色、尺寸、形狀、幾何結(jié)構(gòu)等的描述。在一些實施例中，跟蹤數(shù)據(jù)可以包括物體的多維(例如，2D或3D)模型，以使得無論相機視圖相對于該物體的角度如何，AR設(shè)備都可以檢測物體。

在常規(guī)的AR應(yīng)用中，跟蹤數(shù)據(jù)可以被硬編碼在AR應(yīng)用中或可以經(jīng)由廣域網(wǎng)從云服務(wù)器下載。然而，新物體可能被引入到環(huán)境中，并且AR應(yīng)用可能不具有與該新物體相關(guān)聯(lián)的跟蹤數(shù)據(jù)。在增強現(xiàn)實會話期間或針對引入到環(huán)境中的每個新物體從基于網(wǎng)絡(luò)的服務(wù)器下載跟蹤數(shù)據(jù)可能是不理想的。

如先前描述的，一些物體可以經(jīng)由本地網(wǎng)絡(luò)進行通信并且可以被稱為聯(lián)網(wǎng)設(shè)備。本地網(wǎng)絡(luò)的示例可以包括無線局域網(wǎng)(WLAN)(諸如IEEE802.11a/b/g/n/ac/ad)、短距離射頻介質(zhì)(諸如藍牙^TM)、近場通信(NFC)、電力線通信(PLC)、以太網(wǎng)等。在本地網(wǎng)絡(luò)中，AR設(shè)備和聯(lián)網(wǎng)設(shè)備可以使用用于支持互操作性的協(xié)議(其可以被稱為設(shè)備互操作性框架)來進行通信。例如，在“物聯(lián)網(wǎng)”(IoT)環(huán)境中，各種設(shè)備可以使用諸如AllJoyn^TM的通信協(xié)議來進行通信。各種設(shè)備可以使用其它協(xié)議。設(shè)備互操作性框架協(xié)議可以是允許AR設(shè)備和聯(lián)網(wǎng)設(shè)備經(jīng)由本地網(wǎng)絡(luò)來進行通信的任何協(xié)議。

根據(jù)本公開內(nèi)容，聯(lián)網(wǎng)設(shè)備可以將與該聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的跟蹤數(shù)據(jù)經(jīng)由本地網(wǎng)絡(luò)提供給AR設(shè)備。聯(lián)網(wǎng)設(shè)備可以存儲跟蹤數(shù)據(jù)并且可以將跟蹤數(shù)據(jù)經(jīng)由本地網(wǎng)絡(luò)直接提供給AR設(shè)備。跟蹤數(shù)據(jù)可以對使AR設(shè)備能夠在相機視圖中檢測聯(lián)網(wǎng)設(shè)備的可跟蹤特征進行描述。在一個實施例中，AR設(shè)備可以使用設(shè)備互操作性框架協(xié)議來從聯(lián)網(wǎng)設(shè)備獲得跟蹤數(shù)據(jù)。由于可以經(jīng)由本地網(wǎng)絡(luò)來獲得跟蹤數(shù)據(jù)，所以AR設(shè)備可以在不與廣域網(wǎng)服務(wù)器進行通信或不具有先前被編碼在AR應(yīng)用的跟蹤數(shù)據(jù)的情況下獲得跟蹤數(shù)據(jù)。在一個實施例中，跟蹤數(shù)據(jù)可以是以本地協(xié)議擴展、AR標(biāo)記語言或?qū)ο竺枋鰧傩缘男问健?/p>

圖1描繪了示例系統(tǒng)100以介紹本公開內(nèi)容的各種概念。示例系統(tǒng)100包括聯(lián)網(wǎng)設(shè)備110、本地網(wǎng)絡(luò)130和AR設(shè)備120。在示例系統(tǒng)100中，聯(lián)網(wǎng)設(shè)備110被描繪為智能家電-諸如爐灶。聯(lián)網(wǎng)設(shè)備110可以是啟用AR的并且可以經(jīng)由本地網(wǎng)絡(luò)130進行通信的任何類型的設(shè)備。本地網(wǎng)絡(luò)130可以是電力線通信網(wǎng)絡(luò)、無線局域網(wǎng)、短距離射頻網(wǎng)絡(luò)等。AR設(shè)備120也可以經(jīng)由本地網(wǎng)絡(luò)130進行通信。在示例系統(tǒng)100中，AR設(shè)備120被描繪為平板計算機。AR設(shè)備120和聯(lián)網(wǎng)設(shè)備110可以是不同的形式或機器，并且圖1中的示例是出于說明性目的提供的。

在一個實施例中，聯(lián)網(wǎng)設(shè)備110被配置為將跟蹤數(shù)據(jù)(被示為箭頭145)經(jīng)由本地網(wǎng)絡(luò)130提供給AR設(shè)備120。聯(lián)網(wǎng)設(shè)備110可以使用設(shè)備互操作性框架消息來傳送跟蹤數(shù)據(jù)。例如，消息可以是ALLJoyn^TM協(xié)議消息或與消息語法相關(guān)聯(lián)的另一種適當(dāng)?shù)幕ゲ僮餍钥蚣芟?。在一個示例中，本地網(wǎng)絡(luò)130包括提供無線覆蓋范圍的無線局域網(wǎng)。與無線局域網(wǎng)相關(guān)聯(lián)的設(shè)備(諸如聯(lián)網(wǎng)設(shè)備110和AR設(shè)備120)可以使用設(shè)備互操作性框架協(xié)議來進行通信。聯(lián)網(wǎng)設(shè)備110可以將跟蹤數(shù)據(jù)存儲在本地存儲器或聯(lián)網(wǎng)設(shè)備110的存儲設(shè)備中，并且將跟蹤數(shù)據(jù)在設(shè)備互操作性框架協(xié)議消息中提供給AR設(shè)備120。在另一個實施例中，聯(lián)網(wǎng)設(shè)備110可以使用標(biāo)準(zhǔn)化或可擴展協(xié)議消息來提供跟蹤數(shù)據(jù)。

AR設(shè)備120可以從聯(lián)網(wǎng)設(shè)備110接收跟蹤數(shù)據(jù)并且使用跟蹤數(shù)據(jù)來在AR設(shè)備120的相機視圖中檢測聯(lián)網(wǎng)設(shè)備110。例如，AR設(shè)備120可以分析相機視圖以檢測邊緣、特征點、顏色、形狀、尺寸等，如在跟蹤數(shù)據(jù)中描述的。當(dāng)以網(wǎng)絡(luò)設(shè)備110被置于相機視圖中的方式來定位相機視圖時，AR設(shè)備120可以基于跟蹤數(shù)據(jù)來檢測(被示為箭頭155)聯(lián)網(wǎng)設(shè)備110。作為一個示例，參照圖1的說明性示例，跟蹤數(shù)據(jù)可以描述與爐灶的控制旋鈕相關(guān)聯(lián)的顏色、尺寸、形狀或幾何結(jié)構(gòu)。在一個示例中，控制面板可以是聯(lián)網(wǎng)設(shè)備110的可跟蹤特性。旋鈕可以表示特征點，并且可以由跟蹤數(shù)據(jù)來描述特征點之間的距離。通過分析相機視圖以檢測特征點和特征點之間的距離，AR設(shè)備120可以檢測與爐灶的旋鈕相一致的模式，如在跟蹤數(shù)據(jù)中描述的。

一旦已經(jīng)檢測到聯(lián)網(wǎng)設(shè)備110，AR設(shè)備120就可以將聯(lián)網(wǎng)設(shè)備110注冊為增強現(xiàn)實視圖中的可跟蹤物體。在圖1中，聯(lián)網(wǎng)設(shè)備110在相機視圖165中，并且AR設(shè)備120已經(jīng)將相機視圖增強為包括與聯(lián)網(wǎng)設(shè)備110相關(guān)聯(lián)的AR屬性175。

AR設(shè)備120可以生成增強現(xiàn)實視圖，其包括利用與檢測到的AR物體(即，聯(lián)網(wǎng)設(shè)備110)相關(guān)聯(lián)的疊加信息來增強的真實世界的圖像。疊加信息可以是預(yù)定的或經(jīng)由廣域網(wǎng)服務(wù)器獲得的。在一個實施例中，疊加信息還可以類似于跟蹤數(shù)據(jù)145由聯(lián)網(wǎng)設(shè)備110提供。在圖1中，AR設(shè)備120包括顯示器裝置122，其向AR設(shè)備120的用戶顯示增強現(xiàn)實視圖。

在一個實施例中，相機和顯示器裝置122中的一個或兩者可以集成到AR設(shè)備120中。然而，在其它實施例中，相機和顯示器裝置122中的一個或兩者可以在AR設(shè)備120外部。例如，相機和顯示器裝置中的一個或兩者可以是可穿戴配件(諸如用戶穿戴的電子眼鏡)的部分。相機和/或顯示器裝置可以是包括AR設(shè)備120的計算機系統(tǒng)的外部組件。在另一個實施例中，AR設(shè)備120可以是包括與AR設(shè)備120相通信的相機和/或顯示器(例如，電視機)的家庭網(wǎng)絡(luò)的一部分。

圖2描繪了使用跟蹤數(shù)據(jù)用于增強現(xiàn)實的示例操作(流程圖200)。在框202處，AR設(shè)備可以接收對聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，其中，跟蹤數(shù)據(jù)是經(jīng)由本地網(wǎng)絡(luò)從聯(lián)網(wǎng)設(shè)備接收的。在框204處，AR設(shè)備可以至少部分地基于跟蹤數(shù)據(jù)，確定聯(lián)網(wǎng)設(shè)備在AR設(shè)備處的相機視圖中的位置。在框206處，AR設(shè)備可以響應(yīng)于在AR設(shè)備的相機視圖中檢測到聯(lián)網(wǎng)設(shè)備的至少一個可跟蹤特征，生成與聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的增強現(xiàn)實視圖。在框208處，AR設(shè)備可以顯示增強現(xiàn)實視圖?？梢允褂肁R設(shè)備處的集成顯示器裝置或與AR設(shè)備相通信的外部顯示器來顯示增強現(xiàn)實視圖。

圖3描繪了可以用在本公開內(nèi)容的一個實施例中的示例組件。在圖3中，示例系統(tǒng)300包括聯(lián)網(wǎng)設(shè)備110和AR設(shè)備120，兩者都耦合到本地網(wǎng)絡(luò)130。聯(lián)網(wǎng)設(shè)備110可以包括通信單元316、控制器314和跟蹤數(shù)據(jù)312?？刂破?14可以控制聯(lián)網(wǎng)設(shè)備110的其它方面(未示出)。例如，控制器314可以控制圖1中的爐灶的溫度設(shè)置?？梢栽O(shè)想在其中控制器315可以控制聯(lián)網(wǎng)設(shè)備110的方面的其它示例。示例可以包括對功率、照明、溫度、強度等的控制。

跟蹤數(shù)據(jù)312可以存儲在與聯(lián)網(wǎng)設(shè)備110相關(guān)聯(lián)的存儲器(未示出)中。通信單元316可以包括用于將聯(lián)網(wǎng)設(shè)備110耦合到本地網(wǎng)絡(luò)130的網(wǎng)絡(luò)接口。在一個實施例中，通信單元316可以實現(xiàn)設(shè)備互操作性框架協(xié)議，其可以用于向AR設(shè)備120傳送跟蹤數(shù)據(jù)312。在一個實施例中，控制器314可以是可使用AR設(shè)備120的AR應(yīng)用323來遠程控制的。

圖3的AR設(shè)備120包括相機322、AR應(yīng)用323、顯示器324和通信單元326。通信單元326可以包括網(wǎng)絡(luò)接口并且可以將AR設(shè)備120耦合到本地網(wǎng)絡(luò)130。AR應(yīng)用323可以被配置為從聯(lián)網(wǎng)設(shè)備110接收跟蹤數(shù)據(jù)。AR應(yīng)用323可以按需要處理跟蹤數(shù)據(jù)以實現(xiàn)AR應(yīng)用323對聯(lián)網(wǎng)設(shè)備110的檢測。

AR應(yīng)用323可以使用來自相機322的相機視圖來生成增強現(xiàn)實視圖。可以由顯示器324輸出增強現(xiàn)實視圖。相機或其它視頻輸入可以生成真實世界的數(shù)字化視頻圖像，其在本公開內(nèi)容中被稱為相機視圖。相機可以是現(xiàn)在已知或?qū)黹_發(fā)的任何數(shù)字設(shè)備，其是被標(biāo)出尺寸的并且被配置為捕獲真實世界的靜止或運動圖像并且將那些圖像轉(zhuǎn)換成可以由AR設(shè)備120操縱的信息的數(shù)字流。例如，相機可以是數(shù)碼相機、數(shù)字視頻相機、web相機、頭戴式顯示器、相機電話、平板式個人計算機或呈現(xiàn)可以在其上添加增強現(xiàn)實數(shù)據(jù)的數(shù)字圖像或圖像流的任何相機。

在一個實施例中，跟蹤數(shù)據(jù)可以描述與聯(lián)網(wǎng)設(shè)備相關(guān)聯(lián)的一個或多個可跟蹤特征。在一個示例中，可跟蹤特征也可以是AR應(yīng)用323可以識別的真實世界項的圖像。例如，AR應(yīng)用323可以基于跟蹤數(shù)據(jù)中的冰箱的圖像來識別廚房的視頻流中的冰箱或其它電器。在另一個實施例中，跟蹤數(shù)據(jù)可以用于在不存在標(biāo)記時描述聯(lián)網(wǎng)設(shè)備110的特征。例如，跟蹤數(shù)據(jù)可以描述關(guān)于聯(lián)網(wǎng)設(shè)備110的一個或多個可跟蹤特征的顏色、形狀、尺寸和幾何結(jié)構(gòu)等。

圖4描繪了在使用設(shè)備互操作性框架協(xié)議的聯(lián)網(wǎng)設(shè)備110和AR設(shè)備120之間的示例消息的消息流400。初始地，AR設(shè)備120可以意識到聯(lián)網(wǎng)設(shè)備110具有要提供給AR設(shè)備120的跟蹤數(shù)據(jù)。可以存在AR設(shè)備120確定聯(lián)網(wǎng)設(shè)備110可以提供跟蹤數(shù)據(jù)的多種方式。在圖4中描繪的，聯(lián)網(wǎng)設(shè)備110可以發(fā)送包括關(guān)于跟蹤數(shù)據(jù)可用的指示符的廣播消息410。例如，廣播消息410可以包括“AR_跟蹤數(shù)據(jù)可用(AR_TrackingDataAvailable)＝是”的屬性或類似屬性。替代地，廣播消息410可以包括作為廣播消息410的一部分的跟蹤數(shù)據(jù)中的一些或全部跟蹤數(shù)據(jù)。廣播消息410可以是設(shè)備發(fā)現(xiàn)協(xié)議的一部分。

在另一個示例中，AR設(shè)備120可以向聯(lián)網(wǎng)設(shè)備110發(fā)送AR啟用查詢消息420以查詢聯(lián)網(wǎng)設(shè)備110是否是啟用AR的。AR啟用查詢消息420可以例如從聯(lián)網(wǎng)設(shè)備110請求“AR_跟蹤數(shù)據(jù)可用”屬性等?？梢栽贏R啟用查詢消息420中請求其它增強現(xiàn)實屬性。聯(lián)網(wǎng)設(shè)備110可以通過發(fā)送AR啟用響應(yīng)消息430來對AR啟用查詢消息420進行響應(yīng)，以指示聯(lián)網(wǎng)設(shè)備110是否是啟用AR的。例如，AR啟用響應(yīng)消息430可以包括“AR_跟蹤數(shù)據(jù)可用＝是”的屬性或類似屬性。

一旦AR設(shè)備120確定聯(lián)網(wǎng)設(shè)備110是啟用AR的，AR設(shè)備120就可以嘗試獲得與聯(lián)網(wǎng)設(shè)備110相關(guān)聯(lián)的跟蹤數(shù)據(jù)。AR設(shè)備120可以向聯(lián)網(wǎng)設(shè)備110發(fā)送AR跟蹤數(shù)據(jù)查詢消息440。聯(lián)網(wǎng)設(shè)備110可以利用包括跟蹤數(shù)據(jù)的AR跟蹤數(shù)據(jù)響應(yīng)消息450來進行響應(yīng)。

在檢測過程460處，AR設(shè)備120可以使用跟蹤數(shù)據(jù)來在AR設(shè)備120的相機視圖中檢測和注冊聯(lián)網(wǎng)設(shè)備110。一旦被檢測和被注冊，AR設(shè)備120就可以在聯(lián)網(wǎng)設(shè)備110被置于AR設(shè)備120的相機視圖中時顯示與聯(lián)網(wǎng)設(shè)備110相關(guān)聯(lián)的疊加信息(諸如AR屬性、控制等)。例如，AR設(shè)備120可以基于相機視圖和與聯(lián)網(wǎng)設(shè)備110相關(guān)聯(lián)的疊加信息來生成增強現(xiàn)實視圖。可以隨后由AR設(shè)備120來顯示增強現(xiàn)實視圖。

圖5根據(jù)本公開內(nèi)容的實施例，描繪了由聯(lián)網(wǎng)設(shè)備執(zhí)行用于提供跟蹤數(shù)據(jù)的示例操作(流程圖500)。在框502處，聯(lián)網(wǎng)設(shè)備可以存儲對該聯(lián)網(wǎng)設(shè)備的一個或多個可跟蹤特征進行描述的跟蹤數(shù)據(jù)，跟蹤數(shù)據(jù)實現(xiàn)增強現(xiàn)實(AR)設(shè)備對聯(lián)網(wǎng)設(shè)備的視覺檢測。存儲器或存儲組件可以是與聯(lián)網(wǎng)設(shè)備集成的，或者可以是與聯(lián)網(wǎng)設(shè)備通信耦合的外部存儲器存儲。

在框504處，聯(lián)網(wǎng)設(shè)備可以可選地通知(例如，經(jīng)由協(xié)議消息或廣播消息中的指示)AR設(shè)備該聯(lián)網(wǎng)設(shè)備具有存儲在該聯(lián)網(wǎng)設(shè)備處的跟蹤數(shù)據(jù)。在框506處，聯(lián)網(wǎng)設(shè)備可以從AR設(shè)備接收用于請求跟蹤數(shù)據(jù)的查詢。在一些實施例中，聯(lián)網(wǎng)設(shè)備可以不從AR設(shè)備接收查詢，但是可以替代地僅定期地廣播跟蹤數(shù)據(jù)。在框508處，聯(lián)網(wǎng)設(shè)備可以響應(yīng)于查詢，將跟蹤數(shù)據(jù)經(jīng)由本地網(wǎng)絡(luò)提供給AR設(shè)備。

根據(jù)本公開內(nèi)容的實施例，可以使用結(jié)構(gòu)化標(biāo)記語言來提供跟蹤數(shù)據(jù)。將認(rèn)識到的是，可以使用多種多樣的格式來描述跟蹤數(shù)據(jù)，諸如增強現(xiàn)實標(biāo)記語言(ARML)。

在一個實施例中，可以對結(jié)構(gòu)化標(biāo)記語言文件進行修改以包括跟蹤數(shù)據(jù)。結(jié)構(gòu)化標(biāo)記語言文件的一部分可以描述應(yīng)當(dāng)被跟蹤的物體(例如，聯(lián)網(wǎng)設(shè)備)。結(jié)構(gòu)化標(biāo)記語言文件的另一部分可以定義應(yīng)當(dāng)被跟蹤的物體的一個或多個可跟蹤特征。在圖1的示例中，可跟蹤特征可以是爐灶的前控制面板。結(jié)構(gòu)化標(biāo)記語言文件可以包括跟蹤數(shù)據(jù)字段，其包含與跟蹤特征相關(guān)聯(lián)的跟蹤數(shù)據(jù)。跟蹤數(shù)據(jù)可以描述尺寸、形狀、顏色、邊緣、特征點或可跟蹤特征的其它方面。跟蹤數(shù)據(jù)的格式可以是文本、二進制數(shù)據(jù)或任何適當(dāng)?shù)母袷?，并且可以在一些實施例中被壓縮或加密。跟蹤數(shù)據(jù)還可以包括建模數(shù)據(jù)，諸如可跟蹤特征的2D或3D模型。結(jié)構(gòu)化標(biāo)記語言可以包括其它AR屬性(未示出)，所述其它AR屬性進一步增強AR設(shè)備的用于疊加與聯(lián)網(wǎng)設(shè)備有關(guān)的信息的能力。

上文描述的操作的示例序列僅是許多可能序列中的一個可能序列。具有不同操作和操作的不同次序的許多其它序列是可能的。實施例不受限于操作的任何特定次序。

如本領(lǐng)域技術(shù)人員將認(rèn)識到的，本公開內(nèi)容的方面可以被體現(xiàn)為系統(tǒng)、方法或計算機程序產(chǎn)品。因此，本公開內(nèi)容的方面可以采取完全硬件實施例、軟件實施例(包括固件、駐留軟件、微代碼等)或組合軟件和硬件方面的實施例的形式，所述形式通常在本文中可以全部被稱為“電路”、“單元”或“系統(tǒng)”。此外，本公開內(nèi)容的方面可以采取體現(xiàn)在一個或多個計算機可讀介質(zhì)中的計算機程序產(chǎn)品的形式，所述一個或多個計算機可讀介質(zhì)具有體現(xiàn)在其上的計算機可讀程序代碼。

可以利用一個或多個非暫時性計算機可讀介質(zhì)的任意組合。非暫時性計算機可讀介質(zhì)包括所有計算機可讀介質(zhì)，唯一的例外是暫時性、傳播信號。非暫時性計算機可讀介質(zhì)可以是計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)可以是例如但不限于：電、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置或設(shè)備，或前述各項的任何適當(dāng)組合。計算機可讀存儲介質(zhì)的更具體的示例(非排他列表)將包括以下各項：具有一個或多個導(dǎo)線的電連接、便攜式計算機磁盤、硬盤、隨機存取存儲器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、光纖、便攜式壓縮盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備或前述各項的任何適當(dāng)組合。在本文檔的上下文中，計算機可讀存儲介質(zhì)可以是任何有形介質(zhì)，其可以包含或存儲程序以供或結(jié)合指令執(zhí)行系統(tǒng)、裝置或設(shè)備來使用。

用于執(zhí)行實施例的操作的計算機程序代碼可以以一種或多種編程語言的任何組合來編寫，包括面向?qū)ο蟮木幊陶Z言(諸如Java、Smalltalk、C++等等)以及傳統(tǒng)的過程式編程語言(諸如“C”編程語言或類似的編程語言)。程序代碼可以完全地在用戶的計算機上、部分地在用戶的計算機上、作為單獨的軟件包、部分地在用戶的計算機上和部分地在遠程計算機上或者完全地在遠程計算機或服務(wù)器上執(zhí)行。在后一種場景中，遠程計算機可以通過任何類型的網(wǎng)絡(luò)連接到用戶的計算機，所述網(wǎng)絡(luò)包括局域網(wǎng)(LAN)、個域網(wǎng)(PAN)或廣域網(wǎng)(WAN)，或者可以實現(xiàn)到外部計算機的連接(例如，使用互聯(lián)網(wǎng)服務(wù)提供者通過互聯(lián)網(wǎng))。

圖6是能夠?qū)崿F(xiàn)本公開內(nèi)容的各個實施例的電子設(shè)備600的一個實施例的示例框圖。在一些實現(xiàn)方式中，電子設(shè)備600可以是諸如膝上型計算機、平板計算機、移動電話、電力線通信設(shè)備、游戲控制臺或其它電子系統(tǒng)的電子設(shè)備。在一些實現(xiàn)方式中，電子設(shè)備可以包括用于跨越多個通信網(wǎng)絡(luò)(其形成混合通信網(wǎng)絡(luò))進行通信的功能。電子設(shè)備600包括處理器602(可能包括多個處理器、多個內(nèi)核、多個節(jié)點和/或?qū)崿F(xiàn)多線程等)。電子設(shè)備600包括存儲器606。存儲器606可以是系統(tǒng)存儲器(例如，高速緩存、SRAM、DRAM、零電容器RAM、雙晶體管RAM、eDRAM、EDO RAM、DDR RAM、EEPROM、NRAM、RRAM、SONOS、PRAM等中的一個或多個)或者上文已經(jīng)描述的機器可讀介質(zhì)的可能實現(xiàn)中的任何一個或多個。電子設(shè)備600還包括總線610(例如，PCI、ISA、PCI快速、無NuBus、AHB、AXI等)并且可以包括一個或多個網(wǎng)絡(luò)接口604。一個或多個網(wǎng)絡(luò)接口604可以包括無線網(wǎng)絡(luò)接口(例如，WLAN接口、接口、WiMAX接口、接口、無線USB接口等)或有線網(wǎng)絡(luò)接口(例如，電力線通信接口、以太網(wǎng)接口等)。

電子設(shè)備600包括AR應(yīng)用623?？蛇x地，電子設(shè)備600可以包括相機622和顯示器裝置624中的一個或兩者。雖然AR應(yīng)用623被描述為電子設(shè)備600的單獨的硬件組件，但是應(yīng)當(dāng)注意的是，AR應(yīng)用623可以被實現(xiàn)為存儲在存儲器606中并且由處理器602執(zhí)行的機器可讀指令。AR應(yīng)用623可以實現(xiàn)前述附圖的各個實施例。在一個實施例中，AR應(yīng)用623、相機622和顯示器裝置624可以類似于在圖3中描述的相應(yīng)組件來操作。電子設(shè)備600還可以用于描述聯(lián)網(wǎng)設(shè)備(諸如聯(lián)網(wǎng)設(shè)備110)。然而，在一些實施例中，聯(lián)網(wǎng)設(shè)備可以不具有相機622、顯示器裝置624或AR應(yīng)用623。例如，電子設(shè)備600可以將跟蹤數(shù)據(jù)存儲在存儲器606中并且使用網(wǎng)絡(luò)接口604經(jīng)由本地網(wǎng)絡(luò)來提供跟蹤數(shù)據(jù)。

這些功能中的任何一個功能可以部分地(或完全地)實現(xiàn)在硬件中和/或?qū)崿F(xiàn)在處理器602上。例如，可以利用專用集成電路、在實現(xiàn)在處理器602的邏輯單元中、在外圍設(shè)備上的協(xié)處理器或卡中等實現(xiàn)功能。此外，實現(xiàn)可以包括更少的組件或未在圖11中示出的額外組件(例如，視頻卡、音頻卡、額外的網(wǎng)絡(luò)接口、外圍設(shè)備等)。處理器602、存儲器606、網(wǎng)絡(luò)接口604可以耦合到總線610。雖然被示為耦合到總線610，但是存儲器606可以直接地耦合到處理器602。

雖然參照各個實現(xiàn)方式和利用描述了實施例，但是將要理解的是，這些實施例是說明性的，并且本公開內(nèi)容的范圍不受限于這些實施例。一般來說，如本文描述的，用于增強現(xiàn)實(其中，基于聯(lián)網(wǎng)設(shè)備提供的跟蹤數(shù)據(jù)來檢測聯(lián)網(wǎng)設(shè)備)的技術(shù)可以利用與任何硬件系統(tǒng)相一致的設(shè)備來實現(xiàn)。許多變形、修改、添加和改進是可能的。

復(fù)數(shù)形式的實例可以作為單個實例被提供用于本文描述的組件、操作或結(jié)構(gòu)。最后，各個組件、操作和數(shù)據(jù)存儲之間的界限在某種程度上是任意的，以及特定的操作是在具體的說明性配置的上下文中示出的。功能的其它分配被設(shè)想并且可以落在本主題的范圍內(nèi)。一般來說，在示例性配置中作為單獨的組件給出的結(jié)構(gòu)和功能可以被實現(xiàn)為組合的結(jié)構(gòu)或組件。類似地，作為單個組件給出的結(jié)構(gòu)和功能可以被實現(xiàn)為單獨的組件。這些和其它變形、修改、添加和改進可以落在本主題的范圍內(nèi)。