專利名稱：在增強現(xiàn)實中通過動態(tài)建模來進行魯棒對象識別的制作方法
在增強現(xiàn)實中通過動態(tài)建模來進行魯棒對象識別相關(guān)申請的交叉引用本申請要求于2010年3月10日提交的題為“ROBUST OBJECT RECOGNITION BYDYNAMIC MODELING IN AUGMENTED REALITY” 的美國專利申請序號 No. 12/720，858 的優(yōu)先權(quán)。為了所有的目的，將該專利申請的公開內(nèi)容以引用的方式并入本文中。
背景技術(shù)：
除非本文中另行指示，否則在本節(jié)中描述的材料對于本申請的權(quán)利要求不是現(xiàn)有技術(shù)，而且并不通過將其包括在本節(jié)中而認可其是現(xiàn)有技術(shù)。 增強現(xiàn)實(AR)指代具有通過虛擬(一般是計算機產(chǎn)生的)影像增強的元素的物理(真實)世界環(huán)境，從而創(chuàng)建了混合現(xiàn)實。傳統(tǒng)上，該增強是實時的且在環(huán)境因素的上下文中，比如體育賽事、軍事演習(xí)、游戲等等。AR技術(shù)通過添加對象識別和圖像產(chǎn)生，使得與個人周圍的真實世界相關(guān)的信息能夠變?yōu)榛拥那铱蓴?shù)字化使用?？梢源鎯Σ@取與環(huán)境和對象相關(guān)的人工信息，作為與實際世界視圖層分離的信息層。本公開意識到AR系統(tǒng)存在若干限制。對象識別是AR的主要組成部分，且在對象識別中通常使用基于外觀的方案?；谕庥^的對象識別方案可以處理以下各項的組合效果形狀、反射比屬性、場景中的姿態(tài)、照明條件、以及可比較效果。此外，可以通過與傳統(tǒng)形狀表示不同的自動學(xué)習(xí)階段，獲取基于外觀的表示。然而，基于外觀的識別技術(shù)依然存在各種挑戰(zhàn)，因為其依賴于直接的基于外觀的匹配，且不能成功地處理遮擋(occlusion)、異常數(shù)據(jù)(outlier)、以及變化的背景。換言之，基于外觀的方案不是魯棒的，其中，術(shù)語“魯棒”指代在存在各種類型的噪聲的情況下結(jié)果依然保持穩(wěn)定，且可以容忍異常數(shù)據(jù)的特定部分。

發(fā)明內(nèi)容
以下發(fā)明內(nèi)容僅是說明性的，且不意在以任何方式加以限制。除了上述說明性方面、實施例和特征之外，通過參照附圖以及以下詳細描述，其他方面、實施例和特征將變得顯而易見。本公開總體上描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括將對象的二維圖像轉(zhuǎn)換為圖像域表示。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法還可以包括基于所述圖像域表示的節(jié)點之間的鏈接，定義所述圖像域中的屬性圖，以及定義模型域中的另一屬性圖。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法還可以包括通過識別并激活屬性圖的對應(yīng)節(jié)點之間的鏈接，匹配所述圖像域中的屬性圖和所述模型域中的屬性圖。本公開還描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置可以包括存儲器，適于存儲圖像數(shù)據(jù)和圖數(shù)據(jù)；以及第一處理單元，適于執(zhí)行動態(tài)建模模塊，其中，所述動態(tài)建模模塊可以適于將二維(2D)圖像從存儲的圖像數(shù)據(jù)變換為圖像域表示，所述圖像域表示包括鏈接節(jié)點的2D數(shù)組，且每個節(jié)點對圖像域中的至少一個區(qū)別特征進行編碼，確定表示所述圖像域中的每個節(jié)點的所述至少一個特征的活動向量的頂點標簽，確定表示所述圖像域的節(jié)點之間的連通性的邊標簽，以及基于所述頂點標簽和/或所述邊標簽中的一個或更多個來定義模型域中的屬性圖，所述屬性圖被存儲在所述存儲器中作為所述圖數(shù)據(jù)的一部分。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置還可以包括第二處理單元，適于執(zhí)行圖匹配模塊，其中，所述圖匹配模塊適于識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接，以及減小具有類似特征的節(jié)點之間的連接的數(shù)目。本公開還描述了一種計算機可讀存儲介質(zhì)，具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的指令。所述指令可以包括將對象的二維圖像轉(zhuǎn)換為包括多個鏈接節(jié)點在內(nèi)的圖像域表示，每個節(jié)點包括特征檢測器的集合。所述指令還可以包括通過向所述二維圖像的每個像素應(yīng)用所述特征檢測器，確定表示特征檢測器的活動向量的頂點標簽。所述指令還可以包括通過檢測每個節(jié)點之間的鏈接，確定表示所述節(jié)點之間的連通 性的邊標簽。所述指令還可以包括基于所述頂點標簽和所述邊標簽，產(chǎn)生所述圖像域中的屬性圖，以及定義模型域中的屬性圖，其中，所述模型域中的屬性圖可以是所述圖像域中的屬性圖的理想化副本。所述指令還可以包括基于屬性圖的頂點標簽和邊標簽的匹配，確定所述圖像域中的屬性圖和所述模型域中的屬性圖之間的連接，以及將所述連接簡化為所述圖像域和所述模型域之間的拓撲保留映射。本公開還描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)可以包括至少一個傳感器，適于捕捉實際場景的二維(2D)圖像；以及圖像處理服務(wù)器，適于將所述2D圖像轉(zhuǎn)換為圖像域表示，所述圖像域表示包括圖像域中的節(jié)點的2D數(shù)組，每個節(jié)點包括特征檢測器的集合。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以包括現(xiàn)實服務(wù)器，適于確定表示所述圖像域中每個節(jié)點的至少一個特征的活動向量的頂點標簽，確定表示所述圖像域的節(jié)點之間的連通性的邊標簽，基于所述頂點標簽和所述邊標簽定義所述圖像域中的屬性圖以及模型域中的另一屬性圖，識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接，以及減少具有類似特征的節(jié)點之間的連接的數(shù)目。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以包括圖像產(chǎn)生服務(wù)器，適于通過將所述2D圖像與基于在所述圖像域中的屬性圖和在所述圖像域中的另一屬性圖之間的已減少的連接所呈現(xiàn)的虛擬圖像重疊，來產(chǎn)生增強場景。


根據(jù)與附圖結(jié)合的以下描述和所附權(quán)利要求，本公開的前述和其他特征將變得更加完全地明顯。請理解這些附圖僅示出了根據(jù)本公開的若干實施例，且因此不應(yīng)被視為對其范圍進行了限制，將通過使用附圖并利用附加特征和細節(jié)來描述本公開，在附圖中圖I示出了示例增強現(xiàn)實(AR)系統(tǒng)；圖2示出了采用動態(tài)建模和圖匹配的示例AR系統(tǒng)的框圖；圖3A示出了在示例動態(tài)建模子系統(tǒng)中的示例過程的框圖；圖3B示出了在示例圖匹配子系統(tǒng)中的操作的圖；圖3C示出了在示例圖選擇子系統(tǒng)中的操作的圖；圖4示出了在采用動態(tài)建模和圖匹配的系統(tǒng)中如何將輸入圖像表示為屬性圖5示出了通用計算設(shè)備，其可以用于實現(xiàn)AR系統(tǒng)中的動態(tài)建模和圖匹配；圖6是示出了可以由諸如圖5中設(shè)備500之類的計算設(shè)備來執(zhí)行的示例方法的流程圖；以及圖7示出了示例計算機程序產(chǎn)品的框圖，其全部根據(jù)本文描述的至少一些實施例來布置。
具體實施方式

在以下詳細說明中，參考了作為詳細說明的一部分的附圖。在附圖中，除非上下文另行指明，否則類似符號通常表示類似部件。
具體實施方式
部分、附圖和權(quán)利要求書中記載的示例性實施例并不是限制性的。在不脫離在此所呈現(xiàn)主題的精神或范圍的情況下，可以利用其他實施例，且可以進行其他改變。應(yīng)當理解，在此一般性記載以及附圖中圖示的本公開的各方案可以按照在此明確公開的多種不同配置來設(shè)置、替換、組合、分割和設(shè)計。本公開大體上涉及與在AR系統(tǒng)中的基于動態(tài)建模和圖匹配的魯棒對象識別相關(guān)的方法、裝置、系統(tǒng)、設(shè)備和/或計算機程序產(chǎn)品等。簡而言之，基于動態(tài)建模的魯棒對象識別方案采用了蜂窩區(qū)域的精細尺度時間結(jié)構(gòu)中的相關(guān)，以將這些區(qū)域分組為更高階的實體。該實體表示豐富的結(jié)構(gòu)，且可以用于對高級對象編碼。可以將對象識別格式化為彈性圖匹配。圖I示出了示例增強現(xiàn)實(AR)系統(tǒng)100，其中，可以根據(jù)本公開來實現(xiàn)一些實施例。AR采用了將計算機產(chǎn)生的影像應(yīng)用到實況視頻流中，以擴展真實世界呈現(xiàn)。AR系統(tǒng)一般包括受控環(huán)境，該受控環(huán)境包含一定數(shù)目的傳感器和致動器；一個或多個計算設(shè)備，用于處理實際影像和計算機產(chǎn)生的影像；以及可視化系統(tǒng)，比如頭戴式顯示器、虛擬視網(wǎng)膜顯示器、監(jiān)視器或類似的常規(guī)顯示器以及可比較設(shè)備。AR系統(tǒng)100包括被配置為捕捉實際場景(對象)102的實況圖像的傳感器104。傳感器104可以是數(shù)字相機、網(wǎng)絡(luò)攝像頭和/或可以提供模擬或數(shù)字圖像作為捕捉圖像的類似圖像捕捉設(shè)備?？梢杂蓚鞲衅?04向圖像處理子系統(tǒng)106提供捕捉圖像，圖像處理子系統(tǒng)106可以適于執(zhí)行將模擬圖像數(shù)字化為數(shù)字圖像，接收數(shù)字圖像和/或處理數(shù)字圖像。圖像處理子系統(tǒng)106提供的處理可以包括確定特征點在圖像中的位置、計算仿射投影、跟蹤邊緣、濾波和/或類似操作。圖像處理子系統(tǒng)106還可以被配置為向現(xiàn)實引擎110提供投影信息，比如上述操作的結(jié)果?，F(xiàn)實引擎110可以適于執(zhí)行圖形處理，以呈現(xiàn)基于捕捉圖像的場景?？梢杂涩F(xiàn)實引擎110來呈現(xiàn)虛擬對象，現(xiàn)實引擎110可以被布置為采用下面更詳細討論的動態(tài)建模和圖匹配。圖像產(chǎn)生器108可以適于從傳感器104接收參考圖像，從現(xiàn)實引擎110接收虛擬對象，以及將捕捉到的實際場景圖像與虛擬對象重疊，以產(chǎn)生增強場景。在一個示例實現(xiàn)中，可以通過亮度鍵控(luminance keying)來執(zhí)行虛擬和實際場景圖像的融合,其中,虛擬圖像是鍵輸入(key input)，且實際場景圖像是參考輸入。在該實現(xiàn)中，實際場景圖像可以提供針對亮度鍵的背景信號，且還作為鍵控器(keyer)(圖像產(chǎn)生器)的同步信號。顯示器112是可以用于產(chǎn)生由用戶觀看的增強場景的一個示例可視化機制。如前所述，其他類型的顯示設(shè)備可以用于向用戶提供增強場景114的可視化?？梢詫D像處理子系統(tǒng)106、現(xiàn)實引擎110、以及圖像產(chǎn)生器108實現(xiàn)為不同的應(yīng)用、集成應(yīng)用、集中式服務(wù)、或在一個或多個計算設(shè)備上的分布式服務(wù)。一個或多個計算設(shè)備可以是不同種類的或相同種類的，且可以被實現(xiàn)為通用計算設(shè)備或?qū)Ｓ糜嬎阍O(shè)備，其可以包括獨立的計算機、聯(lián)網(wǎng)的計算機系統(tǒng)、通用處理單元(例如，微處理器、微控制器、數(shù)字信號處理器或DSP等等)、或特殊用途處理單元。如果在不同的計算設(shè)備上執(zhí)行，AR系統(tǒng)100的各種組件可以被配置為通過一個或多個網(wǎng)絡(luò)彼此通信。網(wǎng)絡(luò)可以包括以下各項的任何拓撲結(jié)構(gòu)服務(wù)器、客戶端、交換機、路由器、調(diào)制解調(diào)器、互聯(lián)網(wǎng)服務(wù)提供商、以及任何恰當?shù)耐ㄐ沤橘|(zhì)(例如，有線或無線通信)。根據(jù)實施例的系統(tǒng)可以具有靜態(tài)或動態(tài)網(wǎng)絡(luò)拓撲結(jié)構(gòu)。網(wǎng)絡(luò)可以包括安全網(wǎng)絡(luò)(比如企業(yè)網(wǎng)絡(luò)(例如，LAN、WAN或WLAN))、不安全網(wǎng)絡(luò)(比如無線開放式網(wǎng)絡(luò)(例如，IEEE802. 11無線網(wǎng)絡(luò)))、或全球網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))。網(wǎng)絡(luò)還可以包括適于在一起工作的多個不同網(wǎng)絡(luò)。作為示例而非限制，網(wǎng)絡(luò)可以包括無線介質(zhì)，比如聲、RF、紅外和其他無線介質(zhì)。圖2示出了根據(jù)本文所述的至少一些實施例的采用動態(tài)建模和圖匹配的示例AR系統(tǒng)的框圖200。特別地，為了探查、注冊以及操作等目的，在例如機器視覺行業(yè)中廣泛使用對象識別。然而，用于對象識別的常規(guī)系統(tǒng)通常依賴于基于相關(guān)的模板匹配。本公開識別出并意識到，盡管這些常規(guī)系統(tǒng)對于對象姿態(tài)和亮度嚴格受控的特定工程環(huán)境可能是有效的，當對象旋轉(zhuǎn)、縮放、亮度以及三維姿態(tài)允許改變時，模板匹配在計算方面可能變得非常繁重，且當處理部分可見性以及大的模型數(shù)據(jù)庫時，情況更為嚴重。根據(jù)本公開的至少一些實施例的基于動態(tài)建模的系統(tǒng)可以利用基于語法鏈接結(jié)構(gòu)的數(shù)據(jù)格式的優(yōu)點。更精確地，可以在圖像域中將圖像表示為屬性圖。從而，圖像域包含節(jié)點的二維數(shù)組。在特定位置處的每個節(jié)點可以包括一定數(shù)目的不同特征。示例特征類型可以包括以下一項或多項局部光強度、反射比屬性、場景中的姿態(tài)、遮擋和/或背景變化。然而，還可以使用通過濾波操作所導(dǎo)出的更復(fù)雜的特征類型?？梢詫D像域中的節(jié)點之間的關(guān)系稱為激勵連接(excitatory connection)。在2個節(jié)點之間的激勵連接是加權(quán)連接，其中，權(quán)重可以是正數(shù)(即，引起系統(tǒng)激勵或系統(tǒng)中的正信號)。在一些示例實現(xiàn)中，可以連接相鄰節(jié)點。在其他實現(xiàn)中，在任意數(shù)目節(jié)點之間的復(fù)雜連接可以存在。根據(jù)動態(tài)模型，可以由圖像域中會受到對象影響的子圖來表示特定對象。模型域可以是圖像域中的屬性圖(即，子圖的理想化副本)的合集。從而，激勵連接可以存在于圖像域和模型域之間。這些激勵連接可以保留某些特征。例如，如果2個節(jié)點存在，I個在圖像域中，且I個在模型域中，當它們屬于對應(yīng)的特征類型時，它們之間可以具有連接。使用這種結(jié)構(gòu)，可以將對象識別實現(xiàn)為圖匹配的過程可以將對對象進行編碼的模型域中的屬性圖進行局部失真，以正確地反映變形和改變。在示例圖匹配中，當在圖像域和模型域的多個節(jié)點之間存在近似鄰居保留和特征類型保留映射時，可以將2個圖視為近似相同?？梢愿鶕?jù)一些實施例，通過對圖像域的子圖中的節(jié)點進行分組和選擇性激活來實現(xiàn)圖匹配。可以在不參考模型域的情況下，僅通過將具有類似特征向量的節(jié)點綁定在一起，來部分地實現(xiàn)圖匹配。因此，在與一個對象相對應(yīng)的 圖像部分中的節(jié)點趨向于同步它們的行動，而在不同圖像段之間的節(jié)點趨向于不同步以及打破它們的動態(tài)鏈接。接下來，可以在模型域中識別并激活子圖中的節(jié)點和鏈接(即，從用于連接模式的結(jié)合存儲器(associative memory)中獲取的連接模式)。在對模型域中的鏈接的識別和激活之后，可以將圖像域和模型域中的具有類似特征的節(jié)點之間的連接(多對多)化簡為相容(即，保留拓撲結(jié)構(gòu))的一對一映射。應(yīng)當注意到，上述操作不需要順序執(zhí)行。實際上，根據(jù)實施例的系統(tǒng)可以用交織的方式來執(zhí)行這些動作，因為每個操作可以需要其它操作的部分結(jié)果。返回圖2，框圖200示出了可以提供給根據(jù)所述實施例中至少一個實施例的AR系統(tǒng)的動態(tài)建模塊226的三維(3D)對象222的二維(2D)圖像224。動態(tài)建模塊226可以適于執(zhí)行圖像域變換(比如濾波)，可 以確定頂點和邊屬性，以及可以向圖匹配塊228提供屬性圖像域圖(具有頂點標簽和邊標簽)。如前所述，圖匹配塊228可以適于識別并激活子圖的節(jié)點之間的鏈接，識別并激活模型域中的鏈接，以及將連接化簡至一對一映射?？梢詫⒆鳛榻Y(jié)果的模式230提供給任何消費應(yīng)用232，比如呈現(xiàn)引擎。圖3A示出了根據(jù)本文所述至少一些實施例來布置的示例動態(tài)建模子系統(tǒng)326中的示例過程的框圖300。根據(jù)一些實施例的基于動態(tài)建模的對象識別系統(tǒng)可以包括在2個子系統(tǒng)中執(zhí)行的過程動態(tài)建模子系統(tǒng)和圖匹配子系統(tǒng)。如圖300所示，可以在動態(tài)建模子系統(tǒng)326中，通過以下步驟來完成圖像表示應(yīng)用動態(tài)結(jié)構(gòu)以對2D灰階數(shù)字圖像進行建模，以及提取圖模型(364、366)作為結(jié)果。使用提取的圖模型364和366，可以對輸入圖應(yīng)用圖匹配算法，以從數(shù)據(jù)庫中搜索匹配圖，從而如下面結(jié)合圖3B更詳細討論的分配類標簽。可以將動態(tài)建模子系統(tǒng)326實現(xiàn)為硬件、軟件、或硬件和軟件的組合。例如，通用或?qū)Ｓ靡曨l處理器可以被配置為執(zhí)行下述操作。示例動態(tài)建模子系統(tǒng)326適于接收2D圖像序列作為輸入340。根據(jù)實施例使用動態(tài)模型來進行對象識別的目標是找到用于對與圖像域中的圖的屬性和鏈接有關(guān)的信息進行編碼的數(shù)據(jù)格式，以及將該信息轉(zhuǎn)移至模型域。對圖像進行預(yù)處理可以涉及估計圖像域中每個神經(jīng)元(neuixm)的實際屬性值。這可以通過對與每個神經(jīng)元相關(guān)的波動圖像的集合(例如，來自視頻的圖像序列)進行時間求平均來完成?？梢圆捎脮r間相關(guān)的形式對神經(jīng)元之間的綁定進行編碼，時間相關(guān)扮演了針對信號傳輸?shù)穆?lián)合權(quán)重(synaptic weight)的角色。作為第一步驟，可以處理數(shù)字圖像340 (例如，從視頻中捕捉到的)或靜態(tài)圖像的序列，以在步驟342處產(chǎn)生圖表示(即，圖屬性向量)。下面結(jié)合圖4說明圖提取和表示的示例過程。作為預(yù)處理和圖提取的結(jié)果，獲得圖像域中的圖346。將這些圖稱為全維度圖，因為之后要在維度結(jié)構(gòu)上進行化簡。類似地，可以在框350處在模型域中定義并建立屬性圖，得到模型域圖數(shù)據(jù)庫352。當在圖像域中形成圖像時，可以將以圖像中的一個點為中心的局部特征檢測器加以捆綁，以形成復(fù)合特征檢測器?？梢韵蚰Ｐ陀蛱峁?fù)合特征檢測器，以整體與其他復(fù)合特征檢測器進行比較，從而建立屬性模型域圖。使用復(fù)合特征檢測器可以通過減少針對復(fù)雜特征在能夠識別新的對象類之前訓(xùn)練新的單獨特征作為檢測器的需求，來降低AR系統(tǒng)上的計算和存儲器負擔(dān)。模型域中的圖可以擔(dān)當原型圖數(shù)據(jù)庫，可以使用該原型圖數(shù)據(jù)庫來實現(xiàn)圖匹配算法。原型圖選擇過程354 (如圖3C所述)可以產(chǎn)生原型圖集合362，原型圖集合362可以用于對圖像域和模型域中的圖(344、356)進行分解。模型域圖數(shù)據(jù)庫352也是屬性圖(圖像域中子圖的理想化副本)的合集。在建立原型子圖集合362之后，可以將圖像域中提取的圖化簡(344)為符合預(yù)定義規(guī)則的圖。在圖像域348中的化簡維度圖可以由來自原型圖的子集的組合構(gòu)成。類似地，也可以將模型域中的圖(來自模型域圖數(shù)據(jù)庫352)分解(356)為來自原型圖的子集的組合，導(dǎo)致在圖像域和模型域中在結(jié)構(gòu)上具有化簡維度的圖(分別為 348,360)。然后可以如下結(jié)合圖3B來討論的建立表示在圖像域和模型域中的鄰居關(guān)系的鏈接。神經(jīng)對象從而獲取內(nèi)部結(jié)構(gòu)，且現(xiàn)在可以將他們的關(guān)系約束為具有匹配的語法結(jié)構(gòu)的組合，其形成了對象識別的基礎(chǔ)。圖3B是在根據(jù)本文所述至少一些實施例布置的示例圖匹配子系統(tǒng)328中的操作350的示意圖?？梢杂膳c圖3A的動態(tài)建模子系統(tǒng)326相同的設(shè)備(和/或軟件)或不同的設(shè)備(和/或軟件)來體現(xiàn)圖匹配子系統(tǒng)328。操作350可以包括塊368、370、372、374、376和/或330中一項或多項。在塊368“聯(lián)合權(quán)重和連接計算”，在計算設(shè)備中實現(xiàn)的圖匹配算法可以適于預(yù)處理屬性圖像域圖(由附圖標記364來指示的連接)。預(yù)處理可以涉及估計圖像域中每個神經(jīng)元的實際屬性值，這可以通過對與每個神經(jīng)元相關(guān)的波動圖像的集合進行時間求平均來完成?？梢杂脮r間相關(guān)的形式對神經(jīng)元之間的綁定進行編碼，時間相關(guān)可以用作信號傳輸?shù)穆?lián)合權(quán)重。塊368之后可以是塊370。在塊370“圖像域分段”，可以將圖像域的子圖I中的節(jié)點進行分組?？梢酝ㄟ^將具有類似特征向量的節(jié)點綁定在一起來實現(xiàn)分組或分段，該節(jié)點有可能存在于相同的對象中。這樣，圖像或場景中與一個對象相對應(yīng)的部分內(nèi)的節(jié)點趨向于同步它們的活動，而在不同圖像段之間的節(jié)點趨向于不同步以及打破它們的動態(tài)鏈接。塊370之后可以是塊372。在塊372 “代價函數(shù)檢查”，可以基于從動態(tài)建模子系統(tǒng)提供的圖屬性來執(zhí)行作為圖匹配的一部分的代價函數(shù)檢查。代價函數(shù)是特定解決方案與給定問題的最優(yōu)解決方案相距多遠的度量。在該情況下，優(yōu)化涉及頂點標簽和邊標簽的匹配。塊372之后可以是塊374。在塊374，“最終屬性圖匹配”，可以將屬性圖匹配用于對象識別。屬性圖匹配可以基于發(fā)現(xiàn)并選擇性激活由圖像域中與存儲的模型圖M(如果存儲的模型圖M存在(由附圖標記366所指示的連接))相同或近似相同的部分(子圖)1構(gòu)成的子圖。且還可以將I和M中的對應(yīng)點之間的一對一連接確定為屬性圖匹配的一部分。具體地，可以通過搜索頂點位置的集合來實現(xiàn)該過程，其根據(jù)如上所述確定的代價函數(shù)，同時優(yōu)化了頂點標簽和邊標簽的匹配。還可以在塊374中描述的操作期間，將I和M中具有類似特征的節(jié)點之間的多對多連接減少為相容的一對一映射。塊374之后可以是塊376。在塊376“后向標記(back labeling) ”，可以用識別出的模式來后向標記圖像。圖匹配過程可以包括以下事件同時激活I(lǐng)中的相鄰神經(jīng)元的塊以及M中具有對應(yīng)位置的相鄰神經(jīng)元的塊。因此，在匹配圖之間的動態(tài)綁定可以用于使用識別出的模式來后向標記圖像，以及可以用于基于該模式來形成復(fù)合對象和場景的表示。該模式可以是執(zhí)行操作350的圖匹配子系統(tǒng)328的輸出330。圖3C示出了根據(jù)本文所述至少一些實施例來布置的示例圖選擇子系統(tǒng)中的操作的圖?？梢栽趫D3A的動態(tài)建模子系統(tǒng)的原型圖選擇塊354中執(zhí)行圖3C所述的操作。實時執(zhí)行圖匹配的主要挑戰(zhàn)在于圖模型的高復(fù)雜度。該復(fù)雜度可以由圖的復(fù)雜結(jié)構(gòu)和圖的固有高維度所引起。根據(jù)一些實施例，可以通過開發(fā)有效的圖選擇方法，使用用于構(gòu)造較低維度向量表示(所有圖表示的子集)的自動化方法。該過程可以開始于輸入塊378 “創(chuàng)建原型圖集合”，可以通過例如隨機地選擇圖，來構(gòu)造具有n個原型圖的初始集合Ptl= {Pl，...，Pn}。該初始集合可以包括更簡單的結(jié)構(gòu)、圖，以及可以用于在圖像域和模型域中跨越(span)更完整的圖模型?？梢允褂酶鞣N原型圖選擇算法，根據(jù)模型域中的訓(xùn)練圖集合來構(gòu)造原型圖集合。然后，可以將來自輸入圖像域的提取圖和模型域中的訓(xùn)練圖分解為與每個域相關(guān)的圖的子集，其在結(jié)構(gòu)上更簡單，同時保持了原始圖中用于識別的最多信息量的信息。
具體地，原型圖選擇的目標可以是從模型域的訓(xùn)練集合中(例如，從模型域圖數(shù)據(jù)庫352中)選擇精確表示與它們的圖結(jié)構(gòu)相關(guān)的不同類別的圖的子集。原型圖可以足夠小，以跨越圖像域和模型域中更復(fù)雜的圖結(jié)構(gòu)。原型圖可以同時避免在選擇類似圖和傳輸充足信息方面的冗余。在塊380，“創(chuàng)建初始集合”，可以選擇n個集合Si，使得每個集合包括一個原型S1 ={pj ,. . . , Sn = {pn}。在塊382，“掃描T以找到圖”，可以掃描來自模型域的訓(xùn)練圖集合，以查找圖g G T\p。如塊384“計算g和Pi之間的距離”、386“是最近的鄰居？ ”、以及388“向集合Si添加g”所示，針對每個圖g，可以找到其最近的鄰居Pi G P，且將所考察的圖添加到與原型Pi相對應(yīng)的集合Si中。這些步驟可以導(dǎo)致n個不相交的集合，T U ^^nSi0在塊390，“計算Pi的中心Ci”，可以針對每個集合Si發(fā)現(xiàn)中心Ci。Ci可以是圖，其到Si中其他對象的最大距離是最小的。如判定塊394“Ci = Pi ”以及輸出塊392“輸出原型圖集合Si”所示，對于Ci = Pi的每個中心Ci,可以提供輸出原型圖集合Si。如塊396 “在Si中用Ci來替換Pi”所示，對于Ci幸Pi的每個中心Ci，在Si中可以用Ci來替換Pi，且過程返回塊382以獲得另一訓(xùn)練集合。當在集合Si中不再發(fā)生更多改變時，該過程可以結(jié)束?？梢杂蒼個不相交集合的中心來提供原型圖。盡管上面已使用了特定示例、組件和配置來討論了實施例，它們意在提供針對通過AR系統(tǒng)中的動態(tài)建模來進行魯棒對象識別所要使用的通用指導(dǎo)原則。這些示例不構(gòu)成對實施例的限制，可以使用采用了本文所述原理的其它組件、模塊和配置來實現(xiàn)這些實施例。例如，可以在匹配頂點標簽和邊標簽中使用任何合適的代價函數(shù)。此外，可以按各種順序來執(zhí)行上述動作，特別是以交織的方式來執(zhí)行。圖4示出了在采用根據(jù)本文所述至少一些示例的動態(tài)建模和圖匹配的系統(tǒng)中如何將輸入圖像表示為屬性圖。在根據(jù)一些實施例的圖像表示中，可以應(yīng)用動態(tài)結(jié)構(gòu)以對2D數(shù)字圖像建模，且因此通過圖442中所示過程來提取圖模型。動態(tài)結(jié)構(gòu)可以包括圖像域和模型域中的圖表示。作為第一步驟，可以從輸入數(shù)字圖像中提取特征(Wl至WN)，以便使用這些特征來形成圖表示406 (即，圖像域表示)。圖像域中的圖表示406可以是節(jié)點的2D數(shù)組，且每個節(jié)點包括N個不同的特征檢測器神經(jīng)元402。在一個方面中，在圖像域中形成輸入圖像424的圖表示406可以等價于選擇特征檢測器402的集合并對輸入圖像424的像素應(yīng)用濾波器404。結(jié)果可以是所謂的頂點標簽408，其為表示局部特征檢測器的活動的特征向量。第二步驟可以包括在每個節(jié)點之間形成鏈接。結(jié)果可以是所謂的圖表示406的邊標簽410，表示頂點之間的連通性。從而，可以將輸入圖像424轉(zhuǎn)換為圖像域中的屬性圖，其具有附加到頂點和邊的屬性(特征向量)。因此，對象可以是圖像域中具有類似屬性的子圖表不。當提取圖像以作為圖像域中的圖時，可以將以圖像的一個點為中心的局部特征檢測器對應(yīng)地捆綁，以形成圖442中所示的復(fù)合特征檢測器?？梢韵蚰Ｐ陀蛱峁?fù)合特征檢測器，且與其他復(fù)合特征檢測器比較。這可以消除或降低針對復(fù)雜特征在能夠識別新的對象類之前將新的單個特征訓(xùn)練為檢測器的需求。圖5示出了示例通用計算設(shè)備500，其可以用于實現(xiàn)根據(jù)本公開的AR系統(tǒng)中的動態(tài)建模和圖匹配。在非?；镜呐渲?02中，計算設(shè)備500典型地包括一個或多個處理器504以及系統(tǒng)存儲器506。存儲器總線508可用于在處理器504和系統(tǒng)存儲器506之間進行通信。根據(jù)所期望的配置，處理器504可以是任意類型的，包括但不限于微處理器 (U P)、微控制器C)、數(shù)字信號處理器(DSP)或其任意組合。處理器504可以包括一級或多級高速緩存(例如，級別高速緩存512)、處理器核514、以及寄存器516。示例處理器核514可以包括算術(shù)邏輯單元(ALU)、浮點單元(FPU)、數(shù)字信號處理核(DSP核)或其任意組合。不例存儲器控制器518也可以與處理器504 —起使用，或者在一些實施方式中，存儲器控制器518可以是處理器504的內(nèi)部部件。根據(jù)所期望的配置，系統(tǒng)存儲器506可以是任意類型的，包括但不限于易失性存儲器(如RAM)、非易失性存儲器(如ROM、閃存等)或其任意組合。系統(tǒng)存儲器506可以包括操作系統(tǒng)520、一個或多個應(yīng)用程序522和程序數(shù)據(jù)524。應(yīng)用程序522可以包括AR模塊526，其被布置為使用如上所述的動態(tài)建模和屬性圖匹配來調(diào)整對象識別系統(tǒng)的工作參數(shù)。程序數(shù)據(jù)524可以包括以下一項或多項成像數(shù)據(jù)、模型數(shù)據(jù)528-1、圖數(shù)據(jù)528-2、以及上面結(jié)合圖3A和3B所討論的類似數(shù)據(jù)。該數(shù)據(jù)可以用于如本文所述地產(chǎn)生圖像域子圖和模型域子圖之間的一對一映射。在一些實施例中，應(yīng)用程序522可以設(shè)置為在操作系統(tǒng)520上與程序數(shù)據(jù)524操作，使得如本文所述識別三維對象并產(chǎn)生虛擬表示。這里所描述的基本配置502在圖5中由內(nèi)部虛線內(nèi)的部件來圖示。計算設(shè)備500可以具有額外特征或功能以及額外接口，以有助于基本配置502與任意所需設(shè)備和接口之間進行通信。例如，總線/接口控制器530可以有助于基本配置502與一個或多個數(shù)據(jù)存儲設(shè)備532之間經(jīng)由存儲接口總線534進行通信。數(shù)據(jù)存儲設(shè)備532可以是可拆除存儲設(shè)備536、不可拆除存儲設(shè)備538或其組合?？刹鸪鎯υO(shè)備和不可拆除存儲設(shè)備的示例包括磁盤設(shè)備(如軟盤驅(qū)動器和硬盤驅(qū)動器(HDD))、光盤驅(qū)動器(如緊致盤(CD)驅(qū)動器或數(shù)字通用盤(DVD)驅(qū)動器)、固態(tài)驅(qū)動器(SSD)以及磁帶驅(qū)動器，這僅僅是極多例子中的一小部分。示例計算機存儲介質(zhì)可以包括以任意信息存儲方法和技術(shù)實現(xiàn)的易失性和非易失性、可拆除和不可拆除介質(zhì)，如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。系統(tǒng)存儲器506、可拆除存儲設(shè)備536和不可拆除存儲設(shè)備538均是計算機存儲介質(zhì)的示例。計算機存儲介質(zhì)包括但不限于RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)，CD-ROM、數(shù)字多功能盤(DVD)或其他光存儲設(shè)備，磁盒、磁帶、磁盤存儲設(shè)備或其他磁存儲設(shè)備，或可以用于存儲所需信息并可以由計算設(shè)備500訪問的任意其他介質(zhì)。任何這種計算機存儲介質(zhì)可以是設(shè)備500的一部分。計算設(shè)備500還可以包括接口總線540，以有助于各種接口設(shè)備(例如，輸出接口542、外圍設(shè)備接口 544和通信接口 546)經(jīng)由總線/接口控制器530與基本配置502進行通信。示例輸出設(shè)備542包括圖形處理單元548和音頻處理單元550，其可被配置為經(jīng)由一個或多個A/V端口 552與多種外部設(shè)備(如顯示器或揚聲器)進行通信。示例外圍設(shè)備接口 544包括串行接口控制器554或并行接口控制器556，它們可被配置為經(jīng)由一個或多個I/O端口 558與外部設(shè)備(如輸入設(shè)備(例如，鍵盤、鼠標、筆、語音輸入設(shè)備、觸摸輸入設(shè)備等))或其他外圍設(shè)備(例如，打印機、掃描儀等)進行通信。示例通信設(shè)備546包括網(wǎng)絡(luò)控制器560，其可以被設(shè)置為經(jīng)由一個或多個通信端口 564與一個或多個其他計算設(shè)備562通過網(wǎng)絡(luò)通信鏈路進行通信。網(wǎng)絡(luò)通信鏈路可以是通信介質(zhì)的一個示例。通信介質(zhì)典型地可以由調(diào)制數(shù)據(jù)信號(如載波或其他傳輸機制)中的計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)來體現(xiàn)，并可以包括任意信息傳送介質(zhì)?！罢{(diào)制數(shù)據(jù)信號”可以是通過設(shè)置或改變一個或多個特性而在該信號中實現(xiàn)信息編碼的信號。例如，但并非限制性地，通信介質(zhì)可以包括有線介質(zhì)(如有線網(wǎng)絡(luò)或直接布線連接)、以及無線介質(zhì)(例如聲、射頻(RF)、微波、紅外(IR)和其他無線介質(zhì))。這里所使用的術(shù)語計算機可讀介質(zhì)可以包括存儲介質(zhì)和通信介質(zhì)。計算設(shè)備500可以實現(xiàn)為小體積便攜式(或移動)電子設(shè)備的一部分，如蜂窩電話、個人數(shù)據(jù)助理(PDA)、個人媒體播放設(shè)備、無線web瀏覽設(shè)備、個人耳機設(shè)備、專用設(shè)備 或包括任意上述功能的混合設(shè)備。計算設(shè)備500也可以實現(xiàn)為個人計算機，包括膝上型計算機和非膝上型計算機配置。此外，計算設(shè)備500可以實現(xiàn)為聯(lián)網(wǎng)系統(tǒng)，或?qū)崿F(xiàn)為通用或?qū)Ｓ梅?wù)器的一部分。示例實施例還可以包括方法。這些方法可以用包括本文所述的結(jié)構(gòu)在內(nèi)的任何數(shù)目的方式來實現(xiàn)。一個這種方式是通過本公開所述類型的設(shè)備的機器操作。另一可選方式是針對要執(zhí)行的方法的一個或多個操作，讓一個或多個人類操作者執(zhí)行這些操作中的一些操作，而讓機器執(zhí)行其他操作。這些人類操作者不需要彼此位于一處，但是每個人類操作者可以僅與執(zhí)行一部分程序的機器在一起。在其它示例中，可以將人類交互自動化，比如通過由機器自動化的預(yù)先選擇標準。圖6是示出了可以由根據(jù)本文所述至少一些實施例布置的計算設(shè)備(比如圖5中設(shè)備500)來執(zhí)行的示例方法的流程圖。示例方法可以包括由塊622、624、626、628、630、632和/或634中一項或多項所示出的一個或多個操作、功能或動作。還可以將塊622至634中所述的操作存儲為計算機可讀介質(zhì)(比如計算設(shè)備610的計算機可讀介質(zhì)620)中的計算機可執(zhí)行指令。在AR對象識別中采用動態(tài)建模和圖像匹配的過程可以開始于塊622 “將2D圖像轉(zhuǎn)換為圖像域”。在塊622，可以由計算設(shè)備的處理器(例如，計算設(shè)備500的處理器504或圖形處理單元548)來獲得實際場景中的3D對象的2D圖像。圖像域中的每個節(jié)點可以由一定數(shù)目的不同的特征檢測器神經(jīng)元來構(gòu)成。在可選的濾波過程中，可以選擇特征檢測器的集合并將其應(yīng)用于2D圖像的每個像素。塊622之后可以是塊624 “在節(jié)點之間建立鏈接”。在塊624，可以建立每個節(jié)點頂點之間的鏈接，得到邊標簽，其表示每個節(jié)點之間的連通性。從而，可以將圖像轉(zhuǎn)換為圖像域中的屬性圖，其具有附加到頂點和邊的屬性。塊624之后可以是塊626 “定義圖像域中的屬性圖”。在塊626，通過頂點標簽和邊標簽來定義屬性圖。塊622到626可以由第一計算設(shè)備的處理器(例如，計算設(shè)備500的處理器504或圖形處理單兀548)的動態(tài)建模模塊來執(zhí)行。另一方面，塊628到634可以由相同處理器或通過網(wǎng)絡(luò)耦合到第一計算設(shè)備的第二計算設(shè)備上的另一處理器的圖匹配模塊來執(zhí)行。當然，也可以由單一模塊來執(zhí)行所有塊。塊626之后可以是塊628 “估計每個節(jié)點的實際屬性值”。在塊628，可以在圖像域中通過例如對與每個節(jié)點相關(guān)的波動圖像的集合的時間求平均，來估計每個節(jié)點的實際屬性值。該估計是預(yù)處理的一部分，其還可以包括針對鏈接的聯(lián)合權(quán)重和連接計算。塊628之后可以是塊630 “匹配屬性圖”。在塊630，可以基于發(fā)現(xiàn)并選擇性激活圖像域的子圖中的節(jié)點，來匹配屬性圖。還可以將圖像域和模型域的子圖中的對應(yīng)點之間的一對一連接確定為屬性圖匹配的一部分?？梢酝ㄟ^將 具有類似特征向量的節(jié)點綁定在一起，來實現(xiàn)圖匹配的該初始部分，其也被稱為圖像域中的分段。塊630之后可以是塊632 “識別并激活子圖中的鏈接”。在塊632，可以通過從結(jié)合存儲器中獲取針對2個域中的節(jié)點的連接模式，來完成屬性圖的第二部分。作為識別和激活鏈接的一部分，可以根據(jù)建立的代價函數(shù)來優(yōu)化頂點標簽和邊標簽的匹配。塊632之后可以是塊634 “映射連接”。在塊634，可以將在圖像域和模型域子圖中具有類似特征的節(jié)點之間的多對多連接化簡為一對一連接。結(jié)果，匹配圖之間的動態(tài)綁定可以用于利用識別的模式后向標記圖像。然后可以通過相同計算設(shè)備或其他計算設(shè)備上的呈現(xiàn)軟件和/或硬件，基于模式形成復(fù)合對象和場景的表示。上述過程中包括的塊是用于說明的?？梢杂删哂懈俚膲K或額外的塊的類似過程來實現(xiàn)通過動態(tài)建模和圖匹配來進行的對象識別。在一些示例中，可以按不同順序來執(zhí)行這些塊。在某些其他示例中，可以消除各種塊。在另一些其他示例中，可以將各種塊分為附加塊，或結(jié)合在一起成為較少的塊。圖7示出了根據(jù)本文所述的至少一些實施例布置的示例計算機程序產(chǎn)品700的框圖。在一些示例中，如圖7所示，計算機程序產(chǎn)品700包括信號承載介質(zhì)702，信號承載介質(zhì)702也可以包括計算機可讀指令704，當由例如處理器執(zhí)行時，計算機可讀指令704可以提供上面關(guān)于圖5和圖6所述的功能。從而，例如參見處理器504,AR模塊526可以響應(yīng)于由介質(zhì)702傳遞至處理器504的指令704，而執(zhí)行圖7所示的一個或多個任務(wù)，以執(zhí)行如本文所述的與基于動態(tài)建模的對象識別相關(guān)聯(lián)的動作。一些指令可以包括建立節(jié)點之間的鏈接；定義屬性圖；在圖像域和模型域之間匹配屬性圖；以及確定映射連接。在一些實現(xiàn)中，圖7所示的信號承載介質(zhì)702可以包括計算機可讀介質(zhì)706，比如(但不限于)硬盤驅(qū)動器、緊致盤(CD)、數(shù)字通用盤(DVD)、數(shù)字磁帶、存儲器等。在一些實現(xiàn)中，信號承載介質(zhì)702可以包括可記錄介質(zhì)708，比如(但不限于)存儲器、讀/寫(R/W)⑶、R/W DVD等等。在一些實現(xiàn)中，信號承載介質(zhì)702可以包括通信介質(zhì)710，比如(但不限于)數(shù)字和/或模擬通信介質(zhì)(例如，光纖電纜、波導(dǎo)、有線通信鏈路、無線通信鏈路等等)。從而可以通過例如RF信號承載介質(zhì)702向處理器504的一個或多個模塊傳遞程序產(chǎn)品700，其中，信號承載介質(zhì)702通過無線通信介質(zhì)710 (例如，遵循IEEE802. 11標準的無線通信介質(zhì))來傳遞。本公開總體上描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的方法。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括將對象222的二維圖像224轉(zhuǎn)換為圖像域表示。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法還可以包括基于在所述圖像域表示的節(jié)點之間的鏈接來定義所述圖像域中的屬性圖￠26)，以及在模型域中定義另一屬性圖(350)。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法還可以包括通過識別并激活在屬性圖的對應(yīng)節(jié)點之間的鏈接￠32)，來匹配所述圖像域中的屬性圖和所述模型域中的屬性圖(630)。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括減少在所述圖像域和所述模型域中的屬性圖之間的連接數(shù)目(634);以及使用基于減少的連接的模式來后向標記所述二維圖像的模型域表示(370)。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括通過將所述二維圖像224與所述模型域表示230重疊，來呈現(xiàn)復(fù)合圖像。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括確定與所述圖像域表示中的每個節(jié)點相關(guān)聯(lián)的特征，以及通過將特征應(yīng)用于所述二維圖像224的像素來獲得表示所述圖像域表示中每個節(jié)點的局部特征的活動向量的頂點標簽344。 根據(jù)其它示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法可以包括通過建立在所述圖像域表示的節(jié)點之間的鏈接，獲得表示所述圖像域表示的節(jié)點之間的連通性的邊標簽346。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法的其它示例，可以將所述圖像域348中的屬性圖定義為所述圖像域表示中的節(jié)點和相關(guān)聯(lián)的頂點標簽344和邊標簽346的合集。根據(jù)其他示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法通過向與所述模型域中每個節(jié)點相關(guān)的波動圖像的集合應(yīng)用時間求平均，估計所述模型域628中的節(jié)點的實際屬性值。根據(jù)其他示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法將所述模型域中的節(jié)點之間的綁定編碼為時間相關(guān)362。根據(jù)其他示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的方法基于編碼綁定362來計算權(quán)重，并將其分配給所述模型域中的節(jié)點之間的鏈接。本公開還描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的裝置700。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置可以包括存儲器506，適于存儲圖像數(shù)據(jù)和圖數(shù)據(jù)(528-1、528-2);以及第一處理單元，適于執(zhí)行動態(tài)建模模塊326，其中，所述動態(tài)建模模塊可以適于將二維(2D)圖像從所存儲的圖像數(shù)據(jù)變換為圖像域表示，所述圖像域表示包括鏈接節(jié)點(342)的2D數(shù)組，且每個節(jié)點對圖像域中的至少一個區(qū)別特征進行編碼；確定表示所述圖像域中的每個節(jié)點的所述至少一個特征的活動向量的頂點標簽344 ;確定表示所述圖像域的節(jié)點之間的連通性的邊標簽346 ;以及基于所述頂點標簽和/或所述邊標簽中的一個或多個來定義模型域350中的屬性圖，所述屬性圖被存儲在所述存儲器中作為所述圖數(shù)據(jù)的一部分。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置還可以包括第二處理單元，適于執(zhí)行圖匹配模塊328，其中，所述圖匹配模塊適于識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接￠32)，以及減小具有類似特征的節(jié)點之間的連接的數(shù)目(634)。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，所述動態(tài)建模模塊326還可以適于對所述圖像域中的節(jié)點進行分組和選擇性激活(624)。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，所述動態(tài)建模模塊326還可以適于通過將所述圖像域中具有類似特征向量的節(jié)點綁定在一起，對所述圖像域中的節(jié)點進行分組。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，所述圖匹配模塊328還可以適于通過以下步驟來識別和激活在所述圖像域和所述模型域中的節(jié)點之間的鏈接￠32):從所述存儲器506中獲取連接模式，以及使用從所述存儲器中獲取的連接模式，執(zhí)行對頂點位置的搜索。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，所述圖匹配模塊328還可以適于根據(jù)預(yù)定義的代價函數(shù)，匹配所述頂點標簽344和所述邊標簽346。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置可以包括第三處理單元，適于執(zhí)行呈現(xiàn)模塊(108)，其中，所述呈現(xiàn)模塊可以適于通過基于所述減少的鏈接將所述二維圖像224與所述圖像的模型域表示重疊，來呈現(xiàn)復(fù)合圖像。
根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，可以將所述第一、第二和第三處理單元分別集成到第一計算設(shè)備106、第二計算設(shè)備110和第三計算設(shè)備108中，以及所述第一、第二、和第三計算設(shè)備可以通過網(wǎng)絡(luò)通信。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的裝置的一些示例，所述第一、第二和第三處理單元可以是相同處理器504的一部分。本公開還描述了一種計算機可讀存儲介質(zhì)706，其具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704。所述指令可以包括將對象的二維圖像轉(zhuǎn)換為包括多個鏈接節(jié)點在內(nèi)的圖像域表示￠22)，每個節(jié)點包括特征檢測器的集合。所述指令還可以包括通過對所述二維圖像的每個像素應(yīng)用所述特征檢測器，確定表示特征檢測器的活動向量的頂點標簽344。所述指令還可以包括通過檢測每個節(jié)點之間的鏈接，確定表示所述節(jié)點之間的連通性的邊標簽346。所述指令還可以包括基于所述頂點標簽344和所述邊標簽346，產(chǎn)生所述圖像域348中的屬性圖，以及在模型域350中定義屬性圖，其中，所述模型域中的屬性圖可以是所述圖像域中的屬性圖的理想化副本。所述指令還可以包括基于屬性圖￠30)的頂點標簽和邊標簽和匹配，確定所述圖像域中的屬性圖和所述模型域中的屬性圖之間的連接，以及將所述連接簡化為所述圖像域和所述模型域之間的拓撲保留映射。根據(jù)一些示例，所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)可以包括基于映射的連接來識別模式(481-487)，基于所識別的模式來產(chǎn)生虛擬圖像(474)，以及基于所述二維圖像(472)和所述虛擬圖像(474)的重疊來產(chǎn)生復(fù)合圖像。根據(jù)一些示例，所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)還可以包括通過搜索頂點位置，以及根據(jù)預(yù)定義的代價函數(shù)、針對每個頂點位置優(yōu)化頂點標簽344和邊標簽346之間的匹配，確定所述圖像域和所述模型域中的屬性圖之間的連接(632)。根據(jù)一些示例，所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)還可以包括不參考所述模型域，將所述圖像域中具有類似特征向量(348)的節(jié)點加以綁定。
根據(jù)一些示例，所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)還可以包括如果在所述屬性圖的實質(zhì)上所有節(jié)點之間存在近似鄰居保留和特征類型保留映射，則分別確定所述圖像域和所述模型域中的屬性圖對的連接(632)。根據(jù)一些示例，所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)還可以包括基于分配給所述圖像域中的節(jié)點之間的鏈接的權(quán)重(362)，分別確定所述圖像域和所述模型域中的屬性圖對的連接￠32)。根據(jù)所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的指令704的計算機可讀存儲介質(zhì)的一些示例，可以用交織的方式來執(zhí)行以下步驟在所述圖像域中產(chǎn)生屬性圖(348)，在所述模型域中定義屬性圖(350)，以及確定所述圖像域和所述模型域中的屬性圖之間的連接(632)。根據(jù)所述具有存儲于其上的用于在增強現(xiàn)實(AR)系統(tǒng)(100)中執(zhí)行對象識別的 指令704的計算機可讀存儲介質(zhì)的一些示例，每個節(jié)點可以與包括以下各項在內(nèi)的一個或多個特征相關(guān)聯(lián)局部光強度、反射比屬性、對象姿態(tài)、遮擋、和/或背景變化。本公開還描述了一種用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)可以包括至少一個傳感器104，適于捕捉實際場景102的二維(2D)圖像224 ;以及圖像處理服務(wù)器106，適于將所述2D圖像224轉(zhuǎn)換為圖像域表示，所述圖像域表示包括圖像域中的節(jié)點￠22)的2D數(shù)組，每個節(jié)點包括特征檢測器的集合。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以包括現(xiàn)實服務(wù)器110，適于確定表示所述圖像域中每個節(jié)點的至少一個特征的活動向量的頂點標簽344，確定表示所述圖像域中的節(jié)點之間的連通性的邊標簽346，基于所述頂點標簽和所述邊標簽，定義所述圖像域348中的屬性圖以及模型域350中的另一屬性圖，識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接￠32)，以及減少具有類似特征的節(jié)點之間的連接的數(shù)目(634)。所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以包括圖像產(chǎn)生服務(wù)器108，適于通過將所述2D圖像224與虛擬圖像重疊，產(chǎn)生增強場景114，所述虛擬圖像是基于所述圖像域中的屬性圖和所述圖像域中的另一屬性圖之間的已減少的連接來呈現(xiàn)的。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以適于在結(jié)合數(shù)據(jù)存儲器352中存儲所述模型域中的屬性圖。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以適于通過確定屬性圖的實質(zhì)上所有節(jié)點之間的近似鄰居保留和特征類型保留映射，識別并激活所述圖像域中的節(jié)點和所述模型域￠32)中的對應(yīng)節(jié)點之間的鏈接，以及將所述連接簡化為拓撲保留連接(634)。根據(jù)所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)的一些示例，所述圖像處理服務(wù)器106、現(xiàn)實服務(wù)器110以及圖像產(chǎn)生服務(wù)器108可以是以下之一的一部分集中式AR系統(tǒng)和分布式AR系統(tǒng)。根據(jù)一些示例，所述用于在增強現(xiàn)實(AR)系統(tǒng)中執(zhí)行對象識別的系統(tǒng)還可以包括可視化系統(tǒng)112，適于使所述增強場景114可視化，其中，所述可視化系統(tǒng)可以包括以下一項或多項頭戴式顯示器、虛擬視網(wǎng)膜顯示器和/或監(jiān)視器。
在系統(tǒng)方案的硬件和軟件實現(xiàn)方式之間存在一些小差別；硬件或軟件的使用一般(但并非總是，因為在特定情況下硬件和軟件之間的選擇可能變得很重要)是一種體現(xiàn)成本與效率之間權(quán)衡的設(shè)計選擇?？梢愿鞣N手段(例如，硬件、軟件和/或固件)來實施這里所描述的工藝和/或系統(tǒng)和/或其他技術(shù)，并且優(yōu)選的手段將隨著所述工藝和/或系統(tǒng)和/或其他技術(shù)所應(yīng)用的環(huán)境而改變。例如，如果實現(xiàn)方確定速度和準確性是最重要的，則實現(xiàn)方可以選擇主要為硬件和/或固件的手段；如果靈活性是最重要的，則實現(xiàn)方可以選擇主要是軟件的實施方式；或者，同樣也是可選地，實現(xiàn)方可以選擇硬件、軟件和/或固件的特定組合。以上的詳細描述通過使用方框圖、流程圖和/或示例，已經(jīng)闡述了設(shè)備和/或工藝的眾多實施例。在這種方框圖、流程圖和/或示例包含一個或多個功能和/或操作的情況下，本領(lǐng)域技術(shù)人員應(yīng)理解，這種方框圖、流程圖或示例中的每一功能和/或操作可以通過各種硬件、軟件、固件或?qū)嵸|(zhì)上它們的任意組合來單獨和/或共同實現(xiàn)。在一個實施例中，本公開所述主題的若干部分可以通過專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、數(shù)字信號處理器(DSP)、或其他集成格式來實現(xiàn)。然而，本領(lǐng)域技術(shù)人員應(yīng)認識到，這里所公開 的實施例的一些方面在整體上或部分地可以等同地實現(xiàn)在集成電路中，實現(xiàn)為在一臺或多臺計算機上運行的一個或多個計算機程序(例如，實現(xiàn)為在一臺或多臺計算機系統(tǒng)上運行的一個或多個程序)，實現(xiàn)為在一個或多個處理器上運行的一個或多個程序(例如，實現(xiàn)為在一個或多個微處理器上運行的一個或多個程序)，實現(xiàn)為固件，或者實質(zhì)上實現(xiàn)為上述方式的任意組合，并且本領(lǐng)域技術(shù)人員根據(jù)本公開，將具備設(shè)計電路和/或?qū)懭胲浖?或固件代碼的能力。本公開不限于在本申請中描述的具體示例，這些具體示例意在說明不同方案。本領(lǐng)域技術(shù)人員清楚，不脫離本公開的精神和范圍，可以做出許多修改和變型。本領(lǐng)域技術(shù)人員根據(jù)之前的描述，除了在此所列舉的方法和裝置之外，還可以想到本公開范圍內(nèi)功能上等價的其他方法和裝置。這種修改和變型應(yīng)落在所附權(quán)利要求的范圍內(nèi)。本公開應(yīng)當由所附權(quán)利要求的術(shù)語及其等價描述的整個范圍來限定。應(yīng)當理解，本公開不限于具體方法、試齊U、化合物組成或生物系統(tǒng)，這些都是可以改變的。還應(yīng)理解，這里所使用的術(shù)語僅用于描述具體示例的目的，而不應(yīng)被認為是限制性的。此外，本領(lǐng)域技術(shù)人員將認識到，本文所述主題的機制能夠作為多種形式的程序產(chǎn)品進行分發(fā)，并且無論實際用來執(zhí)行分發(fā)的信號承載介質(zhì)的具體類型如何，本公開所述主題的示例性實施例均適用。信號承載介質(zhì)的示例包括但不限于可記錄型介質(zhì)，如軟盤、硬盤驅(qū)動器、緊致盤(CD)、數(shù)字通用盤(DVD)、數(shù)字磁帶、計算機存儲器等；以及傳輸型介質(zhì)，如數(shù)字和/或模擬通信介質(zhì)(例如，光纖光纜、波導(dǎo)、有線通信鏈路、無線通信鏈路等)。本領(lǐng)域技術(shù)人員應(yīng)認識到，上文詳細描述了設(shè)備和/或工藝，此后使用工程實踐來將所描述的設(shè)備和/或工藝集成到數(shù)據(jù)處理系統(tǒng)中是本領(lǐng)域的常用手段。也即，這里所述的設(shè)備和/或工藝的至少一部分可以通過合理數(shù)量的試驗而被集成到數(shù)據(jù)處理系統(tǒng)中。本領(lǐng)域技術(shù)人員將認識到，典型的數(shù)據(jù)處理系統(tǒng)一般包括以下各項中的一項或多項系統(tǒng)單元外殼；視頻顯示設(shè)備；存儲器，如易失性和非易失性存儲器；處理器，如微處理器和數(shù)字信號處理器；計算實體，如操作系統(tǒng)、驅(qū)動程序、圖形用戶接口、以及應(yīng)用程序；一個或多個交互設(shè)備，如觸摸板或屏幕；和/或控制系統(tǒng)，包括反饋環(huán)和控制電機(例如，用于感測位置和/或速度的反饋；用于移動和/或調(diào)節(jié)成分和/或數(shù)量的控制電機)。
典型的數(shù)據(jù)處理系統(tǒng)可以利用任意合適的商用部件(如數(shù)據(jù)計算/通信和/或網(wǎng)絡(luò)計算/通信系統(tǒng)中常用的部件)予以實現(xiàn)。本公開所述的主題有時說明不同部件包含在不同的其他部件內(nèi)或者不同部件與不同的其他部件相連。應(yīng)當理解，這樣描述的架構(gòu)只是示例，事實上可以實現(xiàn)許多能夠?qū)崿F(xiàn)相同功能的其他架構(gòu)。在概念上，有效地“關(guān)聯(lián)”用以實現(xiàn)相同功能的部件的任意設(shè)置，從而實現(xiàn)所需功能。因此，這里組合實現(xiàn)具體功能的任意兩個部件可以被視為彼此“關(guān)聯(lián)”從而實現(xiàn)所需功能，而無論架構(gòu)或中間部件如何。同樣，任意兩個如此關(guān)聯(lián)的部件也可以看作是彼此“可操作地連接”或“可操作地耦合”以實現(xiàn)所需功能，且能夠如此關(guān)聯(lián)的任意兩個部件也可以被視為彼此“能可操作地耦合”以實現(xiàn)所需功能。能可操作地耦合的具體示例包括但不限于物理上可連接和/或物理上交互的部件，和/或無線可交互和/或無線交互的部件，和/或邏輯交互和/或邏輯可交互的部件。至于本文中任何關(guān)于多數(shù)和/或單數(shù)術(shù)語的使用，本領(lǐng)域技術(shù)人員可以從多數(shù)形式轉(zhuǎn)換為單數(shù)形式，和/或從單數(shù)形式轉(zhuǎn)換為多數(shù)形式，以適合具體環(huán)境和應(yīng)用。為清楚起見，在此明確聲明單數(shù)形式/多數(shù)形式可互換。本領(lǐng)域技術(shù)人員應(yīng)當理解，一般而言，所使用的術(shù)語，特別是所附權(quán)利要求中(例如，在所附權(quán)利要求的主體部分中)使用的術(shù)語，一般地應(yīng)理解為“開放”術(shù)語(例如，術(shù)語“包括”應(yīng)解釋為“包括但不限于”，術(shù)語“具有”應(yīng)解釋為“至少具有”等)。本領(lǐng)域技術(shù)人員還應(yīng)理解，如果意在所引入的權(quán)利要求中標明具體數(shù)目，則這種意圖將在該權(quán)利要求中明確指出，而在沒有這種明確標明的情況下，則不存在這種意圖。例如，為幫助理解，所附權(quán)利要求可能使用了引導(dǎo)短語“至少一個”和“一個或多個”來引入權(quán)利要求中的特征。然而，這種短語的使用不應(yīng)被解釋為暗示著由不定冠詞“一”或“一個”引入的權(quán)利要求特征將包含該特征的任意特定權(quán)利要求限制為僅包含一個該特征的實施例，即便是該權(quán)利要求既包括引導(dǎo)短語“一個或多個”或“至少一個”又包括不定冠詞如“一”或“一個”(例如，“一”和/或“一個”應(yīng)當被解釋為意指“至少一個”或“一個或多個”)；在使用定冠詞來引入權(quán)利要求中的特征時，同樣如此。另外，即使明確指出了所引入權(quán)利要求特征的具體數(shù)目，本領(lǐng)域技術(shù)人員應(yīng)認識到，這種列舉應(yīng)解釋為意指至少是所列數(shù)目(例如，不存在其他修飾語的短語“兩個特征”意指至少兩個該特征，或者兩個或更多該特征)。另外，在使用類似于“A、B和C等中至少一個”這樣的表述的情況下，一般來說應(yīng)該按照本領(lǐng)域技術(shù)人員通常理解該表述的含義來予以解釋(例如，“具有A、B和C中至少一個的系統(tǒng)”應(yīng)包括但不限于單獨具有A、單獨具有B、單獨具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系統(tǒng)等)。在使用類似于“A、B或C等中至少一個”這樣的表述的情況下，一般來說應(yīng)該按照本領(lǐng)域技術(shù)人員通常理解該表述的含義來予以解釋(例如，“具有A、B或C中至少一個的系統(tǒng)”應(yīng)包括但不限于單獨具有A、單獨具有B、單獨具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系統(tǒng)等)。本領(lǐng)域技術(shù)人員還應(yīng)理解，實質(zhì)上任意表示兩個或更多可選項目的轉(zhuǎn)折連詞和/或短語，無論是在說明書、權(quán)利要求書還是附圖中，都應(yīng)被理解為給出了包括這些項目之一、這些項目任一方、或兩個項目的可能性。例如，短語“A或B”應(yīng)當被理解為包括“A”或“B”、或“A和B”的可能性。另外，在以馬庫什組描述本公開的特征或方案的情況下，本領(lǐng)域技術(shù)人員應(yīng)認識至IJ，本公開由此也是以該馬庫什組中的任意單獨成員或成員子組來描述的。
本領(lǐng)域技術(shù)人員應(yīng)當理解，出于任意和所有目的，例如為了提供書面說明，這里公開的所有范圍也包含任意及全部可能的子范圍及其子范圍的組合。任意列出的范圍可以被容易地看作充分描述且實現(xiàn)了將該范圍至少進行二等分、三等分、四等分、五等分、十等分等。作為非限制性示例，在此所討論的每一范圍可以容易地分成下三分之一、中三分之一和上三分之一等。本領(lǐng)域技術(shù)人員應(yīng)當理解，所有諸如“直至”、“至少”、“大于”、“小于”之類的語言包括所列數(shù)字，并且指代了隨后可以如上所述被分成子范圍的范圍。最后，本領(lǐng)域技術(shù)人員應(yīng)當理解，范圍包括每一單獨數(shù)字。因此，例如具有I 3個單元的組是指具有1、2或3個單元的組。類似地,具有I 5個單元的組是指具有1、2、3、4或5個單元的組，以此類推。盡管已經(jīng)在此公開了多個方案和實施例，但是本領(lǐng)域技術(shù)人員應(yīng)當明白其他方案和實施例。這里所公開的多個方案和實施例是出于說明性的目的，而不是限制性的 ，本公開的真實范圍和精神由所附權(quán)利要求表征。
權(quán)利要求
1.一種用于在增強現(xiàn)實AR系統(tǒng)中執(zhí)行對象識別的方法，所述方法包括 將對象的二維圖像轉(zhuǎn)換為圖像域表示； 基于所述圖像域表示的節(jié)點之間的鏈接，定義圖像域中的屬性圖； 在模型域中定義另一屬性圖；以及 通過識別并激活屬性圖的對應(yīng)節(jié)點之間的鏈接，匹配所述圖像域中的屬性圖和所述模型域中的屬性圖。
2.根據(jù)權(quán)利要求I所述的方法，還包括 減少所述圖像域和所述模型域中的屬性圖之間的連接的數(shù)目；以及 使用基于減少的連接的模式，后向標記所述二維圖像的模型域表示。
3.根據(jù)權(quán)利要求2所述的方法，還包括 通過將所述二維圖像與所述模型域表示重疊來呈現(xiàn)復(fù)合圖像。
4.根據(jù)權(quán)利要求I所述的方法，還包括 確定與所述圖像域表示中每個節(jié)點相關(guān)聯(lián)的特征；以及 通過將特征應(yīng)用于所述二維圖像的像素，獲得表示所述圖像域表示中每個節(jié)點的局部特征的活動向量的頂點標簽。
5.根據(jù)權(quán)利要求4所述的方法，還包括 通過建立所述圖像域表示的節(jié)點之間的鏈接，獲得表示所述圖像域表示的節(jié)點之間的連通性的邊標簽。
6.根據(jù)權(quán)利要求5所述的方法，其中，將所述圖像域中的屬性圖定義為所述圖像域表示中的節(jié)點以及相關(guān)聯(lián)的頂點標簽和邊標簽的合集。
7.根據(jù)權(quán)利要求I所述的方法，還包括 通過向與所述模型域中的每個節(jié)點相關(guān)的波動圖像的集合應(yīng)用時間求平均，估計所述模型域中的節(jié)點的實際屬性值。
8.根據(jù)權(quán)利要求7所述的方法，還包括 將所述模型域中的節(jié)點之間的綁定編碼為時間相關(guān)。
9.根據(jù)權(quán)利要求8所述的方法，還包括 基于編碼的綁定，計算權(quán)重并將權(quán)重分配給所述模型域中的節(jié)點之間的鏈接。
10.一種用于在增強現(xiàn)實AR系統(tǒng)中執(zhí)行對象識別的裝置，所述裝置包括 存儲器，適于存儲圖像數(shù)據(jù)和圖數(shù)據(jù)； 第一處理單元，適于執(zhí)行動態(tài)建模模塊，其中，所述動態(tài)建模模塊適于 將二維2D圖像從存儲的圖像數(shù)據(jù)變換為圖像域表示，所述圖像域表示包括鏈接節(jié)點的2D數(shù)組，每個節(jié)點對圖像域中的至少一個區(qū)別特征進行編碼； 確定表示所述圖像域中的每個節(jié)點的所述至少一個特征的活動向量的頂點標簽； 確定表示所述圖像域的節(jié)點之間的連通性的邊標簽；以及 基于所述頂點標簽和/或所述邊標簽中的一個或多個來定義模型域中的屬性圖，所述屬性圖被存儲在所述存儲器中作為所述圖數(shù)據(jù)的一部分；以及 第二處理單元，適于執(zhí)行圖匹配模塊，其中，所述圖匹配模塊適于 識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接；以及 減小具有類似特征的節(jié)點之間的連接的數(shù)目。
11.根據(jù)權(quán)利要求10所述的裝置，其中，所述動態(tài)建模模塊還適于 對所述圖像域中的節(jié)點進行分組和選擇性激活。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述動態(tài)建模模塊還適于通過將所述圖像域中具有類似特征向量的節(jié)點綁定在一起，對所述圖像域中的節(jié)點進行分組。
13.根據(jù)權(quán)利要求10所述的裝置，其中，所述圖匹配模塊還適于通過以下步驟來識別和激活在所述圖像域和所述模型域中的節(jié)點之間的鏈接 從所述存儲器獲取連接模式；以及 使用從所述存儲器獲取的連接模式，執(zhí)行針對頂點位置的搜索。
14.根據(jù)權(quán)利要求13所述的裝置，其中，所述圖匹配模塊還適于 根據(jù)預(yù)定義的代價函數(shù)，匹配所述頂點標簽和所述邊標簽。
15.根據(jù)權(quán)利要求10所述的裝置，還包括 第三處理單元，適于執(zhí)行呈現(xiàn)模塊，其中，所述呈現(xiàn)模塊適于通過將所述二維圖像與基于所述減少的連接的所述圖像的模型域表示重疊，呈現(xiàn)復(fù)合圖像。
16.根據(jù)權(quán)利要求15所述的裝置，其中，將第一處理單元、第二處理單元和第三處理單元分別集成到第一計算設(shè)備、第二計算設(shè)備和第三計算設(shè)備中，以及所述第一計算設(shè)備、所述第二計算設(shè)備和所述第三計算設(shè)備通過網(wǎng)絡(luò)通信。
17.根據(jù)權(quán)利要求15所述的裝置，其中，所述第一處理單元、所述第二處理單元和所述第三處理單元是相同處理器的一部分。
18.一種計算機可讀存儲介質(zhì)，具有其上存儲的用于在增強現(xiàn)實AR系統(tǒng)中執(zhí)行對象識別的指令，所述指令包括 將對象的二維圖像轉(zhuǎn)換為包括多個鏈接節(jié)點在內(nèi)的圖像域表示，每個節(jié)點包括特征檢測器的集合； 通過向所述二維圖像的每個像素應(yīng)用所述特征檢測器，確定表示所述特征檢測器的活動向量的頂點標簽； 通過檢測每個節(jié)點之間的鏈接，確定表示所述節(jié)點之間的連通性的邊標簽； 基于所述頂點標簽和所述邊標簽，產(chǎn)生圖像域中的屬性圖； 在模型域中定義屬性圖，其中，所述模型域中的屬性圖是所述圖像域中的屬性圖的理想化副本； 基于屬性圖的頂點標簽和邊標簽的匹配，確定所述圖像域中的屬性圖和所述模型域中的屬性圖之間的連接；以及 將所述連接簡化為所述圖像域和所述模型域之間的拓撲保留映射。
19.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，所述指令還包括 基于映射的連接來識別模式； 基于所識別的模式產(chǎn)生虛擬圖像；以及 基于所述二維圖像和所述虛擬圖像的重疊來產(chǎn)生復(fù)合圖像。
20.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，所述指令還包括 通過搜索頂點位置，以及根據(jù)預(yù)定義的代價函數(shù)、針對每個頂點位置優(yōu)化頂點標簽和邊標簽之間的匹配，確定所述圖像域和所述模型域中的屬性圖之間的連接。
21.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，所述指令還包括不參考所述模型域，將所述圖像域中具有類似特征向量的節(jié)點進行綁定。
22.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，所述指令還包括 如果在所述屬性圖的實質(zhì)上所有節(jié)點之間存在近似鄰居保留和特征類型保留映射，則分別確定所述圖像域和所述模型域中的屬性圖對的連接。
23.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，所述指令還包括 基于分配給所述圖像域中的節(jié)點之間的鏈接的權(quán)重，分別確定所述圖像域和所述模型域中的屬性圖對的連接。
24.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，以交織的方式執(zhí)行以下步驟產(chǎn)生所述圖像域中的屬性圖，定義所述模型域中的屬性圖，以及確定所述圖像域和所述模型域中的屬性圖之間的連接。
25.根據(jù)權(quán)利要求18所述的計算機可讀存儲介質(zhì)，其中，每個節(jié)點與包括以下各項的一個或更多個特征相關(guān)聯(lián)局部光強度、反射比屬性、對象姿態(tài)、遮擋和/或背景變化。
26.一種用于在增強現(xiàn)實AR系統(tǒng)中執(zhí)行對象識別的系統(tǒng)，所述系統(tǒng)包括 至少一個傳感器，適于捕捉實際場景的二維2D圖像； 圖像處理服務(wù)器，適于將所述2D圖像轉(zhuǎn)換為圖像域表示，所述圖像域表示包括所述圖像域中的節(jié)點的2D數(shù)組，每個節(jié)點包括特征檢測器的集合； 現(xiàn)實服務(wù)器，適于 確定表示所述圖像域中每個節(jié)點的至少一個特征的活動向量的頂點標簽； 確定表示所述圖像域的節(jié)點之間的連通性的邊標簽； 基于所述頂點標簽和所述邊標簽，定義所述圖像域中的屬性圖以及模型域中的另一屬性圖； 識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接； 減少具有類似特征的節(jié)點之間的連接的數(shù)目；以及 圖像產(chǎn)生服務(wù)器，適于通過將所述2D圖像與虛擬圖像重疊來產(chǎn)生增強場景，所述虛擬圖像是基于所述圖像域中的屬性圖和所述圖像域中的另一屬性圖之間的減少的連接來呈現(xiàn)的。
27.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中，所述現(xiàn)實服務(wù)器還適于 在結(jié)合數(shù)據(jù)存儲器中存儲所述模型域中的屬性圖。
28.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中，所述現(xiàn)實服務(wù)器還適于 通過確定屬性圖的實質(zhì)上所有節(jié)點之間的近似鄰居保留和特征類型保留映射，識別并激活所述圖像域中的節(jié)點和所述模型域中的對應(yīng)節(jié)點之間的鏈接；以及 將所述連接簡化為拓撲保留連接。
29.根據(jù)權(quán)利要求26所述的系統(tǒng)，其中，所述圖像處理服務(wù)器、現(xiàn)實服務(wù)器以及圖像產(chǎn)生服務(wù)器是以下之一的一部分集中式AR系統(tǒng)和分布式AR系統(tǒng)。
30.根據(jù)權(quán)利要求26所述的系統(tǒng)，還包括可視化系統(tǒng)，適于使所述增強場景可視化，其中，所述可視化系統(tǒng)包括以下一項或更多項頭戴式顯示器、虛擬視網(wǎng)膜顯示器和/或監(jiān)視器。
全文摘要
本發(fā)明總體上描述了用于提供基于動態(tài)建模的魯棒對象識別方案的技術(shù)。可以采用蜂窩區(qū)域的精細尺度時間結(jié)構(gòu)上的相關(guān)，將區(qū)域分組為更高階的實體。該實體表示豐富的結(jié)構(gòu)，且可以用于對高級對象編碼?？梢詫ο笞R別格式化為彈性圖匹配。
文檔編號G09G5/00GK102656595SQ201180004985
公開日2012年9月5日 申請日期2011年2月25日 優(yōu)先權(quán)日2010年3月10日
發(fā)明者亨利·梁, 陳思越 申請人:英派爾科技開發(fā)有限公司