專利名稱：圖像匹配裝置和圖像匹配方法
技術(shù)領域：
本發(fā)明涉及圖像匹配裝置和圖像匹配方法。
背景技術(shù)：
利用在從相機接收到的圖像上覆蓋(overlay)從網(wǎng)絡接收到的圖像以及還可從網(wǎng)絡接收到的任何附加信息(例如在設備上正在播放哪首音樂等)，將環(huán)境視覺化變?yōu)榱丝赡?。這種類型的增強型視圖經(jīng)常被稱為“增強現(xiàn)實”(AR)。AR應用需要識別用戶向其請求獲得信息的設備。作為AR應用的示例的Sekai相機基于已捕獲到目標設備的移動設備的位置信息來識別目標設備。該位置信息是使用移動設備中的GPS、運動和角度傳感器來計算的。然而，GPS不提供足夠的精確度，并且插入各個設備的位置會打擾到最終用戶并且將是不被接受的。作為AR應用的另一示例的ARToolKit通過利用要被相機捕獲的標記來識別目標設備。然而，最終用戶需要在不同位置放置標記，并因而最終用戶不會接受該解決方案。US2010135527提出了通過執(zhí)行圖像匹配來識別設備的AR應用。根據(jù)該申請，移動互聯(lián)網(wǎng)設備將捕獲的設備圖像與圖像數(shù)據(jù)庫中存儲的多個候選設備圖像相比較，以識別所捕獲的設備。該解決方案優(yōu)于Sekai相機和ARToolKit，因為該解決方案不需要使用位置信息和標記。然而，當圖像數(shù)據(jù)庫存儲很多設備圖像時，圖像匹配的處理時間將增加，并且圖像匹配的精確度也將退化。因此，期望改進圖像匹配的處理時間和精確度。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供了圖像匹配裝置。該裝置包括:存儲單元，被配置為存儲連接到局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)；獲取單元，被配置為獲得通過捕獲設備而獲得的設備圖像的圖像數(shù)據(jù)；指定單元，被配置為指定要被用于圖像匹配的一個或更多個局域網(wǎng)；以及圖像匹配單元，被配置為執(zhí)行所獲得的圖像數(shù)據(jù)與所存儲的連接到所指定的局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)的圖像匹配。參考附圖，由下面的示例性實施例的描述，本發(fā)明的其他特征將變得顯而易見。


圖1示意了示例性系統(tǒng)，其可包括根據(jù)一些實施例的圖像匹配裝置。圖2示意了根據(jù)第一實施例的組件的示例性部署。圖3A-3C示意了根據(jù)一些實施例的組件的示例性細節(jié)。圖4示意了根據(jù)一些實施例的示例性上下文表。圖5示意了根據(jù)一些實施例，用于管理上下文表的總體操作的示例。圖6示意了根據(jù)本實施例，用于產(chǎn)生AR圖像的總體操作的示例。圖7不意了不例性的捕犾圖像和AR圖像。圖8示意了根據(jù)第二實施例的組件的示例性部署。
圖9示意了根據(jù)第三實施例的組件的示例性部署。圖10示意了根據(jù)第三實施例，用于執(zhí)行圖像匹配的總體操作的示例。圖11示意了根據(jù)第四實施例的組件的示例性部署。
具體實施例方式現(xiàn)在將參照附圖描述本發(fā)明的實施例。下面描述的各個實施例將有助于從一般到更特殊地理解多種概念。應該注意到，本發(fā)明的技術(shù)范圍由權(quán)利要求所限定，而不受下面描述的各個實施例限制。此外，在實施例中描述的特征的所有組合對于本發(fā)明來說不一定都是必不可少的。本發(fā)明的一個方面涉及執(zhí)行圖像匹配的圖像匹配裝置。圖像匹配是用于通過設備的圖像數(shù)據(jù)來識別設備的過程。設備的圖像數(shù)據(jù)可以是設備自己的圖片，或者是從設備的圖片提取的特征值，例如，形狀、顏色等等。用于圖像匹配的圖像數(shù)據(jù)取決于圖像匹配的算法，諸如縮放不變特征變換(Scale Invariant Feature Transform, SIFT)、加速魯棒性特征(Speeded-Up Robust Features, SURF)以及來自加速段測試(Accelerated SegmentTest,FAST)的特征。下文中，術(shù)語“設備圖像”表示設備的圖片，以及術(shù)語“圖像數(shù)據(jù)”表示用于執(zhí)行對設備的圖像匹配的數(shù)據(jù)。設備圖像可以是靜止圖像或是運動圖像的幀。圖1示意了示例性系統(tǒng)100，在該系統(tǒng)100中，可以應用根據(jù)本發(fā)明的一些實施例的圖像匹配裝置。下面，將在增強現(xiàn)實(AR)應用的上下文中描述圖像匹配裝置。然而，可以將圖像匹配裝置用于稍后描述的其他應用。系統(tǒng)100可以包括移動電話101、個人網(wǎng)絡應用服務器(PNAS) 102、網(wǎng)關(guān)(G/W) 103和一個或更多個設備104。移動設備10UPNAS 102和G/W 103中的任何設備可以作為下面描述的圖像匹配裝置操作。移動電話101是向用戶107提供AR圖像的移動設備。移動電話101是用戶終端的示例，并且可以使用其他用戶終端，例如膝上型PC、桌面型PC和數(shù)字相機。G/W 103是LAN 105和互聯(lián)網(wǎng)106之間的網(wǎng)關(guān)設備，并且可以管理LAN 105。設備104連接到LAN 105并經(jīng)由G/W 103向PNAS 102提供其信息?？梢杂筛鶕?jù)本發(fā)明的實施例的圖像匹配裝置來識別可連接到局域網(wǎng)的任何設備。局域網(wǎng)包括圖1中示出的家庭網(wǎng)絡，以及車內(nèi)網(wǎng)絡、辦公室網(wǎng)絡和其他閉合網(wǎng)絡。通過使用已知的遠程接入技術(shù)，設備104是從PNAS 102可達的。根據(jù)本發(fā)明的實施例，為了保持圖像匹配簡單和資源需求較小，要與輸入設備相比較的設備被縮減為連接到局域網(wǎng)的設備。PNAS 102是用于聚合在局域網(wǎng)(例如家庭網(wǎng)絡和車內(nèi)網(wǎng)絡)中發(fā)現(xiàn)的設備能力和狀態(tài)信息的服務器。在一些實施例中，PNAS102向移動電話101提供圖像匹配服務。<第一實施例>圖2示意了根據(jù)本發(fā)明的第一實施例，系統(tǒng)100中的各個設備的示例性配置。圖2中的移動電話210、PNAS 220和G/W 230分別對應于圖1中的移動電話10UPNAS 102和G/W 103。在第一實施例中，PNAS 220作為圖像匹配裝置進行操作。移動電話210可以包括CPU 211、存儲器212、相機213、觸摸屏214和AR瀏覽器215o CPU 211控制移動電話210的整體操作。為了簡單起見，沒有示出CPU 211和移動電話210中的各個組件之間的箭頭。存儲器212存儲用于移動電話210的操作的計算機程序和數(shù)據(jù)。相機213是用于捕獲圖像(包括設備104的設備圖像)的圖像形成單元。相機213可以根據(jù)來自用戶107的指令捕獲靜止圖像或運動圖像。相機213向AR瀏覽器215提供所捕獲的圖像。觸摸屏214顯示由AR瀏覽器215提供的AR圖像。觸摸屏214既操作為輸入單元也操作為輸出單元，然而作為觸摸屏214的補充或替代，移動電話210可以分別包括輸入設備(例如，鍵盤)和輸出設備(例如，非觸摸顯示器)。AR瀏覽器215從相機213獲得所捕獲的圖像，并在然后向PNAS 220發(fā)送所捕獲的圖像，以請求所捕獲的圖像的AR圖像。AR瀏覽器215從PNAS 220接收作為響應的AR圖像，并在然后向觸摸屏214提供AR圖像。G/W 230可以包括CPU 231、存儲器232和上下文提供器233。CPU 231控制G/W230的整體操作。為了簡單起見，沒有示出CPU 231和G/W 230中的各個組件之間的箭頭。存儲器232存儲用于G/W 230的操作的計算機程序和數(shù)據(jù)。上下文提供器233發(fā)現(xiàn)連接到LAN 105的設備104。上下文提供器233可以例如使用諸如UPnP、DLNA, Zigbee和Bluetooth等協(xié)議來發(fā)現(xiàn)設備104。當G/W支持一個以上協(xié)議時，上下文提供器233可以使用不同的協(xié)議發(fā)現(xiàn)不同的LAN。作為設備發(fā)現(xiàn)的補充或替代，用戶107可以手動將設備104注冊到上下文提供器233。上下文提供器233還從已發(fā)現(xiàn)的或已注冊的設備104獲得上下文信息。設備104的上下文信息是表示設備的信息，并且可以包括靜態(tài)信息，例如設備標識、設備類型、設備模型、設備制造商、設備能力、以及設備的易記名稱、可能操作的菜單(例如，播放音樂、與用戶107的朋友開啟聊天會話)，還可以包括動態(tài)信息。例如，什么文件、應用和多媒體內(nèi)容被存儲在設備中、什么服務和應用正在運行、誰在使用設備、以及現(xiàn)在使用設備104的朋友的列表。上下文提供器233向PNAS 220提供所獲得的上下文信息。上下文提供器233具有唯一標識符，該唯一標識符被用于識別由G/W 230管理的一個或更多個LAN 105。PNAS 220從移動電話210獲得圖像，識別所獲得的圖像中包括的設備，并創(chuàng)建AR圖像，在該AR圖像上覆蓋了與所識別的設備有關(guān)的信息。PNAS 220將所產(chǎn)生的AR圖像發(fā)送回移動電話210。PNAS 220可以包括CPU 221、存儲器222、AR圖像編排器(composer) 223、圖像匹配器224、上下文管理器225和設備圖像數(shù)據(jù)庫226。CPU 221控制PNAS 220的整體操作。為了簡單起見，沒有示出CPU 221和PNAS 220中的各個組件之間的箭頭。存儲器222存儲用于PNAS 220的操作的計算機程序和數(shù)據(jù)。設備圖像數(shù)據(jù)庫226存儲對相同型號的所有設備來說公共的上下文信息。設備圖像數(shù)據(jù)庫226中存儲的上下文信息的示例可以包括設備型號、設備規(guī)范、版本日期、分類價格和設備制造商。上下文信息還包括設備的圖像數(shù)據(jù)。上下文信息還可以包括所支持的協(xié)議，上下文提供器223可以使用該所支持的協(xié)議來連接到具有該設備型號的設備。作為協(xié)議信息的替代或補充，可以將對軟件的引用包括在上下文信息中，該軟件可安裝在上下文提供器223中，用于連接到具有該設備型號的設備。如上所述，圖像數(shù)據(jù)取決于用于使用圖像匹配的算法。從而，設備圖像數(shù)據(jù)庫226可以包括針對不同算法的不同圖像數(shù)據(jù)集合。設備圖像數(shù)據(jù)庫226還可以包括針對通過從不同角度捕獲設備而獲得的設備圖像的不同圖像數(shù)據(jù)集合?？梢杂蒔NAS 220的操作員、AR服務的服務提供商、AR服務的用戶和/或設備制造商通過管理接口將上下文信息注冊到設備圖像數(shù)據(jù)庫226。設備圖像數(shù)據(jù)庫226可以具有從設備圖像提取圖像數(shù)據(jù)的功能。設備型號的上下文信息與設備型號的標識相關(guān)聯(lián)，以使得通過使用設備型號的標識作為關(guān)鍵字來獲取上下文信息。例如，設備型號的標識可以是設備制造商的名稱與型號名稱的組合，或者其可以是相同設備型號中公共的序列號的前三雙。上下文管理器225管理用于執(zhí)行圖像匹配的圖像數(shù)據(jù)以及上下文信息。如圖3B中示出的，上下文管理器225可以包括上下文表321、設備信息獲取單元322、型號信息獲取單元323和軟件提供單元324。圖4示意了上下文表321的示例。上下文表321存儲設備104的標識、設備104連接到的LAN的LAN標識、設備104的圖像數(shù)據(jù)的集合以及設備104的上下文信息，以使得LAN標識、圖像數(shù)據(jù)的集合和上下文信息與設備標識相關(guān)聯(lián)。列“設備ID” 401表示設備標識，列“LAN ID”表示LAN標識，列“圖像數(shù)據(jù)集”表示圖像數(shù)據(jù)的集合，以及列“上下文信息”表示上下文信息。LAN標識是PNAS 102可以借以唯一地標識LAN的標識。LAN標識的示例是G/W的全球IP地址與G/W使用來管理LAN的私人標識的配對。上下文表321可以包括連接到不同LAN的設備的多個條目。例如，設備“設備A”連接到LAN “LAN A”和“LANC”，設備“設備B”連接到LAN “LAN A”，以及設備“設備D”連接到LAN “LAN B”。圖像數(shù)據(jù)的集合可以包括多個圖像數(shù)據(jù)，例如針對從不同角度捕獲的設備的設備圖像的不同圖形數(shù)據(jù)以及用于執(zhí)行圖像匹配的不同算法的不同圖像數(shù)據(jù)。設備信息獲取單元322獲得設備104的設備標識、設備104連接到的LAN的LAN標識以及設備104的上下文信息。當上下文表321不包括針對于其設備標識已被獲得的設備的條目時，設備信息獲取單元232創(chuàng)建在其中將LAN標識和上下文信息與設備標識相關(guān)聯(lián)的條目。當上下文表321已經(jīng)包括針對于其設備標識已被獲得的設備的條目時，設備信息獲取單元232使用設備標識作為關(guān)鍵字來更新LAN標識和上下文信息。型號信息獲取單元323從設備圖像數(shù)據(jù)庫226獲取設備104的圖像數(shù)據(jù)以及在設備104的設備型號中公共的上下文信息。型號信息獲取單元可以使用從上下文提供器233獲得的上下文信息中包括的設備型號作為關(guān)鍵字。如稍后描述的，軟件提供單元324向上下文提供器233提供軟件。設備圖像數(shù)據(jù)庫226和上下文管理器225都存儲圖像數(shù)據(jù)，然而設備圖像數(shù)據(jù)庫226與上下文管理器225中存儲的針對特定設備104的圖像數(shù)據(jù)可以不同。圖像數(shù)據(jù)庫226中存儲的設備圖像在設備型號中是公共的(換言之，在具有相同設計的設備中是公共的)。另一方面，上下文管理器225中存儲的設備圖像是單個設備104所特有的，因為設備104的實際設備圖像可以不同于在設備型號中公共的設備104的設備圖像。例如，當用戶107在設備104的表面貼上字符印章以個性化設備104時，所捕獲的包含印章的設備圖像可降低與在設備型號中公共的設備圖像的圖像匹配的性能。AR圖像編排器233基于從移動電話210接收到的捕獲的設備圖像，產(chǎn)生AR圖像。在圖2中，AR圖像編排器223包括在PNAS 220中，然而可以代之將AR圖像編排器223包括在移動電話210中。如圖3C中示出的，AR圖像編排器223可以包括AR圖像產(chǎn)生單元331、設備圖像獲取單元332、圖像數(shù)據(jù)產(chǎn)生單元333和發(fā)送單元334。設備圖像獲取單元332從移動電話獲得包括設備104的設備圖像在內(nèi)的捕獲的圖像。圖像數(shù)據(jù)產(chǎn)生單元333基于設備104的設備圖像來產(chǎn)生設備104的圖像數(shù)據(jù)。如上所述，要用于執(zhí)行圖像匹配的圖像數(shù)據(jù)取決于圖像匹配的算法。AR圖像產(chǎn)生單元331向圖像匹配器224發(fā)送圖像數(shù)據(jù)，并請求使用圖像數(shù)據(jù)來執(zhí)行圖像匹配。AR圖像產(chǎn)生單元331獲得針對所識別的設備的上下文信息，并通過將上下文信息覆蓋在捕獲的圖像上來產(chǎn)生AR圖像。發(fā)送單元334向移動電話210發(fā)送所產(chǎn)生的AR圖像。圖像匹配器224識別其圖像已被捕獲的設備104。圖像匹配器224可以包括圖像數(shù)據(jù)獲取單元311、圖像匹配單元312、LAN指定單元313和上下文表更新單元314。圖像數(shù)據(jù)獲取單元311從AR圖像編排器223獲得圖像數(shù)據(jù)。LAN指定單元313指定要被用于圖像匹配的LAN 105。圖像匹配單元312將所獲得的圖像數(shù)據(jù)與上下文管理器225的上下文表321中存儲的圖像數(shù)據(jù)相比較。圖像匹配單元312向AR圖像編排器223返回圖像匹配的結(jié)果。例如，在所獲得的圖像數(shù)據(jù)與上下文表321中存儲的圖像數(shù)據(jù)之一匹配時，圖像匹配單元312返回捕獲的設備的設備標識，以及在所獲得的圖像數(shù)據(jù)與上下文表321中存儲的所有圖像數(shù)據(jù)都不匹配時，返回出錯。圖像匹配單元312使用所指定的LAN標識來縮減將捕獲的設備的圖像數(shù)據(jù)與之相比較的圖像數(shù)據(jù)的數(shù)量。將要比較其圖像數(shù)據(jù)的設備稱為“候選設備”。現(xiàn)在將參考圖4中的上下文表321來描述示例。假設LAN指定單元313因為其圖像已被捕獲的設備104很可能連接到“LAN A”而指定應該將“LAN A”用于圖像匹配。在該情況下，圖像匹配單元312選擇“Dev A”、“Dev B”和“Dev C”作為候選設備，因為其“LAN ID”402包括“LAN A”，并在然后，圖像匹配單元312將所獲得的圖像數(shù)據(jù)與候選設備的圖像數(shù)據(jù)相比較。圖5示意了根據(jù)本實施例，用于管理上下文表321的總體操作的示例。各個設備中包括的CPU執(zhí)行存儲在各個設備的存儲器中的計算機程序，以處理這些操作。在步驟S501中，上下文提供器233例如通過UPnP過程來發(fā)現(xiàn)連接到作為G/W 103的相同LAN 105的設備104。然后，上下文提供器233從已發(fā)現(xiàn)的設備104獲取上下文信息。上下文信息包括已發(fā)現(xiàn)的設備104的設備標識。在步驟S502中，上下文提供器233向上下文管理器225提供已發(fā)現(xiàn)的設備104所連接到的LAN 105的LAN標識，以及已發(fā)現(xiàn)的設備104的上下文信息。上下文提供器233可以使用其標識來作為LAN標識。當上下文提供器233支持一個以上協(xié)議時，上下文提供器233可以針對各個協(xié)議來發(fā)現(xiàn)連接到LAN的設備104。在該情況下，上下文提供器233可以將多個LAN標識與其標識一起向上下文管理器225發(fā)送。上下文管理器225從上下文提供器233接收LAN標識和上下文信息(在相同情況下，還有上下文提供器233的標識)。在步驟S503中，上下文管理器225從設備圖像數(shù)據(jù)庫226獲取在已發(fā)現(xiàn)的設備104的設備型號中公共的上下文信息。上下文管理器225可以使用從上下文提供器233獲得的上下文信息中包括的設備型號的標識來作為關(guān)鍵字。替代上下文信息本身，上下文管理器225可以獲取針對上下文信息的鏈接(例如，URL)。在步驟S504中，上下文管理器使用來自上下文提供器233和設備圖像數(shù)據(jù)庫226的上下文信息創(chuàng)建或更新上下文表中針對已發(fā)現(xiàn)的設備104的條目?？梢灾貜筒襟ES501到S504，以使得上下文表231存儲最新的上下文信息。圖6示意了根據(jù)本實施例，用于產(chǎn)生AR圖像的總體操作的示例。各個設備中包括的CPU執(zhí)行存儲在各個設備的存儲器中的計算機程序，以處理這些操作。可以與圖6中描述的操作并行地執(zhí)行這些操作。
在步驟S601中，用戶107對移動電話210進行移動來捕獲設備104，以及相機捕獲包括設備圖像的圖像，并向AR瀏覽器215發(fā)送捕獲的圖像。圖7示出了捕獲的圖像的示例。捕獲的圖像701包括設備104(例如，音頻設備)的設備圖像702。在該步驟中，AR瀏覽器215可以等待來自相機213的圖像變得穩(wěn)定?？梢允褂靡苿与娫?10的運動和方向傳感器(未示出)以及連續(xù)的相機圖像之間的比較來確定該穩(wěn)定性。此外，當捕獲的圖像中包括兩個或更多設備時，為了確定要識別的設備圖像，AR瀏覽器215可以等待用戶的輸入。例如，用戶107希望在觸摸屏214上僅指出用戶希望獲得與其有關(guān)的信息的設備104。在步驟S602中，AR瀏覽器215向AR圖像編排器223發(fā)送捕獲的圖像701。在步驟S603中，AR圖像編排器223從捕獲的圖像701提取設備圖像702，并基于設備圖像702來創(chuàng)建捕獲的設備104的圖像數(shù)據(jù)。當捕獲的圖像701包括兩個或更多設備圖像時，AR圖像編排器223可以選擇設備圖像中的例如靠近捕獲的圖像701的中心的設備圖像。備選地，AR圖像編排器223可以提取各個設備的設備圖像。在該情況下，針對各個設備圖像執(zhí)行下面的過程。備選地，AR圖像編排器223可以由包括一個或更多個設備的整個捕獲的圖像來創(chuàng)建圖像數(shù)據(jù)。在步驟S604中，AR圖像編排器223向圖像匹配器224發(fā)送捕獲的設備104的圖像數(shù)據(jù)，并請求返回捕獲的設備104的設備標識。如果在圖像數(shù)據(jù)中已經(jīng)匹配了多個設備，圖像匹配器224可以返回一個以上的設備標識。圖像匹配器224可以返回捕獲的設備104在捕獲的圖像701中的位置和大小。在步驟S605中，圖像匹配器指定要被用于圖像匹配的一個或更多個LAN。當移動電話210經(jīng)由G/W 230與PNAS 220通信時，圖像匹配器224可以假設捕獲的設備104和移動電話210連接到相同的LAN，并且可以選擇由G/W 230管理的LAN來作為要被用于圖像匹配的LAN。備選地，圖像匹配器224可以從具有捕獲的圖像701的移動電話210接收LAN105的LAN標識。移動電話210可以通過來自用戶107的輸入獲得LAN標識。可以在移動電話210或PNAS 220中預設用于圖像匹配的一個或更多個LAN標識。當圖像匹配器224獲得上下文提供器233的標識時，圖像匹配器224可以指定由G/W 230管理的、包括上下文提供器233的一個或更多個LAN。圖像匹配器224可以從移動電話210獲得上下文提供器223的標識。備選地，圖像匹配器224可以存儲與移動電話的標識相關(guān)聯(lián)的上下文提供器的標識，并獲得移動電話的標識以識別所存儲的上下文提供器的標識。用戶107可以將用戶107希望用于圖像匹配的一個或更多個LAN注冊到PNAS 220。在步驟S606中，如上所述，圖像匹配器224執(zhí)行捕獲的設備104的圖像數(shù)據(jù)的圖像匹配。在步驟S607中，圖像匹配器224向AR圖像編排器223返回捕獲的設備104的設備標識。當捕獲的圖像包括一個以上的設備圖像時，圖像匹配器224可以返回一個以上的設備標識。在步驟S608中，AR圖像編排器223使用設備標識來作為關(guān)鍵字，向上下文管理器225請求捕獲的設備104的上下文信息。在步驟S609中，上下文管理器225向AR圖像編排器223返回上下文信息。在步驟S610中，AR圖像編排器223通過將捕獲的設備104的上下文信息704覆蓋在捕獲的圖像701上，產(chǎn)生圖7中示出的AR圖像703。在步驟S611中，AR圖像編排器223向AR瀏覽器215發(fā)送AR圖像703。在步驟S612中，AR瀏覽器215在觸摸屏214上顯示AR圖像703。在步驟S613中，圖像匹配器224可以使用圖像匹配的結(jié)果來更新上下文管理器225中的上下文表，以提高下一次比較的性能。捕獲的設備104的圖像數(shù)據(jù)應該表示捕獲的設備104的最新的設備圖像。因此，圖像匹配器224可以通過使用在步驟S604處獲得的圖像數(shù)據(jù)來更新上下文表321中存儲的圖像數(shù)據(jù)的集合。例如，圖像匹配器224可以將上下文表321中存儲的圖像數(shù)據(jù)替換為獲得的圖像數(shù)據(jù)。此外，當在步驟S604處獲得的圖像數(shù)據(jù)從不同的角度和不同的距離捕獲設備104時，可以將獲得的圖像數(shù)據(jù)添加到上下文表321中存儲的圖像數(shù)據(jù)的集合?，F(xiàn)在將描述本實施例的一些變型。這些變型還可以應用于后面描述的其他實施例。圖像匹配器224還可以通過使用周圍環(huán)境的信息(例如，移動電話210發(fā)現(xiàn)的WifiSSID、移動電話210的角度傳感器的值以及相機能力)來縮減候選設備。此外或備選地，上下文管理器225可以對候選設備分類，以使得具有最高可能性的候選設備在第一位，具有較低可能性的設備在其后。圖像匹配器224可以跳過與圖像匹配器224確定在移動電話210的當前位置處相機213不能捕獲的候選設備的圖像匹配。例如，如果用戶107在家中并且汽車駕駛在遠處，汽車導航設備不能被相機213捕獲。不存在用于確定設備被相機213捕獲到的可能性的單個算法，然而可以通過多個方式進行估計。圖像匹配器224可以使用移動設備210的大致位置信息和與家和汽車的距離，其是由GPS測量的，由蜂窩網(wǎng)絡的三角測量法測量的，或者是提前提供的。圖像匹配器224可以使用過去的圖像匹配結(jié)果以及用戶107之前與設備104互動的頻率。如果從過去的圖像匹配知道了移動電話210和設備104之間的相對位置，圖像匹配器224可以估計相機213的大致位置和角度。例如，房間中有TV和立體聲并且TV和立體聲位于相機213永遠不可在同時捕獲到它們的路線上，則當TV在捕獲的圖像中時，可以將立體聲從候選設備移除。<第二實施例>圖8示意了根據(jù)本發(fā)明的第二實施例，系統(tǒng)100中的各個設備的示例性配置。移動電話810和PNAS 820分別對應于移動電話101和PNAS 102。G/W 103未包括在根據(jù)本實施例的系統(tǒng)中。在第二實施例中，移動電話810作為圖像匹配裝置操作。圖8中示出的組件的功能和操作與圖2中示出的組件相似，并因此將省略對這些組件的描述。在本實施例中，移動電話810包括CPU 211、存儲器212、相機213、觸摸屏214、AR瀏覽器215、AR圖像編排器223、圖像匹配器224、上下文提供器233和上下文管理器225。因為移動電話810包括上下文提供器233，移動電話810可以發(fā)現(xiàn)設備104。上下文管理器225可以管理同一移動電話810中的上下文提供器233已發(fā)現(xiàn)的設備。移動電話810可以具有另一 AR瀏覽器應用(例如，Sekai相機)，并在上下文提供器233沒發(fā)現(xiàn)任何設備時使用該AR瀏覽器應用。當上下文提供器233發(fā)現(xiàn)了設備104時，移動電話810可以代之以使用AR瀏覽器215。<第三實施例>圖9示意了根據(jù)本發(fā)明的第三實施例，系統(tǒng)100中的各個設備的示例性配置。圖930中的移動電話910、PNAS 920和G/W 930分別對應于移動電話101、PNAS 102和G/W103。在第三實施例中，PNAS 920和移動電話910作為圖像匹配裝置操作。亦即，移動電話910包括圖像匹配器224a和上下文管理器225a，亦即PNAS 920包括圖像匹配器224b和上下文管理器225b。圖9中示出的組件的功能和操作與圖2中示出的組件相似，并因此將省略對這些組件的描述。在本實施例中，與移動電話910所提供的相比，PNAS 920可以提供更強大的圖像匹配。PNAS 920將具有比移動電話910更大的處理功率。因此，可發(fā)生:由移動電話910中的圖像匹配器224a執(zhí)行的圖像匹配失敗，而由PNAS 920中的圖像匹配器224b執(zhí)行的圖像匹配成功。因此，AR圖像編排器223可以首先向圖像匹配器224a請求圖像匹配，并在接下來向圖像匹配器225b請求圖像匹配。此外，可發(fā)生:上下文管理器225a、225b不包括針對捕獲的設備的實體，例如當上下文提供器233不能發(fā)現(xiàn)捕獲的設備時，即是如此。在該情況下，PNAS 920中的圖像匹配器224b可以將捕獲的設備104的圖像數(shù)據(jù)與設備圖像數(shù)據(jù)庫226中存儲的圖像數(shù)據(jù)相比較。在本實施例中，上下文管理器225a可以作為上下文管理器225b的高速緩存器工作。亦即，上下文管理器225a中的上下文表可以是上下文管理器225b中的上下文表的子集。假設上下文管理器225包括圖4中示出的上下文表321。當移動電話210與G/W 230中的上下文提供器233相關(guān)聯(lián)時(例如，當移動電話210正在經(jīng)由G/W 230與互聯(lián)網(wǎng)106連接時，或者當用戶107向PNAS 220注冊移動電話210與G/W 230之間的關(guān)聯(lián)時)，上下文管理器225a中的上下文表可以僅包括其LAN標識對應于G/W 930的實體410?？梢栽跉w屬訂戶服務器、活躍地址簿、IP多媒體子系統(tǒng)中的存在性和資源列表XDMS中維持移動電話210與上下文提供器233之間的關(guān)聯(lián)。當上下文管理器225a從上下文管理器225b接收數(shù)據(jù)時，上下文管理器225b可以對上下文管理器225a授權(quán)。可以將移動電話910的預訂用于驗證?？梢栽谄渌麑嵤├袌?zhí)行該授權(quán)。作為從上下文管理器225b獲得上下文信息的替代或補充，上下文管理器225a還可以從上下文提供器223和/或設備104獲得上下文信肩、O圖10示意了根據(jù)本實施例，用于執(zhí)行圖像匹配的總體操作的示例。圖10中的操作在圖6中的步驟S606處執(zhí)行。各個設備中包括的CPU執(zhí)行存儲在各個設備的存儲器中的計算機程序，以處理這些操作。在步驟S1001中，AR圖像編排器223向圖像匹配器224a請求執(zhí)行對捕獲的設備104的圖像數(shù)據(jù)的圖像匹配。在步驟S1002中，圖像匹配器224a將捕獲的設備104的圖像數(shù)據(jù)與上下文管理器225a管理的候選設備的圖像數(shù)據(jù)相比較。當存在匹配的候選設備(步驟S1002中是“是”)時，圖像匹配器224a向AR圖像編排器223返回匹配的候選設備的設備標識。當不存在任何匹配的候選設備(步驟S1002中是“否”)時，過程進行到步驟S1003。在步驟S1003中，AR圖像編排器223向圖像匹配器224b請求執(zhí)行對捕獲的設備104的圖像數(shù)據(jù)的圖像匹配。在步驟S1004中，圖像匹配器224b將捕獲的設備104的圖像數(shù)據(jù)與上下文管理器225b管理的候選設備的圖像數(shù)據(jù)相比較。當存在匹配的候選設備(步驟S1004中是“是”)時，圖像匹配器224b向AR圖像編排器223返回匹配的候選設備的設備標識。當不存在任何匹配的候選設備(步驟S1004中是“否”)時，過程進行到步驟S1005。在步驟S1005中，圖像匹配器224b將捕獲的設備104的圖像數(shù)據(jù)與設備圖像數(shù)據(jù)庫226中存儲的圖像數(shù)據(jù)相比較。在該情況下，圖像匹配器224b不可返回捕獲的設備104的設備標識。從而，在步驟S1007中，圖像匹配器224b可以向AR圖像編排器223返回與捕獲的設備104的設備型號有關(guān)的上下文信息。為何上下文管理器225a、225b不包括針對捕獲的設備104的實體的一個可能的原因是捕獲的設備104正在使用上下文提供器233不支持的協(xié)議。在該情況下，通過安裝處理協(xié)議集合的軟件來更新上下文提供器233以發(fā)現(xiàn)設備并獲取設備的上下文信息是可能的。在步驟S1006中，上下文管理器225b中的軟件提供單元324使用在步驟S1005處獲得的設備型號標識來從設備圖像數(shù)據(jù)庫226或設備制造商服務器獲得這種軟件。軟件提供單元324查詢上下文提供器233，以看是否已經(jīng)安裝了軟件以及否則是否可能使用例如TR-069來進行安裝。如果軟件提供單元324知道上下文提供器的狀態(tài)，可以跳過查詢。軟件提供單元324將軟件安裝到上下文提供器233。上下文提供器233啟動安裝的軟件，并發(fā)現(xiàn)尚未發(fā)現(xiàn)的設備。在這之后，上下文管理器225a、225b可以通過圖5中描述的過程來管理安裝了軟件的設備。圖像匹配器224b可以在步驟S1006發(fā)生之前返回結(jié)果，因為將軟件安裝到上下文提供器233的過程花費了時間。在該情況下，圖像匹配器224b將在軟件安裝完成之后從AR圖像編排器接收新的圖像數(shù)據(jù)，并且由上下文提供器233來發(fā)現(xiàn)設備104，以及圖像匹配器224b可以通過針對新的圖像數(shù)據(jù)運行步驟S1005來返回設備的上下文信息?！吹谒膶嵤├祱D11示意了根據(jù)本發(fā)明的第四實施例，系統(tǒng)100中的各個設備的示例性配置。圖1130中的移動電話1110、PNAS 1120和G/W 930分別對應于移動電話10UPNAS 102和G/W103。在第四實施例中，G/W 1130作為圖像匹配裝置操作。亦即，G/W 1130包括CPU 231、存儲器232、上下文提供器233、圖像匹配器224、AR圖像編排器223和上下文管理器225。此夕卜，相機213與移動電話1110位于不同的位置，并例如工作為辦公室中的監(jiān)視相機。圖11中示出的組件的功能和操作與圖2中示出的組件相似，并因此將省略對這些組件的描述。向G/W 1130中的AR圖像編排器223傳送相機213捕獲的圖像。然后，AR圖像編排器223產(chǎn)生AR圖像，并向移動電話1110提供AR圖像。用戶107可以根據(jù)捕獲的圖像上覆蓋的上下文信息與在顯示器中遠程找到的設備104交互。在本實施例中，可以將移動電話1110的移動或者觸摸屏214上的控制連接到遠程相機213的傾斜、搖動和縮放控制相連接?？梢允褂脧倪@些控制導出或從相機213本身獲得的相機角度和縮放比率來如第一實施例中討論的對候選設備進行分類和縮減。移動電話1110可以具有內(nèi)置的相機，以及例如通過將觸摸屏214的上半部指派給相機圖像并將下半部指派給另一方，AR瀏覽器215可以對來自相機213和內(nèi)置相機的圖像都進行呈現(xiàn)。AR瀏覽器215使用戶107可以同時與這些屏幕交互，從一個屏幕向另一個屏幕傳遞對象或信息。AR瀏覽器可以在內(nèi)置相機的捕獲圖像中發(fā)現(xiàn)相機213。然后，PNAS1120可以連接到相機213，并在內(nèi)置相機的捕獲圖像中發(fā)現(xiàn)設備。當相機213被AR瀏覽器215發(fā)現(xiàn)時，可以向上下文提供器233提供相機213的粗略位置，作為用于提高估計精確度的上下文信息的一部分?？梢酝ㄟ^與AR瀏覽器215中的其他已知設備的相對位置，以及還使用移動電話1110中的各個傳感器來再次估計相機213的粗略位置。<其他實施例>在所述實施例中，在AR應用的上下文中描述根據(jù)本發(fā)明的圖像匹配技術(shù)。然而，圖像匹配技術(shù)不限于AR應用。例如，作為捕獲的設備104的上下文信息的替代或補充，AR圖像編排器223或AR瀏覽器213還可以獲得與捕獲的設備104有關(guān)的數(shù)據(jù)。與捕獲的設備104有關(guān)的數(shù)據(jù)可以包括用于控制捕獲的設備104的軟件以及與捕獲的設備104相關(guān)聯(lián)的廣告。當捕獲的設備104例如是TV時，移動電話101可以獲得移動電話101使用其來作為TV的遙控器工作的軟件。數(shù)據(jù)可以包括互聯(lián)網(wǎng)上的社交聯(lián)網(wǎng)服務、日志和微博服務中與捕獲的設備104有關(guān)通告和評論，可選地，該通告和評論是通過考慮到最終用戶與這些服務的社交關(guān)系而獲得的。數(shù)據(jù)還可以包括從設備104的賣方獲得的軟件補丁和防火墻更新信息、對在設備104中運行的新軟件的推薦或廣告。AR瀏覽器213可以將獲得的數(shù)據(jù)、軟件或其補丁與捕獲的圖像一起顯示。根據(jù)本發(fā)明的實施例，可以改進處理時間和圖像的精確度。此外，第一實施例提供了以下優(yōu)點:解決方案可應用于計算資源受限的移動設備。第二實施例提供了以下優(yōu)點:當在移動設備本地發(fā)生圖像匹配和信息的覆蓋時，快速給出對最終用戶的反饋。與第一實施例相比，還對網(wǎng)絡資源有更少的需求。第三實施例提供了混合解決方案，其中，由需要較少計算資源的算法本地地處理圖像，以及通過高級的和/或資源需求量大的算法來對結(jié)果進行補償。盡管已經(jīng)參考示例性實施例描述了本發(fā)明，應當理解本發(fā)明不限于所公開的示例性實施例。以下權(quán)利要求的范圍與最寬的解釋相一致，以便包含所有的這種修改和等同結(jié)構(gòu)與功能。
權(quán)利要求
1.一種圖像匹配裝置(101、102、103)，包括: 存儲單元(321)，被配置為存儲連接到局域網(wǎng)(105)的一個或更多個設備(104)的圖像數(shù)據(jù)； 獲取單元(311)，被配置為獲得通過捕獲設備而獲得的設備圖像的圖像數(shù)據(jù)； 指定單元(313)，被配置為指定要被用于圖像匹配的一個或更多個局域網(wǎng)；以及 圖像匹配單元(312)，被配置為執(zhí)行所獲得的圖像數(shù)據(jù)與所存儲的連接到所指定的局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)的圖像匹配。
2.根據(jù)權(quán)利要求1所述的裝置，還包括:被配置為通過使用所述圖像匹配的結(jié)果來獲得與所捕獲的設備有關(guān)的數(shù)據(jù)的單元(331)。
3.根據(jù)權(quán)利要求2所述的裝置，其中，所述與所捕獲的設備有關(guān)的數(shù)據(jù)包括以下至少一項:與所捕獲的設備有關(guān)的上下文信息、用于控制所捕獲的設備的軟件、以及與所捕獲的設備相關(guān)聯(lián)的廣告。
4.根據(jù)權(quán)利要求1-3中任一項所述的裝置，其中，所述圖像匹配單元還被配置為:基于捕獲設備時的條件，降低在圖像匹配中要使用的圖像數(shù)據(jù)的數(shù)量，或者改變在圖像匹配中要使用的圖像數(shù)據(jù)的順序。
5.根據(jù)權(quán)利要求1-4中任一項所述的裝置，還包括:被配置為針對所捕獲的設備的圖像數(shù)據(jù)將所獲得的圖像數(shù)據(jù)存儲在所述存儲單元中的單元(314)。
6.根據(jù)權(quán)利要求2-5中任一項所述的裝置(102)，其中 所述裝置是用于向移動終端(101)提供圖像匹配服務的服務器， 所述獲取單元被配置為通過從所述移動終端接收圖像數(shù)據(jù)來獲得圖像數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的裝置，其中: 所述獲取單元還被配置為從所述移動終端接收所捕獲的設備的設備圖像，以及所述裝置還包括: 被配置為通過將與所捕獲的設備有關(guān)的數(shù)據(jù)覆蓋到接收到的設備圖像來產(chǎn)生增強現(xiàn)實圖像的單元(331)，以及 被配置為向所述移動終端發(fā)送所產(chǎn)生的增強現(xiàn)實圖像的單元(334)。
8.根據(jù)權(quán)利要求6或7所述的裝置，還包括:數(shù)據(jù)庫(226)，被配置為針對每個設備型號存儲圖像數(shù)據(jù)，其中，所述圖像匹配單元還被配置為:當在與所述存儲單元中存儲的圖像數(shù)據(jù)的圖像匹配中沒有匹配得到圖像數(shù)據(jù)時，執(zhí)行所獲得的圖像數(shù)據(jù)與所述數(shù)據(jù)庫中存儲的圖像數(shù)據(jù)的圖像匹配。
9.根據(jù)權(quán)利要求8所述的裝置，還包括:被配置為向所指定的局域網(wǎng)的網(wǎng)關(guān)(103)或移動終端(101)提供軟件的單元(324)，所述軟件使得當在與所述存儲單元中存儲的圖像數(shù)據(jù)的圖像匹配中沒有匹配得到圖像數(shù)據(jù)時，所述網(wǎng)關(guān)或所述移動終端能夠發(fā)現(xiàn)所捕獲的設備。
10.根據(jù)權(quán)利要求2-5中任一項所述的裝置(101)，其中 所述裝置是移動終端，以及 所述獲取單元還被配置為獲得所捕獲的設備的設備圖像，以及所述裝置還包括: 被配置為通過將與所捕獲的設備有關(guān)的數(shù)據(jù)覆蓋到所獲得的設備圖像來產(chǎn)生增強現(xiàn)實圖像的單元(331)，以及顯示單元(214)，被配置為顯示所產(chǎn)生的增強現(xiàn)實圖像。
11.根據(jù)權(quán)利要求10所述的裝置，還包括:圖像形成單元(213)，被配置為捕獲設備圖像。
12.根據(jù)權(quán)利要求10或11所述的裝置，還包括:單元(215)，被配置為，當在與所述存儲單元中存儲的圖像數(shù)據(jù)的圖像匹配中沒有匹配得到圖像數(shù)據(jù)時，請求提供圖像匹配服務的服務器(102)執(zhí)行對所獲得的圖像數(shù)據(jù)的圖像匹配。
13.—種通過使用存儲器(321)來進行的圖像匹配方法，所述存儲器存儲連接到局域網(wǎng)(105)的一個或更多個設備(104)的圖像數(shù)據(jù)，所述方法包括: 獲得(S604)通過捕獲設備而獲得的設備圖像的圖像數(shù)據(jù)； 指定(S605)要被用于圖像匹配的一個或更多個局域網(wǎng)，以及執(zhí)行(S606)所獲得的圖像數(shù)據(jù)與所存儲的連接到所指定的局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)的圖像 匹配。
全文摘要
本發(fā)明提供了圖像匹配裝置。該裝置包括存儲單元，被配置為存儲連接到局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)；獲取單元，被配置為獲得通過捕獲設備而獲得的設備圖像的圖像數(shù)據(jù)；指定單元，被配置為指定要被用于圖像匹配的一個或更多個局域網(wǎng)；以及圖像匹配單元，被配置為執(zhí)行所獲得的圖像數(shù)據(jù)與所存儲的連接到所指定的局域網(wǎng)的一個或更多個設備的圖像數(shù)據(jù)的圖像匹配。
文檔編號G06F13/00GK103168294SQ201080069749
公開日2013年6月19日 申請日期2010年10月22日 優(yōu)先權(quán)日2010年10月22日
發(fā)明者松村剛志, 約翰·吉爾姆, 村上慎吾, 小田稔周, 安川健太 申請人:瑞典愛立信有限公司