一種基于標(biāo)識碼的三維交互的方法和系統(tǒng)的制作方法
【專利摘要】本申請涉及一種基于標(biāo)識碼的三維交互的方法和系統(tǒng)。本申請涉及圖像處理，尤其涉及一種可攝像設(shè)備的信息處理的方法。其解決的問題是，如何使用更小計算量更快捷地實現(xiàn)人與設(shè)備的三維交互。本申請的方法主要包括，獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼所對應(yīng)的物品信息；獲取與標(biāo)識碼相關(guān)的參考圖像及參考圖像的特征點；基于參考圖像和特征點獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息；以及基于所述位置和/或姿態(tài)信息與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。本方法主要用于可攝像設(shè)備的三維交互。
【專利說明】—種基于標(biāo)識碼的三維交互的方法和系統(tǒng)【技術(shù)領(lǐng)域】
[0001]本申請涉及圖像處理，尤其涉及一種可攝像設(shè)備的信息處理的方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著人們對交互體驗的要求的不斷增加，增強現(xiàn)實應(yīng)用已經(jīng)獲得了非常迅猛的發(fā)展。三維注冊是增強現(xiàn)實系統(tǒng)中最基礎(chǔ)最重要的技術(shù)之一。三維注冊即計算出世界坐標(biāo)系與屏幕坐標(biāo)系的轉(zhuǎn)化關(guān)系，然后由此計算出當(dāng)前可攝像設(shè)備的位置和姿態(tài)，進(jìn)而利用此信息將虛擬物體和真實場景結(jié)合在一起。
[0003]已有方法有:1、利用sift (Scale Invariant Feature Transform,尺度不變特征轉(zhuǎn)換)，surf (Speed Up Robust Feature,加速魯棒性特征)方法對特征點進(jìn)行匹配,但是此類方法計算量比較大；2、利用random ferns (隨機(jī)蕨類算法)等的模型的方法,但是這類方法占用內(nèi)存空間比較大。
[0004]對于增強現(xiàn)實注冊的研究，如中國專利:“一種基于標(biāo)志點的增強現(xiàn)實三維注冊方法和系統(tǒng)”，申請?zhí)?0071011266.6，此發(fā)明將生成的人肉眼不可見的光標(biāo)志點投影到現(xiàn)實環(huán)境的承載面上，然后采用具有不可見光濾光片的攝像機(jī)對投影在承載面上的不可見光標(biāo)志點進(jìn)行拍攝，獲取不可見光標(biāo)志點在屏幕中的二維坐標(biāo)數(shù)據(jù)從而進(jìn)行注冊，此發(fā)明對硬件要求比較高。
[0005]又如“基于云計算的自然特征注冊方法”，申請?zhí)?01110180881.6，此發(fā)明首先提取參考圖像的自然特征點集，在注冊過程中提取從圖像獲取設(shè)備不斷得到的圖像關(guān)鍵幀的自然特征點，然后通 過基于云計算的自然特征點匹配，根據(jù)匹配結(jié)果計算出攝像機(jī)的位置和角度，進(jìn)而進(jìn)行三維注冊。此發(fā)明需要后臺的服務(wù)器，而且對網(wǎng)絡(luò)通信要求比較高。
[0006]另外，基于自然圖片(例如商標(biāo))的三維人機(jī)交互，在設(shè)備計算能力有限時只能識別少數(shù)幾種商品；或者需要網(wǎng)絡(luò)和后臺服務(wù)器配合來達(dá)到識別多種商品的目的。
[0007]另一方面，標(biāo)識碼(例如:二維碼)圖案簡單、易于識別，并且標(biāo)準(zhǔn)統(tǒng)一，可以對應(yīng)多種商品，而且計算相對簡單，比較容易在手機(jī)等移動設(shè)備上實現(xiàn)。傳統(tǒng)的標(biāo)識碼，例如二維碼在手機(jī)等移動設(shè)備上的應(yīng)用，用戶通過手機(jī)攝像頭掃描二維碼或輸入二維碼下面的號碼、關(guān)鍵字即可實現(xiàn)快速手機(jī)上網(wǎng)，快速便捷地瀏覽網(wǎng)頁、下載圖文、音樂、視頻、獲取優(yōu)惠券、參與抽獎、了解企業(yè)產(chǎn)品信息，而省去了在手機(jī)上輸入URL的繁瑣過程，實現(xiàn)一鍵上網(wǎng)。同時，還可以方便地用手機(jī)識別和存儲名片、自動輸入短信，獲取公共服務(wù)(如天氣預(yù)報)，實現(xiàn)電子地圖查詢定位、手機(jī)閱讀等多種功能。傳統(tǒng)的標(biāo)識碼的應(yīng)用只是利用二維碼讀取一定的信息，然后利用讀取的信息打開額外鏈接等。

【發(fā)明內(nèi)容】

[0008]本申請的主要目的在于提供一種在進(jìn)行三維的交互過程中，獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣，并將所述預(yù)測單應(yīng)矩陣應(yīng)用于特征點匹配，并獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣，然后以參考圖像至當(dāng)前圖像的單應(yīng)矩陣獲得可攝像設(shè)備位置或姿態(tài)的方法，以及以此進(jìn)行三維交互的方法。上述方法可解決現(xiàn)有技術(shù)存在的在三維交互中的計算量過大，或占用內(nèi)存過多，或?qū)τ布?、網(wǎng)絡(luò)有較高要求以至于較難應(yīng)用在可移動攝像設(shè)備中的問題。
[0009]進(jìn)一步，在上述發(fā)明的應(yīng)用前提下，本申請又提供一種利用標(biāo)識碼進(jìn)行三維交互的方法，可以以更快的速度進(jìn)行三維交互，并同時獲得物品的信息以進(jìn)行進(jìn)一步的其他應(yīng)用，可實現(xiàn)多目標(biāo)識別。
[0010]根據(jù)本申請的一個方面，提供一種基于標(biāo)識碼的三維交互的方法，包括:
[0011]獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼并獲得標(biāo)識碼所對應(yīng)的物品信息；獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點；基于所述參考圖像和所述特征點，計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息；以及基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。
[0012]根據(jù)本申請的實施例，在該方法中，所述物品信息可以包括通過識別標(biāo)識碼得到的基本彳目息。
[0013]根據(jù)本申請的實施例，在該方法中，所述物品信息包括依據(jù)所述基本信息通過本地數(shù)據(jù)庫或網(wǎng)絡(luò)獲得進(jìn)一步的用于交互的目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)中包括所述物品信息對應(yīng)的三維圖像。
[0014]根據(jù)本申請的實施例，在該方法中，所述三維交互可以包括:基于由物品信息獲得物品的三維圖像，將所述三維圖像疊加到可攝像設(shè)備拍攝的當(dāng)前圖像中的標(biāo)識碼上或標(biāo)識碼所在的物品位置上。
[0015]根據(jù)本申請的實施例，在該方法中，所述三維交互可以包括:連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和姿態(tài)，從而獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面。
[0016]根據(jù)本申請的實施例，在該方法中，獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點可以包括:獲得利用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的初始圖像，基于初始圖像獲得參考圖像，利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的特征點及其位置。
[0017]根據(jù)本申請的實施例，在該方法中，基于所述初始圖像獲得參考圖像可以包括:將所述初始圖像作為參考圖像，或者基于所述物品信息按照標(biāo)識碼生成算法生成一幅標(biāo)準(zhǔn)標(biāo)識碼，將所述標(biāo)準(zhǔn)標(biāo)識碼作為參考圖像。
[0018]根據(jù)本申請的實施例，在該方法中，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息可以包括:獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像；基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣；以及基于所述單應(yīng)矩陣，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。
[0019]根據(jù)本申請的實施例，在該方法中，基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像單應(yīng)矩陣可以包括:獲得標(biāo)識碼在初始圖像中4個頂點的位置；以參考圖像的4個頂點與初始圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對；以及基于匹配點對獲得從參考圖像變換到當(dāng)前圖像的單應(yīng)矩陣。
[0020]根據(jù)本申請的實施例，在該方法中，基于所述參考圖像和當(dāng)前圖像、獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣可以包括:利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點；利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；以及以所述匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣。
[0021]根據(jù)本申請的實施例，在該方法中，利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點，可以包括:獲得預(yù)測圖像，其中所述預(yù)測圖像是基于當(dāng)前圖像之前已經(jīng)獲取的圖像利用預(yù)定算法計算獲得的用于預(yù)測當(dāng)前圖像的圖像；計算獲得參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置；以及以參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置在當(dāng)前圖像中找到相應(yīng)預(yù)定位置；在所述各參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置的周圍以預(yù)定的大小和形狀截取預(yù)測圖像的一部分作為每個特征點的相應(yīng)的預(yù)定圖像匹配塊；以及在當(dāng)前圖像各預(yù)定位置的周圍，在預(yù)先設(shè)定的范圍內(nèi)，以預(yù)定的圖像匹配塊為標(biāo)準(zhǔn)，利用第二類特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點。
[0022]根據(jù)本申請的實施例，在該方法中，可以以如下方式獲得預(yù)測圖像及參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置:獲得可攝像設(shè)備拍攝的含有標(biāo)識碼實物的第一圖像A，獲得可攝像設(shè)備拍攝的含有標(biāo)識碼實物的第二圖像B，所述第一圖像A，第二圖像B為在當(dāng)前圖像之前獲取的圖像，利用參考圖像、第一圖像A、第二圖像B獲得參考圖像至第二圖
像B的單應(yīng)矩陣、第一圖像A至第二圖像B的單應(yīng)矩陣,計算預(yù)測圖像的預(yù)測單應(yīng)
矩陣P =H1; X /_/>以預(yù)測單應(yīng)矩陣P對參考圖像進(jìn)行變換，獲得預(yù)測圖像，以預(yù)測單應(yīng)
矩陣P對參考圖像中的特征點的位置進(jìn)行變換，獲得參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置。
[0023]根據(jù)本申請的實施例，在該方法中，所述第二圖像B可以為當(dāng)前圖像的前一幀圖像，所述第一圖像A可以為當(dāng)前圖像的前兩幀圖像。
[0024]根據(jù)本申請的另一個方面，提供一種基于標(biāo)識碼的三維交互的系統(tǒng)，包括:
[0025]標(biāo)識碼獲取與識別模塊，用于獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼并獲得標(biāo)識碼所對應(yīng)的物品信息；參考圖像獲取模塊，用于獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點；位置與姿態(tài)獲取模塊，用于基于所述參考圖像和所述特征點，計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息；以及交互模塊，用于基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。
[0026]根據(jù)本申請的實施例，在所述系統(tǒng)中，所述交互模塊可以進(jìn)一步被配置成:基于由物品信息獲得物品的三維圖像，將所述三維圖像疊加到可攝像設(shè)備拍攝的當(dāng)前圖像中的標(biāo)識碼上或標(biāo)識碼所在的物品位置上。
[0027]根據(jù)本申請的實施例，在所述系統(tǒng)中，所述交互模塊可以進(jìn)一步被配置成包括:連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和姿態(tài)，從而獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面。
[0028]根據(jù)本申請的實施例，在所述系統(tǒng)中，參考圖像獲取模塊可以被配置成:獲得利用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的初始圖像，基于初始圖像獲得參考圖像；以及利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的特征點及其位置。
[0029]根據(jù)本申請的實施例，在所述系統(tǒng)中，位置與姿態(tài)獲取模塊可以被配置成:獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像；基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣；以及基于所述單應(yīng)矩陣，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。
[0030]根據(jù) 本申請的實施例，在所述系統(tǒng)中，基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像單應(yīng)矩陣可以包括:獲得標(biāo)識碼在初始圖像中4個頂點的位置；以參考圖像的4個頂點與初始圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對；以及基于匹配點對獲得從參考圖像變換到當(dāng)前圖像的單應(yīng)矩陣。
[0031]根據(jù)本申請的實施例，在所述系統(tǒng)中，基于所述參考圖像和當(dāng)前圖像、獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣可以包括:利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點；利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；以及以所述匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣。
[0032]根據(jù)本申請的另一個方面，提供一種利用參考圖像獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣的方法，包括以下步驟:
[0033]獲取一張參考圖像S ;獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第一圖像A，獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第二圖像B，利用參考圖像S、第一圖像
A、第二圖像B獲得參考圖像S至第二圖像B的單應(yīng)矩陣//j，并獲得第一圖像A至第二圖像B的單應(yīng)矩陣仏計算預(yù)測圖像的預(yù)測單應(yīng)矩陣P =Hi X HSB。
[0034]根據(jù)本申請的實施例，在該方法中，可以采用如下步驟獲得單應(yīng)矩陣H利用特
征點檢測算法對參考圖像S進(jìn)行計算，獲得參考圖像S中的特征點及其位置；利用特征點檢測算法對第二圖像B進(jìn)行計算，獲得第二圖像B中的特征點及其位置；利用特征點匹配算法獲得參考圖像S的特征點在第二圖像B中的匹配點及其位置；利用參考圖像的特征點和第二圖像B中的匹配點構(gòu)成匹配點對；基于所述匹配點對，獲得參考圖像至第二圖像的單應(yīng)
矩陣
[0035]根據(jù)本申請的實施例，在該方法中，可以采用如下方式獲得第一圖像至第二圖像
的單應(yīng)矩陣?yán)锰卣鼽c檢測算法對參考圖像S進(jìn)行計算，獲得參考圖像S中的特征
點及其位置；利用特征點檢測算法對第一圖像A進(jìn)行計算，獲得第一圖像A中的特征點及其位置；利用特征點匹配算法獲得參考圖像S的特征點在第一圖像A中的匹配點及其位置；利用參考圖像的特征點和第一圖像A中的匹配點構(gòu)成匹配點對；基于所述匹配點對，
獲得參考圖像至第一圖像A的單應(yīng)矩陣/-/_);獲得第一圖像A至第二圖像B的單應(yīng)矩陣
[0036]根據(jù)本申請的實施例，在該方法中，可以在利用參考圖像的特征點和第二圖像B中的匹配點構(gòu)成的步驟中采用Prosac算法或Ransac算法排除誤匹配點對,并基于經(jīng)過排
除處理的匹配點對，獲得參考圖像至第二圖像的單應(yīng)矩罔//
[0037]根據(jù)本申請的實施例，在該方法中，可以在利用參考圖像的特征點和第一圖像A中的匹配點構(gòu)成匹配點對的步驟中采用Prosac算法或Ransac算法排除誤匹配點對,并基
于經(jīng)過排除處理的匹配點對，獲得參考圖像至第一圖像A的單應(yīng)矩陣Hsi。[0038]與現(xiàn)有技術(shù)相比，根據(jù)本申請的技術(shù)方案，解決現(xiàn)有技術(shù)存在的上述在三維交互中的計算量過大，或占用內(nèi)存過多，或?qū)τ布?、網(wǎng)絡(luò)有較高要求以至于較難應(yīng)用在可移動攝像設(shè)備中，較難實現(xiàn)多目標(biāo)識別的問題。
【專利附圖】

【附圖說明】
[0039]此處所說明的附圖用來提供對本申請的進(jìn)一步理解，構(gòu)成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。在附圖中:
[0040]圖1是根據(jù)本申請實施例的基于標(biāo)識碼的三維交互的方法步驟圖；
[0041]圖2是圖1中S102和步驟S103的優(yōu)選方法步驟圖。其更詳細(xì)地描述了如何獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點并基于其獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)；
[0042]圖3和圖4在圖1及圖2的基礎(chǔ)上，更詳細(xì)地描述一個例子，以詳細(xì)描述獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣的優(yōu)選方法步驟。其中，當(dāng)k=l時，參考圖3 ;當(dāng)k>l時，參考圖4 ；
[0043]圖5是根據(jù)本申請實施例的利用參考圖像獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣的方法的流程圖；
[0044]圖6是根據(jù)本申請實施例的利用參考圖像、預(yù)測圖像的預(yù)測單應(yīng)矩陣，獲得參考圖像的特征點在當(dāng)前圖像的匹配點的方法的流程；
[0045]圖7是根據(jù)本申請實施例的獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣的方法的流程圖；以及
[0046]圖8是根據(jù)本申請實施例的一種基于標(biāo)識碼的三維交互的系統(tǒng)800的結(jié)構(gòu)方框圖。
【具體實施方式】
[0047]本申請的主要思想在于，提供一種在進(jìn)行三維的交互過程中，獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣的方法；并將所述預(yù)測單應(yīng)矩陣應(yīng)用于特征點匹配，并獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣，從而以參考圖像至當(dāng)前圖像的單應(yīng)矩陣獲得可攝像設(shè)備位置或姿態(tài)的方法，及以此進(jìn)行三維交互的方法。
[0048]為使本申請的目的、技術(shù)方案和優(yōu)點更加清楚，以下結(jié)合附圖及具體實施例，對本申請作進(jìn)一步地詳細(xì)說明。
[0049]為了方便下文描述，首先介紹本申請的各個實施方式中所涉及的術(shù)語的解釋。
[0050]三維交互:獲得物體在三維空間中的狀態(tài)信息，并基于所述三維空間中的狀態(tài)信息與用戶進(jìn)行交互。所述物體可以包括:用戶、用戶所持設(shè)備、用戶所指定的物等；所述三維空間中的狀態(tài)信息可以包括:在三維空間的位置、在三維空間中的姿態(tài)等。
[0051]標(biāo)識碼:以圖像來存儲信息的信息碼。例如，條形碼，二維碼。
[0052]標(biāo)識碼實物:以實物展現(xiàn)的標(biāo)識碼，例如一張打印的標(biāo)識碼，一張印刷的標(biāo)識碼，或在顯示器上顯示的標(biāo)識碼。
[0053]標(biāo)準(zhǔn)標(biāo)識碼:基于信息所生成的準(zhǔn)確無變形的標(biāo)識碼。
[0054]參考圖像:參考圖像是在一次三維交互中使用的一幅圖像，其可以用于描述被攝對象的初始狀態(tài)或標(biāo)準(zhǔn)狀態(tài)，參考圖像作為當(dāng)前圖像的參考，用來通過對參考圖像與當(dāng)前圖像的計算，可以獲得當(dāng)前可攝像設(shè)備的位置及姿態(tài)。參考圖像可以通過拍攝獲得，或通過標(biāo)識碼生成算法生成標(biāo)準(zhǔn)標(biāo)識碼作為參考圖像，或可依據(jù)標(biāo)識碼查找數(shù)據(jù)庫或通過網(wǎng)絡(luò)查詢獲得。
[0055]參考圖像的特征點:參考圖像的特征點為參考圖像中特征明顯的點，可通過特征點檢測算法獲得。參考圖像的特征點可以包括參考圖像的頂點，例如，若參考圖像為長方型，則特征點可以包括其4個頂點。
[0056]當(dāng)前圖像:當(dāng)前圖像為通過可攝像設(shè)備獲得的包含標(biāo)識碼實物或參考圖像實物的當(dāng)前的圖像，其可以用于描述可攝像設(shè)備相對于被攝對象的當(dāng)前狀態(tài)，通過對當(dāng)前圖像與參考圖像的計算，可以獲得當(dāng)前可攝像設(shè)備的位置及姿態(tài)。
[0057]預(yù)測圖像:為了減少計算量，加快計算速度，在使用參考圖像和當(dāng)前圖像計算可攝像設(shè)備的位置及姿態(tài)過程中，可先計算并獲得預(yù)測圖像，預(yù)測圖像是一幅預(yù)估的虛擬圖像。預(yù)測圖像可以基于參考圖像及預(yù)測單應(yīng)矩陣獲得。
[0058]預(yù)測單應(yīng)矩陣:為獲得預(yù)測圖像，可以先獲得預(yù)測單應(yīng)矩陣，再依據(jù)預(yù)測單應(yīng)矩陣獲得預(yù)測圖像。預(yù)測單應(yīng)矩陣體現(xiàn)了對預(yù)測圖像的計算思路，基于不同的計算思路，可以有不同的預(yù)測單應(yīng)矩陣計算方式。
[0059]第一類特征點匹配算法:包括如Sift (Scale Invariant Feature Transform,尺度不變特征轉(zhuǎn)換)，Surf (Speed Up Robust Feature,加速魯棒性特征)或其他功能類似的特征點匹配算法。
[0060]第二類特征點匹配算法:包括如模版匹配法、交叉相關(guān)法、歸一化交叉相關(guān)法或其他功能類似的特征點匹配算法。
[0061]根據(jù)本申請的實施例，提供了一種基于標(biāo)識碼的三維交互的方法。本方法的一個典型場景是，一個用戶面對一個粘貼有標(biāo)識碼的產(chǎn)品包裝，用戶拿出手機(jī)(作為一種典型的可攝像設(shè)備)開啟手機(jī)的攝像功能，使畫面中包含標(biāo)識碼，此時本方法依據(jù)手機(jī)獲得的畫面確定手機(jī)相對于產(chǎn)品的位置和姿態(tài)，將從標(biāo)識碼識別的產(chǎn)品的信息(例如三維影像)疊加到手機(jī)的當(dāng)前畫面的產(chǎn)品包裝位置，從而實現(xiàn)良好的用戶體驗。下面詳細(xì)描述這種交互方法的步驟。
[0062]參考圖1，圖1是本申請實施例的基于標(biāo)識碼的三維交互的方法步驟圖。
[0063]根據(jù)本申請的方法，在步驟SlOl處，獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼并獲得標(biāo)識碼所對應(yīng)的物品信息。所述物品信息可以包括通過識別標(biāo)識碼得到的基本信息(例如:物品ID等)，還可以包括依據(jù)所述基本信息通過本地數(shù)據(jù)庫或網(wǎng)絡(luò)獲得進(jìn)一步的用于交互的目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)中可以有與所述物品信息對應(yīng)的三維圖像。例如，可攝像設(shè)備可以是但不限于攝像機(jī)、帶有攝像功能的移動設(shè)備、帶有攝像功能的便攜設(shè)備等等。通過可攝像設(shè)備對標(biāo)識碼實物進(jìn)行拍攝從而獲得包含標(biāo)識碼實物的圖像。通過對該標(biāo)識碼進(jìn)行識別得到該標(biāo)識碼所包含的物品信息。
[0064]在步驟S102處，獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點。
[0065]優(yōu)選地，在數(shù)據(jù)庫中存儲與標(biāo)識碼相關(guān)的數(shù)據(jù)，該數(shù)據(jù)可以包括:標(biāo)識碼對應(yīng)的物品ID、與該標(biāo)識碼相關(guān)的參考圖像、以及該參考圖像的特征點等內(nèi)容。
[0066]依據(jù)識別標(biāo)識碼得到的物品ID查找數(shù)據(jù)庫。若數(shù)據(jù)庫存在與該標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點，則直接獲取之；若數(shù)據(jù)庫不存在該標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點則可依據(jù)圖2步驟S201所述方法獲得標(biāo)識碼相關(guān)的參考圖像，并且可依據(jù)圖2步驟S202所述方法獲得參考圖像的特征點并將其存儲到所述數(shù)據(jù)庫中。
[0067]在步驟S103處，基于所述參考圖像以及該參考圖像的特征點，獲得所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)。
[0068]在步驟S104處，基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。通過在步驟103處得到可攝像設(shè)備與標(biāo)識碼實物之間的位置和/或姿態(tài)關(guān)系之后，用戶例如可以將物品信息(例如物品的三維圖像)疊加到包含標(biāo)識碼的圖像上以達(dá)到該物品信息位于標(biāo)識碼實物的位置上的虛實結(jié)合的效果，從而實現(xiàn)三維交互。
[0069]可選地，通過在步驟S103處，連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)，從而在步驟S104處，獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面，所述預(yù)定方式可以是數(shù)據(jù)顯示、三維圖像顯示、或示意圖標(biāo)(例如，箭頭、柱狀圖)等。
[0070]下面參考圖2，更詳細(xì)地描述步驟S102和步驟S103。圖2更詳細(xì)地描述了如何獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點并基于其獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)。
[0071]在步驟S201處，基于所獲得的包含標(biāo)識碼實物的圖像獲得標(biāo)識碼的參考圖像。所述參考圖像可以是該包含標(biāo)識碼實物的圖像本身，也可以是基于該包含標(biāo)識碼實物的圖像生成的標(biāo)準(zhǔn)標(biāo)識碼圖像。更具體地，獲得用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的圖像，并識別標(biāo)識碼所對應(yīng)的物品信息，再基于該物品信息并按照標(biāo)識碼生成算法生成一幅標(biāo)準(zhǔn)標(biāo)識碼圖像，將其作為參考圖像。獲取一張參考圖像后，將此參考圖像存儲于存儲器中，可在需要時獲得參考圖像的大小信息、參考圖像中的選定點的位置信息、色值信息等信肩、O
[0072]在步驟S202處，檢測參考圖像特征點。例如，查找參考圖像中的多個明顯的特征點并記錄這些特征點在參考圖像中的坐標(biāo)位置，特征點可以包括其參考圖像的頂點。特別地，當(dāng)參考圖像為依據(jù)物品信息生成的標(biāo)準(zhǔn)標(biāo)識碼，且標(biāo)準(zhǔn)標(biāo)識碼為矩形，則在生成標(biāo)準(zhǔn)標(biāo)識碼時即獲得了其4個頂點作為特征點的位置。請注意:由于本方法所涉矩陣計算需要至少4個點對信息，所以如果僅以頂點進(jìn)行矩陣計算，所述標(biāo)準(zhǔn)標(biāo)識碼應(yīng)至少有4個頂點。例如，標(biāo)準(zhǔn)標(biāo)識碼不應(yīng)為三角形，因為無法以其3個頂點進(jìn)行矩陣計算。
[0073]此后，基于該參考圖像，并且以生成該參考圖像的圖像作為第I幀圖像。
[0074]在步驟S203處，獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像。
[0075]在步驟S204處，獲得從該參考圖像至當(dāng)前圖像的單應(yīng)矩陣。
[0076]在步驟S205處，基于所述單應(yīng)矩陣計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)。
[0077]根據(jù)本申請的實施方式，可以參照圖3和圖4所示出的方法來獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣。
[0078]下面參照圖3和圖4更詳細(xì)地描述一個例子，以詳細(xì)描述如何獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣。請注意:圖3和圖4描述中存在與圖1、圖2描述重復(fù)的步驟，不表示需要重復(fù)進(jìn)行相關(guān)此步驟，而是旨在保持步驟的連貫。
[0079]在步驟S301處，獲得用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的當(dāng)前圖像，以圖像中包含標(biāo)識碼的幀計數(shù)，第1次出現(xiàn)包含標(biāo)識碼的當(dāng)前圖像設(shè)為第I幀，第k次出現(xiàn)包含標(biāo)識碼的當(dāng)前圖像設(shè)為第k幀。
[0080]當(dāng)k=l時，如圖3所示，進(jìn)行如下步驟以獲得從參考圖像到當(dāng)前圖像(k=l)的單應(yīng)矩陣。
[0081]在步驟S302處，利用標(biāo)識碼識別算法對此當(dāng)前圖像識別獲得標(biāo)識碼在當(dāng)前圖像中的位置、標(biāo)識碼的4個頂點的位置。應(yīng)當(dāng)指出:由于在步驟S306處進(jìn)行的矩陣計算至少需要4個點對的位置，所以步驟S302處，標(biāo)識碼應(yīng)至少有4個頂點。
[0082]在步驟S303處，使用步驟SlOl獲得的物品信息按照標(biāo)識碼生成算法生成一幅標(biāo)準(zhǔn)標(biāo)識碼圖像，將其作為參考圖像，生成標(biāo)準(zhǔn)標(biāo)識碼圖像，同時獲得其4個頂點位置。
[0083]在步驟S304處，利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的除4個頂點以外的特征點及其位置；特征點檢測算法可以是FAST (Features fromAccelerated Segment Test,基于加速分割的檢測特征)或者 Harris (Harris CornerDetector，哈爾斯角點檢測算法)角點檢測法等方法；一般獲得的特征點為多個；例如，獲得了 6個特征點。本步驟獲得的所述特征點在步驟S404使用。 [0084]在步驟S305處，以參考圖像中標(biāo)識碼的4個頂點與當(dāng)前圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對。
[0085]在步驟S306處，基于所述匹配點對，構(gòu)造方程并求解，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣。
[0086]在步驟S307處，以所述單應(yīng)矩陣/^計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)。
[0087]當(dāng)k>l時，如圖4所示進(jìn)行如下步驟以獲得從參考圖像到當(dāng)前圖像(k>l)的單應(yīng)矩陣。
[0088]在步驟S401處，獲得預(yù)測單應(yīng)矩陣Pk。
[0089]在計算參考圖像至當(dāng)前圖像的單應(yīng)矩陣之前需要獲得預(yù)測圖像，該預(yù)測圖像是一幅預(yù)估的圖像，利用預(yù)測圖像可在預(yù)測圖像的基礎(chǔ)上進(jìn)行參考圖像的特征點的匹配點計算，減少計算量，增快計算速度。要獲得預(yù)測圖像首先要獲得預(yù)測單應(yīng)矩陣pk?？梢砸圆煌挠布僮髋c計算規(guī)則的組合獲得預(yù)測單應(yīng)矩陣Pk。優(yōu)選的，以如下方法計算Pk:當(dāng)k=2
時，Pk =P2 =H 當(dāng) k>2 時，Pk =Hl^ X Hll ,其中把:卜扣」X {HI2Y1,其中，i/二2表
示第k-2幀圖傢到第k-Ι幀圖像的單應(yīng)矩陣，好匕表示從參考圖像S至第k-Ι幀圖像的單應(yīng)矩陣(這一單應(yīng)矩陣可以參照圖3來獲得)。
[0090]在步驟S402處，以預(yù)測單應(yīng)矩陣Pk對參考圖像中的預(yù)定點的位置進(jìn)行變換，獲得參考圖像中的預(yù)定點在預(yù)測圖像中的預(yù)測位置；一般而言，所述預(yù)定點為參考圖像的全部點，即獲得參考圖像中的全部點在預(yù)測圖像中的位置。預(yù)定點也可以是參考圖像中的一部分點。
[0091]在步驟S403處，基于所述預(yù)定點的預(yù)測位置和參考圖像中的預(yù)定點的相應(yīng)色值，獲得預(yù)測圖像。
[0092]在步驟S404處，以預(yù)測單應(yīng)矩陣Pk對在步驟S304處獲得的參考圖像中的特征點的位置進(jìn)行變換，獲得參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置；例如:對參考圖像中的6個特征點的位置進(jìn)行變換，獲得了 6個特征點在預(yù)測圖像中的6個預(yù)測位置。
[0093]在步驟S405處，在所述各特征點在預(yù)測圖像中的預(yù)測位置的周圍以預(yù)定的大小和形狀截取預(yù)測圖像的一部分作為每個特征點的相應(yīng)的圖像匹配塊；例如，已獲得參考圖像的特征點在預(yù)測圖像中的6個預(yù)測位置，則以每個預(yù)測位置為中心，以預(yù)定大小9X9個像素的正方形(形狀)截取預(yù)測圖像，即獲得了 6個圖像匹配塊，每個圖像匹配塊為9X9像素。
[0094]在步驟S406處，以特征點在預(yù)測圖像中的預(yù)測的位置在當(dāng)前圖像中找到相應(yīng)位置；例如，已獲得了預(yù)測圖像中的6個特征點的6個預(yù)測位置，在當(dāng)前圖像找到相應(yīng)的6個位置。
[0095]在步驟S407處，在當(dāng)前圖像各相應(yīng)位置的周圍，在預(yù)先設(shè)定的范圍內(nèi)，以相應(yīng)的圖像匹配塊為標(biāo)準(zhǔn)，利用第二類特征點匹配算法(例如:模版匹配法、交叉相關(guān)法或其他功能類似的特征點匹配算法、本實施例優(yōu)選歸一化交叉相關(guān)法)獲得參考圖像的特征點在當(dāng)前圖像中的匹配點；例如，在步驟S406中在當(dāng)前圖像找到了 6個相應(yīng)位置；對其中I個位置，在其周圍預(yù)設(shè)15 X 15像素的范圍，在范圍內(nèi)，利用步驟S405所獲得的相應(yīng)9 X 9像素的圖像匹配塊，利用第二類特征點匹配算法找到I個匹配點，即獲得匹配點在當(dāng)前圖像中的I個位置；以上述同樣方式找到其余5個匹配點及其在當(dāng)前圖像中的5個位置。
[0096]在步驟S4O8處，利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對。例如:步驟S304中獲得6個特征點位置，其中一個特征點在參考圖像中的位置為(3，9)，步驟S407獲得6個匹配點位置，與上述特征點相應(yīng)匹配點在當(dāng)前圖像的位置為(2，8)，則[(3，9) ；(2,8)]構(gòu)成I個匹配點對，以同樣方式獲得其余5個匹配點對，共6個匹配點對。優(yōu)選的，可以在獲得上述匹配點對后，采用Prosac (Progressive SampleConsensus,進(jìn)展型米樣一致性算法)算法或Ransac算法(Random Sample Consensus,隨機(jī)抽樣一致性算法)排除錯誤點對。例如，已獲得6個匹配點對；采用Prosac或Ransac算法可排除其中I個錯誤的匹配點對，剩余5個匹配點對。
[0097]在步驟S409處，以匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣H:。優(yōu)選的，可采用奇異值分解算法，或LM迭代優(yōu)化算法(Levenberg-Marquardt method, LM迭代優(yōu)化算法)，或高斯牛頓算法計蕖II
[0098]在步驟S410處，以所述單應(yīng)矩陣/if計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)。
[0099]下面，參見圖5，其詳細(xì)地描述了如何利用參考圖像獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣的方法的流程圖。該方法包括以下步驟。
[0100]在步驟S510處，獲取一張參考圖像S ；(本實施例中的參考圖像皆指此參考圖像，為方便標(biāo)記，將參考圖像記為符號S，在必要時使用)，參考圖像可以是預(yù)先存儲在設(shè)備中，或者可以使通過可攝像設(shè)備拍攝的一張圖像，或其他方式獲取的圖像；獲取一張參考圖像后，存儲在存儲器中，可在需要時獲得參考圖像的大小信息、參考圖像中的選定點的位置信息、色值信息等信息。
[0101]在步驟S520處，獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第一圖像A ;參考圖像實物指一幅以實物形式存在的參考圖像，如一張打印的參考圖像，或一張印刷的參考圖像；如果參考圖像是一張以實物拍攝的照片，則參考圖像實物可以是參考圖像中的實物。
[0102]在步驟S530處，獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第二圖像B。
[0103]在步驟S540處，利用參考圖像S、第一圖像A、第二圖像B獲得參考圖像S至第二
圖像B的單應(yīng)矩陣/7】，并獲得第一圖像A至第二圖像B的單應(yīng)矩陣。
[0104]可采用不同的方法獲得本實施例采用S541-S5410所述的方式獲得之。
[0105]在步驟S541利用特征點檢測算法對參考圖像S進(jìn)行計算，獲得參考圖像S中的特征點及其位置；特征點檢測算法可以是FAST(Features from Accelerated Segment Test,基于加速分割的檢測特征)或者Harris (Harris Corner Detector,哈爾斯角點檢測算法)角點檢測法等方法；一般獲得的特征點為多個。
[0106]在步驟S542處，利用特征點檢測算法對第二圖像B進(jìn)行計算，獲得第二圖像B中的特征點及其位置。
[0107]在步驟S543處，利用第一類特征點匹配算法獲得參考圖像S的特征點在第二圖像B中的匹配點及其位置；所述第一類特征點匹配算法包括Sift，Surf等功能類似的特征點匹配算法。
[0108]在步驟S544，利用參考圖像的特征點和第二圖像B中的匹配點構(gòu)成匹配點對；優(yōu)選的，可采用Prosac算法或Ransac算法從所述匹配點對中排除誤匹配點對。
[0109]在步驟S545處，基于所述匹配點對，獲得參考圖像至第二圖像B的單應(yīng)矩陣。
[0110]在步驟S546處，利用特征點檢測算法對第一圖像A進(jìn)行計算，獲得第一圖像A中的特征點及其位置。
[0111]在步驟S547處，利用第一類特征點匹配算法獲得參考圖像S的特征點在第一圖像A中的匹配點及其位置。
[0112]在步驟S548處，利用參考圖像的特征點和第一圖像A中的匹配點構(gòu)成匹配點對；優(yōu)選的，可采用Prosac算法或Ransac算法從所述匹配點對中排除誤匹配點對。
[0113]在步驟S549處，基于所述匹配點對，獲得參考圖像至第一圖像A的單應(yīng)矩陣i/j。
[0114]在步驟S5410處，獲得第一圖像A至第二圖像B的單應(yīng)矩陣^^ =開| x (丑〗)'
[0115]在步驟S550處，計算預(yù)測圖像的預(yù)測單應(yīng)矩陣P =" X Ili
[0116]下面，參見圖6，其圖示了如何利用參考圖像、預(yù)測圖傢的預(yù)測單應(yīng)矩陣，獲得參考圖像的特征點在當(dāng)前圖像的匹配點的方法的流程。該方法描述了在一般情況下如何利用參考圖像獲得預(yù)測單應(yīng)矩陣，以此獲得匹配點。
[0117]在步驟S601處，獲取一張參考圖像S (本實施例中的參考圖像皆指此參考圖像，為方便標(biāo)記，將參考圖像記為符號S，在必要時使用)。參考圖像可以是預(yù)先存儲在設(shè)備中，或者可以是通過可攝像設(shè)備拍攝的一張圖像，或其他方式獲取的圖像；獲取一張參考圖像后，即意味著在本方法中，可在需要時獲得參考圖像的大小信息、參考圖像中的選定點的位置信息、色值信息等信息。
[0118]在步驟S602處，獲得以可攝像設(shè)備獲取的一張含有參考圖像實物的當(dāng)前圖像。參考圖像實物指一幅以實物形式存在的參考圖像，如一張打印的參考圖像，或一張印刷的參考圖像，如果參考圖像是一張以當(dāng)前實物拍攝的照片，則參考圖像實物可以是參考圖像所指的當(dāng)前實物。
[0119]在步驟S603處，獲得此參考圖像中的特征點及其位置。一般采用特征點檢測算法對參考圖像進(jìn)行檢測，以獲得特征點的位置；特征點檢測算法可以是FAST或者Harris角點檢測法等方法；一般獲得的特征點為多個；例如，獲得了 6個特征點。
[0120]在步驟S604處，基于所述參考圖像獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣P。預(yù)測圖像是一幅預(yù)估的圖像，利用預(yù)測圖像可在預(yù)測圖像的基礎(chǔ)上進(jìn)行參考圖像的特征點的匹配點計算，減少計算量，增快計算速度。要獲得預(yù)測圖像首先要獲得預(yù)測圖像的單應(yīng)矩陣P?？梢砸圆煌挠布僮髋c計算規(guī)則的組合獲得預(yù)測單應(yīng)矩陣P ;本實施例優(yōu)選圖5所述方式獲得預(yù)測單應(yīng)矩陣P，圖5中所指參考圖像與本實施例中所指參考圖像為同一幅。
[0121]在步驟S605處，利用預(yù)測單應(yīng)矩陣P對參考圖像中的預(yù)定點的位置進(jìn)行變換，獲得參考圖像中的預(yù)定點在預(yù)測圖像中的預(yù)測位置。一般，所述預(yù)定點為參考圖像的全部點，即獲得參考圖像全部點在預(yù)測圖像中的預(yù)測位置。
[0122]在步驟S606處，基于所述預(yù)定點的預(yù)測位置和參考圖像中的預(yù)定點的相應(yīng)色值，獲得預(yù)測圖像。
[0123]在步驟S607處，以預(yù)測單應(yīng)矩陣P對參考圖像中的特征點的位置進(jìn)行變換，獲得參考圖像的特征點在預(yù)測圖像中的預(yù)測位置；例如:對6個特征點的位置進(jìn)行變換，獲得了6個特征點在預(yù)測圖像中的6個預(yù)測位置。
[0124]在步驟S608處，在所述各特征點在預(yù)測圖像中的預(yù)測位置的周圍以預(yù)定的大小和形狀截取預(yù)測圖像的一部分作為各特征點的相應(yīng)的圖像匹配塊。例如，已獲得參考圖像的特征點在預(yù)測圖像中的6個預(yù)測位置，則以每個預(yù)測位置為中心，以9X9個像素截取預(yù)測圖像，即獲得了 6個圖像匹配塊，每個圖像匹配塊為9X9像素。
[0125]在步驟S609處，以特征點在預(yù)測圖像中的預(yù)測位置在當(dāng)前圖像中找到相應(yīng)位置。例如，已獲得了預(yù)測圖像中的6個特征點的6個預(yù)測位置，在當(dāng)前圖像找到相應(yīng)的6個位置。
[0126]在步驟S610處，在當(dāng)前圖像中各相應(yīng)位置的周圍，在預(yù)先設(shè)定的范圍內(nèi)，以相應(yīng)的圖像匹配塊為標(biāo)準(zhǔn)，利用第二類特征點匹配算法(例如:模版匹配法、交叉相關(guān)法或其他功能類似的特征點匹配算法、本實施例優(yōu)選歸一化交叉相關(guān)法)獲得參考圖像的特征點在當(dāng)前圖像中的匹配點及其位置。例如，在步驟S609中在當(dāng)前圖像找到了 6個相應(yīng)位置；對其中I個位置，在其周圍預(yù)設(shè)15X 15像素的范圍，在范圍內(nèi)，利用步驟S608所獲得的相應(yīng)9X9像素的圖像匹配塊，利用特征點匹配算法找到I個匹配點，即獲得匹配點在當(dāng)前圖像中的I個位置；以上述同樣方式找到其余5個匹配點及其在當(dāng)前圖像中的5個位置。
[0127]參見圖7，其圖示了本申請的獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣的方法的另一實施例。對本方法的步驟中與上述參照圖6描述的方法中功能相同的步驟，其技術(shù)細(xì)節(jié)也如上述參照圖6描述的方法中相應(yīng)步驟所述，不再贅述。該方法包括以下步驟。
[0128]在步驟S701處，獲取一張參考圖像S(本實施例中的參考圖像皆指此參考圖像，為方便標(biāo)記，將參考圖像記為符號S，在必要時使用)。
[0129]在步驟S702處，獲得以可攝像設(shè)備獲取的一張含有參考圖像實物的當(dāng)前圖像。
[0130]在步驟S703處，獲得參考圖像中的特征點及其位置。
[0131]在步驟S704處，獲得參考圖像中的特征點在當(dāng)前圖像中的匹配點及其位置；可采用不同的方式獲得參考圖像的特征點在當(dāng)前圖像中的匹配點，本實施例優(yōu)選采用圖6及其方法所述方式，圖6及其方法中所述參考圖像、當(dāng)前圖像分別與本實施例中所述參考圖像、當(dāng)前圖像相同。
[0132]在步驟S705處，利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；即由步驟S703獲得的參考圖像的特征點在參考圖像中的位置與步驟S704獲得的當(dāng)前圖像中的匹配點在當(dāng)前圖像中的位置構(gòu)成匹配點對。例如:步驟S703中獲得6個特征點位置，其中一個特征點在參考圖像中的位置為(3，9)，步驟S704獲得6個匹配點位置，與上述特征點相應(yīng)匹配點在當(dāng)前圖像的位置為(2，8)，則[(3，9) ；(2,8)]構(gòu)成I個匹配點對，以同樣方式獲得其余5個匹配點對，共6個匹配點對。優(yōu)選的，可以再獲得上述匹配點對后，采用Prosac或Ransac算法排除錯誤點對。例如，已獲得6個匹配點對；采用Prosac或Ransac算法可排除其中I個錯誤的匹配點對，剩余5個匹配點對。
[0133]在步驟S706處，以匹配點對獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣H。優(yōu)選的，可采用奇異值分解算法，或LM迭代算法，或高斯牛頓算法計算H。例如；在步驟S705中獲得了 5個匹配點對，采用奇異值分解算法計算獲得H。
[0134]下面，將描述圖8，其圖示了本申請的一種基于標(biāo)識碼的三維交互的系統(tǒng)的方框圖。該系統(tǒng)可以包括標(biāo)識碼獲取與識別模塊801、參考圖像獲取模塊802、位置與姿態(tài)獲取模塊803、以及交互模塊804。
[0135]標(biāo)識碼獲取與識別模塊801可以用于獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，并識別標(biāo)識碼所對應(yīng)的物品信息。參考圖像獲取模塊802可以用于獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點。位置與姿態(tài)獲取模塊803可以用于基于所述參考圖像和所述特征點，計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。交互模塊804可以用于基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。
[0136]優(yōu)選地，所述交互模塊804進(jìn)一步被配置成:基于由物品信息獲得物品的三維圖像，將所述三維圖像疊加到可攝像設(shè)備拍攝的當(dāng)前圖像中的標(biāo)識碼上或標(biāo)識碼所在的物品位置上。
[0137]優(yōu)選地，所述交互模塊804進(jìn)一步被配置成:利用連續(xù)幀可攝像設(shè)備拍攝的標(biāo)識碼實物的圖像連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和姿態(tài)，從而獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面。
[0138]優(yōu)選地，所述參考圖像獲取模塊802被配置成:獲得利用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的初始圖像，基于初始圖像獲得參考圖像；以及利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的特征點及其位置。
[0139]優(yōu)選地，所述位置與姿態(tài)獲取模塊803被配置成:獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像；基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣；以及基于所述單應(yīng)矩陣，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。
[0140]優(yōu)選地，基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像單應(yīng)矩陣包括:獲得標(biāo)識碼在初始圖像中4個頂點的位置；以參考圖像的4個頂點與初始圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對；以及基于匹配點對獲得從參考圖像變換到當(dāng)前圖像的單應(yīng)矩陣。
[0141]優(yōu)選地，基于所述參考圖像和當(dāng)前圖像、獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣包括:利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點；利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；以及以所述匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣。
[0142]本申請的系統(tǒng)所包括的各個模塊的具體實施與本申請的方法中的步驟的具體實施是相對應(yīng)的，為了不模糊本申請，在此省略對各個模塊的具體細(xì)節(jié)進(jìn)行描述。
[0143]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機(jī)程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機(jī)可用程序代碼的計算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機(jī)程序產(chǎn)品的形式。
[0144]以上所述僅為本申請的實施例而已，并不用于限制本申請，對于本領(lǐng)域的技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請的權(quán)利要求范圍之內(nèi)。
【權(quán)利要求】
1.一種基于標(biāo)識碼的三維交互的方法，其特征在于，包括: 獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼并獲得標(biāo)識碼所對應(yīng)的物品/[目息; 獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點； 基于所述參考圖像和所述特征點，計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息；以及 基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述物品信息包括通過識別標(biāo)識碼得到的基本信息。
3.根據(jù)權(quán)利 要求2所述方法，其特征在于，所述物品信息包括依據(jù)所述基本信息通過本地數(shù)據(jù)庫或網(wǎng)絡(luò)獲得進(jìn)一步的用于交互的目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)中包括所述物品信息對應(yīng)的三維圖像。
4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述三維交互包括: 基于由物品信息獲得物品的三維圖像，將所述三維圖像疊加到可攝像設(shè)備拍攝的當(dāng)前圖像中的標(biāo)識碼上或標(biāo)識碼所在的物品位置上。
5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述三維交互包括: 連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和姿態(tài)，從而獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征點包括: 獲得利用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的初始圖像，基于初始圖像獲得參考圖像， 利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的特征點及其位置。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，基于所述初始圖像獲得參考圖像包括: 將所述初始圖像作為參考圖像，或者基于所述物品信息按照標(biāo)識碼生成算法生成一幅標(biāo)準(zhǔn)標(biāo)識碼，將所述標(biāo)準(zhǔn)標(biāo)識碼作為參考圖像。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息包括: 獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像； 基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣；以及 基于所述單應(yīng)矩陣，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像單應(yīng)矩陣包括: 獲得標(biāo)識碼在初始圖像中4個頂點的位置； 以參考圖像的4個頂點與初始圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對；以及 基于匹配點對獲得從參考圖像變換到當(dāng)前圖像的單應(yīng)矩陣。
10.根據(jù)權(quán)利要求8所述的方法，其特征在于，基于所述參考圖像和當(dāng)前圖像、獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣包括: 利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點； 利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；以及 以所述匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣。
11.根據(jù)權(quán)利要求10所述方法，其特征在于，利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點，包括: 獲得預(yù)測圖像，其中所述預(yù)測圖像是基于當(dāng)前圖像之前已經(jīng)獲取的圖像利用預(yù)定算法計算獲得的用于預(yù)測當(dāng)前圖像的圖像； 計算獲得參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置；以及以參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置在當(dāng)前圖像中找到相應(yīng)預(yù)定位置；在所述各參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置的周圍以預(yù)定的大小和形狀截取預(yù)測圖像的一部分作為每個特征點的相應(yīng)的預(yù)定圖像匹配塊；以及 在當(dāng)前圖像各預(yù)定位置的周圍，在預(yù)先設(shè)定的范圍內(nèi)，以預(yù)定的圖像匹配塊為標(biāo)準(zhǔn)，利用第二類特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點。
12.根據(jù)權(quán)利要 求11所述方法，其特征在于，以如下方式獲得預(yù)測圖像及參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置: 獲得可攝像設(shè)備拍攝的含有標(biāo)識碼實物的第一圖像A， 獲得可攝像設(shè)備拍攝的含有標(biāo)識碼實物的第二圖像B， 所述第一圖像A，第二圖像B為在當(dāng)前圖像之前獲取的圖像， 利用參考圖像、第一圖像A、第二圖像B獲得參考圖像至第二圖像B的單應(yīng)矩陣、第一圖像A至第二圖像B的單應(yīng)矩陣// 計算預(yù)測圖像的預(yù)測單應(yīng)矩陣P =Hab X Hsb, 以預(yù)測單應(yīng)矩陣P對參考圖像進(jìn)行變換，獲得預(yù)測圖像， 以預(yù)測單應(yīng)矩陣P對參考圖像中的特征點的位置進(jìn)行變換，獲得參考圖像中的特征點在預(yù)測圖像中的預(yù)測位置。
13.根據(jù)權(quán)利要求12所述方法，其特征在于， 所述第二圖像B為當(dāng)前圖像的前一幀圖像，所述第一圖像A為當(dāng)前圖像的前兩幀圖像。
14.一種基于標(biāo)識碼的三維交互的系統(tǒng)，其特征在于，包括: 標(biāo)識碼獲取與識別模塊，用于獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的圖像，識別標(biāo)識碼并獲得標(biāo)識碼所對應(yīng)的物品信息； 參考圖像獲取模塊，用于獲取與所述標(biāo)識碼相關(guān)的參考圖像以及該參考圖像的特征占.j \\\ ? 位置與姿態(tài)獲取模塊，用于基于所述參考圖像和所述特征點，計算并獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息；以及 交互模塊，用于基于所述可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)與所述標(biāo)識碼對應(yīng)的物品信息，進(jìn)行三維交互。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，所述交互模塊進(jìn)一步被配置成: 基于由物品信息獲得物品的三維圖像，將所述三維圖像疊加到可攝像設(shè)備拍攝的當(dāng)前圖像中的標(biāo)識碼上或標(biāo)識碼所在的物品位置上。
16.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，所述交互模塊進(jìn)一步被配置成包括: 連續(xù)獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和姿態(tài)，從而獲得可攝像設(shè)備與標(biāo)識碼或標(biāo)識碼所在實物的相對移動速度或加速度或兩者，以預(yù)定方式將所述移動速度或加速度或兩者傳遞到用戶界面。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其特征在于，參考圖像獲取模塊被配置成:獲得利用可攝像設(shè)備獲取的畫面中含有標(biāo)識碼實物的初始圖像，基于初始圖像獲得參考圖像；以及 利用特征點檢測算法對參考圖像進(jìn)行計算，獲得參考圖像中的特征點及其位置。
18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其特征在于，位置與姿態(tài)獲取模塊被配置成: 獲得可攝像設(shè)備拍攝的包含標(biāo)識碼實物的當(dāng)前圖像； 基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣；以及 基于所述單應(yīng)矩陣，獲得可攝像設(shè)備相對于標(biāo)識碼實物的位置和/或姿態(tài)信息。
19.根據(jù) 權(quán)利要求18所述的系統(tǒng)，其特征在于，基于所述參考圖像和當(dāng)前圖像，獲得從參考圖像至當(dāng)前圖像單應(yīng)矩陣包括: 獲得標(biāo)識碼在初始圖像中4個頂點的位置； 以參考圖像的4個頂點與初始圖像中標(biāo)識碼的4個頂點構(gòu)成匹配點對；以及 基于匹配點對獲得從參考圖像變換到當(dāng)前圖像的單應(yīng)矩陣。
20.根據(jù)權(quán)利要求18所述的系統(tǒng)，其特征在于，基于所述參考圖像和當(dāng)前圖像、獲得從參考圖像至當(dāng)前圖像的單應(yīng)矩陣包括: 利用特征點匹配算法獲得參考圖像的特征點在當(dāng)前圖像中的匹配點； 利用參考圖像中的特征點和所述當(dāng)前圖像中的匹配點構(gòu)成匹配點對；以及 以所述匹配點對獲得從參考圖像至到當(dāng)前圖像的單應(yīng)矩陣。
21.一種利用參考圖像獲得預(yù)測圖像的預(yù)測單應(yīng)矩陣的方法，其特征在于包括以下步驟: 獲取一張參考圖像S ; 獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第一圖像A， 獲得利用可攝像設(shè)備獲取的含有參考圖像實物的第二圖像B， 利用參考圖像S、第一圖像A、第二圖像B獲得參考圖像S至第二圖像B的單應(yīng)矩陣,并獲得第一圖像A至第二圖像B的單應(yīng)矩陣H計算預(yù)測圖像的預(yù)測單應(yīng)矩陣=//；； X Η%
22.如權(quán)利要求21所述方法，其特征在于，采用如下步驟獲得單應(yīng)矩陣/^: 利用特征點檢測算法對參考圖像S進(jìn)行計算，獲得參考圖像S中的特征點及其位置； 利用特征點檢測算法對第二圖像B進(jìn)行計算，獲得第二圖像B中的特征點及其位置； 利用特征點匹配算法獲得參考圖像S的特征點在第二圖像B中的匹配點及其位置； 利用參考圖像的特征點和第二圖像B中的匹配點構(gòu)成匹配點對； 基于所述匹配點對，獲得參考圖像至第二圖像的單應(yīng)矩陣//x ,
23.權(quán)利要求21或22所述方法，其特征在于，采用如下方式獲得第一圖像至第二圖像的單應(yīng)矩P7I//: 利用特檢測算法對參考圖像S進(jìn)行計算，獲得參考圖像S中的特征點及其位置； 利用特征點檢測算法對第一圖像A進(jìn)行計算，獲得第一圖像A中的特征點及其位置； 利用特征點匹配算法獲得參考圖像S的特征點在第一圖像A中的匹配點及其位置； 利用參考圖像的特征點和第一圖像A中的匹配點構(gòu)成匹配點對； 基于所述匹配點對，獲得參考圖像至第一圖像A的單應(yīng)矩陣//:1_ ； 獲得第一圖像A至第二圖像B的單應(yīng)矩陣X (//.丨1。
24.如權(quán)利要求22所述的方法，其特征在于，在利用參考圖像的特征點和第二圖像B中的匹配點構(gòu)成的步驟中采用Prosac算法或Ransac算法排除誤匹配點對,并基于經(jīng)過排除處理的匹配點對，獲得參考圖像至第二圖像的單應(yīng)矩陣丑1。
25.如權(quán)利要求23所述的方法，其特征在于，在利用參考圖像的特征點和第一圖像A中的匹配點構(gòu)成匹配點對的步驟中采用Prosac算法或Ransac算法排除誤匹配點對,并基于經(jīng)過排除處理的匹配點對，獲得參考圖像至第一圖像A的單應(yīng)矩陣H
【文檔編號】G06T17/00GK103971400SQ201310047346
【公開日】2014年8月6日 申請日期:2013年2月6日 優(yōu)先權(quán)日:2013年2月6日
【發(fā)明者】周士奇, 楚汝鋒, 張倫 申請人:阿里巴巴集團(tuán)控股有限公司