在陡峭角度下檢測平面目標(biāo)的制作方法
【專利說明】在陡峭角度下檢測平面目標(biāo)
[0001]相關(guān)申請案的交叉參考
[0002]本申請案主張2013年3月11日申請、標(biāo)題為“在陡峭角度下檢測平面目標(biāo)(Detect1n of planar targets under steep angles)，，的第 13/793，629 號(hào)美國申請案的權(quán)益及優(yōu)先權(quán)，所述美國申請案又根據(jù)35U.S.C.§ 119(e)主張2012年10月15日申請、標(biāo)題為“在陸峭角度下檢測平面目標(biāo)(Detect1n of planar targets under steep angles)，，的第61/714，115號(hào)美國臨時(shí)申請案的權(quán)益及優(yōu)先權(quán)，所述兩案的全文以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及用于擴(kuò)增實(shí)境(AR)的系統(tǒng)、設(shè)備及方法，且更確切地說，涉及允許在對運(yùn)行時(shí)間具有最小影響的情況下從陡峭角度辨識(shí)平面目標(biāo)。
【背景技術(shù)】
[0004]在擴(kuò)增實(shí)境(AR)應(yīng)用中，大多數(shù)平面對象檢測系統(tǒng)比較平面對象的圖片(例如，由用戶用移動(dòng)電話相機(jī)拍攝)的描述符與離線創(chuàng)建的描述符數(shù)據(jù)庫。首先，呈現(xiàn)平面目標(biāo)(有時(shí)稱為參考目標(biāo)、參考圖像、平面圖像、平面目標(biāo)圖像、平面參考圖像、矯正圖像，及其類似者)。接下來，處理器檢測平面目標(biāo)上的關(guān)鍵點(diǎn)130 (例如，拐角或邊緣特征，通常稱為特征點(diǎn))。處理器接著確定關(guān)于關(guān)鍵點(diǎn)130中的每一者的描述符。描述符可表示為描述關(guān)于平面對象的某一關(guān)鍵點(diǎn)的視覺外觀的向量(例如，具有32、64或128維度)。關(guān)鍵點(diǎn)130連同其描述符可稱為特征。多個(gè)關(guān)鍵點(diǎn)130連同其對應(yīng)多個(gè)描述符可稱為目標(biāo)圖像的多個(gè)特征。處理器將表示平面目標(biāo)的特征連同其它平面目標(biāo)的描述符存儲(chǔ)在數(shù)據(jù)庫中。移動(dòng)裝置可接著比較相機(jī)圖像中所見的描述符與描述符的數(shù)據(jù)庫以匹配或檢測平面目標(biāo)且由此獲知哪一平面目標(biāo)在相機(jī)的視圖中以及數(shù)據(jù)庫中的平面目標(biāo)是從哪一視角來觀測的。
[0005]描述符經(jīng)設(shè)計(jì)以具有某些有吸引力的特性。理想情況下，描述符將完全點(diǎn)亮且視角不變。在點(diǎn)亮?xí)r，縮放及平面內(nèi)旋轉(zhuǎn)變化由現(xiàn)代描述符充分地處置，強(qiáng)平面外旋轉(zhuǎn)仍成問題。在擴(kuò)增實(shí)境(AR)系統(tǒng)中需要通過高效(例如，使用點(diǎn)積)且有效地(例如，至少部分地對于視角及照明改變保持不變)比較及匹配描述符而允許在對運(yùn)行時(shí)間具有最小影響的情況下從陡峭角度辨識(shí)平面目標(biāo)的系統(tǒng)、設(shè)備及方法。

【發(fā)明內(nèi)容】

[0006]揭示用于更高效且有效地檢測平面目標(biāo)的系統(tǒng)、設(shè)備及方法。
[0007]根據(jù)一些方面，揭示一種創(chuàng)建用于檢測平面目標(biāo)的數(shù)據(jù)庫的方法，所述方法包括:接收所述平面目標(biāo)的具有參考坐標(biāo)系的圖像；處理所述平面目標(biāo)的所述圖像，其中處理包括:檢測所述平面目標(biāo)中的多個(gè)關(guān)鍵點(diǎn)；以及確定關(guān)于所述平面目標(biāo)中所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述平面目標(biāo)的所述圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；處理第一翹曲圖像，其中處理包括:使所述平面目標(biāo)翹曲以形成具有第一翹曲坐標(biāo)系的所述第一翹曲圖像；檢測所述第一翹曲圖像中的多個(gè)關(guān)鍵點(diǎn)；確定關(guān)于所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；以及在所述第一翹曲坐標(biāo)系與所述參考坐標(biāo)系之間變換所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)的坐標(biāo)；以及結(jié)合所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些與所述平面目標(biāo)的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些以在所述數(shù)據(jù)庫中形成用于所述平面目標(biāo)的所述圖像的單個(gè)數(shù)據(jù)集。
[0008]根據(jù)一些方面，揭示一種創(chuàng)建數(shù)據(jù)庫以供移動(dòng)裝置用以檢測平面目標(biāo)的裝置，所述裝置包括:相機(jī)，其經(jīng)配置以俘獲具有參考坐標(biāo)系的圖像，其中所述圖像含有所述平面目標(biāo)；處理器，其耦合到所述相機(jī)且經(jīng)配置以:處理所述平面目標(biāo)的所述圖像，其中所述處理器經(jīng)配置以:檢測所述平面目標(biāo)中的多個(gè)關(guān)鍵點(diǎn)；以及確定關(guān)于所述平面目標(biāo)中所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述平面目標(biāo)的所述圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；處理第一翹曲圖像，其中所述處理器經(jīng)配置以:使所述平面目標(biāo)翹曲以形成具有第一翹曲坐標(biāo)系的所述第一翹曲圖像；檢測所述第一翹曲圖像中的多個(gè)關(guān)鍵點(diǎn)；確定關(guān)于所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；以及在所述第一翹曲坐標(biāo)系與所述參考坐標(biāo)系之間變換所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)的坐標(biāo)；以及結(jié)合所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些與所述平面目標(biāo)的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些以在所述數(shù)據(jù)庫中形成用于所述平面目標(biāo)的所述圖像的單個(gè)數(shù)據(jù)集。
[0009]根據(jù)一些方面，揭示一種創(chuàng)建數(shù)據(jù)庫以供移動(dòng)裝置用以檢測平面目標(biāo)的裝置，所述裝置包括:用于接收所述平面目標(biāo)的具有參考坐標(biāo)系的圖像的裝置；用于處理所述平面目標(biāo)的所述圖像的裝置，其中所述處理包括:用于檢測所述平面目標(biāo)中的多個(gè)關(guān)鍵點(diǎn)的裝置；以及用于確定關(guān)于所述平面目標(biāo)中所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述平面目標(biāo)的所述圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符的裝置；用于處理第一翹曲圖像的裝置，其中所述處理包括:用于使所述平面目標(biāo)翹曲以形成具有第一翹曲坐標(biāo)系的所述第一翹曲圖像的裝置；用于檢測所述第一翹曲圖像中的多個(gè)關(guān)鍵點(diǎn)的裝置；用于確定關(guān)于所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符的裝置；以及用于在所述第一翹曲坐標(biāo)系與所述參考坐標(biāo)系之間變換所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)的坐標(biāo)的裝置；以及用于結(jié)合所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些與所述平面目標(biāo)的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些以在所述數(shù)據(jù)庫中形成用于所述平面目標(biāo)的所述圖像的單個(gè)數(shù)據(jù)集的裝置。
[0010]根據(jù)一些方面，揭示一種包含存儲(chǔ)于上面的程序代碼的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，所述程序代碼用于使裝置創(chuàng)建數(shù)據(jù)庫以供移動(dòng)裝置用以檢測平面目標(biāo)，包括用以進(jìn)行以下操作的程序代碼:接收所述平面目標(biāo)的具有參考坐標(biāo)系的圖像；處理所述平面目標(biāo)的所述圖像，其中用以處理的所述程序代碼包括用以進(jìn)行以下操作的程序代碼:檢測所述平面目標(biāo)中的多個(gè)關(guān)鍵點(diǎn)；以及確定關(guān)于所述平面目標(biāo)中所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述平面目標(biāo)的所述圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；處理第一翹曲圖像，其中用以處理的所述程序代碼包括用以進(jìn)行以下操作的程序代碼:使所述平面目標(biāo)翹曲以形成具有第一翹曲坐標(biāo)系的所述第一翹曲圖像；檢測所述第一翹曲圖像中的多個(gè)關(guān)鍵點(diǎn)；確定關(guān)于所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此導(dǎo)致所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及對應(yīng)描述符；以及在所述第一翹曲坐標(biāo)系與所述參考坐標(biāo)系之間變換所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)的坐標(biāo)；以及結(jié)合所述第一翹曲圖像的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些與所述平面目標(biāo)的所述多個(gè)關(guān)鍵點(diǎn)及所述對應(yīng)描述符中的至少一些以在所述數(shù)據(jù)庫中形成用于所述平面目標(biāo)的所述圖像的單個(gè)數(shù)據(jù)集。
[0011]根據(jù)一些方面，揭示一種在移動(dòng)裝置中用于檢測平面目標(biāo)的方法，所述方法包括:以銳角俘獲所述平面目標(biāo)的圖像以形成所俘獲圖像，其中所述銳角是從所述平面目標(biāo)的平面的垂線測得；檢測來自所述所俘獲圖像的多個(gè)關(guān)鍵點(diǎn)；確定關(guān)于所述多個(gè)關(guān)鍵點(diǎn)中的每一者的描述符，由此形成來自所述所俘獲圖像的多個(gè)描述符；比較來自所述所俘獲圖像的所述多個(gè)描述符與含有用于未翹曲圖像的至少一個(gè)翹曲圖像的多個(gè)描述符的數(shù)據(jù)庫以導(dǎo)致比較；以及從所述比較辨識(shí)所述平面目標(biāo)。
[0012]應(yīng)理解，對于所屬領(lǐng)域的技術(shù)人員來說，其它方面將從以下詳細(xì)描述變得容易顯而易見，其中借助于說明展示及描述各個(gè)方面。圖式及詳細(xì)描述應(yīng)被視為本質(zhì)上是說明性的而非限制性的。
【附圖說明】
[0013]將參看圖式僅通過實(shí)例方式來描述本發(fā)明的實(shí)施例。
[0014]圖1相對于平面目標(biāo)界定銳角α。
[0015]圖2及3展示根據(jù)本發(fā)明的一些實(shí)施例的平面目標(biāo)。
[0016]圖4及5Α到5C說明根據(jù)本發(fā)明的一些實(shí)施例的使平面目標(biāo)翹曲的實(shí)例。
[0017]圖6到9展示根據(jù)本發(fā)明的一些實(shí)施例的從平面目標(biāo)導(dǎo)出的各種翹曲圖像。
[0018]圖10到12展示如從相機(jī)檢視的在各種陡峭入射角度下的平面目標(biāo)。
[0019]圖13說明根據(jù)本發(fā)明的一些實(shí)施例的建立數(shù)據(jù)庫文