用于提供增強(qiáng)現(xiàn)實(shí)的方法以及便攜式終端的制作方法
【專利摘要】提供一種用于提供增強(qiáng)現(xiàn)實(shí)的方法以及便攜式終端。所述方法包括：獲得圖像；根據(jù)被攝體的類型順序地設(shè)置圖像的候選區(qū)域；從候選區(qū)域檢測被攝體中的至少一個(gè)；通過將虛擬對象映射到與在圖像中檢測到的被攝體的位置相應(yīng)的位置來創(chuàng)建合成圖像；向用戶顯示合成圖像。
【專利說明】用于提供增強(qiáng)現(xiàn)實(shí)的方法以及便攜式終端
【技術(shù)領(lǐng)域】
[0001]本公開涉及增強(qiáng)現(xiàn)實(shí)(AR)。更具體地講，本公開涉及一種用于在三維(3D)空間中通過相機(jī)同時(shí)識別各種被攝體，并實(shí)時(shí)跟蹤識別的被攝體的3D相機(jī)位姿跟蹤方法。
【背景技術(shù)】
[0002]增強(qiáng)現(xiàn)實(shí)(AR)是將由用戶看到的真實(shí)世界與包括附加信息的虛擬世界合成并顯示一個(gè)合成圖像的虛擬現(xiàn)實(shí)。利用虛擬世界補(bǔ)充真實(shí)世界的AR使用通過計(jì)算機(jī)圖形學(xué)創(chuàng)建的虛擬環(huán)境。計(jì)算機(jī)圖形學(xué)附加地提供真實(shí)環(huán)境所必需的信息。AR技術(shù)通過將3D虛擬圖像與由用戶看到的真實(shí)圖像重疊來將真實(shí)環(huán)境和虛擬屏幕顯示為一個(gè)屏幕，從而允許獲得關(guān)于真實(shí)環(huán)境的附加信息。
[0003]一般而言，為了基于通過相機(jī)輸入的圖像來識別對象，使用與對象的類型相應(yīng)的識別算法來識別在圖像中的對象，并且使用跟蹤算法來跟蹤對象的3D運(yùn)動。跟蹤對象的3D運(yùn)動作為用于AR技術(shù)的重要且基本的技術(shù)，從數(shù)學(xué)上指定真實(shí)相機(jī)查看真實(shí)對象的方向以允許虛擬內(nèi)容的匹配。在沒有精確3D跟蹤的情況下，虛擬內(nèi)容無法被精確匹配，使用戶難以應(yīng)對并因此喪失作為AR的價(jià)值。
[0004]根據(jù)現(xiàn)有技術(shù)的AR提供方法，一個(gè)識別引擎僅識別特定對象(面部、字符等)，每個(gè)識別引擎具有其獨(dú)立的識別和跟蹤算法。
[0005]此外，在現(xiàn)有技術(shù)的AR提供方法中，針對附加對象的識別需要開發(fā)識別算法和跟蹤算法二者，并且針對附加對象的附加識別引擎不得不并列地連接到現(xiàn)有識別引擎。另外，雖然一些對象(諸如字符)可被識別，但是難以跟蹤。因此，需要一種用于在3D空間中通過相機(jī)同時(shí)識別各種被攝體并實(shí)時(shí)跟蹤識別的被攝體的改進(jìn)的設(shè)備和方法。
[0006]以上信息僅被提供為背景信息，用于幫助理解本公開。關(guān)于任何上述內(nèi)容是否可用作對于本公開的現(xiàn)有技術(shù)，尚未確定且沒有斷言。

【發(fā)明內(nèi)容】

[0007]本公開的各方面在于至少解決上述問題和/或缺點(diǎn)，并至少提供下述優(yōu)點(diǎn)。
[0008]本公開的另一方面在于提供一種用于提高開發(fā)的效率的方法，其中，對象識別引擎分別具有插入式結(jié)構(gòu)，以按照手動方式或自動方式有組織地運(yùn)行，并且，利用三維(3D)場景跟蹤來一般化對象的跟蹤，使得針對添加的對象僅需要開發(fā)識別算法。
[0009]通過下述各種實(shí)施例，可理解將在本公開中提供的其它目的。
[0010]根據(jù)本公開的一方面，提供一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法。所述方法包括:獲得圖像；根據(jù)被攝體的類型順序地設(shè)置圖像的候選區(qū)域；從候選區(qū)域檢測被攝體中的至少一個(gè)；通過將虛擬對象映射到與在圖像中檢測到的被攝體的位置相應(yīng)的位置來創(chuàng)建合成圖像；向用戶顯示合成圖像。
[0011]根據(jù)本公開的另一方面，提供一種用于提供AR的便攜式終端。所述便攜式終端包括:相機(jī)模塊，被配置為用于輸出圖像；控制器，被配置為用于根據(jù)被攝體的類型順序地設(shè)置圖像的候選區(qū)域，從候選區(qū)域檢測被攝體中的至少一個(gè)，通過將虛擬對象映射到與在圖像中檢測到的被攝體的位置相應(yīng)的位置來創(chuàng)建合成圖像；顯示單元，被配置為用于向用戶顯示合成圖像。
[0012]從以下結(jié)合附圖公開本公開的各種實(shí)施例的詳細(xì)描述中，本公開的其它方面、優(yōu)點(diǎn)和突出特征將對本領(lǐng)域普通技術(shù)人員而言變得清楚。
【專利附圖】

【附圖說明】
[0013]從以下結(jié)合附圖的詳細(xì)描述中，本公開的特定實(shí)施例的以上和其它方面、特征和優(yōu)點(diǎn)將會更清楚，其中:
[0014]圖1是根據(jù)本公開的實(shí)施例的便攜式終端的示意性框圖；
[0015]圖2是根據(jù)本公開的實(shí)施例的便攜式終端的前透視圖；
[0016]圖3是根據(jù)本公開的實(shí)施例的便攜式終端的后透視圖；
[0017]圖4示出根據(jù)本公開的實(shí)施例的用于提供增強(qiáng)現(xiàn)實(shí)(AR)的便攜式終端的主要組件；
[0018]圖5示出根據(jù)本公開的實(shí)施例的識別引擎；
[0019]圖6是根據(jù)本公開的實(shí)施例的用于提供AR的方法的流程圖；
[0020]圖7是根據(jù)本公開的實(shí)施例的用于粗略識別的方法的流程圖；
[0021]圖8A、圖8B、圖9A和圖9B是根據(jù)本公開的實(shí)施例的用于描述粗略識別和精細(xì)識別的示圖；
[0022]圖10是根據(jù)本公開的實(shí)施例的用于跟蹤的方法的流程圖；
[0023]圖1lA和圖1lB是根據(jù)本公開的實(shí)施例的用于描述全局相機(jī)位姿的示圖；
[0024]圖12A、圖12B、圖13A和圖13B是根據(jù)本公開的實(shí)施例的用于描述用于估計(jì)全局相機(jī)位姿和局部場景位姿的方法的示圖；
[0025]圖14A、圖14B、圖15A和圖15B是根據(jù)本公開的實(shí)施例的用于描述使用跟蹤信息的圖像合成的示圖。
[0026]貫穿附圖，同樣的附圖標(biāo)號將被理解為指示同樣的部分、組件和結(jié)構(gòu)。
【具體實(shí)施方式】
[0027]參照附圖的以下描述被提供以用于幫助全面理解由權(quán)利要求及其等同物限定的本公開的各種實(shí)施例。雖然以下描述包括各種具體細(xì)節(jié)以幫助理解，但是這些具體細(xì)節(jié)將僅被視為僅僅是示例性的。因此，本領(lǐng)域普通技術(shù)人員將認(rèn)識到，在不脫離本公開的范圍和精神的情況下，可進(jìn)行在此描述的各種實(shí)施例的各種改變和修改。另外，為了清晰和簡明，可省略公知功能和構(gòu)造的描述。
[0028]以下描述和權(quán)利要求中使用的術(shù)語和詞語不限于書面含義，而僅由發(fā)明人用來實(shí)現(xiàn)本公開的清楚且一致的理解。因此，本領(lǐng)域技術(shù)人員應(yīng)清楚，提供本公開的各種實(shí)施例的以下描述僅用于說明目的而不用于限制由權(quán)利要求及其等同物限定的本公開的目的。
[0029]將理解，單數(shù)形式包括復(fù)數(shù)指示物，除非上下文清楚地指出并非如此。因此，例如，參照“組件表面”包括參照一個(gè)或多個(gè)這樣的表面。
[0030]雖然本公開允許各種改變和實(shí)施例，但是特定實(shí)施例將在附圖中被示出并在下文中描述。然而，本公開不限于描述的實(shí)施例并且應(yīng)被理解為包括在本公開的精神和范圍內(nèi)包括的任何和所有的改變、等同物和替換。
[0031]雖然序數(shù)(諸如“第一”、“第二”等)將被用于描述各種組件，但是這些組件不受所述術(shù)語限制。序數(shù)詞僅被用于將一個(gè)組件與另一組件區(qū)別。例如，在不脫離本發(fā)明構(gòu)思的教導(dǎo)的情況下，第一組件可被稱為第二組件，同樣地，第二組件也可被稱為第一組件。在此使用的術(shù)語“和/或”包括一個(gè)或多個(gè)關(guān)聯(lián)的列出的項(xiàng)目的任何及全部組合。
[0032]這里使用的術(shù)語僅僅是為了描述各種實(shí)施例而并非意在限制。如這里所使用的情況，單數(shù)形式意在也包括復(fù)數(shù)形式，除非上下文清楚地另有指示。還將理解:當(dāng)在本公開中使用時(shí)，術(shù)語“包括”和/或“具有”指定存在聲明的特征、號碼、步驟、操作、組件、元件或上述項(xiàng)的組合，但是并不排除存在或添加附加的特征、號碼、步驟、操作、組件、元件或上述項(xiàng)的組合。
[0033]在此使用的術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)與本領(lǐng)域技術(shù)人員通常理解的術(shù)語具有相同含義，只要所述術(shù)語未被不同地定義。應(yīng)理解:在通常使用的詞典中定義的術(shù)語具有與在現(xiàn)有技術(shù)中的術(shù)語的含義一致的含義。只要所述術(shù)語未被明顯地定義，它們不被理想地或過度地分析為正式含義。
[0034]在本公開中，終端可以是包括觸摸屏的任意裝置，終端可被稱為便攜式終端、移動終端、通信終端、便攜式通信終端或便攜式移動終端。
[0035]例如，終端可以是智能電話、蜂窩電話、游戲控制臺、電視機(jī)(TV)、顯示器、車輛機(jī)頭單元(vehicle head unit)、筆記本計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、個(gè)人媒體播放器(PMP)、個(gè)人數(shù)字助理(PDA)等。可利用具有無線通信功能的袖珍型便攜式通信終端來實(shí)施終端。終端也可以是柔性裝置或柔性顯示器。
[0036]終端的典型結(jié)構(gòu)與蜂窩電話相關(guān)聯(lián)，可從終端的典型結(jié)構(gòu)中省略或改變一些組件。
[0037]圖1是根據(jù)本公開的實(shí)施例的便攜式終端的示意性框圖。
[0038]參照圖1，可通過使用通信模塊120、連接器165和耳機(jī)連接插孔167中的至少一個(gè)將便攜式終端100與外部電子裝置(未示出)連接。電子裝置可包括可從便攜式終端100中移除且可通過有線方式與便攜式終端100連接的各種裝置(諸如，例如，耳機(jī)、外部揚(yáng)聲器、通用串行總線(USB)存儲器、充電裝置、支架/基座、數(shù)字多媒體廣播(DMB)天線、移動支付相關(guān)裝置、健康管理裝置(血壓監(jiān)視器等)、游戲控制臺、車輛導(dǎo)航裝置等)中的一個(gè)。電子裝置可包括可無線連接的藍(lán)牙通信裝置、近場通信(NFC)裝置、WiFi直連通信裝置、無線接入點(diǎn)(AP)?？赏ㄟ^有線方式或無線方式將便攜式終端100與另一便攜式終端或電子裝置(諸如，例如，蜂窩電話、智能電話、平板個(gè)人計(jì)算機(jī)(PC)、臺式PC、服務(wù)器等)連接。
[0039]參照圖1，便攜式終端100包括至少一個(gè)觸摸屏190和至少一個(gè)觸摸屏控制器195。便攜式終端100還包括控制器110、通信模塊120、多媒體模塊140、相機(jī)模塊150、輸入/輸出模塊160、傳感器模塊170、存儲單元175、供電單元180。
[0040]通信模塊120包括移動通信模塊121、子通信模塊130和廣播通信模塊141。
[0041]子通信模塊130包括無線局域網(wǎng)(WLAN)模塊131和短距離通信模塊132中的至少一個(gè)。多媒體模塊140包括音頻回放模塊142和視頻回放模塊143中的至少一個(gè)。相機(jī)模塊150包括第一相機(jī)151和第二相機(jī)152。此外，取決于便攜式終端100的主要用途，根據(jù)本公開的便攜式終端100的相機(jī)模塊150包括以下項(xiàng)中的至少一個(gè):用于第一相機(jī)151和第二相機(jī)120的放大/縮小操作的鏡頭筒單元155、用于控制鏡頭筒單元155的運(yùn)動以進(jìn)行鏡頭筒單元155的放大/縮小操作的電機(jī)154、用于提供用于拍攝的光源的閃光燈153。輸入/輸出模塊160包括至少一個(gè)按鈕161、麥克風(fēng)162、揚(yáng)聲器163、振動兀件164、連接器165和鍵區(qū)166。
[0042]控制器110包括:只讀存儲器(ROM) 112，其中存儲有用于控制便攜式終端100的控制程序；隨機(jī)存取存儲器(RAM)113，存儲從便攜式終端100輸入的信號或數(shù)據(jù)，或者被用作針對在便攜式終端100中執(zhí)行的任務(wù)的存儲器區(qū)域。中央處理單元(CPU) 111可包括單核處理器、雙核處理器、三核處理器或四核處理器。CPU111、ROMl 12和RAM113可通過內(nèi)部總線相互連接。
[0043]控制器110控制通信模塊120、多媒體模塊140、相機(jī)模塊150、輸入/輸出模塊160、傳感器模塊170、存儲單元175、供電單元180、觸摸屏190和觸摸屏控制器195。
[0044]控制器100感測當(dāng)可觸摸的用戶輸入部件(諸如輸入單元168、用戶手指等)觸摸在觸摸屏190上顯示的多個(gè)對象或項(xiàng)目中的一個(gè)、靠近對象或被置于接近對象時(shí)產(chǎn)生的用戶輸入?？刂破?10還識別與在觸摸屏190上感測到用戶輸入的位置相應(yīng)的對象。通過觸摸屏190產(chǎn)生的用戶輸入包括直接觸摸輸入和懸停輸入之一,其中，直接觸摸輸入用于直接觸摸對象，懸停輸入作為在預(yù)設(shè)識別距離內(nèi)靠近對象而不直接觸摸對象的間接觸摸輸入。例如，當(dāng)輸入單元168被置于接近觸摸屏190時(shí)，可選擇緊位于輸入單元168之下的對象。在本公開中，用戶輸入可包括通過相機(jī)模塊150產(chǎn)生的手勢輸入、通過至少一個(gè)按鈕161或鍵區(qū)166產(chǎn)生的開關(guān)/按鈕輸入、通過麥克風(fēng)162產(chǎn)生的語音輸入以及通過觸摸屏190產(chǎn)生的用戶輸入。
[0045]對象或項(xiàng)目(或功能項(xiàng)目)被顯示在便攜式終端100的觸摸屏190上，并且包括以下項(xiàng)中的至少一個(gè)，例如，應(yīng)用、菜單、文檔、微件、圖片、運(yùn)動圖像、電子郵件、短消息服務(wù)(SMS)消息、多媒體消息服務(wù)(MMS)消息。使用用戶輸入部件，對象可被選擇、執(zhí)行、刪除、取消、存儲、改變等。項(xiàng)目可被用作包括按鈕、圖標(biāo)(或快捷方式圖標(biāo))、縮略圖圖像的概念或者包括在便攜式終端100中的至少一個(gè)對象的文件夾?？砂凑請D像、文本等形式來呈現(xiàn)項(xiàng)目。
[0046]快捷方式圖標(biāo)是在便攜式終端100的觸摸屏190上顯示的用于應(yīng)用、呼叫、聯(lián)系人號碼、菜單等的快速執(zhí)行的圖像。在輸入用于執(zhí)行快捷方式圖標(biāo)的命令或選擇時(shí)，執(zhí)行相應(yīng)應(yīng)用。
[0047]當(dāng)輸入單元168靠近觸摸屏190或被置于接近觸摸屏190時(shí)，控制器110感測用戶輸入事件，諸如懸停事件。
[0048]在產(chǎn)生針對特定項(xiàng)目或方式的用戶輸入事件時(shí)，控制器110執(zhí)行與產(chǎn)生的用戶輸入事件相應(yīng)的程序操作。
[0049]控制器110可將控制信號輸出到輸入單元168或振動元件164?？刂菩盘柨砂P(guān)于振動模式的信息。輸入單元168或振動元件164產(chǎn)生與振動模式相應(yīng)的振動。關(guān)于振動模式的信息可指示振動模式或與振動模式相應(yīng)的標(biāo)識符?？刂菩盘柨蓛H包括振動產(chǎn)生請求。
[0050]便攜式終端100可包括移動通信模塊121、WLAN模塊131和短距離通信模塊132中的至少一個(gè)。[0051]移動通信模塊121可在控制器110的控制下通過使用一個(gè)或多個(gè)天線(未示出)來促進(jìn)在便攜式終端100與外部裝置之間的連接。移動通信模塊121與蜂窩電話(未示出)、智能電話(未示出)、平板PC或具有被輸入到便攜式終端100的電話號碼的另一電子裝置(未示出)發(fā)送/接收用于語音呼叫、視頻呼叫、文本消息(即，SMS)和/或多媒體消息(S卩，MMS)的無線信號。
[0052]子通信模塊130包括WLAN模塊131和短距離通信單元132中的至少一個(gè)。可選地，子通信模塊130可包括WLAN模塊131或短距離通信單元132或者WLAN模塊131和短距離通信單元132 二者。
[0053]WLAN模塊131可在控制器110的控制下在安裝有無線AP (未示出)的地方連接到互聯(lián)網(wǎng)。WLAN模塊131支持電氣和電子工程師協(xié)會(IEEE)的無線LAN標(biāo)準(zhǔn)IEEE802.1lx0短距離通信模塊132可在控制器110的控制下在便攜式終端100與外部電子裝置之間無線地執(zhí)行短距離通信。短距離通信可包括藍(lán)牙、紅外線數(shù)據(jù)協(xié)會(IrDA)、WiFi直連通信、NFC通信等。
[0054]通過子通信模塊130，控制器110可將針對振動模式的控制信號發(fā)送到輸入單元168。
[0055]廣播通信模塊141在控制器110的控制下經(jīng)由廣播通信天線(未示出)接收從廣播站(未示出)發(fā)送的廣播信號(例如，TV廣播信號、無線電廣播信號或數(shù)據(jù)廣播信號)和廣播附加信息(例如，電子節(jié)目指南(EPG)或電子服務(wù)指南(ESG))。
[0056]多媒體模塊140包括音頻回放模塊142或視頻回放模塊143或者音頻回放模塊142和視頻回放模塊143二者。音頻回放模塊142可在控制器110的控制下播放在存儲單元175中存儲的或接收到的數(shù)字音頻文件(例如，具有文件擴(kuò)展名(諸如“mp3”、“wma”、“0gg”或“wav”)的文件。視頻回放模塊143可在控制器110的控制下播放存儲的或接收到的數(shù)字視頻文件(例如，具有文件擴(kuò)展名(諸如“mpeg”、“mpg”、“mp4”、“avi”、“m0v”或“mkv”的文件)。
[0057]多媒體模塊140可被集成到控制器110。
[0058]相機(jī)模塊150包括在控制器110的控制下捕捉靜止圖像或視頻圖像的第一相機(jī)151和第二相機(jī)152。相機(jī)模塊150還包括用于執(zhí)行針對拍攝的放大/縮小操作的鏡頭筒單元155、用于控制鏡頭筒單元155的運(yùn)動的電機(jī)154和用于提供拍攝所必需的輔助光源的閃光燈153。第一相機(jī)151可被置于便攜式終端100的前表面，第二相機(jī)152可被置于便攜式終端100的后表面。
[0059]第一相機(jī)151和第二相機(jī)152均包括鏡頭系統(tǒng)、圖像傳感器等。第一相機(jī)151和第二相機(jī)152將通過鏡頭系統(tǒng)(輸入或捕捉)的光信號轉(zhuǎn)換為電圖像信號，并將電圖像信號輸出到控制器110。用戶可通過第一相機(jī)151和第二相機(jī)152捕捉運(yùn)動圖像或靜止圖像。
[0060]輸入/輸出模塊160包括至少一個(gè)按鈕161、麥克風(fēng)162、揚(yáng)聲器163、振動兀件164、連接器165、鍵區(qū)166、耳機(jī)連接插孔167和輸入單元168。然而，應(yīng)注意到，輸入/輸出模塊160不限于這些示例,可提供光標(biāo)控制(諸如,例如，鼠標(biāo)、軌跡球、操縱桿或光標(biāo)方向鍵)以控制在觸摸屏190上的光標(biāo)移動。
[0061]按鈕161可形成在便攜式終端100的外殼(或殼體)的前表面、側(cè)表面和后表面中的至少一個(gè)上，并且可包括電源/鎖定按鈕、音量按鈕、菜單按鈕、主屏幕按鈕、回退按鈕、搜索按鈕等中的至少一個(gè)。
[0062]麥克風(fēng)162在控制器110的控制下接收語音或其它聲音，并產(chǎn)生相應(yīng)電信號。
[0063]揚(yáng)聲器163可在控制器110的控制下將與各種信號或數(shù)據(jù)(例如，無線數(shù)據(jù)、廣播數(shù)據(jù)、數(shù)字音頻數(shù)據(jù)、數(shù)字視頻數(shù)據(jù)等)相應(yīng)的聲音輸出。揚(yáng)聲器163可輸出與由便攜式終端100執(zhí)行的功能相應(yīng)的聲音(例如，與電話呼叫相應(yīng)的按鈕操作聲音、回鈴音或?qū)Ψ接脩舻恼Z音)。一個(gè)或多個(gè)揚(yáng)聲器163可形成在便攜式終端100的外殼的一個(gè)或多個(gè)適當(dāng)位置中。
[0064]振動元件164在控制器110的控制下將電信號轉(zhuǎn)換為機(jī)械振動。例如，在便攜式終端100中，在振動模式下，如果接收到來自另一裝置(未示出)的語音呼叫或視頻呼叫，則振動元件164進(jìn)行操作。一個(gè)或多個(gè)振動元件164可被布置在便攜式終端100的外殼中。振動元件164可響應(yīng)于通過觸摸屏190產(chǎn)生的用戶輸入來進(jìn)行操作。
[0065]連接器165可被用作用于將便攜式終端100與外部裝置(未示出)或電源(未示出)連接的接口。在控制器110的控制下，通過連接到連接器165的有線電纜，存儲在便攜式終端100的存儲單元175中的數(shù)據(jù)可被發(fā)送到外部電子裝置，或可從外部電子裝置接收數(shù)據(jù)。此外，便攜式終端100可通過連接到連接器165的有線電纜從電源接收電力，或可通過使用電源為電池(未不出)充電。
[0066]鍵區(qū)166從用戶接收針對便攜式終端100的控制的鍵輸入。鍵區(qū)166包括在便攜式終端100中形成的物理鍵區(qū)(未示出)或在觸摸屏190上顯示的虛擬鍵區(qū)(未示出)。根據(jù)便攜式終端100的性能或結(jié)構(gòu)可排除在移動便攜式終端100中形成的物理鍵區(qū)(未示出)。
[0067]耳機(jī)(未示出)可被插入到耳機(jī)連接插孔167中，以被連接到便攜式終端100。
[0068]輸入單元168可被插入到便攜式終端100以用于保管，并且當(dāng)被使用時(shí)，輸入單元168可從便攜式終端100取出或分離。在插入有輸入單元168的便攜式終端100的內(nèi)側(cè)的區(qū)域中，布置附接/拆卸識別開關(guān)169以向控制器110提供與輸入單元168的附接或拆卸相應(yīng)的信號。附接/拆卸識別開關(guān)169可被配置為用于當(dāng)安裝輸入單元168時(shí)直接或間接地接觸輸入單元168。因此，附接/分離識別開關(guān)169基于其是否接觸輸入單元168來產(chǎn)生與輸入單元168的附接或分離相應(yīng)的信號(即，用于指示輸入單元168的附接或分離的信號)并將信號輸出到控制器110。
[0069]傳感器模塊170包括用于檢測便攜式終端100的狀態(tài)的至少一個(gè)傳感器。例如，傳感器模塊170可包括以下項(xiàng)中的至少一個(gè):用于檢測用戶相對于便攜式終端100的接近度的接近傳感器、用于檢測便攜式終端100周圍的光量的照度傳感器(未示出)、用于檢測便攜式終端100的操作(例如，便攜式終端100的旋轉(zhuǎn)或施加到便攜式終端100的加速度或振動)的運(yùn)動傳感器(未示出)、用于通過使用地球的磁場來檢測指南針的指向的地磁傳感器(未示出)、用于檢測重力的作用方向的重力傳感器、用于測量大氣壓以檢測高度的高度計(jì)、全球定位系統(tǒng)(GPS)模塊157等。
[0070]GPS模塊157從在地球軌道中的多個(gè)GPS衛(wèi)星(未示出)接收電波并通過使用從GPS衛(wèi)星(未示出)到便攜式終端100的到達(dá)時(shí)間來計(jì)算便攜式終端100的位置。
[0071]存儲單元175在控制器110的控制下存儲與通信模塊120、多媒體模塊140、輸入/輸出模塊160、傳感器模塊170或觸摸屏190的操作相應(yīng)地被輸入/輸出的信號或數(shù)據(jù)。存儲單元175還可存儲針對便攜式終端100和/或控制器110的控制的控制程序以及應(yīng)用。[0072]術(shù)語“存儲單元”包括存儲單元175、在控制器110中的ROMl 12和RAMl 13，或在便攜式終端100中安裝的存儲卡(未示出)(例如，安全數(shù)字(SD)卡、記憶棒等)。存儲單元175可包括非易失性存儲器、易失性存儲器、硬盤驅(qū)動器(HDD)、固態(tài)驅(qū)動器(SSD)等。
[0073]存儲單元175還可存儲各種功能的應(yīng)用(諸如導(dǎo)航、視頻通信、游戲、基于時(shí)間的鬧鈴應(yīng)用等)、用于提供與應(yīng)用相關(guān)的圖形用戶界面(GUI)的圖像、用戶信息、文檔、數(shù)據(jù)庫或與用于處理觸摸輸入的方法相關(guān)的數(shù)據(jù)、背景圖像(例如，菜單屏幕、待機(jī)屏幕等)、驅(qū)動便攜式終端100所必需的操作程序、由相機(jī)模塊150捕捉的圖像等。
[0074]存儲單元175可存儲與用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法相關(guān)聯(lián)的數(shù)據(jù)。
[0075]存儲單元175是諸如，例如，非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)的機(jī)器。術(shù)語“機(jī)器可讀介質(zhì)”包括用于向機(jī)器提供數(shù)據(jù)以允許機(jī)器執(zhí)行特定功能的介質(zhì)。存儲單元175可包括非易失性介質(zhì)或易失性介質(zhì)。這樣的介質(zhì)需要是有形類型的介質(zhì)，使得可通過讀取命令的機(jī)器的物理工具來檢測在介質(zhì)中存儲的命令。
[0076]機(jī)器可讀介質(zhì)可包括但不限于以下項(xiàng)中的至少一個(gè):軟盤、柔性盤(flexibledisk)、硬盤、磁帶、壓縮盤只讀存儲器(⑶-ROM)、光盤、穿孔卡片、紙帶、隨機(jī)存取存儲器(RAM)、可編程只讀存儲器(PR0M)、可擦除PROM (EPR0M)、快閃EPROM等。
[0077]供電單元180在控制器110的控制下向布置在便攜式終端100的外殼中的一個(gè)或多個(gè)電池供電。一個(gè)或多個(gè)電池向便攜式終端100供電。供電單元180還可將通過與連接器165連接的有線電纜從外部電源輸入的電力供應(yīng)給便攜式終端100。供電單元180還可將使用無線充電技術(shù)從外部電源無線輸入的電力供應(yīng)給便攜式終端100。
[0078]便攜式終端100包括向用戶提供與各種服務(wù)(例如，呼叫、數(shù)據(jù)傳輸、廣播、圖片拍攝)相應(yīng)的用戶圖形界面。
[0079]觸摸屏190將與針對用戶圖形界面的至少一個(gè)輸入相應(yīng)的模擬信號輸出到觸摸屏控制器195。
[0080]觸摸屏190接收使用用戶身體(例如，包括拇指的手指)或輸入單元168 (例如，觸控筆或電子筆)的至少一個(gè)用戶輸入。
[0081]觸摸屏190還接收一個(gè)觸摸的連續(xù)移動(即，拖動輸入)。觸摸屏190將與接收到的觸摸的連續(xù)移動相應(yīng)的模擬信號輸出到觸摸屏控制器195。
[0082]在本公開中，觸摸還可包括在沒有與觸摸屏190進(jìn)行直接接觸的情況下可檢測到用戶輸入部件的非接觸觸摸(例如，當(dāng)用戶輸入部件位于，例如，Icm的距離內(nèi)時(shí))。觸摸還可包括在觸摸屏190與手指或輸入單元168之間的直接接觸?？筛鶕?jù)便攜式終端100的性能或結(jié)構(gòu)而改變與觸摸屏190之間的距離或間隔，其中，在所述距離或間隔內(nèi)，可檢測用戶輸入部件。作為示例，為了分開檢測基于與用戶輸入部件的接觸的直接觸摸事件和間接觸摸事件(即，懸停事件)，觸摸屏190可被配置為用于針對直接觸摸事件和懸停事件輸出不同值(例如，模擬電壓值或電流值)。
[0083]例如，觸摸屏190可被實(shí)施為電阻型、電容型、紅外型、聲波型或前述類型的組合
坐寸ο
[0084]在實(shí)施例中，觸摸屏190可包括能夠感測觸摸、手指的靠近或輸入單元168的至少兩個(gè)觸摸面板以接收由手指或輸入單元168產(chǎn)生的輸入。所述至少兩個(gè)觸摸面板向觸摸屏控制器195提供不同輸出值。因此，觸摸屏控制器195不同地識別從所述至少兩個(gè)觸摸屏面板輸入的值，以識別來自觸摸屏190的輸入是否是由手指或由輸入單元168產(chǎn)生的輸入。
[0085]觸摸屏控制器195將從觸摸屏190接收的模擬信號轉(zhuǎn)換為數(shù)字信號，并將數(shù)字信號發(fā)送到控制器110?？刂破?10通過使用從觸摸屏控制器195接收的數(shù)字信號來控制觸摸屏190。例如，響應(yīng)于直接觸摸事件或懸停事件，控制器110可控制在觸摸屏190上顯示的快鍵圖標(biāo)(未示出)被選擇或被執(zhí)行。觸摸屏控制器195可被包括在控制器110中。
[0086]通過檢測通過觸摸屏190輸出的值(例如，電流值)，觸摸屏控制器195識別用戶輸入位置以及懸停間隔或懸停距離，并將識別的距離轉(zhuǎn)換為其隨后發(fā)送到控制器110的數(shù)字信號(例如，Z坐標(biāo))。觸摸屏控制器195還可通過檢測通過觸摸屏190輸出的值來檢測由用戶輸入部件施加到觸摸屏190的壓力，將檢測到的壓力轉(zhuǎn)換為數(shù)字信號并將數(shù)字信號提供給控制器110。
[0087]圖2是根據(jù)本公開的實(shí)施例的便攜式終端的前透視圖，圖3是根據(jù)本公開的實(shí)施例的便攜式終端的后透視圖。
[0088]參照圖2和圖3，觸摸屏190被置于便攜式終端100的前表面101的中部。觸摸屏190可大到足以占據(jù)便攜式終端100的前表面101的大部分。圖2示出在觸摸屏190上顯示首要主屏幕的示例。首要主屏幕是當(dāng)移動裝置100被通電時(shí)在觸摸屏190上顯示的初始屏幕。當(dāng)便攜式終端100具有若干頁面的不同主屏幕時(shí)，首要主屏幕可以是若干頁面的主屏幕之中的第一主屏幕?？稍谥髌聊簧巷@示用于執(zhí)行被頻繁使用的應(yīng)用的快捷方式圖標(biāo)191-1、191-2和191-3、主菜單改變鍵191-4、時(shí)間、天氣等。如果用戶選擇主菜單改變鍵191-4，則在觸摸屏190上顯示菜單屏幕。指示便攜式終端100的狀態(tài)(諸如電池充電狀態(tài)、接收到的信號的強(qiáng)度、當(dāng)前時(shí)間等)的狀態(tài)欄192可被形成在觸摸屏190的上部中。
[0089]在觸摸屏190的下部，可布置主屏幕按鈕161a、菜單按鈕161b和回退按鈕161c。
[0090]主屏幕按鈕161a旨在將首要主屏幕顯示在觸摸屏190上。例如，當(dāng)不同于首要主屏幕的任何主屏幕或菜單屏幕被顯示在觸摸屏190上時(shí)，可在主屏幕按鈕161a被選擇時(shí)在觸摸屏190上顯示首要主屏幕。如果在觸摸屏190上的應(yīng)用執(zhí)行期間選擇了主屏幕按鈕161a，則可在觸摸屏190上顯示在圖2中示出的首要主屏幕。主屏幕按鈕161a可被用于將最近使用的應(yīng)用或任務(wù)管理器顯示在觸摸屏190上。
[0091]菜單按鈕161b提供可在觸摸屏190上顯示的連接菜單。例如，連接菜單可包括微件添加菜單、背景改變菜單、搜索菜單、編輯菜單、環(huán)境設(shè)置菜單等。
[0092]回退按鈕161c可被用于顯示緊在當(dāng)前執(zhí)行的屏幕之前被顯示的屏幕或用于終止最近使用的應(yīng)用。
[0093]第一相機(jī)151、照度傳感器170a和接近傳感器170b可被布置在便攜式終端100的前表面101的邊緣上。第二相機(jī)152、閃關(guān)燈153和揚(yáng)聲器163可被布置在便攜式終端100的后表面103上。
[0094]電源/鎖定按鈕161d、包括音量提高按鈕161f和音量降低按鈕161g的音量按鈕161e、用于廣播接收的地面DMB天線141a以及一個(gè)或多個(gè)麥克風(fēng)162可被布置在便攜式終端100的側(cè)表面102上。DMB天線141a可被固定到便攜式終端100上或可從便攜式終端100移除。
[0095]連接器165 (其中形成有多個(gè)電極，并可按照有線方式與外部裝置連接)可被形成在便攜式終端100的下端側(cè)表面中?？刹迦胗卸鷻C(jī)的耳機(jī)連接插孔167可被形成在便攜式終端100的上端側(cè)表面中。
[0096]輸入單元168 (其可通過被插入到便攜式終端100而被存儲，并可從便攜式終端100中取出和分離以進(jìn)行使用)可被安裝/形成在便攜式終端100的下端側(cè)表面上。
[0097]本公開提供將虛擬對象與由相機(jī)模塊150捕捉的真實(shí)圖像和實(shí)時(shí)圖像合成的AR。
[0098]控制器110控制便攜式終端100的整體操作以及在便攜式終端100中的其它組件以執(zhí)行公開的用于提供AR的方法。
[0099]圖4示出根據(jù)本公開的實(shí)施例的用于提供AR的便攜式終端的主要組件。
[0100]參照圖4，便攜式終端100的組件包括相機(jī)模塊150、傳感器模塊170、存儲單元175、控制器110和觸摸屏190。
[0101]相機(jī)模塊150捕捉便攜式終端100的周圍環(huán)境的圖像，并將捕捉的圖像輸出到控制器110。
[0102]傳感器模塊170將指示便攜式終端100的朝向或移動的感測值輸出到控制器110。
[0103]存儲單元175包括:目標(biāo)數(shù)據(jù)庫210，存儲關(guān)于作為識別目標(biāo)的被攝體的數(shù)據(jù)或信息；AR數(shù)據(jù)庫212，存儲關(guān)于將與真實(shí)圖像合成的虛擬對象的數(shù)據(jù)或信息。關(guān)于被攝體的數(shù)據(jù)可包括被攝體圖像、被攝體圖像的特征點(diǎn)(也稱為“特征圖像”或“特征圖案(featurepattern)”)信息等。特征點(diǎn)可以是邊緣、角點(diǎn)、圖像圖案或輪廓。關(guān)于虛擬對象的數(shù)據(jù)可包括圖像、文本、運(yùn)動圖像、虛擬對象的位置信息、與被攝體的映射信息等。映射信息可包括指示虛擬對象將被映射到或被重疊到的被攝體的標(biāo)識符、被攝體的名稱等。
[0104]控制器110包括識別引擎220、跟蹤引擎230和圖像合成器240?？刂破?10基于由相機(jī)模塊150捕捉的圖像來識別被攝體?？刂破?10使用與被攝體的類型相應(yīng)的識別算法來識別在輸入圖像中的被攝體，并使用跟蹤算法來跟蹤被攝體的三維(3D)運(yùn)動。跟蹤被攝體的3D運(yùn)動對于AR是非常重要的基本技術(shù)，使得控制器110從數(shù)學(xué)上指定相機(jī)模塊150實(shí)際查看真實(shí)被攝體的方向，并將虛擬對象(即，虛擬圖像或虛擬內(nèi)容)映射到被攝體。
[0105]控制器110通過使用算法(諸如尺度不變特征變換(SIFT)、加速魯棒特征(SURF)等)從輸入圖像檢測在目標(biāo)數(shù)據(jù)庫210中登記的被攝體，并將基于模板的匹配方法應(yīng)用于檢測到的被攝體以估計(jì)局部場景位姿或相機(jī)位姿。SIFT被公開在David G.Lowe的《Objectrecognit1n from local scale-1nvariant features)) (1999) (((Proceedings of theInternat1nal Conference on Computer Vis1n)), 2,第 1150-1157 頁，do1: 10.1109/ICCV.1999.790410), SURF 被公開在 Bay, H、Tuytelaars, T 和 GooI, L.V 的《SURF: SpeededUp Robust Features)) (((Proceedings of the ninth European Conference on ComputerVis1n, )), 2006年5月)。使用基于模板的匹配方法估計(jì)局部場景位姿或相機(jī)位姿被公開在 Daniel Wagner> Gerhard Reitmayr、Alessandro Mullon1、Tom Drummond 和 DieterSchmalstieg的《Real Time Detect1n and Tracking for Augmented Reality on MobilePhones))(((Visualizat1n and Computer Graphics》，2009 年 8 月)。控制器 110 還可基于在目標(biāo)數(shù)據(jù)庫210中存儲的二維(2D)或3D被攝體信息從輸入圖像檢測在目標(biāo)數(shù)據(jù)庫210中登記的被攝體，并估計(jì)局部場景位姿或相機(jī)位姿。
[0106]識別引擎220識別在輸入圖像中的被攝體。識別引擎220可參考目標(biāo)數(shù)據(jù)庫210以進(jìn)行所述識別，并可從輸入圖像檢測匹配到在目標(biāo)數(shù)據(jù)庫210中登記的被攝體的圖像區(qū)域。取決于識別目標(biāo)的類型，識別引擎220還可識別被攝體而不用參考目標(biāo)數(shù)據(jù)庫210，例如，識別引擎220可識別在輸入圖像中的邊緣特征點(diǎn)和角點(diǎn)特征點(diǎn)，并識別由邊緣特征點(diǎn)和角點(diǎn)特征點(diǎn)限定的平面被攝體(諸如，矩形、圓形或多邊形)。
[0107]跟蹤引擎230跟蹤在連續(xù)捕捉的圖像之中的識別的被攝體的位姿(S卩，3D位置和朝向)的改變。跟蹤引擎230是一般化的3D場景跟蹤引擎。被攝體的位姿的改變可由相機(jī)模塊150的移動或當(dāng)相機(jī)模塊150被固定時(shí)實(shí)際被攝體的移動引起。跟蹤引擎230將指示被攝體的位姿的跟蹤信息輸出到圖像合成器240。
[0108]圖像合成器240通過使用跟蹤信息將虛擬對象映射或重疊到輸入圖像以創(chuàng)建合成圖像。也就是說，圖像合成器240將由相機(jī)模塊150捕捉的真實(shí)圖像與虛擬對象合成。虛擬對象可以是文本、圖像、字符等。圖像合成器240將合成圖像輸出到觸摸屏190，其中，所述觸摸屏190在屏幕上顯示合成圖像。
[0109]圖5示出根據(jù)本公開的實(shí)施例的識別引擎。
[0110]參照圖5，識別引擎220包括身體識別引擎310、2D對象識別引擎320和3D對象識別引擎330。也就是說，識別引擎220可被分割為與被攝體的類型相應(yīng)的分離的識別引擎。
[0111]身體識別引擎310識別在輸入圖像中的身體的一部分(諸如手或臉)或整個(gè)身體。
[0112]2D對象識別引擎320識別在輸入圖像中的2D對象，諸如圖片、海報(bào)、圖書封面、地圖、標(biāo)記、光學(xué)字符閱讀器(OCR)或快速響應(yīng)(QR)代碼。2D對象識別引擎320可被分割為與2D被攝體的類型相應(yīng)的分離的識別引擎，諸如，2D圖像識別引擎、2D標(biāo)記識別引擎、OCR識別弓I擎和QR代碼識別引擎。
[0113]3D對象識別引擎330識別在輸入圖像中的除了身體之外的對象，例如，3D被攝體，諸如鞋子、蜂窩電話、TV、畫框等。身體識別引擎310可被集成到3D對象識別引擎330中，并且如同2D對象識別引擎320 —樣，3D對象識別引擎330可被分割為與3D被攝體的類型相應(yīng)的分離的識別引擎。
[0114]身體識別引擎310、2D對象識別引擎320和3D對象識別引擎330包括粗略識別模塊312、322、332以及精細(xì)識別模塊314,324和334。
[0115]粗略識別模塊312、322、332是用于確定在輸入圖像中是否存在相應(yīng)引擎期望識別的被攝體并用于以低精確度高速掃描輸入圖像的模塊。粗略識別模塊312、322、332將在輸入圖像中發(fā)現(xiàn)將被識別的被攝體的概率高于閾值的區(qū)域掩蔽(mask)或設(shè)置為候選區(qū)域。精細(xì)識別模塊314、324和334以高精確度低速檢測在候選區(qū)域中包括的被攝體。
[0116]根據(jù)本公開的識別引擎220包括與識別目標(biāo)的類型相應(yīng)的各種分離的識別引擎，并且在插入式結(jié)構(gòu)中，識別引擎310、320或330均被連接到識別引擎220以進(jìn)行操作。
[0117]圖6是根據(jù)本公開的實(shí)施例的用于提供AR的方法的流程圖。
[0118]參照圖6，用于提供AR的方法包括操作SllO至S150。
[0119]操作SllO是圖像獲得操作，其中，控制器110從相機(jī)模塊150或存儲單元175獲得由相機(jī)模塊150捕捉的圖像。在圖像獲得之前，由相機(jī)模塊150捕捉的圖像可被存儲在存儲單元175中。
[0120]操作S120是粗略識別操作，其中，控制器110的識別引擎220將在輸入圖像中存在將被識別的被攝體的概率高于閾值的區(qū)域設(shè)置或掩蔽為候選區(qū)域。也就是說，識別引擎220根據(jù)將被識別的被攝體的類型順序地設(shè)置或掩蔽輸入圖像的候選區(qū)域。掩蔽是指將候選區(qū)域的位置信息存儲在存儲單元175中，例如，位置信息可以是矩形候選區(qū)域的四個(gè)角點(diǎn)的坐標(biāo)或矩形候選區(qū)域的兩個(gè)對角角點(diǎn)的坐標(biāo)。例如，識別引擎220在輸入圖像的整個(gè)區(qū)域中搜索與被攝體之中的第一類型的被攝體相似的第一圖像區(qū)域，并在輸入圖像的整個(gè)區(qū)域中除了第一圖像區(qū)域之外的區(qū)域中搜索與被攝體之中的第二類型的被攝體相似的第二圖像區(qū)域。
[0121]圖7是根據(jù)本公開的實(shí)施例的用于粗略識別的方法的流程圖。
[0122]參照圖7，粗略識別操作包括操作S210至操作S260。
[0123]操作S210是用于設(shè)置初始值的操作，其中，控制器110的識別引擎220初始化參數(shù)i以用于初步識別。識別引擎#1至#3分別與身體識別引擎310、2D對象識別引擎320和3D對象識別引擎330相應(yīng)。
[0124]操作S220是用于執(zhí)行粗略識別掃描的操作，其中，識別引擎i310、320或330針對在輸入圖像中的以O(shè) - 0.5的概率而被掩蔽的區(qū)域或未被掩蔽區(qū)域(或具有O概率的區(qū)域)執(zhí)行粗略識別掃描。粗略識別掃描是在輸入圖像中搜索與在目標(biāo)數(shù)據(jù)庫210中登記的被攝體相似的圖像區(qū)域的處理。也就是說，粗略識別掃描從輸入圖像檢測不會當(dāng)然地被確定為與登記的被攝體相同但可能會是登記的被攝體的圖像區(qū)域。
[0125]操作S230是用于確定是否檢測到候選區(qū)域的操作，其中，識別引擎i310、320或330確定是否從輸入圖像檢測到候選區(qū)域。掩蔽區(qū)域具有0-1的概率。具有小于0.5的概率的掩蔽區(qū)域是存在另一類型的被攝體的概率高且可由另一識別引擎掃描的被掩蔽的區(qū)域。候選區(qū)域i是被識別引擎i310、320或330掩蔽的區(qū)域。一旦檢測到候選區(qū)域，則執(zhí)行操作S240 ;否則，如果未檢測到候選區(qū)域，則執(zhí)行操作S260。
[0126]操作S240是掩蔽操作，其中，識別引擎i310、320或330設(shè)置針對候選區(qū)域i的概率。
[0127]操作S250是用于確定粗略識別是否已經(jīng)完成的操作，其中，確定是否所有識別引擎#1至#3310、320、330都執(zhí)行粗略識別掃描。也就是說，將參數(shù)i與識別引擎的數(shù)量k(在本示例中，3)進(jìn)行比較，如果i等于k，則結(jié)束初步識別；否則，如果i不等于k，則執(zhí)行操作S260。
[0128]操作S260是參數(shù)增加操作，其中，為了驅(qū)動下一個(gè)識別引擎，參數(shù)i被增加I。
[0129]返回參照圖6，操作S130是精細(xì)識別操作，其中，由相應(yīng)識別引擎精細(xì)地掃描每個(gè)候選區(qū)域。例如，如果候選區(qū)域2和候選區(qū)域3被檢測到，則識別引擎#2320精細(xì)地掃描候選區(qū)域2并且識別引擎#3330精細(xì)地掃描候選區(qū)域3。識別引擎310、320和330檢測包括在候選區(qū)域中的被攝體以及被攝體的局部場景位姿。
[0130]圖8A、圖8B、圖9A和圖9B是用于描述根據(jù)本公開的實(shí)施例的粗略識別和精細(xì)識別的示圖。
[0131]參照圖8A，示出在目標(biāo)數(shù)據(jù)庫210中登記的2D被攝體圖像410和2D被攝體圖像410的輪廓412。在當(dāng)前示例中，2D被攝體圖像410與第一盒蓋相應(yīng)。目標(biāo)數(shù)據(jù)庫210存儲關(guān)于在2D被攝體圖像410中的多個(gè)特征點(diǎn)的信息。特征點(diǎn)被用于將登記的2D被攝體與在輸入圖像中的圖像區(qū)域匹配。所有特征點(diǎn)被用于精細(xì)識別，其中的一些特征點(diǎn)被用于粗略識別。在圖8A中，作為登記的2D被攝體的第一盒蓋的參考位姿411 (即，位置和朝向)被顯示為3D正交坐標(biāo)系。
[0132]參照圖SB，示出通過捕捉作為識別目標(biāo)的盒蓋獲得的輸入圖像。輸入圖像包括桌子420以及在桌子420上放置的第一至第三盒蓋430、440和450。
[0133]參照圖9A，2D對象識別引擎320的粗略識別模塊322基于包括2D被攝體圖像410的輪廓412的2D被攝體圖像410的特征點(diǎn)的數(shù)量將第一至第三盒蓋430、440和450識別為候選區(qū)域。例如，被用于進(jìn)行粗略識別的特征點(diǎn)的數(shù)量可被設(shè)置為6，粗略識別模塊322可將其輪廓431和五個(gè)特征點(diǎn)432與2D被攝體圖像410匹配的第一盒蓋430掩蔽或識別為90%概率的第一候選區(qū)域。粗略識別模塊322可將其輪廓441和三個(gè)特征點(diǎn)442與2D被攝體圖像410匹配的第二盒蓋440掩蔽或識別為50%概率的第二候選區(qū)域。粗略識別模塊322可將其輪廓451和兩個(gè)特征點(diǎn)452與2D被攝體圖像410匹配的第三盒蓋450掩蔽或識別為30%概率的第三候選區(qū)域。
[0134]參照圖9B，2D對象識別引擎320的精細(xì)識別模塊324基于包括2D被攝體圖像410的輪廓412的2D被攝體圖像410的所有特征點(diǎn)來精細(xì)地掃描第一至第三候選區(qū)域。根據(jù)精細(xì)掃描，精細(xì)識別模塊324從第一候選區(qū)域檢測與登記的2D被攝體圖像410匹配的第一盒蓋430以及第一盒蓋430的局部場景位姿433。圖9B利用3D正交坐標(biāo)系示出第一盒蓋430的局部場景位姿433 (B卩，位置和朝向)。為了便于理解，雖然3D正交坐標(biāo)系被顯示為與第一盒蓋430隔開，但是3D正交坐標(biāo)系的位置被設(shè)置為與第一盒蓋430的位置相同。
[0135]在當(dāng)前示例中，將2D被攝體的識別用作示例，并且按照與當(dāng)前示例的方式相似的方式來識別3D被攝體。針對3D被攝體，可在目標(biāo)數(shù)據(jù)庫210中登記3D被攝體圖像或3D被攝體模型。
[0136]返回參照圖6，操作S140是跟蹤操作，其中，跟蹤引擎230跟蹤在連續(xù)捕捉的圖像之中由識別引擎220識別的被攝體的位姿改變(例如，3D運(yùn)動或移動)。
[0137]圖10是根據(jù)本公開的實(shí)施例的用于跟蹤的方法的流程圖。
[0138]參照圖10，跟蹤操作包括操作S310至操作S330。
[0139]操作S310是估計(jì)全局相機(jī)位姿的操作，其中，跟蹤引擎230基于第一全局相機(jī)位姿(或第一全局3D幾何布置)估計(jì)當(dāng)前輸入圖像(在下文中，第二輸入圖像)的全局相機(jī)位姿。由跟蹤引擎230基于至少一個(gè)先前輸入圖像(在下文中，第一輸入圖像)來識別或確定第一全局相機(jī)位姿。跟蹤引擎230可通過使用諸如并行跟蹤與映射(PTAM))(被公開在Klein, G 和 Murray, D 的《Parallel tracking and mapping for small AR workspaces》(2007年ISMAR論文集，第225-234頁，2007年))的方法來估計(jì)全局相機(jī)位姿。
[0140]圖1lA和圖1lB是用于描述根據(jù)本公開的實(shí)施例的全局相機(jī)位姿的示圖。
[0141]參照圖11A，示出包括由識別引擎220識別的第一至第三被攝體510、520和530的第一輸入圖像540。在當(dāng)前示例中，第一至第三被攝體510、520和530與不同肖像照片相應(yīng)。
[0142]參照圖11B，跟蹤引擎230在與作為捕捉目標(biāo)的真實(shí)空間相應(yīng)的虛擬空間540a中識別或確定第一全局相機(jī)位姿541，即，指示相機(jī)模塊150查看的第一至第三被攝體510a、520a和530a的第一 3D位置(即，3D坐標(biāo))和/或第一局部位姿(即，3D位置和朝向)的第一全局3D幾何布置。在虛擬空間540a上,可由相機(jī)模塊150的位置和/或朝向來指不第一全局相機(jī)位姿541。
[0143]跟蹤引擎230可將第一標(biāo)識符、第二標(biāo)識符和第三標(biāo)識符(在本示例中的ID1、ID2和ID3)分別分配給第一被攝體510a、第二被攝體520a和第三被攝體530a。在圖1lB中，第一全局相機(jī)位姿541、第一被攝體510a的第一局部場景位姿511、第二被攝體520a的第一局部場景位姿521和第三被攝體530a的第一局部場景位姿531被表不為3D正交坐標(biāo)系。第一全局相機(jī)位姿541以及各個(gè)第一局部場景位姿511、521或531可被表不為矩陣。
[0144]跟蹤引擎230識別在當(dāng)前第二輸入圖像中的被攝體相對于在先前第一輸入圖像中的被攝體的先前位置和/或先前朝向的位置改變和/或朝向改變，因此估計(jì)第二輸入圖像的第二全局相機(jī)位姿。
[0145]返回參照圖10，操作S320是局部場景位姿估計(jì)操作，其中，跟蹤引擎230基于第二全局相機(jī)位姿來估計(jì)第二輸入圖像的第二局部場景位姿。跟蹤引擎230通過使用諸如PTAM的方法來估計(jì)局部場景位姿。
[0146]圖12A、圖12B、圖13A和圖13B是用于描述根據(jù)本公開的實(shí)施例的用于估計(jì)全局相機(jī)位姿和局部場景位姿的方法的示圖。
[0147]參照圖12A，用戶處于展示第一至第三被攝體510b、520b和530b的空間540b中。參照圖12B，用戶通過便攜式終端100的相機(jī)模塊150拍攝第二被攝體520b的前面的照片，包括第一至第三被攝體510、520和530的第一輸入圖像540在便攜式終端100的觸摸屏190上被顯示為實(shí)時(shí)預(yù)覽圖像。
[0148]用戶旋轉(zhuǎn)便攜式終端100以拍攝第一被攝體510b的前面的照片。由于便攜式終端100的旋轉(zhuǎn)，相機(jī)模塊150的查看方向從第一方向550改變?yōu)榈诙较?51。
[0149]參照圖13A，在相機(jī)模塊150的查看方向從第一方向550改變到第二方向551之后，包括得自于第一至第三被攝體的第一被攝體510c和第二被攝體520c的第二輸入圖像540c在便攜式終端100的觸摸屏190上被顯示為實(shí)時(shí)預(yù)覽圖像。
[0150]參照圖13B，跟蹤引擎230在與作為拍攝目標(biāo)的真實(shí)空間相應(yīng)的虛擬空間540d中識別或確定第二全局相機(jī)位姿542，即，指示相機(jī)模塊150查看的第一被攝體510d和第二被攝體520d的第二 3D位置和/或第二局部場景位姿的第二全局3D幾何布置。跟蹤引擎230基于第一全局相機(jī)位姿541來識別或確定針對第二輸入圖像的第二全局相機(jī)位姿542。跟蹤引擎230還基于第二全局相機(jī)位姿542估計(jì)第二局部場景位姿。
[0151]在圖13B中，第二全局相機(jī)位姿542、第一被攝體510d的第二局部場景位姿512、第二被攝體520d的第二局部場景位姿522被分別表示為3D正交坐標(biāo)系。第二全局相機(jī)位姿542以及各個(gè)第二局部場景位姿512和522也可被表示為矩陣。
[0152]返回參照圖10，操作S330是用于修正估計(jì)的局部場景位姿的操作，其中，跟蹤引擎230修正基于由識別引擎220識別的第二輸入圖像的局部場景位姿而估計(jì)的第二局部場景位姿512和522?？芍芷谛缘貓?zhí)行第二局部場景位姿512和522的修正或更新。
[0153]跟蹤引擎230將指示第二輸入圖像的局部場景位姿的跟蹤信息輸出到圖像合成器240，跟蹤信息可以是與第二輸入圖像的局部場景位姿相應(yīng)的跟蹤位姿矩陣。
[0154]返回參照圖6，操作S150是用于創(chuàng)建并顯示合成圖像的操作，其中，圖像合成器240通過使用跟蹤信息將虛擬對象映射或重疊到輸入圖像來創(chuàng)建合成圖像。創(chuàng)建的合成圖像被輸出到觸摸屏190，其中，所述觸摸屏190向用戶顯示合成圖像。
[0155]圖14A、圖14B、圖15A和圖15B是用于描述根據(jù)本公開的實(shí)施例的使用跟蹤信息的圖像合成的示圖。
[0156]參照圖14A，用戶利用便攜式終端100的相機(jī)模塊150拍攝第二被攝體的前面的照片，包括第一被攝體510、第二被攝體520和第三被攝體530的第一輸入圖像540在便攜式終端100的觸摸屏190上被顯示為實(shí)時(shí)預(yù)覽圖像。描述第一被攝體510、第二被攝體520和第三被攝體530的第一對象610、第二對象620和第三對象630被映射并顯示在第一輸入圖像540中。
[0157]參照圖14B，圖像合成器240基于跟蹤信息在與作為拍攝目標(biāo)的真實(shí)空間相應(yīng)的虛擬空間540a中識別第一被攝體510a、第二被攝體520a和第三被攝體530a的第一局部場景位姿511、521和531，并確定第一虛擬對象610a、第二虛擬對象620a和第三虛擬對象630a的第一位姿611、621和631 (3D位置和朝向)以與第一局部場景位姿511、521和531相應(yīng)。
[0158]如圖12A和圖12B所示，用戶可旋轉(zhuǎn)便攜式終端100以拍攝第一被攝體的前面的照片。由于便攜式終端100的旋轉(zhuǎn)，相機(jī)模塊150的查看方向從第一方向改變?yōu)榈诙较颉?br> [0159]參照圖15A，在相機(jī)模塊150的查看方向從第一方向改變?yōu)榈诙较蛑螅ǖ米杂诘谝恢恋谌粩z體的第一被攝體510c和第二被攝體520c的第二輸入圖像540c在便攜式終端100的觸摸屏190上被顯示為實(shí)時(shí)預(yù)覽圖像。用于描述第一被攝體510c和第二被攝體520c的第一虛擬對象610b和第二虛擬對象620b還被映射并顯示在第二輸入圖像540c 中。
[0160]參照圖15B，圖像合成器240基于跟蹤信息在與作為拍攝目標(biāo)的真實(shí)空間相應(yīng)的虛擬空間540d中識別第一被攝體510d和第二被攝體520d的第二局部場景位姿512和522，并確定第一虛擬對象610c和第二虛擬對象620c的第二位姿612和622 (3D位置和朝向)以與第二局部場景位姿512和522相應(yīng)。
[0161]第一虛擬對象和第二虛擬對象的位姿改變(S卩，在第一位姿611和621與第二位姿612和622之間的差異)可與第一被攝體和第二被攝體的位姿改變(即，在第一局部場景位姿511和521與第二局部場景位姿512和522之間的差異)相同或不同。
[0162]如在本公開的前述描述中所清楚的，即使針對難以利用單個(gè)識別引擎跟蹤的文本圖像，可通過使用整體3D圖像信息來跟蹤文本圖像，并且通過開發(fā)并添加識別引擎，跟蹤成為可能，使得可添加有效的引擎模塊。
[0163]雖然在前述示例中觸摸屏被用作用于顯示屏幕的顯示單元的典型示例，但是可使用普通顯示單元(諸如不具有觸摸感測功能的液晶顯示器(IXD)、有機(jī)發(fā)光二極管(OLED)或LED)來取代觸摸屏。
[0164]可看出:可利用硬件、軟件或硬件和軟件的組合來實(shí)施本公開的各種實(shí)施例。這樣的任意軟件無論是可擦除的還是可重新記錄的，可被存儲在易失性或非易失性存儲器(諸如只讀存儲器(ROM))、存儲器(諸如隨機(jī)存取存儲器(RAM)、存儲器芯片、裝置或集成電路)、光或磁可記錄且機(jī)器(例如，計(jì)算機(jī))可讀存儲介質(zhì)(諸如壓縮盤(⑶)、數(shù)字通用盤(DVD)、磁盤或磁帶)中。可看出:可由包括控制器和存儲器的計(jì)算機(jī)或便攜式終端來實(shí)施根據(jù)本公開的圖像回放方法，存儲器是適合用于存儲包括用于實(shí)施本公開的各種實(shí)施例的指令的一個(gè)或多個(gè)程序的機(jī)器可讀存儲器介質(zhì)的示例。因此，本公開包括包含用于實(shí)施在任意權(quán)利要求中要求保護(hù)的設(shè)備或方法的代碼的程序和用于存儲這樣的程序的機(jī)器可讀存儲介質(zhì)。所述程序可通過任意介質(zhì)(諸如通過有線連接或無線連接傳輸?shù)耐ㄐ判盘?被電子地傳輸，并且本公開適當(dāng)?shù)匕ㄆ涞韧?。[0165]便攜式終端可從按照有線方式或無線方式連接的程序提供裝置接收程序并將其存儲。程序提供裝置可包括:存儲器，用于存儲包括用于指示便攜式終端執(zhí)行要求保護(hù)的用于提供AR的方法的指令的程序以及用于提供AR的方法所必需的信息；通信單元，用于與便攜式終端執(zhí)行有線通信或無線通信；控制器，用于應(yīng)便攜式終端的請求或自動地將相應(yīng)程序發(fā)送到便攜式終端。
[0166]雖然已經(jīng)參照本公開的各種實(shí)施例示出并描述本公開，但是本領(lǐng)域技術(shù)人員將理解:在不脫離由權(quán)利要求及其等同物限定的本公開的范圍的情況下，可在其中做出在形式和細(xì)節(jié)方面的各種改變。
【權(quán)利要求】
1.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的方法，所述方法包括: 獲得圖像； 根據(jù)被攝體的類型順序地設(shè)置圖像的候選區(qū)域； 從候選區(qū)域檢測被攝體中的至少一個(gè)； 通過將虛擬對象映射到與在圖像中檢測到的被攝體的位置相應(yīng)的位置來創(chuàng)建合成圖像；以及 向用戶顯示合成圖像。
2.如權(quán)利要求1所述的方法，其中，設(shè)置候選區(qū)域的步驟包括: 在圖像中檢測第一圖像區(qū)域，作為第一候選區(qū)域，其中，第一圖像區(qū)域被估計(jì)為在被攝體之中的第一類型的被攝體；以及 在圖像中檢測第二圖像區(qū)域，作為第二候選區(qū)域，其中，第二圖像區(qū)域被估計(jì)為在被攝體之中的不同于第一類型的被攝體的第二類型的被攝體。
3.如權(quán)利要求2所述的方法，其中，設(shè)置候選區(qū)域的步驟包括: 在圖像中檢測第三圖像區(qū)域，作為第三候選區(qū)域，其中，第三圖像區(qū)域被估計(jì)為在被攝體之中的不同于第一類型和第二類型的被攝體的第三類型的被攝體。
4.如權(quán)利要求2所述的方法，其中，第一類型的被攝體是二維(2D)被攝體，第二類型的被攝體是三維(3D)被攝體。
5.如權(quán)利要求2所述的方法，其中，針對第一候選區(qū)域和第二候選區(qū)域分別設(shè)置發(fā)現(xiàn)相應(yīng)被攝體的概率。
6.如權(quán)利要求2所述的方法，其中，在圖像的整個(gè)區(qū)域上搜索第一候選區(qū)域，在圖像的整個(gè)區(qū)域中除了第一候選區(qū)域以外的區(qū)域中搜索第二候選區(qū)域。
7.如權(quán)利要求1所述的方法，其中，從候選區(qū)域檢測被攝體中的至少一個(gè)的步驟包括: 檢測被攝體中的所述至少一個(gè)的位姿。
8.如權(quán)利要求7所述的方法，還包括:在連續(xù)捕捉的圖像之中跟蹤檢測到的被攝體的位姿改變。
9.如權(quán)利要求8所述的方法，還包括:根據(jù)跟蹤的檢測到的被攝體的位姿改變來改變虛擬對象的位姿。
10.如權(quán)利要求8所述的方法，其中，跟蹤位姿改變的步驟包括: 估計(jì)檢測到的被攝體的相機(jī)位姿；以及 基于相機(jī)位姿來估計(jì)被攝體的位姿。
11.如權(quán)利要求10所述的方法，還包括: 檢測被攝體的位姿；以及 將估計(jì)的被攝體的位姿更新到檢測到的被攝體的位姿。
12.一種用于提供增強(qiáng)現(xiàn)實(shí)(AR)的便攜式終端，所述便攜式終端包括: 相機(jī)模塊，被配置為用于輸出圖像； 控制器，被配置為用于根據(jù)被攝體的類型順序地設(shè)置圖像的候選區(qū)域，從候選區(qū)域檢測被攝體中的至少一個(gè)，通過將虛擬對象映射到與在圖像中檢測到的被攝體的位置相應(yīng)的位置來創(chuàng)建合成圖像；以及 顯示單元，被配置為用于向用戶顯示合成圖像。
13.如權(quán)利要求12所述的便攜式終端，其中，控制器包括: 二維(2D)對象識別引擎，被配置為用于在圖像中檢測第一圖像區(qū)域，作為第一候選區(qū)域，其中，第一圖像區(qū)域被估計(jì)為在被攝體之中的第一類型的被攝體；以及 三維(3D)對象識別引擎，被配置為用于在圖像中檢測第二圖像區(qū)域，作為第二候選區(qū)域，其中，第二圖像區(qū)域被估計(jì)為在被攝體之中的不同于第一類型的被攝體的第二類型的被攝體。
14.如權(quán)利要求13所述的便攜式終端，其中，控制器還包括:身體識別引擎，被配置為用于在圖像中檢測第三圖像區(qū)域，作為第三候選區(qū)域，其中，第三圖像區(qū)域被估計(jì)為在被攝體之中的不同于第一類型和第二類型的被攝體的第三類型的被攝體。
15.如權(quán)利要求13所述的便攜式終端，其中，2D對象識別引擎和3D對象識別引擎分別具有插入式結(jié)構(gòu)。
16.如權(quán)利要求12所述的便攜式終端，其中，控制器包括:跟蹤引擎，用于在連續(xù)捕捉的圖像之中跟蹤檢測到的被攝體的位姿改變。
17.如權(quán)利要求16所述的便攜式終端，其中，控制器還包括:圖像合成器，用于根據(jù)跟蹤的檢測到的被攝體的位姿改變來改變虛擬對象的位姿。
18.如權(quán)利要求16所述的便攜式終端，其中，跟蹤引擎估計(jì)檢測到的被攝體的相機(jī)位姿并基于相機(jī)位姿來估計(jì)被攝體的位姿。
19.如權(quán)利要求 18所述的便攜式終端，其中，跟蹤引擎將估計(jì)的被攝體的位姿更新到檢測到的被攝體的位姿。
【文檔編號】G06T5/50GK104036476SQ201410086525
【公開日】2014年9月10日 申請日期:2014年3月10日 優(yōu)先權(quán)日:2013年3月8日
【發(fā)明者】曹益煥 申請人:三星電子株式會社