相關(guān)申請的交叉引用

本申請要求享受于2015年2月27日提交的、標(biāo)題為“fastadaptiveestimationofmotionblurforcoherentrendering”的美國專利申請no.14/633,737的優(yōu)先權(quán)，故以引用方式將其明確地并入本文。

概括地說，本文所公開的主題涉及電子設(shè)備，更具體地說，涉及用于與由電子設(shè)備實現(xiàn)的增強(qiáng)現(xiàn)實環(huán)境一起使用的方法和裝置。

背景技術(shù)：

利用增強(qiáng)現(xiàn)實技術(shù)，可視虛擬對象可以疊加在現(xiàn)實世界場景的視頻饋給上，使得在輸出視頻饋給中，虛擬對象看起來是現(xiàn)實世界場景的一部分。可以使用多種已知技術(shù)使虛擬對象逼真地呈現(xiàn)為現(xiàn)實場景的一部分。例如，相機(jī)姿態(tài)可以利用已知技術(shù)從視頻饋給的一幀跟蹤到另一幀，使得可以相應(yīng)地調(diào)整虛擬對象的姿態(tài)，以使虛擬對象呈現(xiàn)為現(xiàn)實世界場景的一部分。

在描繪現(xiàn)實世界場景的視頻饋給由于相機(jī)的快速移動而變得模糊的情形下，如果虛擬對象不是同樣地模糊，則虛擬對象的現(xiàn)實性可能會減弱。因此，用于測量描繪虛擬對象所疊加的現(xiàn)實世界場景的視頻饋給的運動模糊的方法，以及用于調(diào)整虛擬對象以模擬相應(yīng)的模糊的方法是有用的。

技術(shù)實現(xiàn)要素：

本文公開的一個實施例可以包括一種用于自適應(yīng)地應(yīng)用一個或多個運動模糊估計方法來估計與圖像目標(biāo)幀相關(guān)聯(lián)的運動模糊的方法，該方法包括：應(yīng)用第一運動模糊估計方法來估計運動模糊；確定計算資源是否可用于第二運動模糊估計方法；響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊。

本文公開的另一個實施例可以包括一種用于自適應(yīng)地應(yīng)用一個或多個運動模糊估計方法來估計與圖像目標(biāo)幀相關(guān)聯(lián)的運動模糊的裝置，該裝置包括：存儲器；以及處理器，該處理器被配置為：應(yīng)用第一運動模糊估計方法來估計運動模糊；確定計算資源是否可用于第二運動模糊估計方法；響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊。

本文公開的另外實施例可以包括一種用于自適應(yīng)地應(yīng)用一個或多個運動模糊估計方法來估計與圖像目標(biāo)幀相關(guān)聯(lián)的運動模糊的裝置，該裝置包括：用于應(yīng)用第一運動模糊估計方法來估計運動模糊的單元；用于確定計算資源是否可用于第二運動模糊估計方法的單元；用于響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊的單元。

本文公開的另外實施例可以包括一種包括代碼的非暫時性計算機(jī)可讀介質(zhì)，所述代碼在由處理器執(zhí)行時使得所述處理器進(jìn)行包括以下操作的方法：應(yīng)用第一運動模糊估計方法來估計與圖像目標(biāo)幀相關(guān)聯(lián)的運動模糊；確定計算資源是否可用于第二運動模糊估計方法；響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊。

附圖說明

圖1示出了適于增強(qiáng)現(xiàn)實應(yīng)用的設(shè)備的實施例。

圖2a和圖2b示出了示例性增強(qiáng)現(xiàn)實應(yīng)用的輸出。

圖3是示出用于自適應(yīng)地應(yīng)用對圖像目標(biāo)的運動模糊進(jìn)行估計的一個或多個方法的示例性方法的流程圖。

圖4是示出用于估計圖像目標(biāo)的運動模糊的示例性第一運動模糊估計方法的流程圖。

圖5是示出用于估計圖像目標(biāo)的運動模糊的示例性第二運動模糊估計方法的流程圖。

圖6是用于估計圖像目標(biāo)的運動模糊的示例性第二運動模糊估計方法的示例性說明。

圖7是示出用于估計圖像目標(biāo)的運動模糊的示例性第三運動模糊估計方法的流程圖。

圖8是用于估計圖像目標(biāo)的運動模糊的示例性第三運動模糊估計方法的示例性說明。

具體實施方式

在圖1中示出了適于增強(qiáng)現(xiàn)實應(yīng)用的示例性設(shè)備100。如本文所使用的設(shè)備(例如，設(shè)備100)可以是：移動設(shè)備、無線設(shè)備、蜂窩電話、個人數(shù)字助理、移動計算機(jī)、可穿戴設(shè)備(例如，手表、頭戴式顯示器、虛擬現(xiàn)實眼鏡等等)、平板設(shè)備、個人計算機(jī)、膝上型計算機(jī)、或者具有處理能力的任何類型的設(shè)備。如本文所使用的，移動設(shè)備可以是任何便攜式或者可移動設(shè)備或機(jī)器，其可以被配置為獲取從一個或多個無線通信設(shè)備或網(wǎng)絡(luò)發(fā)送的無線信號，以及向一個或多個無線通信設(shè)備或網(wǎng)絡(luò)發(fā)送無線信號。因此，通過舉例而非限制的方式，設(shè)備100可以包括無線電設(shè)備、蜂窩電話設(shè)備、計算設(shè)備、個人通信系統(tǒng)設(shè)備、或者其它類似的有可移動無線通信功能的設(shè)備、器具或機(jī)器。

設(shè)備100示出為包括經(jīng)由總線105進(jìn)行電耦合的硬件單元(或者可以根據(jù)需要進(jìn)行通信)。這些硬件單元可以包括一個或多個處理器110，其包括但不限于：一個或多個通用處理器和/或一個或多個特殊用途處理器(例如，數(shù)字信號處理芯片、圖形加速處理器等等)；一個或多個輸入設(shè)備115，其包括但不限于相機(jī)116、鼠標(biāo)、鍵盤、小鍵盤、觸摸屏、麥克風(fēng)等等；以及一個或多個輸出設(shè)備120，其包括但不限于顯示設(shè)備121、揚聲器、打印機(jī)等等。

設(shè)備100還可以包括一個或多個非暫時性存儲設(shè)備125(和/或與其進(jìn)行通信)，其中該一個或多個非暫時性存儲設(shè)備125可以包括但不限于本地和/或網(wǎng)絡(luò)可訪問存儲設(shè)備，和/或可以包括但不限于磁盤驅(qū)動器、驅(qū)動器陣列、光存儲設(shè)備、諸如隨機(jī)存取存儲器(“ram”)和/或只讀存儲器(“rom”)之類的固態(tài)存儲設(shè)備，其可以是可編程、可閃速更新的等等。這些存儲設(shè)備可以配置為實現(xiàn)任何適當(dāng)?shù)臄?shù)據(jù)存儲，其包括但不限于：各種文件系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)等等。

該設(shè)備還可以包括通信子系統(tǒng)130，通信子系統(tǒng)130可以包括但不限于：調(diào)制解調(diào)器、網(wǎng)絡(luò)卡(無線或有線)、紅外通信設(shè)備、無線通信設(shè)備和/或芯片集(例如，藍(lán)牙設(shè)備、802.11設(shè)備、wi-fi設(shè)備、wimax設(shè)備、蜂窩通信設(shè)施等)等等。通信子系統(tǒng)130可以容許與網(wǎng)絡(luò)、其它設(shè)備和/或本文所描述的任何其它設(shè)備交換數(shù)據(jù)。在一個實施例中，設(shè)備100還可以包括存儲器135，存儲器135可以包括ram或rom設(shè)備，如上所述。應(yīng)當(dāng)理解的是，設(shè)備100可以是移動設(shè)備或者非移動設(shè)備，并且可以具有無線和/或有線連接。

設(shè)備100還可以包括軟件單元，軟件單元示出為當(dāng)前位于工作存儲器135之內(nèi)，其中這些軟件單元包括操作系統(tǒng)140、設(shè)備驅(qū)動、可執(zhí)行庫和/或其它代碼(例如，一個或多個應(yīng)用程序145)，其中應(yīng)用程序145可以包括或者可以被設(shè)計為實現(xiàn)實施例所提供的方法和/或配置系統(tǒng)，如本文所將描述的。僅通過舉例的方式，參照下面所討論的方法描述的一個或多個過程可以實現(xiàn)成可由設(shè)備100(和/或設(shè)備100內(nèi)的處理器110)執(zhí)行的代碼和/或指令；在一個方面中，隨后，這些代碼和/或指令可以用于配置和/或調(diào)整通用計算機(jī)(或者其它設(shè)備)以根據(jù)所描述的方法來執(zhí)行一個或多個操作。

可以將這些指令和/或代碼集存儲在非暫時性計算機(jī)可讀存儲介質(zhì)(例如，上面所描述的存儲設(shè)備125)上。在一些情況下，可以將存儲介質(zhì)并入到諸如設(shè)備100之類的設(shè)備中。在其它實施例中，存儲介質(zhì)可以與設(shè)備相分離(例如，諸如壓縮盤之類的可移除介質(zhì))，和/或利用安裝包來提供，使得該存儲介質(zhì)可以用于利用其上存儲的指令/代碼對通用計算機(jī)進(jìn)行編程、配置和/或調(diào)整。這些指令可以采用可執(zhí)行代碼(其可由計算機(jī)化的設(shè)備100執(zhí)行)的形式，和/或采用源代碼和/或可安裝代碼的形式，其中在該代碼在設(shè)備100上進(jìn)行編譯和/或安裝(例如，使用多種通?？捎玫木幾g器、安裝程序、壓縮/解壓縮工具等等中的任何一種)之后，采用可執(zhí)行代碼的形式。

應(yīng)用程序145可以包括一個或多個增強(qiáng)現(xiàn)實應(yīng)用。一種示例性增強(qiáng)現(xiàn)實應(yīng)用能夠?qū)崟r地識別和跟蹤圖像目標(biāo)。在一個示例性實施例中，示例性增強(qiáng)現(xiàn)實應(yīng)用使用圖像目標(biāo)上的多個關(guān)鍵點，來跟蹤該圖像目標(biāo)。應(yīng)當(dāng)理解的是，下文所描述的增強(qiáng)現(xiàn)實應(yīng)用的功能可以替代地利用硬件或者不同層級的軟件(例如，操作系統(tǒng)(os)、固件、計算機(jī)視覺模塊等等)來實現(xiàn)。

在一個實施例中，表示現(xiàn)實世界場景的圖像目標(biāo)是從設(shè)備100的相機(jī)116接收的實時視頻饋給的幀?？梢詫υ撘曨l饋給進(jìn)行緩存。在另一個實施例中，該視頻饋給可以是預(yù)先錄制的視頻饋給，可以是從存儲介質(zhì)獲取的。增強(qiáng)現(xiàn)實應(yīng)用145可以將一個或多個虛擬對象疊加在圖像目標(biāo)上。隨后，在顯示設(shè)備121上，一幀一幀地渲染其上疊加有一個或多個虛擬對象的圖像目標(biāo)。由于示例性增強(qiáng)現(xiàn)實應(yīng)用跟蹤圖像目標(biāo)的位置和方向，并相應(yīng)地調(diào)整疊加的一個或多個虛擬對象的位置和方向，所以用戶對于一個或多個虛擬對象上的視角與他或她對圖像目標(biāo)的視角相對應(yīng)，因此在用戶看來，一個或多個虛擬對象是現(xiàn)實世界場景的一部分。此外，在一個實施例中，表示現(xiàn)實世界場景的圖像目標(biāo)可以是保存的視頻饋給的幀。

參見圖2a和圖2b，示出了示例性增強(qiáng)現(xiàn)實應(yīng)用145的輸出200和205。在圖2a中，可以見到，圖像目標(biāo)210由于快速的相機(jī)運動而模糊。但是，虛擬對象(虛擬茶壺215)沒有相應(yīng)地模糊。結(jié)果，虛擬茶壺215的現(xiàn)實性減弱并且虛擬茶壺215看起來不像是圖像目標(biāo)210中描繪的現(xiàn)實世界場景的一部分。相比而言，在示出有相同的模糊圖像目標(biāo)210的圖2b中，將虛擬茶壺215調(diào)整為看起來已經(jīng)受到相同的運動模糊。結(jié)果，圖2b的虛擬茶壺215更逼真地呈現(xiàn)為在圖像目標(biāo)210中描繪的現(xiàn)實世界場景的一部分。

應(yīng)當(dāng)理解的是，為了模擬虛擬對象上的運動模糊，可能需要與圖像目標(biāo)的運動模糊有關(guān)的某種信息。例如，可以由包括方向和幅度的模糊矢量來表示圖像目標(biāo)的運動模糊。替代地，可以由在所考慮(inquestion)的圖像目標(biāo)幀的相機(jī)姿態(tài)和直接在運動模糊開始發(fā)生之前的圖像目標(biāo)幀的相機(jī)姿態(tài)之間的中間相機(jī)姿態(tài)與模糊量的組合來表示圖像目標(biāo)的運動模糊。下文將上述中間相機(jī)姿態(tài)稱為臨界(critical)姿態(tài)。換言之，可以由臨界姿態(tài)和模糊量的組合來表示圖像目標(biāo)的運動模糊。

下文描述用于估計圖像目標(biāo)的運動模糊的三種方法。這三種方法可以稱為第一運動模糊估計方法、第二運動模糊估計方法和第三運動模糊估計方法。替代地，第一運動模糊估計方法可以稱為快速2d估計；第二運動模糊估計方法可以稱為粗略3d估計；第三運動模糊估計方法可以稱為精練3d估計。如下面所將詳細(xì)解釋的，與第二運動模糊估計方法(粗略3d估計)相比，第三運動模糊估計方法(精練3d估計)是更加計算密集的，轉(zhuǎn)而，與第一運動模糊估計方法(快速2d估計)相比，第二運動模糊估計方法是更加計算密集的。

參見圖3，示出了描繪用于自適應(yīng)地應(yīng)用對圖像目標(biāo)的運動模糊進(jìn)行估計的一個或多個方法的示例性方法300的流程圖。在方框310處，可以應(yīng)用第一運動模糊估計方法來估計運動模糊。第一運動模糊估計方法可以是下面將詳細(xì)描述的圖4的示例性第一運動模糊估計方法400。在方框320處，可以確定計算資源是否可用于第二運動模糊估計方法。計算資源可以包括例如剩余的預(yù)算時間或者可用的存儲器空間。如果在方框320處確定沒有足夠的計算資源可用于第二運動模糊估計方法，則方法300終止。如果在方框320處確定計算資源可用于第二運動模糊估計方法，則方法300轉(zhuǎn)到方框330，其中在方框330處，可以響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊。第二運動模糊估計方法可以是下面將詳細(xì)描述的圖5的示例性第二運動模糊估計方法500。接著，在方框340處，可以確定計算資源是否可用于第三運動模糊估計方法。如果在方框340處確定沒有足夠的計算資源可用于第三運動模糊估計方法，則方法300終止。如果在方框340處確定計算資源可用于第三運動模糊估計方法，則方法300轉(zhuǎn)到方框350，其中在方框350處，可以響應(yīng)于確定計算資源可用于第三運動模糊估計方法，應(yīng)用第三運動模糊估計方法來估計運動模糊。第三運動模糊估計方法可以是下面將詳細(xì)描述的圖7的示例性第三運動模糊估計方法700。其后，方法300終止?？梢葬槍γ恳粋€圖像目標(biāo)幀來執(zhí)行方法300，以生成針對該圖像目標(biāo)幀的一個或多個運動模糊估計。替代地，可以隨時地執(zhí)行方法300以選擇當(dāng)前環(huán)境下最適合的運動模糊估計方法，可以將該運動模糊估計方法用于多個圖像目標(biāo)幀，直到下一次執(zhí)行方法300為止。最適合的運動模糊估計方法可以是在給定資源約束的情況下，提供最準(zhǔn)確的運動模糊估計的方法。

在替代的實施例中，可以使用一種方法，該方法基于可用的計算資源和估計的對于每種運動模糊估計方法所需的計算資源來確定最適合的運動模糊估計方法，而無需首先執(zhí)行特定的運動模糊估計方法。

當(dāng)然，在其中用于設(shè)備和環(huán)境的計算資源簡檔是已知的一些實施例中，可以在無需使用方法300的情況下，選擇最適合的運動模糊估計方法。

參見圖4，示出了描繪用于估計圖像目標(biāo)的運動模糊的示例性第一運動模糊估計方法400的流程圖。第一運動模糊估計方法400可以替代地稱為快速2d估計。在方框410處，可以通過測量所考慮的圖像目標(biāo)幀的姿態(tài)并將所考慮的圖像目標(biāo)幀的姿態(tài)投影到屏幕空間，確定第一投影的姿態(tài)。在方框420處，可以通過測量直接在所考慮的圖像目標(biāo)幀之前的圖像目標(biāo)幀的姿態(tài)并將直接在所考慮的圖像目標(biāo)幀之前的圖像目標(biāo)幀的姿態(tài)投影到屏幕空間，確定第二投影的姿態(tài)。其后，在方框430處，可以至少部分地基于第二投影的姿態(tài)和第一投影的姿態(tài)之間的差值，確定所考慮的圖像目標(biāo)幀的運動模糊矢量。在方框430處的計算所使用的位置可以是單一位置(例如，中心位置)，也可以是多個位置(例如，圖像目標(biāo)幀的角部(corner))。應(yīng)當(dāng)理解的是，可以使用先前的成對的連續(xù)圖像目標(biāo)幀(如投影到屏幕空間)之間的差值來確定在推算的曲線上當(dāng)前圖像目標(biāo)幀的運動模糊矢量，使得針對當(dāng)前圖像目標(biāo)幀的運動模糊估計的結(jié)果可以是基于多個先前的成對的連續(xù)圖像目標(biāo)幀。

可以在一個或多個圖像目標(biāo)幀的運動模糊的快速2d估計的運行時(runtime)期間，使用第一運動模糊估計方法400。此外，第一運動模糊估計方法400還可以結(jié)合諸如同時定位和映射(slam)或者用戶定義的目標(biāo)(udt)之類的方法來使用。但是，應(yīng)當(dāng)理解的是，在方框430處導(dǎo)出的矢量是沒有真正測量相機(jī)模糊的運動矢量。在某些環(huán)境下，快速相機(jī)移動并不必然導(dǎo)致模糊，故使用在方框430處導(dǎo)出的運動矢量作為用于調(diào)整虛擬對象的模糊矢量可能導(dǎo)致錯誤的結(jié)果。

參見圖5，示出了描繪用于估計圖像目標(biāo)的運動模糊的示例性第二運動模糊估計方法500的流程圖。第二運動模糊估計方法500可以替代地稱為粗略3d估計。在方框510處，可以通過將多個模糊矢量應(yīng)用于未模糊的圖像目標(biāo)，根據(jù)該未模糊的圖像目標(biāo)來生成多個可能的運動模糊的圖像目標(biāo)。該多個模糊矢量可以在其方向和幅度上發(fā)生變化。例如，在一個實施例中，可以使用24個模糊矢量來生成24個可能的運動模糊的圖像目標(biāo)，其中這24個模糊矢量覆蓋4個方向和6個幅度的組合。在一些實施例中，可以在使用未模糊的圖像目標(biāo)來生成可能的運動模糊的圖像目標(biāo)之前，首先對該未模糊的圖像目標(biāo)進(jìn)行縮小比例，以減少計算強(qiáng)度。出于相同的原因，在一些其它實施例中，可以僅使用在未模糊的圖像目標(biāo)上的關(guān)鍵點周圍取得的一小塊區(qū)域(patch)，來生成可能的運動模糊的圖像目標(biāo)。接著，在方框520處，可以將所考慮的圖像目標(biāo)幀與多個可能的運動模糊的圖像目標(biāo)進(jìn)行比較，以找到最接近地類似于所考慮的圖像目標(biāo)幀的一個可能的運動模糊的圖像目標(biāo)。當(dāng)然，在其中使用未模糊的圖像目標(biāo)的縮小比例版本來生成可能的運動模糊的圖像目標(biāo)的實施例中，可以在進(jìn)行比較之前，對所考慮的圖像目標(biāo)幀進(jìn)行類似地縮小比例。在其中僅使用未模糊的圖像目標(biāo)上的關(guān)鍵點周圍的一小塊區(qū)域來生成可能的運動模糊的圖像目標(biāo)的實施例中，在進(jìn)行比較時，僅使用所考慮的圖像目標(biāo)幀上的關(guān)鍵點周圍的一小塊區(qū)域。可以通過任何已知的技術(shù)來確定所考慮的圖像目標(biāo)幀與多個可能的運動模糊的圖像目標(biāo)中的任何一個可能的運動模糊的圖像目標(biāo)之間的相似度。例如，計算并比較歸一化互相關(guān)(ncc)值是一種此類技術(shù)。如果已經(jīng)對所考慮的圖像目標(biāo)幀執(zhí)行了第一運動模糊估計方法400，則可以使用在第一運動模糊估計方法400的方框430處導(dǎo)出的運動模糊矢量來優(yōu)化方框520處的搜索順序，以節(jié)省計算資源。其后，在方框530處，可以將所考慮的圖像目標(biāo)幀的運動模糊矢量估計成與在方框520處找到的最接近地類似于所考慮的圖像目標(biāo)幀的一個可能的運動模糊的圖像目標(biāo)相關(guān)聯(lián)的模糊矢量。應(yīng)當(dāng)理解的是，用于在連續(xù)地處理來自視頻饋給的圖像目標(biāo)幀時降低第二運動模糊估計方法500的計算強(qiáng)度的一種方式是：在繼續(xù)移動到具有較多不同的可能的運動模糊的圖像目標(biāo)之前，在方框520處將所考慮的圖像目標(biāo)幀首先與在第二運動模糊估計方法500的前一次迭代中的方框520處找到的具有較少不同的可能的運動模糊圖像目標(biāo)進(jìn)行比較。

參見圖6，示出了描繪用于估計圖像目標(biāo)的運動模糊的示例性第二運動模糊估計方法500的示例性視圖600。如上所述，利用粗略3d估計，可以通過將多個模糊矢量應(yīng)用于未模糊的圖像目標(biāo)610，根據(jù)該未模糊的圖像目標(biāo)來生成多個可能的運動模糊的圖像目標(biāo)(例如，圖像目標(biāo)630a-d)?？梢栽谑褂梦茨：膱D像目標(biāo)610來生成可能的運動模糊的圖像目標(biāo)(例如，圖像目標(biāo)630a-d)之前，首先對該未模糊的圖像目標(biāo)610進(jìn)行縮小比例，以減少計算強(qiáng)度。接著，可以將所考慮的圖像目標(biāo)幀與多個可能的運動模糊的圖像目標(biāo)(例如，圖像目標(biāo)630a-d)進(jìn)行比較，以找到最接近地類似于所考慮的圖像目標(biāo)幀的一個可能的運動模糊的圖像目標(biāo)。其后，可以將所考慮的圖像目標(biāo)幀的運動模糊矢量估計成與找到的最接近地類似于所考慮的圖像目標(biāo)幀的一個可能的運動模糊的圖像目標(biāo)相關(guān)聯(lián)的模糊矢量。

參見圖7，示出了描繪用于估計圖像目標(biāo)的運動模糊的示例性第三運動模糊估計方法700的流程圖。第三運動模糊估計方法700可以替代地稱為精練3d估計。在方框710處，可以確定要搜索的多個模糊量。如果已經(jīng)對所考慮的圖像目標(biāo)幀執(zhí)行了第二運動模糊估計方法500，則可以使用在方法500的方框530處導(dǎo)出的運動模糊矢量來限制要搜索的多個模糊量的數(shù)量。在方框720處，可以針對要搜索的每個模糊量，確定與運動模糊步驟的數(shù)量相對應(yīng)的數(shù)量。該數(shù)量可以在下文稱為數(shù)量n。該數(shù)量n可以等于或大于1，故可以與要搜索的相應(yīng)模糊量呈正相關(guān)。接著，在方框730處，可以在所考慮的圖像目標(biāo)幀的姿態(tài)和直接在其之前的圖像目標(biāo)幀的姿態(tài)之間，插入一個或多個中間姿態(tài)。中間姿態(tài)的數(shù)量可以與數(shù)量n相同。這些中間姿態(tài)可以是在所考慮的圖像目標(biāo)幀的姿態(tài)和直接在其之前的圖像目標(biāo)幀的姿態(tài)之間均勻間隔的。在方框740處，可以構(gòu)造多個未模糊的假設(shè)的圖像目標(biāo)幀，其中，可以針對每個中間姿態(tài)、以及所考慮的圖像目標(biāo)幀的姿態(tài)和直接在其之前的圖像目標(biāo)幀的姿態(tài)，構(gòu)造一個假設(shè)的圖像目標(biāo)幀。在方框750處，可以針對每個中間姿態(tài)和直接在所考慮的圖像目標(biāo)幀之前的圖像目標(biāo)幀的姿態(tài)，構(gòu)造多個模糊的模板。針對其構(gòu)造模糊的模板的姿態(tài)可以稱為該模糊的模板的臨界姿態(tài)?？梢酝ㄟ^對與臨界姿態(tài)和在臨界姿態(tài)之后的所有姿態(tài)(其包括在臨界姿態(tài)之后的所有中間姿態(tài)之后以及所考慮的圖像目標(biāo)幀的姿態(tài))相對應(yīng)的未模糊的假設(shè)的圖像目標(biāo)幀進(jìn)行組合，來構(gòu)造模糊的模板。換言之，假定對于每個模糊的模板而言，運動模糊在其臨界姿態(tài)處開始發(fā)生?？梢葬槍σ阉鞯乃心：?，重復(fù)方框720到750來獲得要搜索的所有模糊的模板。其后，在方框760處，可以將所考慮的圖像目標(biāo)幀與所有模糊的模板進(jìn)行比較，以找到最接近地類似于所考慮的圖像目標(biāo)幀的單個模糊的模板。關(guān)于第二運動模糊估計方法500而言，可以使用ncc來測量所考慮的圖像目標(biāo)幀和模糊的模板之間的相似度。在方框770處，可以將所考慮的圖像目標(biāo)幀的運動模糊估計成模糊量和在方框760處找到的最接近地類似于所考慮的圖像目標(biāo)幀的模糊的模板的臨界姿態(tài)的組合。例如，可以將模糊量歸一化到在0到1之間的尺度。應(yīng)當(dāng)理解的是，由于第三運動模糊估計方法700考慮了相機(jī)運動的6個自由度(dof)，因此其比第二運動模糊估計方法500更準(zhǔn)確。還應(yīng)當(dāng)理解的是，還可以通過考慮針對先前圖像目標(biāo)幀的結(jié)果并確定在推算的曲線上針對當(dāng)前圖像目標(biāo)幀的運動模糊矢量，來進(jìn)一步精練針對當(dāng)前圖像目標(biāo)幀的精練3d估計的結(jié)果。

參見圖8，示出了描繪用于估計圖像目標(biāo)的運動模糊的示例性第三運動模糊估計方法700的示例性說明800。如上所述，利用精練3d估計，可以確定要搜索的多個模糊量。針對要搜索的每個模糊量，可以確定與運動模糊步驟的數(shù)量相對應(yīng)的數(shù)量。接著，可以在所考慮的圖像目標(biāo)幀的姿態(tài)(模板820a中所示出的姿態(tài))和直接在其之前的圖像目標(biāo)幀的姿態(tài)(模板820c中所示出的姿態(tài))之間，插入一個或多個中間姿態(tài)(例如，模板820b中所示出的姿態(tài))。可以針對每個中間姿態(tài)(例如，模板820b中所示出的姿態(tài))、以及直接在所考慮的圖像目標(biāo)幀之前的圖像目標(biāo)幀的姿態(tài)(模板820c中所示出的姿態(tài))，構(gòu)造多個模糊的模板(例如，模板830a-c)。可以在模糊的模板的構(gòu)造中，使用未展開的(例如，正視圖)圖像目標(biāo)810?？梢葬槍σ阉鞯乃心：?，生成要搜索的所有模糊的模板。其后，可以將所考慮的圖像目標(biāo)幀與所有模糊的模板(例如，模板830a-c)進(jìn)行比較，以找到最接近地類似于所考慮的圖像目標(biāo)幀的單個模糊的模板。

因此，應(yīng)當(dāng)理解的是，與第二運動模糊估計方法500(粗略3d估計)相比，第三運動模糊估計方法700(精練3d估計)是更加運算密集的，轉(zhuǎn)而，與第一運動模糊估計方法400(快速2d估計)相比，第二運動模糊估計方法500是更加運算密集的。另一方面，與第二運動模糊估計方法500(粗略3d估計)相比，第三運動模糊估計方法700(精練3d估計)提供更準(zhǔn)確的模糊估計，轉(zhuǎn)而，與第一運動模糊估計方法400(快速2d估計)相比，第二運動模糊估計方法500提供更準(zhǔn)確的模糊估計。

如先前所描述的，設(shè)備100可以執(zhí)行操作以：應(yīng)用第一運動模糊估計方法來估計運動模糊(圖4)；確定計算資源是否可用于第二運動模糊估計方法；響應(yīng)于確定計算資源可用于第二運動模糊估計方法，應(yīng)用第二運動模糊估計方法來估計運動模糊(圖5)；確定計算資源是否可用于第三運動模糊估計方法；以及響應(yīng)于確定計算資源可用于第三運動模糊估計方法，應(yīng)用第三運動模糊估計方法來估計運動模糊(圖7)。在更準(zhǔn)確的模糊估計方法的應(yīng)用時，可以使用或者重用來自不那么準(zhǔn)確的模糊估計方法的結(jié)果，以節(jié)省計算資源。例如，在第二運動模糊估計方法的應(yīng)用時，可以使用來自第一運動模糊估計方法的結(jié)果，并且在第三運動模糊估計方法的應(yīng)用時，可以使用來自第一和第二運動模糊估計方法的結(jié)果。先前詳細(xì)地描述了三種運動模糊估計的各種實現(xiàn)。通過執(zhí)行先前所描述的功能，具有處理器110的設(shè)備100可以執(zhí)行指令來操作增強(qiáng)現(xiàn)實應(yīng)用145，以自適應(yīng)地選擇最適合的運動模糊估計方法來估計圖像目標(biāo)幀的運動模糊，這可以用于模擬虛擬對象(虛擬茶壺215)上的運動模糊，以使虛擬對象更逼真地呈現(xiàn)為如圖像目標(biāo)中所描繪的現(xiàn)實世界場景的一部分。

應(yīng)當(dāng)理解的是，如先前所描述的用于執(zhí)行運動模糊估計的增強(qiáng)現(xiàn)實應(yīng)用145可以實現(xiàn)成軟件、固件、硬件、其組合等等。在一個實施例中，先前所描述的功能可以由設(shè)備100的一個或多個處理器(例如，處理器110)來實施，以實現(xiàn)先前所描述的功能(例如，圖3-圖8的方法操作)。

本文的教導(dǎo)可以并入到多種裝置(例如，設(shè)備)中(例如，在多種裝置內(nèi)實現(xiàn)或由多種裝置來執(zhí)行)。例如，本文教導(dǎo)的一個或多個方面可以并入到通用設(shè)備、臺式計算機(jī)、移動計算機(jī)、移動設(shè)備、電話(例如，蜂窩電話)、個人數(shù)據(jù)助理、平板設(shè)備、膝上型計算機(jī)、平板設(shè)備、娛樂設(shè)備(例如，音樂或視頻設(shè)備)、頭戴裝置(例如，耳機(jī)、聽筒等等)、醫(yī)療設(shè)備(例如，生物傳感器、心率監(jiān)測儀、計步器、ekg設(shè)備等等)、用戶i/o設(shè)備、計算機(jī)、服務(wù)器、銷售點設(shè)備、娛樂設(shè)備、機(jī)頂盒、可穿戴設(shè)備(例如，手表、頭戴式顯示器、虛擬現(xiàn)實眼鏡等等)、汽車中的電子設(shè)備、或者任何其它適當(dāng)?shù)脑O(shè)備。

在一些方面中，無線設(shè)備可以包括用于通信系統(tǒng)的接入設(shè)備(例如，wi-fi接入點)。例如，這種接入設(shè)備可以經(jīng)由有線或無線通信鏈路，通過收發(fā)機(jī)來提供到另一個網(wǎng)絡(luò)(例如，諸如互聯(lián)網(wǎng)或蜂窩網(wǎng)絡(luò)之類的廣域網(wǎng))的連接。因此，接入設(shè)備可以使得另一個設(shè)備(例如，wi-fi站)能夠訪問其它網(wǎng)絡(luò)或者某種其它功能。此外，應(yīng)當(dāng)理解的是，這兩個設(shè)備中的一個或二者可以是便攜式的，或者在一些情況下是相對非便攜的。

應(yīng)當(dāng)理解的是，當(dāng)這些設(shè)備是移動設(shè)備或者無線設(shè)備時，它們可以通過基于或者以其它方式支持任何適當(dāng)?shù)臒o線通信技術(shù)的無線網(wǎng)絡(luò)，經(jīng)由一個或多個無線通信鏈路來進(jìn)行通信。例如，在一些方面中，該無線設(shè)備和其它設(shè)備可以與包括無線網(wǎng)絡(luò)的網(wǎng)絡(luò)進(jìn)行關(guān)聯(lián)。在一些方面中，該網(wǎng)絡(luò)可以包括體域網(wǎng)或個域網(wǎng)(例如，超寬帶網(wǎng)絡(luò))。在一些方面中，該網(wǎng)絡(luò)可以包括局域網(wǎng)或廣域網(wǎng)。無線設(shè)備可以支持或者使用各種無線通信技術(shù)、協(xié)議或標(biāo)準(zhǔn)中的一種或多種(例如，3g、lte、改進(jìn)的lte、4g、cdma、tdma、ofdm、ofdma、wimax和wi-fi)。類似地，無線設(shè)備可以支持或者以其它方式使用各種相應(yīng)的調(diào)制或者復(fù)用方案中的一種或多種。因此，無線設(shè)備可以包括適當(dāng)?shù)慕M件(例如，空中接口)，以使用上面或者其它無線通信技術(shù)，經(jīng)由一個或多個無線通信鏈路來建立通信和進(jìn)行通信。例如，設(shè)備可以包括具有相關(guān)聯(lián)的發(fā)射機(jī)和接收機(jī)組件(例如，發(fā)射機(jī)和接收機(jī))的無線收發(fā)機(jī)，無線收發(fā)機(jī)可以包括有助于在無線介質(zhì)上進(jìn)行通信的各種組件(例如，信號發(fā)生器和信號處理器)。如所公知的，移動無線設(shè)備可以因此與其它移動設(shè)備、蜂窩電話、其它有線和無線計算機(jī)、互聯(lián)網(wǎng)網(wǎng)站等等進(jìn)行無線地通信。

本領(lǐng)域技術(shù)人員將會理解，可以使用多種不同的技術(shù)和技藝中的任意一種來表示信息和信號。例如，可貫穿上面的描述提及的數(shù)據(jù)、指令、命令、信息、信號、比特、符號和碼片可以用電壓、電流、電磁波、磁場或磁性粒子、光場或光學(xué)粒子、或者其任意組合來表示。

本領(lǐng)域技術(shù)人員還將會明白，結(jié)合本文所公開的實施例描述的各種說明性的邏輯框、模塊、引擎、電路和算法步驟均可以實現(xiàn)成電子硬件、計算機(jī)軟件或二者的組合。為了清楚地示出硬件和軟件之間的這種可交換性，上面對各種示例性的組件、框、模塊、引擎、電路和步驟均圍繞其功能進(jìn)行了總體描述。至于這種功能是實現(xiàn)成硬件還是實現(xiàn)成軟件，取決于特定應(yīng)用和施加在整體系統(tǒng)上的設(shè)計約束。本領(lǐng)域技術(shù)人員可以針對每個特定應(yīng)用，以變化的方式實現(xiàn)所描述的功能，但是，這種實現(xiàn)決策不應(yīng)被解釋為脫離本發(fā)明的范圍。

可以利用被實際為執(zhí)行本文所述功能的通用處理器、數(shù)字信號處理器(dsp)、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)或其它可編程邏輯器件、分立門或者晶體管邏輯、分立硬件組件或者其任意組合來實現(xiàn)或執(zhí)行結(jié)合本文所公開的實施例描述的各種說明性的邏輯框、模塊和電路。通用處理器可以是微處理器，但是在替代方案中，該處理器也可以是任何常規(guī)的處理器、控制器、微控制器或者狀態(tài)機(jī)。處理器也可以實現(xiàn)為計算設(shè)備的組合，例如，dsp和微處理器的組合、多個微處理器、一個或多個微處理器與dsp內(nèi)核的結(jié)合，或者任何其它此種結(jié)構(gòu)。

結(jié)合本文所公開的實施例描述的方法或者算法的步驟可以直接體現(xiàn)在硬件、由處理器執(zhí)行的軟件模塊或二者的組合中。軟件模塊可以駐留在ram存儲器、閃存、rom存儲器、eprom存儲器、eeprom存儲器、寄存器、硬盤、移動硬盤、cd-rom或者本領(lǐng)域已知的任何其它形式的存儲介質(zhì)中?？梢詫⑹纠源鎯橘|(zhì)耦合至處理器，從而使該處理器能夠從該存儲介質(zhì)讀取信息，并且向該存儲介質(zhì)寫入信息。在替代方案中，存儲介質(zhì)可以是處理器的組成部分。處理器和存儲介質(zhì)可以駐留在asic中。asic可以駐留在用戶終端中。在替代方案中，處理器和存儲介質(zhì)可以作為分立組件駐留在于用戶終端中。

在一個或多個示例性實施例中，本文所描述的功能可以用硬件、軟件、固件或者其任意組合來實現(xiàn)。當(dāng)利用軟件實現(xiàn)成計算機(jī)程序產(chǎn)品時，可以將這些功能或模塊作為一個或多個指令或代碼存儲在非暫時性計算機(jī)可讀介質(zhì)上，或者通過非暫時性計算機(jī)可讀介質(zhì)進(jìn)行傳輸。計算機(jī)可讀介質(zhì)包括計算機(jī)存儲介質(zhì)和通信介質(zhì)，其中通信介質(zhì)包括有助于將計算機(jī)程序從一個地方傳送到另一個地方的任何介質(zhì)。存儲介質(zhì)可以是能夠由計算機(jī)存取的任何可用介質(zhì)。通過舉例而非限制的方式，這種非暫時性計算機(jī)可讀介質(zhì)可以包括ram、rom、eeprom、cd-rom或其它光盤存儲、磁盤存儲或其它磁存儲設(shè)備、或者能夠用于以指令或數(shù)據(jù)結(jié)構(gòu)形式攜帶或存儲期望的程序代碼以及能夠由計算機(jī)存取的任何其它介質(zhì)。此外，任何連接被適當(dāng)?shù)胤Q為計算機(jī)可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖光纜、雙絞線、數(shù)字用戶線路(dsl)或者諸如紅外線、無線電和微波之類的無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸?shù)?，則同軸電纜、光纖光纜、雙絞線、dsl或者諸如紅外線、無線電和微波之類的無線技術(shù)包括在介質(zhì)的定義中。如本文所使用的，磁盤和光盤包括壓縮盤(cd)、激光盤、光盤、數(shù)字多功能光盤(dvd)、軟盤和藍(lán)光盤，其中磁盤通常磁性地再現(xiàn)數(shù)據(jù)，而光盤則用激光來光學(xué)地再現(xiàn)數(shù)據(jù)。上述的組合也應(yīng)當(dāng)包括在計算機(jī)可讀介質(zhì)的范圍之內(nèi)。

提供對所公開的實施例的以上描述以使得任何本領(lǐng)域技術(shù)人員能夠?qū)嵤┗蛘呤褂帽景l(fā)明。對于本領(lǐng)域技術(shù)人員來說，對這些實施例的各種修改將是顯而易見的，并且本文定義的總體原理可以在不脫離本發(fā)明的精神或范圍的情況下應(yīng)用于其它實施例。因此，本發(fā)明不旨在受限于本文所示出的實施例，而是要與本文所披露的原理和新穎特征的最廣范圍相一致。