本申請案主張共同擁有的2014年7月1日申請的第62/019,854號美國臨時專利申請案和2014年8月26日申請的第14/469,468號美國非臨時專利申請案的優(yōu)先權(quán)，所述專利申請案的內(nèi)容明確地以全文引用的方式并入本文中。

技術(shù)領(lǐng)域

本發(fā)明大體上涉及一種三維(3D)模型產(chǎn)生的系統(tǒng)和方法。

背景技術(shù)：

技術(shù)進(jìn)展已經(jīng)產(chǎn)生更小且更強(qiáng)大的計算裝置。舉例來說，當(dāng)前存在多種便攜式個人計算裝置，包含無線計算裝置，例如移動和智能電話、平板計算機(jī)和膝上型計算機(jī)，其體積小，重量輕，且易于由用戶攜帶。這些裝置可經(jīng)由無線網(wǎng)絡(luò)傳達(dá)話音和數(shù)據(jù)包。此外，許多此些裝置并入有額外功能性，例如數(shù)字靜態(tài)相機(jī)、數(shù)碼攝像機(jī)、數(shù)字錄制器和音頻文件播放器。而且，此些裝置可處理可執(zhí)行指令，包含軟件應(yīng)用程序，例如可用以接入因特網(wǎng)的網(wǎng)絡(luò)瀏覽器應(yīng)用程序。因而，這些裝置可包含顯著計算能力。

無線電話和類似裝置可經(jīng)配置以俘獲圖像。此些圖像可用以產(chǎn)生對象的三維(3D)模型。一般來說，用于產(chǎn)生3D模型的裝置并不相對于俘獲圖像的速率而實時或準(zhǔn)實時產(chǎn)生3D模型。確切地說，一系列圖像幀(例如，由相機(jī))俘獲，且(例如，同時在處理系統(tǒng)，例如計算機(jī)處)將所述系列圖像幀隨后作為群組處理以產(chǎn)生3D模型。如果所述系列圖像幀不充分或不足以產(chǎn)生完全的3D模型，那么此些不充分或不足可能保持不被注意，直到完成處理以產(chǎn)生3D模型之后為止。在此情況下，可能產(chǎn)生不完全或不準(zhǔn)確的3D模型。為了產(chǎn)生更完全或更準(zhǔn)確的3D模型，可俘獲并處理對象的新的一系列圖像。

技術(shù)實現(xiàn)要素：

本文中的揭示內(nèi)容基于一系列所俘獲圖像幀而實現(xiàn)3D點云和/或3D模型的實時或準(zhǔn)實時產(chǎn)生。所述系列圖像幀可由圖像俘獲裝置(例如，相機(jī))俘獲。所述圖像俘獲裝置的用戶(例如，操作者)可圍繞對象移動所述圖像俘獲裝置以俘獲所述對象的所述系列圖像幀。在一特定實施例中，所述用戶可識別所述圖像中的一者中的(例如，對應(yīng)于所述對象的區(qū)域)。在此實施例中，與所述圖像俘獲裝置相關(guān)聯(lián)或包含所述圖像俘獲裝置的計算裝置可基于所述所關(guān)注區(qū)域而確定與所述對象相關(guān)聯(lián)的(例如，與所述3D模型相關(guān)聯(lián)的)限界框。當(dāng)俘獲額到外圖像時和當(dāng)(例如，通過使用所述圖像中的所述對象一更新所述3D模型中的所述限界框的位置或大小來)更新了3D模型時，所述限界框可改變。

另外，本文中的揭示內(nèi)容實現(xiàn)對所述3D模型中的異常的校正。舉例來說，如果在基于一系列圖像產(chǎn)生所述3D模型之后檢測到異常，那么可向用戶通知所述異常。還可向所述用戶呈現(xiàn)校正所述異常的一或多個選項，例如俘獲額外圖像的選項或基于算法而自動地填充異常的選項。

此外，因為可實時或準(zhǔn)實時(例如，按約等于所述系列圖像中的圖像經(jīng)俘獲且與俘獲所述系列圖像同時的速率的速率)產(chǎn)生所述3D模型，所以所述計算裝置可通知所述用戶所述圖像俘獲裝置是否移動過快速而不能收集充分?jǐn)?shù)據(jù)以產(chǎn)生準(zhǔn)確的3D模型。舉例來說，可(例如，通過估計相機(jī)姿勢和每一圖像的相對應(yīng)時間戳來)估計在場景中所述圖像俘獲裝置相對于所述對象的移動速度。可比較所述圖像俘獲裝置的所述移動速度與速度閾值，且可向所述用戶通知是否滿足所述速度閾值。

在一特定實施例中，一種方法包含在電子裝置處基于由與所述電子裝置相關(guān)聯(lián)的圖像俘獲裝置俘獲的一系列圖像而產(chǎn)生對象的三維模型。所述方法進(jìn)一步包含經(jīng)由與所述電子裝置相關(guān)聯(lián)的顯示裝置顯示所述三維模型。所述方法還包含基于檢測到所述三維模型包含異常而經(jīng)由所述顯示裝置呈現(xiàn)實現(xiàn)對所述異常的校正的一或多個可選選項。

在另一特定實施例中，一種設(shè)備包含經(jīng)配置以俘獲一系列圖像的圖像俘獲裝置、經(jīng)配置以輸出圖形用戶接口的顯示裝置、和處理器。所述處理器經(jīng)配置以基于所述系列圖像而產(chǎn)生對象的三維模型。所述處理器還經(jīng)配置以產(chǎn)生描繪所述三維模型的所述圖形用戶接口。所述處理器經(jīng)進(jìn)一步配置以基于檢測到所述三維模型包含異常而經(jīng)由所述顯示裝置呈現(xiàn)實現(xiàn)對所述異常的校正的一或多個可選選項。

在另一特定實施例中，揭示一種計算機(jī)可讀存儲裝置。所述計算機(jī)可讀存儲裝置包含指令，所述指令在由處理器執(zhí)行時致使所述處理器基于由圖像俘獲裝置俘獲的一系列圖像而產(chǎn)生對象的三維模型。所述指令還致使所述處理器經(jīng)由顯示裝置顯示所述三維模型。所述指令進(jìn)一步致使所述處理器基于檢測到所述三維模型包含異常，經(jīng)由所述顯示裝置呈現(xiàn)實現(xiàn)對所述異常的校正的一或多個可選選項。

在又一特定實施例中，一種設(shè)備包含用于俘獲一系列圖像的裝置。所述設(shè)備還包含用于基于一系列圖像而產(chǎn)生對象的三維模型的裝置。所述設(shè)備進(jìn)一步包含用于產(chǎn)生描繪所述三維模型的圖形用戶接口的裝置。所述設(shè)備還包含用于檢測所述三維模型包含異常的裝置。所述用于產(chǎn)生所述圖形用戶接口的裝置經(jīng)配置以呈現(xiàn)實現(xiàn)對所述異常的校正的一或多個可選選項。

在另一特定實施例中，一種方法包含在電子裝置處接收對表示場景的二維圖像中所描繪的對象的選擇。所述方法還包含確定與所述對象相關(guān)聯(lián)的限界框。所述方法進(jìn)一步包含在俘獲與所述場景相關(guān)聯(lián)的一系列圖像期間基于所述限界框而產(chǎn)生所述對象的三維模型。

在另一特定實施例中，一種設(shè)備包含經(jīng)配置以俘獲一系列圖像的圖像俘獲裝置、經(jīng)配置以輸出圖形用戶接口的顯示裝置、和處理器。所述處理器經(jīng)配置以接收對二維圖像中所描繪的對象的選擇。所述過程還經(jīng)配置以確定與所述對象相關(guān)聯(lián)的限界框。所述處理器經(jīng)進(jìn)一步配置以基于所述限界框而在所述圖像俘獲裝置對所述系列圖像的俘獲期間產(chǎn)生所述對象的三維模型。

在另一特定實施例中，揭示一種計算機(jī)可讀存儲裝置。所述計算機(jī)可讀存儲裝置包含指令，所述指令在由處理器執(zhí)行時致使所述處理器接收對表示場景的二維圖像中所描繪的對象的選擇。所述指令還致使所述處理器確定與所述對象相關(guān)聯(lián)的限界框。所述指令還致使所述處理器在俘獲與所述場景相關(guān)聯(lián)的一系列圖像期間基于所述限界框而產(chǎn)生所述對象的三維模型。

在又一特定實施例中，一種設(shè)備包含用于俘獲與場景相關(guān)聯(lián)的一系列圖像的裝置。所述設(shè)備還包含用于接收對圖像中所描繪的對象的二維選擇的裝置。所述設(shè)備進(jìn)一步包含用于確定與所述對象相關(guān)聯(lián)的限界框的裝置。所述設(shè)備還包含用于在俘獲所述系列圖像期間基于所述限界框而產(chǎn)生所述對象的三維模型的裝置。

在另一特定實施例中，一種方法包含在電子裝置處基于在與所述電子裝置相關(guān)聯(lián)的圖像俘獲裝置處所俘獲的一系列圖像而估計一系列相機(jī)姿勢，其中所述系列相機(jī)姿勢用以產(chǎn)生對象的三維模型。所述方法還包含基于所述系列相機(jī)姿勢而計算與所述圖像俘獲裝置相對于所述對象的移動相關(guān)聯(lián)的速度。所述方法進(jìn)一步包含基于所述速度與速度閾值的比較而經(jīng)由輸出接口選擇性地輸出通知。

在另一特定實施例中，一種設(shè)備包含經(jīng)配置以俘獲一系列圖像的圖像俘獲裝置、經(jīng)配置以輸出圖形用戶接口的顯示裝置和處理器。所述處理器經(jīng)配置以基于所述系列圖像而估計一系列相機(jī)姿勢，其中所述系列相機(jī)姿勢用以產(chǎn)生對象的三維模型。所述處理器還經(jīng)配置以基于所述系列相機(jī)姿勢而計算與所述圖像俘獲裝置相對于所述對象的移動相關(guān)聯(lián)的速度。所述處理器經(jīng)進(jìn)一步配置以基于所述速度與速度閾值的比較而產(chǎn)生待經(jīng)由所述輸出接口輸出的通知。

在另一特定實施例中，揭示一種計算機(jī)可讀存儲裝置。所述計算機(jī)可讀存儲裝置包含指令，所述指令在由處理器執(zhí)行時致使所述處理器基于由圖像俘獲裝置俘獲的一系列圖像而估計一系列相機(jī)姿勢，其中所述系列相機(jī)姿勢用以產(chǎn)生對象的三維模型。所述指令還致使所述處理器基于所述系列相機(jī)姿勢而計算與所述圖像俘獲裝置相對于所述對象的移動相關(guān)聯(lián)的速度。所述指令同樣致使所述處理器基于所述速度與速度閾值的比較而選擇性地輸出通知。

在又一特定實施例中，一種設(shè)備包含用于俘獲一系列圖像的裝置。所述設(shè)備進(jìn)一步包含用于基于所述系列相機(jī)姿勢而計算與用于俘獲的所述裝置相對于所述對象的移動相關(guān)聯(lián)的速度的裝置，其中所述系列圖像與所述系列相機(jī)姿勢相關(guān)聯(lián)，且其中所述系列相機(jī)姿勢用以產(chǎn)生所述對象的三維模型。所述設(shè)備還包含用于基于所述速度與速度閾值的比較而輸出通知的裝置。

由所述所揭示實施例中的至少一者提供的一個特定優(yōu)勢為可更易于(例如，通過在產(chǎn)生所述3D模型期間或當(dāng)所述用戶仍在收集圖像以改善所述3D模型時通知所述用戶)校正可能在產(chǎn)生3D模型期間發(fā)生的異常。另外，通過在正產(chǎn)生或更新所述3D模型時提供與所述3D模型相關(guān)聯(lián)的用戶接口(和/或通知)，可避免其它錯誤。舉例來說，可在所述用戶過快移動所述圖像俘獲裝置時通知他或她，使得所述用戶能夠俘獲更適用于產(chǎn)生或更新所述3D模型的圖像。

在檢視整個申請案后，本發(fā)明的其它方面、優(yōu)勢和特征將變得顯而易見，申請案包含以下部分：附圖說明、具體實施方式和權(quán)利要求書。

附圖說明

圖1是用以基于一系列圖像幀而產(chǎn)生三維(3D)模型的系統(tǒng)的特定說明性實施例的框圖；

圖2是說明向用戶通知3D模型中的異常并提供校正異常的可選選項的用戶接口的圖；

圖3是說明用戶接口的圖，所述用戶接口指示所俘獲圖像中的所關(guān)注區(qū)域、3D模型的相對應(yīng)限界框和一系列相機(jī)姿勢；

圖4是說明向用戶通知圖像俘獲裝置移動過快的用戶接口的圖；

圖5是說明多個相機(jī)姿勢的圖；

圖6是產(chǎn)生3D模型的方法的特定說明性實施例的流程圖；

圖7是在3D模型中產(chǎn)生限界框的方法的特定說明性實施例的流程圖；

圖8是基于圖像俘獲裝置的移動速度而輸出通知的方法的特定說明性實施例的流程圖；且

圖9是經(jīng)配置以基于所述系列圖像幀而產(chǎn)生3D模型的計算裝置的框圖。

具體實施方式

圖1是經(jīng)配置以基于一系列圖像幀而產(chǎn)生三維(3D)模型的系統(tǒng)100的特定說明性實施例的框圖。舉例來說，系統(tǒng)100可基于所俘獲圖像102的集合而產(chǎn)生對象的3D模型。所俘獲圖像102的集合可包含由圖像俘獲裝置俘獲的一系列圖像幀，圖像俘獲裝置例如二維(2D)相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，紅綠藍(lán)色深度(RGB-D)相機(jī))、或經(jīng)配置以俘獲圖像的任何其它裝置。在替代性實施例中，多個相機(jī)可由圖像俘獲裝置用以獲得所俘獲圖像102的集合。圖像俘獲裝置可與可基于所俘獲圖像102而呈現(xiàn)(例如，顯示)3D模型的表示的顯示器104相關(guān)聯(lián)。3D模型的所顯示表示可經(jīng)配置以使得用戶能夠在最初產(chǎn)生3D模型之后校正或增強(qiáng)3D模型。

所俘獲圖像102可包含表示場景的多個圖像(例如，二維圖像、3D圖像、圖像數(shù)據(jù)等)。舉例來說，場景可包含一或多個對象以及對象的背景或其它環(huán)境。在一特定實施例中，可經(jīng)由顯示器104表示所俘獲圖像102中的一或多者。舉例來說，當(dāng)用戶使用相機(jī)俘獲場景的圖像時，顯示器104(和/或另一用戶接口，例如投影儀)可向用戶呈現(xiàn)圖像。另外，顯示器104(和/或另一用戶接口，例如小鍵盤或按鈕)可經(jīng)配置以使得用戶能夠提供與圖像相關(guān)的輸入。舉例來說，顯示器104可接收用戶選擇106。用戶選擇106可使得用戶能夠選擇包含場景內(nèi)的特定對象的所關(guān)注區(qū)域。

舉例來說，如圖4中所說明，用戶選擇106可包含指定圍繞場景內(nèi)的特定對象的限界框的信息。限界框可對應(yīng)于由用戶定義的所關(guān)注區(qū)域?？稍陲@示器104處相對于所俘獲圖像中的一或多者而顯示所關(guān)注區(qū)域。在108處，系統(tǒng)100可使用由用戶定義的所關(guān)注區(qū)域以確定限界框。限界框可基于所俘獲圖像102而與三維模型中的對象相關(guān)聯(lián)。舉例來說，限界框可在相機(jī)相對于對象移動時基于對象跟蹤而包含或?qū)?yīng)于所關(guān)注區(qū)域。

在一特定實施例中，限界框可以三維形式對應(yīng)于立方體或其它幾何體的區(qū)域，所述區(qū)域?qū)?yīng)于或包含由用戶經(jīng)由顯示器104定義的所關(guān)注區(qū)域的面積(例如，體積)。當(dāng)相機(jī)繼續(xù)俘獲圖像時，對象跟蹤模塊112可用以從一個圖像幀到后續(xù)圖像幀跟蹤所關(guān)注區(qū)域或?qū)?yīng)于所關(guān)注區(qū)域的對象?；趯ο蟾?，可在110處更新限界框。舉例來說，在產(chǎn)生三維模型期間，當(dāng)相機(jī)更較近至遠(yuǎn)離對象而移動時，可基于對象跟蹤而調(diào)整限界框的大小參數(shù)。限界框可與多個大小參數(shù)(例如，(x，y，z)尺寸參數(shù)、中心點(x，y，z)坐標(biāo)和球面半徑等)相關(guān)聯(lián)。特定大小參數(shù)可與限界框的特定尺寸(例如，長度、寬度或深度)相關(guān)聯(lián)或?qū)?yīng)于所述特定尺寸?？苫诖_定對象在一個圖像中的限界框中比在先前圖像中大而調(diào)整大小參數(shù)的值。

在另一個實例中，可基于在對象跟蹤模塊112處在限界框內(nèi)跟蹤到對象而調(diào)整限界框的位置參數(shù)的值。為了說明，對象可基于對象相對于場景的移動或?qū)ο笙鄬τ谙鄼C(jī)的移動而在所俘獲圖像102的集合中在圖像幀之間移動?？苫趯ο笤谒鱿盗袌D像中的相對位置而調(diào)整位置參數(shù)的值。

所述系列圖像可用以在113處確定相機(jī)姿勢(例如，相機(jī)姿勢數(shù)據(jù))。相機(jī)姿勢113、對象跟蹤模塊112或這兩者可用以確定裝置速度。舉例來說，在產(chǎn)生所俘獲圖像102期間，裝置速度檢驗單元114可基于多個相機(jī)姿勢、基于與相機(jī)姿勢相關(guān)聯(lián)的多個時間戳或這兩者而確定圖像俘獲裝置相對于對象的速度。舉例來說，可基于對相機(jī)的對應(yīng)于每一相機(jī)姿勢的相對位置和與相機(jī)姿勢相關(guān)聯(lián)的時間戳的計算而確定所述速度。當(dāng)速度滿足速度閾值時，可經(jīng)由顯示器104呈現(xiàn)通知。

在一些實施例中，當(dāng)速度大于或等于速度閾值時速度可滿足速度閾值。在一替代性實施例中，如果速度處于對應(yīng)于速度閾值的速度的范圍內(nèi)，那么速度可滿足速度閾值。在一個實施例中，通知可建議應(yīng)減小圖像俘獲裝置的速度，這是因為速度大于或等于速度閾值。舉例來說，可減小速度以便減小錯誤，或使得能夠在特定空間內(nèi)俘獲更多圖像以便改善3D模型產(chǎn)生。在另一實施例中，當(dāng)速度少于或等于速度閾值時，速度可滿足速度閾值。舉例來說，可增大速度以減小正俘獲或用以利用額外處理能力的冗余圖像的數(shù)目。此外，如果速度歷時某一時間周期而少于或等于第二速度閾值，那么可經(jīng)由顯示器104呈現(xiàn)通知，且可暫停對所述系列圖像幀的俘獲。舉例來說，第二速度閾值和時間可指示移動的缺乏(例如，相機(jī)并不移動或相對靜止)。當(dāng)相機(jī)恢復(fù)移動時，可恢復(fù)或重新啟用對所述系列圖像幀的俘獲。

因此，裝置速度檢驗單元114可計算與圖像俘獲裝置相對于對象的移動相關(guān)聯(lián)的速度，且可基于圖像俘獲裝置的移動的相對速度與速度閾值的比較而經(jīng)由顯示器104選擇性地輸出通知。響應(yīng)于確定速度滿足速度閾值，系統(tǒng)100可暫停俘獲一系列圖像，同時向用戶提供通知。

相機(jī)姿勢113還可由3D模型產(chǎn)生單元115用以產(chǎn)生3D模型(例如，初始3D模型)。異常檢測單元116可分析3D模型以確定3D模型是否包含異常(例如，表面的不連續(xù)性、缺失或不完全區(qū)域、等)。如果異常檢測單元116在3D模型中檢測到異常，那么異常檢測單元116可致使顯示器104顯示器識別3D模型中的異常的位置的指示符?；蛘?，可經(jīng)由另一用戶接口(例如，音訊揚(yáng)聲器、發(fā)光二極管(LED)等)呈現(xiàn)指示符。異常檢測單元116還可將3D模型(或表示3D模型的數(shù)據(jù))提供到3D模型優(yōu)化器118。

3D模型優(yōu)化器118或異常檢測單元116可致使顯示器104呈現(xiàn)實現(xiàn)對異常的校正的一或多個可選選項。在一些實施例中，選項經(jīng)由顯示器(例如，顯示器104)可選。在其它實施例中，選項經(jīng)由一或多個其它用戶接口(例如，揚(yáng)聲器、麥克風(fēng)、小鍵盤等)可選。選項可包含啟動改進(jìn)器單元120以使得系統(tǒng)100能夠俘獲額外圖像以便校正異常的選項。選項還可包含啟動孔填充器單元122以(例如，基于孔填充算法而)自動地產(chǎn)生填充數(shù)據(jù)的選項。如果改進(jìn)器單元120用以俘獲額外圖像，那么可將額外圖像添加到所俘獲圖像102以由系統(tǒng)100的其它單元處理來產(chǎn)生新或經(jīng)更新3D模型，其還可由異常檢測單元116分析。

3D模型優(yōu)化器118可產(chǎn)生增強(qiáng)型3D模型(例如，增強(qiáng)型模型數(shù)據(jù))，可將其提供到顯示器104。還可將增強(qiáng)型3D模型提供到紋理映射單元124、到顏色校正單元126、或到這兩者，以基于3D模型中的所俘獲圖像102而執(zhí)行顏色、光或紋理校正，來進(jìn)一步改進(jìn)用于在顯示器104處顯示的3D模型。增強(qiáng)型3D模型比在俘獲所述系列圖像期間所產(chǎn)生的3D模型包含更多細(xì)節(jié)。舉例來說，更多細(xì)節(jié)可包含更高解析度、改善的顏色映射、平滑紋理、平滑邊緣等。

圖2是說明向用戶通知3D模型中的異常并提供校正異常的可選選項的用戶接口的圖。在圖2中，裝置200包含用戶接口，例如顯示器210。裝置200可對應(yīng)于圖1的系統(tǒng)100，且可經(jīng)配置以執(zhí)行參考圖1的各種單元和模塊所描述的操作中的一或多者。舉例來說，裝置200的顯示器210可對應(yīng)于圖1的異常檢測單元116的顯示器104。

在圖2中，顯示器210包含三維模型212的表示，且包含三維模型中所檢測到的異常的指示符202。在圖2中所說明的特定實例中，將所檢測到的異常的指示符202說明為三維模型212的表示內(nèi)的色碼區(qū)域(例如，漆黑)。在其它實施例中，指示符202可由圍繞所檢測到的異常的有色輪廓(例如，紅色或黃色)說明。

另外，顯示器210包含指示已檢測到異常的文字204，且使得能夠選擇校正異常的特定選項。在圖2中說明的實例中，所顯示選項包含繼續(xù)圖像俘獲的可選選項206和自動地填充所檢測到的異常的可選選項208。響應(yīng)于選擇繼續(xù)圖像俘獲的可選選項206，裝置200(和/或顯示器210)可返回到圖像俘獲屏幕且可在圖像俘獲模式中操作，使得用戶能夠俘獲由三維模型表示的對象的額外圖像，以便收集數(shù)據(jù)以填充所檢測到的異常。響應(yīng)于選擇自動地填充孔的可選選項208，孔檢測和校正算法可自動地產(chǎn)生數(shù)據(jù)以填充孔來校正異常。在一些實施例中，可選選項208可與圖1的異常檢測單元116相關(guān)聯(lián)。可選選項208可對應(yīng)于啟動圖1的改進(jìn)器單元120或啟動圖1的孔填充器單元122。盡管可選選項206和208經(jīng)由顯示器210可選，但還可經(jīng)由一或多個其它用戶接口(例如，小鍵盤、按鈕等)選擇可選選項206和208。

圖3是說明用戶接口的圖，所述用戶接口指示所俘獲圖像中的所關(guān)注區(qū)域、3D模型的對應(yīng)限界框和一系列相機(jī)姿勢；在圖3中，裝置300包含用戶接口，例如顯示器310。裝置300可對應(yīng)于或包含系統(tǒng)100，且可經(jīng)配置以執(zhí)行參考系統(tǒng)100的各種單元和模塊所描述的過程中的一或多者。另外或在替代方案中，裝置300可對應(yīng)于、包含或包含于圖2的裝置200內(nèi)。

在圖3中，顯示器310描繪圖1的所俘獲圖像102的集合的二維圖像312。顯示器310還包含基于圖1的所俘獲圖像102的集合的3D模型的表示314。在圖3中，已接收用戶輸入302以在二維圖像312中選擇所關(guān)注區(qū)域。在一些實施例中，可經(jīng)由顯示器310接收用戶輸入302。在其它實施例中，可經(jīng)由一或多個其它用戶接口(例如，小鍵盤、方向按鈕等)接收用戶輸入302。用以選擇所關(guān)注區(qū)域的用戶輸入302識別二維圖像312內(nèi)的特定對象。響應(yīng)于用戶輸入302界定二維圖像312中的所關(guān)注區(qū)域，限界框確定單元，例如圖1的限界框確定單元108確定限界框306。限界框306與多個大小參數(shù)(例如，(x，y，z)尺寸參數(shù))相關(guān)聯(lián)。限界框306對應(yīng)于包含由用戶輸入選擇的所關(guān)注區(qū)域的三維模型的至少一部分。因此，在圖3中，限界框306說明對應(yīng)于(或包含)由經(jīng)由用戶輸入302所接收的所關(guān)注區(qū)域識別的對象的三維模型314的表示的邊界。另外，顯示器310包含用以產(chǎn)生三維模型的一系列相機(jī)姿勢的表示304。可在更新一系列相機(jī)姿勢時(例如，在俘獲圖像幀期間)實時或準(zhǔn)實時更新所述系列相機(jī)姿勢的表示304。

圖4是說明向用戶通知圖像俘獲裝置移動過快的用戶接口的圖。在圖4中，裝置400包含用戶接口，例如顯示器410。裝置400可對應(yīng)于或包含系統(tǒng)100，且可經(jīng)配置以執(zhí)行參考系統(tǒng)100的各種單元和模塊所描述的程序中的一或多者。另外或在替代方案中，裝置400可對應(yīng)于、包含或包含于圖2的裝置200或圖3的裝置300內(nèi)。

在圖4中，顯示器410包含指示裝置速度滿足裝置速度閾值的通知402的視覺表示。在一些實施例中，當(dāng)裝置速度超出裝置速度閾值時，裝置速度可滿足裝置速度閾值。舉例來說，裝置速度檢驗單元(例如圖1的裝置速度檢驗單元114)可基于多個相機(jī)姿勢、與相機(jī)姿勢相關(guān)聯(lián)的時間戳或其它信息而確定圖像俘獲裝置(例如，相機(jī))相對于場景內(nèi)的對象移動過快而不能提供對象的可靠三維模型。因此，可經(jīng)由顯示器410提供通知402來通知用戶減慢，以便實現(xiàn)收集圖像以產(chǎn)生對象的準(zhǔn)確模型。在替代性實施例中，當(dāng)裝置速度少于或等于裝置速度閾值時，裝置速度可滿足裝置速度閾值，如上文所描述。在替代性實施例中，可經(jīng)由一或多個其它用戶接口(例如，揚(yáng)聲器、LED等、振動等)提供通知402。另外，當(dāng)顯示通知402時，可暫停裝置400的圖像俘獲。當(dāng)裝置速度不再滿足裝置速度閾值時，裝置400的圖像俘獲可恢復(fù)，且通知402不再顯示。

參看圖5，繪示圖1的系統(tǒng)100的操作的說明性實施例，且大體上指定為500。在圖5中，圖像俘獲裝置502(例如，二維相機(jī)、深度感測相機(jī)、三維相機(jī)等)相對于對象510(例如如圖5中所示的杯子)沿著路徑504(例如，弧線)移動。在沿著路徑移動圖像俘獲裝置502期間，圖像俘獲裝置502定位于在圖5中由相機(jī)姿勢506A、506B、506C、506D、506E和506F說明的各種位置處。相機(jī)姿勢506A到506F對應(yīng)于由圖像俘獲裝置502俘獲的一系列圖像幀中的圖像幀。應(yīng)注意，圖5中所示的相機(jī)姿勢506A到506F的數(shù)目、分離和定向是僅用于說明而繪示，且不應(yīng)被視為限制性的。舉例來說，可按不同間隔在連續(xù)(或鄰近)相機(jī)姿勢之間使用更多相機(jī)姿勢或更少相機(jī)姿勢。

基于圖像俘獲裝置502如何圍繞對象510移動，路徑504可具有任何配置。當(dāng)圖像俘獲裝置502沿著路徑504從與相機(jī)姿勢506A相關(guān)聯(lián)的位置移動到與相機(jī)姿勢506F相關(guān)聯(lián)的位置時，可基于相機(jī)姿勢506A到506F和所述系列圖像幀而實時或準(zhǔn)實時產(chǎn)生對象510的3D點云。舉例來說，在相機(jī)姿勢506A處，其表示圖像俘獲裝置502沿著路徑504在第一位置處的初始相機(jī)姿勢，可在圖像俘獲裝置502處產(chǎn)生第一部分3D點云510A，如507A處所示。當(dāng)圖像俘獲裝置502繼續(xù)沿著路徑504移動時，可俘獲額外數(shù)據(jù)且將其用以向部分3D點云添加點。舉例來說，當(dāng)圖像俘獲裝置502已沿著路徑504移動到與相機(jī)姿勢506D相關(guān)聯(lián)的位置時，可產(chǎn)生更完全的3D點云510D，如507D處所示。在圖像俘獲裝置502到達(dá)與相機(jī)姿勢506F相關(guān)聯(lián)的位置之后，可產(chǎn)生所完成3D點云510F，如507F處所示。

圖像俘獲裝置502或另一裝置可基于兩個或兩個以上相機(jī)姿勢和相對應(yīng)時間戳(或其它信息，例如元數(shù)據(jù))而確定圖像俘獲裝置502相對于對象510沿著路徑504的移動的速率。如果移動的速率(例如，速度)滿足閾值(例如，速度閾值)，那么可產(chǎn)生通知512。通知512可建議用戶減小移動的速率。舉例來說，通知512可告知用戶圖像俘獲裝置502相對于對象510移動過快。在其它實施例中，通知512可建議用戶增大移動的速率。在一特定實施例中，可暫停圖像俘獲裝置502的圖像俘獲，同時提供通知512。當(dāng)移動速率不再滿足閾值時，可不理會通知512。

因此，圖5說明使用由圖像俘獲裝置502俘獲的圖像來基于圖像俘獲裝置502的運(yùn)動而準(zhǔn)實時或?qū)崟r產(chǎn)生3D點云數(shù)據(jù)。3D點云數(shù)據(jù)的完全性可取決于所俘獲圖像的數(shù)目和圖像俘獲裝置502的定位。舉例來說，在產(chǎn)生3D點云數(shù)據(jù)期間，(例如，在圖像俘獲裝置502到達(dá)與相機(jī)姿勢506F相關(guān)聯(lián)的位置之前)3D點云數(shù)據(jù)可能不完全，此可能在并不收集額外3D點云數(shù)據(jù)時引起產(chǎn)生對象510的不完全3D表示。為了說明，如果圖像俘獲裝置502并不從對象510的足夠數(shù)目個可見角度俘獲對象510的圖像，那么對象510的3D表示可能不完全。舉例來說，當(dāng)并非從后視視角俘獲圖像時，對象510的3D表示可能不完全。在此情況下，更多圖像可需要由圖像俘獲裝置502俘獲，以完成或填充對象510的3D表示中的間隔。

圖6是產(chǎn)生3D模型的方法600的特定說明性實施例的流程圖。方法600可由電子裝置執(zhí)行，例如包含圖1的系統(tǒng)100的模塊或單元的裝置、圖2的裝置200、圖3的裝置300、圖4的裝置400、或圖5的圖像俘獲裝置502。

方法600包含在602處在電子裝置處基于由與電子裝置相關(guān)聯(lián)的圖像俘獲裝置俘獲的一系列圖像而產(chǎn)生對象的三維(3D)模型。舉例來說，電子裝置可包含包括相機(jī)(例如，二維相機(jī)、深度感測相機(jī)、三維相機(jī)等)的便攜式通信裝置，例如只能電話。在此實例中，便攜式通信裝置的相機(jī)可用以俘獲所述系列圖像，且便攜式計算裝置的處理器可使用所述系列圖像產(chǎn)生3D模型。

方法600還包含在604處經(jīng)由與電子裝置相關(guān)聯(lián)的顯示裝置顯示3D模型。舉例來說，當(dāng)電子裝置包含便攜式通信裝置時，如上文所描述，可經(jīng)由便攜式通信裝置的顯示器呈現(xiàn)3D模型的表示。在一些實施例中，顯示器可包含圖1的顯示器104、圖2的顯示器210、圖3的顯示器310或圖4的顯示器410。在其它實施例中，顯示器可包含與便攜式通信裝置相關(guān)聯(lián)的投影儀。

方法600還包含在606處基于識別到3D模型的不完全的一或多個部分而檢測3D模型中的異常。舉例來說，異?？蓪?yīng)于不完全的3D模型的一部分，這是因為所述系列圖像中無圖像包含足夠的數(shù)據(jù)以產(chǎn)生3D模型的所述部分?？赏ㄟ^圖1的異常檢測單元116執(zhí)行檢測異常。方法600還可包含經(jīng)由顯示裝置顯示識別三維模型中的異常的位置的指示符。舉例來說，如參考圖2所描述，3D模型212的表示可包含3D模型包含異常且可識別異常的位置的指示符202。

方法600還包含在608處基于檢測到三維模型包含異常而經(jīng)由顯示裝置呈現(xiàn)實現(xiàn)對異常的校正的一或多個可選選項。舉例來說，如參考圖2所描述，選項可包含俘獲額外圖像的選項、(例如，基于孔填充算法而)自動地產(chǎn)生填充數(shù)據(jù)的選項、或這兩者。方法600還可包含接收對一或多個可選選項中的特定可選選項的選擇、和通過執(zhí)行對應(yīng)于特定可選選項的動作來校正異常。舉例來說，當(dāng)選擇俘獲額外圖像的選項時，方法600可包含在610處基于額外圖像而產(chǎn)生經(jīng)更新三維模型。改進(jìn)器單元120可經(jīng)配置以產(chǎn)生經(jīng)更新三維模型。作為另一實例，當(dāng)選擇自動地產(chǎn)生填充數(shù)據(jù)的選項時，方法600可包含在612處基于填充數(shù)據(jù)而產(chǎn)生經(jīng)更新三維模型。填充數(shù)據(jù)可由圖1的孔填充器單元122產(chǎn)生。因此，方法600實現(xiàn)實時或準(zhǔn)實時產(chǎn)生3D模型和校正3D模型中的異常。

圖7是在3D模型中產(chǎn)生限界框的方法700的特定說明性實施例的流程圖。方法700可由電子裝置執(zhí)行，例如包含圖1的系統(tǒng)100的模塊或單元的裝置、圖2的裝置200、圖3的裝置300、圖4的裝置400、或圖5的圖像俘獲裝置502。

方法700包含在702處在電子裝置處接收對表示場景的二維(2D)圖像中所描繪的對象的選擇。舉例來說，電子裝置可包含包括相機(jī)(例如，2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))、或經(jīng)配置以俘獲圖像的任何其它裝置)的便攜式通信裝置，例如只能電話。在此實例中，2D圖像可由相機(jī)俘獲，且可經(jīng)由便攜式通信裝置的顯示器表示，且可經(jīng)由便攜式通信裝置的輸入裝置(例如觸摸屏接口)接收選擇。在一些實施例中，顯示器可包含或?qū)?yīng)于圖1的顯示器104、圖2的顯示器210、圖3的顯示器310或圖4的顯示器410。在其它實施例中，顯示器可對應(yīng)于與便攜式通信裝置相關(guān)聯(lián)的投影儀。

方法700還可包含在704處確定與對象相關(guān)聯(lián)的限界框。舉例來說，對對象的選擇可指定2D圖像中的所關(guān)注區(qū)域。在基于2D圖像(和一或多個其它2D圖像)而產(chǎn)生三維(3D)模型期間，可識別對應(yīng)于所關(guān)注區(qū)域的所關(guān)注體積。在一些實施例中，限界框可包含或?qū)?yīng)于圖3的限界框314?？纱_定限界框以包含所關(guān)注體積。限界框的初始尺寸可在產(chǎn)生3D模型期間基于與對象的至少一部分相關(guān)聯(lián)的3D數(shù)據(jù)點?？稍诋a(chǎn)生3D模型期間經(jīng)由便攜式通信裝置的顯示器顯示限界框。

方法700還可包含在706處，調(diào)整或更新限界框的參數(shù)的值。舉例來說，參數(shù)可包含限界框的大小參數(shù)、限界框的位置參數(shù)或這兩者。可調(diào)整參數(shù)，使得特定對象在調(diào)整參數(shù)的值之后包含于限界框內(nèi)。為了說明，可基于在限界框內(nèi)跟蹤對象而調(diào)整或更新參數(shù)。在此說明性實例中，跟蹤對象可包含識別對象相對于場景或相對于相機(jī)的移動，且可基于對象在一系列圖像中的相對位置而調(diào)整或更新位置參數(shù)?？商娲鼗虼送?，可基于對象(例如，2D圖像中所關(guān)注區(qū)域內(nèi)的對象)大于3D模型中的限界框的確定而調(diào)整或更新參數(shù)?？蓪崟r或準(zhǔn)實時更新經(jīng)由顯示器所顯示的限界框，以反映限界框的經(jīng)調(diào)整或更新參數(shù)。

方法700還可包含在708處，在俘獲與場景相關(guān)聯(lián)的一系列圖像期間基于限界框而產(chǎn)生對象的三維模型。此外，可改進(jìn)3D模型以基于對三維模型中的異常的檢測而校正異常。

圖8是在圖像俘獲裝置移動過快時輸出通知的方法800的特定說明性實施例的流程圖。方法800可由電子裝置執(zhí)行，例如包含圖1的系統(tǒng)100的模塊或單元的裝置、圖2的裝置200、圖3的裝置300、圖4的裝置400或圖5的圖像俘獲裝置502。

方法800包含在802處，在電子裝置處基于在與電子裝置相關(guān)聯(lián)的圖像俘獲裝置處所俘獲的一系列圖像而估計一系列相機(jī)姿勢。所述系列圖像幀可包含或?qū)?yīng)于圖1的所俘獲圖像102的集合。所述系列相機(jī)姿勢用以產(chǎn)生對象的三維模型。舉例來說，電子裝置可包含包括相機(jī)(例如，2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))或經(jīng)配置以俘獲圖像的任何其它裝置)的便攜式通信裝置，例如智能電話。在此實例中，便攜式通信裝置的相機(jī)可用以俘獲所述系列圖像，且便攜式計算裝置的處理器可使用所述系列圖像產(chǎn)生3D模型。

方法800還可包含在804處基于所述系列相機(jī)姿勢而計算與圖像俘獲裝置相對于對象的移動相關(guān)聯(lián)的速度，和在806處基于速度與速度閾值的比較而經(jīng)由電子裝置的輸出接口選擇性地輸出通知?？赏ㄟ^圖1的對象跟蹤單元112執(zhí)行計算速度?？赏ㄟ^圖1的裝置速度檢驗單元114執(zhí)行速度與速度閾值的比較。舉例來說，當(dāng)電子裝置包含便攜式通信裝置時，可經(jīng)由便攜式通信裝置的聽覺、視覺和/或觸覺輸出呈現(xiàn)通知。為了說明，便攜式通信裝置可嘟嘟響、振動和/或產(chǎn)生包含通知的顯示。舉例來說，通知可包含圖4的通知402或圖5的通知512。

在一特定實施例中，基于所述系列相機(jī)姿勢的時間戳而計算速度，且在速度滿足速度閾值時輸出通知。舉例來說，當(dāng)速度大于或等于速度閾值時，速度可滿足速度閾值。

方法800還可包含在808處基于確定速度滿足速度閾值而暫停俘獲所述系列圖像。舉例來說，當(dāng)電子裝置包含便攜式通信裝置時，可停用便攜式通信裝置的相機(jī)，直到用戶應(yīng)答通知為止。

圖6的方法600、圖7的方法700、圖8的方法800或其組合可由以下各者實施：現(xiàn)場可編程門陣列(FPGA)裝置、專用集成電路(ASIC)、處理單元(例如，圖形處理單元(GPU)、中央處理單元(CPU)、數(shù)字信號處理器(DSP))、控制器、另一硬件裝置、固件裝置或其任何組合。作為一實例，圖6的方法600、圖7的方法700或圖8的方法800中的一或多者可由執(zhí)行指令的處理器執(zhí)行，如關(guān)于圖9所描述。

參考圖9，描繪電子裝置(例如無線通信裝置)的特定說明性實施例的框圖，且大體上將電子裝置指定為900。裝置900可包含或?qū)?yīng)于圖1的系統(tǒng)100、圖2的裝置200、圖3的裝置300、圖4的裝置400或圖5的圖像俘獲裝置502。裝置900包含耦合到存儲器932的處理器910，例如數(shù)字信號處理器(DSP)。處理器910可包含硬件或可執(zhí)行指令，其致使處理器執(zhí)行圖6的方法600、圖7的方法700、圖8的方法800或其一組合的一或多個步驟。

舉例來說，處理器910可包含異常檢測、通知和校正單元950。異常檢測、通知和校正單元950可包含電路、可執(zhí)行指令或這兩者。異常檢測、通知和校正單元950可包含圖1的異常檢測單元116或3D模型優(yōu)化器單元118。異常檢測、通知和校正單元950可經(jīng)配置以：基于由電子裝置與相關(guān)聯(lián)的圖像俘獲裝置(例如，相機(jī)962、2D相機(jī)、3D相機(jī)、RGB-D相機(jī)、或經(jīng)配置以俘獲圖像的任何裝置)俘獲一系列圖像而產(chǎn)生對象的三維模型956；經(jīng)由與電子裝置相關(guān)聯(lián)的顯示裝置(例如，顯示器928)顯示三維模型；檢測三維模型956包含異常；經(jīng)由顯示裝置顯示識別三維模型中的異常的位置的指示符；經(jīng)由顯示裝置呈現(xiàn)實現(xiàn)對異常的校正的一或多個可選選項；接收對一或多個可選選項中的特定可選選項的選擇；通過執(zhí)行對應(yīng)于特定可選選項(例如，更新三維模型956)的動作來校正異常；或其一組合。

在另一個實例中，處理器910可包含限界框確定單元952。限界框確定單元952可包含電路、可執(zhí)行指令或這兩者。限界框確定單元952可包含或?qū)?yīng)于圖1的限界框確定單元108。限界框確定單元952可經(jīng)配置以：接收對表示場景的二維圖像中所描繪的對象的選擇；確定與對象相關(guān)聯(lián)的限界框以在俘獲與場景相關(guān)聯(lián)的一系列圖像期間基于限界框而產(chǎn)生對象的三維模型956；調(diào)整限界框的參數(shù)的值以基于檢測到三維模型956中的異常而改進(jìn)三維模型956；校正異常；或其一組合。

在另一個實例中，處理器910可包含速度確定單元954。速度確定單元954可包含電路、可執(zhí)行指令或這兩者。速度確定單元954可包含或?qū)?yīng)于圖1的對象跟蹤單元112。速度確定單元954可經(jīng)配置以：基于在圖像俘獲裝置(例如，相機(jī)962)處所俘獲的一系列圖像而估計一系列相機(jī)姿勢959，其中所述系列相機(jī)姿勢959用以產(chǎn)生對象的三維模型956；基于所述系列相機(jī)姿勢959而計算與圖像俘獲裝置相對于對象的移動相關(guān)聯(lián)的速度；基于速度與速度閾值957的比較而經(jīng)由電子裝置的輸出接口(例如，顯示器928或揚(yáng)聲器936)選擇性地輸出通知；基于確定速度滿足速度閾值957而暫停俘獲所述系列圖像，或其一組合。

存儲器932可為存儲計算機(jī)可執(zhí)行指令以執(zhí)行參考圖1到8所描述的一或多個操作的全部或一部分的非暫時性或非暫時性計算機(jī)可讀取媒體。另外或在替代方案中，存儲器932可存儲由處理器910產(chǎn)生或使用的數(shù)據(jù)，例如三維模型956、速度閾值957、相機(jī)姿勢估計959、對應(yīng)于所述系列圖像的圖像數(shù)據(jù)、其它數(shù)據(jù)、或其一組合。

圖9還繪示顯示控制器926，顯示控制器926耦合到數(shù)字信號處理器910和顯示器928，例如圖1的顯示器104、圖2的顯示器210、圖3的顯示器310或圖4的顯示器410。編解碼器(CODEC)934也可耦合到數(shù)字信號處理器910。揚(yáng)聲器936和麥克風(fēng)938可耦合到CODEC 934。

圖9還指示無線接口940可耦合到數(shù)字信號處理器910和天線942。相機(jī)962可經(jīng)由相機(jī)控制器960耦合到處理器910。相機(jī)962可包含2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))、或經(jīng)配置以俘獲圖像的任何其它裝置。在一特定實施例中，處理器910、顯示控制器926、相機(jī)控制器960、存儲器932、CODEC 934和無線接口940包含在封裝中系統(tǒng)或芯片上系統(tǒng)裝置922中。在一特定實施例中，輸入裝置930和電力供應(yīng)器944耦合到芯片上系統(tǒng)裝置922。此外，在一特定實施例中，如圖9中所說明，顯示器928、輸入裝置930、揚(yáng)聲器936、麥克風(fēng)938、天線942、相機(jī)962和電力供應(yīng)器944在芯片上系統(tǒng)裝置922外部。然而，顯示器928、輸入裝置930、揚(yáng)聲器936、麥克風(fēng)938、天線942、相機(jī)962和電力供應(yīng)器944中的每一者可耦合到芯片上系統(tǒng)裝置922的組件，例如接口或控制器。

結(jié)合所描述實施例，一種設(shè)備可包含用于俘獲一系列圖像的裝置。用于俘獲所述系列圖像的裝置可對應(yīng)于圖像俘獲裝置，例如2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))、經(jīng)配置以俘獲圖像的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備還可包含用于基于所述系列圖像而產(chǎn)生對象的三維模型的裝置。用于產(chǎn)生三維模型的裝置可包含圖1的3D模型產(chǎn)生單元115或圖9的處理器910、經(jīng)配置以產(chǎn)生三維模型數(shù)據(jù)的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。

設(shè)備進(jìn)一步包含用于產(chǎn)生描繪三維模型的圖形用戶接口的裝置。用于產(chǎn)生圖形用戶接口的裝置可包含圖1的顯示器104、圖2的顯示器210、圖3的顯示器310、圖4的顯示器410、圖9的顯示器928、圖9的顯示控制器926、經(jīng)配置以產(chǎn)生圖形用戶接口的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備還可包含用于檢測三維模型包含異常的裝置。用于檢測的裝置可包含圖1的異常檢測單元116、3D模型優(yōu)化器118、圖9的異常檢測、通知和校正單元950、經(jīng)配置以檢測三維模型包含異常的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。

在一替代性實施例中，一種設(shè)備可包含用于俘獲與場景相關(guān)聯(lián)的一系列圖像的裝置。用于俘獲所述系列圖像的裝置可包含圖像俘獲裝置，例如2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))、經(jīng)配置以俘獲圖像的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備還可包含用于接收對圖像中所描繪的對象的二維選擇的裝置。用于接收二維選擇的裝置可包含圖1的顯示器104、圖2的顯示器210、圖3的顯示器310或圖4的顯示器410、圖9的顯示器928、經(jīng)配置以接收二維選擇的一或多個其它結(jié)構(gòu)、裝置或電路，或其任何組合。

設(shè)備可進(jìn)一步包含用于確定與對象相關(guān)聯(lián)的限界框的裝置。用于確定限界框的裝置可包含圖1的限界框確定單元108、圖9的限界框確定單元952、經(jīng)配置以確定限界框的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備可包含用于在俘獲所述系列圖像期間基于限界框而產(chǎn)生對象的三維模型的裝置。用于產(chǎn)生三維模型的裝置可包含圖1的3D模型產(chǎn)生單元115、圖9的處理器910、經(jīng)配置以產(chǎn)生三維模型的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。

在又一個實施例中，一種設(shè)備可包含用于俘獲一系列圖像的裝置。用于俘獲所述系列圖像的裝置可包含圖像俘獲裝置，例如2D相機(jī)、3D相機(jī)、3D傳感器、深度感測相機(jī)(例如，RGB-D相機(jī))、經(jīng)配置以俘獲圖像的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備還可包含用于基于所述系列圖像而估計一系列相機(jī)姿勢的裝置，其中所述系列相機(jī)姿勢用以產(chǎn)生對象的三維模型。用于估計的裝置可包含圖9的處理器910、經(jīng)配置以估計所述系列相機(jī)姿勢的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。

設(shè)備可進(jìn)一步包含用于基于所述系列相機(jī)姿勢而計算與用于的俘獲裝置相對于對象的移動相關(guān)聯(lián)的速度的裝置。用于計算的裝置可包含圖1的裝置速度檢驗單元114、圖9的速度確定單元954、經(jīng)配置以計算速度的一或多個其它結(jié)構(gòu)、裝置或電路、或其任何組合。設(shè)備可進(jìn)一步包含用于基于速度與速度閾值的比較而輸出通知的裝置。用于輸出通知的裝置可包含圖1的顯示器104、圖2的顯示器210、圖3的顯示器310或圖4的顯示器410、圖9的顯示器928、經(jīng)配置以輸出通知的一或多個其它結(jié)構(gòu)、裝置或電路，或其任何組合。

所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文中所揭示的實施例所描述的各種說明性邏輯塊、配置、模塊、電路和算法步驟可實施為電子硬件、由處理器執(zhí)行的計算機(jī)軟件，或兩者的組合。上文已大體上就各種說明性組件、塊、配置、模塊、電路和步驟的功能性對它們加以描述。此功能性是實施為硬件還是處理器可執(zhí)行指令取決于特定應(yīng)用和強(qiáng)加于整個系統(tǒng)的設(shè)計約束。熟練的技術(shù)人員可針對每一特定應(yīng)用以變化的方式實施所描述的功能性，但此些實施決策不應(yīng)被解釋為會致使偏離本發(fā)明的范圍。

結(jié)合本文中所揭示的實施例而描述的方法或算法的步驟可直接體現(xiàn)于硬件中、由處理器執(zhí)行的軟件模塊中或兩者的組合中。軟件模塊可駐留在隨機(jī)存取存儲器(RAM)、快閃存儲器、只讀存儲器(ROM)、可編程只讀存儲器(PROM)、可擦除可編程只讀存儲器(EPROM)、電可擦除可編程只讀存儲器(EEPROM)、寄存器、硬盤、可裝卸式磁盤、壓縮光盤只讀存儲器(CD-ROM)或此項技術(shù)中已知的任何其它形式的非暫時性存儲媒體中。示范性存儲媒體耦合到處理器，使得處理器可從存儲媒體讀取信息并將信息寫入到存儲媒體。在替代方案中，存儲媒體可以與處理器成一體式。處理器和存儲媒體可駐留在專用集成電路(ASIC)中。ASIC可以駐留在計算裝置或用戶終端中。在替代方案中，處理器和存儲媒體可作為離散組件駐留在計算裝置或用戶終端中。

提供對所揭示實施例的先前描述以使所屬領(lǐng)域的技術(shù)人員能夠制作或使用所揭示實施例。對于所屬領(lǐng)域的技術(shù)人員，對這些實施例的各種修改將為顯而易見的，并且可在不脫離本發(fā)明的范圍的情況下將本文中所定義的原理應(yīng)用于其它實施例。因此，本發(fā)明并不既定限于本文中所示的實施例，而應(yīng)被賦予與如由所附權(quán)利要求書定義的原理和新穎特征一致的可能最寬范圍。