相關(guān)申請(qǐng)案的交叉參考

本申請(qǐng)案主張2015年1月29日申請(qǐng)的標(biāo)題為“針對(duì)計(jì)算機(jī)視覺(jué)的遮擋處置(occlusionhandlingforcomputervision)”的第14/609,371號(hào)美國(guó)專利申請(qǐng)案的優(yōu)先權(quán)，所述申請(qǐng)案以引用的方式并入本文中。

本文所揭示的標(biāo)的物大體上涉及計(jì)算機(jī)視覺(jué)中的被遮擋對(duì)象和環(huán)境檢測(cè)。

背景技術(shù)：

計(jì)算機(jī)視覺(jué)是包含用于獲取、分析、處理和理解圖像(例如，現(xiàn)實(shí)世界圖像捕捉)以提供事件或結(jié)果的方法和系統(tǒng)的領(lǐng)域。舉例來(lái)說(shuō)，一個(gè)計(jì)算機(jī)視覺(jué)技術(shù)是即時(shí)定位與地圖構(gòu)建(slam)，其可處理單個(gè)相機(jī)的輸入且隨著相機(jī)以六自由度(6dof)移動(dòng)而連續(xù)地建立環(huán)境的三維(3d)模型(例如，重新建構(gòu)的地圖)。slam系統(tǒng)可在繪制3d模型的同時(shí)跟蹤相機(jī)相對(duì)于3d模型的位姿。然而，當(dāng)新的(非映射)對(duì)象遮擋現(xiàn)有3d模型時(shí)，slam系統(tǒng)可產(chǎn)生錯(cuò)誤，因?yàn)閟lam系統(tǒng)嘗試跟蹤新的遮擋對(duì)象后面的預(yù)先存在/經(jīng)重構(gòu)的3d模型。當(dāng)slam系統(tǒng)嘗試跟蹤3d模型的特征時(shí)，可出現(xiàn)錯(cuò)誤，因?yàn)閟lam系統(tǒng)可能不再跟蹤被新對(duì)象遮擋的特征。在一些情況下，遮擋錯(cuò)誤致使slam系統(tǒng)無(wú)法跟蹤3d模型，且遮擋對(duì)象不是重構(gòu)的。

消除因新對(duì)象遮擋而出現(xiàn)的跟蹤錯(cuò)誤通常需要超出某些裝置(例如受限處理能力便攜式或移動(dòng)裝置)上實(shí)時(shí)可為可能的情況的對(duì)場(chǎng)景的廣泛處理。舉例來(lái)說(shuō)，檢測(cè)遮擋對(duì)象通常需要證實(shí)相機(jī)視野中的每個(gè)地圖點(diǎn)的可視性。此廣泛可視性證實(shí)涉及搜索每個(gè)經(jīng)重構(gòu)地圖點(diǎn)與當(dāng)前相機(jī)圖像中的每個(gè)點(diǎn)的對(duì)應(yīng)性。因此，針對(duì)計(jì)算機(jī)視覺(jué)的新的且改進(jìn)的遮擋處置是合意的。

技術(shù)實(shí)現(xiàn)要素：

本文中所揭示的實(shí)施例可涉及一種為計(jì)算機(jī)視覺(jué)執(zhí)行遮擋處置的方法。所述方法可包含將可從3d地圖觀察的地圖點(diǎn)投影到關(guān)鍵幀的點(diǎn)，其中所述關(guān)鍵幀包括具有相關(guān)聯(lián)相機(jī)視點(diǎn)的圖像。所述方法還可包含：從所述關(guān)鍵幀的所述點(diǎn)中的每一者，創(chuàng)建包括多個(gè)深度圖點(diǎn)的深度圖，其中每一深度圖點(diǎn)包括表示從所述關(guān)鍵幀的相關(guān)聯(lián)相機(jī)視點(diǎn)到來(lái)自所述3d地圖的相應(yīng)地圖點(diǎn)的距離的值，且如果深度圖點(diǎn)表示多個(gè)相應(yīng)地圖點(diǎn)距離，那么所述值包括所述多個(gè)相應(yīng)地圖點(diǎn)距離中的最小者。所述方法還可包含：識(shí)別所述關(guān)鍵幀中的潛在可見(jiàn)點(diǎn)，所述潛在可見(jiàn)點(diǎn)包括所述關(guān)鍵幀的具有在所述深度圖內(nèi)的代表性距離的點(diǎn)；以及選擇多個(gè)潛在可見(jiàn)點(diǎn)來(lái)測(cè)試所述圖像中的可視性。所述方法還可包含測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性，其中所述測(cè)試包括：確定所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者是否包括來(lái)自關(guān)鍵幀的周圍圖像補(bǔ)丁，其對(duì)應(yīng)于來(lái)自3d地圖的圖像補(bǔ)?。灰约案鶕?jù)來(lái)自可視性測(cè)試的結(jié)果來(lái)映射環(huán)境。

本文中所揭示的實(shí)施例可進(jìn)一步涉及一種為計(jì)算機(jī)視覺(jué)執(zhí)行遮擋處置的裝置。所述裝置可包含將可從3d地圖觀察的地圖點(diǎn)投影到關(guān)鍵幀的點(diǎn)的指令，其中所述關(guān)鍵幀包括具有相關(guān)聯(lián)相機(jī)視點(diǎn)的圖像。所述裝置可包含用以進(jìn)行以下操作的指令：從所述關(guān)鍵幀的所述點(diǎn)中的每一者，創(chuàng)建包括多個(gè)深度圖點(diǎn)的深度圖，其中每一深度圖點(diǎn)包括表示從所述關(guān)鍵幀的相關(guān)聯(lián)相機(jī)視點(diǎn)到來(lái)自所述3d地圖的相應(yīng)地圖點(diǎn)的距離的值，且如果深度圖點(diǎn)表示多個(gè)相應(yīng)地圖點(diǎn)距離，那么所述值包括所述多個(gè)相應(yīng)地圖點(diǎn)距離中的最小者。所述裝置可包含指令，其用以：識(shí)別所述關(guān)鍵幀中的潛在可見(jiàn)點(diǎn)的，所述潛在可見(jiàn)點(diǎn)包括關(guān)鍵幀點(diǎn)中具有深度圖內(nèi)的代表性距離的點(diǎn)；且選擇多個(gè)潛在可見(jiàn)點(diǎn)來(lái)測(cè)試所述圖像中的可視性。所述裝置可包含指令，其用以：測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性，其中所述測(cè)試包括確定所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者是否包括來(lái)自關(guān)鍵幀的周圍圖像補(bǔ)丁，其對(duì)應(yīng)于來(lái)自3d地圖的圖像補(bǔ)丁；以及根據(jù)來(lái)自可視性測(cè)試的結(jié)果映射環(huán)境。

本文中所揭示的實(shí)施例還可涉及一種為計(jì)算機(jī)視覺(jué)執(zhí)行遮擋處置的設(shè)備。所述設(shè)備可包含用于將可從3d地圖觀察的地圖點(diǎn)投影到關(guān)鍵幀的點(diǎn)的裝置，其中所述關(guān)鍵幀包括具有相關(guān)聯(lián)相機(jī)視點(diǎn)的圖像。所述設(shè)備可包含：用于從所述關(guān)鍵幀的所述點(diǎn)中的每一者創(chuàng)建包括多個(gè)深度圖點(diǎn)的深度圖的裝置，其中每一深度圖點(diǎn)包括表示從所述關(guān)鍵幀的相關(guān)聯(lián)相機(jī)視點(diǎn)到來(lái)自所述3d地圖的相應(yīng)地圖點(diǎn)的距離的值，且如果深度圖點(diǎn)表示多個(gè)相應(yīng)地圖點(diǎn)距離，那么所述值包括所述多個(gè)相應(yīng)地圖點(diǎn)距離中的最小者。所述設(shè)備可包含：用于識(shí)別所述關(guān)鍵幀中的潛在可見(jiàn)點(diǎn)的裝置，所述潛在可見(jiàn)點(diǎn)包括所述關(guān)鍵幀的具有深度圖內(nèi)的代表性距離的點(diǎn)；以及用于選擇多個(gè)所述潛在可見(jiàn)點(diǎn)來(lái)測(cè)試所述圖像中的可視性的裝置。所述設(shè)備可包含：用于測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性的裝置，其中所述測(cè)試包括：確定所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者是否包括來(lái)自關(guān)鍵幀的周圍圖像補(bǔ)丁，其對(duì)應(yīng)于來(lái)自3d地圖的圖像補(bǔ)?。灰约坝糜诟鶕?jù)來(lái)自可視性測(cè)試的結(jié)果來(lái)映射環(huán)境的裝置。

本文所揭示的實(shí)施例可進(jìn)一步涉及一種包括非暫時(shí)性存儲(chǔ)媒體的制品，所述非暫時(shí)性存儲(chǔ)媒體具有可執(zhí)行以實(shí)施為計(jì)算機(jī)視覺(jué)執(zhí)行遮擋處置的指令。所述媒體可包含將可從3d地圖觀察的地圖點(diǎn)投影到關(guān)鍵幀的點(diǎn)的指令，其中所述關(guān)鍵幀包括具有相關(guān)聯(lián)相機(jī)視點(diǎn)的圖像。所述媒體可包含用以進(jìn)行以下操作的指令：從所述關(guān)鍵幀的所述點(diǎn)中的每一者，創(chuàng)建包括多個(gè)深度圖點(diǎn)的深度圖，其中每一深度圖點(diǎn)包括表示從所述關(guān)鍵幀的相關(guān)聯(lián)相機(jī)視點(diǎn)到來(lái)自所述3d地圖的相應(yīng)地圖點(diǎn)的距離的值，且如果深度圖點(diǎn)表示多個(gè)相應(yīng)地圖點(diǎn)距離，那么所述值包括所述多個(gè)相應(yīng)地圖點(diǎn)距離中的最小者。所述媒體可包含指令，其用以：識(shí)別關(guān)鍵幀中的潛在可見(jiàn)點(diǎn)，所述潛在可見(jiàn)點(diǎn)包括關(guān)鍵幀的具有深度圖內(nèi)的代表性距離的點(diǎn)；以及選擇多個(gè)潛在可見(jiàn)點(diǎn)來(lái)測(cè)試所述圖像中的可視性。所述媒體可包含指令，其用以：測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性，其中所述測(cè)試包括確定所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者是否包括來(lái)自關(guān)鍵幀的周圍圖像補(bǔ)丁，其對(duì)應(yīng)于來(lái)自3d地圖的圖像補(bǔ)??；以及根據(jù)來(lái)自可視性測(cè)試的結(jié)果映射環(huán)境。

其它特征和優(yōu)勢(shì)將從附圖和具體實(shí)施方式中顯而易知。

附圖說(shuō)明

圖1是在一個(gè)實(shí)施例中，其中可實(shí)踐針對(duì)計(jì)算機(jī)視覺(jué)的遮擋處置(ohcv)的方面的系統(tǒng)的框圖；

圖2a說(shuō)明在一個(gè)實(shí)施例中，具有第一視點(diǎn)和三維(3d)地圖的第一關(guān)鍵幀；

圖2b說(shuō)明在一個(gè)實(shí)施例中，具有第二視點(diǎn)的第二關(guān)鍵幀；

圖2c說(shuō)明在一個(gè)實(shí)施例中，相機(jī)視圖中的地圖點(diǎn)的表示；

圖2d說(shuō)明在一個(gè)實(shí)施例中，圖2c的具有其與相機(jī)圖像平面的相對(duì)深度的地圖點(diǎn)；

圖2e說(shuō)明在一個(gè)實(shí)施例中，與圖2b的環(huán)境相關(guān)聯(lián)的3d地圖；

圖2f說(shuō)明在一個(gè)實(shí)施例中，不考慮遮擋的情況下的新圖像點(diǎn)提??；

圖2g說(shuō)明在一個(gè)實(shí)施例中，圖2b的場(chǎng)景的深度圖；

圖2h說(shuō)明在另一個(gè)實(shí)施例中，表示圖2b中說(shuō)明的環(huán)境中的點(diǎn)的深度值的掩模；

圖2i說(shuō)明在一個(gè)實(shí)施例中，從執(zhí)行深度圖比較確定的被遮擋點(diǎn)；

圖2j說(shuō)明在一個(gè)實(shí)施例中，圖2b的場(chǎng)景中的潛在可見(jiàn)點(diǎn)；

圖2k說(shuō)明在另一個(gè)實(shí)施例中，選擇圖2b中說(shuō)明的場(chǎng)景內(nèi)的點(diǎn)以供可視性測(cè)試處理；

圖2l說(shuō)明可視性測(cè)試所發(fā)現(xiàn)的被遮擋點(diǎn)；

圖2m說(shuō)明在一個(gè)實(shí)施例中，將從輸入關(guān)鍵幀提取的新圖像點(diǎn)；

圖3說(shuō)明在一個(gè)實(shí)施例中，用于執(zhí)行ohcv的方法的流程圖；

圖4說(shuō)明在一個(gè)實(shí)施例中，用于執(zhí)行ohcv深度過(guò)濾的方法的流程圖；以及

圖5說(shuō)明在一個(gè)實(shí)施例中，用于執(zhí)行ohcv可視性測(cè)試的方法的流程圖。

具體實(shí)施方式

詞語(yǔ)“示范性”或“實(shí)例”在本文中用于表示“充當(dāng)實(shí)例、例子或說(shuō)明”。本文中描述為“示范性”或描述為“實(shí)例”的任何方面或?qū)嵤├幢貞?yīng)被解釋為比其它方面或?qū)嵤├齼?yōu)選或有利。

在一個(gè)實(shí)施例中，針對(duì)計(jì)算機(jī)視覺(jué)的遮擋處置(本文中描述為“ohcv”)用深度地圖來(lái)過(guò)濾被遮擋的地圖點(diǎn)，且確定點(diǎn)子集的可視性。3d地圖中的3d點(diǎn)具有已知深度值(例如由于同時(shí)定位與映射(slam)或其它映射方法)。在一個(gè)實(shí)施例中，ohcv將3d點(diǎn)的深度與深度掩模/地圖中的等效點(diǎn)(例如占據(jù)相對(duì)于相機(jī)視點(diǎn)的相同位置的點(diǎn))的深度進(jìn)行比較。響應(yīng)于比較兩個(gè)或更多個(gè)等效點(diǎn)，將具有較大深度的點(diǎn)(例如較遠(yuǎn)離相機(jī)位置的點(diǎn))分類為被遮擋。通過(guò)優(yōu)化可視性測(cè)試來(lái)處理在深度掩模中不具有對(duì)應(yīng)深度的點(diǎn)。

在一些實(shí)施例中，ohcv相對(duì)于所述點(diǎn)的相應(yīng)深度值來(lái)設(shè)定每一點(diǎn)在深度圖內(nèi)的大小。舉例來(lái)說(shuō)，最接近相機(jī)視點(diǎn)的點(diǎn)在深度圖中以較大覆蓋區(qū)域(例如作為具有比較遠(yuǎn)離相機(jī)視點(diǎn)的點(diǎn)大的外周的圓)表示。

在一個(gè)實(shí)施例中，為在用深度圖進(jìn)行預(yù)先過(guò)濾之后剩余的未被遮擋點(diǎn)的子集檢驗(yàn)相對(duì)于相機(jī)視點(diǎn)的點(diǎn)可視性。檢驗(yàn)點(diǎn)可視性以捕獲在深度圖預(yù)先過(guò)濾之后剩余的3d地圖點(diǎn)，其可能被另一未知的(即，尚未重構(gòu)的)對(duì)象遮擋。

圖1是說(shuō)明其中可實(shí)踐本發(fā)明的實(shí)施例的系統(tǒng)的框圖。所述系統(tǒng)可為裝置(例如裝置100)，其可包含通用處理器161和存儲(chǔ)器164。裝置100還可包含耦合到一或多個(gè)總線177的若干裝置傳感器或進(jìn)一步耦合到實(shí)施為模塊或引擎的ohcv170的信號(hào)線。如圖1中所示，為了清楚起見(jiàn)，ohcv170與處理器161和/或硬件162分開(kāi)，但可組合和/或?qū)嵤┰谔幚砥?61和/或硬件162中。在一些實(shí)施例中，ohcv170的特征由軟件165和/或固件163中的指令實(shí)施。在一些實(shí)施例中，控制單元160經(jīng)配置以實(shí)施執(zhí)行ohcv的方法。舉例來(lái)說(shuō)，控制單元160可經(jīng)配置以實(shí)施如下關(guān)于圖3、圖4和圖5所述的裝置100的功能。

裝置100可為：移動(dòng)裝置、無(wú)線裝置、手機(jī)、擴(kuò)增現(xiàn)實(shí)裝置(ar)、個(gè)人數(shù)字助理、可穿戴式裝置(例如，眼鏡、手表、帽子或類似的身體附接裝置)、移動(dòng)計(jì)算機(jī)、平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、數(shù)據(jù)處理裝置/系統(tǒng)、或具有處理能力的任何類型的裝置。

在一個(gè)實(shí)施例中，裝置100是移動(dòng)/便攜式平臺(tái)。裝置100可包含用于捕獲圖像的裝置(例如，相機(jī)114)，并且可視情況包含傳感器111，例如加速計(jì)、陀螺儀、電子指南針或其它類似的運(yùn)動(dòng)感測(cè)元件。

裝置100可包括多個(gè)相機(jī)，例如雙前置相機(jī)和/或前置和后置相機(jī)，其也可并入有各種傳感器。相機(jī)可能夠捕獲靜止和視頻圖像兩者。相機(jī)可為能夠以30幀每秒(fps)捕獲圖像的紅綠藍(lán)加深度(rgbd)或立體攝像機(jī)。由相機(jī)捕獲的圖像可處于原始未經(jīng)壓縮格式，且可在被處理和/或存儲(chǔ)在存儲(chǔ)器164中之前經(jīng)壓縮。ohcv可用處理器161使用無(wú)損或有損壓縮技術(shù)來(lái)執(zhí)行圖像壓縮。

處理器161也可接收來(lái)自傳感器111的輸入。傳感器111可包括3軸加速計(jì)、3軸陀螺儀和/或磁力計(jì)。傳感器111可將速度、定向和/或其它位置相關(guān)信息提供給處理器161。傳感器111可輸出與相機(jī)114對(duì)每一圖像幀的捕獲相關(guān)聯(lián)的測(cè)得信息。傳感器111的輸出可部分地由處理器161用來(lái)確定相機(jī)114和/或裝置100的位姿。

相機(jī)114的位姿(本文中還描述為“相機(jī)視點(diǎn)”)是指相機(jī)114相對(duì)于參考框架的位置和定向(即，位姿)?？蔀?dof確定相機(jī)位姿，其是指三個(gè)平移分量(其可由參考框架的x、y、z坐標(biāo)給出)和三個(gè)角度組件(例如相對(duì)于同一參考框架的橫搖、縱搖和橫擺)。

處理器161可使用基于相機(jī)114所捕獲的圖像的視覺(jué)跟蹤解決方案來(lái)確定和/或跟蹤相機(jī)114和/或裝置100的位姿。舉例來(lái)說(shuō)，在處理器161上運(yùn)行的映射模塊可實(shí)施和執(zhí)行基于計(jì)算機(jī)視覺(jué)的跟蹤、基于模型的跟蹤和/或同時(shí)定位與映射(slam)方法。slam指一類技術(shù)，其中創(chuàng)建環(huán)境的3d地圖(例如，由裝置100建模的環(huán)境的3d地圖)同時(shí)追蹤相機(jī)相對(duì)于所述地圖的位姿。slam模塊173所實(shí)施的方法可基于相機(jī)114所捕獲的色彩或灰度級(jí)圖像數(shù)據(jù)，且可用于產(chǎn)生相機(jī)的6dof位姿測(cè)量的估計(jì)。傳感器111的輸出可用于估計(jì)、校正和/或以其它方式調(diào)整所估計(jì)的位姿。相機(jī)114所捕獲的圖像可用于再校準(zhǔn)或執(zhí)行傳感器111的偏置調(diào)整。

裝置100可進(jìn)一步包含用戶接口150，所述用戶接口包含用于顯示擴(kuò)增現(xiàn)實(shí)圖像的裝置，例如，顯示器112。用戶接口150還可包含鍵盤、小鍵盤152或用戶可經(jīng)由其將信息輸入到裝置100中的其它輸入裝置。如果需要，通過(guò)觸摸屏/傳感器將虛擬小鍵盤集成到顯示器112中可免除鍵盤或小鍵盤152。例如，在裝置100是移動(dòng)平臺(tái)(例如，蜂窩式電話)的情況下，用戶接口150還可包含麥克風(fēng)154和揚(yáng)聲器156。裝置100可包含與本發(fā)明無(wú)關(guān)的其它元件，例如衛(wèi)星定位系統(tǒng)接收器、電力裝置(例如，電池)，以及通常與便攜式和非便攜式電子裝置相關(guān)聯(lián)的其它組件。

裝置100可充當(dāng)移動(dòng)或無(wú)線裝置，并且可通過(guò)無(wú)線網(wǎng)絡(luò)經(jīng)由基于或以其它方式支持任何合適的無(wú)線通信技術(shù)的一或多個(gè)無(wú)線通信鏈路來(lái)通信。舉例來(lái)說(shuō)，在一些方面中，裝置100可為客戶端或服務(wù)器并且可與無(wú)線網(wǎng)絡(luò)相關(guān)聯(lián)。在一些方面中，網(wǎng)絡(luò)可包括人體局域網(wǎng)絡(luò)或個(gè)人局域網(wǎng)絡(luò)(例如，超寬帶網(wǎng)絡(luò))。在一些方面，網(wǎng)絡(luò)可包括局域網(wǎng)或廣域網(wǎng)。無(wú)線裝置可支持或以其它方式使用多種無(wú)線通信技術(shù)、協(xié)議或標(biāo)準(zhǔn)中的一或多個(gè)，例如，3g、lte、高級(jí)lte、4g、cdma、tdma、ofdm、ofdma、wimax和wifi。類似地，無(wú)線裝置可支持或以其它方式使用多種對(duì)應(yīng)調(diào)制或多路復(fù)用方案中的一或多者。移動(dòng)無(wú)線裝置可以無(wú)線方式與其它移動(dòng)裝置、蜂窩電話、其它有線和無(wú)線計(jì)算機(jī)、因特網(wǎng)網(wǎng)站等通信。

如上文所描述，裝置100可為便攜式電子裝置(例如，智能電話、專用擴(kuò)增現(xiàn)實(shí)(ar)裝置、游戲裝置或具有ar處理和顯示能力的其它裝置)。實(shí)施本文中所描述的ar系統(tǒng)的裝置可用于多種環(huán)境(例如，商場(chǎng)、街道、辦公室、家庭，或用戶可攜帶其便攜式裝置的任何地方)中。用戶可在廣泛多種情境中與其裝置100的多個(gè)特征介接。在ar情況中，用戶可使用其裝置通過(guò)其裝置的顯示器來(lái)檢視現(xiàn)實(shí)世界的表示。用戶可通過(guò)使用其裝置的相機(jī)與其帶有ar功能的裝置交互以接收現(xiàn)實(shí)世界圖像/視頻，且以將額外的或替代信息疊加到裝置上所顯示的現(xiàn)實(shí)世界圖像/視頻上的方式來(lái)處理圖像。當(dāng)用戶在其裝置上檢視ar實(shí)施方案時(shí)，可在裝置顯示器上實(shí)時(shí)替代或更改現(xiàn)實(shí)世界對(duì)象或場(chǎng)景。虛擬對(duì)象(例如，文本、圖像、視頻)可插入到裝置顯示器上所描繪的場(chǎng)景的表示中。

在一個(gè)實(shí)施例中，ohcv從例如slam的技術(shù)產(chǎn)生3d地圖。舉例來(lái)說(shuō)，slam(例如6自由度(6dof)跟蹤和映射)可將從關(guān)鍵幀觀察到的特征關(guān)聯(lián)到3d地圖，并使用特征點(diǎn)關(guān)聯(lián)來(lái)確定與相應(yīng)相機(jī)圖像有關(guān)的相機(jī)位姿。通過(guò)6dof映射，ohcv可用新的或額外的對(duì)象和環(huán)境重構(gòu)來(lái)更新/維持3d地圖。舉例來(lái)說(shuō)，響應(yīng)于檢測(cè)關(guān)鍵幀內(nèi)的被遮擋對(duì)象，ohcv可觸發(fā)對(duì)象的重構(gòu)和/或關(guān)鍵幀內(nèi)的新對(duì)象的映射。新發(fā)現(xiàn)的對(duì)象可并入到3d地圖中。所述3d地圖可含有從兩個(gè)或更多個(gè)關(guān)鍵幀三角測(cè)量的3d特征點(diǎn)。舉例來(lái)說(shuō)，關(guān)鍵幀可選自圖像或視頻流或饋送以表示觀察到的場(chǎng)景。對(duì)于關(guān)鍵幀，ohcv可計(jì)算與所述圖像相關(guān)聯(lián)的相應(yīng)6dof相機(jī)位姿。ohcv可通過(guò)將來(lái)自3d圖的特征投影到圖像或視頻幀中并依據(jù)所檢驗(yàn)的2d-3d對(duì)應(yīng)性更新相機(jī)位姿來(lái)確定相機(jī)位姿。

圖2a說(shuō)明在一個(gè)實(shí)施例中，具有第一視點(diǎn)和3d地圖的第一關(guān)鍵幀。舉例來(lái)說(shuō)，所說(shuō)明的關(guān)鍵幀可為具有在時(shí)間ti-1捕獲的第一視點(diǎn)(vi-1)的第一關(guān)鍵幀(ki-1)。圖2a進(jìn)一步說(shuō)明對(duì)象(例如對(duì)象205和對(duì)象215)，其表示在時(shí)間ti-1，slam系統(tǒng)(例如3d地圖)內(nèi)的完全或部分經(jīng)重構(gòu)對(duì)象。舉例來(lái)說(shuō)，對(duì)象205可先前在時(shí)間ti-1之前的時(shí)間t0由slam系統(tǒng)重構(gòu)。圖2a進(jìn)一步說(shuō)明潛在遮擋對(duì)象(例如對(duì)象215)，其表示時(shí)間ti-1時(shí)環(huán)境200內(nèi)的部分經(jīng)重構(gòu)對(duì)象。舉例來(lái)說(shuō)，在圖2a中說(shuō)明的時(shí)間ti-1，slam系統(tǒng)尚未完全重構(gòu)潛在遮擋對(duì)象，或歸因于在映射環(huán)境時(shí)提供所述對(duì)象的受限信息的視點(diǎn)的角度，所述對(duì)象可具有受限/局部重構(gòu)。在一些實(shí)施例中，所述視點(diǎn)可包含完全未重構(gòu)的對(duì)象(例如不存在受限或部分經(jīng)重構(gòu)的對(duì)象)。

圖2b說(shuō)明在一個(gè)實(shí)施例中，具有第二視點(diǎn)的第二關(guān)鍵幀。舉例來(lái)說(shuō)，圖2b可說(shuō)明具有在時(shí)間t1(例如t1可在與圖2a相關(guān)聯(lián)的時(shí)間ti-1之后)捕獲的視點(diǎn)vi的第二關(guān)鍵幀(ki)。ohcv可讀取關(guān)鍵幀ki，并提取關(guān)鍵幀ki中的新圖像點(diǎn)，同時(shí)避免與已經(jīng)經(jīng)重構(gòu)的地圖點(diǎn)重疊。圖2b說(shuō)明相機(jī)視點(diǎn)在t1已經(jīng)從時(shí)間ti-1時(shí)圖2a的較高視圖移位到較低。如圖2b中所說(shuō)明，對(duì)象215現(xiàn)在至少部分地遮擋3d地圖的經(jīng)重構(gòu)部分(例如對(duì)象205)。如在圖2a中在時(shí)間ti-1，slam系統(tǒng)在時(shí)間t1尚未完全重構(gòu)遮擋對(duì)象。

圖2c說(shuō)明在一個(gè)實(shí)施例中，相機(jī)視圖中的地圖點(diǎn)的表示。圖2c說(shuō)明可從相機(jī)視圖(例如從相機(jī)中心203沿檢視方向207)可觀察哪些點(diǎn)。點(diǎn)211-1到211-4投影到相機(jī)圖像平面204。相比之下，點(diǎn)209-1到209-2位于可見(jiàn)區(qū)域(例如左邊界202和右邊界206)之外。點(diǎn)210-1到210-2位于相機(jī)后面(例如相機(jī)圖像平面204后面)。

圖2d說(shuō)明在一個(gè)實(shí)施例中，圖2c的具有其與相機(jī)圖像平面的相對(duì)深度的地圖點(diǎn)。深度208在本文中說(shuō)明并描述為可觀察點(diǎn)在相機(jī)的檢視方向(例如方向207)上的距離?？筛鶕?jù)已知相機(jī)位置和定向來(lái)計(jì)算深度。

圖2e說(shuō)明在時(shí)間t1與圖2b的環(huán)境相關(guān)聯(lián)的3d地圖。圖2e說(shuō)明含有具有點(diǎn)(例如參考3d地圖點(diǎn)210)的經(jīng)重構(gòu)對(duì)象205的環(huán)境201，其可由slam系統(tǒng)用來(lái)跟蹤經(jīng)重構(gòu)對(duì)象205。圖2e說(shuō)明可在相機(jī)的視見(jiàn)體(即，視線)內(nèi)觀察到的關(guān)鍵幀點(diǎn)kpi的子集。在一個(gè)實(shí)施例中，經(jīng)重構(gòu)的對(duì)象215不在環(huán)境的3d地圖內(nèi)表示，因?yàn)樵跁r(shí)間t1，最初未發(fā)現(xiàn)對(duì)象215，且尚未在slam系統(tǒng)的3d地圖內(nèi)重構(gòu)。在一些實(shí)施例中，因?yàn)檎趽鯇?duì)象僅部分經(jīng)重構(gòu)，所以對(duì)象的一些區(qū)域?qū)τ趕lam系統(tǒng)來(lái)說(shuō)基本上是未知的(例如對(duì)象215的正面區(qū)段未由任何3d點(diǎn)表示)。圖2e也說(shuō)明一些3d點(diǎn)被遮擋。舉例來(lái)說(shuō)，與對(duì)象215的頂部相關(guān)聯(lián)的點(diǎn)216遮擋與對(duì)象205相關(guān)聯(lián)的點(diǎn)217。

圖2f說(shuō)明不考慮遮擋的新圖像點(diǎn)重構(gòu)。舉例來(lái)說(shuō)，如圖2f中所示，slam系統(tǒng)不知曉(例如，尚未確定)與不可見(jiàn)地圖點(diǎn)的重疊。如下文將示出，ohcv可從深度圖比較檢測(cè)遮擋，以便減少可視性測(cè)試在輸入關(guān)鍵幀內(nèi)執(zhí)行的次數(shù)。在一些實(shí)施例中，除執(zhí)行深度圖比較之外或代替執(zhí)行深度圖比較，ohcv利用如關(guān)于下文的圖3和圖5更詳細(xì)描述的可視性測(cè)試估計(jì)和傳播技術(shù)。

圖2g說(shuō)明在一個(gè)實(shí)施例中，圖2b的場(chǎng)景的深度圖。舉例來(lái)說(shuō)，深度圖di可表示kpi的所有點(diǎn)的距離。在一個(gè)實(shí)施例中，深度圖di含有表示從相機(jī)視點(diǎn)到場(chǎng)景或環(huán)境內(nèi)的物理區(qū)域的深度值的數(shù)據(jù)點(diǎn)。舉例來(lái)說(shuō)，點(diǎn)220、221、222和223可指示從相機(jī)視點(diǎn)到對(duì)象215上的相應(yīng)位置的深度值(例如英寸、厘米或其它距離測(cè)量)如圖2e中所說(shuō)明，點(diǎn)220具有最大強(qiáng)度(例如幾乎黑色)，且最遠(yuǎn)離相機(jī)視點(diǎn)。點(diǎn)221表示比點(diǎn)220更接近相機(jī)視點(diǎn)，然而不像點(diǎn)223那么近的點(diǎn)。點(diǎn)222表示指示相機(jī)視點(diǎn)的相對(duì)接近點(diǎn)的低強(qiáng)度深度值。如圖2e中所示，點(diǎn)222以及對(duì)象205的頂部區(qū)段處的其它點(diǎn)最接近于相機(jī)視點(diǎn)。

圖2h說(shuō)明在另一個(gè)實(shí)施例中，表示圖2b中說(shuō)明的環(huán)境中的點(diǎn)的深度值的掩模。舉例來(lái)說(shuō)，表示深度值的掩模中的點(diǎn)可相對(duì)于其相應(yīng)深度值畫(huà)得較大(例如點(diǎn)226)較小(例如點(diǎn)224)。較接近的點(diǎn)(例如對(duì)象215的點(diǎn)226和點(diǎn)227)可相對(duì)于較遠(yuǎn)離相機(jī)視點(diǎn)的(較小)點(diǎn)(例如點(diǎn)224和點(diǎn)225)畫(huà)得較大。

圖2i說(shuō)明在一個(gè)實(shí)施例中，從執(zhí)行深度圖比較確定的被遮擋點(diǎn)。舉例來(lái)說(shuō)，圖2g可表示在di中不具有對(duì)應(yīng)像素的被遮擋點(diǎn)oi(例如點(diǎn)230)。如圖2g中所說(shuō)明，點(diǎn)oi被其它地圖點(diǎn)遮擋(例如，o＝kp-pv)。舉例來(lái)說(shuō)，圖2g包含被點(diǎn)216遮擋的點(diǎn)217，如圖2e所說(shuō)明。

圖2j說(shuō)明在一個(gè)實(shí)施例中，圖2b的場(chǎng)景中的潛在可見(jiàn)點(diǎn)。舉例來(lái)說(shuō)，將圖2i中所說(shuō)明的潛在可見(jiàn)點(diǎn)確定為不被3d地圖內(nèi)的其它地圖點(diǎn)遮擋。響應(yīng)于去除、省略或丟棄圖2g中所說(shuō)明的被遮擋點(diǎn)，ohcv可對(duì)所得潛在可見(jiàn)點(diǎn)進(jìn)行可視性測(cè)試。圖2j進(jìn)一步說(shuō)明可用于測(cè)試可視性的地圖點(diǎn)235周圍的圖像補(bǔ)丁238。舉例來(lái)說(shuō)，3d地圖中的地圖點(diǎn)235周圍的圖像補(bǔ)丁238可變形或變換為與當(dāng)前關(guān)鍵幀的圖像的外觀匹配。ohcv可計(jì)算地圖點(diǎn)的預(yù)期位置周圍的搜索區(qū)239上方的歸一化交叉相關(guān)(ncc)。如果找到對(duì)應(yīng)性(例如位置具有高ncc)，那么所述地圖點(diǎn)(例如點(diǎn)235)被視為可見(jiàn)。距選定點(diǎn)235閾值半徑內(nèi)的點(diǎn)(例如點(diǎn)236和237)可能共享可視性特性，因?yàn)樗鼈児蚕睃c(diǎn)235周圍的圖像補(bǔ)丁238的像素。舉例來(lái)說(shuō)，將對(duì)象(框)215的左上邊緣說(shuō)明為包含于圖像補(bǔ)丁238中，且可在使來(lái)自關(guān)鍵幀的圖像補(bǔ)丁與來(lái)自3d地圖的相應(yīng)圖像補(bǔ)丁匹配時(shí)，成為有用的視覺(jué)識(shí)別符/標(biāo)記。在一些實(shí)施例中，當(dāng)對(duì)關(guān)鍵幀內(nèi)的點(diǎn)執(zhí)行可視性測(cè)試時(shí)，ohcv將所述關(guān)鍵幀細(xì)分為若干區(qū)段或網(wǎng)格，來(lái)安排對(duì)點(diǎn)對(duì)應(yīng)性群組的測(cè)試，如下文論述的圖2k中所說(shuō)明。

圖2k說(shuō)明在另一個(gè)實(shí)施例中，選擇圖2b中說(shuō)明的場(chǎng)景內(nèi)的點(diǎn)以供可視性測(cè)試處理。在一個(gè)實(shí)施例中，ohcv利用區(qū)段/網(wǎng)格以及可視性測(cè)試結(jié)果傳播來(lái)優(yōu)化確定關(guān)鍵幀中的點(diǎn)的可視性的過(guò)程。ohcv可將關(guān)鍵幀細(xì)分為獨(dú)立部分/區(qū)段。在一個(gè)實(shí)施例中，ohcv用相等大小框或矩形的網(wǎng)格(例如網(wǎng)格區(qū)段260)來(lái)細(xì)分關(guān)鍵幀，然而其它配置、形狀或大小也可為可能的。在一個(gè)實(shí)施例中，ohcv對(duì)區(qū)段/網(wǎng)格的配置設(shè)定取決于執(zhí)行ohcv的特定裝置的處理能力。舉例來(lái)說(shuō)，圖2k中說(shuō)明的網(wǎng)格區(qū)段260包含具有未知可視性的四個(gè)點(diǎn)266到269。

響應(yīng)于選擇特定區(qū)段/網(wǎng)格配置(例如根據(jù)區(qū)段大小和數(shù)目的可配置設(shè)定)，可確定關(guān)鍵幀與3d地圖之間的點(diǎn)對(duì)應(yīng)性。在一些實(shí)施例中，ohcv將每一網(wǎng)格區(qū)段的子區(qū)段內(nèi)的點(diǎn)與同一網(wǎng)格區(qū)段內(nèi)的一或多個(gè)其它點(diǎn)進(jìn)行比較。ohcv可將比較結(jié)果從一或多個(gè)點(diǎn)傳播到其它附近或鄰近點(diǎn)。舉例來(lái)說(shuō)，在圖2k中說(shuō)明的網(wǎng)格區(qū)段260內(nèi)，ohcv可經(jīng)配置以測(cè)試一或多個(gè)點(diǎn)對(duì)應(yīng)性。在一個(gè)實(shí)施例中，代替于測(cè)試每個(gè)點(diǎn)(其可為處理密集的過(guò)程)，當(dāng)被測(cè)點(diǎn)的數(shù)目滿足或超過(guò)閾值(即，被測(cè)點(diǎn)的閾值數(shù)目)時(shí)，ohcv跳過(guò)/略過(guò)點(diǎn)子集的可視性測(cè)試。ohcv可通過(guò)推斷每一點(diǎn)的值/狀態(tài)與附近或鄰近點(diǎn)相同或類似，來(lái)估計(jì)或推斷其余未測(cè)點(diǎn)的可視性值/狀態(tài)。ohcv測(cè)試一或多個(gè)點(diǎn)的子集，并將結(jié)果傳播到每一網(wǎng)格區(qū)段內(nèi)的其它鄰近或附近點(diǎn)。在圖2k中說(shuō)明的實(shí)例網(wǎng)格中，在網(wǎng)格區(qū)段260內(nèi)的四個(gè)點(diǎn)266到269中，可明確測(cè)試一個(gè)到三個(gè)點(diǎn)的可視性，且可將每一點(diǎn)的結(jié)果復(fù)制、擴(kuò)展或拷貝到所述附近或鄰近點(diǎn)中的一或多者。舉例來(lái)說(shuō)，響應(yīng)于確定根據(jù)可視性測(cè)試點(diǎn)266可見(jiàn)，ohcv可將可視性結(jié)果傳播到鄰近點(diǎn)267、268和269。因此，盡管僅明確測(cè)試點(diǎn)266的可視性，但在點(diǎn)266的結(jié)果的傳播之后，將為網(wǎng)格區(qū)段260中的所有四個(gè)點(diǎn)266到269指派與266相同或類似的可視性測(cè)試值/結(jié)果。

在一個(gè)實(shí)施例中，ohcv利用以下各項(xiàng)中的一或多者：測(cè)試區(qū)段的數(shù)目、測(cè)試區(qū)段的大小，或點(diǎn)的閾值數(shù)目，作為調(diào)諧參數(shù)來(lái)適應(yīng)執(zhí)行ohcv的系統(tǒng)或硬件的給定處理能力。舉例來(lái)說(shuō)，在相對(duì)較低處理能力裝置(例如低端移動(dòng)裝置)上，與較高性能裝置(例如旗艦或優(yōu)勢(shì)移動(dòng)裝置)相比，ohcv可傳播較多可視性值。在一些實(shí)施例中，ohcv也可參考指定要傳播的可視性值的閾值數(shù)目的可靠性配置設(shè)定，和/或網(wǎng)格布置設(shè)定。

圖2l說(shuō)明在一個(gè)實(shí)施例中，可視性測(cè)試所發(fā)現(xiàn)的遮擋點(diǎn)。舉例來(lái)說(shuō)，除從深度圖找到的遮擋點(diǎn)之外，可視性測(cè)試可發(fā)現(xiàn)關(guān)鍵幀內(nèi)的其余遮擋點(diǎn)。如圖2l中所說(shuō)明，被遮擋點(diǎn)是對(duì)象205前方的框的非經(jīng)重構(gòu)區(qū)段。

圖2m說(shuō)明在一個(gè)實(shí)施例中，將從輸入關(guān)鍵幀提取的新圖像點(diǎn)。ohcv可避免提取最終可見(jiàn)地圖點(diǎn)280，且從框的前側(cè)提取點(diǎn)275。相比于圖2h，ohcv已能夠正確地檢測(cè)可見(jiàn)地圖點(diǎn)，使得重構(gòu)可避免與不可見(jiàn)地圖點(diǎn)重疊(例如在被對(duì)象205覆蓋的區(qū)域)。

圖3說(shuō)明在一個(gè)實(shí)施例中，針對(duì)計(jì)算機(jī)視覺(jué)的遮擋處置的流程圖。在框305處，實(shí)施例(例如ohcv)將可從3d地圖觀察的地圖點(diǎn)投影到關(guān)鍵幀的點(diǎn)，其中所述關(guān)鍵幀包括具有相關(guān)聯(lián)相機(jī)視點(diǎn)的圖像。

從3d地圖中的3d點(diǎn)和相機(jī)的位置(例如關(guān)鍵幀視點(diǎn))，投影包含計(jì)算3d點(diǎn)在相機(jī)圖像中何處出現(xiàn)(例如相機(jī)/關(guān)鍵幀圖像中的3d點(diǎn)的2d位置)。投影過(guò)程可包含將3d點(diǎn)從3d世界坐標(biāo)變換為3d相機(jī)坐標(biāo)，接著投影到2d相機(jī)空間中，且接著變換到2d像素空間中。舉例來(lái)說(shuō)，公式可為mi＝k*p(t*mi)，其中mi是3d中的點(diǎn)，t是相機(jī)/關(guān)鍵幀位姿矩陣，p()是獲取3d點(diǎn)并通過(guò)z坐標(biāo)來(lái)劃分從而產(chǎn)生2d點(diǎn)的投影功能，k是相機(jī)/關(guān)鍵幀校準(zhǔn)矩陣，且mi是相機(jī)關(guān)鍵幀圖像中的mi的2d像素坐標(biāo)。

在一些實(shí)施例中，響應(yīng)于投影3d地圖點(diǎn)或作為投影3d地圖點(diǎn)的一部分，ohcv確定從相機(jī)視點(diǎn)到3d地圖可觀察哪些關(guān)鍵幀點(diǎn)(例如點(diǎn)211-1到211-4，如圖2c和2d中所說(shuō)明)。舉例來(lái)說(shuō)，所有3d地圖點(diǎn)均不可從當(dāng)前相機(jī)視點(diǎn)觀察，因?yàn)樗鼈儾辉趲瑑?nèi)(例如點(diǎn)209-1到209-2，如圖2c和2d中所說(shuō)明)。

關(guān)鍵幀可包含在圖像內(nèi)檢測(cè)到的3d點(diǎn)(例如具有三維空間中的坐標(biāo)的點(diǎn))。舉例來(lái)說(shuō)，可通過(guò)處理相機(jī)圖像以檢測(cè)所述圖像內(nèi)的一或多個(gè)特征點(diǎn)來(lái)確定關(guān)鍵幀。在一個(gè)實(shí)施例中，ohcv獲得包含與環(huán)境中的一或多個(gè)對(duì)象相關(guān)聯(lián)的3d地圖點(diǎn)的環(huán)境的三維(3d)地圖(還被稱作參考地圖)。舉例來(lái)說(shuō)，3d地圖可為來(lái)自slam或其它計(jì)算機(jī)視覺(jué)映射系統(tǒng)的經(jīng)重構(gòu)地圖。可(例如在裝置100的存儲(chǔ)器164中)本地存儲(chǔ)和檢索所述參考/經(jīng)重構(gòu)地圖。在一些實(shí)施例中，從服務(wù)器或外部/遠(yuǎn)程裝置接收/檢索3d地圖。

在框310處，實(shí)施例從關(guān)鍵幀點(diǎn)中的每一者創(chuàng)建包括多個(gè)深度圖點(diǎn)的深度圖，其中每一深度圖點(diǎn)包括表示從關(guān)鍵幀的相關(guān)聯(lián)相機(jī)視點(diǎn)到來(lái)自3d地圖的相應(yīng)地圖點(diǎn)的距離，且其中如果深度圖點(diǎn)表示多個(gè)相應(yīng)地圖點(diǎn)距離，那么所述值包括所述多個(gè)相應(yīng)地圖點(diǎn)距離中的最小者。舉例來(lái)說(shuō)，ohcv可創(chuàng)建深度圖像，其中將3d地圖點(diǎn)表示為具有表示從相機(jī)視點(diǎn)到環(huán)境內(nèi)的點(diǎn)的距離的圓的強(qiáng)度的小圓?？赏ㄟ^(guò)將3d地圖點(diǎn)的距離與來(lái)自深度圖的深度進(jìn)行比較來(lái)檢測(cè)被遮擋的地圖點(diǎn)。舉例來(lái)說(shuō)，可從投影到同一3d地圖點(diǎn)上的相機(jī)視點(diǎn)觀察的關(guān)鍵幀點(diǎn)以及最接近于所述相機(jī)視點(diǎn)的相應(yīng)3d地圖距離存儲(chǔ)在深度圖中。作為比較兩個(gè)點(diǎn)之間的距離的結(jié)果，將與距相機(jī)視點(diǎn)較遠(yuǎn)距離(例如最大距離)相關(guān)聯(lián)的關(guān)鍵幀點(diǎn)確定為被遮擋。下文關(guān)于圖4以額外細(xì)節(jié)描述深度圖過(guò)濾。

在一些實(shí)施例中，創(chuàng)建深度圖還包含將關(guān)鍵幀細(xì)分為若干區(qū)段，其中將具有深度值的閾值數(shù)目的點(diǎn)分配給所述區(qū)段中的每一者。此外，可確定相對(duì)于所述點(diǎn)的值的每一深度點(diǎn)的大小。舉例來(lái)說(shuō)，可將較接近的點(diǎn)(較小距離值)畫(huà)得比較遠(yuǎn)的點(diǎn)(較大距離值)大。

在框315處，實(shí)施例識(shí)別關(guān)鍵幀中的潛在可見(jiàn)點(diǎn)，所述潛在可見(jiàn)點(diǎn)包括關(guān)鍵幀的在深度圖內(nèi)具有代表性距離的點(diǎn)。舉例來(lái)說(shuō)，ohcv可使用深度比較的結(jié)果來(lái)識(shí)別被遮擋的地圖點(diǎn)。

在框320處，所述實(shí)施例選擇多個(gè)潛在可見(jiàn)點(diǎn)來(lái)測(cè)試圖像中的可視性。在一些實(shí)施例中，選擇所述多個(gè)潛在可見(jiàn)點(diǎn)包含：將關(guān)鍵幀細(xì)分為若干區(qū)段，其中每一區(qū)段包括閾值數(shù)目的地圖點(diǎn)來(lái)測(cè)試可視性。

在框325處，實(shí)施例測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性，其中所述測(cè)試包括確定所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者是否包括來(lái)自關(guān)鍵幀的周圍圖像補(bǔ)丁，其對(duì)應(yīng)于來(lái)自3d地圖的圖像補(bǔ)丁?？梢曅詸z驗(yàn)例如通過(guò)搜索當(dāng)前圖像或關(guān)鍵幀中的3d地圖點(diǎn)和周圍圖像補(bǔ)丁的對(duì)應(yīng)性來(lái)尋找可見(jiàn)(未被遮擋)3d地圖點(diǎn)。ohcv可對(duì)選定點(diǎn)和圖像補(bǔ)丁執(zhí)行可視性測(cè)試，并將可視性結(jié)果傳播(例如將可見(jiàn)或不可見(jiàn)的結(jié)果指派)到“附近”或“鄰近”地圖點(diǎn)和圖像補(bǔ)丁。舉例來(lái)說(shuō)，如果所述點(diǎn)在選定點(diǎn)的接近性閾值內(nèi)，那么可將點(diǎn)和圖像補(bǔ)丁定義為“附近”或“鄰近”另一點(diǎn)?？蓮狞c(diǎn)或從補(bǔ)丁確定接近性。舉例來(lái)說(shuō)，接近性可根據(jù)像素的閾值數(shù)目或兩個(gè)點(diǎn)之間的距離的其它測(cè)量，或可根據(jù)圖像補(bǔ)丁是否具有鄰近于另一相鄰圖像補(bǔ)丁內(nèi)的像素的閾值數(shù)目的像素來(lái)確定。在一個(gè)實(shí)施例中，通過(guò)基于深度點(diǎn)和接近性優(yōu)化預(yù)先過(guò)濾，可檢驗(yàn)3d點(diǎn)和周圍圖像補(bǔ)丁的總數(shù)的子集，且實(shí)現(xiàn)圖像的可視性結(jié)果，而不必檢驗(yàn)所述圖像中的整個(gè)集合的點(diǎn)和圖像補(bǔ)丁中的每一者。在一些實(shí)施例中，作為可視性測(cè)試的目標(biāo)的點(diǎn)和相關(guān)聯(lián)圖像補(bǔ)丁的數(shù)目受網(wǎng)格方案限制。舉例來(lái)說(shuō)，可將圖像幀(例如輸入關(guān)鍵幀)分成若干網(wǎng)格，且相對(duì)于屬于每一網(wǎng)格內(nèi)的點(diǎn)的數(shù)目來(lái)執(zhí)行閾值數(shù)目的可視性測(cè)試(例如含有5個(gè)點(diǎn)的網(wǎng)格可具有閾值數(shù)目3個(gè)測(cè)試或某一其它數(shù)目的點(diǎn)和閾值)。

在一些實(shí)施例中，使用網(wǎng)格來(lái)優(yōu)化要測(cè)試的點(diǎn)的數(shù)目。在一個(gè)實(shí)施例中，網(wǎng)格的區(qū)段的數(shù)目或要測(cè)試的3d地圖點(diǎn)的閾值數(shù)目可根據(jù)處理能力或可靠性設(shè)定來(lái)配置。舉例來(lái)說(shuō)，低處理能力裝置可具有為效率優(yōu)化的配置，使得所述裝置可足夠快地處理關(guān)鍵幀來(lái)為用戶提供充分的檢視體驗(yàn)。高處理能力裝置可具有為準(zhǔn)確性優(yōu)化的配置，使得所述裝置可檢驗(yàn)額外可視性點(diǎn)，同時(shí)還為用戶提供充分的檢視體驗(yàn)。下文相對(duì)于圖5更詳細(xì)地描述可視性測(cè)試。

在一些實(shí)施例中，測(cè)試所述選定多個(gè)潛在可見(jiàn)點(diǎn)的可視性進(jìn)一步包含：將所述多個(gè)潛在可見(jiàn)點(diǎn)中的每一者在所述圖像中是否具有對(duì)應(yīng)點(diǎn)的結(jié)果傳播到鄰近于相應(yīng)潛在可見(jiàn)點(diǎn)的閾值數(shù)目的點(diǎn)。

在框330處，實(shí)施例根據(jù)可視性測(cè)試的結(jié)果來(lái)映射環(huán)境。

在一些實(shí)施例中，根據(jù)ohcv主機(jī)裝置(例如裝置100)的處理能力或可靠性設(shè)定，ohcv可根據(jù)上述各項(xiàng)中的一或多者來(lái)配置：要測(cè)試可視性的區(qū)段的數(shù)目、要測(cè)試的潛在可見(jiàn)點(diǎn)的閾值數(shù)目、要傳播可視性結(jié)果的鄰近點(diǎn)的閾值數(shù)目、具有深度值的點(diǎn)的閾值數(shù)目，或其任何組合。舉例來(lái)說(shuō)，低處理能力裝置可配置有較大區(qū)段，從而與高處理能力裝置相比，導(dǎo)致較小數(shù)目的區(qū)段要測(cè)試。并且，無(wú)關(guān)于實(shí)際處理能力，ohcv可經(jīng)配置以通過(guò)調(diào)整本文所述的配置設(shè)置中的一些，來(lái)以有利于速度的增強(qiáng)或減少的可靠性來(lái)執(zhí)行。

圖4說(shuō)明在一個(gè)實(shí)施例中，ohcv深度過(guò)濾的流程圖。在框405處，實(shí)施例獲得要過(guò)濾的關(guān)鍵幀。所述關(guān)鍵幀可含有與所述圖像內(nèi)的元素或?qū)ο笙嚓P(guān)聯(lián)的點(diǎn)(例如特征點(diǎn))。在一個(gè)實(shí)施例中，響應(yīng)于接收到關(guān)鍵幀，初始化深度掩模產(chǎn)生。舉例來(lái)說(shuō)，所獲得的關(guān)鍵幀可為例如圖2b中說(shuō)明的相機(jī)視圖。

舉例來(lái)說(shuō)，可從來(lái)自相機(jī)傳感器的相機(jī)圖像或視頻幀處理關(guān)鍵幀。關(guān)鍵幀可包含關(guān)于所捕獲圖像的相機(jī)視點(diǎn)(例如位姿)的信息。ohcv可從輸入圖像提取特征來(lái)創(chuàng)建關(guān)鍵幀。如本文所使用的特征(例如，特征點(diǎn)或關(guān)注點(diǎn))作為圖像的所關(guān)注或顯著部分。從所捕捉圖像提取的特征可表示沿著三維空間(例如，軸線x、y以及z上的坐標(biāo))的不同的點(diǎn)，且每個(gè)特征點(diǎn)可具有相關(guān)聯(lián)的特征位置。關(guān)鍵幀中的特征與先前捕獲的關(guān)鍵幀的特征匹配或未能匹配(即，相同或?qū)?yīng))。特征檢測(cè)可為圖像處理操作以檢查每一像素來(lái)確定特征是否以具體像素存在。特征檢測(cè)可處理整個(gè)所捕獲圖像，或替代地，處理所捕捉圖像的某些部分或局部。

對(duì)于每一所捕獲的圖像或視頻幀，一旦已檢測(cè)到特征，就可提取特征周圍的局部圖像補(bǔ)丁。可使用例如尺度不變特征變換(sift)等熟知技術(shù)來(lái)提取特征，所述技術(shù)使特征局部化且產(chǎn)生其描述。如果需要，可使用其它技術(shù)，例如，快速魯棒特征(surf)、梯度位置定向直方圖(gloh)、歸一化互相關(guān)(ncc)或其它可比較技術(shù)。當(dāng)確定圖像的所提取的特征的數(shù)目超過(guò)閾值(例如100個(gè)點(diǎn)特征或其它數(shù)目的點(diǎn))時(shí)，可將所述圖像和特征保存為關(guān)鍵幀。

在一個(gè)實(shí)施例中，根據(jù)參考地圖(例如由計(jì)算機(jī)視覺(jué)映射系統(tǒng)創(chuàng)建和維持的3d地圖)的經(jīng)重構(gòu)(例如3d地圖)點(diǎn)以及來(lái)自所述特征點(diǎn)的3d坐標(biāo)，ohcv將這些點(diǎn)投影到當(dāng)前相機(jī)位姿(例如與當(dāng)前關(guān)鍵幀相關(guān)聯(lián)的相機(jī)視點(diǎn))。每一關(guān)鍵幀點(diǎn)具有所述圖像/關(guān)鍵幀上的2d坐標(biāo)的距離。

在框410處，所述實(shí)施例可視情況根據(jù)距離確定深度點(diǎn)大小。舉例來(lái)說(shuō)，圖2f說(shuō)明深度點(diǎn)大小設(shè)計(jì)，其中較大的點(diǎn)指示所述圖像的較接近相機(jī)視點(diǎn)的部分，且較小的點(diǎn)指示所述圖像的較遠(yuǎn)離相機(jī)視點(diǎn)的部分。

在框415處，所述實(shí)施例用網(wǎng)格來(lái)劃分關(guān)鍵幀。舉例來(lái)說(shuō)，ohcv可將所述關(guān)鍵幀分為相等大小的區(qū)段來(lái)進(jìn)行深度點(diǎn)計(jì)算。在一個(gè)實(shí)施例中，每一區(qū)段可具有可配置數(shù)目的深度點(diǎn)。

在框420處，所述實(shí)施例選擇網(wǎng)格區(qū)段來(lái)比較。ohcv可選擇一區(qū)段，且在選擇下一區(qū)段之前，處理所述區(qū)段內(nèi)的點(diǎn)，直到所有區(qū)段被處理為止。

在框425處，所述實(shí)施例將地圖點(diǎn)距離與深度掩模距離進(jìn)行比較。如上文所介紹，ohcv可確定深度掩模，例如圖2e或圖2f中說(shuō)明的掩模。ohcv可將3d地圖點(diǎn)的距離與深度掩模中的等效點(diǎn)進(jìn)行比較，且尋找比掩模像素遠(yuǎn)的點(diǎn)(例如在當(dāng)前相機(jī)位姿中被遮擋)。當(dāng)ohcv確定哪些點(diǎn)正遮擋時(shí)，可為深度圖中的所有點(diǎn)指派相同大小(例如具有5個(gè)像素或某一其它可配置值的半徑的圓)。在一些實(shí)施例中，所述圓可具有取決于其距離值的不同半徑。舉例來(lái)說(shuō)，點(diǎn)的較小的圓進(jìn)一步遠(yuǎn)離。如果兩個(gè)點(diǎn)極接近，但一個(gè)點(diǎn)的圓并不完全畫(huà)在另一點(diǎn)上方，那么將所述另一點(diǎn)被視為不被遮擋。如果兩個(gè)點(diǎn)正好投影到相同像素坐標(biāo)上(由于其圓也可具有相同大小)，那么此情況可發(fā)生。然而，如果存在許多點(diǎn)，那么情況可為例如，彼此接近的3個(gè)點(diǎn)覆蓋另一點(diǎn)(其進(jìn)一步遠(yuǎn)離)將還覆蓋的整個(gè)區(qū)域。因此，被覆蓋的點(diǎn)的空心圓完全被那其它3個(gè)點(diǎn)覆蓋，且所述點(diǎn)接著被視為被遮擋。

在框430處，所述實(shí)施例確定是否應(yīng)處理當(dāng)前區(qū)段內(nèi)的額外點(diǎn)。舉例來(lái)說(shuō)，每一區(qū)段可具有若干點(diǎn)來(lái)進(jìn)行比較，且ohcv可迭代通過(guò)每一點(diǎn)，直到已比較網(wǎng)格選擇為止。

在框435處，所述實(shí)施例確定所述網(wǎng)格內(nèi)的區(qū)段完成，且確定是否應(yīng)比較額外區(qū)段。如果額外比較排隊(duì)，那么所述實(shí)施例返回到框320，且選擇下一區(qū)段來(lái)比較。否則，所述實(shí)施例繼續(xù)到框340，且輸出經(jīng)過(guò)濾的結(jié)果。

圖5說(shuō)明在一個(gè)實(shí)施例中，ohcv可視性測(cè)試的流程圖。在框505處，所述實(shí)施例(例如ohcv)接收來(lái)自關(guān)于圖3描述的深度過(guò)濾的其余點(diǎn)。

在框510處，所述實(shí)施例用網(wǎng)格來(lái)劃分關(guān)鍵幀。在一個(gè)實(shí)施例中，ohcv能夠通過(guò)根據(jù)網(wǎng)格的區(qū)段安排區(qū)段來(lái)測(cè)試來(lái)調(diào)整計(jì)算時(shí)間。對(duì)于網(wǎng)格的每一區(qū)段，可配置設(shè)定可確定將在區(qū)段內(nèi)處理多少個(gè)點(diǎn)。舉例來(lái)說(shuō)，盡管區(qū)段內(nèi)可存在1000個(gè)點(diǎn)，但所述配置可設(shè)定最大100個(gè)點(diǎn)來(lái)處理。在一個(gè)實(shí)施例中，可允許的點(diǎn)可隨機(jī)分布。在其它實(shí)施例中，要處理的可允許點(diǎn)可充分分布跨越網(wǎng)格的區(qū)段。

在框515處，所述實(shí)施例選擇網(wǎng)格區(qū)段來(lái)進(jìn)行可視性測(cè)試。舉例來(lái)說(shuō)，所述實(shí)施例可迭代通過(guò)每一區(qū)段，直到已測(cè)試了所有區(qū)段為止。

在框520處，所述實(shí)施例測(cè)試點(diǎn)的可視性?？蓽y(cè)試區(qū)段內(nèi)的每一點(diǎn)，或可根據(jù)可視性測(cè)試的配置來(lái)測(cè)試每一點(diǎn)的子區(qū)段。

在框525處，所述實(shí)施例將可視性測(cè)試結(jié)果從塊420傳播到附近點(diǎn)。舉例來(lái)說(shuō)，響應(yīng)于檢測(cè)到可見(jiàn)點(diǎn)，假定接近可見(jiàn)點(diǎn)的其它點(diǎn)也是可見(jiàn)的。另外，假定被遮擋點(diǎn)附近的點(diǎn)被遮擋。因此，對(duì)要測(cè)試的所有潛在點(diǎn)的子集執(zhí)行可視性測(cè)試，從而加速總可視性測(cè)試時(shí)間并降低處理器要求。

在框530處，所述實(shí)施例確定網(wǎng)格區(qū)段內(nèi)是否仍有額外點(diǎn)要測(cè)試。如果較多的網(wǎng)格點(diǎn)在區(qū)段內(nèi)排隊(duì)來(lái)測(cè)試，那么實(shí)施例返回到框520。

在框535處，所述實(shí)施例結(jié)束處理所述網(wǎng)格的區(qū)段，且確定是否有額外區(qū)段排隊(duì)來(lái)測(cè)試。如果應(yīng)測(cè)試額外區(qū)段，那么所述實(shí)施例返回到框515。

在框540處，所述實(shí)施例輸出關(guān)鍵幀可視性結(jié)果。舉例來(lái)說(shuō)，所述輸出可為二進(jìn)制遮擋掩模圖像。

如上文所描述，裝置100可為便攜式電子裝置(例如，智能電話、專用擴(kuò)增現(xiàn)實(shí)(ar)裝置、游戲裝置、例如眼鏡的可穿戴式裝置，或具有ar處理和顯示能力的其它裝置)。實(shí)施本文所描述的ar系統(tǒng)的裝置可用于多種環(huán)境中，例如，商場(chǎng)、街道、房間，或用戶可攜帶便攜式裝置的任何地方。在ar情境中，用戶可使用裝置100來(lái)通過(guò)其裝置的顯示器觀察現(xiàn)實(shí)世界的表示。用戶可通過(guò)使用其裝置的相機(jī)來(lái)與其具備ar能力的裝置交互，以接收現(xiàn)實(shí)世界圖像/視頻并將額外或替代信息疊加或重疊到裝置上的所顯示的現(xiàn)實(shí)世界圖像/視頻上。當(dāng)用戶在其裝置上檢視ar實(shí)施方案時(shí)，可在裝置顯示器上實(shí)時(shí)替代或更改現(xiàn)實(shí)世界對(duì)象或場(chǎng)景。虛擬對(duì)象(例如，文本、圖像、視頻)可插入到裝置顯示器上所描繪的場(chǎng)景的表示中。

裝置100和相機(jī)114的移動(dòng)可致使顯示器實(shí)時(shí)更新3d地圖中的目標(biāo)(例如一或多個(gè)對(duì)象或場(chǎng)景)的擴(kuò)增。通過(guò)裝置遠(yuǎn)離初始參考圖像位置的移動(dòng)，裝置可從交替視圖中捕獲額外圖像。在提取特征并根據(jù)額外關(guān)鍵幀三角測(cè)量之后，可實(shí)現(xiàn)增大的擴(kuò)增準(zhǔn)確性(例如，對(duì)象周圍的邊界可更精確地?cái)M合、場(chǎng)景中的對(duì)象的表示將顯得更真實(shí)，且目標(biāo)放置可相對(duì)于相機(jī)114位姿更準(zhǔn)確)。

在一個(gè)實(shí)施例中，對(duì)象或圖形可插入或集成到由相機(jī)114捕捉的視頻流(或圖像)中且在顯示器112上顯示。ohcv可任選地促使用戶為了額外的信息而擴(kuò)增目標(biāo)。舉例來(lái)說(shuō)，用戶可能夠添加用戶內(nèi)容來(lái)擴(kuò)增目標(biāo)的表示。用戶內(nèi)容可為圖像、3d對(duì)象、視頻、文本，或可與目標(biāo)的表示整合或重疊或代替目標(biāo)的表示的其它內(nèi)容類型。

顯示器可通過(guò)從原始場(chǎng)景的順暢跟蹤實(shí)時(shí)更新。舉例來(lái)說(shuō)，指示牌上的文本可用替代文本替換，或可將3d對(duì)象戰(zhàn)略性地放入場(chǎng)景中且在裝置100上顯示。當(dāng)用戶改變相機(jī)114的位姿時(shí)，可調(diào)整或擴(kuò)增圖形或?qū)ο?，?lái)與相機(jī)114的相對(duì)移動(dòng)匹配。舉例來(lái)說(shuō)，如果虛擬對(duì)象插入到擴(kuò)增現(xiàn)實(shí)顯示器中，那么遠(yuǎn)離虛擬對(duì)象的相機(jī)移動(dòng)可減小虛擬對(duì)象相對(duì)于相機(jī)114所行進(jìn)距離的大小。舉例來(lái)說(shuō)，與從虛擬對(duì)象退后半步相比，從虛擬對(duì)象退后四步應(yīng)引起虛擬對(duì)象大小的更大減小，所有其它變量是相同的。運(yùn)動(dòng)圖形或動(dòng)畫(huà)可在由ohcv表示的場(chǎng)景內(nèi)制成動(dòng)畫(huà)。舉例來(lái)說(shuō)，動(dòng)畫(huà)對(duì)象可在擴(kuò)增實(shí)境顯示器中所描繪的場(chǎng)景內(nèi)“移動(dòng)”。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，可以除ar以外的方式(例如，機(jī)器人定位)來(lái)實(shí)施本文中所描述的實(shí)施例。

ohcv可實(shí)施為軟件、固件、硬件、模塊或引擎。在一個(gè)實(shí)施例中，先前ohcv描述可通過(guò)裝置100中的通用處理器161實(shí)施以實(shí)現(xiàn)先前所要的功能(例如，與圖3、圖4和圖5中說(shuō)明的功能)。在其它實(shí)施例中，所描述的子組件中的一或多者的特征可組合或分割成不同個(gè)別組件、模塊或引擎。

所屬領(lǐng)域的技術(shù)人員將理解，可使用多種不同技術(shù)和技藝中的任一者來(lái)表示信息和信號(hào)。舉例來(lái)說(shuō)，可通過(guò)電壓、電流、電磁波、磁場(chǎng)或磁粒子、光場(chǎng)或光粒子或其任何組合來(lái)表示在整個(gè)上文描述中可能參考的數(shù)據(jù)、指令、命令、信息、信號(hào)、位、符號(hào)和碼片。

所屬領(lǐng)域的技術(shù)人員將進(jìn)一步了解，結(jié)合本文所揭示的實(shí)施例描述的各種說(shuō)明性邏輯塊、模塊、引擎、電路和算法步驟可實(shí)施為電子硬件、計(jì)算機(jī)軟件或兩者的組合。為清楚地說(shuō)明硬件與軟件的此互換性，上文已大致關(guān)于其功能性而描述了各種說(shuō)明性組件、塊、模塊、引擎、電路和步驟。此功能性是實(shí)施為硬件還是軟件取決于特定應(yīng)用以及強(qiáng)加于整個(gè)系統(tǒng)的設(shè)計(jì)約束。熟練的技術(shù)人員可針對(duì)每一特定應(yīng)用以不同方式來(lái)實(shí)施所描述的功能性，但這樣的實(shí)施方案決策不應(yīng)被解釋為會(huì)引起脫離本發(fā)明的范圍。

結(jié)合本文中所公開(kāi)的實(shí)施例描述的各種說(shuō)明性邏輯塊、模塊、電路、元件和/或組件可用通用處理器(例如處理器161)、數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)或其它可編程邏輯組件、離散門或晶體管邏輯、離散硬件組件或其經(jīng)設(shè)計(jì)以執(zhí)行本文所描述的功能的任何組合來(lái)實(shí)施或執(zhí)行。通用處理器可為微處理器，但在替代方案中，處理器可為任何常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器還可實(shí)施為計(jì)算裝置的組合，例如，dsp與微處理器的組合、多個(gè)微處理器、一或多個(gè)微處理器結(jié)合dsp核心，或任何其它此類配置。

結(jié)合本文所揭示的實(shí)施例(例如如圖3到5中所示)描述的方法或算法的步驟可直接體現(xiàn)于硬件中、由處理器執(zhí)行的軟件模塊中，或兩者的組合中。軟件模塊或其它程序指令可駐存在隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、可擦除可編程只讀存儲(chǔ)器(eprom)、快閃存儲(chǔ)器、寄存器、硬盤、可裝卸式磁盤、cd-rom、dvd-rom、藍(lán)光，或此項(xiàng)技術(shù)中已知的任何其它形式的存儲(chǔ)媒體中。示范性存儲(chǔ)媒體耦合到處理器，使得處理器可從存儲(chǔ)媒體讀取信息和將信息寫入到存儲(chǔ)媒體。在替代方案中，存儲(chǔ)媒體可與處理器成一體式。處理器和存儲(chǔ)媒體可駐存于asic中。asic可駐存于用戶終端中。在替代方案中，處理器和存儲(chǔ)媒體可作為離散組件駐存于用戶終端中。

在一或多個(gè)示范性實(shí)施例中，所描述的功能或模塊可在含有硬件(例如硬件162)、軟件(例如軟件165)、固件(例如固件163)或其任何組合的數(shù)據(jù)處理裝置中實(shí)施。如果以軟件實(shí)施為計(jì)算機(jī)程序產(chǎn)品，那么功能或模塊可作為一或多個(gè)指令或代碼存儲(chǔ)在計(jì)算機(jī)上可讀媒體(例如非暫時(shí)性機(jī)器可讀存儲(chǔ)媒體)上或經(jīng)由其傳輸。計(jì)算機(jī)可讀媒體可包含計(jì)算機(jī)存儲(chǔ)媒體和通信媒體兩者，通信媒體包含有助于將計(jì)算機(jī)程序從一處傳送到另一處的任何媒體或制品。存儲(chǔ)媒體可為可通過(guò)計(jì)算機(jī)或數(shù)據(jù)處理裝置/系統(tǒng)存取的任何可用媒體。舉例來(lái)說(shuō)且非限制，此類非暫時(shí)性計(jì)算機(jī)可讀媒體可包括ram、rom、eeprom、eprom、cd-rom或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用于運(yùn)載或存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。并且，任何連接可恰當(dāng)?shù)乇环Q為可執(zhí)行計(jì)算機(jī)可讀媒體。舉例來(lái)說(shuō)，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(dsl)或如紅外線、無(wú)線電以及微波的無(wú)線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，那么同軸電纜、光纖電纜、雙絞線、dsl或如紅外線、無(wú)線電以及微波的無(wú)線技術(shù)包含于媒體的定義中。如本文中所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟性磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤利用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各項(xiàng)的組合也應(yīng)包含在非暫時(shí)計(jì)算機(jī)可讀媒體的范圍內(nèi)。

提供所揭示實(shí)施例的先前描述是為了使所屬領(lǐng)域的任何技術(shù)人員能夠制作或使用本發(fā)明。所屬領(lǐng)域的技術(shù)人員將容易地了解對(duì)這些實(shí)施例的各種修改，并且可在不脫離本發(fā)明的精神或范圍的情況下將本文所定義的一般原理應(yīng)用于其它實(shí)施例中。因此，本發(fā)明無(wú)意限于本文中所展示的實(shí)施例，而應(yīng)被賦予與本文中所揭示的原理和新穎特征一致的最廣泛范圍。