耗實(shí)質(zhì)上較多功率。另外，盡管來自立體視覺傳感器的深度可使用被動(dòng)式感測，但來自在3D 重建期間的連續(xù)立體融合操作的計(jì)算附加項(xiàng)可顯著地增加功率消耗。因此，移動(dòng)裝置中的 常規(guī)實(shí)時(shí)3D重建由于功率可用性約束而常常為不實(shí)際的。例如，頻閃燈或其它光源的重復(fù) 使用可快速地耗盡MS上的電池，由此限制3D重建的適用性。
[0049] 圖2A到2C展示依據(jù)所揭示實(shí)施例的用于功率有效3D重建的示范性方法的流程 圖。在一些實(shí)施例中，方法200可由MS100上的處理單元150結(jié)合一或多個(gè)其它功能單元 而執(zhí)行。在一些實(shí)施例中，方法200的部分可由CV模塊155執(zhí)行。
[0化0] 在一些實(shí)施例中，方法200可由如下兩個(gè)模塊組成：追蹤模塊210,和重建模塊 250?？蛇x擇依據(jù)所揭示實(shí)施例的任何實(shí)時(shí)追蹤系統(tǒng)（例如，單目SLAM(MonoSLAM)、并行追 蹤與地圖測繪（PTAM)等等）W供追蹤模塊210使用。在一些實(shí)施例中，追蹤模塊210和 重建模塊250可同時(shí)地執(zhí)行。追蹤模塊210可周期性地或連續(xù)地追蹤或更新攝像機(jī)姿勢和 /或其它相關(guān)非深度傳感器數(shù)據(jù)，且周期性地或在請求后即將經(jīng)更新攝像機(jī)姿勢、傳感器信 息和無深度信息的彩色圖像提供到重建模塊250。在一些實(shí)施例中，追蹤模塊210可使用單 一或單目攝像機(jī)W捕捉無深度信息的圖像，且獲得姿勢信息。
[0化1] 在一些實(shí)施例中可與追蹤模塊210同時(shí)地執(zhí)行的重建模塊250可從追蹤模塊210 接收周期性或連續(xù)更新。從追蹤模塊210接收的更新可提供無深度信息的彩色圖像，和例 如用于攝像機(jī)110的抓OF姿勢測量的準(zhǔn)確姿勢信息。在一些實(shí)施例中，重建模塊250可使 用經(jīng)更新攝像機(jī)姿勢和關(guān)聯(lián)圖像W確定是否擴(kuò)展現(xiàn)有3D模型，現(xiàn)有3D模型可采取彩色3D 網(wǎng)格或體積數(shù)據(jù)結(jié)構(gòu)的形式。
[0052] 如在表面重建的上下文中使用的術(shù)語"擴(kuò)展"（和其變體）指將從環(huán)境的部分模型 新獲取的數(shù)據(jù)添加到環(huán)境的現(xiàn)有3D模型。如在體積重建的上下文中使用的術(shù)語"更新"（和 其變體）指經(jīng)新獲取的深度數(shù)據(jù)與環(huán)境的現(xiàn)有3D模型的組合，其可由體積數(shù)據(jù)集表示。 [0化3] 在一些實(shí)施例中，重建模塊250可使用不取決于用于每一帖的深度+色彩圖像輸 入的輸入的任何重建技術(shù)。在一些實(shí)施例中，重建模塊250可經(jīng)配置W針對(duì)色彩+深度數(shù)據(jù) 的輸入來使用固定較低速率。在一些實(shí)施例中，用于色彩+深度數(shù)據(jù)的固定較低速率可為 基于系統(tǒng)參數(shù)而可配置的。例如，在一個(gè)實(shí)施例中，重建模塊250可經(jīng)配置W在四個(gè)僅色彩 (即，無深度數(shù)據(jù)）帖之后接收一個(gè)色彩+深度圖像輸入。在另一實(shí)施例中，重建模塊250 可經(jīng)配置成使得可在請求后即觸發(fā)或在需求時(shí)提供額外深度圖像（或深度數(shù)據(jù)）。一般來 說，取決于系統(tǒng)參數(shù)，可W某一指定速率或在需求時(shí)提供深度信息。因此，電力節(jié)省可部分 地由深度傳感器使用的較低頻率引起。例如，相對(duì)于隨每一帖而提供深度數(shù)據(jù)的W30個(gè)帖 /秒的帖速率而操作的系統(tǒng)，如果每五個(gè)帖一次將深度信息提供到重建模塊250,那么系統(tǒng) 200中的深度傳感器使用可減少達(dá)1/5。在一些實(shí)施例中，重建模塊250可經(jīng)配置W使用基 于表面重建的技術(shù)和/或基于體積重建的技術(shù)。
[0化4] 可具有先前所獲得的具有色彩和深度信息（例如，通過使用MS100上的深度傳感 器）的圖像的重建模塊250可具有基于具有深度信息的先前經(jīng)捕捉圖像的現(xiàn)有3D模型。具 有深度信息的經(jīng)捕捉圖像可被表示為點(diǎn)云（pointcloud)。例如，點(diǎn)云可為表示正被模型化 的物件/環(huán)境的外表面的數(shù)據(jù)點(diǎn)集合?？桑ɡ纾┦褂肵、Y和Z坐標(biāo)在某一坐標(biāo)系統(tǒng)中指 定數(shù)據(jù)點(diǎn)?？桑ɡ纾狞c(diǎn)云產(chǎn)生3D網(wǎng)格，3D網(wǎng)格可包括S角形、四邊形或其它多邊形。 [0化5] 在應(yīng)用表面重建技術(shù)的重建模塊250的實(shí)施例中，可基于3D點(diǎn)云而通過連接3D 點(diǎn)云上的某一點(diǎn)子集W基于各種準(zhǔn)則而形成=角形、四邊形或其它多邊形來獲得3D網(wǎng)格。 3D網(wǎng)格為W3D來界定多面物件的形狀的頂點(diǎn)、邊緣和面的集合。所述面可為=角形、四邊 形或其它簡單凸多邊形，其可用W呈現(xiàn)3D物件/環(huán)境。若干眾所周知技術(shù)和網(wǎng)格重建算法 可用W將3D點(diǎn)云（其可從深度圖導(dǎo)出）轉(zhuǎn)換成3D網(wǎng)格。在一個(gè)實(shí)施例中，可使用深度圖 中的深度測量的鄰域作為指示項(xiàng)W通過連接相鄰點(diǎn)與相似深度測量而形成=角形。
[0056] 在應(yīng)用體積重建技術(shù)的重建模塊250的實(shí)施例中，體積重建將來自攝像機(jī)帖的深 度數(shù)據(jù)融合成計(jì)算有效體積數(shù)據(jù)結(jié)構(gòu)。在一個(gè)實(shí)施例中，體積重建可使用表面的隱含表示， 其使用3D截?cái)鄮д?fù)號(hào)距離函數(shù)（TDS巧。3DTDSF可被表示為3D空間中的規(guī)則樣本集合。 在每一樣本處，樣本值給出到經(jīng)估計(jì)表面的帶正負(fù)號(hào)距離。正距離表示在物件外的樣本，且 負(fù)距離表示在物件內(nèi)的樣本。
[0化7] 在一些實(shí)施例中，重建模塊250可使用從追蹤模塊210獲得的經(jīng)更新攝像機(jī)姿勢 和關(guān)聯(lián)圖像W確定是否擴(kuò)展或更新現(xiàn)有3D模型（3D網(wǎng)格或體積數(shù)據(jù)結(jié)構(gòu)）。在一些實(shí)施例 中，可針對(duì)3D模型來使用表面和/或體積重建技術(shù)，且可W依據(jù)正用于模型化的特定技術(shù) 的方式來作出關(guān)于模型擴(kuò)展或更新的決策。
[005引例如，在表面重建途徑中，基于從追蹤模塊120接收的圖像和攝像機(jī)姿勢，重建模 塊250可確定所述圖像包含當(dāng)前未在環(huán)境的現(xiàn)有或當(dāng)前模型中表示的信息的程度。在表面 重建途徑中，如果將擴(kuò)展正被模型化的環(huán)境的3D模型（例如，因?yàn)閬碜宰粉櫮K120的圖 像包含足夠新信息），那么接著可通過結(jié)合圖像和關(guān)聯(lián)姿勢信息的捕捉而接通適當(dāng)深度傳 感器來獲得圖像和深度信息。否則，可停用深度傳感器。例如，可關(guān)斷深度傳感器或使其置 于待用模式。
[0化9] 在使用體積重建的一些實(shí)施例中，可W某一指定速率（例如，每五個(gè)帖一次）獲取 /測量深度數(shù)據(jù)。否則，可停用深度傳感器。例如，可關(guān)斷深度傳感器或使其置于待用模式。
[0060] 如果將更新模型，那么在體積重建期間，可使用基于經(jīng)獲取/經(jīng)測量深度數(shù)據(jù)的 深度圖W確定從空間中的給定點(diǎn)（例如，攝像機(jī)中屯、的位點(diǎn)，其可基于攝像機(jī)姿勢而確定） 到經(jīng)估計(jì)表面的距離。接著可將該些經(jīng)測量距離映射到體積數(shù)據(jù)集中的帶正負(fù)號(hào)距離。例 如，可通過W下操作而執(zhí)行映射；（i)將體積數(shù)據(jù)集中的每一樣本變換成深度圖的攝像機(jī) 坐標(biāo)系統(tǒng)且將所述樣本投影到深度圖中；（ii)獲得沿著射線到表面的距離的測量作為彼 經(jīng)投圖像素處的距離值（在深度圖中）通過從上文在（ii)中獲得的經(jīng)測量距離減 去射線上的樣本點(diǎn)的距離來獲得從樣本點(diǎn)到表面的經(jīng)測量相對(duì)距離；和（iv)通過使用遞 歸濾波器來組合由射線上的樣本點(diǎn)提供的距離估計(jì)（S)與相對(duì)距離而更新所述距離估計(jì) (S)。例如，一個(gè)實(shí)施方案可使用權(quán)數(shù)W與距離估計(jì)S，且通過使用加權(quán)更新而基于新測量m 來更新距離估計(jì)S，加權(quán)更新可由
和W=W+1給出。
[0061] 對(duì)于體積重建，在一些實(shí)施例中，可通過融合環(huán)境的已經(jīng)在現(xiàn)有模型中表示的點(diǎn) 或區(qū)域的額外測量來達(dá)成較高質(zhì)量。因此，在使用體積重建的實(shí)施例中，甚至在不存在新點(diǎn) 的情形中仍可更新模型或3D網(wǎng)格。在一些實(shí)施例中，可設(shè)定闊值或其它參數(shù)W限制同一表 面元素被更新的次數(shù)。
[0062] 如果正使用體積重建，那么也可從體積數(shù)據(jù)表示來執(zhí)行表面提取。例如，可使用包 括立體像素的計(jì)算有效體積數(shù)據(jù)集W表示體積圖像，其中立體像素可表示=維空間中的柵 格上的值?？墒褂美缈绮搅⒎襟w（Marching化be)的各種眾所周知技術(shù)W從體積數(shù)據(jù)集 提取表面（或等值面）。等值面為在3D數(shù)據(jù)分布中具有相等值的點(diǎn)的3D表面表示。在一 些實(shí)施例中，體積重建可使用固定/指定數(shù)據(jù)速率（例如，5個(gè)色彩+深度帖/秒），所述數(shù) 據(jù)速率可為動(dòng)態(tài)地可配置的。例如，來自深度攝像機(jī)的更新頻率可基于應(yīng)用請求（例如，所 請求模型的較低或較高準(zhǔn)確度）或基于上下文提示（例如，裝置上的低或高電池電量）而 變化（增加或減?。?。在一些實(shí)施例中，可獨(dú)立于融合而執(zhí)行表面提取步驟。
[0063] 因此，在W上表面途徑和體積途徑兩者中，3D重建模塊偶爾地獲取深度數(shù)據(jù)，由此 節(jié)約電力。在一些實(shí)施例中，電力節(jié)省可由停用傳感器、關(guān)斷傳感器或使傳感器置于待用狀 態(tài)而產(chǎn)生，在待用狀態(tài)中，傳感器不消耗功率或消耗極小功率。例如，如果深度傳感器準(zhǔn)許 快速或幾乎瞬時(shí)重新激活，那么在一個(gè)實(shí)施例中，可關(guān)斷到主動(dòng)傳感器的電力。在另一實(shí)施 例中，如果傳感器，那么可使傳感器置于待用模式，在待用模式中，傳感器消耗最小功率W 準(zhǔn)許快速和/或瞬時(shí)重新激活。例如，當(dāng)使深度傳感器置于待用模式時(shí)，可關(guān)斷結(jié)構(gòu)化光源 和/或頻閃燈。
[0064] 在其它實(shí)施例中，例如，當(dāng)使用立體攝像機(jī)時(shí)，電力節(jié)省可由立體融合操作頻率的 減小而產(chǎn)生。例如，在深度傳感器采取立體視覺傳感器的形式的實(shí)施例中，可關(guān)斷立體視覺 傳感器，且追蹤模塊210可繼續(xù)提供單目攝像機(jī)圖像和關(guān)聯(lián)姿勢信息。在一些實(shí)施例中，當(dāng) 關(guān)斷立體視覺傳感器時(shí)，可關(guān)斷與從被動(dòng)式立體視覺傳感器捕捉的立體圖像的處理相關(guān)聯(lián) 的計(jì)算。例如，在一個(gè)實(shí)施例中，盡管立體圖像可由被動(dòng)式立體視覺傳感器捕捉，但處理器 150可不處理立體圖像且可代替地從立體對(duì)選擇單一圖像W供處理。
[00化]圖2A展示執(zhí)行中3D重建過程200中的步驟。在一些實(shí)施例中，在例程225中，可 更新攝像機(jī)姿勢。例如，可使用在MS100上執(zhí)行的單目SLAM算法W更新攝像機(jī)110的姿 勢。通過使用單目SLAM，MS100可構(gòu)建其環(huán)境的表示，而同時(shí)地估計(jì)攝像機(jī)相對(duì)于環(huán)境的 姿勢或運(yùn)動(dòng)。
[0066] 在例程225中，可使用單一攝像機(jī)W獲得/更新姿勢信息，而可關(guān)斷例如頻閃燈、 立體視覺傳感器和/或結(jié)構(gòu)化光源的深度傳感器、停用所述深度傳感器，或使所述深度傳 感器置于待用模式，使得其不消耗功率或消耗最小功率。
[0067] 在步驟230中，可獲取包含無深度信息的彩色圖像數(shù)據(jù)和關(guān)聯(lián)姿勢信息的新傳感 器數(shù)據(jù)，且追蹤模塊210可返回到步驟225W開始另一反復(fù)且更新攝像機(jī)姿勢。一般來說， 追蹤模塊可使用任何追蹤方法W確定姿勢。例如，可使用來自IMU130的輸入W確定姿勢。
[0068] 下文描述用于實(shí)施攝像機(jī)姿勢更新例程225的示范性方法，但在實(shí)踐中，可使 用任何適當(dāng)追蹤和姿勢更新方法。對(duì)于帖間追蹤，可（例如）通過使用盧卡斯-卡納德 (Lucas-Kanade)算法或其變體來計(jì)算緊接在前的圖像I與在步驟230中獲取的當(dāng)前圖像J 之間的光流（opticalflow)。盧卡斯卡納德方法為用于可使用圖像梯度和反復(fù)途徑W確定 運(yùn)動(dòng)參數(shù)的光流估計(jì)的兩帖差分方法。
[0069] 如果I和J為具有大小n,Xriy的連續(xù)圖像，其中0《x《nx-l且0《y《ny-l， 且I(x，y)和J(x，y)為在點(diǎn)（x，y)處的像素的像素值（例如，灰階值），那么可使用特征追 蹤W計(jì)算點(diǎn)V在J中的位點(diǎn)，其對(duì)應(yīng)于I中的點(diǎn)U=[Uy, Uy]T，其中V=U+d=[Ux+dy, Uy+dy] T。位移向量d= [dx，dy]T被稱為在U處的光流，且上標(biāo)"T"用W指矩陣或向量的轉(zhuǎn)置。盧 卡斯-卡納德的目標(biāo)為尋找最小化誤差函數(shù)e(d)的位移向量山其中， X二U了
[0070] &?((0 =么?レレ'',')=XZ[取>'))-'/(."1'、，.、'切1訊W V=Uy-W
[0071] 其中，W為整數(shù)且表示大小為WXW像素的窗口。
[0072] 在一些實(shí)施例中，可使用盧卡斯-卡納德光流算法的經(jīng)修改實(shí)時(shí)金字塔形實(shí)施 方案或其變體W計(jì)算2D光流。例如，可使用盧卡斯-卡納德算法的反向組成圖像對(duì)準(zhǔn) (InverseCompositionalImageAlignment)變體。
[0073] 在金字塔形實(shí)施方案中，可連續(xù)地對(duì)圖像進(jìn)行減少采樣W獲得具