有不同分辨率的 經(jīng)減少采樣圖像的金字塔。例如，金字塔的最高層級（層級0)可具有原始或最高分辨率圖 像，且在下方的每一層級可相對于緊接在上方的層級將圖像減少采樣達某一因數(shù)。例如，對 于大小為640X480的圖像1。（在層級0處），圖像Ii、12、Is和I4分別具有大小320X240、 160X120、80X60和40X30，其中下標指示圖像金字塔中的圖像層級。
[0074] 在金字塔形盧卡斯-卡納德光流中，在最低金字塔層級L處計算光流。接著，將彼 計算的結(jié)果W層級L-I處的初始像素位移估計的形式傳播到上部層級kl。在給出彼初始 猜測的情況下，在層級L-I處計算改進型光流，且將結(jié)果傳播到層級心2,且如此直到層級 O(原始圖像）。通常，在圖像J中的位點枯，Uy]周圍的窗口（例如，大小為WXW像素）內(nèi) 捜索J中對應(yīng)于I中的點U的點V。W金字塔為基礎(chǔ)的光流允許遍和較大有效窗口進行捜 索，且促進甚至在具有大像素運動的面中仍建立特征對應(yīng)。
[0075] 在一些實施例中，可基于系統(tǒng)約束而確定在追蹤期間于圖像之間比較的特征的數(shù) 目。例如，可使用圖像的分辨率、處理器150的速度W及性能準則W確定所比較特征的數(shù) 目。
[0076] 在一些實施例中，基于匹配特征的位點，可在例程225中計算經(jīng)更新攝像機姿勢。 在一些實施例中，可周期性地將姿勢和包含彩色圖像的經(jīng)捕捉傳感器數(shù)據(jù)傳送到重建模塊 250,重建模塊250在步驟255中等待追蹤由追蹤模塊210提供的數(shù)據(jù)更新。在一些實施例 中，追蹤模塊210可連續(xù)地W大約30個帖的帖速率而執(zhí)行W捕捉包含單目圖像和經(jīng)更新姿 勢信息的傳感器數(shù)據(jù)，所述傳感器數(shù)據(jù)可被提供到重建模塊250。
[0077] 在一些實施例中，在步驟260中，重建模塊250可基于在步驟255中接收的經(jīng)更新 的經(jīng)捕捉圖像和關(guān)聯(lián)姿勢信息而確定是否將擴展或更新現(xiàn)有重建模型。在一些實施例中， 重建模塊250可使用不取決于用于每一帖的深度+色彩圖像輸入的輸入的任何重建技術(shù)。 例如，可由重建模塊250使用表面和/或體積技術(shù)。
[007引在一些實施例中，對于表面重建，重建模塊250可分析由追蹤模塊210提供的每一 帖W確定是否將擴展模型。在另一實施例中，重建模塊250可取決于追蹤模塊210的配置 設(shè)定、系統(tǒng)參數(shù)和/或當前帖速率而自由追蹤模塊210提供的帖選擇帖子集W供分析，W確 定是否將擴展模型。在一些實施例中，追蹤模塊210的配置可由重建模塊250修改W設(shè)定 用于帖捕捉的適當帖速率。
[0079] 另外，對于表面重建途徑，在一些實施例中，是否將擴展或更新現(xiàn)有重建模型的確 定可部分地基于當前圖像和當前圖像包含當前未在現(xiàn)有模型中表示的信息的程度。
[0080] 在一些實施例中，如果存在環(huán)境的當前未在現(xiàn)有模型中表示且第一次在經(jīng)新捕捉 的攝像機帖中成像的點或區(qū)域（步驟260中的"是"），那么可通過在步驟265中獲取新深 度傳感器數(shù)據(jù)或深度信息來擴展或更新模型或3D網(wǎng)格。
[0081] 另外，對于表面重建途徑，如果存在環(huán)境的已經(jīng)在現(xiàn)有模型中表示但根據(jù)不同觀 點而第一次在經(jīng)新捕捉的攝像機帖中成像的點或區(qū)域（步驟260中的"是"），那么可通過 在步驟265中獲取新深度傳感器數(shù)據(jù)或深度信息來擴展或更新模型或3D網(wǎng)格。在一些實 施例中，可通過計算包含于當前圖像中的信息與存儲于現(xiàn)有模型中的信息之間的差且確定 此差是否不空來確定新點的存在。
[0082] 對于表面重建途徑，如果將擴展現(xiàn)有重建模型（步驟260中的"是"），那么在步驟 265中，可激活深度傳感器且可獲取深度信息W擴增從追蹤模塊210接收的經(jīng)更新攝像機 圖像帖。例如，如果從追蹤模塊210接收的經(jīng)更新攝像機圖像帖包含第一次成像的點，那么 算法可進行到步驟265且可啟用深度傳感器。在一些實施例中，可使用3DTOF攝像機、結(jié)構(gòu) 化燈或立體傳感器W在步驟265中獲得深度信息。
[0083] 在不存在新點（步驟260中的"否"）的情況下，對于表面重建，可不擴展模型且 算法返回到步驟255W開始另一反復(fù)。例如，對于表面重建，如果新攝像機圖像帖不包含新 點，那么算法可返回到步驟255W等待下一更新，且可停用深度傳感器或深度傳感器可保 持被停用（如果其先前被停用）。
[0084] 在使用體積重建的一些實施例中，可W某一指定速率（例如，每五個帖一次）獲取 深度數(shù)據(jù)。否則，可停用深度傳感器。例如，可關(guān)斷深度傳感器或使其置于待用模式。可使 用深度圖W確定從空間中的給定點（例如，攝像機中屯、的位點）到經(jīng)估計表面的距離。因 此，在使用體積重建的一些實施例中，可周期性地（基于指定速率）激活深度傳感器，且可 獲取深度信息W擴增從追蹤模塊210接收的經(jīng)更新攝像機圖像帖。
[0085] 對于體積重建，在一些實施例中，可通過融合環(huán)境的已經(jīng)在現(xiàn)有模型中表示的點 或區(qū)域的額外測量來達成較高質(zhì)量。因此，在使用體積重建的實施例中，甚至在不存在新點 的情形中仍可更新模型或3D網(wǎng)格。在一些實施例中，可設(shè)定闊值W限制同一表面元素被更 新的次數(shù)。
[0086] 在任一途徑中，如果追蹤模塊210的帖速率足夠高，那么攝像機姿勢不太可能從 最近經(jīng)更新帖（從追蹤模塊210獲得）和在步驟265中使用深度傳感器捕捉深度信息的時 間起已經(jīng)歷改變（可能已最小程度地改變）。因此，在步驟265中獲取的深度信息可與最近 經(jīng)更新帖和具有最小準確度損失或不具有準確度損失的關(guān)聯(lián)姿勢相關(guān)聯(lián)。
[0087] 在另一實施例中，可在步驟265中獲取包括彩色圖像和深度信息兩者的新圖像， 且可獲得用于新色彩+深度圖像的新攝像機姿勢。在另一實施例中，可在步驟265中獲取 包括彩色圖像和深度信息兩者的新圖像，且與從追蹤模塊210獲得的最近經(jīng)更新帖相關(guān)聯(lián) 的攝像機姿勢可與經(jīng)新捕捉的色彩+深度圖像相關(guān)聯(lián)。如上文所提及，對于足夠高的帖速 率，從獲得自追蹤模塊210的最近經(jīng)更新帖和經(jīng)新捕捉的色彩+深度圖像的帖間攝像機姿 勢改變可最小，使得任何準確度降級可最小。
[008引在一些實施例中，可捕捉3DTOF攝像機、結(jié)構(gòu)化燈或立體圖像W在步驟265中獲得 彩色圖像和深度信息。在使用被動式立體傳感器的實施例中，現(xiàn)在可處理立體圖像對（例 如，來自由追蹤模塊210使用被動式立體傳感器而捕捉的最近經(jīng)更新圖像）W獲得深度信 息。
[0089] 因此，如果從追蹤模塊210接收的經(jīng)更新攝像機圖像帖包含第一次（對于表面重 建）或在基于指定帖速率的適當帖間隔之后（對于體積重建）成像的點，那么算法可進行 到步驟265且可啟用深度傳感器W獲得深度信息。因此，在一些實施例中，雖然追蹤模塊 210可連續(xù)地操作，但在步驟265中僅偶爾地執(zhí)行設(shè)及深度獲取的功率密集型操作，由此節(jié) 約電力。
[0090] 算法接著可進行到例程275,其中可基于經(jīng)新獲取的深度數(shù)據(jù)而擴展正被模型化 的環(huán)境的3D重建。
[0091] 圖2B展示用W使用表面重建技術(shù)來擴展重建的例程或方法275的流程圖。在一 些實施例中，例程275可由重建模塊250調(diào)用或形成重建模塊250的部分。在一些實施例 中，例程275可接受經(jīng)更新攝像機姿勢304和包括在步驟265中捕捉的色彩和深度信息的 色彩+深度圖像302作為輸入。在一些實施例中，經(jīng)更新攝像機姿勢304可為通過例程225 而計算的最近姿勢。
[0092] 在一些實施例中，在步驟305中，可任選地對輸入色彩+深度圖像302進行濾波W 去除噪聲分量，且可對輸入色彩+深度圖像302進行減少采樣。在一些實施例中，減少采樣 等級可部分地基于深度傳感器的準確度、攝像機姿勢估計304的準確度和/或其它系統(tǒng)參 數(shù)。例如，在一個實施例中，可將具有640X480色彩+深度像素的色彩+深度圖像減少采 樣到320X240色彩+深度像素。在一些實施例中，可W不同速率而對色彩和深度圖像進行 減少采樣。例如，在一個實施例中，可使圖像色彩信息保持于全分辨率，而可對深度信息進 行減少采樣。
[0093] 例如，如果在步驟305中不對640X480色彩+深度像素圖像進行減少采樣，那么 在步驟310中，所得部分網(wǎng)格可引起多達639*479*2 = 612, 162個S角形。如果在步驟305 中將圖像減少采樣到320X240,那么S角形的數(shù)目將不多于152, 482個S角形。因此，基于 各種系統(tǒng)參數(shù)，可在步驟305中有利地使用減少采樣，W減少重建的計算復(fù)雜度且在對3D 重建具有最小影響的情況下加快過程，此情形可由此促成功率消耗的額外效率。
[0094] 在步驟310中，對于表面重建，可基于深度圖像和攝像機姿勢而產(chǎn)生部分網(wǎng)格。在 一個實施例中，表面重建模塊可使用深度信息W沿著觀看方向擠壓彩色圖像，且建立紋理 化或有色致密3D網(wǎng)格。例如，網(wǎng)格可由可用W呈現(xiàn)圖像的S角形構(gòu)成。術(shù)語"部分網(wǎng)格"指 從單色彩+深度圖像302建立的網(wǎng)格，色彩+深度圖像302在步驟265中獲得。術(shù)語"現(xiàn)有 網(wǎng)格"指在一時間點的從將所有部分網(wǎng)格組合或合并在一起而獲得的結(jié)果。
[0095] 當建立第一部分網(wǎng)格時，將其自動地用作現(xiàn)有網(wǎng)格。當建立任何其它后續(xù)部分網(wǎng) 格時，將所述后續(xù)部分網(wǎng)格與現(xiàn)有網(wǎng)格合并。在一些實施例中，從具有關(guān)聯(lián)攝像機姿勢的關(guān) 鍵帖和具有起源于所述關(guān)鍵帖的描述符的稀疏3D點建立網(wǎng)格。包含深度信息的關(guān)鍵帖為 W在攝像機的旋轉(zhuǎn)和平移方面彼此相對遠離的攝像機姿勢而捕捉的選定圖像。在一些實施 例中，可基于與第一關(guān)鍵帖相關(guān)聯(lián)的攝像機姿勢而定義全域坐標系統(tǒng)。
[0096] 在步驟320中，確定現(xiàn)有網(wǎng)格與部分網(wǎng)格之間的重疊。在一些實施例中，例程375 可進一步使用追蹤系統(tǒng)的6DOF姿勢304 (通過例程225而計算）W最初使新部分網(wǎng)格與現(xiàn) 有網(wǎng)格對準。在一些實施例中，在步驟325中，取決于追蹤系統(tǒng)的姿勢估計準確度，例程375 可任選地使用例如迭代最近點（ICP)的方法來進一步改進對準。ICP算法最小化部分網(wǎng)格 與現(xiàn)有網(wǎng)格的重疊區(qū)段之間的差異。在一個實施例中，ICP算法可反復(fù)地執(zhí)行W下步驟W 改進部分網(wǎng)格與現(xiàn)有網(wǎng)格的重疊部分之間的對準；使兩個網(wǎng)格中的最近相鄰點相關(guān)聯(lián)，使 用均方成本函數(shù)來估計變換參數(shù)，且接著在開始下一反復(fù)之前使用經(jīng)估計參數(shù)來變換所述 點。
[0097] 接下來，在步驟330中，一旦已使部分網(wǎng)格與現(xiàn)有網(wǎng)格對準，重建模塊就可從部分 網(wǎng)格減少已經(jīng)存在于現(xiàn)有網(wǎng)格中的任何重復(fù)細節(jié)。在一些實施例中，在步驟330中，可去除 任何重復(fù)細節(jié)，抑或可將任何重復(fù)細節(jié)與現(xiàn)有網(wǎng)格融合或合并一一例如，通過平均化所有 附近/對應(yīng)頂點位置。在另一實施例中，可去除重復(fù)細節(jié)，抑或可基于多種其它試探法而將 重復(fù)細節(jié)與現(xiàn)有模型融合/合并。例如，在一個實施例中，可保持細節(jié)的最近觀測。在另一 實施例中，可W保持現(xiàn)有網(wǎng)格的平滑度的方式來融合重復(fù)細節(jié)。
[009引在步驟335中，可在去除重復(fù)信息之后使用輸入彩色圖像302中的信息而將紋理 或頂點色彩信息添加到部分網(wǎng)格。在步驟340中，將部分網(wǎng)格合并到現(xiàn)有網(wǎng)格中。在一些實 施例中，可在將部分網(wǎng)格與現(xiàn)有網(wǎng)格合并之前從部分網(wǎng)格去除重復(fù)信息。在另一實施例中， 如上文所描述，可合并所述網(wǎng)格而不去除重復(fù)信息，例如，通過平均化部分網(wǎng)格和現(xiàn)有網(wǎng)格 中的所有附近或?qū)?yīng)頂點位置，或通過使用其它試探法。因此，現(xiàn)有網(wǎng)格可增長且變得較完 整。在一些實施例中，表面重建途徑可在需求時從深度傳感器獲得深度信息。例如，表面重 建途徑可在需求時獲取深度信息，例如，在映射序列開始時每秒一次或兩次，且在接近結(jié)束 時每幾秒僅一次，從而導致顯著較低的深度傳感器使用和功率消耗的對應(yīng)減少。
[0099] 圖2C展示用W使用體積重建技術(shù)來擴展重建的例程或方法275的流程圖。在一