具有功率有效深度傳感器使用的實時三維重建的制作方法
【專利說明】具有功率有效深度傳感器使用的實時H維重建
[000。 相關(guān)申請秦的香叉參考
[0002] 本申請案主張2014年1月22日申請的名為"具有功率有效深度傳感器使用的 實時S維重建巧ea]_-Time3DReconstructionwithPowerEfficientDepthSensor 化age)"的美國申請案第14/161，140號的權(quán)利和優(yōu)先權(quán)。美國申請案第14/161，140號 又主張2013年1月30日申請的名為"具有功率有效深度傳感器使用的實時=維重建 (Real-Time3DReconstructionwithPowerEfficientDepthSensorUsage)"的美國臨 時申請案第61/758, 699號和2013年2月26日申請的名為"具有功率有效深度傳感器使用 的實時S維重建巧ea]_-Time3DReconstructionwithPowerEfficientDepthSensor 化age)"的美國臨時申請案第61/769, 465號的權(quán)利和優(yōu)先權(quán)W上所識別的所有美國專利 申請案被W引用的方式全部并入本文中。
技術(shù)領(lǐng)域
[0003] 本發(fā)明大體上設(shè)及用于移動裝置中的功率效率的設(shè)備和方法。
【背景技術(shù)】
[0004] 在計算機視覺和計算機圖形中，3D重建為確定實際物件的形狀和/或外觀的過 程。3D重建可基于從各種類型的傳感器獲得的物件的數(shù)據(jù)和/或圖像。例如，可使用攝像 機W測量由物件的表面反射或從物件的表面發(fā)射的福射或光，且接著可自由攝像機捕捉的 物件的圖像且自由其它傳感器提供的信息推斷物件的3D結(jié)構(gòu)或模型。一般來說，術(shù)語3D 模型在本文中用W指3D環(huán)境的表示。
[0005] 通常，在3D重建中，在分批模式中離線處理數(shù)字圖像集合連同其它感測信息W獲 得3D模型，所述3D模型可采取物件的3D網(wǎng)格的形式。然而，因為3D重建傳統(tǒng)上在計算方 面昂貴，所W常常離線執(zhí)行3D重建且通常在很長時間W后才可得到3D重建的結(jié)果。因此， 使用3D重建的實務實時應用到今受到限制。
[0006] 新近實時或近實時3D重建已歸因于包含W下各者的因素的組合而取得推進；增 加處理能力的可用性、先進算法，W及新形式的輸入數(shù)據(jù)。隨著由計算裝置（包含移動裝 置）快速地處理經(jīng)捕捉圖片，用戶現(xiàn)在可近實時獲得關(guān)于3D重建的回饋。然而，用于3D重 建的許多技術(shù)功耗大，且引起相對高功率使用。例如，在移動裝置中，增加功率消耗可耗盡 電源或電池，由此限制3D重建的實務適用性。
[0007] 因此，需要用W促進計算裝置和移動裝置上的功率有效實時3D重建的設(shè)備、系統(tǒng) 和方法。

【發(fā)明內(nèi)容】

[000引根據(jù)一些方面，揭示一種用于移動裝置上的功率有效實時=維重建的方法。在一 些實施例中，移動臺（M巧可包括至少一個攝像機和深度傳感器，且所述方法可包括：用至 少一個攝像機來捕捉第一圖像，其中所述第一圖像包括用于正由所述MS模型化的環(huán)境的 至少一部分的色彩信息；和獲得用于所述第一圖像的攝像機姿勢信息。在一些實施例中，所 述方法可進一步包括：部分地基于所述第一經(jīng)捕捉圖像和用于所述第一圖像的所述攝像機 姿勢信息而確定是否擴展所述環(huán)境的第一S維（3D)模型；和當不擴展所述第一 3D模型時 停用所述深度傳感器。
[0009] 在另一方面中，一種MS可包括；攝像機，其可捕捉包括色彩信息的第一圖像；深度 傳感器，其禪合到所述攝像機；和處理器，其禪合到所述深度傳感器和所述攝像機。在一些 實施例中，所述處理器可經(jīng)配置W;獲得用于所述第一圖像的攝像機姿勢信息；部分地基 于所述第一圖像和用于所述第一圖像的所述攝像機姿勢信息而確定是否擴展正由所述MS 模型化的環(huán)境的第一=維（3D)模型；和在不擴展所述第一 3D模型的情況下停用所述深度 傳感器。
[0010] 在再一方面中，所揭示實施例設(shè)及一種設(shè)備，其包括：成像裝置，所述成像裝置用 W捕捉包括色彩信息的第一圖像；深度感測裝置，其禪合到所述成像裝置；和處理裝置，其 禪合到所述深度感測裝置和所述成像裝置。在一些實施例中，所述處理裝置可進一步包括： 用于獲得用于所述第一圖像的成像裝置姿勢信息的裝置；用于部分地基于所述第一圖像和 用于所述第一圖像的所述成像裝置姿勢信息而確定是否擴展正由所述設(shè)備模型化的一環(huán) 境的第一=維（3D)模型的裝置；和用于在不擴展所述第一 3D模型的情況下停用所述深度 感測裝置的裝置。
[0011] 所揭示實施例也設(shè)及非暫時性計算機可讀媒體，其包括指令，所述指令在由處理 器執(zhí)行時執(zhí)行在包括至少一個攝像機和深度傳感器的MS上的方法中的步驟。在一些實施 例中，所述方法可包括；用至少一個攝像機來捕捉第一圖像，其中所述第一圖像包括用于正 由所述MS模型化的環(huán)境的至少一部分的色彩信息；和獲得用于所述第一圖像的攝像機姿 勢信息。在一些實施例中，所述方法可進一步包括；部分地基于所述第一經(jīng)捕捉圖像和用于 所述第一圖像的所述攝像機姿勢信息而確定是否擴展所述環(huán)境的第一=維（3D)模型；和 當不擴展所述第一 3D模型時停用所述深度傳感器。
[0012] 在另一方面中，一種在包括至少一個攝像機和一深度傳感器的移動臺（M巧上的 方法可包括；用至少一個攝像機來捕捉第一圖像，所述第一圖像包括用于正由所述MS模型 化的環(huán)境的至少一部分的色彩信息；獲得用于所述第一圖像的攝像機姿勢信息；部分地基 于所述第一經(jīng)捕捉圖像和用于所述第一圖像的所述攝像機姿勢信息而確定是否更新所述 環(huán)境的第一=維（3D)模型；和當不更新所述第一 3D模型時停用所述深度傳感器。另外，停 用所述深度傳感器可包括W下各者中的至少一者；關(guān)斷供應到所述深度傳感器的電力，或 停用與深度圖像的計算相關(guān)的功能性。所述方法可進一步包括；當更新所述第一 3D模型時 啟用所述深度傳感器。在啟用所述深度傳感器后，即可通過W下各者而更新所述第一 3D模 型；用所述至少一個攝像機來捕捉第二圖像；通過用至少部分地由所述深度傳感器提供的 深度信息來擴增所述第二圖像而獲得深度圖（depthmap);和用所述深度信息來更新所述 第一 3D模型中的體積數(shù)據(jù)集。在一些實施例中，所述體積數(shù)據(jù)集可由3D截斷帶正負號距 離函數(shù)（TDS巧表示。所述體積數(shù)據(jù)集可通過W下操作而更新；基于所述攝像機姿勢而將所 述3DTDSF中的樣本投影到所述深度圖中；確定從樣本位點到由所述體積數(shù)據(jù)集定義的表 面的經(jīng)測量相對距離；將所述經(jīng)測量相對距離映射到所述TDSF;和組合所述經(jīng)映射TDSF值 與用于所述樣本的經(jīng)存儲TDSF值。
[001引在另一方面中，一種MS可包括；攝像機，其可捕捉包括色彩信息的第一圖像；深度 傳感器，其禪合到所述攝像機；和處理器，其禪合到所述深度傳感器和所述攝像機。在一些 實施例中，處理裝置可經(jīng)配置W;獲得用于所述第一圖像的攝像機姿勢信息；部分地基于 所述第一圖像和用于所述第一圖像的所述攝像機姿勢信息而確定是否更新環(huán)境的第一= 維（3D)模型；和當不更新所述第一 3D模型時停用所述深度傳感器。
[0014] 在再一方面中，所揭示實施例設(shè)及一種設(shè)備，其包括：成像裝置，所述成像裝置用 W捕捉包括色彩信息的第一圖像；深度感測裝置，其禪合到所述成像裝置；和處理裝置，其 禪合到所述深度感測裝置和所述成像裝置。在一些實施例中，所述處理裝置可進一步包括： 用于獲得用于所述第一圖像的攝像機姿勢信息的裝置；用于部分地基于所述第一圖像和 用于所述第一圖像的所述攝像機姿勢信息而確定是否更新環(huán)境的第一=維（3D)模型的裝 置；和用于當不更新所述第一 3D模型時停用所述深度傳感器的裝置。
[0015] 所揭示實施例也設(shè)及非暫時性計算機可讀媒體，其包括指令，所述指令在由處理 器執(zhí)行時執(zhí)行在包括至少一個攝像機和深度傳感器的MS上的方法中的步驟。在一些實施 例中，所述方法可包括；用至少一個攝像機來捕捉第一圖像，所述第一圖像包括用于正由所 述MS模型化的環(huán)境的至少一部分的色彩信息；獲得用于所述第一圖像的攝像機姿勢信息； 部分地基于所述第一經(jīng)捕捉圖像和用于所述第一圖像的所述攝像機姿勢信息而確定是否 更新所述環(huán)境的第一=維（3D)模型；和當不更新所述第一 3D模型時停用所述深度傳感器。
[0016] 所揭示實施例也設(shè)及由處理器使用計算機可讀媒體或計算機可讀存儲器而建立、 存儲、存取或修改的軟件、固件和程序指令?？稍谔幚砥骱透鞣N移動裝置上執(zhí)行所描述方 法。
[0017] 下文關(guān)于W下諸圖來進一步解釋該些和其它實施例。應理解，從W下詳細描述，其 它方面對于所屬領(lǐng)域的技術(shù)人員來說將變得易于顯而易見，在詳細描述中作為圖解而展示 和描述各種方面。應將圖式和詳細描述視為本質(zhì)上具說明性而非限制性。
【附圖說明】
[0018] 將參看圖式而僅作為實例來描述本發(fā)明的實施例。
[0019] 圖1展示能夠進行功率有效3D重建的示范性移動裝置的框圖。
[0020] 圖2A和2B展示依據(jù)所揭示實施例的用于功率有效3D重建的示范性方法的流程 圖。
[0021] 圖2C展示依據(jù)所揭示實施例的用W使用體積重建技術(shù)來擴展重建的例程或方法 275的流程圖。
[0022] 圖2D展示依據(jù)所揭示實施例的描繪用于將來自攝像機帖的深度數(shù)據(jù)融合到體積 數(shù)據(jù)集中的示范性方法的流程圖。
[0023] 圖3展示依據(jù)所揭示實施例的用于3D重建的示范性方法400的流程圖。
【具體實施方式】
[0024] 下文結(jié)合附加圖式所闡明的詳細描述希望作為本發(fā)明的各種方面的描述，且并不 希望表示可實踐本發(fā)明的僅有方面。本發(fā)明所描述的每一方面僅僅作為本發(fā)明的實例或圖 解而提供，且未必應被認作比其它方面優(yōu)選或有利。所述詳細描述包含出于提供對本發(fā)明 的透徹理解的目的的特定細節(jié)。然而，對于所屬領(lǐng)域的技術(shù)人員來說將顯而易見，可在無該 些特定細節(jié)的情況下實踐本發(fā)明。在一些例子中，W框圖形式來展示眾所周知結(jié)構(gòu)和裝置 W便避免混淆本發(fā)明的概念。可僅僅出于方便和清晰起見而使用縮寫和其它描述性術(shù)語， 且其并不希望限制本發(fā)明的范圍。
[0025] 圖1展示能夠W依據(jù)所揭示實施例的方式來執(zhí)行實時或近實時3D重建的示范性 移動臺（M巧100的框圖。如本文所使用，移動裝置或移動臺（M巧100可采取W下各者的形 式；蜂窩式電話、移動電話或其它無線通信裝置、個人通信系統(tǒng)（PC巧裝置、個人導航裝置 (PND)、個人信息管理器（PIM)或個人數(shù)字助理（PDA)、膝上型計算機、平板計算機、筆記型 計算機和/或手持型計算機。術(shù)語移動裝置或移動臺在本文中被可互換地使用。在一些實 施例中，MS100可能夠接收無線通信和/或?qū)Ш叫盘?。術(shù)語"移動裝置"與"移動臺"在本 文中被可互換地使用。
[0026] 另外，術(shù)語"移動臺"也希望包含（例如）通過近程無線、紅外線、有線連接或其它 連接而與個人導航裝置（PND)通信的裝置，和/或在所述裝置處或在所述PND處發(fā)生位置 相關(guān)處理。又，"移動臺"希望包含能夠與服務器通信而不管在裝置處、在服務器處或在與 網(wǎng)絡相關(guān)聯(lián)的另一裝置處是否發(fā)生無線信號接收、輔助數(shù)據(jù)接收和/或相關(guān)處理的所有裝 置，包含各種無線通信裝置。W上各者的任何可操作組合也被視為"移動臺"。
[0027] 術(shù)語"移動臺"也希望包含可未經(jīng)配置成連接到網(wǎng)絡或W其它方式（W無線方式 抑或經(jīng)由有線連接）而與另一裝置通信的游戲裝置或其它裝置。例如，"移動臺"可省略通 信元件和/或網(wǎng)絡連接功能性。例如，本文所描述的實施例可實施于未經(jīng)配置成連接W用 于與另一裝置進行有線或無線網(wǎng)絡連接的單機