手持式便攜光學(xué)掃描器及其使用方法
【專利說(shuō)明】手持式便攜光學(xué)掃描器及其使用方法
[0001 ]本申請(qǐng)要求于2013年4月16日提交的具有相同題目的臨時(shí)申請(qǐng)61/812，580的優(yōu)先權(quán)和權(quán)益，該申請(qǐng)通過(guò)引用整體結(jié)合于本文。
技術(shù)領(lǐng)域
[0002]本公開(kāi)的領(lǐng)域是用于經(jīng)由手持式便攜光學(xué)成像掃描器獲得圖像數(shù)據(jù)的系統(tǒng)和方法以及針對(duì)經(jīng)由各種方法處理圖像和深度數(shù)據(jù)的方法的領(lǐng)域。
【背景技術(shù)】
[0003]該技術(shù)在成像系統(tǒng)中找到它的根源。

【發(fā)明內(nèi)容】

[0004]—個(gè)實(shí)施例是一種用于實(shí)時(shí)捕捉場(chǎng)景的多重圖像并且確定每個(gè)圖像中的多個(gè)點(diǎn)在坐標(biāo)系中的精確位置的手持式成像系統(tǒng)。該系統(tǒng)包括用于捕捉和儲(chǔ)存多個(gè)數(shù)字圖像的圖像捕捉設(shè)備、用于實(shí)時(shí)導(dǎo)出圖像中多個(gè)任意點(diǎn)的深度信息的深度計(jì)算系統(tǒng)、手持式計(jì)算機(jī)系統(tǒng)，該手持式計(jì)算機(jī)系統(tǒng)具有處理器、帶有用戶接口控制裝置的顯示器、以及通信模塊，其中處理器與所述圖像捕捉設(shè)備和深度計(jì)算系統(tǒng)進(jìn)行通信。該系統(tǒng)也包括非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上具有經(jīng)編碼的一組指令，該指令可通過(guò)處理器執(zhí)行以使圖像捕捉設(shè)備、點(diǎn)定位系統(tǒng)和通信模塊執(zhí)行一個(gè)或多個(gè)操作，該指令包括從圖像捕捉設(shè)備以及從深度計(jì)算系統(tǒng)捕捉場(chǎng)景的以數(shù)字?jǐn)?shù)據(jù)形式的多個(gè)數(shù)字圖像并且捕捉針對(duì)所述場(chǎng)景中的多個(gè)點(diǎn)的位置，儲(chǔ)存所述數(shù)字?jǐn)?shù)據(jù)，將多個(gè)圖像組合在一起以形成單個(gè)3D模型，在移動(dòng)手持設(shè)備中顯示單個(gè)3D模型，以及根據(jù)對(duì)處理和控制系統(tǒng)的基于用戶的輸入來(lái)操縱單個(gè)3D模型的數(shù)字文件數(shù)據(jù)。
[0005]另一個(gè)實(shí)施例是一種用于取得多個(gè)圖像的方法。該方法包括如下步驟:從圖像捕捉設(shè)備以及從點(diǎn)定位系統(tǒng)捕捉場(chǎng)景的以數(shù)字?jǐn)?shù)據(jù)形式的多個(gè)數(shù)字圖像并且捕捉針對(duì)所述場(chǎng)景中的多個(gè)點(diǎn)的位置，儲(chǔ)存所述數(shù)字?jǐn)?shù)據(jù)，將多個(gè)圖像組合在一起以形成單個(gè)3D模型，在移動(dòng)手持式設(shè)備中顯示單個(gè)3D模型，以及根據(jù)對(duì)處理和控制系統(tǒng)的基于用戶的輸入來(lái)操縱數(shù)字文件數(shù)據(jù)。
[0006]又一個(gè)實(shí)施例是一種用于實(shí)時(shí)捕捉場(chǎng)景的多重圖像并且確定每個(gè)圖像中的多個(gè)點(diǎn)在坐標(biāo)系中的精確位置的手持式成像系統(tǒng)。該系統(tǒng)包括用于捕捉和儲(chǔ)存多個(gè)數(shù)字圖像的圖像捕捉設(shè)備、用于實(shí)時(shí)導(dǎo)出圖像中多個(gè)任意點(diǎn)的深度信息的深度計(jì)算系統(tǒng)、手持式計(jì)算機(jī)系統(tǒng)，該手持式計(jì)算機(jī)系統(tǒng)具有處理器、帶有用戶接口控制裝置的顯示器、以及通信模塊，其中處理器與所述圖像捕捉設(shè)備和點(diǎn)定位系統(tǒng)進(jìn)行通信。該系統(tǒng)也包括非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，其上具有經(jīng)編碼的一組指令，該指令可通過(guò)處理器執(zhí)行以使圖像捕捉設(shè)備、點(diǎn)定位系統(tǒng)和通信模塊執(zhí)行一個(gè)或多個(gè)操作，該指令用于從圖像捕捉設(shè)備以及從點(diǎn)定位系統(tǒng)捕捉場(chǎng)景的以數(shù)字?jǐn)?shù)據(jù)形式的多個(gè)數(shù)字圖像以及捕捉針對(duì)所述場(chǎng)景中的多個(gè)任意點(diǎn)的位置，儲(chǔ)存所述數(shù)字?jǐn)?shù)據(jù)，將多個(gè)圖像組合在一起以形成單個(gè)3D模型，以及根據(jù)對(duì)處理和控制系統(tǒng)的基于用戶的輸入來(lái)操縱數(shù)字文件數(shù)據(jù)，其中所述操縱步驟包括使相機(jī)位置和姿態(tài)與真實(shí)世界坐標(biāo)參考系相關(guān)。
[0007]另一個(gè)實(shí)施例是一種方法。該方法包括如下步驟:利用相機(jī)捕捉以數(shù)字?jǐn)?shù)據(jù)形式的圖像，在非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)上儲(chǔ)存圖像的數(shù)字?jǐn)?shù)據(jù)，從圖像數(shù)字?jǐn)?shù)據(jù)的圖像顏色通道提取灰度值，根據(jù)灰度值并且根據(jù)數(shù)字?jǐn)?shù)據(jù)的深度數(shù)據(jù)來(lái)創(chuàng)建圖像金字塔以及使用圖像金字塔來(lái)計(jì)算場(chǎng)景擬合度值。該方法也包括如下步驟:預(yù)測(cè)相機(jī)姿態(tài)，將圖像與所選擇的關(guān)鍵幀的第一子集的每個(gè)元素對(duì)準(zhǔn)，產(chǎn)生經(jīng)對(duì)準(zhǔn)的姿態(tài)以及也產(chǎn)生關(guān)于所選擇的關(guān)鍵幀的一定數(shù)量的姿態(tài)和對(duì)應(yīng)數(shù)量的重疊值，使用經(jīng)對(duì)準(zhǔn)的圖像以及該數(shù)量的姿態(tài)和該數(shù)量的重疊值來(lái)計(jì)算新的相機(jī)姿態(tài)估計(jì)，以及當(dāng)期望時(shí)使用新的相機(jī)姿態(tài)估計(jì)來(lái)根據(jù)圖像的數(shù)字?jǐn)?shù)據(jù)創(chuàng)建關(guān)鍵幀。該方法也包括:在創(chuàng)建關(guān)鍵幀后，選擇與關(guān)鍵幀的第一子集不同的關(guān)鍵幀的第二子集，以及利用關(guān)鍵幀的第二子集中的每個(gè)關(guān)鍵幀來(lái)重復(fù)對(duì)準(zhǔn)步驟以產(chǎn)生多個(gè)姿態(tài)值和重疊值，針對(duì)關(guān)鍵幀的所選擇的第一子集和關(guān)鍵幀的所選擇的第二子集中的每個(gè)元素而判定在關(guān)鍵幀姿態(tài)圖表中對(duì)于關(guān)鍵幀是否需要新鏈接，以及鏈接所述關(guān)鍵幀。
[0008]該方法的其他實(shí)施例包括一種方法，其中關(guān)鍵幀基于下述各項(xiàng)來(lái)創(chuàng)建:來(lái)自數(shù)字圖像數(shù)據(jù)的用戶命令，和現(xiàn)有關(guān)鍵幀的集合為空的情況下與單位矩陣(identity matrix)等同的相機(jī)姿態(tài)或者現(xiàn)有關(guān)鍵幀的集合為非空的情況下與估計(jì)的相機(jī)姿態(tài)等同的相機(jī)姿態(tài)。在本方法的另一個(gè)實(shí)施例中，用來(lái)創(chuàng)建關(guān)鍵幀的數(shù)字圖像數(shù)據(jù)包括紅-綠-藍(lán)和深度通道(RGB-D)圖像。該方法的另一個(gè)步驟包括從相機(jī)或從非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)請(qǐng)求和加載新的數(shù)字圖像以及使用新的數(shù)字圖像來(lái)重復(fù)先前段落的步驟。使用此方法，人們也可以通過(guò)空間定位和取向的關(guān)鍵幀的集合來(lái)表示3D模型。另一個(gè)實(shí)施例進(jìn)一步包括根據(jù)相機(jī)校準(zhǔn)針對(duì)相機(jī)的特性來(lái)校正所儲(chǔ)存圖像的數(shù)字?jǐn)?shù)據(jù)。在另一個(gè)實(shí)施例中，使用來(lái)自包括如下各項(xiàng)的組的轉(zhuǎn)動(dòng)數(shù)據(jù)來(lái)預(yù)測(cè)相機(jī)姿態(tài):基于圖像光學(xué)流的視覺(jué)預(yù)測(cè)器;來(lái)自數(shù)字陀螺儀的數(shù)據(jù);線性運(yùn)動(dòng)模型；以及這些數(shù)據(jù)源的組合。用于表示3D模型的方法可以進(jìn)一步包括將用于數(shù)字圖像的可視化的數(shù)據(jù)和3D模型的數(shù)據(jù)發(fā)送到圖形處理單元。
[0009]在另一個(gè)實(shí)施例中，在計(jì)算新的對(duì)準(zhǔn)姿態(tài)的步驟之后，該方法可以包括檢查對(duì)準(zhǔn)中的失敗以及如果存在對(duì)準(zhǔn)中的失敗，執(zhí)行再局部化過(guò)程。如果沒(méi)有對(duì)準(zhǔn)中的失敗，則該方法可以進(jìn)一步包括為用戶準(zhǔn)備在所保存的3D模型的空間中實(shí)時(shí)正確取向的可視化。在另一個(gè)實(shí)施例中，該方法可以進(jìn)一步包括計(jì)算經(jīng)對(duì)準(zhǔn)圖像與關(guān)鍵幀的選擇之間的重疊的估計(jì)以確定是否創(chuàng)建新關(guān)鍵幀。為了完成此方法，對(duì)于創(chuàng)建新關(guān)鍵幀的判定是根據(jù)包括經(jīng)對(duì)準(zhǔn)圖像和關(guān)鍵幀的選擇之間的重疊值和包括來(lái)自關(guān)鍵幀的選擇的數(shù)字深度數(shù)據(jù)的數(shù)據(jù)來(lái)確定的。在另一個(gè)實(shí)施例中，該方法進(jìn)一步包括將來(lái)自數(shù)字圖像的深度數(shù)據(jù)再投影到多個(gè)關(guān)鍵幀中，每個(gè)再投影使用相機(jī)的校準(zhǔn)模型和由深度數(shù)據(jù)與關(guān)鍵幀的對(duì)準(zhǔn)步驟產(chǎn)生的相對(duì)姿態(tài)的估計(jì)。該方法也可以包括使用再投影的深度數(shù)據(jù)和關(guān)鍵幀的現(xiàn)有深度數(shù)據(jù)的組合來(lái)重新計(jì)算針對(duì)關(guān)鍵幀的深度數(shù)據(jù)。
[0010]在另一實(shí)施例中，表示3D模型的方法可以包括使用利用該圖像所獲取的物理目標(biāo)的數(shù)字圖像來(lái)將3D模型從局部坐標(biāo)系變換到另一個(gè)坐標(biāo)系，其中該目標(biāo)從包括如下各項(xiàng)的組中選擇:棋盤式目標(biāo);QR碼或類QR碼；以及用戶選擇的點(diǎn)。該方法可以進(jìn)一步包括利用通過(guò)使用用于在空間中對(duì)相機(jī)進(jìn)行定位和取向的可視目標(biāo)的空間姿態(tài)而從相機(jī)獲取的數(shù)據(jù)來(lái)添加、更新、差分或改善預(yù)先存在的3D模型的幾何結(jié)構(gòu)，該可視目標(biāo)也在3D模型中呈現(xiàn)，該3D模型從包括如下各項(xiàng)的組中選擇:多個(gè)數(shù)字圖像或關(guān)鍵幀，空間數(shù)據(jù)集和CAD文件。該方法也可以包括下述步驟，其中基于使用最小化幾何和光度對(duì)準(zhǔn)誤差的對(duì)準(zhǔn)算法的局部化過(guò)程來(lái)確定針對(duì)現(xiàn)有3D模型的相機(jī)的位置和取向。在使用3D模型的方法中，可以從數(shù)字儲(chǔ)存介質(zhì)或者從可通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)訪問(wèn)的另一個(gè)計(jì)算機(jī)來(lái)加載預(yù)先存在的3D模型。在另一個(gè)實(shí)施例中，該方法可以進(jìn)一步包括將附加圖像添加到經(jīng)鏈接的關(guān)鍵幀的集合，從包括以下各項(xiàng)的組中選擇所述附加圖像:利用相機(jī)捕捉的3D數(shù)據(jù)；由激光掃描器捕捉的3D數(shù)據(jù)；以及來(lái)自3D模型或CAD軟件的數(shù)據(jù)。在其中利用3D模型來(lái)表示圖像的另一個(gè)實(shí)施例中，該方法可以進(jìn)一步包括通過(guò)將關(guān)鍵幀的數(shù)字圖像數(shù)據(jù)壓縮成無(wú)損格式來(lái)以壓縮的方式表示3D模型。
[0011]本公開(kāi)的另一個(gè)實(shí)施例是一種裝置。該裝置對(duì)于執(zhí)行上文所描述的方法以及對(duì)于收集多個(gè)空間定位和取向的關(guān)鍵幀以及將空間定位和定向的關(guān)鍵幀的集合表示為3D模型是有用的。該裝置可以包括用于捕捉和儲(chǔ)存多個(gè)數(shù)字圖像的RGB-D相機(jī)，該RGB-D相機(jī)包括用于在數(shù)字圖像中實(shí)時(shí)導(dǎo)出針對(duì)多個(gè)任意點(diǎn)的深度信息的深度計(jì)算系統(tǒng)。該裝置也可以包括手持式計(jì)算機(jī)系統(tǒng)和非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，該手持式計(jì)算機(jī)系統(tǒng)具有處理器、帶有用戶接口控制裝置的顯示器和通信模塊，其中該處理器與相機(jī)和深度計(jì)算系統(tǒng)進(jìn)行通信，該非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)具有在其上編碼的一組指令，所述指令可通過(guò)處理器執(zhí)行以使RGB-D相機(jī)、深度計(jì)算系統(tǒng)、手持式計(jì)算機(jī)系統(tǒng)和通信模塊執(zhí)行一個(gè)或多個(gè)操作來(lái)收集多個(gè)數(shù)字圖像和深度信息以形成3D模型，該3D模型適合于在用戶接口上呈現(xiàn)給用戶，該3D模型也適合于添加附加數(shù)據(jù)來(lái)更新3D模型。
[0012]本公開(kāi)的另一個(gè)實(shí)施例是一種方法。該方法包括如下步驟:利用相機(jī)捕捉以數(shù)字?jǐn)?shù)據(jù)形式的圖像，在非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)上儲(chǔ)存圖像，針對(duì)相機(jī)的特性校正所儲(chǔ)存的圖像，分析經(jīng)校準(zhǔn)的幀并且從經(jīng)校準(zhǔn)的幀中提取場(chǎng)景信息，關(guān)于圖像和3D參考幀確定成像器的空間中的位置和取向并且依照分析步驟對(duì)準(zhǔn)成像器，利用圖像和空間中所確定的位置和取向來(lái)準(zhǔn)備3D模型，該3D模型適合于利用相機(jī)來(lái)呈現(xiàn)和捕捉以數(shù)字?jǐn)?shù)據(jù)形式的附加圖像以及將來(lái)自附加圖像的數(shù)據(jù)添加到3D模型。在另一個(gè)實(shí)施例中，該相機(jī)包括紅-綠-藍(lán)-深度成像器。在另一實(shí)施例中，該方法進(jìn)一步包括在分析步驟之前預(yù)處理圖像。在另一個(gè)實(shí)施例中，該方法包括下述步驟:分析空間中位置和取向的質(zhì)量以及在空間中調(diào)整位置和取向。在又一個(gè)實(shí)施例中，該方法包括在確定步驟之后使用圖像來(lái)生成新的3D參考幀。該方法也可以包括在用戶接口上呈現(xiàn)3D模型。
[0013]本公開(kāi)的另一個(gè)實(shí)施例也是一種方法。該方法包括如下步驟:利用相機(jī)捕捉以數(shù)字?jǐn)?shù)據(jù)形式的圖像，在非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)上儲(chǔ)存圖像數(shù)據(jù)，分析經(jīng)校準(zhǔn)的幀并且從經(jīng)校準(zhǔn)的幀中提取場(chǎng)景信息，關(guān)于圖像和3D參考幀確定成像器的空間中的位置和取向并且依照分析步驟對(duì)準(zhǔn)成像器，利用圖像和空間中所確定的位置和取向來(lái)準(zhǔn)備3D模型，該3D模型適合于利用相機(jī)來(lái)呈現(xiàn)和捕捉以數(shù)字?jǐn)?shù)據(jù)形式的附加圖像以及將來(lái)自附加圖像的數(shù)據(jù)添加到3D模型。在另一個(gè)實(shí)施例中，該方法包括將現(xiàn)有的數(shù)據(jù)用作用于對(duì)圖像進(jìn)行取向的3D參考幀。在又一個(gè)實(shí)施例中，該方法包括在遠(yuǎn)程位置處的非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)上儲(chǔ)存圖像。
[0014]這些示例并不意圖是限制性的，而是說(shuō)明我們的系統(tǒng)的能力。
【附圖說(shuō)明】
[0015]本公開(kāi)和其某些實(shí)施例的下述詳細(xì)描述可以通過(guò)參考以下附圖來(lái)理解。
[0016]圖1描繪了本公開(kāi)的一個(gè)實(shí)施例中的系統(tǒng)框圖。
[0017]圖2A-2B描繪了包括圖像捕捉和深度圖確定器的針對(duì)本公開(kāi)的部件的實(shí)施例的系統(tǒng)框圖。
[0018]圖3描繪了本公開(kāi)的操作性使用的流程圖。
[0019]圖4A-4D描繪了針對(duì)在導(dǎo)出場(chǎng)景的三維表示方面由圖像捕捉操作系統(tǒng)所執(zhí)行的內(nèi)部步驟的一系列流程圖。
[0020]圖5是在本公開(kāi)的若干實(shí)施例中的各種程序的列表。
[0021]圖6圖示了如從在使用2D圖像圖表示3D場(chǎng)景方面有用的關(guān)鍵幀所看到的顏色/深度圖。
[0022]圖7圖示了從場(chǎng)景中的不同視點(diǎn)所取得的關(guān)鍵幀表示。
[0023]圖8圖示了其中文件頭包含一般場(chǎng)景信息的文件結(jié)構(gòu)格式。
【具體實(shí)施方式】
[0024]下面