三維成像方法
【專利摘要】本發(fā)明涉及一種三維成像方法，包括實時處理和后處理兩部分。所述實時處理部分是相機在進行移動三維掃描過程中在計算機上對二維圖像進行快速處理，實時顯示出相機的位置和掃描出的三維模型。所述后處理部分是對實時處理部分中采集的數(shù)據(jù)進行二次處理，以得到重建后的三維數(shù)據(jù)。所述三維成像方法可以精確地測量手持式掃描過程中相機的相對位置，并極大地減小了因多組三維點云疊加引起的最終三維圖像的較大精度誤差，從而提高三維成像的精確性。
【專利說明】三維成像方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于相機領(lǐng)域，具體涉及一種三維成像方法。

【背景技術(shù)】
[0002]在三維成像領(lǐng)域，當三維相機的視野小于物體的形狀或者相機需要多個視角才能完整拍攝物體時，通常需要使用移動相機(比如手持式掃描)來獲取物體的完整三維圖像。而進行手持式三維掃描時，除了需要在單個時間進行三維點云重建以外，還需要精確地測量不同時間段的相機相對位置，從而可以將多組三維點云疊加來最終重建物體的完整三維形狀。而目前在三維數(shù)據(jù)的重建過程中，往往會因為多組三維點云疊加等原因引起最終三維圖像存在較大的精度誤差，成像失真較為嚴重。


【發(fā)明內(nèi)容】

[0003]為了解決上述問題，發(fā)明提供一種三維成像方法，包括實時處理和后處理兩部分:
[0004]所述實時處理部分是相機在進行移動三維掃描過程中在計算機上對二維圖像進行快速處理，實時顯示出相機的位置和掃描出的三維模型；
[0005]所述后處理部分是對實時處理部分中采集的數(shù)據(jù)進行二次處理，以得到重建后的三維數(shù)據(jù)。
[0006]進一步地，所述實時處理部分包括如下步驟:
[0007]步驟一，初始處理；相機在三維掃描過程的每個獨立時刻，采集到一幀二維圖像并分成左右兩幅圖像或者上下兩幅圖像，通過圖像處理方法處理左右兩幅圖像或者上下兩幅圖像以得到密集三維點云，同時，搜索含有二維信息的粗略特征點，然后通過增加特征信息得到更細化的特征點，最后通過圖像處理方法得到更細化的特征點的三維坐標，并進入步驟二 ；
[0008]步驟二，恢復相機位置；先分析當前幀的特征點情況，然后判斷特征點數(shù)目是否足夠以及包含的特征信息是否豐富；如果否則拋棄當前幀并繼續(xù)采集下一幀圖像，如果是則將當前幀里的特征點與最后一個已知相機位置采集到的圖像中的特征點進行特征比對，并判斷是否有足夠的特征點匹配并得到粗略的相機位置，如果否則增大已知相機位置的搜索范圍，或拋棄當前幀如果已經(jīng)是最大搜索范圍，如果是則進入步驟三，
[0009]步驟三，細化相機位置并合并三維點云；先扭曲當前幀并與匹配的已知幀再次對t匕，得到更精確的相機位置，然后將當前幀合并到整體坐標系并實時顯示三維數(shù)據(jù)，同時將當前巾貞的特征點加入特征點庫。
[0010]進一步地，所述后處理部分包括如下步驟:
[0011]步驟一，隨機選定一幀作為空間上的根節(jié)點；
[0012]步驟二，以根節(jié)點為圓心，從近到遠逐漸搜索空間內(nèi)各幀與根節(jié)點的特征點進行對比；
[0013]步驟三，判斷各幀是否與根節(jié)點存在能夠進行互相關(guān)比對的匹配的特征點，如果是則進入步驟四，如果否則進入步驟五；
[0014]步驟四，標記此幀為根節(jié)點的相鄰幀，扭曲所述相鄰幀并與根節(jié)點進行互相關(guān)比對，然后返回步驟三；
[0015]步驟五，標記此幀為根節(jié)點的子節(jié)點，以各子節(jié)點為圓心，從近到遠逐漸搜索各子節(jié)點的相鄰幀和子節(jié)點，直到空間內(nèi)所有的幀都被搜索到并被標記為相鄰幀或子節(jié)點，然后進入步驟六；
[0016]步驟六，各相鄰幀的實時位置通過扭曲與子節(jié)點或根節(jié)點進行互相關(guān)比對，得到后處理位置，同時各相鄰幀的三維點云也使用后處理位置與子節(jié)點進行比對和平均，從而合并成以子節(jié)點為中心的三維點云，各子節(jié)點合并得到的三維點云通過與根節(jié)點比對和平均后合并成三維模型。
[0017]本發(fā)明的有益效果在于:所述三維成像方法可以精確地測量手持式掃描過程中相機的相對位置，并極大地減小了因多組三維點云疊加引起的最終三維圖像的較大精度誤差，從而提聞二維成像的精確性。

【專利附圖】

【附圖說明】
[0018]圖1為本發(fā)明所述的實時處理部分的初始處理步驟的流程框圖；
[0019]圖2為本發(fā)明所述的實時處理部分的恢復相機位置和細化相機位置并合并三維點云步驟的流程框圖；
[0020]圖3為本發(fā)明所述的后處理部分的流程框圖。

【具體實施方式】
[0021]下面將結(jié)合附圖對本發(fā)明的具體實施例進行詳細說明。
[0022]如圖1、圖2和圖3所示，三維成像方法分為實時處理和后處理兩部分。實時處理是在手持式相機移動掃描過程中在計算機上對二維圖像進行快速處理，實時顯示出相機的位置和掃描出的三維模型。后處理是在掃描完成后對采集的數(shù)據(jù)進行再次處理以得到更精確的三維數(shù)據(jù)。
[0023]如圖1和圖2所示的實時處理的工作流程框圖，主要分為初始處理、恢復相機位置、和細化相機位置并合并三維點云三步。在初始處理階段，手持式三維掃描過程的每個獨立的時刻(to，tl, t2，…，tn)，相機芯片上都會采集到一幀二維圖像并可以分成左右(或上下)兩幅圖像。在實時處理，通過立體成像中常用的圖像處理方法(如互相關(guān)、最小二乘法等)比對左右(或上下)兩幅圖像就可以得到這個時刻的密集三維點云。同時，系統(tǒng)還將尋找圖像中的二維特征點并進行粗略的特征描述，特征點的尋找可以使用已有的SIFT算法或自定義的特征來實現(xiàn)。由于三維幾何形狀的特性，尋找到的每個二維特征點附近都有特定的三維點云的坐標和角度分布信息，因此我們可以進一步增加特征點的特征描述，得到更細化的特征點。然后，對已經(jīng)細化的特征點進行立體圖像處理，得到特征點的三維坐標。因此，初始處理后當前幀會含有一個密集的三維點云和一個稀疏的三維特征點云。
[0024]完成當前幀的初始處理后，系統(tǒng)開始尋找當前幀的相機位置。首先假定除第一幀(to)以外所有時刻(tl，t2，…，tn)的相機位置都已經(jīng)丟失，需要通過恢復相機位置來繼續(xù)手持式掃描。具體方法是先分析當前幀的特征點情況，包括特征點數(shù)目是否足夠、包含的特征信息描述是否豐富等。如果特征點情況不能滿足進一步處理需要，系統(tǒng)會拋棄當前幀并繼續(xù)下一幀圖像采集。如果特征點情況較好，系統(tǒng)將當前幀里的特征點與最后一個已知相機位置采集到的圖像中的特征點進行特征比對。由于每個時刻采集到的圖像都包含有特征點，所有已知相機位置的特征點都會被收集到位于整體坐標系下的特征點庫中以便新的幀進行特征比對。如果當前幀與最后一個相機位置圖像的比對沒有足夠的特征點匹配，系統(tǒng)將以最后一個相機位置為圓心逐步增大搜索范圍，直到當前幀和搜索范圍內(nèi)的幀比對獲得足夠的特征點匹配為止。如果搜索范圍已經(jīng)達到掃描的最大范圍但當前幀仍然無法獲得足夠特征點匹配，說明當前幀的相機位置離已經(jīng)掃描過的區(qū)域太遠，應(yīng)當把當前幀拋棄并采集新的一幀圖像。由于特征點的三維坐標在初始處理中已經(jīng)測得，因此當前幀和已知位置獲得足夠特征點匹配后系統(tǒng)可以很容易計算出兩者的相對位置，稱為當前幀的粗略位置。此時當前幀的相機位置已經(jīng)成功恢復。
[0025]計算出相機的粗略位置后，系統(tǒng)將通過圖像扭曲的方法使當前幀變得與匹配的已知幀更相似，然后系統(tǒng)將扭曲后的當前幀和已知幀互相關(guān)對比，從而得到更精確的相機位置，稱為當前幀的實時位置。利用得到的實時位置，系統(tǒng)可將當前幀得到的密集三維點云轉(zhuǎn)換到整體坐標系下，與之前掃描出的三維點云一起在屏幕上實時顯示。同時，當前幀中的三維特征點也將轉(zhuǎn)換到整體坐標系下并加入特征點庫以便新的幀進行特征比對。到這一階段為止，當前幀的實時處理已經(jīng)完成，系統(tǒng)將采集下一幀圖像。
[0026]當手持式實時掃描結(jié)束時，物體的三維模型重建也已經(jīng)完成。由于實時處理過程中主要是根據(jù)不同幀在時間上的相鄰或相近的原則進行比對和合并，容易造成最終三維模型重建因誤差疊加而引起的較大偏差。這時系統(tǒng)將對采集到的所有數(shù)據(jù)進行后處理以得到更精確的三維數(shù)據(jù)。由于實時處理后得到的三維模型已經(jīng)把掃描中采集到的所有時刻的幀在空間上連成了一個整體，后處理可以利用空間上的連續(xù)性將不同時刻的幀根據(jù)空間上的遠近進行重新排列和比對，從而減少相鄰或相近時刻幀比對而引起的誤差疊加。具體方法是首先隨機選定一幀作為空間上的根節(jié)點，可以是第一幀、最后一幀、或者空間里中心位置的幀等。以根節(jié)點為圓心，從近到遠逐漸搜索空間內(nèi)各幀與根節(jié)點的特征點比對情況。如果某一幀與根節(jié)點存在足夠多的特征點匹配，可以扭曲此幀進而與根節(jié)點進行更精確的互相關(guān)比對，那么此幀被認為是根節(jié)點的相鄰幀。此幀被標記為相鄰幀之后將不再被繼續(xù)搜索。如果某一幀與根節(jié)點存在一些特征點匹配但不足以進一步進行互相關(guān)比對，那么此幀被認為是根節(jié)點的子節(jié)點。然后以各子節(jié)點為圓心，同樣從近到遠逐漸搜索各子節(jié)點的相鄰幀和子節(jié)點，直到空間內(nèi)所有的幀都被搜索到并被標記為相鄰幀或子節(jié)點為止。所有幀搜索并標記完成后，各相鄰幀的實時位置將通過扭曲和其節(jié)點(子節(jié)點或根節(jié)點)進行互相關(guān)比對得到更精確的后處理位置。同時各相鄰幀的密集三維點云也將使用后處理位置與其節(jié)點進行比對和平均，從而合并成更精確、范圍更大、以節(jié)點為中心的三維點云。然后，各子節(jié)點合并得到的三維點云在通過與根節(jié)點比對和平均最終合并成一個更精確的完整三維模型。
[0027]與實時處理階段各幀的密集三維點云采用相鄰或相近時間的原則合并相比，后處理中合并三維點云的方法更注重三維點云的在整體坐標系下的一致性,通過平均不同幀(不同時刻)獲得的空間內(nèi)相同的點得到該點更接近于真實值的三維坐標。
[0028]在對手持式相機實時獲取的圖像數(shù)據(jù)處理中，本方法首先假定當前幀的相機位置丟失并采用初始處理、恢復相機位置、細化相機位置并合并三維點云的方式對圖像進行快速且相對精確的手持式三維重建。尤其在恢復相機位置中，恢復的方法是以位置丟失前的最后位置為圓心進行某個半徑范圍內(nèi)的搜索，并逐漸擴大半徑范圍直到搜索到特征點匹配；相對于對整個特征點的數(shù)據(jù)庫從頭開始進行線性搜索以獲得特征點匹配，整個過程比較漫長且使用過多的計算資源。由于在掃描過程中丟失相機位置后，相機往往在離最后的掃描位置比較近的地方，因此使用這種搜索方法可以大大提高相機位置恢復的速度和減少計算資源的使用。
[0029]在實時處理中系統(tǒng)會從圖像上獲取一些特征點以方便不同幀的圖像比對，從而得到當前幀的相機位置。首先根據(jù)點的大小和相機芯片像素來調(diào)整找到粗略的二維特征點，同時通過的互相關(guān)比對等方法找到密集的三維坐標；然后通過三維點云的坐標和角度分布和來進一步豐富特征點的特征，從而提高特征點匹配的效率，提高相機位置恢復的速度。如果使用彩色的相機芯片，可利用在幾種不同顏色通道下的特征點來提高特征點的獲取和匹配。使用立體圖像比對的方法獲取選擇的特征點的三維坐標。
[0030]選擇更合理的圖像部分進行互相關(guān)比對來避免因誤差累積引起的偏差。在做不同時刻的圖像的比對前，往往是先將一個時刻(t2)的圖像扭曲或者投射到之前(tl)的圖像平面以減少兩組圖像間的差異。在比對過程中，常見的方法是對tl和t2的左右圖像分別進行互相關(guān)比對來獲得各自時間的三維坐標，對tl和t2的左(或右)圖像進行互相關(guān)比對來獲得兩個時間的姿態(tài)關(guān)聯(lián)進而得到相機的姿態(tài)變化；由于任何一次互相關(guān)比對本身存在誤差，上述的比對方法的最終誤差是tl和t2的左(或右)圖像互相關(guān)誤差和t2的左右圖像互相關(guān)誤差的疊加。本系統(tǒng)采用的新方法仍然對tl時間的左右圖像進行比對以獲得三維坐標，但用tl的左(或右)圖像分別與t2的左和右圖像進行互相關(guān)比對以獲得兩個時間的姿態(tài)關(guān)聯(lián)，并避免由于使用不同參照圖像進行比對所引起的誤差疊加。
[0031]三維掃描中位置相近的三維點云往往存在很多相同的點。當進行多組相似的三維點云比對時，每個匹配的點都有一個誤差范圍，一般情況下這個范圍是以該點的平均值為球心的一個球狀結(jié)構(gòu)。而由于三維光學系統(tǒng)的特殊性，每一個點的三維坐標誤差范圍實際上是一個以平均值為中心的圓柱形，并且圓柱形的高與球形的直徑一致。由于相機姿態(tài)的變化，每組點云里點的這種誤差圓柱形的角度也各異；在這種情況下，每進行一次點云比對，相同的點的誤差范圍就會減小一圈，因此在同一空間位置的多次掃描會不斷提高測量的精度。
[0032]三維光學系統(tǒng)的標定是三維圖像/點云重建的標尺，直接決定了最終三維數(shù)據(jù)的精度。通常的標定方法是選擇一個垂直于深度方向的標準的點陣，沿著系統(tǒng)的深度方向移動到不同位置并探測每個位置上點陣上所有點的平面和深度位置，這樣就形成了一系列垂直于深度方向的不連續(xù)三維點陣平面?，F(xiàn)有的方法下相鄰平面間的數(shù)據(jù)空隙通過線性或非線性的數(shù)學模型擬合來填補，從而獲得一個連續(xù)的三維點陣矩陣。新的方法將在每一個三維點陣平面上加入光學系統(tǒng)的光線追蹤方向來進行數(shù)據(jù)擬合，這樣獲得的連續(xù)三維點陣矩陣將更接近于真實的光學系統(tǒng)，從而提高三維重建的精度。
[0033]本發(fā)明所述的三維成像方法可以精確地測量手持式掃描過程中相機的相對位置，并極大地減小了因多組三維點云疊加引起的最終三維圖像的較大精度誤差，從而提高三維成像的精確性。
[0034]以上所述的內(nèi)容僅僅是本發(fā)明的具體實施例，并不是對本發(fā)明的限制。本領(lǐng)域的技術(shù)人員在該實施例的啟示下所作出的由常規(guī)技術(shù)手段變化所得的發(fā)明創(chuàng)造，都在本發(fā)明的保護范圍內(nèi)。
【權(quán)利要求】
1.一種三維成像方法，包括實時處理和后處理兩部分，其特征在于: 所述實時處理部分是相機在進行移動三維掃描過程中在計算機上對二維圖像進行快速處理，實時顯示出相機的位置和掃描出的三維模型； 所述后處理部分是對實時處理部分中采集的數(shù)據(jù)進行二次處理，以得到重建后的三維數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的三維成像方法，其特征在于:所述實時處理部分包括如下步驟: 步驟一，初始處理；相機在三維掃描過程的每個獨立時刻，采集到一幀二維圖像并分成左右兩幅圖像或者上下兩幅圖像，通過圖像處理方法處理左右兩幅圖像或者上下兩幅圖像以得到密集三維點云，同時，搜索含有二維信息的粗略特征點，然后通過增加特征信息得到更細化的特征點，最后通過圖像處理方法得到更細化的特征點的三維坐標，并進入步驟-* ; 步驟二，恢復相機位置；先分析當前幀的特征點情況，然后判斷特征點數(shù)目是否足夠以及包含的特征信息是否豐富；如果否則拋棄當前幀并繼續(xù)采集下一幀圖像，如果是則將當前幀里的特征點與最后一個已知相機位置采集到的圖像中的特征點進行特征比對，并判斷是否有足夠的特征點匹配并得到粗略的相機位置，如果否則增大已知相機位置的搜索范圍，或拋棄當前幀如果已經(jīng)是最大搜索范圍，如果是則進入步驟三， 步驟三，細化相機位置并合并三維點云；先扭曲當前幀并與匹配的已知幀再次對比，得到更精確的相機位置，然后將當前幀合并到整體坐標系并實時顯示三維數(shù)據(jù)，同時將當前幀的特征點加入特征點庫。
3.根據(jù)權(quán)利要求1所述的三維成像方法，其特征在于:所述后處理部分包括如下步驟: 步驟一，隨機選定一幀作為空間上的根節(jié)點； 步驟二，以根節(jié)點為圓心，從近到遠逐漸搜索空間內(nèi)各幀與根節(jié)點的特征點進行對比； 步驟三，判斷各幀是否與根節(jié)點存在能夠進行互相關(guān)比對的匹配的特征點，如果是則進入步驟四，如果否則進入步驟五； 步驟四，標記此幀為根節(jié)點的相鄰幀，扭曲所述相鄰幀并與根節(jié)點進行互相關(guān)比對，然后返回步驟三； 步驟五，標記此幀為根節(jié)點的子節(jié)點，以各子節(jié)點為圓心，從近到遠逐漸搜索各子節(jié)點的相鄰幀和子節(jié)點，直到空間內(nèi)所有的幀都被搜索到并被標記為相鄰幀或子節(jié)點，然后進入步驟六； 步驟六，各相鄰幀的實時位置通過扭曲與子節(jié)點或根節(jié)點進行互相關(guān)比對，得到后處理位置，同時各相鄰幀的三維點云也使用后處理位置與子節(jié)點進行比對和平均，從而合并成以子節(jié)點為中心的三維點云，各子節(jié)點合并得到的三維點云通過與根節(jié)點比對和平均后合并成三維模型。
【文檔編號】G06T17/00GK104517280SQ201310563848
【公開日】2015年4月15日 申請日期:2013年11月14日 優(yōu)先權(quán)日:2013年11月14日
【發(fā)明者】呂鍵 申請人:廣東朗呈醫(yī)療器械科技有限公司