專利名稱:多幅深度圖像的精確配準方法
技術領域:
本發(fā)明屬于計算機虛擬現(xiàn)實技術領域,具體地說是對多幅深度圖像的整體進行精確配準,消除兩兩配準的累積誤差,用于三維模型的幾何建模。
背景技術:
隨著近年來三維掃描技術的迅速發(fā)展,使用三維掃描儀建立物體的三維模型變得越來越普遍。三維掃描儀掃描得到的帶有深度信息的深度圖像,由于一次只能從一個角度掃描模型,所以,多次從不同角度掃描到的深度圖像需要進行拼接,即配準,以得到完整的物體模型。首先要進行兩兩配準,但由于存在累積誤差,兩兩配準后模型可能會出現(xiàn)嚴重的“裂縫”。本方法在兩兩配準的基礎上,對模型整體的進行精確配準,消除兩兩配準的累計誤差,優(yōu)化整體配準結果。
多幅深度圖像的精確配準與兩幅深度圖像的精確配準類似,都采用迭代的方法,逐步提高配準精確度。每次迭代過程中主要包含兩步搜索對應點和最小化對應點之間的誤差。不同方法的不同之處在于不同的對應點搜索策略、不同的誤差度量方法以及不同的誤差優(yōu)化算法。
多幅深度圖像的精確配準的目標是優(yōu)化整體誤差和消除兩兩配準的累積誤差。文獻1-G.Turk and M.Levoy.,Zippered Polygon Meshes from RangeImages,Proceedings of the 21st annual conference on Computer graphicsand interactive techniques,pp.311-318,1994提出了一種方法,首先得到一個低分辨率的整體模型,然后對每一幅高分辨率的深度圖像利用ICP算法在整體模型上進行配準,最終得到一個高分辨率的整體模型,但在許多情況下往往很難得到這樣一個整體模型。文獻2-Masuda,T.,Sakaue,K.,Yokoya,N.Registration and Integration of Multiple Range Images for 3-D ModelConstruction.In Proc.CVPR.,1996.先將所有的圖像先排成一個序列,然后依次讓每一幅圖像與它前面的所有圖像的并集使用ICP(Y.Chen,G.Medioni.Object Modeling by Registration of Multiple Range Images.IEEEConference on Robotics and Automation,pp.2724-2729,1992.)算法進行配準,但這依賴于配準序列的順序,不能很均勻的傳播誤差。文獻3-R.Bergevin,M.Soucy,H.Gagnon,and D.Laurendeau.Towards a General Multi-ViewRegistration Technique.IEEE Trans.Pattern Anal.Mach.Intell.,Vol.18,No.5,pp.540-547,1996.和文獻4-Benjemaa R.,Schmitt F.Fast GlobalRegistration of 3D Sampled Surfaces using a Multi-Z-Buffer Technique.International Conference on 3D Digital Imaging and Modeling(3DIM),1997.在所有圖像已粗略配準之后,分別讓每一幅深度圖像與其他所有圖像的并集用ICP算法進行兩兩配準,這樣反復循環(huán)后,最終得到收斂結果。但這樣的循環(huán)次數(shù)會很大,計算量很大。文獻5-Neugebauer P.J.Geometrical Cloning of3D Objects via Simultaneous Registration of Multiple Range Images[C].Proceedings of the 1997 International Conference on Shape Modeling andApplications(SMA’97),1997.將參考點投影到與之重疊深度圖像中得到對應點,并且使用點到切平面的距離作為誤差度量,然后使用Levenberg-Marquardt方法同時優(yōu)化整體誤差,由于使用同時優(yōu)化的方法,效率比前面方法要高,但還需要大量的計算。一個簡單而有效的加速方法是利用兩兩配準的結果預先計算出圖像之間的對應點,多幅深度圖像配準過程中僅僅使用這些對應點進行計算,這樣不需要將所有的數(shù)據裝入內存,可以大大節(jié)省時間和空間,對于處理大模型才更為實際。文獻6-Pulli,K.Multiview Registration for LargeData Sets.In International Conference on 3D Digital Imaging and Modeling(3DIM),1999.利用兩兩配準的結果,將參考點變換到與之對應的深度圖像的坐標系中的點的位置作為其對應點,文中稱其為“虛”對應點,多幅深度圖像配準過程中僅使用這些點作為對應點,然后使用類似于R.Bergevin,和BenjemaaR.的方法配準,由于省去了搜索對應點的過程,在時間和空間上均有較高的效率,但是它的對應點在多幅深度圖像配準過程中不能更新對應點,嚴重依賴兩兩配準的結果。文獻7-Sharp,G.,Lee,S.,Wehe,D.Multiview Registration of3D Scenes by Minimizing Error Between Coordinate Frames.IEEE Trans.PAMI,Vol.26,No.8,2004.特別注意到在回路中兩兩配準結果的不相容性,提出了一種調整方法,使得每條回路均得到相容的兩兩配準結果,但缺點是它沒有充分考慮不同的兩兩配準的精度不一致。
上述各種方法中,對應點搜索多是在全局中搜索最近點或投影點,沒有充分利用兩兩配準的結果,造成搜索范圍很大,影響計算速度。文獻6雖然利用兩兩配準結果,預先計算出對應點,提高了計算速度但卻對精確度造成一定影響。最小化對應點之間誤差的方法主要包括逐個優(yōu)化和同時優(yōu)化兩類方法,逐個優(yōu)化方法文獻6每次只能調整一副深度圖像位置,效率較低。同時優(yōu)化方法文獻5一次可以調整所有深度圖像的位置,因此效率較高,文獻5使用Ievenberg-Marquardt方法同時優(yōu)化誤差,但需要多次迭代,計算效率依然不高。
發(fā)明內容
本發(fā)明的技術解決問題克服現(xiàn)有技術的不足,提供一種具有配準和計算效率高的多幅深度圖像精確配準方法。
本發(fā)明的技術解決方案多幅深度圖像的精確配準方法,其特點在于步驟如下(1)判斷邊界點、噪聲點和孤立點,以去掉噪聲較大的點;(2)在不同深度圖像的重疊區(qū)域選擇參考點,并為每個參考點建立對應點緩沖區(qū),以便在緩沖區(qū)中搜索對應點;(3)采用迭代方法,逐步優(yōu)化整體配準精確度,在每次迭代過程中,首先為每個參考點在對應點緩沖區(qū)中搜索最近點作為對應點;然后使用偽逆矩陣最小化所述的對應點之間的誤差,如此多次迭代,直到誤差小于所要求的閾值為止。
所述的步驟(1)中判斷邊界點、噪聲點和孤立點的方法為將要判斷的點的球形鄰域投影到該點的切平面上,得到一個以該點為圓心的圓形投影區(qū)域,在該圓形投影區(qū)域的圓形周向和徑向上使用Pearson X2檢驗法,檢驗鄰域內所有投影點是否服從均勻分布,如果服從均勻分布,則該點不是邊界點、噪聲點和孤立點;否則,該點是邊界點、噪聲點和孤立點。
所述步驟(2)中的參考點的選擇方法參考點應位于兩幅深度圖像的重疊區(qū)域,且所述的該參考點在重疊區(qū)域應滿足以下兩個條件到最近對應點的距離小于所要求的閾值;其最近對應點不是邊界點、噪聲點和孤立點,所述步驟(2)中為每個參考點建立對應點緩沖區(qū)的方法為將參考點按兩兩精確配準結果變換到與之部分重疊的深度圖像坐標系中,然后在對應深度圖像中選取每個參考點的k鄰域,即到該參考點距離最近的k個點,作為該參考點的對應點緩沖區(qū),在搜索對應點過程中,僅在每個點的對應點緩沖區(qū)中搜索其對應點。
所述步驟(3)中使用偽逆矩陣最小化所述的對應點之間的誤差為方法為根據對應點直接構造矩陣MTM和向量MTb,求方程Mθ=b的最小二乘解,即為最小化對應點之間誤差的剛性變換,通過偽逆矩陣計算其最優(yōu)最小二乘解,得到θ=(MTM)+(MTb)。
本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于剔除邊界點、噪聲點和孤立點,提高了參考點的質量,而且利用邊界點還可以去掉位于與之對應深度圖像邊界附近的參考點,使參考點嚴格位于重疊區(qū)域,提高了對應點的質量,從而使優(yōu)化效果好,提高了配準效率。
而常見的邊界點檢驗方法是將點云數(shù)據網格化后,找到邊界邊,從而找到邊界點。但在許多情況下,很難得到一個高質量的流形表面,進而影響對邊界點的判斷。本發(fā)明則為不依賴網格,基于點云數(shù)據的邊界點檢驗方法。
根據兩兩配準的結果,為每個參考點建立對應點緩沖區(qū),減小了對應點的搜索范圍,提高了搜索速度,從而提高了配準效率。與在全局中搜索對應點的方法文獻5相比,縮小了對應點搜索范圍,效率提高一倍以上。與文獻6方法相比,又不會影響對應點準確性,兼顧了效率和精確度。
使用偽逆矩陣最小化對應點之間的誤差,計算過程中處理的最大矩陣A為6N×6N(N為深度圖像個數(shù))階稀疏矩陣,避免了與參考點個數(shù)成正比的巨大矩陣,而且偽逆矩陣數(shù)值穩(wěn)定性很高,無需迭代,因此本發(fā)明具有較高的計算效率和穩(wěn)定性。與文獻5使用Ievenberg-Marquardt數(shù)值方法優(yōu)化方法相比,本發(fā)明使用偽逆矩陣優(yōu)化對應點誤差,無需多次迭代,直接求得優(yōu)化結果,計算效率提高了一倍以上。
圖1為本發(fā)明多幅深度圖像精確配準主要流程圖;圖2為本發(fā)明實施例對兵馬俑模型的建模效果。
具體實施例方式
如圖1所示,本發(fā)明的具體步驟如下1.邊界點、噪聲點和孤立點的檢驗對于任意一點p,判斷它是否是邊界點、噪聲點和孤立點步驟如下第一步,對于深度圖像中任意一點p,它的半徑為r的球形鄰域記為NB(p,r)={q|‖p-q‖<r},即到p的距離小于r的點。
第二步,用主元分析法在p點建立局部坐標系,p為原點,z軸(即最小特征值所對應的特征向量)為p的法向量,x、y軸(其余兩個特征向量)張成p的切平面σ。
第三步,因流形曲面局部同胚于圓面,將點p及其鄰域投影到σ上,將點qi到σ上的投影記作qi′。則NB(p,r)投影到圓形區(qū)域,圓心為p,半徑為r。
第四步,對以p為圓心,NB(p,r)在σ上半徑為r的圓面進行二維均勻分布的檢驗,做法是將半徑為r的圓按徑向和周向等分,即將圓心角2π等分成S1塊扇形,每塊的圓心角均相等,周向方面將面積πr2等分成S2塊同心圓環(huán),每塊的面積均相等。由于是均勻分塊,所以樣本在每一區(qū)間出現(xiàn)的期望頻率應相等,然后采用Pearson X2檢驗法檢驗在徑向和周向分塊中樣本實際頻率是否與期望值有無顯著差異。
第五步,如果在周向和徑向上均無顯著差異,即服從二維均勻分布,則p點不是邊界點、噪聲點和孤立點,否則p點是邊界點、噪聲點和孤立點。
2.參考點的選取及對應點緩沖區(qū)的建立要在兩幅深度圖像的重疊區(qū)域選取點作為參考點,以進行配準計算,選取的參考點必須滿足下列兩個條件條件1參考點到其對應點的距離小于用戶所要求的閾值;條件2參考點及其對應點都不是邊界點。
要為每一個參考點建立對應點緩沖區(qū),做法是將參考點按兩兩精確配準結果變換到與之部分重疊的深度圖像坐標系中,然后在對應深度圖像中選取每個參考點的k鄰域,即到該參考點距離最近的k個點,作為該參考點的對應點緩沖區(qū),在搜索對應點過程中,僅在每個點的對應點緩沖區(qū)中搜索其對應點。
3.優(yōu)化深度圖像之間的誤差在選取了參考點及其對應點緩沖區(qū)后,采用迭代方法逐步縮小深度圖像之間的配準誤差。每次迭代過程主要分兩步,第一步為每個參考點在對應點緩沖區(qū)中搜索最近點作為對應點,第二步,使用偽逆矩陣最小化對應點之間的誤差,如此多次迭代,直到誤差小于用戶所要求的閾值為止。使用偽逆矩陣最小化對應點之間的誤差的方法如下設第i幅深度圖像的第k個參考點表示為pik,其在第j幅深度圖像中的對應點表示為qijk。將誤差定義為對應點之間距離的平方和,即總誤差e=ΣiΣj≠iΣk||pik-qijk||2.]]>令pik所對應的矩陣為Mik=0z-y100-z0x010y-x0001,]]>其中x、y、z分別為pik的x、y、z坐標。qijk所對應的矩陣記為Mijk,設第i幅深度圖像所對應的剛性變換為θi=[α β γ txtytz]T,α、β、Y分別為繞x、y、z軸的旋轉角,tx、ty、tz為平移分量。令M=···············0Mik0-Mijk0···············,b=Mqijk-pikM,]]>θ=θ1θ2MθN,]]>則方程Mθ=b的最小二乘解即為所求的最優(yōu)變換。由矩陣的性質可得θ=M+b,其中M+為M的偽逆矩陣。又M+=(MTM)+MT,所以θ=(MTM)+(MTb)。設N為深度圖像個數(shù)。令MTM=[Aij]N×N=A,MTb=[di]N×1=d,對Aij,di計算如下設所有的Aij和bi等于0,對于每個pik和qijkAii←Aii+MikTMikAij←Aij-MikTMijkAji←Aji-MijkTMikAjj←Ajj+MijkTMijkdi←di+MikT(qijk-pik)dj←dj-MijkT(qijk-pik)循環(huán)后則θ=A+d即為所求的最小化對應點之間距離平方和的變換。實際計算中不計算過大的矩陣M和b,直接計算MTM和MTb,求得θ,這樣提高了計算效率。
圖2是使用三維掃描儀對兵馬俑建模的例子。掃描后獲得16幅深度圖像,每幅深度圖像約20多萬個點。兩兩配準后,共得到40對深度圖像兩兩重疊關系。多幅深度圖像配準方法為首先為每一幅深度圖像計算邊界點,對于預判斷的點p,選取周圍42個最近點作為鄰域,Pearson X2檢驗時,周向上將圓6等分,取置信度為0.95,徑向上將圓3等分,置信度為0.975,計算得到邊界點;然后,使用OcTree均勻采樣參考點,并為每個參考點建立對應點緩沖區(qū),緩沖區(qū)的大小為10,共獲得有效參考點101257個。迭代26次,用時197秒,迭代收斂,平均每10000點每次迭代時間約0.75秒,其中約5%的時間計算對應點,約5%的時間用于計算偽逆矩陣,約90%的時間用于構造的矩陣A和d。
權利要求
1.多幅深度圖像的精確配準方法,其特征在于步驟如下(1)判斷邊界點、噪聲點和孤立點,以去掉噪聲較大的點;(2)在不同深度圖像的重疊區(qū)域選擇參考點,并為每個參考點建立對應點緩沖區(qū),以便在緩沖區(qū)中搜索對應點;(3)采用迭代方法,逐步優(yōu)化整體配準精確度,在每次迭代過程中,首先為每個參考點在對應點緩沖區(qū)中搜索最近點作為對應點;然后使用偽逆矩陣最小化所述的對應點之間的誤差,如此多次迭代,直到誤差小于所要求的閾值為止。
2.根據權利要求1所述的多幅深度圖像的精確配準算法,其特征在于所述的步驟(1)中判斷邊界點、噪聲點和孤立點的方法為將要判斷的點的球形鄰域投影到該點的切平面上,得到一個以該點為圓心的圓形投影區(qū)域,在該圓形投影區(qū)域的圓形周向和徑向上使用Pearson X2檢驗法,檢驗鄰域內所有投影點是否服從均勻分布,如果服從均勻分布,則該點不是邊界點、噪聲點和孤立點;否則,該點是邊界點、噪聲點和孤立點。
3.根據權利要求1所述的多幅深度圖像的精確配準算法,其特征在于所述的步驟(2)中的參考點的選擇方法參考點應位于兩幅深度圖像的重疊區(qū)域,且所述的該參考點在重疊區(qū)域應滿足以下兩個條件到最近對應點的距離小于所要求的閾值;其最近對應點不是邊界點、噪聲點和孤立點。
4.根據權利要求1所述的多幅深度圖像的精確配準算法,其特征在于所述的步驟(2)中為每個參考點建立對應點緩沖區(qū)的方法為將參考點按兩兩精確配準結果變換到與之部分重疊的深度圖像坐標系中,然后在對應深度圖像中選取每個參考點的k鄰域,即到該參考點距離最近的k個點,作為該參考點的對應點緩沖區(qū),在搜索對應點過程中,僅在每個點的對應點緩沖區(qū)中搜索其對應點。
5.根據權利要求1所述的多幅深度圖像的精確配準算法,其特征在于所述的步驟(3)中使用偽逆矩陣最小化所述的對應點之間的誤差為方法為根據對應點直接構造矩陣MTM和向量MTb,求方程Mθ=b的最小二乘解,即為最小化對應點之間誤差的剛性變換,通過偽逆矩陣計算其最優(yōu)最小二乘解,得到θ=(MTM)+(MTb)。
全文摘要
多幅深度圖像的精確配準方法,步驟如下(1)判斷邊界點、噪聲點和孤立點,以去掉噪聲較大的點;(2)在不同深度圖像的重疊區(qū)域選擇參考點,并為每個參考點建立對應點緩沖區(qū),以便在緩沖區(qū)中搜索對應點;(3)采用迭代方法,逐步優(yōu)化整體配準精確度,在每次迭代過程中,首先為每個參考點在對應點緩沖區(qū)中搜索最近點作為對應點;然后使用偽逆矩陣最小化所述的對應點之間的誤差,如此多次迭代,直到誤差小于所要求的閾值為止。本配準方法的計算效率較高,適合處理數(shù)據量較大的模型。
文檔編號G06T7/00GK101051386SQ20071009949
公開日2007年10月10日 申請日期2007年5月23日 優(yōu)先權日2007年5月23日
發(fā)明者沈旭昆, 齊越, 趙沁平, 侯飛 申請人:北京航空航天大學