一種基于隨機三角形紋理的四維重構(gòu)的方法
【專利摘要】本發(fā)明公開了一種基于隨機三角形紋理的四維重構(gòu)的方法。一是生成隨機的三角形紋理，將紋理印到紙、布等對象的表面上；二是使用標定的兩個同步相機拍攝變形表面的動態(tài)過程，獲得兩個同步的圖像序列；三是提出一種在圖像上穩(wěn)定地檢測三角形的方法，使用該方法檢測兩個同步的圖像序列中每個圖像上的三角形；四是根據(jù)提出的基于全局與局部相結(jié)合的三角形描述符和三角形極線約束方法，匹配第一幀圖像上的三角形，并根據(jù)三角形匹配的結(jié)果將第一幀進行三維重建，根據(jù)三維重建的信息生成每個三角形的局部拓撲結(jié)構(gòu)；最后是在兩個同步的圖像序列中追蹤三角形，根據(jù)第一幀的對應關(guān)系重建所追蹤的當前幀，并且利用局部拓撲結(jié)構(gòu)檢測并修復出現(xiàn)的錯誤。
【專利說明】—種基于隨機三角形紋理的四維重構(gòu)的方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計算機視覺領(lǐng)域，具體是涉及ー種基于隨機三角形紋理的四維重構(gòu)的方法。
技術(shù)背景
[0002]近些年來，在醫(yī)學領(lǐng)域、力學領(lǐng)域、動畫制作、游戲以及一些其他的虛擬現(xiàn)實領(lǐng)域，對于動態(tài)變形表面的精確的、生動的模擬與可視化的需求越來越迫切。例如在動畫或者游戲領(lǐng)域，需要獲取旗幟、窗簾等生動而精確的動態(tài)過程模型，在力學領(lǐng)域，需要研究薄膜材料的動態(tài)物力特性，這些應用都需要獲取動態(tài)物體的四維數(shù)據(jù)。這是計算機視覺中的ー個難題，目前比較實用的方法就是通過攝像機拍攝動態(tài)物體的運動過程，然后通過圖像處理的手段，來獲取四維數(shù)據(jù)。
[0003]近些年來，也有ー些學者提出了ー些方法，主要包括兩類:一類是無標記的方法，另一類是有標記的方法。無標記的方法([1]M.Salzmann, R.Hartley, and P.Fua.Convex optimization for deformable surface3-d tracKing.1n Proceedings ofIEEE International Conference on Computer Vision, Rio dejaneiro, Brazil, 2007.,[2]F.Huguet and F.Devernay.A variational method for scene flow estimationfrom stereo sequences.1n Proc.1ntl.Conf.0n Computer Vision, Rio deJaneiro,Brasil,Oct.2007.1EEE.[3]Y.Furukawa and J.Ponce.dense3D motioncapture for human faces.1n IEEE Conference on Computer Vision and PatternRecognition, 2009.CVPR2009, pagesl674 - 1681，2009.)不需要在物體表面印紋理，而是使用自然紋理，使用起來比較方便。但是這種方法往往都是通過優(yōu)化進行的，計算復雜度高，并且在處理比較長的視頻時會有較大的累積誤差，精度不夠，所以在進行精確測量時，這類方法并不實用。
[0004]有標記的方法([4]`S.Park and J.Hodgins.Capturing andanimating skin deformation in human motion.ACM Transactions onGraphics (TOG), 25(3):889, 2006.[5]R.White, A.0bay, and D.Forsyth.Cloth capture.1nACM SIGGRAPH2005Sketches, page37.ACM, 2005.)需要在物體表面印上特殊的紋理，然后根據(jù)算法進行匹配和追蹤這些特殊的紋理，從而獲得物體的四維數(shù)據(jù)，這種方法雖然使用起來有點麻煩，但是不會產(chǎn)生累積誤差，并且精度也會很高，非常的穩(wěn)定。目前的有標記方法中，ー類主要的方法就是在物體表面印彩色編碼的紋理，然后根據(jù)彩色編碼進行左右匹配和前后幀的追蹤。但是這種彩色紋理容易受到光照和相機性能的影響，產(chǎn)生顔色失真，這使得在圖像匹配時，產(chǎn)生一定的難度，并且不夠準確。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提出一種魯棒的，沒有累積誤差的動態(tài)表面四維重構(gòu)方法。[0006]為達到上述目的的，本發(fā)明的技術(shù)方案是:ー種基于隨機三角形紋理的四維重構(gòu)的方法，包含以下步驟:
[0007]步驟1:生成隨機的三角形紋理；
[0008]步驟2:在圖像上檢測三角形；
[0009]步驟3:匹配第一幀中的三角形，并對其三維重構(gòu)；
[0010]步驟4:計算局部三角形拓撲；
[0011]步驟5:在圖像序列中追蹤三角形；
[0012]步驟6:基于局部拓撲結(jié)構(gòu)檢測錯誤與恢復。
[0013]其中，步驟I所述的生成隨機的三角形紋理，包含以下步驟: [0014]首先在圖像上生成若干可控的隨機點；
[0015]然后將生成的隨機點進行三角化，根據(jù)三角化的結(jié)果在黑圖像上使用白色畫三角形的邊；
[0016]最后將三角形圖像轉(zhuǎn)印到物體的表面上。
[0017]步驟2所述的在圖像上檢測三角形，包含以下步驟:
[0018]首先根據(jù)自適應的圖像二值化方法，將圖像進行二值化，生成二值圖像；
[0019]接著在二值圖像上檢測三角形連通區(qū)域，根據(jù)連通區(qū)域計算三角形的重心；
[0020]然后只保留連通區(qū)域的邊緣點，其他的點丟掉，在連通區(qū)域的邊緣點中，計算每個被檢測點的N個鄰居，然后計算該點與其N個鄰居點分別到重心點的距離，如果該被檢測的點到重心的距離大于其N個鄰居點到重心的距離，該點就是ー個三角形的角點。
[0021]步驟3所述的匹配第一幀中的三角形，包含以下步驟:
[0022]首先以每個三角形的重心為極點，以從重心開始，經(jīng)由三個頂點的三條射線為極軸，建立三個極坐標系，在姆個極坐標系中建立一個3X16的48維的直方圖來描述局部三角形的分布情況；對于每個48維的直方圖，其徑向增量為r/3，r是ー個預先設(shè)定的值，角度增量為^ /8 ；
[0023]接著在每個極坐標系中，根據(jù)局部鄰居三角形的重心相對于極點的距離，和相對于極軸的角度，在相應的直方圖槽中累加；
[0024]最后將形成的三個48維的向量按照三角形頂點的順時針方向集成在一起形成一個128維的局部三角形描述符，左右圖像便可以根據(jù)三角形描述符進行匹配。
[0025]步驟6所述的基于局部拓撲結(jié)構(gòu)檢測錯誤與恢復是根據(jù)在第一幀中生成的局部拓撲結(jié)構(gòu)信息，檢測每一幀重建的三角形，判斷其是否符合拓撲結(jié)構(gòu)；如果有差別，就將該被檢測的三角形列入錯誤列表；在錯誤列表中的三角形，會利用局部拓撲信息進行修復，從而取得較好的四維重建效果。
[0026]所述的局部拓撲結(jié)構(gòu)是根據(jù)步驟3第一幀中的三維重構(gòu)結(jié)果生成，其包括每個空間三角形的鄰居三角形、每個三角形的三個邊長、三角形的頂點到鄰居頂點的距離，在重建出第一幀之后，后續(xù)的幀都是通過追蹤兩個圖像序列中的三角形而得到的。
[0027]模擬的和實際的實驗表明，利用本發(fā)明的方法能夠穩(wěn)定地獲取四維數(shù)據(jù)，并且非常的精確，能夠有效地用于動畫、游戲建模，或者力學特性的研究。
【專利附圖】

【附圖說明】[0028]圖1:本發(fā)明基于隨機三角形紋理的四維重構(gòu)的過程圖。
[0029]圖2:生成的隨機點和隨機三角形的圖示。
[0030]圖3:在圖像上檢測三角形的過程圖示。
[0031]圖4:從三角形的連通區(qū)域的邊緣中提取三角形三個頂點的圖示。
[0032]圖5:三角形極線約束的圖示。
[0033]圖6:創(chuàng)建三角形局部描述符的圖示。
【具體實施方式】
[0034]下面結(jié)合附圖1對本發(fā)明的內(nèi)容作進ー步的詳細介紹。
[0035]第一歩，生成隨機的三角形紋理
[0036]首先在黒色的圖像上產(chǎn)生隨機的點，通過控制產(chǎn)生的點之間的距離，來控制隨機三角形的大小，以便產(chǎn)生的大小適合的三角形；然后通過三角化的算法對產(chǎn)生的隨機點進行三角化；最后根據(jù)三角化的結(jié)果在黑色圖像上用白色畫線。具體生成隨機點和三角形的結(jié)果如圖2所示，具體生成隨機三角形紋理的算法步驟如下:
[0037]1.設(shè)置隨機點的生成范圍；
[0038]2.隨機生成第一個點并且加到集合ST中；
[0039]3.設(shè)置控制三角形邊長的參數(shù)Dl和D2 ；
[0040]4.do
[0041]5?產(chǎn)生一個新的隨機點Pnew ;
[0042]6.計算從Pnew到集合ST中點的最大距離dmax,和最小距離dmin ；
[0043]7.1f dmin>Dl&&dmax〈D2then ；
[0044]8.將 Pnew 放到 ST 中；
[0045]9.else
[0046]10.丟棄 Pnew ；
[0047]11.until沒有合適的點產(chǎn)生；
[0048]12.對ST中的所有點進行三角化；
[0049]13.根據(jù)三角化的結(jié)果在黒色的圖像上，使用白色的邊畫線；
[0050]14.將生成的紋理轉(zhuǎn)印到物體的表面上。
[0051]第二步，在圖像上檢測三角形
[0052]首先在原始圖像上，使用局部自適應二值化的方法進行二值化，得到二值圖像。之所以使用局部自適應二值化方法，是因為在表面的運動過程中會由于遮擋等原告因引起局部光照的變化，如果使用ー個固定的域值進行二值化，將會產(chǎn)生錯誤。然后，在二值圖像上檢測三角形連通區(qū)域，并計算三角形連通區(qū)域的重心和連通區(qū)域的邊界點。接下來，檢測三角形的頂點，其具體方法如下:找到每個邊界點P的N個鄰居點Pn，并計算P與Pn到達重心的距離，如果P點到重心的距離大于它的N個鄰居到重心的距離，則P是ー個候選的三角形頂點。這樣便能檢測到所有的候選三角形頂點，但是在這些候選點中，也可能存在噪聲點，如果是噪聲點，必須將其刪除。最后，在所用的候選三角形頂點中，計算候選頂點中的任意三個點組成的三角形面積，找到組成三角形的面積最大的三個點，即為頂點。這樣便可以使用三角形的三個頂點和ー個重心來標識三角形?？梢酝ㄟ^這種方法，檢測到圖像序列中每個圖像上的三角形。見圖3和圖4所示。
[0053]第三歩，匹配第一幀中的三角形，并對其三維重構(gòu)
[0054]在匹配第一幀中的三角形時，采用兩種手段:三角形的極線約束，和全局與局部相結(jié)合的三角形描述符。給定左邊圖像上的ー個三角形，在右邊圖像上存在四條極線，這四條極線分別對應左邊三角形的三個頂點和ー個重心，見圖5。首先通過這四條極線過濾掉很多錯誤的三角形，保留下可能的三角形集合ST。接下來，創(chuàng)建每個三角形的全局與局部相結(jié)合的三角形描述符，根據(jù)全局與局部相結(jié)合的三角形描述符可以在集合ST找到精確對應的三角形。全局與局部相結(jié)合的三角形描述符如公式(I)所示:
【權(quán)利要求】
1.ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于包含以下步驟: 步驟1:生成隨機的三角形紋理； 步驟2:在圖像上檢測三角形； 步驟3:匹配第一幀中的三角形，并對其三維重構(gòu)； 步驟4:計算局部三角形拓撲； 步驟5:在圖像序列中追蹤三角形； 步驟6:基于局部拓撲結(jié)構(gòu)檢測錯誤與恢復。
2.根據(jù)權(quán)利要求1所述的ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于步驟I所述的生成隨機的三角形紋理包含以下步驟: 首先在圖像上生成若干可控的隨機點； 然后將生成的隨機點進行三角化，根據(jù)三角化的結(jié)果在黑圖像上使用白色畫三角形的邊； 最后將三角形圖像轉(zhuǎn)印到物體的表面上。
3.根據(jù)權(quán)利要求1所述的ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于步驟2所述的在圖像上檢測三角形，包含以下步驟:` 首先根據(jù)自適應的圖像二值化方法，將圖像進行二值化，生成二值圖像； 接著在二值圖像上檢測三角形連通區(qū)域，根據(jù)連通區(qū)域計算三角形的重心； 然后只保留連通區(qū)域的邊緣點，其他的點丟掉，在連通區(qū)域的邊緣點中，計算每個被檢測點的N個鄰居，然后計算該點與其N個鄰居點分別到重心點的距離，如果該被檢測的點到重心的距離大于其N個鄰居點到重心的距離，該點就是ー個三角形的角點。
4.根據(jù)權(quán)利要求1所述的ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于步驟3所述的匹配第一幀中的三角形包含以下步驟: 首先以每個三角形的重心為極點，以從重心開始，經(jīng)由三個頂點的三條射線為極軸，建立三個極坐標系，在每個極坐標系中建立ー個3 X 16的48維的直方圖來描述局部三角形的分布情況；對于每個48維的直方圖，其徑向增量為r/3，r是ー個預先設(shè)定的值，角度增量為^ /8 ； 接著在每個極坐標系中，根據(jù)局部鄰居三角形的重心相對于極點的距離，和相對于極軸的角度，在相應的直方圖槽中累加； 最后將形成的三個48維的向量按照三角形頂點的順時針方向集成在一起形成ー個128維的局部三角形描述符，左右圖像便可以根據(jù)三角形描述符進行匹配。
5.根據(jù)權(quán)利要求1所述的ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于步驟6所述的基于局部拓撲結(jié)構(gòu)檢測錯誤與恢復是根據(jù)在第一幀中生成的局部拓撲結(jié)構(gòu)信息，檢測每一幀重建的三角形，判斷其是否符合拓撲結(jié)構(gòu)；如果有差別，就將該被檢測的三角形列入錯誤列表；在錯誤列表中的三角形，會利用局部拓撲信息進行修復，從而取得較好的四維重建效果。
6.根據(jù)權(quán)利要求1或5所述的ー種基于隨機三角形紋理的四維重構(gòu)的方法，其特征在于所述的局部拓撲結(jié)構(gòu)是根據(jù)權(quán)利要求1步驟3第一幀中的三維重構(gòu)結(jié)果生成，其包括每個空間三角形的鄰居三角形、每個三角形的三個邊長、三角形的頂點到鄰居頂點的距離，在重建出第一幀之后，后續(xù)的幀都是通過追蹤兩個圖像序列中的三角形而得到的。
【文檔編號】G06T15/04GK103606183SQ201310554069
【公開日】2014年2月26日 申請日期:2013年11月8日 優(yōu)先權(quán)日:2013年11月8日
【發(fā)明者】史金龍, 劉鎮(zhèn), 王直, 錢強, 龐林斌, 白素琴 申請人:江蘇科技大學