本發(fā)明屬于三維信息技術領域，尤其涉及一種基于多攝像機的實時三維點云重建方法和系統(tǒng)。

技術背景

三維重建是計算機視覺、計算機圖形學等領域常見的問題。所謂三維物體重建是指通過傳感設備獲得空間三維物體的2d圖像或2.5d深度數(shù)據(jù)，從中恢復出物體的三維結構。傳感類型可以包括可光學成像、激光掃描、熱成像等。三維重建在計算機輔助設計、3d動畫/游戲、科學計算和虛擬現(xiàn)實、工業(yè)測量等方面有著許多應用。

目前，市面上常用的三維重建設備或方法包括三種。第一種是基于激光掃描的方法，其主要是基于激光測距的原理，此類設備的構造一般主要包括一臺高速精確的激光測距儀、數(shù)碼相機、以及引導激光運動的輔助設備。采用激光掃描的方法具有精度高、速度快的優(yōu)點，然而其設備往往價格昂貴，并且體積等常比較大；第二種方法是基于立體視覺的方法，即通過兩臺以上攝像機從不同角度對物體進行拍攝，分析獲得的圖像數(shù)據(jù)，從中計算出物體各個三維點的空間位置，從而得到三維重建數(shù)據(jù)。這類方法關鍵需要解決高精度的攝像機標定、特征提取、以及立體匹配等計算問題，只有獲得精確的匹配結果，才有可能準確的恢復出物體三維點云信息。第三種方法是基于單攝像機及輔助信息的方法，這類方法需要在物體上打上主動光斑等輔助信息，通過分析紋理光斑的形變等變化來計算出物體的三維位置信息，比如一些設備采用紅外投影儀向物體投射結構化的光斑信息。這類方法的缺點在于需要額外的輔助設備，并且在對物體快速運動的場景會遇到困難。而且有一些三維重建的方法，物體輪廓分割不干凈，物體輪廓和物體外貌顏色信息獲取不準確，計算量大，步驟復雜。

技術實現(xiàn)要素：

本發(fā)明針對以上技術問題，提供一種基于多攝像機的實時三維點云重建方法和系統(tǒng)，精確度更高、效率更高、普遍適用、計算更簡單。

本發(fā)明采用的技術方案如下，一種基于多攝像機的實時三維點云重建方法，其特征在于，包括：

a1：搭建多攝像機同步采集系統(tǒng)：選擇一個封閉的三維立體空間，并在三維立體空間的四周合適位置上固定安裝一定數(shù)目的攝像機，攝像機拍攝的環(huán)境要求為單一顏色的靜態(tài)背景，控制燈源，使得空間內(nèi)部的光照均勻；

a2：多攝像機系統(tǒng)標定：確定各個攝像機的空間方位和內(nèi)部參數(shù)；

a3：建立投影查找表：將三維立體空間均分為若干個相同的粒塊，并標定粒塊的中心點位置坐標，依據(jù)攝像機的空間方位信息和內(nèi)部參數(shù)得到各粒塊中心點在各個攝像機像面上的成像點；

a4：圖像采集：通過攝像機對三維立體空間內(nèi)的運動物體圖像進行采集；

a5：物體輪廓分割：從采集的圖像中分割出物體輪廓；

a6：三維重建：通過步驟a5獲得t時刻多視圖物體輪廓圖像數(shù)據(jù)后，利用攝像機標定信息、捕捉粒塊的三維位置信息以及投影查找表，得到動態(tài)的物體重建數(shù)據(jù)。

優(yōu)選地，所述多攝像機系統(tǒng)標定方法為：1)采用常規(guī)的攝像機標定方法標定各個攝像機的內(nèi)部參數(shù)，所述內(nèi)部參數(shù)包括攝像機焦距、攝像機主點坐標以及成像畸變參數(shù)；2)在三維立體空間地面上平鋪合適大小的標定網(wǎng)格板，使得各個攝像機都能夠覆蓋成像；3)標定網(wǎng)格一角定義世界坐標系，各個攝像機對標定網(wǎng)格板拍攝，由已標定的攝像機內(nèi)部參數(shù)、標定網(wǎng)格板各網(wǎng)格點在世界坐標系上的位置坐標以及各攝像機得到的標定網(wǎng)格板中各網(wǎng)格點的像素坐標，并通過位姿估計的方法計算出攝像機的方位信息。

優(yōu)選地，所述物體輪廓分割的操作方法為，通過對其中任一臺攝像機采集的圖像的rgb各通道圖像與該攝像機對應的背景圖像的rgb各通道圖像對比，獲得分割后的物體輪廓圖像的rgb各通道圖像，得到物體輪廓像素點集合。

優(yōu)選地，所述三維重建的具體步驟如下：

b1：給定一個粒塊的二進制串狀態(tài)變量，并初始化；

b2:對每一幅分割得到的物體輪廓圖像進行以下掃描操作:通過對應于該攝像機的投影查找表，依次對其中的屬于前景物體輪廓區(qū)域的像素點集合的各像素點查找到對應的粒塊序號集合，并將每一個粒塊序號對應粒塊的狀態(tài)變量進行更新賦值；

b3：按照b2所述方法對t時刻多視圖所有物體輪廓圖像進行掃描操作結束后，得到物體形體粒塊；

b4：尋找表面點：具體為，對每一個重建點，判斷其上下、左右和前后6個鄰域點是否全部為重建點，若均為重建點，將該重建點予以剔除，最終得到物體對象在t時刻的三維重建點云。

優(yōu)選地，所述重建方法還包括色彩重建步驟，在獲得物體重建數(shù)據(jù)后，利用物體輪廓的顏色信息對物體外貌色彩進行重建。

優(yōu)選地，色彩重建的具體方法如下：

c1：對每個重建的粒塊定義一四維向量cn＝(r,g,b,m)(n＝1,2,…,nshape，nshape為形體粒塊的數(shù)目)，并初始化該向量元素值均為0；

c2：通過透視投影模型計算所找出的各物體粒塊在當前攝像機像面的深度數(shù)值，并確定離攝像機像面最近的重建物體粒塊，則將該像素點的顏色信息(rij,gij,bij)以下面的方式記錄到重建物體粒塊對應的四維向量cn＝(r,g,b,m):

c3：對每一個物體粒塊計算顏色值：對某物體粒塊，如果對應的四維向量中m值不為0，則該粒塊的顏色數(shù)據(jù)計算為如果對應的四維向量中m值為0，則通過周邊鄰接的粒塊顏色值插值得到，最終得到包含對應于物體外貌的顏色信息的彩色三維點云數(shù)據(jù)。

優(yōu)選地，在建立投影查找表時，記錄各個粒塊的深度信息，并對每個輪廓像素對應的粒塊集合按照深度大小進行排序存儲，以便于避免在上述步驟c3中再次進行深度計算，

一種基于多攝像機的實時三維點云重建系統(tǒng)，包括，封閉的單一顏色的靜態(tài)背景的三維立體空間、固定安裝在立體空間四周的若干個的攝像機與若干個燈源和計算機，其中所述攝像機與計算機連接，所述計算機包括：

攝像機標定模塊，用于確定各個攝像機的空間方位和內(nèi)部參數(shù)；

投影查找表計算模塊，用于建立投影查找表；

物體輪廓分割模塊，將攝像機采集得到的圖像中分割出物體輪廓；

三維重建模塊，用于根據(jù)攝像機的標定信息、捕捉粒塊的三維位置信息以及投影查找表，得到動態(tài)的物體重建數(shù)據(jù)。

優(yōu)選地，所述系統(tǒng)還包括色彩重建模塊，用于在獲得物體重建數(shù)據(jù)后，利用物體輪廓的顏色信息對物體外貌色彩進行重建。

本發(fā)明與現(xiàn)有技術相比，具有以下優(yōu)點：

(1)重建精度可以自主控制：通過設定劃分粒塊的大小，而得到不同的分辨率，可以獲得不同精度的重建效果，粒塊越細化，重建精度更高。

(2)重建效率高：采用了通過輪廓像素掃描向空間反向投影交匯的方法，其中最耗時的投影計算利用了投影查找表，這使得重建效率高；采用去除體內(nèi)粒塊的策略，使得大大降低了渲染和后續(xù)外貌重建的時間；同時，采用基于預先計算的深度信息，避免了在顏色重建過程中的對粒塊的多次掃描處理；這些策略使得能夠在普通pc機器上達到實時重建效果。

(3)計算更簡單：在輪廓分割時，封閉的三維立體空間的環(huán)境為單一顏色的靜態(tài)背景，不被其他外界物體干擾，采用了靜態(tài)簡單背景和均勻光照，通過該方法可以實時的獲取精準的物體輪廓和物體外貌顏色信息。

(4)適合并行計算：該方法適合采用并行計算來進一步提高效率，由于各個像面的掃描操作都是相互獨立的，甚至是每個像素的掃描操作都是相互獨立的，計算更快速。

(5)還原更真實。

附圖說明

圖1為本發(fā)明的方法步驟流程圖。

圖2為多個攝像機安裝及三維立體空間結構示意圖。

圖3為單一攝像機標定板及其圖像獲取示意圖。

圖4為多攝像機系統(tǒng)標定板及其圖像獲取示意圖。

圖5為三維立體空間劃分粒塊示意圖。

圖6為物體投影及投影查找表創(chuàng)建示意圖。

圖7為三維物體重建結果示例圖。

圖8為本發(fā)明的系統(tǒng)結構圖。

具體實施方式

下面結合附圖說明，對本發(fā)明進行詳細地介紹，應當理解，以下只是介紹本發(fā)明的具體實施方式，并不在于限定本發(fā)明的保護范圍。

一種三維重建方法，如圖1所示，包括以下內(nèi)容和步驟：

1、搭建多攝像機同步采集系統(tǒng)：如圖2所示，在足夠大的室內(nèi)劃分出合適大小、長寬高相等的三維立體空間，此三維立體空間為物體對象的運動空間，即物體對象只能限制在此三維立體空間內(nèi)運動。為說明方便，稱此三維立體空間為捕捉空間；在捕捉空間四周合適位置上固定安裝一定數(shù)目的攝像機，攝像機個數(shù)宜不少于10個。所有攝像機能夠?qū)Σ蹲娇臻g覆蓋成像，并能夠同步采集分辨率不少于640*480、幀率大于24幀每秒的彩色圖像數(shù)據(jù)。為了使物體重建不被其他動態(tài)物體干擾，可要求背景是靜態(tài)的，可在捕捉空間四周以可透光的單一顏色蒙皮覆蓋，從而布置出封閉的“表演舞臺”。在“舞臺”外圍合適位置和方位上布置燈源，通過控制燈源使得舞臺內(nèi)部的光照均勻，所有攝像機通過usb3.0或firewire接口連接到一臺計算機上。

2、多攝像機系統(tǒng)標定：如圖3所示，多攝像機系統(tǒng)標定是為了確定各個攝像機的空間方位和內(nèi)部參數(shù)。已知各攝像機標定信息，則可以確定空間點與其在各攝像機像面上二維像素坐標之間的關系，多攝像機系統(tǒng)標定，采用以下三步驟進行標定：(1)采用常規(guī)的攝像機標定方法標定各個攝像機的內(nèi)部參數(shù)，所謂內(nèi)部參數(shù)包括攝像機焦距、攝像機主點坐標以及成像畸變參數(shù)；(2)在捕捉空間地面上平鋪合適大小的標定網(wǎng)格板，使得各個攝像機都能夠覆蓋成像；(3)在標定網(wǎng)格一角定義世界坐標系cw，各個攝像機對標定網(wǎng)格板拍攝，由已標定的攝像機內(nèi)部參數(shù)、標定網(wǎng)格板各網(wǎng)格點在世界坐標系cw上的位置坐標以及各攝像機得到的標定網(wǎng)格板中各網(wǎng)格點的像素坐標，可以通過位姿估計的方法計算出攝像機的外部參數(shù)，也就是攝像機的方位信息，位姿估計方法可采用現(xiàn)有的位姿估計方法。

3、建立投影查找表：如圖4將捕捉空間沿著長、寬、高均勻劃分大小一致的小立體塊，設捕捉空間長、寬、高均為l,將長、寬、高各均勻劃分a段，由此得到小立體塊的個數(shù)nv為nv＝a×a×a,各小立體塊尺寸為為便于整除，可將a取為l可整除的數(shù)。為后續(xù)說明方便，將此小立體塊稱為粒塊，將常量nv稱為劃分分辨率，令并稱之為重建分辨率。基于世界坐標系cw得到各粒塊的中心點位置坐標，由已經(jīng)標定的攝像機內(nèi)、外參數(shù)，則可以由透視投影成像模型得到各粒塊中心點在各個攝像機像面上的像素坐標。假定(xi,yi,zi)為在空間三維點pi，為pi在攝像機k上的成像點，它們之間滿足透視投影關系如下：

其中為攝像機k的通過標定得到空間位姿和內(nèi)部參數(shù)。設攝像機數(shù)目為nc，則對nv個粒塊中每個粒塊中心點，都將得到對應的nc個投影像素坐標。反之，由透視投影成像模型可以得到捕捉空間所有粒塊中心點在各個攝像機像面上的投影點集合，對每個像面上的投影點集合中各個投影點，可以找到對應的捕捉空間粒塊集合，此粒塊集合中各個粒塊的中心點的投影都對應相同的投影點。例如，如圖5所示，對某個像面ii(i＝1,2,…,nc)，由透視投影成像模型可以得到捕捉空間nv個粒塊在像面ii上的所有投影像素點，設這些投影點組成集合其中pij表示像素點坐標，則對每一個pij可以找到對應的粒塊集合，該集合中的各個粒塊在ii的投影點坐標均為pij。為節(jié)省內(nèi)存空間，該粒塊集合存儲的是對應粒塊在捕捉空間所有nv個粒塊集合中的序號。由此，對每個像面ii可以建立一張恒定不變的投影查找表，通過該投影查找表，對每個像點pij可以迅速找到對應的粒塊序號集合，該粒塊序號集合中對應的各粒塊的投影均為pij。建立投影查找表：

4、物體輪廓分割：在上述拍攝環(huán)境下所得到的圖像其前景為物體對象，為了從圖像中分割出物體輪廓，以各個攝像機拍攝在無目標物體情況下一組序列圖像，從中得到這組序列圖像的平均圖像，作為背景圖。設在t時刻由多攝像機同步采集系統(tǒng)獲得nc幅圖像，為說明方便，稱這對應于同一時刻t的nc幅圖像為t時刻多視圖，并用表示，其中對應于第i個攝像機的圖像用表示。設對應于第i個攝像機的背景圖像為則通過簡單的差值法可以得到物體輪廓圖像具體的，假設對應于的rgb各通道圖像分別為對應于的rgb各通道圖像分別為對應于分割后的物體輪廓圖像的rgb各通道圖像分別為像素坐標用通(x,y)來表示，通過以下規(guī)則來獲得分割后的圖像：

若和不同時為-1，則被判定為前景物體輪廓中的像素點。通過上述方法可以得到物體輪廓像素點集合其中每個集合元素為6維的向量，即其中(xj,yj)為像素坐標，為對應像素顏色值。采用上述方法可以從中把物體覆蓋的區(qū)域干凈地分割了出來，并包含了該物體區(qū)域的顏色信息。由于采用了靜態(tài)簡單背景和均勻光照，通過該方法可以實時的獲取精準的物體輪廓和物體外貌顏色信息。除上述方法外，也可以采用其他更為復雜的前景分割方法，如減背景方法。

5、三維重建：在獲得t時刻多視圖物體輪廓圖像數(shù)據(jù)后，可以利用攝像機標定信息、捕捉空間粒塊三維位置信息以及投影查找表快速、準確地重建出物體對象在t時刻的三維重建。對各個時刻進行三維重建，就能夠得到動態(tài)的物體重建數(shù)據(jù)。三維重建的具體步驟如下：

1)對捕捉空間包含的nv個粒塊各個粒塊定義一個包含nc位的二進制串狀態(tài)變量并初始化各個二進制串狀態(tài)變量所有位為0狀態(tài)，例如假設nc＝10，則對每個粒塊的狀態(tài)變量定義其初始值為

2)對每一幅分割得到的物體輪廓圖像進行以下掃描操作:通過對應于該攝像機的投影查找表，依次對其中的屬于前景物體輪廓區(qū)域的像素點集合的各像素點查找到對應的粒塊序號集合，為集合元素數(shù)目。設對應的粒塊集合為svij＝{vijk|k＝1,2,…,kij}，其中vijk表示第k個粒塊在捕捉空間所有粒塊集合中的序號，即vijk∈{1,2,…,nv}。根據(jù)svij＝{vijk|k＝1,2,…,kij}，將每一個粒塊序號vijk對應粒塊的狀態(tài)變量進行更新賦值，即將對應第i位二進制數(shù)值更新為1，表示該粒塊在第i個攝像機像面投影點位于對應的物體輪廓區(qū)域內(nèi)。

3)按照2)所述方法對t時刻多視圖所有物體輪廓圖像進行掃描操作結束后，則只有那些粒塊狀態(tài)變量各個二進制位數(shù)值全為1的為物體上的粒塊。例如，對于nc＝10，則只有的粒塊為物體上的粒塊。為說明方便，稱這類粒塊為物體粒塊。若用各物體粒塊的中心三維點來代表對應的重建三維點，由此可以得到物體重建三維點云數(shù)據(jù)。為說明方便，稱此物體重建三維點云中的三維點為形體點。

4)由于三維重建只需要重建位于物體表面的點，被包含在物體內(nèi)部的點則無意義。為了提高顯示和處理速度，可以將內(nèi)部點進行去除。采用以下的方法可以快速去除內(nèi)部點：對每一個重建點，判斷其上下、左右和前后6個鄰域點是否全部為重建點。如果所有鄰域點均為重建點，則該重建點為內(nèi)部點，可以其從重建點云集合中予以剔除，最終得到物體對象在t時刻的三維重建點云。

6、色彩重建：在獲得物體三維重建點云數(shù)據(jù)后，可以利用物體輪廓的顏色信息對物體外貌進行重建。此處的外貌重建是指恢復出物體重建點云的顏色信息，外貌重建的具體方法如下：

首先，對每個重建的粒塊定義一四維向量cn＝(r,g,b,m)(n＝1,2,…,nshape，nshape為形體粒塊的數(shù)目)，并初始化該向量元素值均為0；

其次，依次對各個前景物體輪廓區(qū)域的像素點集合進行掃描操作，通過投影查找表找到各像素點對應的粒塊集合svij＝{vijk|k＝1,2,…,kij}，并找出其中屬于重建物體粒塊的粒塊。通過透視投影模型可以計算所找出的各物體粒塊在當前攝像機像面的深度數(shù)值，并確定離攝像機像面最近的重建物體粒塊則將該像素點的顏色信息(rij,gij,bij)以下面的方式記錄到對應的四維向量cn＝(r,g,b,m):

最后，對每一個物體粒塊計算顏色值：對某物體粒塊，如果對應的四維向量中m值不為0，則該粒塊的顏色數(shù)據(jù)計算為如果對應的四維向量中m值為0，則通過周邊鄰接的粒塊顏色值插值得到。最終可以得到包含對應于物體外貌的顏色信息的彩色三維點云數(shù)據(jù)。

為了提高重建效率，可以在創(chuàng)建投影查找表時，通過記錄各個粒塊的深度信息，進而對每個輪廓像素對應的粒塊集合按照深度大小進行排序存儲，從而避免在上述步驟中再次進行深度計算。

同時，提供一種基于多攝像機的實時三維點云重建系統(tǒng)，如圖7所述，包括，封閉的單一顏色的靜態(tài)背景的三維立體空間1、固定安裝在立體空間1四周的若干個的攝像機2與若干個燈源3和計算機4，其中所述攝像機2與計算機4連接，所述計算機4包括，攝像機標定模塊41，用于確定各個攝像機2的空間方位和內(nèi)部參數(shù)；投影查找表計算模塊42，用于建立投影查找表；物體輪廓分割模塊43，將攝像機2采集得到的圖像中分割出物體輪廓；三維重建模塊44，用于根據(jù)攝像機2的標定信息、捕捉粒塊的三維位置信息以及投影查找表，得到動態(tài)的物體重建數(shù)據(jù)，所述系統(tǒng)包括色彩重建模塊45，用于在獲得物體重建數(shù)據(jù)后，利用物體輪廓的顏色信息對物體外貌色彩進行重建。

本發(fā)明的實施例只是介紹其具體實施方式，不在于限制其保護范圍。本行業(yè)的技術人員在本實施例的啟發(fā)下可以作出某些修改，故凡依照本發(fā)明專利范圍所做的等效變化或修飾，均屬于本發(fā)明專利權利要求范圍內(nèi)。