本發(fā)明屬于圖像處理和點(diǎn)云配準(zhǔn)領(lǐng)域，具體涉及一種基于異構(gòu)深度攝像機(jī)的三維信息獲取方法及其裝置。

背景技術(shù)：

目前獲取物體深度信息的途徑主要有兩種:通過求取圖像匹配點(diǎn)視差而獲得深度的立體匹配方法以及深度攝像機(jī)方法。其中，廣泛使用的深度攝像機(jī)主要有采用結(jié)構(gòu)光技術(shù)的Kinect攝像機(jī)(指微軟公司的Kinect XBOX360，下同)和采用飛行時(shí)間(Time of Flight)技術(shù)的TOF攝像機(jī)(以Mesa公司的SR4000為代表)。兩種深度攝像機(jī)都具有各自的優(yōu)點(diǎn)和不足之處:所述TOF攝像機(jī)可以實(shí)時(shí)生成深度圖,且深度信息精度高，可支持硬件觸發(fā),但圖像分辨率低。例如Mesa公司的SR4000攝像機(jī)得到的深度信息精度可控制在1cm以內(nèi)，但最高圖像分辨率僅為176*144。采用結(jié)構(gòu)光技術(shù)的Kinect攝像機(jī)可生成高分辨率深度圖(深度圖分辨率最大為640*480),但是深度信息的可靠性低(深度信息精度為10cm以內(nèi))。

在逆向工程、立體電視、基于深度信息的模式識(shí)別等領(lǐng)域中，高分辨率精準(zhǔn)深度圖的出現(xiàn)將大大降低相關(guān)算法的技術(shù)難度。但是從上可以看出，只通過單獨(dú)的TOF攝像機(jī)或者Kinect攝像機(jī)都不能獲取高分辨率精準(zhǔn)深度圖。

國內(nèi)外現(xiàn)有的解決方法：將深度攝像機(jī)所得到的深度信息與立體匹配所得到的深度信息融合，以獲取高分辨率的精準(zhǔn)深度圖。立體匹配獲取深度信息除了要先進(jìn)行攝像機(jī)標(biāo)定外，還需要利用置信度傳播之類的算法，進(jìn)一步計(jì)算深度數(shù)據(jù)，計(jì)算過程耗時(shí)耗資源。同時(shí)，有的深度攝像機(jī)與普通彩色攝像機(jī)之間的標(biāo)定還需要借助精確的機(jī)械來進(jìn)行機(jī)械運(yùn)動(dòng)，從而根據(jù)運(yùn)動(dòng)軌跡進(jìn)行標(biāo)定，這就大大增加了使用的條件和限制了使用的場合。如中國專利公開號(hào)為CN101556696,公開日為2009年10月14日,名稱為基于陣列攝像機(jī)的深度圖實(shí)時(shí)獲取算法,該申請(qǐng)案公開了在標(biāo)定時(shí)直接使用了彩色攝像機(jī)陣列。其不足之處在于：普通彩色攝像機(jī)受光照和紋理的影響非常大，因此導(dǎo)致彩色攝像機(jī)與TOF深度攝像機(jī)進(jìn)行直接標(biāo)定的操作性差。

因此，要獲取物體的完整三維信息，在獲得某一個(gè)視角下的深度信息(點(diǎn)云)之后還需要將不同視角下的深度數(shù)據(jù)進(jìn)行配準(zhǔn)，這個(gè)過程稱為物體的三維點(diǎn)云配準(zhǔn)。目前大部分的粗配準(zhǔn)算法都是采用RANSAC和特征值結(jié)合的方法，例如Dror Aiger提出的共面四點(diǎn)集算法(出自Aiger D,Mitra N J,Cohen-Or D.4-points congruent sets for robust pairwise surface registration[C]//ACM Transactions on Graphics(TOG).ACM,2008,27(3):85.)。2014年Mellado Nicolas對(duì)Dror Aiger算法進(jìn)行改進(jìn)提出super 4pcs算法(出自Mellado N,Aiger D,Mitra N J.Super 4pcs fast global pointcloud registration via smart indexing[C]//Computer Graphics Forum.2014,33(5):205-215.)，通過約束目四邊形對(duì)角線之間的夾角范圍把相似控制集的數(shù)量減小。盡管如此，只依靠幾何特征尋找到的相似控制集準(zhǔn)確性仍然難以保證，而且控制集數(shù)量也非常龐大。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題，本發(fā)明的目的提供一種基于異構(gòu)深度攝像機(jī)的三維信息獲取方法，能夠獲取高分辨率的融合彩色信息的精準(zhǔn)深度圖，進(jìn)而獲取精準(zhǔn)的三維信息。

為實(shí)現(xiàn)上述目的，本發(fā)明按以下技術(shù)方案予以實(shí)現(xiàn)的：

本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法，包括如下步驟：

S1、在共同攝像視野內(nèi)，把標(biāo)定板放在最少在10個(gè)不同的位置，每個(gè)位置上分別利用Kinect攝像機(jī)和TOF攝像機(jī)拍攝至少1張圖片；

S2、根據(jù)Kinect攝像機(jī)和TOF攝像機(jī)各自拍攝的圖片，分別求取Kinect攝像機(jī)和TOF攝像機(jī)的內(nèi)部參數(shù)其中，其中α＝f/dx，β＝f/dy,f為攝像機(jī)的焦距，γ代表像素點(diǎn)在x,y方向上尺度的偏差。

S3、根據(jù)所述拍攝的圖片，根據(jù)公式提取可靠的深度信息，

其中D表示深度值，I表示強(qiáng)度值，T代表用大津法求得的閾值T；

S4、根據(jù)所述可靠的深度信息，分別對(duì)Kinect攝像機(jī)和TOF攝像機(jī)擬合各自的標(biāo)定板平面坐標(biāo)；

S5、結(jié)合所述內(nèi)部參數(shù)，在各自擬合的標(biāo)定板平面坐標(biāo)下，恢復(fù)Kinect攝像機(jī)和TOF攝像機(jī)的角點(diǎn)實(shí)際三維坐標(biāo)集；

S6、根據(jù)Kinect攝像機(jī)和TOF攝像機(jī)的角點(diǎn)實(shí)際三維坐標(biāo)集，求取二者之間的最小二乘轉(zhuǎn)換矩陣；

S7、根據(jù)最小二乘轉(zhuǎn)換矩陣對(duì)Kinect攝像機(jī)和TOF攝像機(jī)采集的可靠深度信息進(jìn)行的坐標(biāo)轉(zhuǎn)換，得到深度融合信息；

S8、將Kinect攝像機(jī)采集的彩色信息與深度融合信息進(jìn)行匹配；

S9、將匹配后的圖像信息，基于點(diǎn)間空間距離進(jìn)行點(diǎn)云配準(zhǔn)，獲取三維信息。

進(jìn)一步地，所述S9的步驟，具體為包括：

在源數(shù)據(jù)集P選取源控制集；

在目標(biāo)數(shù)據(jù)集Q，根據(jù)源控制集進(jìn)行色彩相似控制集的選??；

對(duì)源控制集和色彩相似控制集進(jìn)行LCP準(zhǔn)則求取最佳變換矩陣，并且利用最佳變換矩陣對(duì)源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q中的點(diǎn)云進(jìn)行拼接，獲取三維信息；

其中，所述源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q是不同視角下深度數(shù)據(jù)信息。

進(jìn)一步地，所述S91的步驟，具體是：

隨機(jī)在源數(shù)據(jù)集P中抽取共面的四點(diǎn){s₁,s₂,s₃,s₄}，其中{s₁,s₂,s₃,s₄}滿足:

其中，兩數(shù)據(jù)模型P和Q之間的重疊率為ω，源數(shù)據(jù)集P的平均點(diǎn)云間距d_avg，最大點(diǎn)云距離d_max，以及距離閾值Δ＝d_avg*a(a＝0.1)；

求取直線s₁s₃與s₂s₄的近似交點(diǎn)e_s，至此得到一個(gè)共面五點(diǎn)集:F_s＝{s₁,s₂,s₃,s₄,e_s}；

利用此共面五點(diǎn)集的以下四個(gè)特征值來表述此共面五點(diǎn)集：

①對(duì)角線單比②對(duì)角線單比③兩鄰邊之間的夾角④F_s中每個(gè)點(diǎn)對(duì)應(yīng)的顏色值在RGB顏色空間的顏色向量：

共面五點(diǎn)集F_s以及其對(duì)應(yīng)的顏色控制集C_s共同組成源控制集S＝{F_s,C_s}。

進(jìn)一步地，所述S92的步驟，具體是：

在目標(biāo)數(shù)據(jù)集Q中搜尋所有特征值滿足公式(5)-(8)的共面五點(diǎn)集F_t＝{t₁,t₂,t₃,t₄,e_t}；

D_C≤C (8)

其中β＝π/4，代表共面五點(diǎn)集的之間的角度誤差閾值；

e_t根據(jù)共面四邊形t₁t₂t₃t₄重新計(jì)算出來的交點(diǎn)；

C為點(diǎn)云顏色距離閾值是源控制集與相似控制集之間色差的衡量；

相似控制集中每個(gè)共面五點(diǎn)集都有對(duì)應(yīng)的顏色向量集合

所有滿足公式(8)的C_t與其對(duì)應(yīng)的共面五點(diǎn)集F_t組成色彩相似控制集T＝{T₁,T₂,...,T_n}。

進(jìn)一步地，所述S93的步驟，具體是：

將色彩相似控制集T_i＝{T_1,i,T_2,i,...,T_m,i,...}與源控制集S_i＝{F_s,i,C_s,i}利用最小二乘法求得一個(gè)旋轉(zhuǎn)矩陣R_m,i以及一個(gè)平移矩陣t_m,i；其中，m表示色彩相似控制集中的某一個(gè)；i表示次數(shù)；

根據(jù)該變換關(guān)系p'_m,i＝R_m,i*p+t_m,i，將源數(shù)據(jù)集P中的一點(diǎn)p變換到目標(biāo)集Q的坐標(biāo)下；

在目標(biāo)集Q中尋找與p'_m,i距離最小的點(diǎn)，該點(diǎn)與p'_m,i的距離即為p'_m,i與目標(biāo)點(diǎn)集Q的歐氏距離d(p'_m,i,Q)；

若d(p'_m,i,Q)≤Δ，則點(diǎn)p在最大一致集內(nèi)，LCP_m,i的數(shù)量增加1；

LCP_m,i數(shù)量最大時(shí)，對(duì)應(yīng)的旋轉(zhuǎn)矩陣R_m,i和平移矩陣t_m,i為最佳變換矩陣；

根據(jù)最佳變換矩陣對(duì)應(yīng)的源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q中點(diǎn)云進(jìn)行拼接，獲取三維信息。

進(jìn)一步地，所述S4的步驟，具體是：

角點(diǎn)的三維坐標(biāo)(x_d，y_d，z_d)

z_d＝D_p

其中，(x_o,y_o)為光心在圖像上的投影點(diǎn)，dx,dy為Kinect攝像機(jī)1的像素間距，D_p為其對(duì)應(yīng)的深度值，而Kinect攝像機(jī)1的焦距為f，利用角點(diǎn)的三維坐標(biāo)擬合出一個(gè)平面方程；

設(shè)平面方程為aX+bY+cZ＝d(10)，可以通過最小二乘法求得最優(yōu)的方程系數(shù)a,b,c,d，從而擬合出該平面。

進(jìn)一步地，所述S5的步驟，具體是：

假設(shè)圖像坐標(biāo)上的某一點(diǎn)角點(diǎn)H，其圖像坐標(biāo)為(x_h,y_h),(x_o,y_o)為光心在圖像上的投影點(diǎn)，dx,dy為角點(diǎn)H與Kinect攝像機(jī)和TOF攝像機(jī)的像素間距,D_h為其對(duì)應(yīng)的深度值，而攝像機(jī)的焦距為f，則光心和點(diǎn)H連線的直線方程為：

直線方程與平面方程的交點(diǎn)即角點(diǎn)的實(shí)際三維坐標(biāo)；

根據(jù)以上公式(10)和(11)，得出交點(diǎn)(x,y,z)的實(shí)際三維坐標(biāo)為：

至此取得到所有角點(diǎn)的實(shí)際三維坐標(biāo)集H₁＝{h₁，h₂，...h_n}，同理，另一臺(tái)攝像機(jī)得到的角點(diǎn)實(shí)際三維坐標(biāo)集H₂＝{h₁，h₂，...h_n}。。

進(jìn)一步地，所述S6的步驟，具體是：

求取TOF攝像機(jī)的深度數(shù)據(jù)集T與Kinect攝像機(jī)深度數(shù)據(jù)集K之間的最小二乘轉(zhuǎn)換矩陣(R₁，t₁)。即:

本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取裝置，包括處理器，分別與所述處理器連接的Kinect攝像機(jī)和TOF攝像機(jī)；所述Kinect攝像機(jī)和TOF攝像機(jī)將采集的深度圖像信息傳輸至所述處理器，所述處理器將所述深度圖像信息中的低分辨率高精度的深度圖像信息匹配到高分辨率低精度的深度圖像信息中，獲取高分辨率高精度的深度圖。

進(jìn)一步地，所述Kinect攝像機(jī)包括分別與所述處理器連接的用于發(fā)射紅外波段光源的紅外發(fā)射器、用于采集彩色圖像信息的彩色攝像頭和用于采集深度圖像信息的深度攝像頭；所述處理器將所述彩色圖像信息匹配至深度圖像信息，并且進(jìn)行點(diǎn)云配準(zhǔn)，獲取三維信息。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

本發(fā)明是基于設(shè)計(jì)TOF傳感器與結(jié)構(gòu)光Kinect傳感器相結(jié)合的異構(gòu)攝像機(jī)系統(tǒng)，它提供了一種基于深度信息的攝像機(jī)標(biāo)定方法。該系統(tǒng)可以結(jié)合兩者的深度信息，然后通過把低分辨率的深度圖匹配到高分辨率的深度圖中，從而獲取高分辨率的精準(zhǔn)深度圖。

同時(shí)，因?yàn)镵inect攝像機(jī)是一個(gè)包含彩色攝像頭與深度攝像頭組成的固定系統(tǒng)，而且其自帶了這兩個(gè)攝像頭進(jìn)行標(biāo)定的方法，因此利用Kinect的深度攝像頭作為中間體，將彩色攝像頭的數(shù)據(jù)匹配到TOF攝像機(jī)的深度數(shù)據(jù)中，進(jìn)行求取內(nèi)參、提取可靠的深度信息、擬合標(biāo)定板平面坐標(biāo)、恢復(fù)角點(diǎn)三維坐標(biāo)集、求取最小二乘轉(zhuǎn)換矩陣、彩色信息和深度信息融合、點(diǎn)云配準(zhǔn)操作，最終獲取高分辨率的精準(zhǔn)深度圖。

具體來講，本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法及其裝置，具有如下特點(diǎn)：

1.本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法中的彩色數(shù)據(jù)信息與深度數(shù)據(jù)信息的匹配過程中計(jì)算量少，而且不需要額外的機(jī)械設(shè)備進(jìn)行攝像機(jī)之間的標(biāo)定；

2.本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法與現(xiàn)有的類似算法相比，提高了配準(zhǔn)的準(zhǔn)確度和減少了計(jì)算量；

3.本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法中的標(biāo)定方法簡單，只需要一次標(biāo)定即可。

4.傳統(tǒng)的立體匹配方法會(huì)受紋理和光照強(qiáng)度的影響，而本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取裝置中的Kinect攝像機(jī)具有發(fā)射的光源在紅外波段，因此基本不受光照影響；

5.由于Kinect攝像機(jī)的價(jià)格低廉，相較于以前的TOF攝像機(jī)與多個(gè)普通彩色CCD攝像機(jī)結(jié)合的系統(tǒng)，TOF攝像機(jī)與Kinect攝像機(jī)系統(tǒng)的性價(jià)比更高。

附圖說明

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)的說明，其中：

圖1是本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法的流程示意圖；

圖2是本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法中點(diǎn)云配準(zhǔn)步驟的流程示意圖；

圖3是本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取的結(jié)構(gòu)示意圖。

圖中：

1：Kinect攝像機(jī)

11：紅外發(fā)射器 12：彩色攝像頭 13：深度攝像頭

2：TOF攝像機(jī)

3：處理器

具體實(shí)施方式

以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1～圖3所示，本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法，在保證Kinect攝像機(jī)深度圖分辨率不變的情況下，利用TOF攝像機(jī)獲取的精準(zhǔn)深度圖去提高Kinect攝像機(jī)深度信息的可靠性，從而獲取高分辨率的精準(zhǔn)深度圖。

在獲取高分辨率的精準(zhǔn)深度圖過程中，針對(duì)現(xiàn)有三維點(diǎn)云全局配準(zhǔn)過程中冗余控制集過多而導(dǎo)致配準(zhǔn)速度低下，以及控制集選取不當(dāng)導(dǎo)致配準(zhǔn)精度難以保證的問題，引入顏色共面五點(diǎn)集和點(diǎn)云顏色距離的概念，提出基于點(diǎn)間顏色距離的三維點(diǎn)云自動(dòng)配準(zhǔn)算法。

為了實(shí)現(xiàn)上述目的，本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取裝置，采用了一個(gè)Kinect攝像機(jī)1與一個(gè)TOF攝像機(jī)2，即設(shè)計(jì)了兩個(gè)深度攝像機(jī)采集各自具有特點(diǎn)的圖像信息，Kinect攝像機(jī)1具有高分辨率，TOF攝像機(jī)2具有深度信息精度高。然后通過處理器3進(jìn)行標(biāo)定，融合后獲取高分辨率的精準(zhǔn)深度圖。同時(shí)，彩色攝像頭12采集的彩色信息匹配到深度信息上的方法，再結(jié)合色彩信息的點(diǎn)云配準(zhǔn)算法，共同完成獲取物體的三維信息。

在本發(fā)明所述的實(shí)施例中，所述結(jié)構(gòu)光深度Kinect攝像機(jī)1采用的是微軟公司的KinectXBOX360，該攝像機(jī)可以提供最高分辨率為640*480的深度圖，最高分辨率為1280*960的彩色圖；TOF攝像機(jī)2采用的是MESA公司的SR4000，該攝像機(jī)可以提供分辨率為176*144的深度圖和強(qiáng)度圖(灰度圖)，調(diào)制頻率可以是29MHZ，30MHZ，31MHZ。

如圖1所示，本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法，步驟如下：

S1：采集深度圖：在共同攝像視野內(nèi)，把標(biāo)定板放在最少在10個(gè)不同的位置，每個(gè)位置上分別利用Kinect攝像機(jī)1和TOF攝像機(jī)2拍攝至少1張圖片；

S2：根據(jù)步驟S1拍攝的圖片，分別求取Kinect攝像機(jī)1和TOF攝像機(jī)2的內(nèi)部參數(shù)；

其中Kinect攝像機(jī)1的深度圖和彩色圖的分辨率均為320*240；為了不干擾Kinect攝像機(jī)1發(fā)射的結(jié)構(gòu)光，設(shè)定TOF攝像機(jī)2選用的SR4000的光頻率為31MHZ。

所述Kinect攝像機(jī)1和TOF攝像機(jī)2求取內(nèi)部參數(shù)的方式一樣，在此則只以Kinect攝像機(jī)的求取做具體說明，具體如下：

Kinect攝像機(jī)1根據(jù)步驟S1拍攝標(biāo)定板的圖片，把標(biāo)定板放在至少10個(gè)不同的位置上，每個(gè)位置上拍攝一張照片，同時(shí)，標(biāo)定板的位置范圍應(yīng)盡量全面的覆蓋整個(gè)攝像機(jī)的視野。其中，標(biāo)定板為正面有標(biāo)定的棋盤格，每個(gè)棋格均為邊長為31.4mm的正方形。

本實(shí)施例中標(biāo)定板分別放在10個(gè)不同的位置上，并且在每個(gè)不同的位置時(shí)，采用Kinect攝像機(jī)1對(duì)標(biāo)定板進(jìn)行1次信息采集。最后獲取到Kinect攝像機(jī)1產(chǎn)生的深度圖和彩色圖各10張(如果是TOF攝像機(jī)2，即SR4000產(chǎn)生的是深度圖和強(qiáng)度圖各10張)。

然后，利用Matlab自帶的Camera calibrator對(duì)Kinect攝像機(jī)1和TOF攝像機(jī)2進(jìn)行自標(biāo)定，具體是：

選取Kinect攝像機(jī)1采集到的一組10張深度圖作為輸入，然后手動(dòng)輸入標(biāo)定板中棋格的邊長，Camera calibrator會(huì)自動(dòng)檢測出強(qiáng)度圖中的Harris角點(diǎn)，并且可以計(jì)算出攝像機(jī)的內(nèi)參A以及每一幅圖像對(duì)應(yīng)的外參(R,t)，A的具體表達(dá)式如下：

其中α＝f/dx，β＝f/dy,f為攝像機(jī)的焦距，因?yàn)橄袼夭皇且?guī)規(guī)矩矩的正方形，γ代表像素點(diǎn)在x,y方向上尺度的偏差。

圖像坐標(biāo)系，攝像機(jī)坐標(biāo)系以及三維坐標(biāo)系的關(guān)系采用以下的表達(dá)式表示:

其中表示圖像坐標(biāo)系中像素點(diǎn)的齊次坐標(biāo)(u,v,1)，表示三維坐標(biāo)系中點(diǎn)的齊次坐標(biāo)(X,Y,Z,1)，R表示旋轉(zhuǎn)矩陣、t表示平移矩陣、S表示尺度因子、A表示攝像機(jī)的內(nèi)參數(shù)。

S3：根據(jù)步驟S1拍攝的圖片，通過以下公式選取深度值可靠的信息：

將所述拍攝的圖作閾值處理，然后取反，獲得標(biāo)定板上所有深度值可靠的點(diǎn)；

利用如下公式：

其中D表示深度值，I表示強(qiáng)度值，T代表用大津法求得的閾值T。

S4：根據(jù)所述可靠的深度信息，分別對(duì)Kinect攝像機(jī)和TOF攝像機(jī)擬合各自的標(biāo)定板平面坐標(biāo)；

其中，對(duì)Kinect攝像機(jī)和TOF攝像機(jī)的擬合方法一樣，在此只以Kinect攝像機(jī)為例，該步驟具體為：

由于噪聲及深度攝像機(jī)本身的精度影響，原本應(yīng)在同一平面上的各個(gè)點(diǎn)會(huì)有微小的偏離，為了求得最真實(shí)的深度值，結(jié)合S3中去除深度值不可靠的點(diǎn)，然后利用剩下角點(diǎn)的深度D_p可得角點(diǎn)的三維坐標(biāo)(x_d，y_d，z_d)

z_d＝D_p

其中，(x_o,y_o)為光心在圖像上的投影點(diǎn)，dx,dy為Kinect攝像機(jī)1的像素間距，D_p為其對(duì)應(yīng)的深度值，而Kinect攝像機(jī)1的焦距為f，利用角點(diǎn)的三維坐標(biāo)擬合出一個(gè)平面方程。

設(shè)平面方程為aX+bY+cZ＝d，可以通過最小二乘法求得最優(yōu)的方程系數(shù)a,b,c,d，從而擬合出該平面。

S5：在結(jié)合所述內(nèi)部參數(shù)，在各自擬合的標(biāo)定板平面坐標(biāo)下，恢復(fù)Kinect攝像機(jī)和TOF攝像機(jī)的角點(diǎn)實(shí)際三維坐標(biāo)集

同理，對(duì)Kinect攝像機(jī)和TOF攝像機(jī)的恢復(fù)方法一樣，在此只以Kinect攝像機(jī)為例，該步驟也具體為：

求取角點(diǎn)的實(shí)際三維坐標(biāo)：

假設(shè)圖像坐標(biāo)上的某一點(diǎn)角點(diǎn)H，則光心和點(diǎn)H連線的直線方程為：

其中：H點(diǎn)的圖像坐標(biāo)為(x_h,y_h),(x_o,y_o)為光心在圖像上的投影點(diǎn)，dx,dy為Kinect攝像機(jī)1的像素間距,D_h為其對(duì)應(yīng)的深度值，而攝像機(jī)的焦距為f。

此直線方程與步驟S4中求得的標(biāo)定板的平面方程求取交點(diǎn)近似解，則得角點(diǎn)H的實(shí)際三維坐標(biāo)：

至此取得到所有角點(diǎn)的實(shí)際三維坐標(biāo)集H₁＝{h₁，h₂，...h_n}，同理，另一臺(tái)攝像機(jī)得到的角點(diǎn)實(shí)際三維坐標(biāo)集H₂＝{h₁，h₂，...h_n}。

S6：根據(jù)Kinect攝像機(jī)和TOF攝像機(jī)的角點(diǎn)實(shí)際三維坐標(biāo)集，求取二者之間的最小二乘轉(zhuǎn)換矩陣；

利用SVD奇異值求解的方法求取TOF攝像機(jī)2的深度數(shù)據(jù)集T與Kinect攝像機(jī)1的深度數(shù)據(jù)集K之間的最小二乘轉(zhuǎn)換矩陣(R₁，t₁)。即:

S7：根據(jù)最小二乘轉(zhuǎn)換矩陣對(duì)Kinect攝像機(jī)和TOF攝像機(jī)采集的可靠深度信息進(jìn)行的坐標(biāo)轉(zhuǎn)換。

至此，完成了SR400的TOF攝像機(jī)2的深度數(shù)據(jù)通過轉(zhuǎn)換矩陣(R₁,t₁)投影到Kinect攝像機(jī)1獲得的深度數(shù)據(jù)中。即：

T_K＝R₁*T+t₁

T_K即為Kinect攝像機(jī)1視野下TOF攝像機(jī)2的深度數(shù)據(jù)。

S8：將Kinect攝像機(jī)采集的彩色信息與深度融合信息進(jìn)行匹配，實(shí)現(xiàn)深度信息與彩色信息的融合；

利用微軟公司的Kinect SDK for Windows可以進(jìn)行Kinect攝像機(jī)1內(nèi)置彩色攝像頭12獲得的數(shù)據(jù)與深度攝像頭13之間的匹配，假設(shè)利用該工具獲得的彩色攝像頭12到深度數(shù)據(jù)的矩陣為(R₂，t₂).所述彩色攝像頭12中的坐標(biāo)點(diǎn)集為C＝{c₁，c₂，...c_n},所述深度攝像頭13中的坐標(biāo)點(diǎn)集為K＝{k₁，k₂，...k_n}，TOF攝像機(jī)2中的坐標(biāo)點(diǎn)集為F＝{f₁，f₂，...f_n}，則通過以下公式將彩色數(shù)據(jù)與TOF的深度數(shù)據(jù)信息相融合：

F_K＝R₁*F+t₁

C_K＝R₂*C+t₂

其中C_K為深度攝像頭13視野下彩色攝像頭12的數(shù)據(jù)，F(xiàn)_K為深度攝像頭13視野下TOF攝像機(jī)2的深度數(shù)據(jù)。

S9：將匹配后的圖像信息，基于點(diǎn)間空間距離進(jìn)行點(diǎn)云配準(zhǔn)，獲取三維信息。

該步驟有具體包括如下步驟:

S91：在源數(shù)據(jù)集P選取源控制集；

隨機(jī)在源數(shù)據(jù)集P中抽取共面的四點(diǎn){s₁,s₂,s₃,s₄}，其中{s₁,s₂,s₃,s₄}滿足:

其中，源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q之間的重疊率為ω，源數(shù)據(jù)集P的平均點(diǎn)云間距d_avg，最大點(diǎn)云距離d_max，以及距離閾值Δ＝d_avg*a(a＝0.1)；

求取直線s₁s₃與s₂s₄的近似交點(diǎn)e_s，至此得到一個(gè)共面五點(diǎn)集F_s＝{s₁,s₂,s₃,s₄,e_s}；

利用此共面五點(diǎn)集的以下四個(gè)特征值來表述此共面五點(diǎn)集：

①對(duì)角線單比②對(duì)角線單比③兩鄰邊之間的夾角④F_s中每個(gè)點(diǎn)對(duì)應(yīng)的顏色值在RGB顏色空間的顏色向量共面五點(diǎn)集F_s以及其對(duì)應(yīng)的顏色控制集C_s共同組成源控制集S＝{F_s,C_s}。

S92：對(duì)色彩相似控制集的選取；

在目標(biāo)數(shù)據(jù)集Q中搜尋所有特征值滿足公式(6)-(9)的共面五點(diǎn)集F_t＝{t₁,t₂,t₃,t₄,e_t}：

D_C≤C (8)

其中β＝π/4，代表共面五點(diǎn)集的之間的角度誤差閾值；

e_t根據(jù)共面四邊形t₁t₂t₃t₄重新計(jì)算出來的交點(diǎn)；

相似控制集中每個(gè)共面五點(diǎn)集都有對(duì)應(yīng)的顏色向量集合其中C為點(diǎn)云顏色距離閾值是源控制集與相似控制集之間色差的衡量。

所有滿足公式(8)的C_t與其對(duì)應(yīng)的共面五點(diǎn)集F_t組成相似控制集T＝{T₁,T₂,...,T_n}(如T₁＝{F_t，1,C_t，1}，以此類推)。

需要說明的是：每一個(gè)源控制集通常對(duì)應(yīng)多個(gè)相似控制集，本文利用K-d樹加速解決選取相似控制集時(shí)的最近鄰問題，從而減少了控制集數(shù)量，也就降低算法的時(shí)間復(fù)雜度。

S93：對(duì)源控制集和色彩相似控制集進(jìn)行LCP準(zhǔn)則求取最佳變換矩陣，并且利用最佳變換矩陣對(duì)源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q中的點(diǎn)云拼接，獲取三維信息；其中，LCP即最大一致集，是指在一定誤差范圍內(nèi)能滿足一定條件的點(diǎn)的集合。

將色彩相似控制集T_i＝{T_1,i,T_2,i,...,T_m,i,...}與源控制集S_i＝{F_s,i,C_s,i}利用最小二乘法求得一個(gè)旋轉(zhuǎn)矩陣R_m,i以及一個(gè)平移矩陣t_m,i；其中，m表示色彩相似控制集中的某一個(gè)；i表示次數(shù)；

根據(jù)該變換關(guān)系p'_m,i＝R_m,i*p+t_m,i，將源數(shù)據(jù)集P中的一點(diǎn)p變換到目標(biāo)集Q的坐標(biāo)下；

在目標(biāo)集Q中尋找與p'_m,i距離最小的點(diǎn)，該點(diǎn)與p'_m,i的距離即為p'_m,i與目標(biāo)點(diǎn)集Q的歐氏距離d(p'_m,i,Q)；

若d(p'_m,i,Q)≤Δ，則點(diǎn)p在最大一致集內(nèi)，LCP_m,i的數(shù)量增加1；

LCP_m,i數(shù)量最大時(shí)，對(duì)應(yīng)的旋轉(zhuǎn)矩陣R_m,i和平移矩陣t_m,i為最佳變換矩陣，然后對(duì)最佳變化矩陣所對(duì)應(yīng)的源數(shù)據(jù)集P和目標(biāo)數(shù)據(jù)集Q中的數(shù)據(jù)進(jìn)行拼接，獲取三維信息。

本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取裝置，包括處理器3，分別與所述處理器3連接的Kinect攝像機(jī)1和TOF攝像機(jī)2，所述Kinect攝像機(jī)1和TOF攝像機(jī)2將采集的深度圖像信息傳輸至所述處理器3，所述處理器3將所述深度圖像信息中的低分辨率高精度的深度圖像信息匹配到高分辨率低精度的深度圖像信息中，獲取高分辨率高精度的深度圖。

具體地，所述Kinect攝像機(jī)1包括分別與所述處理器3連接的用于發(fā)射紅外波段光源的紅外發(fā)射器11、用于采集彩色圖像信息的彩色攝像頭12和用于采集深度圖像信息的深度攝像頭13；所述處理器3將所述彩色圖像信息匹配至深度圖像信息，并且進(jìn)行點(diǎn)云配準(zhǔn)，獲取三維信息。

其中，所述紅外發(fā)射器11可以提供所需的紅外波段，避免了現(xiàn)有匹配方法中容易受紋理和光照強(qiáng)度影響的問題。

同時(shí)，對(duì)于整個(gè)基于異構(gòu)深度攝像機(jī)的三維信息獲取裝置而言，實(shí)際采用了3個(gè)攝像頭(彩色攝像頭12、深度攝像頭13和TOF攝像機(jī)2的攝像頭)的數(shù)據(jù)，但是由于彩色攝像頭12和深度攝像頭13的位置是固定的，所以只需要進(jìn)行一次對(duì)Kinect攝像機(jī)1與TOF攝像機(jī)2之間深度信息的標(biāo)定，對(duì)于整個(gè)運(yùn)算而言，則相對(duì)更為簡單。

同時(shí)，本發(fā)明所述的基于異構(gòu)深度攝像機(jī)的三維信息獲取方法及其裝置的其他內(nèi)容參見現(xiàn)有技術(shù)，在此不再贅述。

以上所述，僅是本發(fā)明的較佳實(shí)施例而已，并非對(duì)本發(fā)明作任何形式上的限制，故凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何修改、等同變化與修飾,均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。