本發(fā)明涉及三維信息獲取技術(shù),特別涉及一種基于隨機(jī)森林的高精度三維信息快速獲取方法。
背景技術(shù):
三維信息獲取技術(shù)可以同時(shí)得到被測(cè)場(chǎng)景的三維坐標(biāo),在實(shí)物仿形、工業(yè)檢測(cè)、虛擬現(xiàn)實(shí)、機(jī)器視覺(jué)和智能交互等領(lǐng)域有著重要的意義和廣闊的應(yīng)用前景。三維信息獲取主要分為被動(dòng)三維信息獲取方法和主動(dòng)三維信息獲取方法兩大類。被動(dòng)三維信息獲取方法是基于立體匹配原理,利用兩個(gè)或多個(gè)攝像機(jī)系統(tǒng),從多個(gè)角度獲取被測(cè)場(chǎng)景不同視角的二維圖像,當(dāng)被測(cè)場(chǎng)景的紋理信息過(guò)于簡(jiǎn)單或被測(cè)場(chǎng)景具有不同方向的反射率時(shí),這種方式的計(jì)算精度大大降低,計(jì)算復(fù)雜度和處理時(shí)間大大增加,無(wú)法實(shí)現(xiàn)高精度三維信息的快速獲??;主動(dòng)三維信息獲取方法主要利用結(jié)構(gòu)光照明的形式,該方法具有高精度的特點(diǎn),但是該方法的精度極大地依賴于照明結(jié)構(gòu)光的變換幀數(shù)和計(jì)算時(shí)動(dòng)態(tài)路徑的優(yōu)化程度,而這兩者又恰恰限制了主動(dòng)三維信息獲取方法的獲取速度。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在實(shí)現(xiàn)一種高精度、快速的三維信息獲取方法。為了達(dá)到上述目的,本發(fā)明提出一種基于隨機(jī)森林的高精度三維信息快速獲取方法,該方法無(wú)需立體匹配,避免了由于稠密計(jì)算導(dǎo)致的獲取精度及獲取速率的下降。該方法包括學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的獲取、隨機(jī)森林的學(xué)習(xí)和變形散斑最佳深度的分類回歸三個(gè)過(guò)程。
本發(fā)明的硬件系統(tǒng)由數(shù)字投影儀、攝像機(jī)和被測(cè)場(chǎng)景組成,如附圖1所示,數(shù)字投影儀和攝像機(jī)經(jīng)過(guò)精確標(biāo)定,在被測(cè)場(chǎng)景表面投影偽隨機(jī)數(shù)字散斑,攝像機(jī)同步獲取對(duì)應(yīng)的變形散斑,數(shù)字投影儀鏡頭焦距與攝像機(jī)鏡頭焦距相同,記為f,兩者鏡頭光心間隔為b,且工作狀態(tài)保持不變。
本發(fā)明工作在兩種工作狀態(tài):初始化狀態(tài)和運(yùn)行時(shí)狀態(tài)。工作流程如附圖2所示,在該方法首次工作時(shí),先進(jìn)入初始化狀態(tài),利用高精度結(jié)構(gòu)光測(cè)量方法獲取多個(gè)訓(xùn)練場(chǎng)景深度值,結(jié)合變形散斑每點(diǎn)像素的局部二進(jìn)制特征標(biāo)簽,對(duì)本發(fā)明中隨機(jī)森林的分類器和回歸器進(jìn)行訓(xùn)練和學(xué)習(xí);然后該方法進(jìn)入運(yùn)行時(shí)狀態(tài),攝像機(jī)獲取被測(cè)場(chǎng)景變形散斑,利用隨機(jī)森林對(duì)每點(diǎn)像素局部二進(jìn)制特征進(jìn)行分類,獲取局部二進(jìn)制特征標(biāo)簽,再利用隨機(jī)深林對(duì)局部二進(jìn)制特征標(biāo)簽進(jìn)行回歸,獲取變形散斑對(duì)應(yīng)的最佳深度值。該方法非首次工作時(shí),將直接進(jìn)入運(yùn)行時(shí)狀態(tài),對(duì)變形散斑進(jìn)行分類和最佳深度進(jìn)行回歸。由于變形散斑每點(diǎn)像素間的不相關(guān)性,在本方法的運(yùn)行時(shí)狀態(tài)中,對(duì)被測(cè)場(chǎng)景變形散斑最佳深度的分類回歸利用圖形處理器(gpu)進(jìn)行并行處理。
所述本發(fā)明的學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的獲取過(guò)程,首先,利用高精度結(jié)構(gòu)光測(cè)量方法獲取共t個(gè)訓(xùn)練場(chǎng)景的深度值,其中第t個(gè)訓(xùn)練場(chǎng)景的深度值記為dt(x,y)。根據(jù)數(shù)字投影儀和攝像機(jī)的參數(shù),可以得到與訓(xùn)練場(chǎng)景深度值dt(x,y)對(duì)應(yīng)的訓(xùn)練場(chǎng)景視差值dt(x,y):
其中,(x,y)為訓(xùn)練場(chǎng)景深度值和訓(xùn)練場(chǎng)景視差值每點(diǎn)像素在像素坐標(biāo)系的坐標(biāo)。然后,數(shù)字投影儀向訓(xùn)練場(chǎng)景投影偽隨機(jī)的散斑圖像r(x,y),攝像機(jī)獲取對(duì)應(yīng)的變形散斑it(x,y),并設(shè)置m×n像素的滑動(dòng)窗口,遍歷變形散斑it(x,y)上的每點(diǎn)像素(x,y),獲取(x,y)點(diǎn)的局部二進(jìn)制特征。對(duì)t個(gè)訓(xùn)練場(chǎng)景做相同處理,得到的訓(xùn)練場(chǎng)景視差值dt(x,y)和局部二進(jìn)制特征作為學(xué)習(xí)模型訓(xùn)練數(shù)據(jù),輸入隨機(jī)森林用于隨機(jī)森林的學(xué)習(xí)。
所述本發(fā)明的隨機(jī)森林的學(xué)習(xí)過(guò)程,首先,利用輸入的變形散斑it(x,y)上每點(diǎn)像素的局部二進(jìn)制特征作和數(shù)字投影儀投影的散斑圖像r(x,y),計(jì)算變形散斑it(x,y)上每點(diǎn)像素對(duì)應(yīng)的視差標(biāo)簽ct(x,y)。當(dāng)數(shù)字投影儀與攝像機(jī)精確標(biāo)定后,視差標(biāo)簽ct(x,y)滿足:
其中,(x',y')為視差標(biāo)簽ct(x,y)在散斑圖像r(x,y)上對(duì)應(yīng)的像素坐標(biāo)。利用t個(gè)訓(xùn)練場(chǎng)景得到的訓(xùn)練場(chǎng)景視差值dt(x,y)和對(duì)應(yīng)的視差標(biāo)簽ct(x,y)組成訓(xùn)練集數(shù)據(jù)s,獨(dú)立訓(xùn)練多棵樹。本發(fā)明中,每棵樹共有n層,前k層節(jié)點(diǎn)為整數(shù),解決分類問(wèn)題;后n-k層節(jié)點(diǎn)為小數(shù),由回歸函數(shù)得到子像素精度的預(yù)測(cè)數(shù)據(jù)。
本發(fā)明的隨機(jī)森林的學(xué)習(xí)過(guò)程由每棵樹的根節(jié)點(diǎn)開始,隨機(jī)設(shè)置一系列的隨機(jī)判別參數(shù)δ,利用每個(gè)判別參數(shù)δ,將訓(xùn)練集數(shù)據(jù)s分為左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ),同時(shí)計(jì)算目標(biāo)函數(shù)o(δ):
其中,e(s)、e(sl(δ))、e(sr(δ))分別為訓(xùn)練集數(shù)據(jù)s、左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ)的信息熵。隨機(jī)判別參數(shù)δ中使目標(biāo)函數(shù)o(δ)取值最大的為該節(jié)點(diǎn)最終的判別參數(shù)。對(duì)左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ)依次遞歸上述過(guò)程,直至訓(xùn)練深度到達(dá)樹的第k層,或訓(xùn)練集數(shù)據(jù)不可再分。將獨(dú)立的多棵樹訓(xùn)練成決策樹,決策樹組成用于運(yùn)行時(shí)狀態(tài)的隨機(jī)森林f。
所述本發(fā)明的變形散斑最佳深度的分類回歸過(guò)程,如附圖3所示,數(shù)字投影儀在被測(cè)場(chǎng)景表面投影偽隨機(jī)數(shù)字散斑,其像素排布及局部放大結(jié)構(gòu)如附圖4所示。攝像機(jī)獲取被測(cè)場(chǎng)景變形散斑i'(x,y),利用隨機(jī)森林f決策樹前k層,對(duì)每點(diǎn)像素局部二進(jìn)制特征進(jìn)行分類,獲取局部二進(jìn)制特征標(biāo)簽c'i(x,y),再利用隨機(jī)深林f決策樹后n-k層,對(duì)局部二進(jìn)制特征標(biāo)簽進(jìn)行回歸,獲取被測(cè)場(chǎng)景變形散斑i'(x,y)對(duì)應(yīng)的子像素精度局部二進(jìn)制特征標(biāo)簽c'(x,y),由于數(shù)字投影儀與攝像機(jī)精確標(biāo)定,被測(cè)場(chǎng)景最佳深度值d'(x,y)滿足:
本發(fā)明中,由于被測(cè)場(chǎng)景變形散斑i'(x,y)每點(diǎn)像素的處理,具有不相關(guān)性,因此,在本方法的運(yùn)行時(shí)狀態(tài),對(duì)被測(cè)場(chǎng)景變形散斑最佳深度的分類回歸,利用gpu進(jìn)行并行處理,得到更快的處理速度。
本發(fā)明提出的一種基于隨機(jī)森林的高精度三維信息快速獲取方法,該方法包括學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的獲取、隨機(jī)森林的學(xué)習(xí)和變形散斑最佳深度的分類回歸三個(gè)過(guò)程。該方法無(wú)需立體匹配,避免了由于稠密計(jì)算導(dǎo)致的精度及獲取速率的下降,是一種高精度、快速的三維信息獲取方法。本發(fā)明硬件系統(tǒng)由數(shù)字投影儀、攝像機(jī)和被測(cè)場(chǎng)景組成,存在初始化狀態(tài)和運(yùn)行時(shí)狀態(tài)兩種工作狀態(tài),在運(yùn)行時(shí)狀態(tài),可對(duì)被測(cè)場(chǎng)景三維信息進(jìn)行高精度快速獲取。
附圖說(shuō)明
附圖1為一種基于隨機(jī)森林的高精度三維信息快速獲取方法的硬件系統(tǒng)圖
附圖2為本發(fā)明所提方法的流程圖
附圖3為本發(fā)明中變形散斑最佳深度的分類回歸過(guò)程
附圖4為本發(fā)明的偽隨機(jī)數(shù)字散斑像素排布及局部放大結(jié)構(gòu)
上述附圖中的圖示標(biāo)號(hào)為:
1數(shù)字投影儀,2攝像機(jī),3被測(cè)場(chǎng)景,4被測(cè)場(chǎng)景變形散斑,5隨機(jī)森林節(jié)點(diǎn),6隨機(jī)森林決策樹前k層,7隨機(jī)森林決策樹后n-k層,8被測(cè)場(chǎng)景最佳深度值,9偽隨機(jī)數(shù)字散斑像素排布,10偽隨機(jī)數(shù)字散斑局部放大結(jié)構(gòu)。
應(yīng)該理解上述附圖只是示意性的,并沒(méi)有按比例繪制。
具體實(shí)施方式
下面詳細(xì)說(shuō)明本發(fā)明的一種基于隨機(jī)森林的高精度三維信息快速獲取方法的一個(gè)典型實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步的具體描述。有必要在此指出的是,以下實(shí)施例只用于本發(fā)明做進(jìn)一步的說(shuō)明,不能理解為對(duì)本發(fā)明保護(hù)范圍的限制,該領(lǐng)域技術(shù)熟練人員根據(jù)上述本發(fā)明內(nèi)容對(duì)本發(fā)明做出一些非本質(zhì)的改進(jìn)和調(diào)整,仍屬于本發(fā)明的保護(hù)范圍。
本發(fā)明提出一種基于隨機(jī)森林的高精度三維信息快速獲取方法,該方法包括學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的獲取、隨機(jī)森林的學(xué)習(xí)和變形散斑最佳深度的分類回歸三個(gè)過(guò)程。
本發(fā)明的硬件系統(tǒng)由數(shù)字投影儀、攝像機(jī)和被測(cè)場(chǎng)景組成,如附圖1所示,數(shù)字投影儀和攝像機(jī)經(jīng)過(guò)精確標(biāo)定,在被測(cè)場(chǎng)景表面投影偽隨機(jī)數(shù)字散斑,攝像機(jī)同步獲取對(duì)應(yīng)的變形散斑,數(shù)字投影儀鏡頭焦距與攝像機(jī)鏡頭焦距相同,為f=45mm,兩者鏡頭光心間隔為b=570mm,且工作狀態(tài)保持不變。
本發(fā)明工作在兩種工作狀態(tài):初始化狀態(tài)和運(yùn)行時(shí)狀態(tài)。工作流程如附圖2所示,在該方法首次工作時(shí),先進(jìn)入初始化狀態(tài),利用高精度結(jié)構(gòu)光測(cè)量方法獲取多個(gè)訓(xùn)練場(chǎng)景深度值,結(jié)合變形散斑每點(diǎn)像素的局部二進(jìn)制特征標(biāo)簽,對(duì)本發(fā)明中隨機(jī)森林的分類器和回歸器進(jìn)行訓(xùn)練和學(xué)習(xí);然后該方法進(jìn)入運(yùn)行時(shí)狀態(tài),攝像機(jī)獲取被測(cè)場(chǎng)景變形散斑,利用隨機(jī)森林對(duì)每點(diǎn)像素局部二進(jìn)制特征進(jìn)行分類,獲取局部二進(jìn)制特征標(biāo)簽,再利用隨機(jī)深林對(duì)局部二進(jìn)制特征標(biāo)簽進(jìn)行回歸,獲取變形散斑對(duì)應(yīng)的最佳深度值。該方法非首次工作時(shí),將直接進(jìn)入運(yùn)行時(shí)狀態(tài),對(duì)變形散斑進(jìn)行分類和最佳深度進(jìn)行回歸。由于變形散斑每點(diǎn)像素間的不相關(guān)性,在本方法的運(yùn)行時(shí)狀態(tài)中,對(duì)被測(cè)場(chǎng)景變形散斑最佳深度的分類回歸利用gpu進(jìn)行并行處理。
所述本發(fā)明的學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的獲取過(guò)程,首先,利用高精度結(jié)構(gòu)光測(cè)量方法共獲取t=13000個(gè)訓(xùn)練場(chǎng)景的深度值,其中第t個(gè)訓(xùn)練場(chǎng)景的深度值記為dt(x,y),根據(jù)數(shù)字投影儀和攝像機(jī)的參數(shù),可以得到與訓(xùn)練場(chǎng)景深度值dt(x,y)對(duì)應(yīng)的訓(xùn)練場(chǎng)景視差值dt(x,y):
其中,(x,y)為訓(xùn)練場(chǎng)景深度值和訓(xùn)練場(chǎng)景視差值每點(diǎn)像素在像素坐標(biāo)系的坐標(biāo)。然后,數(shù)字投影儀向訓(xùn)練場(chǎng)景投影偽隨機(jī)的散斑圖像r(x,y),攝像機(jī)獲取對(duì)應(yīng)的變形散斑it(x,y),并設(shè)置m×n=32×32像素的滑動(dòng)窗口,遍歷變形散斑it(x,y)上的每點(diǎn)像素(x,y),獲取(x,y)點(diǎn)的局部二進(jìn)制特征。對(duì)13000個(gè)訓(xùn)練場(chǎng)景做相同處理,得到的訓(xùn)練場(chǎng)景視差值dt(x,y)和局部二進(jìn)制特征作為學(xué)習(xí)模型訓(xùn)練數(shù)據(jù),輸入隨機(jī)森林用于隨機(jī)森林的學(xué)習(xí)。
所述本發(fā)明的隨機(jī)森林的學(xué)習(xí)過(guò)程,首先,利用輸入的變形散斑it(x,y)上每點(diǎn)像素的局部二進(jìn)制特征作和數(shù)字投影儀投影的散斑圖像r(x,y),計(jì)算變形散斑it(x,y)上每點(diǎn)像素對(duì)應(yīng)的視差標(biāo)簽ct(x,y)。當(dāng)數(shù)字投影儀與攝像機(jī)精確標(biāo)定后,視差標(biāo)簽ct(x,y)滿足:
其中,(x',y')為視差標(biāo)簽ct(x,y)在散斑圖像r(x,y)上對(duì)應(yīng)的像素坐標(biāo)。利用13000個(gè)訓(xùn)練場(chǎng)景得到的訓(xùn)練場(chǎng)景視差值dt(x,y)和對(duì)應(yīng)的視差標(biāo)簽ct(x,y)組成訓(xùn)練集數(shù)據(jù)s,獨(dú)立訓(xùn)練多棵樹。本發(fā)明中,每棵樹共有n=15層,前k=9層節(jié)點(diǎn)為整數(shù),解決分類問(wèn)題;后n-k=6層節(jié)點(diǎn)為小數(shù),由回歸函數(shù)得到子像素精度的預(yù)測(cè)數(shù)據(jù)。
本發(fā)明的隨機(jī)森林的學(xué)習(xí)過(guò)程由每棵樹的根節(jié)點(diǎn)開始,隨機(jī)設(shè)置一系列的隨機(jī)判別參數(shù)δ,利用每個(gè)判別參數(shù)δ,將訓(xùn)練集數(shù)據(jù)s分為左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ),同時(shí)計(jì)算目標(biāo)函數(shù)o(δ):
其中,e(s)、e(sl(δ))、e(sr(δ))分別為訓(xùn)練集數(shù)據(jù)s、左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ)的信息熵。隨機(jī)判別參數(shù)δ中使目標(biāo)函數(shù)o(δ)取值最大的為該節(jié)點(diǎn)最終的判別參數(shù)。對(duì)左訓(xùn)練集數(shù)據(jù)sl(δ)和右訓(xùn)練集數(shù)據(jù)sr(δ)依次遞歸上述過(guò)程,直至訓(xùn)練深度到達(dá)樹的第k層,或訓(xùn)練集數(shù)據(jù)不可再分。將獨(dú)立的多棵樹訓(xùn)練成決策樹,決策樹組成用于運(yùn)行時(shí)狀態(tài)的隨機(jī)森林f。
所述本發(fā)明的變形散斑最佳深度的分類回歸過(guò)程,如附圖3所示,數(shù)字投影儀在被測(cè)場(chǎng)景表面投影偽隨機(jī)數(shù)字散斑,其像素排布及局部放大結(jié)構(gòu)如附圖4所示。攝像機(jī)獲取被測(cè)場(chǎng)景變形散斑i'(x,y),利用隨機(jī)森林f決策樹前k層,對(duì)每點(diǎn)像素局部二進(jìn)制特征進(jìn)行分類,獲取局部二進(jìn)制特征標(biāo)簽c'i(x,y),再利用隨機(jī)深林f決策樹后n-k層,對(duì)局部二進(jìn)制特征標(biāo)簽進(jìn)行回歸,獲取被測(cè)場(chǎng)景變形散斑i'(x,y)對(duì)應(yīng)的子像素精度局部二進(jìn)制特征標(biāo)簽c'(x,y),由于數(shù)字投影儀與攝像機(jī)精確標(biāo)定,被測(cè)場(chǎng)景最佳深度值d'(x,y)滿足:
本發(fā)明中,由于被測(cè)場(chǎng)景變形散斑i'(x,y)每點(diǎn)像素的處理,具有不相關(guān)性,因此,在本方法的運(yùn)行時(shí)狀態(tài),對(duì)被測(cè)場(chǎng)景變形散斑最佳深度的分類回歸,利用gpu進(jìn)行并行處理,得到更快的處理速度。