技術(shù)領(lǐng)域：

本發(fā)明涉及一種運動模糊效應(yīng)下的視覺特征三維重建方法，屬于機器視覺測量領(lǐng)域。

背景技術(shù)：
：

編碼標(biāo)記點被廣泛用于基于機器視覺的工業(yè)測量和逆向工程中。測量之前，編碼標(biāo)記點被布設(shè)于被測物體表面。根據(jù)標(biāo)定過的一對或者更多個相機拍攝的被測物體的一組圖像，可以重建出編碼標(biāo)記點在空間的位置信息，從而獲得被測物體的三維參數(shù)。

當(dāng)被測物體處于高速運動狀態(tài)時，獲取的圖像是模糊的。此時傳統(tǒng)的識別編碼標(biāo)記點身份的方法失效?，F(xiàn)有的針對清晰圖像的編碼標(biāo)記點中心定位方法，完全不適用于識別模糊圖像中編碼標(biāo)記點的身份，也更完全不適用于對模糊圖像中的編碼標(biāo)記點中心進行定位。

技術(shù)實現(xiàn)要素：
：

本發(fā)明是為了解決上述現(xiàn)有技術(shù)存在的問題而提供一種運動模糊效應(yīng)下的視覺特征三維重建方法，能夠在運動模糊造成編碼標(biāo)記點圖像模糊的情況下，仍然能恢復(fù)出編碼標(biāo)記點中心在曝光期間任意時刻的精確位置。

本發(fā)明所采用的技術(shù)方案有：一種運動模糊效應(yīng)下的視覺特征三維重建方法，包括如下步驟：

步驟一：對要使用的相機進行標(biāo)定；

步驟二：在被測物體表面布置編碼標(biāo)記點；

步驟三：獲取運動模糊圖像；

步驟四：識別圖像中的編碼標(biāo)記點的身份；

步驟五：針對同一個編碼標(biāo)記點，借助于在不同時刻拍攝的時間序列圖像，對其在不同時刻的空間位置進行粗定位并且擬合成樣條曲線，作為空間運動軌跡的初始值；

步驟六：構(gòu)造編碼標(biāo)記點運動的模糊成像模型；

步驟七：在每次曝光時間內(nèi)，根據(jù)模糊成像模型，優(yōu)化求解運動路徑和姿態(tài)。

本發(fā)明具有如下有益效果：本發(fā)明可以在有運動模糊的情況下，還原出曝光時間內(nèi)編碼標(biāo)記點的中心位置和姿態(tài)，從而獲得被測物體表面的三維信息和在曝光時間內(nèi)的運動信息。本發(fā)明使得基于視覺的測量方法擴展到動態(tài)場合。對高速運動部件的分析、設(shè)計、逆向工程將起到重要作用。

附圖說明：

圖1為曝光時序示意圖。

圖2為清晰編碼點示意圖。

圖3為運動模糊編碼點示意圖。

具體實施方式：

下面結(jié)合附圖對本發(fā)明作進一步的說明。

本發(fā)明運動模糊效應(yīng)下的視覺特征三維重建方法，包括如下步驟：

1.標(biāo)定一對相機，分別記為左相機c0和右相機c1，它們的成像矩陣分別表示為p0和p1。兩個相機鏡頭的畸變系數(shù)向量分別表示為d^(c),c＝0,1。

2.選擇閾值tp用于極線約束檢測。

3.選擇需要使用的編碼標(biāo)記點的身份編號。該身份編號為一個自然數(shù)，取值在1到n0之間，n0為全套編碼標(biāo)記點的總數(shù)目。記選定的編碼標(biāo)記點的集合為n為選定的編碼標(biāo)記點的總數(shù)目。

4.對中每一個idn,n＝1,2,...,n。準(zhǔn)備編碼點的圖像mn，所有的圖像具有相同的像素尺寸，并且寬高像素數(shù)目相同，記為z。

5.根據(jù)mn制作實際的編碼標(biāo)記點貼紙，邊長為l。

6.粘貼實際的編碼標(biāo)記點到被測物體表面。在一次測量中同一個編號的編碼標(biāo)記點最多出現(xiàn)一次。

7.獲取運動模糊圖像組，即由一對相機在多個時刻獲取的成對圖像。由于運動模糊效應(yīng)，每幅圖片中的編碼標(biāo)記點成像有不同程度的模糊。用分別表示左(c＝0)右(c＝1)相機拍攝的第k幅圖像。k為總的拍攝次數(shù)。每次拍攝持續(xù)時間為δt，每次拍攝的起始時間為tk,k＝1,2,...k，相鄰兩次拍攝的曝光時間沒有重疊。相鄰兩次拍攝中，前一次曝光結(jié)束時刻，到后一次曝光開始時刻，間隔時間均相同，記為δt。

8.根據(jù)相機鏡頭的畸變系數(shù)向量d^(c)，修正的鏡頭畸變效應(yīng)，結(jié)果記為

9.對每幅圖像進行分割，使得分割以后得到的每個小塊恰好包含一個編碼標(biāo)記點的完整的模糊圖像。中包含的圖像小塊的個數(shù)記為分割出的圖像小塊記為其中c＝0,1分別對應(yīng)左右相機，k＝1,2,...k對應(yīng)拍攝次序，對應(yīng)中的第s個小塊。的中心在中的像素坐標(biāo)為

10.為了使用備注中的方法(備注：1.用計算機模擬生成不同的編碼點的各種運動模糊圖像；2.構(gòu)造深度卷積神經(jīng)網(wǎng)絡(luò)；3.用模擬生成的圖像來訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)；4.用訓(xùn)練以后的網(wǎng)絡(luò)來識別實際拍攝的編碼標(biāo)記點的運動模糊圖像，得到其身份id)識別圖像中的模糊編碼標(biāo)記點的身份，需要對圖像小塊進行預(yù)處理。該方法用一個深度卷積網(wǎng)絡(luò)mbcnet來識別運動模糊的編碼標(biāo)記點的身份，構(gòu)建該網(wǎng)絡(luò)必須為輸入層指定寬高尺寸，用w代表輸入層需要的圖像的寬度和高度，單位為像素。

11.對每一個圖像小塊進行尺寸預(yù)處理，設(shè)每個小塊的寬度為wh像素，高度為wv像素。(1)如果wh＝wv＝w則不需要處理。(2)如果max{wh,wv}≠w則縮放圖像小塊倍，然后在圖像小塊上下或者左右分別對稱地添加與背景相同灰度的空白區(qū)域，使得圖像寬度高度都為w像素。預(yù)處理以后的圖像小塊記作

12.對每一個使用上述備注中的方法識別其中包含的模糊編碼標(biāo)記點的身份,記為置

13.對識別出的編碼標(biāo)記點進行篩選，步驟為：

a)對所有id∈id進行篩選，如果存在某個k∈{1,2,...,k}，

則將這個id標(biāo)記為無效。

b)對所有目前未被標(biāo)記為無效的id∈id進行篩選，如果存在某個k∈{1,2,...,k}，它不在閾值tp水平以下關(guān)于左右圖像滿足極線約束條件，則標(biāo)記為無效。

c)

14.對每一個編碼標(biāo)記點身份計算擬合起始和終止端點初值步驟為：

a)對每一個k∈{1,2,...,k}，對每一個c∈{0,1}，存在某個使得根據(jù)以及兩個相機矩陣p1，p2重建出第k個時刻編碼標(biāo)記點id的空間位置初值mid,k，其三維坐標(biāo)為(xid,k,yid,k,zid,k)^t。

b)根據(jù)mid,k,k＝1,2,...,k插值生成次k次b樣條曲線spid。spid通過了每個mid,k。spid的參數(shù)方程表示為

c)計算spid的弧長，記為σid，并且將spid進行近似弧長參數(shù)化。重新參數(shù)化以后曲線的方程記為vid(t),t∈[0,σid]。此時有vid(0)＝mid,1,vid(σid)＝mid,k。

d)在spid上每個mid,k對應(yīng)的參數(shù)為tid,k，即mid,k＝vid(tid,k),k＝1,2,...,k。

e)計算半窗口尺寸

f)對k＝1，計算

g)對k＝2,3,...,k-1,計算

h)對k＝k，計算

15.構(gòu)造編碼點在空間運動的靜態(tài)虛擬成像模型，其步驟為：

a)設(shè)置相機c和編碼點e位于同一個三維空間坐標(biāo)系下。

b)設(shè)置相機c的成像矩陣為p，無畸變。

c)編碼點id的圖像記為m，二值圖像，灰度取值為0或者1，長寬都是l像素。在其自身的平面內(nèi)，按照逆時針方向，四個頂點的齊次坐標(biāo)分別為

d)待成像的編碼點e為一個邊長為l的正方形平面，一面貼有圖案m，無畸變地填充滿正方形。

e)m(u)為用函數(shù)形式表示的編碼點的圖像m。其中參數(shù)u為齊次坐標(biāo)(u,v,s)^t，其對應(yīng)的非齊次坐標(biāo)為m(u)表示圖像上位置處的像素的灰度值。如果這個坐標(biāo)為非整數(shù)值，灰度值由插值產(chǎn)生。如果該坐標(biāo)落在圖像之外，函數(shù)返回的灰度值為0。

f)e在空間的位置完全由四個頂點的坐標(biāo)決定。當(dāng)編碼點的圖像朝向觀察者時，按照逆時針方向，四個頂點依次為q1(v,x),q2(v,x),q3(v,x),q4(v,x)，其中參數(shù)向量v＝(α,β,γ)^t,x＝(x,,y,z)^t，分別決定姿態(tài)和位置。

g)每個q1(v,x),q2(v,x),q3(v,x),q4(v,x)分別由經(jīng)過坐標(biāo)變換得到。

α,β,γ決定旋轉(zhuǎn)矩陣

x,y,z決定平移矩陣對于i-1,2,3,4，

h)e的四個頂點在相機c的像平面的像點的齊次坐標(biāo)分別為zi＝pqi(v,x)。

i)構(gòu)造單應(yīng)矩陣h，使得在齊次坐標(biāo)的意義下

j)則編碼點在此位置姿態(tài)下，在相機c中成像為im,v,x,p，其函數(shù)形式為im,v,p(u)＝m(hu)，其中u＝(u,v,1)^t為像素位置(u,v)^t的齊次坐標(biāo)。

16.利用上一步構(gòu)造的im,v,x,p，構(gòu)造編碼點運動的模糊成像模型，步驟為：

a)選擇離散粒度n為自然數(shù)，一般在100以上，1000以下。n取值大，則模糊效果更接近真實效果。

b)在短時間曝光的前提下，限定運動過程中，編碼點姿態(tài)角v＝(α,β,γ)^t保持不變。

c)在短時間曝光的前提下，限定運動為勻速的直線段運動，起點為x1＝(x1,y1,z1)^t,終點為x2＝(x2,y2,z2)^t。

d)模糊成像結(jié)果為

17.對每個編碼標(biāo)記點身份對每個曝光編號k＝1,2,...,k，擬合運動路徑。步驟為:

a)記該編碼點id對應(yīng)的圖像為m。記c＝0,1為第k次拍攝的左右圖像,記為包含該編碼點運動模糊編碼標(biāo)記點的圖像小塊，其中c＝0,1分別對應(yīng)左右相機，s為該次拍攝得到的圖像中分割出的圖像小塊的編號。

b)選擇優(yōu)化變量為θ1,θ2,θ3,λ1,λ2,λ3,μ1,μ2,μ3,ω1,ω2。

c)θ1,θ2,θ3,的初值在0到2π內(nèi)隨機選取。

d)(λ1,λ2,λ3)的初值為

e)(μ1,μ2,μ3)的初值為

f)ω1為圖像增益，初始值為1。

g)ω2為圖像偏置，初始值為0。

h)置v＝(λ1,λ2,λ3)^t，x1＝(λ1,λ2,λ3)^t，x2＝(μ1,μ2,μ3)^t。

i)置掩碼函數(shù)其中c,k,s含義與中的對應(yīng)符號的含義相同。參數(shù)u＝(u,v,s)^t,為像素坐標(biāo)，當(dāng)該坐標(biāo)落在圖像小塊在其母圖像中占據(jù)的像素坐標(biāo)范圍內(nèi)時，返回1，否則返回0。

j)計算優(yōu)化目標(biāo)函數(shù)

其中||||²表示范數(shù)的平方。當(dāng)w為一個圖像時，||w||²為圖像中所有像素灰度值的平方之和。

k)通過優(yōu)化參數(shù)θ1,θ2,θ3,λ1,λ2,λ3,μ1,μ2,μ3,ω1,ω2使f取得最小優(yōu)化值。

l)每次給θ1,θ2,θ3,賦以不同的隨機值，重復(fù)上述步驟b)至k)，選擇f的優(yōu)化值最小的一次作為最終的優(yōu)化結(jié)果。重復(fù)次數(shù)不少于16次。

m)運算完成，在該次曝光時間內(nèi)，編碼點的運動軌跡為從(λ1,λ2,λ3)到(μ1,μ2,μ3)的直線段。在此次曝光時間內(nèi)，編碼點的姿態(tài)參數(shù)為(θ1,θ2,θ3,)。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下還可以作出若干改進，這些改進也應(yīng)視為本發(fā)明的保護范圍。