本發(fā)明涉及計算機視覺領(lǐng)域，具體涉及一種高動態(tài)范圍三維圖像配準方法。

背景技術(shù)：

近年來，高動態(tài)范圍圖像合成(highdynamicrangeimagecomposition)技術(shù)獲得了高新發(fā)展。真實世界場景往往具有很高的動態(tài)范圍，而傳統(tǒng)數(shù)碼照相機由于只具有有限的位深度，難以捕捉到完整的動態(tài)范圍。一個彌補措施是通過拍攝多張相同場景不同曝光度的圖像并合成，間接恢復出完整的動態(tài)范圍，在通過色調(diào)映射算法，將高動態(tài)圖像壓縮顯示在低動態(tài)范圍顯示部件上(如lcd,crt)，實現(xiàn)圖像質(zhì)量的提升。

在數(shù)碼相機成像的基本過程中，相機的輸出主要由兩個因素決定，其一是場景的光線輝度，在短時攝影中基本保持不變。另一因素是相機自身參數(shù)，在光圈、增益等一定時，主要由曝光時間決定。輸出圖像的灰度級和場景光線輝度之間的關(guān)系，可以用相機相應(yīng)函數(shù)表示。

利用相機響應(yīng)曲線，可以將多曝光圖像映射到光線輝度域上，對輝度空間的圖像進行加權(quán)平均即得到對數(shù)hdr圖像。但在合成之前，一個重要的問題是拍攝過程中圖像的抖動和場景的運動，以及目標本身三維結(jié)構(gòu)在運動中造成的視差，故一個準確的配準過程十分重要。tomasazewska提出了sift特征的配準算法。sift算法能夠較為有效的提取相似圖像中相應(yīng)的尺度不變的特征點，但計算量較大，不適合實時圖像配準。surf采用了積分圖和模板放縮來模擬尺度變化，速度較快，其描述子是采用水平和垂直方向的haar小波響應(yīng)的統(tǒng)計量來構(gòu)造特征的，具有一定的抗噪能力，但作為統(tǒng)計構(gòu)造特征，其描述子的區(qū)分力相對較低。

而在surf的特征點的匹配上，傳統(tǒng)的ransac算法過程穩(wěn)定，對匹配錯誤特征點與噪聲的魯棒性較強，剔除錯誤匹配能力較好，但ransac算法對參數(shù)估計是通過不斷進行迭代和測試完成的，且初始模型參數(shù)是對隨機抽取的數(shù)據(jù)計算得到的，不確定性比較大；若隨機抽取的初始數(shù)據(jù)誤差較大，則算法性能被嚴重影響。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題在于提出一種能夠提高三維圖像配準的準確性和滿足實時性需求的高動態(tài)范圍三維圖像配準方法。

本發(fā)明技術(shù)方案具體包括以下步驟：

第一步，提取基于haar-like特征改進的surf描述子；

第二步，采用雙向flann近鄰匹配方法進行特征匹配；

第三步，采用改進的ransac算法進行誤匹配點的剔除。

作為本發(fā)明技術(shù)方案的進一步改進，所述第一步具體包括以下內(nèi)容：

采用surf算法進行快速hessian算子檢測得到特征點，隨后對特征點進行精確定位，確定主方向，并構(gòu)造特征向量；

以特征點為中心，首先將坐標軸旋轉(zhuǎn)到所述主方向，按照所述主方向選取邊長為20s的正方形區(qū)域，其中s為采樣步長；

將該正方形區(qū)域劃分為4×4的子區(qū)域，在每一個子區(qū)域內(nèi)，計算5s×5s范圍內(nèi)的小波響應(yīng)，相對于所述主方向水平、垂直方向的haar小波響應(yīng)分別記做dx和dy，賦予響應(yīng)值dx和dy以權(quán)值系數(shù)；并引入haar-like特征的線特征和對角特征，對線特征和對角特征的響應(yīng)分別記作dl和dd，然后將每個子區(qū)域的響應(yīng)以及響應(yīng)的絕對值相加，并在每個子區(qū)域形成八維分量的矢量：

v＝(∑dx,∑|dx|,∑dy,∑|dy|,∑dl,∑|dl|,∑dd,∑|dd|)(2)

對每一特征點，形成4×4×8＝512維的描述向量，再進行向量的歸一化。

作為本發(fā)明技術(shù)方案的進一步改進，所述第二步具體包括以下內(nèi)容：

設(shè)參考圖像i1的特征點x在待配準圖像i2中的最近鄰特征點為m，點x在圖像i2中的次近鄰特征點為n，點x、m與n的特征向量分別為fx、fm與fn，則flann近鄰匹配的主要步驟如下：

step1：計算點m、n與點x的歐氏距離dmx和dnx：

step2：計算距離比值r＝dmx/dnx；

step3：如果r＜ε，ε為閾值，則點x與點m匹配成功；否則匹配失??；

根據(jù)上述flann近鄰匹配的匹配步驟，先從參考圖像i1到待配準圖像i2對特征點進行flann搜索匹配，然后再從待配準圖像i2到參考圖像i1進行flann搜索匹配，保留兩次搜索匹配結(jié)果一致的特征點對，否則刪除，由此得到一一對應(yīng)的特征匹配結(jié)果。

作為本發(fā)明技術(shù)方案的進一步改進，所述第三步具體包括以下內(nèi)容：

參考圖像i1與待配準圖像i2之間的關(guān)系采用投影變換模型來描述，其變換模型矩陣m用公式(5)表示；

式中：(x',y')是參考圖像的點，(x,y)是待配準圖像中與(x',y')相對應(yīng)的點；

所述改進的ransac算法的步驟如下：

step1：將雙向flann近鄰匹配得到的匹配點對組成樣本集p，對p中的所有匹配點(xi,yi)、(xi',yi')按近鄰匹配距離比值由小到大進行排序，選取前t對匹配點對作為ransac初始數(shù)據(jù)集s；

step2：從s中隨機抽取包含4對匹配點對的子集a，用來估計變換矩陣m的8個參數(shù)；

step3：利用估計的參數(shù)對余集cpa中的每一對匹配點對(xi,yi)，(xi',yi')進行判斷，若點(xi,yi)經(jīng)過變換矩陣變換后的點與(xi',yi')的距離小于設(shè)定的閾值，則此匹配點對為內(nèi)點，記錄內(nèi)點數(shù)量；否則，該匹配點對為外點；

step4：重復執(zhí)行step2和step3，執(zhí)行k次后轉(zhuǎn)step5，k＝lg(1-p)/lg(1-q⁴)，其中，p為所有采樣中至少有一次估計的所有匹配點對都為內(nèi)點的概率，q為內(nèi)點數(shù)與特征點總數(shù)的比值；

step5：將有最多內(nèi)點數(shù)的變換矩陣參數(shù)作為最終變換參數(shù)，滿足此最終變換參數(shù)的數(shù)據(jù)集作為最終的匹配點集。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

1、本發(fā)明提出的改進的surf特征描述符結(jié)合haar-like特征，增加了對邊和對角特征的描述。

2、在匹配過程中，本發(fā)明提出的改進ransac算法選擇相對優(yōu)質(zhì)的特征匹配點對作為初始數(shù)據(jù)，以減小初始模型參數(shù)不確定性，提高配準的準確性；并采用融合flann算法和改進ransac算法的匹配策略對特征匹配過程進行優(yōu)化，進一步提升搜索效率和匹配精度。

3、本發(fā)明提出的改進的surf算法解決了在三維視差不能忽略的情況下，多曝光圖像序列的配準問題，并且算法具有較快的速度，適合域?qū)崟r配準情形。

4、在三維配準圖像中，改進的surf算法結(jié)合haar-like特征集構(gòu)造了一種新的surf特征描述符，引入haar-like特征集中的對角特征和線特征來構(gòu)造新的描述子，從而提高描述子的區(qū)分能力。

附圖說明

圖1是本發(fā)明中的一種高動態(tài)范圍三維圖像配準新算法的流程圖。

圖2是本發(fā)明中的haar-like特征集。

圖3是本發(fā)明中的構(gòu)造的新描述符。

具體實施方式

下面結(jié)合附圖對本發(fā)明做進一步詳細說明。

本具體實施例為一種高動態(tài)范圍三維圖像配準方法，該方法具體包括以下步驟：

第一步：提取基于haar-like特征改進的surf描述子

surf算法較之sift在計算速度和魯棒性上有較大改進，已被廣泛的應(yīng)用于目標識別和跟蹤。

surf算法通過圖像二階hessian矩陣定義如下：

其中l(wèi)xx(x,σ)是高斯函數(shù)的二階導數(shù)與圖像i在點x處的卷積，lxy(x,σ)、lyy(x,σ)分別為高斯二階偏導數(shù)與圖像i(x,y)在點(x,y)處的卷積，其中二維高斯函數(shù)為：而hessian矩陣行列式在尺度空間和圖像空間的最大值點則被確定為特征點。

surf算法利用快速hessian算子檢測得到特征點，隨后對特征點進行精確定位，確定所述主方向，并構(gòu)造特征向量。以特征點為中心，首先將坐標軸旋轉(zhuǎn)到所述主方向，按照所述主方向選取邊長為20s的正方形區(qū)域(s為采樣步長，與尺度相關(guān))，將該正方形區(qū)域劃分為4×4的子區(qū)域，在每一個子區(qū)域內(nèi)，計算5s×5s范圍內(nèi)的小波響應(yīng)，相對于所述主方向水平、垂直方向的haar小波響應(yīng)分別記做dx和dy，賦予響應(yīng)值dx和dy以權(quán)值系數(shù)；然后將每個子區(qū)域的響應(yīng)以及響應(yīng)的絕對值相加，并在每個子區(qū)域形成四維分量的矢量：

vsub＝(∑dx,∑dy,∑|dx|,∑|dy|)(2)

因此，對每一特征點，則形成4×4×4＝64維的描述向量，再進行向量的歸一化。

haar-like特征集如圖2所示，它包含15個特征雛形：(1)4個邊緣特征(圖(a)-(d))；(2)8個線特征(圖(e)-(l))；(3)2個中心環(huán)繞特征(圖(m)、(n))；(4)1個對角特征(圖(o))；圖中黑色部分權(quán)為-1，白色部分權(quán)為+1。

surf算法采用的haar小波可通過系數(shù)的變換來模擬出所有的圖像特征，但是采用兩個方向的小波響應(yīng)的統(tǒng)計量的特征過于簡單，所以本發(fā)明將haar-like特征集中的(e)和(o)特征加入進來，用于描述線特征和對角特征，如圖2所示。對線特征(e)和對角特征(o)的響應(yīng)分別記作dl和dd，則改進后的surf描述子為：

v＝(∑dx,∑|dx|,∑dy,∑|dy|,∑dl,∑|dl|,∑dd,∑|dd|)(3)

對其中加入的線特征(e)和對角特征(o)仍然執(zhí)行對每個子區(qū)域響應(yīng)的絕對值相加求和。新描述符的示意圖如圖2所示。

第二步：采用雙向flann近鄰匹配方法進行特征匹配

surf算法在特征點的匹配上采用一一對應(yīng)的匹配方法，這樣不僅耗時較高，而且容易出現(xiàn)誤匹配。因此本發(fā)明采用雙向flann近鄰匹配和改進ransac算法融合而成的匹配策略對特征匹配過程進行優(yōu)化。

設(shè)參考圖像i1的特征點x在待配準圖像i2中的最近鄰特征點為m，點x在圖像i2中的次近鄰特征點為n，點x、m與n的特征向量分別為fx、fm與fn，則flann近鄰匹配的主要步驟如下：

step1：計算點m、n與點x的歐氏距離dmx和dnx：

step2：計算距離比值r＝dmx/dnx。

step3：如果r＜ε(ε為閾值，一般取0.4～0.8)，則點x與點m匹配成功；否則匹配失敗。

flann近鄰匹配采用的是距離比值法，該距離比值法可能導致匹配結(jié)果出現(xiàn)一對多的匹配結(jié)果。因此，本發(fā)明利用雙向flann鄰近匹配，以消除一對多的匹配結(jié)果。

雙向flann鄰近匹配方法為：先從參考圖像i1到待配準圖像i2對特征點進行flann搜索匹配，然后再從待配準圖像i2到參考圖像i1進行flann搜索匹配，保留兩次搜索匹配結(jié)果一致的特征點對，否則刪除，由此得到一一對應(yīng)的特征匹配結(jié)果。

第三步：采用改進的ransac進行誤匹配點的剔除

圖像經(jīng)過雙向flann鄰近匹配后，還會存在少量錯誤的匹配點，本發(fā)明采用改進ransac算法來剔除匹配錯誤的特征點對，選擇相對優(yōu)質(zhì)的特征匹配點對作為初始數(shù)據(jù)，以減小初始模型參數(shù)不確定性，提高配準的準確性。

參考圖像i1到待配準圖像i2間一般存在偏移、尺度和旋轉(zhuǎn)等變換，可用投影變換模型來描述參考圖像i1到待配準圖像i2之間的變換關(guān)系，其變換模型使用矩陣m的形式來表達。

式中：(x',y')是參考圖像的點，(x,y)是待配準圖像中與(x',y')相對應(yīng)的點，m11～m32為變換模型矩陣m里的參數(shù)。

所述改進的ransac算法的步驟如下：

step1：將雙向flann近鄰匹配得到的匹配點對組成樣本集p，對p中的所有匹配點(xi,yi)、(xi',yi')按近鄰匹配距離比值由小到大進行排序，選取前t對匹配點對作為ransac初始數(shù)據(jù)集s。

step2：從s中隨機抽取包含4對匹配點對的子集a，用來估計變換矩陣m的8個參數(shù)。

step3：利用估計的參數(shù)對余集cpa中的每一對匹配點對(xi,yi)，(xi',yi')進行判斷，若點(xi,yi)經(jīng)過變換矩陣變換后的點與(xi',yi')的距離小于設(shè)定的閾值，則此匹配點對為內(nèi)點，并記錄內(nèi)點數(shù)量；否則，該匹配點對為外點。

step4：重復執(zhí)行step2和step3，執(zhí)行k次后轉(zhuǎn)step5。k＝lg(1-p)/lg(1-q⁴)，其中，p為所有采樣中至少有一次估計的所有匹配點對都為內(nèi)點的概率，q為內(nèi)點數(shù)與特征點總數(shù)的比值。

step5：將有最多內(nèi)點數(shù)的變換矩陣參數(shù)作為最終變換參數(shù)，滿足此參數(shù)的數(shù)據(jù)集作為最終的匹配點集。

本發(fā)明提出的一種高動態(tài)范圍的三維圖像配準新方法，有效提高了描述子的區(qū)分力，增加了匹配點數(shù)。對特征匹配過程進行優(yōu)化，進一步提升搜索效率和匹配精度，有效地解決了在三維視差不能忽略的情況下，配準滿足同時具有準確性和實時性。

本發(fā)明中提出的方法實際上可嵌入fpga實現(xiàn)，開發(fā)具有圖像配準的相機或攝像機。以上實施例僅起到解釋本發(fā)明技術(shù)方案的作用，本發(fā)明所要求的保護范圍并不局限于上述實施例所述的實現(xiàn)系統(tǒng)和具體實施步驟。因此，僅對上述實施例中具體的公式及算法進行簡單替換，但其實質(zhì)內(nèi)容仍與本發(fā)明所述方法相一致的技術(shù)方案，均應(yīng)屬于本發(fā)明的保護范圍。