專利名稱：基于特征組對的特征點(diǎn)匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺中的圖像特征自動(dòng)匹配領(lǐng)域，特別是數(shù)字圖像中特征點(diǎn)的自動(dòng)匹配方法。
背景技術(shù)：
特征匹配技術(shù)在圖像檢索、物體識別、視頻跟蹤以及增強(qiáng)現(xiàn)實(shí)等領(lǐng)域有重要應(yīng)用。目前已有圖像特征點(diǎn)匹配方法主要有以下兩類第一類是基于局部紋理信息構(gòu)造匹配描述子的方法，主要代表有SIFT、SURF、GL0H等匹配描述子(詳見文獻(xiàn) K. Mikolajczyk and C. Schmid, A performance evaluationof local descriptors.IEEE Transaction on Pattern Analysis and MacnineIntelligence，2005，27 (10) 1615-1630.)，該類方法主要利用特征局部紋理信息進(jìn)行特征匹配，首先為特征確定支撐區(qū)域，然后將支撐區(qū)域劃分為一系列固定形狀的子區(qū)域，最后將每個(gè)子區(qū)域內(nèi)包含的圖像紋理信息表示為向量并組成匹配描述子。在圖像形變存在吋，該類方法構(gòu)造的匹配描述子分辨カ下降較大，獲得的匹配數(shù)量較少。第二類是基于幾何一致性優(yōu)化的匹配方法(如文獻(xiàn)J.H.Lee and C. H. Won.Topology Preserving Relaxation Label mg ior Non—rigid Point Matching.IEEE Transactions on Pattern Analysis and Machine Intelligence. 2011，33(2)427-432.)，這類方法利用特征點(diǎn)之間的幾何約束整體構(gòu)造匹配目標(biāo)優(yōu)化函數(shù)，從而將匹配問題轉(zhuǎn)化為ー個(gè)目標(biāo)函數(shù)優(yōu)化問題。該類方法利用的特征之間的幾何約束信息相對于第一類方法種使用的特征局部紋理信息在圖像形變下更為穩(wěn)定，圖像形變下該類方法也能獲得較好匹配結(jié)果。但是，該類方法需要解決的幾何優(yōu)化問題運(yùn)算十分復(fù)雜，且運(yùn)算量隨著特征點(diǎn)數(shù)量的增加呈幾何級數(shù)增長，導(dǎo)致該類方法運(yùn)算效率很低。第一類方法由于簡單且易于實(shí)現(xiàn)，在實(shí)際應(yīng)用中使用較多。但是，該類法均存在共性的誤差問題為實(shí)現(xiàn)尺度不變性而進(jìn)行尺度選擇產(chǎn)生尺度誤差；為實(shí)現(xiàn)旋轉(zhuǎn)不變性而估計(jì)主方向產(chǎn)生主方向誤差；固定位置的子區(qū)域劃分產(chǎn)生邊界誤差。三種誤差的存在影響了描述子的分辨能力，特別是在圖像中存在形變的情況下匹配效果不好。

發(fā)明內(nèi)容
本發(fā)明針對第一類特征點(diǎn)匹配方法存在的共性誤差問題，提供一種能夠克服三種誤差的基于特征描述子的特征點(diǎn)匹配方法。為了實(shí)現(xiàn)本目的，本發(fā)明提供的基于特征組對的特征點(diǎn)匹配方法，包括以下步驟步驟SI :從不同角度拍攝同一場景兩幅不同圖像并輸入計(jì)算機(jī)；步驟S2 :利用已有特征點(diǎn)檢測算子提取圖像中特征點(diǎn)，如使用Harris算子；步驟S3 :對圖像中的特征點(diǎn)進(jìn)行組對處理；步驟S4 :確定每個(gè)特征對的主方向、尺度及支撐區(qū)域；步驟S5 :基于灰度序?qū)μ卣鲗Φ闹螀^(qū)域進(jìn)行子區(qū)域劃分；
步驟S6 :計(jì)算特征對支撐區(qū)域內(nèi)各點(diǎn)的旋轉(zhuǎn)不變特征向量；步驟S7 :計(jì)算特征對支撐區(qū)域的匹配描述子；步驟S8 :利用匹配描述子進(jìn)行特征對匹配；步驟S9 由每組匹配特征對獲得兩組匹配特征點(diǎn)；本發(fā)明提出的基于特征組對的特征點(diǎn)匹配方法的主要特點(diǎn)是將單個(gè)特征點(diǎn)與其鄰域內(nèi)的其它特征點(diǎn)組合為特征對代替單個(gè)特征點(diǎn)作為基本匹配単位，相比于基于單個(gè)特征點(diǎn)構(gòu)造匹配描述子，基于特征對構(gòu)造匹配描述子具有如下優(yōu)勢(I)特征對之間的距離可以直接用于確定尺度信息，避免了尺度選擇環(huán)節(jié)；(2)特征對包含的兩個(gè)特征點(diǎn)之間的連線可用于確定主方向信息，避免了主方向估計(jì)環(huán)節(jié)。此外，由于區(qū)域形狀在圖像形變下將會變形，而區(qū)域內(nèi)像素灰度大小的排序幾乎不變，本發(fā)明提供的方法通過采用基于灰度序 進(jìn)行子區(qū)域劃分而不是采用傳統(tǒng)基于固定位置的子區(qū)域劃分，消除了邊界誤差。相比于已有基于單個(gè)特征點(diǎn)構(gòu)造匹配描述子的方法，本發(fā)明提供的方法能夠克服尺度、主方向與邊界誤差，具有更優(yōu)的匹配性能。


圖I所示為本發(fā)明基于特征組對的特征點(diǎn)匹配方法的流程圖。圖2所示為本發(fā)明進(jìn)行特征組對示意圖。
具體實(shí)施例方式如圖I所示為本發(fā)明基于特征組對的特征點(diǎn)匹配方法流程圖，包括采集圖像并輸入計(jì)算機(jī)，利用已有特征點(diǎn)檢測算子提取圖像特征點(diǎn)，對圖像特征點(diǎn)進(jìn)行特征組對處理，確定特征對的主方向、尺度及支撐區(qū)域，對支撐區(qū)域進(jìn)行子區(qū)域劃分，計(jì)算支撐區(qū)域內(nèi)各點(diǎn)的特征向量，計(jì)算特征對支撐區(qū)域的匹配描述子，利用匹配描述子進(jìn)行特征對匹配，由匹配特征對獲得匹配特征點(diǎn)。各步驟的具體實(shí)施細(xì)節(jié)如下步驟SI :從不同角度拍攝同一場景兩幅不同圖像并輸入計(jì)算機(jī)；步驟S2 :利用已有技術(shù)進(jìn)行特征點(diǎn)檢測，如使用Harris算子；步驟S3:對圖像中的特征點(diǎn)進(jìn)行特征組對處理，具體方式為，對于圖像中任一特征點(diǎn)Xi，將它與區(qū)域SubR(Xi)內(nèi)的特征點(diǎn)分別組成特征對，其中SubR(Xi) = {Y:
IIY-XiI I彡σ2}是以Xi為中心。いO2為半徑的一個(gè)環(huán)形區(qū)域，給定一幅圖像中的特征點(diǎn)集合{Xi，i = 1，2，···，m}，可以得到ー個(gè)特征點(diǎn)對集合{Mk(Xkl，Xk2)，k = 1，2，···η}，其中m表示特征點(diǎn)個(gè)數(shù)，η表示特征對個(gè)數(shù)；步驟S4 :確定每個(gè)特征對的主方向、尺度及支撐區(qū)域，具體方式為，對于步驟S3獲得的任一特征對Mk(Xkl，Xk2)，在直線XklXk2的兩個(gè)垂直方向中將與線段XklXk2上各點(diǎn)平均梯度指向接近的方向確定為特征對Mk(Xkl，Xk2)的主方向；將線段XklXk2長度d= I Xkl-Xk2的一半確定為特征對Mk (Xkl，Xk2)的尺度，記為σ (Mk);記X1, I = 1,2, ... Num為線段XklXk2上的任意點(diǎn)，其中Num表示線段上點(diǎn)數(shù)，G。(X1)表示以X1為圓心σ (Mk)為半徑的圓形區(qū)域，將線段上各點(diǎn)對應(yīng)的圓形區(qū)域覆蓋的區(qū)域確定為特征對Mk(Xkl，Xk2)的支撐區(qū)域G(Mk)=G0 (X1) U G0 (X2) U ... U G0 (Xnudi)；步驟S5 :基于灰度序?qū)μ卣鲗Φ闹螀^(qū)域進(jìn)行子區(qū)域劃分，具體劃分方式為首先將特征支撐區(qū)域G(Mk)內(nèi)包含像素的灰度值升序排列，然后根據(jù)像素灰度大小選取一系列閾值Mf區(qū)域G(Mk)劃分為K個(gè)子區(qū)域Gi = {Xj :tH彡I (Xj) < tj,l ^ i彡K，其中劃分閾值h的確定原則是使每個(gè)子區(qū)域中包含相等的像素?cái)?shù)；步驟S6 :計(jì)算特征對支撐區(qū)域內(nèi)各點(diǎn)的旋轉(zhuǎn)不變特征向量，具體方式為，對于特征對Mk(Xkl，Xk2)，記其主方向及主方向順時(shí)針旋轉(zhuǎn)90度方向?qū)?yīng)的單位向量分別為dmain = [dml, dm2]與d' main = [(T ml, (Γ m2],計(jì)算特征對的支撐區(qū)域內(nèi)任一點(diǎn)X的高斯梯度列び)=[/；(^0，·/；び)]，將Vfび)分別投影到dmain、d' main方向上獲得點(diǎn)X的旋轉(zhuǎn)不變特征向量 V(X) = [V1 (X)，V2 (X)]，其中 V1 (X) = fx(x) * dml+fy(x) · dm2, V2(X)=
fx⑴.d' Jfy⑴.d' m2 ；
步驟S7 :計(jì)算特征對支撐區(qū)域的匹配描述子，具體步驟為，步驟S5將支撐區(qū)域G(Mk)按所述方式劃分為K個(gè)子區(qū)域后，記每個(gè)子區(qū)域包含的像素個(gè)數(shù)為S，對于其中任一子區(qū)域Gi，計(jì)算Gi內(nèi)各像素X1, X2，. . .，Xs對應(yīng)特征向量的均值與標(biāo)準(zhǔn)差，獲得子區(qū)域Gi的兩個(gè)描述向量=Mi = Mean {V (X1), V (X2),. . · ,V(Xs)I7Si = Std {V (X1)，V (X2)，· · · ,V(Xs)I ;將K個(gè)子區(qū)域的均值描述向量與標(biāo)準(zhǔn)差描述向量分別組成ー個(gè)向量，可獲得區(qū)域G(Mk)的均值描述向量與標(biāo)準(zhǔn)差描述向量:M= [M1, M2,... MJ，S = [S17S2,... SJ，分別對均值描述向量與標(biāo)準(zhǔn)差描述向量進(jìn)行歸一化，獲得區(qū)域G(Mk)的均值標(biāo)準(zhǔn)差描述向量MS = [M/| |M| I，S/ I I S I I ]，最后再次進(jìn)行歸一化處理獲得特征對Mk的匹配描述子Des = MS/ | | MS | | e R16k ；步驟S8 :利用匹配描述子進(jìn)行特征對匹配，具體方式為，記第I幅圖像中待匹配特征對M1, M2, , Mnl的匹配描述子分別為D1, D2, , Dnl，第2幅圖像中的待匹配特征對M1 ,,M1 2、...，M'也的匹配描述子分別為 D' 1;D' 2，...，D' n2，對于 D1;D2，...，Dnl 中的任一描述子Di，找到D' 1;D' 2，...，D' n2中與Di歐氏距離最小的匹配描述子D' j，如果01同時(shí)也是D1;D2，...，Dnl中與D' j歐氏距離最小的匹配描述子，則MiM' j為ー組特征對匹配；步驟S9 :由特征對匹配建立特征點(diǎn)匹配，具體方式為，對于步驟S8獲得的分別位于兩幅圖像中的兩個(gè)相互匹配的特征對，指定每個(gè)特征對主方向順時(shí)針旋轉(zhuǎn)90度指向的特征點(diǎn)為其第一個(gè)特征點(diǎn)，由兩個(gè)特征對的第一個(gè)特征點(diǎn)獲得第一組特征點(diǎn)匹配，由另外兩個(gè)特征點(diǎn)獲得第二組特征點(diǎn)匹配。本發(fā)明提出的基于特征組對的特征點(diǎn)匹配方法的主要特點(diǎn)是將單個(gè)特征點(diǎn)與其鄰域內(nèi)的其它特征點(diǎn)組合為特征對代替單個(gè)特征點(diǎn)作為基本匹配単位，相比于基于單個(gè)特征點(diǎn)構(gòu)造匹配描述子，基于特征對構(gòu)造匹配描述子具有如下優(yōu)勢(I)特征對之間的距離可以直接用于確定尺度信息，避免了尺度選擇環(huán)節(jié)；(2)特征對包含的兩個(gè)特征點(diǎn)之間的連線可用于確定主方向信息，避免了主方向估計(jì)環(huán)節(jié)。此外，由于區(qū)域形狀在圖像形變下將會變形，而區(qū)域內(nèi)像素灰度大小的排序幾乎不變，本發(fā)明提供的方法通過采用基于灰度序進(jìn)行子區(qū)域劃分而不是采用傳統(tǒng)基于固定位置的子區(qū)域劃分，消除了邊界誤差。相比于已有基于單個(gè)特征點(diǎn)構(gòu)造匹配描述子的方法，本發(fā)明提供的方法能夠克服尺度、主方向與邊界誤差，具有更優(yōu)的匹配性能。
權(quán)利要求
1.ー種數(shù)字圖像中基于特征組對的特征點(diǎn)匹配方法，其特征在于，包括步驟 步驟Si:從不同角度拍攝同一場景兩幅不同圖像并輸入計(jì)算機(jī)； 步驟S2 :利用已有技術(shù)進(jìn)行特征點(diǎn)檢測，如使用Harris算子；步驟S3:對圖像中的特征點(diǎn)進(jìn)行特征組對處理，具體方式為，對于圖像中任一特征點(diǎn)Xi，將它與區(qū)域SubR (Xi)內(nèi)的特征點(diǎn)分別組成特征對，其中SubR (Xi) = {Y I IY-XiI I≤σ2}是以Xi為中心。いO2為半徑的一個(gè)環(huán)形區(qū)域，給定一幅圖像中的特征點(diǎn)集合{Xi，i = 1，2，···，m}，可以得到ー個(gè)特征點(diǎn)對集合{Mk(Xkl，Xk2)，k = 1，2，···η}，其中m表示特征點(diǎn)個(gè)數(shù)，η表示特征對個(gè)數(shù)； 步驟S4 :確定每個(gè)特征對的主方向、尺度及支撐區(qū)域，具體方式為，對于步驟S3獲得的任一特征對Mk(Xkl，Xk2)，在直線XklXk2的兩個(gè)垂直方向中將與線段XklXk2上各點(diǎn)平均梯度指向接近的方向確定為特征對Mk(Xkl，Xk2)的主方向；將線段XklXk2長度d = I Xkl-Xk2 I的一半確定為特征對Mk(Xkl，Xk2)的尺度，記為σ (Mk) ；iaX1； I = 1,2,…Num為線段XklXk2上的任意點(diǎn)，其中Num表示線段上點(diǎn)數(shù)，G0 (X1)表示以X1為圓心σ (Mk)為半徑的圓形區(qū)域，將線段上各點(diǎn)對應(yīng)的圓形區(qū)域覆蓋的區(qū)域確定為特征對Mk(Xkl，Xk2)的支撐區(qū)域G(Mk)=G0 (X1) U G0 (X2) U ... U G0 (Xnudi)； 步驟S5 :基于灰度序?qū)μ卣鲗Φ闹螀^(qū)域進(jìn)行子區(qū)域劃分，具體劃分方式為首先將特征支撐區(qū)域G(Mk)內(nèi)包含像素的灰度值升序排列，然后根據(jù)像素灰度大小選取一系列閾值、將區(qū)域G (Mk)劃分為K個(gè)子區(qū)域Gi = {Xj :tH ^ I (Xj) < tj,l ^ i彡K，其中劃分閾值h的確定原則是使每個(gè)子區(qū)域中包含相等的像素?cái)?shù)； 步驟S6 :計(jì)算特征對支撐區(qū)域內(nèi)各點(diǎn)的旋轉(zhuǎn)不變特征向量，具體方式為，對于特征對Mk (Xkl，Xk2)，記其主方向及主方向順時(shí)針旋轉(zhuǎn)90度方向?qū)?yīng)的単位向量分別為dmain=[dml, dm2]與(Γ main = [(T ml, (Γ m2],計(jì)算特征對的支撐區(qū)域內(nèi)任一點(diǎn)X的高斯梯度Vf(Z) = [Λ(χ)，//ζ)]，將Vf(X)分別投影到dmain、d丨main方向上獲得點(diǎn)X的旋轉(zhuǎn)不變特征向量V (X) = [V1⑴，V2 (X)]，其中V1⑴=fx⑴· dml+fy⑴· dm2、V2⑴=fx⑴·(!'w+fy⑴·(!'m2 ； 步驟S7 :計(jì)算特征對支撐區(qū)域的匹配描述子，具體步驟為，步驟S5將支撐區(qū)域G(Mk)按所述方式劃分為K個(gè)子區(qū)域后，記每個(gè)子區(qū)域包含的像素個(gè)數(shù)為S，對于其中任一子區(qū)域Gi,計(jì)算Gi內(nèi)各像素X1,X2，. . .，XS對應(yīng)特征向量的均值與標(biāo)準(zhǔn)差，獲得子區(qū)域Gi的兩個(gè)描述向量=Mi = Mean {V (X1), V (X2),. . · ,V(Xs)I7Si = Std {V (X1)，V (X2)，· · · ,V(Xs)I ;將1(個(gè)子區(qū)域的均值描述向量與標(biāo)準(zhǔn)差描述向量分別組成ー個(gè)向量，可獲得區(qū)域G(Mk)的均值描述向量與標(biāo)準(zhǔn)差描述向量:M = [M1, M2,... MK], S = [S1, S2,. . . Sj ,分別對均值描述向量與標(biāo)準(zhǔn)差描述向量進(jìn)行歸一化，獲得區(qū)域G (Mk)的均值標(biāo)準(zhǔn)差描述向量MS= [M/| M I，S/I |S| I]，最后再次進(jìn)行歸一化處理獲得特征對Mk的匹配描述子Des = MS/I MS | e R16k ； 步驟S8 :利用匹配描述子進(jìn)行特征對匹配，具體方式為，記第I幅圖像中待匹配特征對M1, M2, , Mnl的匹配描述子分別為D1, D2, , Dnl，第2幅圖像中的待匹配特征對1； Μ, 2、...，M' n2的匹配描述子分別為D' 1;D' 2，...，D'也，對于D1;D2，...，Dnl中的任一描述子Di，找到D' 1;D' 2，...，D' n2中與Di歐氏距離最小的匹配描述子D' j，如果01同時(shí)也是D1, D2,...，Dnl中與D' j歐氏距離最小的匹配描述子，則MiM' j為ー組特征對匹配；步驟S9 :由特征對匹配建立特征點(diǎn)匹配，具體方式為，對于步驟S8獲得的分別位于兩幅圖像中的兩個(gè)相互匹配的特征對，指定每個(gè)特征對主方向順時(shí)針旋轉(zhuǎn)90度指向的特征點(diǎn)為其第一個(gè)特征點(diǎn)，由兩個(gè) 特征對的第一個(gè)特征點(diǎn)獲得第一組特征點(diǎn)匹配，由另外兩個(gè)特征點(diǎn)獲得第二組特征點(diǎn)匹配。
全文摘要
本發(fā)明涉及一種基于特征組對的特征點(diǎn)匹配方法，包括步驟采集圖像并輸入計(jì)算機(jī)，利用已有技術(shù)進(jìn)行圖像特征點(diǎn)檢測，對圖像特征點(diǎn)進(jìn)行特征組對處理，確定特征對的主方向、尺度及支撐區(qū)域，對支撐區(qū)域進(jìn)行子區(qū)域劃分，計(jì)算支撐區(qū)域內(nèi)各點(diǎn)的特征向量，計(jì)算特征對支撐區(qū)域的匹配描述子，利用匹配描述子進(jìn)行特征對匹配，由特征對匹配建立特征點(diǎn)匹配。相比于已有基于單個(gè)特征點(diǎn)構(gòu)造匹配描述子的方法，本發(fā)明提供的方法構(gòu)造的匹配描述子能夠克服尺度、主方向與邊界誤差，具有更優(yōu)的匹配性能。
文檔編號G06T7/00GK102663733SQ20121006700
公開日2012年9月12日 申請日期2012年3月5日 優(yōu)先權(quán)日2012年3月5日
發(fā)明者劉紅敏, 王志衡, 賈宗璞 申請人:河南理工大學(xué)