本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域的圖像局部特征描述方法,具體地,涉及一種局部圖像特征描述符的構(gòu)建方法,即基于像素位置排列直方圖的圖像局部特征描述方法。
背景技術(shù):由于圖像局部特征具有區(qū)分性好、重現(xiàn)性高、魯棒性強(qiáng)、對(duì)幾何變化和光照變化保持穩(wěn)健等特點(diǎn),它們?cè)趫D像及視頻檢索、圖像配準(zhǔn)、目標(biāo)跟蹤、目標(biāo)識(shí)別、目標(biāo)分類、紋理分類、機(jī)器人定位、寬基線匹配等領(lǐng)域得到了廣泛的應(yīng)用。圖像局部特征的研究包括三方面內(nèi)容:特征提取、特征描述和特征匹配。圖像局部特征提取的研究已經(jīng)比較成熟?,F(xiàn)在關(guān)注點(diǎn)最多的是圖像局部特征描述,每年在視覺(jué)領(lǐng)域的頂級(jí)會(huì)議ICCV(IEEEInternationalConferenceonComputerVision)、CVPR(IEEEConferenceonComputerVisionandPatternRecognition)、ECCV(EuropeanConferenceonComputerVision)上都有高質(zhì)量的特征描述論文發(fā)表。在諸多的局部圖像特征描述符中,SIFT(ScaleInvariantFeatureTransform)是其中應(yīng)用最廣的一種局部圖像特征描述符。也可以說(shuō)SIFT是局部圖像特征描述研究領(lǐng)域一項(xiàng)里程碑式的工作。由于SIFT對(duì)尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變換都具有不變性,并且具有很強(qiáng)的可區(qū)分性,自它被提出以來(lái),很快就在物體識(shí)別、寬基線圖像匹配、三維重建、圖像檢索等領(lǐng)域中得到了廣泛的應(yīng)用。局部圖像特征描述符在計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)也引起了更加廣泛的關(guān)注。局部圖像特征描述符大概分為以下幾類:1、基于濾波器技術(shù)具有代表性的局部圖像特征描述符有:Steerablefilters,Gaborfilters,andcomplexfilters等;2、基于分布的具有代表性的局部圖像特征描述符有:SIFT,SURF,theshapecontext,DAISY,PCA-SIFT,spinimage,RIFTandGLOH等;3、基于梯度具有代表性的局部圖像特征描述符有:localgrayvalueinvariants等;4、其他:Moment-baseddescriptors,Phase-basedlocalfeatures,Color-baseddescriptors。局部圖像特征描述符的核心是研究描述符的不變性和區(qū)分性,然而,特征描述符的可區(qū)分性強(qiáng)弱往往和其不變性是矛盾的。但是一個(gè)優(yōu)秀的特征描述符不僅應(yīng)該具有很強(qiáng)不變性,還應(yīng)該具有很強(qiáng)的可區(qū)分性。像眾所周知的SIFT描述符,是通過(guò)確定梯度直方圖主方向,然后將局部坐標(biāo)系與其對(duì)齊獲得描述符旋轉(zhuǎn)不變性。由于主方向估計(jì)存在一定的誤差,從而降低SIFT描述符不變性,使得在大視角變換或者大旋轉(zhuǎn)角度變換的情況下,SIFT描述符找到的同名點(diǎn)對(duì)數(shù)比例低。有些描述符不需要估算主方向就能獲得旋轉(zhuǎn)不變性,例如RIFT描述符,但是其區(qū)分性不高。本發(fā)明所提出的局部特征描述方法很好的解決了特征描述符的可區(qū)分性和不變性之間的矛盾,在變換圖像相對(duì)于基準(zhǔn)圖像存在大的幾何變換情況下獲得很好的匹配性能。
技術(shù)實(shí)現(xiàn)要素:針對(duì)現(xiàn)有描述符的一些不足,本發(fā)明提出一種基于像素位置排列直方圖的圖像局部特征描述方法。通過(guò)該方法的局部特征描述符具有區(qū)分性好,性能魯棒的特性,其區(qū)別能力在正常的應(yīng)用環(huán)境中高于SIFT等描述符。圖像局部特征區(qū)域的檢測(cè)和描述是相互獨(dú)立的兩部分,可以選擇不同的局部特征檢測(cè)子檢測(cè)到的特征來(lái)評(píng)估所提描述符的性能。但無(wú)論采用哪種局部特征檢測(cè)子,最終所得的描述符性能的評(píng)估結(jié)果都是一致的,即描述子性能測(cè)試曲線的排序是一樣的。本發(fā)明采用了Hessian-affine檢測(cè)子,該檢測(cè)子也是在評(píng)估描述子性能時(shí)選用最多的檢測(cè)子之一。假設(shè)圖像的局部特征已經(jīng)通過(guò)Hessian-affine檢測(cè)子提取,直接在提取的局部特征上構(gòu)建局部特征描述符。為實(shí)現(xiàn)上述目的,本發(fā)明所述基于像素位置排列直方圖的圖像局部特征描述方法包括如下步驟:(1)將檢測(cè)到的圖像局部興趣區(qū)域歸一化成局部圖像;將檢測(cè)到的局部特征(由橢圓形區(qū)域表示)映射為半徑大小固定的圓形區(qū)域局部圖像。(2)基于均值排序的匯聚策略將局部圖像劃分成k個(gè)部分,3≤k≤8,可以根據(jù)試驗(yàn)效果確定的取值;具體可以按照如下順序完成:首先采用均值濾波器對(duì)局部圖像進(jìn)行平滑;然后將局部圖像像素的所有灰度值按照非減方式由小到大進(jìn)行排序;最后將排序好的灰度序列等分成k份,由其對(duì)應(yīng)的像素坐標(biāo)形成不同的子集。這樣就將局部圖像劃分成了k個(gè)子部分。(3)計(jì)算局部圖像內(nèi)像素坐標(biāo)點(diǎn)排列和標(biāo)準(zhǔn)差;①鄰域坐標(biāo)點(diǎn)選擇。以局部圖像內(nèi)像素坐標(biāo)點(diǎn)為中心,在半徑大小固定的圓上等角度間隔的選取n(n≥4)個(gè)像素點(diǎn)作為該坐標(biāo)點(diǎn)的鄰域坐標(biāo)集合,不同起始點(diǎn)所選擇的像素坐標(biāo)點(diǎn)的位置和灰度值也會(huì)有一定的差異。可以以圓與笛卡爾坐標(biāo)系x軸的交點(diǎn)為起始點(diǎn)在圓上等角度間隔選取n個(gè)像素點(diǎn);也可以以圓與坐標(biāo)系y軸的交點(diǎn)作為起始點(diǎn)在圓上等角度間隔選取n個(gè)像素點(diǎn);當(dāng)然也可以以像素坐標(biāo)點(diǎn)為坐標(biāo)系原點(diǎn)構(gòu)建局部坐標(biāo)系,通過(guò)圓和坐標(biāo)系軸的交點(diǎn)作為起時(shí)點(diǎn)在圓上等角度間隔選取n個(gè)像素點(diǎn)??梢钥闯?,具體的選取方法很多。在本發(fā)明中,優(yōu)選是以局部圖像的圓心和局部圖像內(nèi)像素坐標(biāo)點(diǎn)連線的正方向與圓相交的點(diǎn)為起始點(diǎn)在圓上等角度間隔選取n個(gè)像素點(diǎn)。②鄰域坐標(biāo)點(diǎn)位置排列。所述鄰域坐標(biāo)點(diǎn)位置排列是指像素坐標(biāo)點(diǎn)的鄰域坐標(biāo)集合的排列。依據(jù)像素的不同屬性,如灰度值、梯度值,對(duì)像素坐標(biāo)點(diǎn)的鄰域坐標(biāo)集合進(jìn)行排序都能獲取與其對(duì)應(yīng)的位置排列。在本發(fā)明中,是以灰度值升序?qū)植繄D像內(nèi)像素坐標(biāo)點(diǎn)的鄰域坐標(biāo)集合進(jìn)行排序來(lái)獲取與其對(duì)應(yīng)的位置排列。③位置排列量化。所述位置排列量化是指將像素點(diǎn)位置排列的全排列劃分成d個(gè)bins的方法。這樣做的目的是為了降低描述符的維度。(4)由局部圖像內(nèi)每個(gè)像素坐標(biāo)點(diǎn)的標(biāo)準(zhǔn)差σ和排列來(lái)統(tǒng)計(jì)局部特征區(qū)域的像素排列直方圖;將像素點(diǎn)鄰域灰度值序列的標(biāo)準(zhǔn)差作為該像素點(diǎn)在生成排列直方圖的權(quán)重進(jìn)行加權(quán)分配。然后根據(jù)像素點(diǎn)排列的映射值與劃分的每個(gè)柱(bins)的距離進(jìn)行反比例分配,距離近的分配的多,距離遠(yuǎn)的分配的少,超過(guò)一定距離的分配0。這樣每個(gè)像素點(diǎn)根據(jù)其排列轉(zhuǎn)換成一個(gè)d維的特征向量。通過(guò)累加每個(gè)子部分內(nèi)所有像素點(diǎn)的特征向量形成該部分的像素位置排列統(tǒng)計(jì)直方圖,最后將k部分的統(tǒng)計(jì)直方圖級(jí)聯(lián)起來(lái)就生成了局部圖像特征的描述向量。進(jìn)一步的,為了消除線性光照的影響,對(duì)步驟(4)得到的描述向量歸一化處理。(5)構(gòu)建多特征區(qū)域像素排列直方圖。為了增強(qiáng)描述符本身的區(qū)分性,本發(fā)明在檢測(cè)到的原始圖像局部特征區(qū)域的基礎(chǔ)上,按比例擴(kuò)大特征區(qū)域,使局部圖像的半徑等量增加,再對(duì)其按照上所提描述方法對(duì)其進(jìn)行描述,從而將多特征區(qū)域引入了局部圖像特征描述符。與現(xiàn)有技術(shù)相比,本發(fā)明具有如下的有益效果:(1)本發(fā)明將局部圖像經(jīng)均值濾波后再進(jìn)行排序劃分局部圖像。(2)本發(fā)明以局部圖像內(nèi)的像素坐標(biāo)點(diǎn)為圓心畫圓,并且以局部圖像中心坐標(biāo)和像素坐標(biāo)點(diǎn)連線的正方向與圓相交的點(diǎn)作為起始點(diǎn)等角度間隔選取鄰點(diǎn)。(3)本發(fā)明將局部圖像像素坐標(biāo)點(diǎn)的鄰點(diǎn)排序結(jié)果作為該點(diǎn)的描述特征。(4)本發(fā)明將局部圖像像素坐標(biāo)點(diǎn)的鄰點(diǎn)序列對(duì)應(yīng)的灰度強(qiáng)度標(biāo)準(zhǔn)差作為該點(diǎn)生成像素排列直方圖的權(quán)重。(5)本發(fā)明所得到的描述符能夠在大的幾何變換圖像對(duì)之間尋找更多的同名點(diǎn),從而使計(jì)算的幾何變換參數(shù)更加精確,擴(kuò)大了圖像配準(zhǔn)和圖像融合等應(yīng)用在大的幾何變換情況下的應(yīng)用范圍。附圖說(shuō)明現(xiàn)在利用參照附圖的方式對(duì)本發(fā)明的非限制性實(shí)施例進(jìn)行詳細(xì)說(shuō)明,本發(fā)明的優(yōu)勢(shì)和特點(diǎn)將會(huì)變得更容易理解,其中:圖1是本發(fā)明方法一實(shí)施例的基本流程圖。圖2為興趣橢圓形區(qū)域歸一化為圓形圖像的實(shí)例。圖3是本發(fā)明計(jì)算局部圖像均值的3×3濾波器掩模。圖4是本發(fā)明根據(jù)像素灰度強(qiáng)度匯聚策略劃分局部圖像結(jié)果實(shí)例。圖5是本發(fā)明選擇局部圖像像素坐標(biāo)點(diǎn)鄰點(diǎn)的示意圖。圖6是本發(fā)明局部圖像像素坐標(biāo)點(diǎn)鄰點(diǎn)全排列量化示意圖。圖7是本發(fā)明一個(gè)局部興趣區(qū)域的多特征區(qū)域及各自的歸一化局部圖像示意圖。圖8a是存在視角變化的測(cè)試圖像和利用本發(fā)明的描述符PPH(PixelPermutationHistogram)與其他經(jīng)典描述符的性能評(píng)估曲線。圖8b是存在旋轉(zhuǎn)和尺度變化的測(cè)試圖像和利用本發(fā)明的描述符PPH與其他經(jīng)典描述符的性能評(píng)估曲線。圖9是存在光照變換的測(cè)試圖像和利用本發(fā)明的描述符PPH與其他經(jīng)典描述符的性能評(píng)估曲線。具體實(shí)施方式下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明,圖1給出了本發(fā)明技術(shù)方案的基本流程圖。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明,但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是,對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。本實(shí)施例提供了一種基于像素位置排列統(tǒng)計(jì)直方圖的圖像局部特征描述方法,具體步驟過(guò)程如下:(1)利用Hessian-affine檢測(cè)子提取輸入灰度圖像的興趣區(qū)域,并用橢圓參數(shù)表示各個(gè)興趣區(qū)域。(2)根據(jù)坐標(biāo)變換公式和雙線性插值技術(shù)將橢圓形興趣區(qū)域歸一化成局部圖像,其中X'是局部圖像內(nèi)的像素坐標(biāo),r代表局部圖像的半徑,在本實(shí)施例中半徑r設(shè)置為20.5像素,X是橢圓形興趣區(qū)域內(nèi)像素點(diǎn)坐標(biāo)。由于從局部圖像內(nèi)的像素坐標(biāo)映射到橢圓形區(qū)域?qū)?yīng)的坐標(biāo)一般不是整數(shù),即不在像素點(diǎn)上,所以需要采用插值技術(shù)計(jì)算X坐標(biāo)點(diǎn)的灰度強(qiáng)度,本實(shí)施例采用的是雙線性插值技術(shù)。圖2給出了一個(gè)橢圓形興趣區(qū)域歸一化的實(shí)例。(3)通過(guò)均值濾波器對(duì)上述局部圖像進(jìn)行濾波。本實(shí)施例所采用的3×3均值濾波器掩模如圖3所示。(4)將濾波后局部圖像的所有像素灰度強(qiáng)度按照非減方式由小到大進(jìn)行排序,并將排序的灰度序列等分成k份,由其對(duì)應(yīng)的像素坐標(biāo)形成子集。這樣就將局部圖像劃分成了k部分,在本實(shí)施例中k設(shè)置為4。一個(gè)局部圖像根據(jù)像素灰度強(qiáng)度按照非減方式由小到大排序劃分結(jié)果如圖4所示。具體描述如下:用R={X1,X2,…,Xn}表示局部圖像所包含像素坐標(biāo)的集合,I(Xi)代表像素灰度強(qiáng)度,按照灰度強(qiáng)度非減方式由小到大進(jìn)行排序,假設(shè)排序的結(jié)果如下:{Xf(1),Xf(2),…,Xf(n):I(Xf(1))≤I(Xf(2))≤…≤I(Xf(n))}上式中下標(biāo)f(1),f(2),…,f(n)是像素坐標(biāo)集合中1,2,…,n根據(jù)灰度值非減的排列結(jié)果。然后將排序后的像素坐標(biāo)等分成k個(gè)子集。其數(shù)學(xué)表達(dá)式如下:其中則第i個(gè)子集Ri的數(shù)學(xué)表達(dá)式為:Ri={Xj∈R:ti-1≤I(Xj)≤ti},i=1,2,…,k。(5)以局部圖像內(nèi)的像素坐標(biāo)點(diǎn)為圓心畫半徑為r的圓,將局部圖像中心坐標(biāo)和像素坐標(biāo)點(diǎn)連線的正方向與圓相交的點(diǎn)作為起始點(diǎn)等角度間隔選取n個(gè)像素點(diǎn)。在本實(shí)施例中半徑r設(shè)置為3像素,n取值為5。詳細(xì)描述如下:設(shè)P是局部圖像的中心坐標(biāo),Xi是局部圖像內(nèi)任意一點(diǎn)。以Xi為圓心畫半徑為3像素的圓。連接以與圓的交點(diǎn)為起始點(diǎn)在圓上等角度間隔選取5個(gè)像素點(diǎn)作為Xi的鄰點(diǎn),分別表示為如圖5所示。(6)對(duì)像素坐標(biāo)點(diǎn)Xi的鄰點(diǎn)坐標(biāo)集合對(duì)應(yīng)的灰度強(qiáng)度按照非減方式進(jìn)行排序,其排序結(jié)果就代表像素坐標(biāo)點(diǎn)Xi的排列。為易于理解,舉例如下:取局部圖像內(nèi)任一點(diǎn),其坐標(biāo)用Xi表示,選取的鄰點(diǎn)坐標(biāo)集合表示為按照灰度值非減方式進(jìn)行排序,假設(shè)排序后的結(jié)果是那么像素點(diǎn)Xi的排列就是15423。為了便于表述,先將5個(gè)點(diǎn)位置的全排列映射為1到120的整數(shù),具體的映射關(guān)系見表1。在下文中也以映射值來(lái)討論。(7)從映射值1開始等間隔取15個(gè)bins將所有的位置排列進(jìn)行量化。位置排列量化示意圖如6所示。表15點(diǎn)位置的全排列及其映射值(8)計(jì)算像素坐標(biāo)點(diǎn)Xi鄰點(diǎn)坐標(biāo)集合對(duì)應(yīng)的灰度強(qiáng)度的標(biāo)準(zhǔn)差σ,并將標(biāo)準(zhǔn)差σ作為像素坐標(biāo)點(diǎn)Xi生成像素排列直方圖時(shí)的貢獻(xiàn)權(quán)重。(9)根據(jù)局部圖像內(nèi)每個(gè)像素坐標(biāo)點(diǎn)Xi的標(biāo)準(zhǔn)差σ和排列計(jì)算像素坐標(biāo)點(diǎn)Xi的特征向量。根據(jù)像素坐標(biāo)點(diǎn)Xi的排列與劃分的每個(gè)bins的距離進(jìn)行反比例分配,即距離近的分配的多,距離遠(yuǎn)的分配的少,超過(guò)8時(shí),則該像素坐標(biāo)點(diǎn)Xi對(duì)像素排列直方圖中該bins的貢獻(xiàn)為0。圖6給出了一個(gè)局部圖像子區(qū)域內(nèi)所有像素劃分的實(shí)例圖。具體數(shù)學(xué)描述如下:如果將[1,120]均勻劃分為d個(gè)bins的話,即diri=(120/d)×(i-1),i=1,2,…,d,并用α(p(Xi),dirj)表示局部圖像內(nèi)像素坐標(biāo)點(diǎn)Xi與第j個(gè)bins之間的距離,其中p(Xi)表示像素坐標(biāo)點(diǎn)Xi的排列,在本實(shí)施例中d設(shè)置為15。那么局部圖像內(nèi)每個(gè)像素坐標(biāo)點(diǎn)Xi的排列就可以表示成一個(gè)d維的特征向量其中fiG由下式計(jì)算:10)將4)步劃分的每個(gè)子區(qū)域內(nèi)所有像素坐標(biāo)點(diǎn)的特征向量進(jìn)行累加就形成該子區(qū)域的統(tǒng)計(jì)排列統(tǒng)計(jì)圖。最后將各個(gè)子區(qū)域15bins的排列統(tǒng)計(jì)圖級(jí)聯(lián)起來(lái),就形成了15×4維的特征向量描述符D(R)。D(R)=(F(S1),F(S2),F(S3),F(S4))其中F(Si)表示子區(qū)域內(nèi)所有像素坐標(biāo)點(diǎn)的特征向量進(jìn)行形累加形成的排列統(tǒng)計(jì)圖。(11)對(duì)描述向量歸一化處理。(12)在檢測(cè)到的特征橢圓形興趣區(qū)域的基礎(chǔ)上,按比例擴(kuò)大局部區(qū)域范圍,使局部圖像的半徑具有相等增量。假定檢測(cè)到的橢圓區(qū)域的參數(shù)矩陣為A∈R2×2,可以據(jù)此定義其他特征區(qū)域的參數(shù)矩陣Ai如下:ri=1+0.5×(i-1)在本實(shí)施例中N取值為4。圖7給出了一個(gè)局部興趣區(qū)域的多特征區(qū)域及各自的歸一化像局部圖像示意圖。本發(fā)明在matlab2010開發(fā)環(huán)境下實(shí)現(xiàn)了整個(gè)方法。在運(yùn)用時(shí)計(jì)算機(jī)的配置為ATIMobilityRadeonHD545v顯卡,2GBRAM,IntelCorei32.40GHz,Windows7操作系統(tǒng)。以一對(duì)視角變換的圖像和一對(duì)旋轉(zhuǎn)+尺度變換的圖像作為應(yīng)用實(shí)例來(lái)驗(yàn)證本發(fā)明所提出新方法的區(qū)分性和幾何不變性;以一對(duì)光照變換的圖像作為應(yīng)用實(shí)例來(lái)驗(yàn)證本發(fā)明所提出新方法的區(qū)分性和光照不變性。這里基于PR曲線將PPH與MROGH、GLOH、SIFT、PCA-SIFT及spinimage(在測(cè)試曲線中用SPIN表示)進(jìn)行比較來(lái)驗(yàn)證本發(fā)明方法形成的描述符PPH的性能。圖8給出了兩組試驗(yàn)圖片和對(duì)應(yīng)的試驗(yàn)結(jié)果。左側(cè)一組是在不同視角下拍攝圖片,右側(cè)那組測(cè)試圖片存在明顯的尺度和旋轉(zhuǎn)幾何變換,圖9給出了一組存在光照變化的試驗(yàn)圖片和相應(yīng)的試驗(yàn)結(jié)果。試驗(yàn)結(jié)果是從精確度和召回率兩者之間的關(guān)系給出的對(duì)比曲線。1-匹配的精確度(1-precision)和召回率(recall)可以通過(guò)下面公式計(jì)算:從試驗(yàn)結(jié)果可以看出,本發(fā)明方法構(gòu)建的描述符PPH的精確度和召回率在三種情況下都高于參與比較的其他描述符,因而PPH具有更好性能。由以上實(shí)施例可以看出,由于基于像素強(qiáng)度均值排序計(jì)算的位置排列對(duì)圖像的光照變換和幾何變化都具有很好的不變性,所以使用本發(fā)明方法得到的局部圖像描述符在實(shí)施例上獲得了很高的精確度和召回率。本發(fā)明首次將基于像素強(qiáng)度均值排序的鄰點(diǎn)位置排列作為像素點(diǎn)的描述特征,并將鄰點(diǎn)像素強(qiáng)度均值得標(biāo)準(zhǔn)差作為構(gòu)建位置排列直方圖時(shí)該像素的權(quán)重,構(gòu)造出區(qū)分性號(hào)和不變性強(qiáng)的局部圖像描述符。以上對(duì)本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是,本發(fā)明并不局限于上述特定實(shí)施方式,本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變形或修改,這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。