專利名稱：基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，具體涉及一種圖像顯著區(qū)域的提取分割方法。
背景技術(shù)：
人眼在觀察圖像時，受視覺選擇性注意機制的支配，能夠迅速地把注意力集中在少數(shù)幾個能夠體現(xiàn)圖像主要內(nèi)容信息的關(guān)鍵區(qū)域，這些吸引人注意力的區(qū)域被稱為顯著區(qū)域。隨著信息技術(shù)的發(fā)展，圖像成為一種主要的信息載體，越來越多的圖像數(shù)據(jù)給處理和瀏覽帶來了不便。圖像檢索技術(shù)是在海量圖像數(shù)據(jù)庫中查找用戶所需要的或感興趣的圖像的方法，目前，很多圖像檢索工具是建立在與圖像相關(guān)的文字信息的基礎(chǔ)上的，需要大量人為標(biāo)注，而基于內(nèi)容的圖像檢索技術(shù)對圖像內(nèi)容本身進(jìn)行分析，根據(jù)圖像特征查找相關(guān)圖像，是圖像檢索發(fā)展的方向。提取圖像的顯著區(qū)域，對于進(jìn)行圖像特征查找具有重要的
眉、ο近年來，國內(nèi)外研究者提出了很多顯著區(qū)域檢測模型，總的來說，分為三大類自底向上，自頂向下以及混合模型。其中自底向上的模型是研究的重點。自底向上的模型以視覺注意機制作為底層數(shù)據(jù)來驅(qū)動視覺刺激，是對底層特征自動加工的過程。其中Itti等人以中心-周圍強度、顏色和方向?qū)Ρ榷忍卣魈岢隽说谝粋€也是最經(jīng)典的基于生物的視覺注意的計算模型Itti98。隨后該模型通過引入運動和閃變的對比度特征而擴展到視頻顯著性計算中。Walther和Koch在Itt’ s98模型的基礎(chǔ)上進(jìn)行了擴展以便得到一個顯著典型(proto)目標(biāo)。譜參差方法，把圖像變換到頻域去除圖像中的冗余信息，從全局角度抑制非顯著區(qū)域?；趫D論的GBVS模型借用圖論的思想把提取的圖像特征轉(zhuǎn)換成圖模型進(jìn)而用于計算顯著性?；陬l率調(diào)整的FT模型利用多種低層特征通過調(diào)整不同的頻率范圍得到了不失圖像分辨率的顯著圖?；谖谋旧舷挛?Context-Aware (簡稱CA)的顯著區(qū)域檢測方法從全局與局部的角度總結(jié)出了顯著區(qū)域具備的四條準(zhǔn)則，然后分別根據(jù)四條準(zhǔn)則做出了相應(yīng)的計算，最后得到每個像素點局部范圍內(nèi)的顯著度。自頂向下的模型根據(jù)期望目標(biāo)的先驗信息在圖像中尋找候選區(qū)域，是以先驗高層語義知識來驅(qū)動的，是一個選擇特征控制指導(dǎo)的加工過程。這種模型要根據(jù)觀察任務(wù)的需要，確定期望知識信息和相應(yīng)的特征，進(jìn)而提取顯著區(qū)域?；旌夏Ｐ图醋缘紫蛏系哪Ｐ秃妥皂斚蛳履Ｐ偷慕Y(jié)合。由于以上檢測模型自身的局限性，使得檢測結(jié)果對一些大尺度目標(biāo)物體或背景復(fù)雜情況下的圖像顯著區(qū)域檢測效果較差，存在顯著目標(biāo)缺失誤檢，漏檢等問題，從而導(dǎo)致提取的顯著區(qū)域不準(zhǔn)確，不完整。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，以提高顯著區(qū)域檢測的準(zhǔn)確性和完整性。為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進(jìn)行如下處理(1)預(yù)處理；所述預(yù)處理包括，判斷待處理的源圖像中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則定位圖像中的清晰區(qū)域位置，所述子區(qū)域為以預(yù)先設(shè)定的分塊尺度大小對原圖像進(jìn)行分割形成的區(qū)域；(2)對經(jīng)過預(yù)處理的圖像進(jìn)行低層特征提取；所述低層特征提取是，在空間域中利用Lab顏色計算圖像顯著值，獲得空間顯著圖，在頻率域中從顏色、亮度和邊緣特征三個通道去除全局內(nèi)的冗余信息，獲得頻域顯著圖；(3)對經(jīng)過預(yù)處理的圖像進(jìn)行高層語義特征提?。凰龈邔诱Z義特征提取是，采用人臉檢測方法獲得人臉顯著圖；(4)對步驟( 和步驟C3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行中心聚集化操作，獲得綜合顯著圖；(5)根據(jù)綜合顯著圖對待處理的源圖像進(jìn)行分割處理，提取出顯著區(qū)域。上文中，所述分塊尺度大小可以根據(jù)源圖像的大小預(yù)先設(shè)定，一般地，可以以源圖像較長邊除以數(shù)值a作為分塊尺度大小，a的取值可以取8至32之間的數(shù)。為處理方便， 也可以設(shè)定一個定值大小進(jìn)行子區(qū)域劃分。上述技術(shù)方案中，步驟(1)中，預(yù)處理的具體方法為，生成待處理的源圖像的高頻分量圖，將高頻分量圖分割成多個塊，提取高頻分布向量并計算離散度；如果離散度大于1，則圖像中存在子區(qū)域清晰度差異，根據(jù)像素的清晰度將圖像分為清晰區(qū)域和非清晰區(qū)域，將非清晰區(qū)域的像素點設(shè)為背景顏色；如果離散度小于等于1，則圖像中不存在子區(qū)域清晰度差異，直接進(jìn)入步驟O)。優(yōu)選的技術(shù)方案，高頻分量圖分割成塊時，以圖像的長、寬中較大的量除以16作為分塊的尺度標(biāo)準(zhǔn)進(jìn)行分塊。上述技術(shù)方案中，步驟O)中，所述空間顯著圖采用Context-Aware方法獲取。步驟中，所述中心聚集化操作為，對空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行歸一化處理；把頻域顯著圖中大于0. 2的顯著點和空間顯著圖中大于0. 2的顯著點用于擴展人臉顯著圖中大于0.8的顯著點的聚類中心，得到新的聚類中心集，根據(jù)該新的聚類中心集更新空間顯著圖，獲得綜合顯著圖。由于上述技術(shù)方案運用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點本發(fā)明考慮了綜合圖像的低層特征和高層語義特征信息，采用離散度準(zhǔn)則判斷圖像中是否存在清晰度差異，從而抑制非清晰區(qū)域，從空間域和頻率域角度分別提取低層特征計算局部和全局顯著度，用中心聚集化操作綜合二者的優(yōu)勢，并結(jié)合人臉信息作為高層語義特征增強顯著性。本發(fā)明能夠一定程度上解決傳統(tǒng)的顯著區(qū)域檢測方法中存在的對大尺度目標(biāo)圖像檢測內(nèi)容缺失問題和對背景復(fù)雜圖像情況下檢測的誤檢問題，是一種準(zhǔn)確度更高的顯著區(qū)域檢測方法。


圖1是本發(fā)明實施例中顯著區(qū)域檢測模型圖2是實施例中顯著區(qū)域檢測算法流程示意圖；圖3是實施例中部分圖像的HFM圖；圖4是實施例中有清晰度差異的圖像抑制非清晰區(qū)域后的結(jié)果圖；圖5是實施例中生成的聚集化顯著圖示意圖；圖6是實施例中提取的顯著區(qū)域示意圖。
具體實施例方式下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步描述。實施例參見圖1所示，一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進(jìn)行如下處理1、非清晰區(qū)域抑制(預(yù)處理)清晰度是能夠影響人眼視覺選擇注意的一個重要特征。圖像中的清晰區(qū)域是給人視覺反差較大的區(qū)域，同時也是首先吸引人注意力的區(qū)域。對于待檢測的圖像，首先判斷其中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則需要定位圖像中的清晰區(qū)域位置， 即對非清晰區(qū)域抑制，然后在清晰區(qū)域內(nèi)根據(jù)低層特征和高層特征計算圖像中物體的顯著度。如果不存在清晰度的差異，則直接根據(jù)低層特征和高層特征計算顯著度。2、低層特征提取在抑制非清晰區(qū)域的前提下，為了符合人眼視覺選擇顯著目標(biāo)時遵循的規(guī)律，即顯著區(qū)域在局部范圍內(nèi)與周圍其他區(qū)域有明顯不同的特征，在全局范圍內(nèi)出現(xiàn)的頻率相對較少。在低層特征的提取中，分別從空間域和頻率域兩個角度計算圖像的局部和全局的顯著度，增強顯著區(qū)域的顯著性。3、高層語義特征提取人眼觀察圖像時，自然會收到其先驗知識的影響，其中人臉區(qū)域是注意力首先集中的區(qū)域之一，用人臉區(qū)域作為先驗知識知道人眼的視覺選擇，從而結(jié)合高層語義特征，更符合人眼觀察圖像的規(guī)律。4、經(jīng)中心聚集化操作獲得綜合顯著圖。5、后處理分割提取顯著區(qū)域。上述處理的具體算法的流程如圖2所示，分為三大塊預(yù)處理，顯著值計算和后處理。算法步驟如表1所示。表1顯著區(qū)域檢測算法
Stepl計算源圖像(ImgInput)的高頻分量圖High Frequency Map(HFM)。Step2根據(jù)HFM提取高頻分布向量L并計算離散度A，如果A>1,則跳到 Step3,否則跳到Step4。Step3計算ImgInput中每個像素的清晰度值，并據(jù)該值抑制非清晰區(qū)域得更新后的Imgfoput。Step4:對ImgInput分別在空間域和頻率域計算顯著值的空間域顯著圖SW5paee和頻率域顯著圖SMprequency，同時計算高層的人臉顯著圖SMpace。Step5用SMFrequency和SMpace擴展SMspace得到的聚類中心，進(jìn)更新SMspace的值，得到綜合顯著圖SM。Step6根據(jù)SWr對ImgInput經(jīng)過后處理分割出顯著區(qū)域Imgkliency。Step7結(jié)束。1、預(yù)處理預(yù)處理階段主要是判斷輸入圖像是否存在子區(qū)域之間的清晰度差異，并對存在差異的圖像進(jìn)行非清晰區(qū)域的抑制。采用離散度作為判斷圖像中是否存在清晰度差異的標(biāo)準(zhǔn)。(1)圖像的高頻分量圖(High Frequency Map, HFM)的生成采用小波變換方法。假設(shè)輸入圖像為f(i，j) = {R，G，B} \小波變換后的垂直、水平和對角線高頻分量分別為Hvf、Hhf和Hdf，則輸入圖像的高頻信息區(qū)域Hf為Hf = Hvf+Hhf+Hdf (1)把⑴得到的結(jié)果經(jīng)過二值化處理得到HFM。圖3所示為部分圖像的HFM。其中， 第1、3行分別為有和無清晰度差異圖像，第2、4行分別為1、3行的HFM圖。(2)提取高頻分布向量^并計算離散度入離散度λ反映的是圖像數(shù)據(jù)分布以及聚集程度，以此標(biāo)準(zhǔn)作為衡量HFM中高頻信息點的聚集程度。假設(shè)把HFM圖以合適的大小分成mXn ±夬，統(tǒng)計每個塊內(nèi)的高頻信息點分布，并將
其轉(zhuǎn)換為一維向量rCi = (Hfl,Hf2,L ,Hfi,L ,Hfmxn)(2)對g歸一化_ mxn ‘ mxn ^ ‘ mxn夂‘
H r- Σ H ^ H r-/=1 J1 /=1 J1 /=1 J1HFM的離散度
H “ H^H,
其中，Hfi表示原圖像第i個子區(qū)域中所有高頻信息點之和，邛和舛分別為f的標(biāo)準(zhǔn)方差和平均值，離散度λ反映的是向量中數(shù)據(jù)的分布和離散程度，λ值越大，數(shù)據(jù)的離散性越差，聚集性越好，反之λ值越小，數(shù)據(jù)的離散性越好，聚集性越差。經(jīng)統(tǒng)計分析，當(dāng)選取塊尺度為size/16時，類間距離distaaHty達(dá)到最大。其中Size = Max {Height, Width}，圖像的大小為HeightXWidth。在該尺度下計算λ值，并依據(jù)λ按照以下規(guī)則對圖像中是否存在子區(qū)域清晰度差異進(jìn)行判斷λ > 1，圖像中存在子區(qū)域清晰度差異；λ ( 1，圖像中不存在子區(qū)域清晰度差異。(3)非清晰區(qū)域抑制經(jīng)過(2)判斷，如果確定了圖像中存在清晰度差異，需要對其進(jìn)行非清晰區(qū)域的抑制。首先需要計算基于像素的清晰度值；然后根據(jù)每個像素的清晰度值把圖像分為兩類 清晰區(qū)域和非清晰區(qū)域；最后對非清晰區(qū)域的像素點設(shè)為統(tǒng)一的背景顏色以達(dá)到抑制的效果，如圖4所示為抑制的結(jié)果。清晰區(qū)域特征在空域用梯度函數(shù)度量，在頻域用小波變換來凸顯。圖像采取三種不同尺度{Scalel，kale2，Scale3}分塊。在以離散度指標(biāo)計算中確定的一種合適分塊尺度size/16的基礎(chǔ)上，選取另外size/8和size/32兩種尺度即scales = {size/8, size/16, size/32}來綜合評定塊的清晰度值。每個分塊尺度下的第i個子塊像素清晰度定義為 Di(m,n)ScaleJ = Discalej
(5) 其中(m，η)為第f子塊像素坐標(biāo)，Discale1為尺度j下第i子塊清晰度，其定義為
權(quán)利要求
1.一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，其特征在于，再進(jìn)行如下處理(1)預(yù)處理；所述預(yù)處理包括，判斷待處理的源圖像中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則定位圖像中的清晰區(qū)域位置，所述子區(qū)域為以預(yù)先設(shè)定的分塊尺度大小對原圖像進(jìn)行分割形成的區(qū)域；(2)對經(jīng)過預(yù)處理的圖像進(jìn)行低層特征提??；所述低層特征提取是，在空間域中利用 Lab顏色計算圖像顯著值，獲得空間顯著圖，在頻率域中從顏色、亮度和邊緣特征三個通道去除全局內(nèi)的冗余信息，獲得頻域顯著圖；(3)對經(jīng)過預(yù)處理的圖像進(jìn)行高層語義特征提??；所述高層語義特征提取是，采用人臉檢測方法獲得人臉顯著圖；(4)對步驟( 和步驟C3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行中心聚集化操作，獲得綜合顯著圖；(5)根據(jù)綜合顯著圖對待處理的源圖像進(jìn)行分割處理，提取出顯著區(qū)域。
2.根據(jù)權(quán)利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟(1)中，預(yù)處理的具體方法為，生成待處理的源圖像的高頻分量圖，將高頻分量圖分割成多個塊，提取高頻分布向量并計算離散度；如果離散度大于1，則圖像中存在子區(qū)域清晰度差異，根據(jù)像素的清晰度將圖像分為清晰區(qū)域和非清晰區(qū)域，將非清晰區(qū)域的像素點設(shè)為背景顏色；如果離散度小于等于1，則圖像中不存在子區(qū)域清晰度差異，直接進(jìn)入步驟⑵。
3.根據(jù)權(quán)利要求2所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于高頻分量圖分割成塊時，以圖像的長、寬中較大的量除以16作為分塊的尺度標(biāo)準(zhǔn)進(jìn)行分塊。
4.根據(jù)權(quán)利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟O)中，所述空間顯著圖采用Context-Aware方法獲取。
5.根據(jù)權(quán)利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟中，所述中心聚集化操作為，對空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行歸一化處理；把頻域顯著圖中大于0. 2的顯著點和空間顯著圖中大于0. 2的顯著點用于擴展人臉顯著圖中大于0.8的顯著點的聚類中心，得到新的聚類中心集，根據(jù)該新的聚類中心集更新空間顯著圖，獲得綜合顯著圖。
全文摘要
本發(fā)明公開了一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進(jìn)行如下處理(1)預(yù)處理；(2)對經(jīng)過預(yù)處理的圖像進(jìn)行低層特征提取，獲得空間顯著圖和頻域顯著圖；(3)對經(jīng)過預(yù)處理的圖像進(jìn)行高層語義特征提取，獲得人臉顯著圖；(4)對步驟(2)和步驟(3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進(jìn)行中心聚集化操作，獲得綜合顯著圖；(5)根據(jù)綜合顯著圖對待處理的源圖像進(jìn)行分割處理，提取出顯著區(qū)域。本發(fā)明解決了傳統(tǒng)的顯著區(qū)域檢測方法中存在的對大尺度目標(biāo)圖像檢測內(nèi)容缺失問題和對背景復(fù)雜圖像情況下檢測的誤檢問題，是一種準(zhǔn)確度更高的顯著區(qū)域檢測方法。
文檔編號G06K9/46GK102521592SQ20111039018
公開日2012年6月27日 申請日期2011年11月30日 優(yōu)先權(quán)日2011年11月30日
發(fā)明者劉純平, 季怡, 王朝暉, 鄭陽, 陳寧強, 陳宇 申請人:蘇州大學(xué)