專利名稱：基于圖像的多特征融合提取圖像關(guān)注度的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺、圖像處理技術(shù)領(lǐng)域，具體地說是涉及一種基于圖像的多 特征融合提取圖像關(guān)注度的方法。
背景技術(shù)：
隨著信息時代的來臨、多媒體技術(shù)的飛速發(fā)展，信息的傳輸量日益增多，其中不僅 有文字信息和語音信息，也有大量的圖像信息和視頻信息。人們并不是對圖像中的所有內(nèi) 容都是同等重視的，人們最關(guān)注的是有用的信息。提取圖像關(guān)注度，找出圖像中人眼關(guān)注的 位置和對象，是圖像分析、模式識別和計算機視覺領(lǐng)域的一個重要問題，同時也是一個難點 問題。正如1998年11月L. Itti等人在IEEE《圖形分析和機器智能》學(xué)刊的第20期，第 11篇發(fā)表了“一種快速場景分析的基于顯著性的視覺注意力模型”一文，該文介紹了視覺注 意力模型，它主要用于預(yù)測人眼的關(guān)注點，但是用上述視覺注意力模型，只能找到最受關(guān)注 物體的位置而找不出物體的具體形狀。2007年劉鐵等人在IEEE《CVH 論文集》第1至8 頁中發(fā)表了 “學(xué)習(xí)檢測單個顯著性物體”一文，該文介紹的“檢測單個顯著性物體”，是用多 個特征描述顯著性物體的局部、區(qū)域和全局特性，并用條件隨機域模型檢測顯著性物體，雖 然能夠?qū)@著性物體凸顯出來，但是顯著性物體的輪廓模糊，不符合人眼感受。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對已有技術(shù)中存在的缺陷提出一種基于圖像的多特征融合 提取圖像關(guān)注度的方法，該方法不僅能夠準(zhǔn)確地定位人眼關(guān)注的位置，而且能準(zhǔn)確地凸顯 關(guān)注物體的整個區(qū)域和外圍輪廓，滿足人眼的視覺要求。為了達到上述目的，本發(fā)明所采用的技術(shù)方案是上述基于圖像的多特征融合提取圖像關(guān)注度的方法，其具體步驟如下(1)，輸入原始圖像，分別提取每個區(qū)域的多個特征。(2)、進行多個特征融合，計算區(qū)域關(guān)注度。(3)、通過圖像中每個像素點的像素值與每個區(qū)域的均值的相近程度，將上述區(qū)域 關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度，提取圖像關(guān)注度。上述步驟(1)所述的輸入原始圖像，分別提取每個區(qū)域的多個特征，其具體步驟 如下(1-1)、計算任一區(qū)域的均值將原始圖像從RGB顏色空間轉(zhuǎn)換到CIE Lab顏色空間，用Mean Shift算法分割圖 像，分割后的任一區(qū)域i的均值記為<，其中，i = 1，2，. . .，N，N為分割區(qū)域的數(shù)目；(1-2)、計算任一區(qū)域的中心位置< ；(1-3)、統(tǒng)計任一區(qū)域i與圖像邊框的相交長度Im ；(1-4)、用Carmy算子找出任一區(qū)域內(nèi)的邊緣先用Carmy算子找出圖像內(nèi)所有的邊緣，然后將任一區(qū)域i內(nèi)的邊緣象素組成集合Ei;上述步驟(2)所述的進行多個特征融合，計算區(qū)域關(guān)注度，其具體步驟如下(2-1)、分別計算任一區(qū)域與相鄰區(qū)域和圖像均值的差異性度量先找出任一區(qū)域?qū)?yīng)的相鄰區(qū)域，計算任一區(qū)域i與相鄰區(qū)域的均值的差異性度量，其計算表達式為D11 = Yj^diK,(1)其中，Ai表示為任一區(qū)域i與相鄰區(qū)域的均值的差異性度量，
表示歐氏距離， Θ表示區(qū)域i的相鄰區(qū)域，Liij表示區(qū)域i和j的相交長度，Ci表示區(qū)域i的周長，rs表示 區(qū)域的中心位置，rc表示區(qū)域的均值。計算任一區(qū)域i與圖像均值的差異性度量，其計算表達式為 其中，表示為任一區(qū)域i與圖像均值的差異性度量，m。表示圖像均值。(2-2)、計算任一區(qū)域i內(nèi)的邊緣的差異性度量計算任一區(qū)域i內(nèi)的邊緣的差異性度量，其計算表達式為 其中，墳表示為任一區(qū)域i內(nèi)的邊緣的差異性度量，Pk和Pj表示像素k和像素j 的顏色值，Θ ‘表示像素k的8鄰域，Num(Ei)表示象素集合Ei中的像素個數(shù)。(2-3)、計算任一區(qū)域位置的差異性度量計算任一區(qū)域位置的差異性度量，其計算表達式為 其中，僅表示為任一區(qū)域位置的差異性度量，ms是圖像的中心位置，h和w分別是 圖像的高和寬，4為區(qū)域i與圖像邊框的相交長度，Cm是圖像的周長。(2-4)、計算區(qū)域關(guān)注度融合上述步驟(2-1)、(2-2)、(2-3)所述的差異性度量，計算出區(qū)域關(guān)注度SK(i)， 其計算表達式為 上述步驟(3)所述的通過圖像中每個像素點的像素值與每個區(qū)域的均值的相近 程度，將上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度，提取圖像關(guān)注度，其計算表 達式為 本發(fā)明的基于圖像的多特征融合提取圖像關(guān)注度的方法與現(xiàn)有的技術(shù)相比，具有 如下優(yōu)點該方法采用多個特征融合，計算區(qū)域關(guān)注度，不僅能準(zhǔn)確地定位人眼關(guān)注的位 置，而且能準(zhǔn)確地凸顯關(guān)注物體的整個區(qū)域和外圍輪廓，更滿足人眼的視覺要求，并且具有準(zhǔn)確度高且實時性好的特點，在機器視覺、對象分割、目標(biāo)跟蹤等領(lǐng)域有很好的應(yīng)用前景。


圖1是本發(fā)明的基于圖像的多特征融合提取圖像關(guān)注度的方法的流程圖；圖2 (a)為輸入的原始圖像；圖2(b)是用Mean Shift算法分割原始圖像后的區(qū)域分割圖；圖3是區(qū)域的中心位置的圖；圖4是用Carmy算子找出任一區(qū)域內(nèi)的邊緣的圖；圖5是區(qū)域與相鄰區(qū)域的差異性的圖；圖6是區(qū)域與圖像均值的差異性的圖；圖7是區(qū)域內(nèi)邊緣的差異性的圖；圖8是區(qū)域位置的差異性的圖；圖9是區(qū)域關(guān)注度的圖；圖10是圖像關(guān)注度的圖；圖11是多種類型圖像關(guān)注度的圖(圖(a)為原始圖像，圖(b)為關(guān)注度的圖)。
具體實施例方式下面結(jié)合附圖對本發(fā)明的實施例作進一步詳細說明。本發(fā)明進行的仿真實驗是在CPU為2. OGHz、內(nèi)存為IG的PC測試平臺上編程實現(xiàn)。如圖1所示，本發(fā)明的基于圖像的多特征融合提取圖像關(guān)注度的方法所采用的技 術(shù)方案是首先將原始圖像分割成若干區(qū)域，提取每個區(qū)域的多個特征；然后分別融合上 述各個區(qū)域的多個特征的差異性度量，計算每個區(qū)域的關(guān)注度；最后將每個區(qū)域的關(guān)注度 轉(zhuǎn)化為圖像中每個像素點的關(guān)注度，提取圖像關(guān)注度，其具體步驟如下(1)，輸入原始圖像，用Mean Shift算法分割圖像，分別提取每個區(qū)域的多個特征， 其具體如下(1-1)、計算任一區(qū)域的均值將原始圖像從RGB顏色空間轉(zhuǎn)換到CIE Lab顏色空間，用Mean Shift算法分割圖 像，統(tǒng)計任一區(qū)域的均值，如圖2(a)、圖2(b)所示，圖2(a)、圖2(b)分別為原始圖像和用 MeanShift算法分割原始圖像后的區(qū)域分割圖像，在圖2(b)中任一區(qū)域內(nèi)所有像素點的顏 色都用該區(qū)域的均值表示。(1-2)、計算任一區(qū)域的中心位置將任一區(qū)域內(nèi)的所有像素點位置計算統(tǒng)計平均量，得到區(qū)域的中心位置，如圖3 所示，圖中每一個黑點就表示一個區(qū)域的中心位置。(1-3)、計算任一區(qū)域與圖像邊框的相交長度通過統(tǒng)計任一區(qū)域擁有圖像邊框像素的個數(shù)求出任一區(qū)域與圖像邊框的相交長度。
(1-4)、用Carmy算子找出任一區(qū)域內(nèi)的邊緣先用Carmy算子找出圖像內(nèi)所有的邊緣，然后將任一區(qū)域i內(nèi)的邊緣象素組成集 合Ei,如圖4所示，圖中屬于同一集合的邊緣像素顏色相同，屬于不同集合的邊緣像素顏色 不同。(2)、進行多個特征融合，計算區(qū)域關(guān)注度。利用步驟(1)提取的多個特征，分別計算區(qū)域與相鄰區(qū)域和圖像均值的差異性度 量、圖像邊緣的差異性度量、區(qū)域位置的差異性度量，然后進行融合計算區(qū)域關(guān)注度，其具 體步驟如下(2-1)、分別計算任一區(qū)域與相鄰區(qū)域和圖像均值的差異性度量 先找出每個區(qū)域?qū)?yīng)的相鄰區(qū)域，按照公式(1)計算任一區(qū)域i與相鄰區(qū)域的均 值的差異性度量，其差異性度量如圖5所示。用灰度圖來表示差異性的大小，灰度圖中顏色 越接近白色就表示差異性越大，灰度圖中顏色越接近黑色就表示差異性越小。由圖5看出 圖中右下角的花瓣區(qū)域與相鄰區(qū)域的均值的差異性最大。先計算出圖像均值，然后按照公式(2)計算任一區(qū)域i與圖像均值的差異性度量， 其差異性度量如圖6所示，由圖看出圖中花蕊區(qū)域與圖像均值的差異性最大。(2-2)、計算任一區(qū)域i內(nèi)的邊緣的差異性度量按照公式(3)計算任一區(qū)域i內(nèi)的邊緣的差異性度量，其差異性度量如圖7所示， 由圖可以看出花蕊及花瓣區(qū)域內(nèi)的邊緣的差異性比背景區(qū)域內(nèi)的邊緣的差異性大。(2-3)、計算任一區(qū)域位置的差異性度量利用步驟(1-4)提取的Ei,按照公式(4)計算任一區(qū)域位置的差異性度量，其差異 性度量如圖8所示，由圖可以看出離圖像中心近的區(qū)域差異性大。(2-4)、計算區(qū)域關(guān)注度按照公式(5)融合上述步驟(2-1)、(2-2)、(2-3)所述的差異性度量，計算出區(qū)域 關(guān)注度Sk (i)，其關(guān)注度如圖9所示，灰度圖中顏色越接近白色就表示關(guān)注度越大，灰度圖中 顏色越接近黑色就表示關(guān)注度越小。(3)、將上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度SP(k)，提取圖像關(guān)注度。按照公式(6)將上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度SP(k)，提 取圖像關(guān)注度提取圖像關(guān)注度，得到的結(jié)果如圖10所示，由圖看出花所在的區(qū)域關(guān)注度最 大，而且輪廓分明。本發(fā)明進行的仿真實驗中還作了其它不同的實驗，如圖11所示，該圖有動物2幅， 人物1幅，景觀1幅和花1幅，分成5行2列排列，第一列是原始圖像，第二列是關(guān)注度圖。從上述仿真實驗結(jié)果可以看出，本發(fā)明的方法不僅能準(zhǔn)確地定位人眼關(guān)注的位 置，而且能準(zhǔn)確地凸顯關(guān)注物體的整個區(qū)域和外圍輪廓，準(zhǔn)確性高，更滿足人眼的視覺要 求。
權(quán)利要求
一種基于圖像的多特征融合提取圖像關(guān)注度的方法，其具體步驟如下(1)，輸入原始圖像，分別提取每個區(qū)域的多個特征；(2)、進行多個特征融合，計算區(qū)域關(guān)注度；(3)、通過圖像中每個像素點的像素值與每個區(qū)域的均值的相近程度，將上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度，提取圖像關(guān)注度。
2.根據(jù)權(quán)利要求1所述的基于圖像的多特征融合提取圖像關(guān)注度的方法，其特征在 于，上述步驟(1)所述的輸入圖像，分別提取每個區(qū)域的多個特征，其具體步驟如下(1-1)、計算任一區(qū)域的均值將原始圖像從RGB顏色空間轉(zhuǎn)換到CIE Lab顏色空間，用Mean Shift算法分割圖像， 分割后的每個區(qū)域的顏色均值記為 <，其中，i = 1，2，...，N，N為分割區(qū)域的數(shù)目； (1-2)、計算任一區(qū)域的中心位置r；； (1-3)、統(tǒng)計任一區(qū)域與圖像邊框的相交長度Z；； (1-4)、用Canny算子找出任一區(qū)域內(nèi)的邊緣先用Canny算子找出圖像內(nèi)所有的邊緣，然后將任一區(qū)域i內(nèi)的邊緣象素組成集合E、
3.根據(jù)權(quán)利要求2所述的基于圖像的多特征融合提取圖像關(guān)注度的方法，其特征在于，上述步驟(2)所述的進行多個特征融合，計算區(qū)域關(guān)注度，其具體步驟如下 (2-1)、分別計算任一區(qū)域與相鄰區(qū)域和圖像均值的差異性度量 先找出每個區(qū)域?qū)?yīng)的相鄰區(qū)域，計算任一區(qū)域i與相鄰區(qū)域均值的差異性度量，其 計算表達式為 其中，D丨表示為任一區(qū)域i與相鄰區(qū)域均值的差異性度量，d( )表示歐氏距離， 表 示區(qū)域i的相鄰區(qū)域，Li.j表示區(qū)域i和j的相交長度，C,表示區(qū)域i的周長，rs表示區(qū)域 的中心位置，rc表示區(qū)域的均值，計算任一區(qū)域i與圖像均值的差異性度量，其計算表達式為 其中，Di表示為任一區(qū)域i與圖像均值的差異性度量，mc表示圖像的均值；(2-2)、計算任一區(qū)域i內(nèi)的邊緣的差異性度量計算任一區(qū)域i內(nèi)的邊緣的差異性度量，其計算表達式為 其中，伐表示為任一區(qū)域i內(nèi)的邊緣的差異性度量，pk和Pj表示像素k和像素j的顏 色值， ‘表示像素k的8鄰域，Num(Ei)表示象素集合E1中的像素個數(shù)； (2-3)、計算任一區(qū)域位置的差異性度量計算任一區(qū)域位置的差異性度量，其計算表達式為 其中，Z)丨表示為任一區(qū)域位置的差異性度量，ms是圖像的中心位置，h和w分別是圖像 的高和寬，為區(qū)域i與圖像邊框的相交長度，Cm是圖像的周長； (2-4)、計算區(qū)域關(guān)注度融合上述步驟(2-1)、(2-2)、(2-3)所述的差異性度量，計算出區(qū)域關(guān)注度SK(i)，其計算表達式為
4.根據(jù)權(quán)利要求4所述的基于圖像的多特征融合提取圖像關(guān)注度的方法，其特征在 于，上述步驟(3)所述通過圖像中每個像素點的像素值與每個區(qū)域的均值的相近程度，將 上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度，提取圖像關(guān)注度，其計算表達式為
全文摘要
本發(fā)明公開了一種基于圖像的多特征融合提取圖像關(guān)注度的方法，該方法包括其具體步驟如下(1)輸入圖像，分別提取每個區(qū)域的多個特征；(2)進行多個特征融合，計算區(qū)域關(guān)注度；(3)通過圖像中每個像素點的像素值與每個區(qū)域的均值的相近程度，將上述區(qū)域關(guān)注度轉(zhuǎn)化為圖像中每個像素點k的關(guān)注度，提取圖像關(guān)注度。該方法采用多個特征融合，計算區(qū)域關(guān)注度，不僅能準(zhǔn)確地定位人眼關(guān)注的位置，而且能準(zhǔn)確地凸顯關(guān)注物體的整個區(qū)域和外圍輪廓，更滿足人眼的視覺要求，并且具有準(zhǔn)確度高且實時性好的特點，在機器視覺、對象分割、目標(biāo)跟蹤等領(lǐng)域有很好的應(yīng)用前景。
文檔編號G06K9/46GK101866422SQ20101021569
公開日2010年10月20日 申請日期2010年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者劉志, 史冉, 薛銀珠 申請人:上海大學(xué)