專利名稱：灰度圖中視覺注意區(qū)域轉(zhuǎn)移預(yù)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理中的區(qū)域分析，特別涉及圖像中的顯著區(qū)域檢測(cè)并提供灰度 圖像中視點(diǎn)在極顯著的區(qū)域間進(jìn)行轉(zhuǎn)移的預(yù)測(cè)方法。
背景技術(shù)：
在人類所有的感覺中，至少有70%的外界信息是通過視覺系統(tǒng)獲取的。生物視覺 系統(tǒng)，包括人類視覺系統(tǒng)，能自動(dòng)選擇場(chǎng)景中顯著的區(qū)域進(jìn)行理解，并在不同的區(qū)域間進(jìn)行 切換。從圖像或者感受野中提取顯著的特征，并把它們分成不同的區(qū)域，從中選擇顯著的區(qū) 域是感知理解的根本任務(wù)。這種能力就是視覺理解中的視覺注意選擇。當(dāng)顯著的區(qū)域被選 擇之后，由于視覺系統(tǒng)的適應(yīng)性，注意力會(huì)從當(dāng)前顯著的區(qū)域轉(zhuǎn)到下一個(gè)顯著的區(qū)域，這是 注意轉(zhuǎn)移。視覺注意選擇和視覺注意轉(zhuǎn)移是保證生物系統(tǒng)以有限的處理能力完成任務(wù)的重 要機(jī)制。人眼處理視覺圖像時(shí)可以在很短的時(shí)間內(nèi)輕松的進(jìn)行感知和理解，并且實(shí)現(xiàn)從一 個(gè)顯著的區(qū)域轉(zhuǎn)移到下一個(gè)顯著的區(qū)域?，F(xiàn)代高速計(jì)算機(jī)的計(jì)算能力已達(dá)到驚人的程度， 但計(jì)算機(jī)視覺系統(tǒng)卻無法指導(dǎo)諸如過馬路之類對(duì)人來說非常簡(jiǎn)單的視覺任務(wù)。這主要是因 為同樣面對(duì)海量的視覺信息輸入，人眼可以在短時(shí)間內(nèi)有選擇地關(guān)注視覺場(chǎng)景中的顯著變 化區(qū)域，并進(jìn)行分析判斷，從而適應(yīng)環(huán)境的變化。而計(jì)算機(jī)視覺系統(tǒng)只會(huì)不加選擇地平等對(duì) 待視覺場(chǎng)景中的各個(gè)區(qū)域，在無法理解場(chǎng)景變化的同時(shí)還會(huì)造成計(jì)算瓶頸。如果我們把人 類視覺系統(tǒng)的選擇性注意功能引入到計(jì)算機(jī)視覺系統(tǒng)中，勢(shì)必會(huì)提升現(xiàn)有計(jì)算機(jī)圖像分析 效率。如果能夠?qū)⑦@種機(jī)制引入圖像分析領(lǐng)域，將計(jì)算資源優(yōu)先分配給那些容易引起觀 察者注意的顯著區(qū)域，必將極大地提高現(xiàn)有圖像分析方法的工作效率。圖像的視覺顯著性 區(qū)域檢測(cè)有著廣泛的應(yīng)用，如圖像智能裁剪縮放。當(dāng)我們需要對(duì)一幅圖像進(jìn)行裁剪或縮放 時(shí)，總希望保持圖像中有意義的內(nèi)容不被裁掉或扭曲，而只是對(duì)那些不重要的背景區(qū)域進(jìn) 行處理。如果我們使用某一個(gè)設(shè)備自動(dòng)實(shí)現(xiàn)上述功能，就需要首先對(duì)一幅圖像中各個(gè)區(qū)域 的視覺顯著程度進(jìn)行判斷從而確定圖像中有意義的內(nèi)容。但目前提出的方法大多計(jì)算復(fù)雜 度高，耗費(fèi)計(jì)算資源巨大，對(duì)大多數(shù)工程應(yīng)用來說不夠?qū)嵱谩Ｔ谟嘘P(guān)視覺顯著性程度檢測(cè)的文獻(xiàn)中，視覺顯著區(qū)域通常被定義為那些在圖像特 征空間上具有全局稀有性的局部圖像塊。這種定義的一種常見實(shí)現(xiàn)方法是把圖像切分成 若干個(gè)圖像塊，然后計(jì)算每個(gè)圖像塊相對(duì)其他所有圖像塊的不相似度，最后那些具有較高 不相似度的圖像塊被認(rèn)為是比較顯著的區(qū)域。其中不相似度的比較方法可以是比較兩個(gè)圖 像塊在顏色、朝向、紋理等特征上的對(duì)比度。還有一種定義認(rèn)為與鄰域?qū)Ρ缺容^大的區(qū)域是 比較顯著的區(qū)域。這種定義的實(shí)現(xiàn)方式和上述全局稀有性定義的主要區(qū)別在于每個(gè)圖像塊 之和它周圍的圖像塊比較不相似度，而不是和當(dāng)前圖像中的所有圖像塊。這種定義最常見 的一種實(shí)現(xiàn)是中央_周邊機(jī)制，即中央和周邊差異大的區(qū)域是顯著區(qū)域。目前大多數(shù)文獻(xiàn)顯示，現(xiàn)有顯著性檢測(cè)方法主要是像素級(jí)的檢測(cè)方法，這些方法 在沒有對(duì)圖像主要區(qū)域進(jìn)行劃分的前提下，計(jì)算每個(gè)像素的顯著程度，因此，在這些方法得
3到的顯著圖上進(jìn)行區(qū)域間的視點(diǎn)轉(zhuǎn)移是很困難的。相關(guān)研究表明，人的視點(diǎn)存在在不同區(qū) 域間進(jìn)行的轉(zhuǎn)移的情況，而一個(gè)物體通常是一個(gè)有意義區(qū)域。現(xiàn)有的基于像素的視點(diǎn)轉(zhuǎn)移 方法無法體現(xiàn)人的這一視覺特點(diǎn)。
發(fā)明內(nèi)容
本發(fā)明的目的在于，通過提供一種基于區(qū)域增長(zhǎng)的視覺注意區(qū)域轉(zhuǎn)移預(yù)測(cè)方法， 預(yù)測(cè)人眼在觀察灰度圖像時(shí)從一個(gè)顯著性區(qū)域到另一個(gè)區(qū)域的過程，并構(gòu)建感受野中注意 轉(zhuǎn)移預(yù)測(cè)系統(tǒng)。本發(fā)明灰度圖中視覺注意區(qū)域轉(zhuǎn)移預(yù)測(cè)方法，是采用以下技術(shù)手段實(shí)現(xiàn)的，主要 包含4個(gè)步驟步驟1、尋找一幅灰度圖像所有像素中的領(lǐng)導(dǎo)者。首先對(duì)一幅圖像中的所有像素計(jì) 算其八鄰域的像素對(duì)其產(chǎn)生的側(cè)電勢(shì)。像素j對(duì)像素i側(cè)電勢(shì)Lateral (i，j)計(jì)算公式如 (1)所示。Lateral(i,j) = \M j e N(i)(1)
i+l其中Lateral (i，j)表示像素j對(duì)像素i的側(cè)電勢(shì)，N(i)表示像素i的八鄰域，像
素j是像素i的八鄰域中的像素，Im = 255，Ii和Ij分別是像素i和j的灰度值。一個(gè)像
素的側(cè)電勢(shì)定義為L(zhǎng)(i)，計(jì)算方法如公式(2)所示。 δL(i) = Lateral(i, j) j e N(i)(2)
y=i其中Lateral (i，j)表示像素j對(duì)像素i的側(cè)電勢(shì)，N(i)表示像素i的八鄰域，像 素j是像素i的八鄰域中的像素。通過公式(2)計(jì)算出所有像素的側(cè)電勢(shì)L(i)，如果L(i) > θ，則認(rèn)為像素i是領(lǐng)導(dǎo)者像素，反之則認(rèn)為不是領(lǐng)導(dǎo)者像素，計(jì)算過程如圖2所示。步驟2、尋找領(lǐng)導(dǎo)者像素的追隨者并形成不同區(qū)域。初始需要設(shè)定當(dāng)前塊數(shù)為C = 1。按照?qǐng)D像中自上而下自左至右的順序從每個(gè)領(lǐng)導(dǎo)者出發(fā)，首先判斷該領(lǐng)導(dǎo)者有沒有被標(biāo) 記，若被標(biāo)記則跳過；若未標(biāo)記則標(biāo)記為C，從該領(lǐng)導(dǎo)者出發(fā)找出其八鄰域中的所有與之相 似的像素，放到一個(gè)先進(jìn)先出的隊(duì)列Q中，并將這些像素標(biāo)記為C。從隊(duì)列中取出一個(gè)像素， 找到該像素的八鄰域中與當(dāng)前領(lǐng)導(dǎo)者相似的像素，并把這些像素送入隊(duì)列Q中。判斷兩個(gè) 像素是否相似主要依據(jù)公式(3)。Ii-Ij < α(3)其中Ii和L分別是像素i和j的灰度值，α是一個(gè)閾值。當(dāng)隊(duì)列為空時(shí)，表示 某個(gè)領(lǐng)導(dǎo)者像素的追隨者已經(jīng)全部標(biāo)記為C，此時(shí)需要把C加1，進(jìn)入下一個(gè)領(lǐng)導(dǎo)者尋找追 隨者的過程。領(lǐng)導(dǎo)者尋找其追隨者的過程如圖3所示。根據(jù)標(biāo)記C的不同，最后形成R1, R2,……，Rn共η個(gè)區(qū)域。步驟3、計(jì)算不同區(qū)域的顯著值。有R1, R2,……，Rn共η個(gè)區(qū)域，對(duì)于第i個(gè)區(qū)域， 它的顯著值A(chǔ)i定義為公式(4)，第i個(gè)區(qū)域的平均灰度值Ri計(jì)算公式為公式(5)。
η4= Σ丨尺丨⑷
權(quán)利要求
一種灰度圖中視覺注意區(qū)域轉(zhuǎn)移預(yù)測(cè)方法，包括計(jì)算一幅灰度圖像中所有像素的側(cè)電勢(shì)，根據(jù)已經(jīng)得出的側(cè)電勢(shì)和閾值得到領(lǐng)導(dǎo)者；每個(gè)領(lǐng)導(dǎo)者找到它的追隨者，并形成不同區(qū)域；對(duì)每個(gè)區(qū)域計(jì)算顯著值；依據(jù)顯著值的不同對(duì)前三個(gè)顯著區(qū)域進(jìn)行顯示；其特征在于包括步驟1、對(duì)一幅灰度圖像中的所有像素計(jì)算其八鄰域內(nèi)的像素對(duì)其產(chǎn)生的側(cè)電勢(shì)；像素j對(duì)像素i側(cè)電勢(shì)Lateral(i，j)計(jì)算公式為 <mrow><mi>Lateral</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <msub><mi>I</mi><mi>M</mi> </msub> <mrow><mn>1</mn><mo>+</mo><mo>|</mo><msub> <mi>I</mi> <mi>j</mi></msub><mo>-</mo><msub> <mi>I</mi> <mi>i</mi></msub><mo>|</mo> </mrow></mfrac><mo>,</mo><mi>j</mi><mo>∈</mo><mi>N</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo></mrow> </mrow>其中Lateral(i，j)表示像素j對(duì)像素i的側(cè)電勢(shì)，N(i)表示像素i的八鄰域，像素j是像素i的八鄰域中的像素，IM＝255，Ii和Ij分別是像素i和j的灰度值，一個(gè)像素的側(cè)電勢(shì)定義為L(zhǎng)(i)，如公式為 <mrow><mi>L</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo></mrow><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>j</mi><mo>=</mo><mn>1</mn> </mrow> <mn>8</mn></munderover><mi>Lateral</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo></mrow><mo>,</mo><mi>j</mi><mo>∈</mo><mi>N</mi><mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo></mrow> </mrow>計(jì)算出所有像素的側(cè)電勢(shì)L(i)，如果L(i)＞θ，則認(rèn)為像素i是領(lǐng)導(dǎo)者像素，反之則認(rèn)為不是領(lǐng)導(dǎo)者像素；步驟2、尋找領(lǐng)導(dǎo)者像素的追隨者并形成不同區(qū)域，設(shè)定當(dāng)前塊數(shù)為C＝1，按照?qǐng)D像中自上而下自左至右的順序從每個(gè)領(lǐng)導(dǎo)者出發(fā)；首先判斷該領(lǐng)導(dǎo)者有沒有被標(biāo)記，若被標(biāo)記則跳過；若未標(biāo)記則標(biāo)記為C，從該領(lǐng)導(dǎo)者出發(fā)找出其八鄰域中的所有與之相似的像素，放到一個(gè)先進(jìn)先出的隊(duì)列Q中，并將這些像素標(biāo)記為C；從隊(duì)列Q中取出一個(gè)像素，找到該像素的八鄰域中與當(dāng)前領(lǐng)導(dǎo)者相似的像素，并把這些像素送入隊(duì)列Q中，判斷兩個(gè)像素是否相似主要依據(jù)公式為|Ii Ij|＜α(3)其中Ii和Ij分別是像素i和j的灰度值，α是一個(gè)閾值；當(dāng)隊(duì)列為空時(shí)，表示某個(gè)領(lǐng)導(dǎo)者像素的追隨者已經(jīng)全部標(biāo)記為C，此時(shí)需要把C加1，進(jìn)入下一個(gè)領(lǐng)導(dǎo)者尋找追隨者的過程；根據(jù)標(biāo)記C的不同，最后形成R1，R2，……，Rn共n個(gè)區(qū)域；步驟3、計(jì)算不同區(qū)域的顯著值，有R1，R2，……，Rn共n個(gè)區(qū)域，對(duì)于第i個(gè)區(qū)域，它的顯著值A(chǔ)i定義為公式(4)，第i個(gè)區(qū)域的平均灰度值Ri計(jì)算公式為公式(5)； <mrow><msub> <mi>A</mi> <mi>i</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>j</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><mo>|</mo><msub> <mi>R</mi> <mi>i</mi></msub><mo>-</mo><msub> <mi>R</mi> <mi>j</mi></msub><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo></mrow> </mrow> <mrow><msub> <mi>R</mi> <mi>i</mi></msub><mo>=</mo><mfrac> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>M</mi></munderover><msub> <mi>I</mi> <mi>k</mi></msub> </mrow> <mi>M</mi></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo></mrow> </mrow>其中Ri表示第i個(gè)區(qū)域的平均灰度值，M表示第i個(gè)區(qū)域中的像素總數(shù)，Ik表示第k個(gè)像素的灰度值；步驟4、根據(jù)顯著值大小排序所有區(qū)域并找出前三個(gè)顯著性區(qū)域，顯著值大的為優(yōu)先關(guān)注的區(qū)域。
全文摘要
一種灰度圖中視覺注意區(qū)域轉(zhuǎn)移預(yù)測(cè)方法，包括四個(gè)步驟確定領(lǐng)導(dǎo)者，尋找追隨者，計(jì)算顯著值，顯著值排序。確定領(lǐng)導(dǎo)者是指計(jì)算所有像素的側(cè)電位，并根據(jù)得到的側(cè)電位和閾值確定像素中的領(lǐng)導(dǎo)者。尋找追隨者是指對(duì)每一個(gè)領(lǐng)導(dǎo)者在所有像素中依據(jù)連通性和相似性確定其追隨者，形成不同區(qū)域，一個(gè)區(qū)域可能包括多于一個(gè)的領(lǐng)導(dǎo)者，但是在實(shí)際計(jì)算機(jī)實(shí)施過程中如果一個(gè)領(lǐng)導(dǎo)者追隨其他領(lǐng)導(dǎo)者則判為追隨者。計(jì)算顯著值是指把已經(jīng)得到區(qū)域分別進(jìn)行計(jì)算，一個(gè)區(qū)域?qū)?yīng)一個(gè)顯著值。顯著值排序是指按照顯著值的大小對(duì)所有的區(qū)域排序并取前三個(gè)區(qū)域。本發(fā)明把人類視覺系統(tǒng)的選擇性注意功能成功的引入到計(jì)算機(jī)視覺系統(tǒng)中，能夠模擬和預(yù)測(cè)人眼視點(diǎn)在不同區(qū)域間進(jìn)行注意轉(zhuǎn)移。
文檔編號(hào)G06K9/00GK101984452SQ20101053235
公開日2011年3月9日 申請(qǐng)日期2010年10月29日 優(yōu)先權(quán)日2010年10月29日
發(fā)明者喬元華, 吳春鵬, 房法明, 楊震, 段立娟, 王海麗, 苗軍 申請(qǐng)人:北京工業(yè)大學(xué)