專利名稱：一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型及其處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視覺(jué)信息處理領(lǐng)域，涉及一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型及其處理方法。
背景技術(shù)：
視覺(jué)選擇性注意機(jī)制是大腦有意識(shí)地選擇某種感興趣的視覺(jué)信息進(jìn)行加工并阻止其他無(wú)用信息進(jìn)入意識(shí)加工的一種機(jī)制。這種機(jī)制是人類信息處理過(guò)程中的一種重要的心理調(diào)節(jié)機(jī)制，它能使人們將有限的視覺(jué)處理資源集中于自身感興趣的場(chǎng)景信息處理。由于選擇性注意的重要作用，使其不僅在認(rèn)知科學(xué)研究中獲得了較多關(guān)注，而且在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用也日益受到人們的重視。視覺(jué)選擇性注意的計(jì)算模型是對(duì)人類視覺(jué)注意機(jī)制的借用而提出的并發(fā)展起來(lái)的一種計(jì)算模型。由于注意機(jī)制的引入，一定程度上使得在圖像中檢測(cè)選擇感興趣區(qū)域，對(duì)最有可能受到關(guān)注的目標(biāo)進(jìn)行加工處理成為可能。這不僅可以大大降低視覺(jué)計(jì)算處理的信息量，而且可以提高檢測(cè)目標(biāo)的效果，具有很高的應(yīng)用價(jià)值?，F(xiàn)有的視覺(jué)選擇性注意的計(jì)算模型可以分為自底向上(bottom-up)和自頂向下 (top-down)兩類。自底向上的注意計(jì)算模型是基于圖像的初級(jí)視覺(jué)特征分析形成的，由數(shù)據(jù)驅(qū)動(dòng)的計(jì)算模型；自頂向下的注意計(jì)算模型是基于高層知識(shí)與視覺(jué)任務(wù)指引的計(jì)算模型。目前自底向上的注意計(jì)算研究取得的成果較多，也較成熟；而自頂向下的注意計(jì)算研究較為困難，其主要方法還是使用一些簡(jiǎn)化的高層信息或某些線索進(jìn)行注意的引導(dǎo)計(jì)算。自底向上的視覺(jué)選擇性注意計(jì)算模型的心理學(xué)理論基礎(chǔ)是Treisman關(guān)于注意的特征整合理論。它的策略主要是模擬人類視覺(jué)系統(tǒng)在前注意階段對(duì)視覺(jué)特征的并行處理， 采用刺激驅(qū)動(dòng)的方式，獲得突顯目標(biāo)。它可以通過(guò)大規(guī)模并行處理來(lái)選擇突現(xiàn)的刺激，因此速度較快。大多數(shù)自底向上的視覺(jué)選擇性注意計(jì)算模型都有類似于

圖1所示的架構(gòu)，這類模型首先對(duì)輸入圖像在多個(gè)尺度上提取各種視覺(jué)特征，并將提取到的視覺(jué)特征以一定的權(quán)重合并生成一張顯著圖，最后采用某種機(jī)制從顯著圖中選擇出注意焦點(diǎn)。最早的視覺(jué)選擇性注意模型是Koch等人在1985年提出的，但是這個(gè)模型只提出了一個(gè)視覺(jué)選擇性注意模型的計(jì)算框架，它并未真正實(shí)現(xiàn)。盡管如此，Koch的模型對(duì)其后各種模型的影響很大，該模型中的許多計(jì)算方法，特別是采用WTA(Winner Take All)神經(jīng)網(wǎng)絡(luò)產(chǎn)生注意焦點(diǎn)的機(jī)制被其后的許多模型所借鑒。Clark等人在1988第一次真正實(shí)現(xiàn)了一個(gè)視覺(jué)選擇性注意計(jì)算模型，并將其用于一個(gè)雙目機(jī)器人系統(tǒng)。Milanese在1993提出的自底向上選擇性注意模型中首次提出了特征顯著圖(conspicuity maps)的概念并利用中央-周邊差分算子實(shí)現(xiàn)特征的提取。Itti在1998年提出了一個(gè)視覺(jué)選擇性注意計(jì)算模型， 該模型基于Treisman的特征整合理論和Koch視覺(jué)選擇性注意計(jì)算框架實(shí)現(xiàn)了一個(gè)視覺(jué)選擇性注意計(jì)算工具包iNVT(iLab Neuromorphic Vision C++Toolkit)，它采用高斯金字塔結(jié)構(gòu)，在非均勻采樣的基礎(chǔ)上通過(guò)中央-周邊差分算子得到特征的顯著度，其架構(gòu)如圖2所示。Itti的模型是目前為止最出名，影響最大的一個(gè)視覺(jué)選擇性注意模型，許多學(xué)者的相關(guān)研究均是在這個(gè)模型基礎(chǔ)上進(jìn)行的。Itti模型模擬了生物視覺(jué)系統(tǒng)對(duì)觀察到的各個(gè)物體的顏色、亮度和方向等初級(jí)視覺(jué)特征進(jìn)行并行加工，及對(duì)各個(gè)視覺(jué)目標(biāo)相互競(jìng)爭(zhēng)獲得注意的選擇性過(guò)程。它根據(jù)Treisman特征整合理論將視覺(jué)注意分為特征登記和特征整合兩個(gè)階段的假設(shè)，首先模擬特征登記階段快速并行地從圖像數(shù)據(jù)中抽取視覺(jué)場(chǎng)景中各物體的物理特征，形成各個(gè)視覺(jué)特征獨(dú)立編碼的心理表征過(guò)程，采用線性濾波器和中心-周邊差分算子從輸入圖像提取多個(gè)空間尺度的各種視覺(jué)特征數(shù)據(jù)，并采用側(cè)抑制機(jī)制實(shí)現(xiàn)每個(gè)同類特征在各空間位置的競(jìng)爭(zhēng)，形成表征各個(gè)視覺(jué)特征獨(dú)立編碼的特征圖(Feature Map)；接著該模型模擬特征整合階段通過(guò)競(jìng)爭(zhēng)選擇，將注意窗口僅集中在一個(gè)物體的位置上，同時(shí)將所有其他物體的特征抑制排除在知覺(jué)水平之外的過(guò)程，將所有的特征圖融合形成一張顯著圖 (Saliency Map)，并通過(guò)WTA(Winner Take All)神經(jīng)網(wǎng)絡(luò)互相競(jìng)爭(zhēng)，選出顯著度最高的物體位置，作為注意選擇的目標(biāo)，同時(shí)它利用返回抑制機(jī)制實(shí)現(xiàn)注意目標(biāo)的選擇和切換。Draper等人2005年在Itti模型的基礎(chǔ)上提出了一種視覺(jué)選擇性注意計(jì)算模型， 該模型不合并多個(gè)尺度的特征，而是將它們保留，形成多個(gè)尺度的顯著圖金字塔，從而使模型對(duì)二維的變換有更好的適應(yīng)能力。Frintrop在2005年提出了另一種視覺(jué)選擇性注意模型，它將亮度分為on-off和off-on兩個(gè)通道，使得模型對(duì)某些情況下的注意選擇更為合理。Walther等人則在模型中引入圖像分割的方法，當(dāng)WTA神經(jīng)網(wǎng)絡(luò)從顯著圖中選出獲勝區(qū)域時(shí)，采用圖像分割方法得到注意選擇的目標(biāo)，使得注意計(jì)算選擇的區(qū)域與實(shí)際目標(biāo)區(qū)域更為一致。Tsotsos等人提出的選擇性調(diào)制(STjelective Tuning)視覺(jué)注意模型基于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，它采用了金字塔結(jié)構(gòu)，實(shí)現(xiàn)了基于運(yùn)動(dòng)和深度視覺(jué)的注意選擇。盡管自底向上的視覺(jué)選擇性注意計(jì)算方法取得了一定的效果，但是由于該方法僅分析圖像底層信息，對(duì)于復(fù)雜場(chǎng)景難以達(dá)到令人滿意的效果，而且這種計(jì)算方法也與人類主動(dòng)性的、有目的選擇性注意不一致，無(wú)法完成指定任務(wù)情況下的注意搜索。此外，目前的模型大多只考慮了視覺(jué)信息中的亮度、顏色和局部方向信息，但是在實(shí)際的視覺(jué)場(chǎng)景中包含的信息要豐富得多，僅使用亮度、顏色和方向信息不能完全表達(dá)生物視覺(jué)系統(tǒng)對(duì)實(shí)際場(chǎng)景的注意處理機(jī)制。正如Wolfe指出的那樣，影響注意的視覺(jué)特征包括顏色、方向、曲率、尺寸、運(yùn)動(dòng)、微小間距、深度線索、光澤和形狀外觀等，這其中運(yùn)動(dòng)特征尤為敏感。近年來(lái)，有許多研究人員注意到了運(yùn)動(dòng)信息在視覺(jué)注意中的作用，提出了一些包含運(yùn)動(dòng)特征的視覺(jué)注意模型，例如Ma等人利用運(yùn)動(dòng)信息實(shí)現(xiàn)了動(dòng)態(tài)場(chǎng)景的注意計(jì)算； Lopez等人結(jié)合亮度、運(yùn)動(dòng)和形狀特征實(shí)現(xiàn)了運(yùn)動(dòng)場(chǎng)景的注意計(jì)算；Hang等人將運(yùn)動(dòng)與顏色、亮度和方向等特征結(jié)合提出的動(dòng)態(tài)場(chǎng)景注意計(jì)算模型；Jeong等人則通過(guò)計(jì)算前后兩幀圖像顯著信息的差別，將運(yùn)動(dòng)信息加入現(xiàn)有的注意計(jì)算模型。盡管這些模型都利用運(yùn)動(dòng)信息改善了 Itti模型在某些運(yùn)動(dòng)場(chǎng)景對(duì)注意焦點(diǎn)分析的缺陷，但它們并不完善，對(duì)一些復(fù)雜的運(yùn)動(dòng)情況無(wú)法取得較好的效果，而且這些模型也未充分考慮生物視覺(jué)系統(tǒng)在形成注意過(guò)程中對(duì)運(yùn)動(dòng)特征的處理方式。從神經(jīng)生物學(xué)的研究可以發(fā)現(xiàn)，視覺(jué)感知的背側(cè)通路(Where通路)負(fù)責(zé)運(yùn)動(dòng)特征等空間信息的處理。它的處理速度較快，視覺(jué)場(chǎng)景的空間信息可能在前額葉被處理后形成初始的反饋信號(hào)，并將此信號(hào)傳給腹側(cè)通路。這就意味著視覺(jué)感知的背側(cè)通路能利用運(yùn)動(dòng)等空間信息進(jìn)行前注意性質(zhì)的初步目標(biāo)定位，從而使背側(cè)通路對(duì)腹側(cè)通路形成導(dǎo)向作用。 此外，研究人員也發(fā)現(xiàn)視覺(jué)信息從視網(wǎng)膜向視皮層的傳輸過(guò)程中有部分神經(jīng)纖維離開(kāi)視束
6直接通往上丘(視頂蓋)形成視網(wǎng)膜-頂蓋投射。視網(wǎng)膜-頂蓋投射形成視拓樸圖，它直接參與視覺(jué)的前注意調(diào)制。由此可見(jiàn)，在人類的視覺(jué)系統(tǒng)中，空間信息不僅同顏色、亮度等非空間特征一樣參與注意的特征整合，同時(shí)空間特征也參于前注意的調(diào)制。從上述的分析可以看出各種自底向上計(jì)算策略的主要差別在于模型所提取特征不同，以及對(duì)特征的處理方式的不同。從提取的特征上看，較常用的特征主要有亮度、顏色和方向紋理等。但這些模型對(duì)自底向上注意的計(jì)算大多都是將不同特征簡(jiǎn)單疊加，這種方式與視覺(jué)系統(tǒng)的神經(jīng)機(jī)制不完全一致，在生物視覺(jué)系統(tǒng)中各種特征之間的關(guān)系更為復(fù)雜，例如現(xiàn)有的簡(jiǎn)單策略均未考慮到視覺(jué)中樞背腹側(cè)通路之間的交互關(guān)系。上述現(xiàn)有的視覺(jué)注意計(jì)算模型與人類的視覺(jué)注意機(jī)制偏差較大。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能模擬生物視覺(jué)系統(tǒng)背腹側(cè)通路之間的交互關(guān)系，與人類的視覺(jué)注意機(jī)制較為一致，且其計(jì)算結(jié)果和處理圖像的效果與人的主觀視覺(jué)感受更為接近的基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型及其處理方法。為達(dá)到上述目的，本發(fā)明一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型，主要包括圖像輸入單元、背側(cè)通路空間特征分量顯著圖生成單元、腹側(cè)通路非空間特征分量顯著圖生成單元和注意信息提取單元；所述的圖像輸入單元用于輸出視頻圖像至背側(cè)通路空間特征分量顯著圖生成單元和腹側(cè)通路非空間特征分量顯著圖生成單元；所述的背側(cè)通路空間特征分量顯著圖生成單元用于提取視頻圖像中的空間特征并生成空間特征分量顯著圖輸出到注意信息提取單元；同時(shí)該背側(cè)通路空間特征分量顯著圖生成單元還根據(jù)其生成的空間特征分量顯著圖計(jì)算生成調(diào)制信號(hào)，作用于腹側(cè)通路非空間特征分量顯著圖生成單元提取非空間特征并生成非空間特征分量顯著圖的過(guò)程；所述的腹側(cè)通路非空間特征分量顯著圖生成單元提取視頻圖像中包括顏色、亮度或方向的非空間特征，然后利用這些特征，在背側(cè)通路空間特征分量顯著圖生成單元生成的調(diào)制信號(hào)的作用下，生成非空間特征分量顯著圖輸出到注意信息提取單元；所述的注意信息提取單元用于將非空間特征分量顯著圖和空間特征分量顯著圖合并生成注意顯著圖，并生成注意信息。本發(fā)明一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型的處理方法，具體包括如下步驟步驟1、圖像輸入單元輸出視頻圖像至背側(cè)通路空間特征分量顯著圖生成單元和腹側(cè)通路非空間特征分量顯著圖生成單元；步驟2、所述的背側(cè)通路空間特征分量顯著圖生成單元提取視頻圖像中的空間特征并生成空間特征分量顯著圖輸出到注意信息提取單元；同時(shí)該背側(cè)通路空間特征分量顯著圖生成單元還根據(jù)其生成的空間特征分量顯著圖計(jì)算生成調(diào)制信號(hào)，作用于腹側(cè)通路非空間特征分量顯著圖生成單元提取非空間特征并生成非空間特征分量顯著圖的過(guò)程；步驟3、所述的腹側(cè)通路非空間特征分量顯著圖生成單元提取視頻圖像中包括顏色、亮度或方向的非空間特征，然后利用這些特征，在背側(cè)通路空間特征分量顯著圖生成單元生成的調(diào)制信號(hào)的作用下，生成非空間特征分量顯著圖輸出到注意信息提取單元；
7
步驟4、所述的注意信息提取單元將非空間特征分量顯著圖和空間特征分量顯著圖合并生成注意顯著圖，并生成注意信息。所述的生成空間特征分量顯著圖包括如下步驟(1)、若某一空間特征由一組子特征構(gòu)成，則對(duì)該組各子特征的灰度圖像分別采用高斯金字塔進(jìn)行多尺度圖像分解，得到一個(gè)包括0-8層總共9個(gè)尺度的多層圖像，其中第0 層為原始圖像，數(shù)字越大的層，其圖像尺度越小，所述的高斯金字塔的圖像分解包括平滑和降采樣兩個(gè)運(yùn)算，對(duì)于一幅描述特征的灰度圖像I (x，y) = 1(1&，7)，其第1層圖像11&，7) 與第i-Ι層圖像Ih (X，y)之間的關(guān)系為
權(quán)利要求
1.一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型，其特征在于主要包括圖像輸入單元、背側(cè)通路空間特征分量顯著圖生成單元、腹側(cè)通路非空間特征分量顯著圖生成單元和注意信息提取單元；所述的圖像輸入單元用于輸出視頻圖像至背側(cè)通路空間特征分量顯著圖生成單元和腹側(cè)通路非空間特征分量顯著圖生成單元；所述的背側(cè)通路空間特征分量顯著圖生成單元用于提取視頻圖像中的空間特征并生成空間特征分量顯著圖輸出到注意信息提取單元；同時(shí)該背側(cè)通路空間特征分量顯著圖生成單元還根據(jù)其生成的空間特征分量顯著圖計(jì)算生成調(diào)制信號(hào)，作用于腹側(cè)通路非空間特征分量顯著圖生成單元提取非空間特征并生成非空間特征分量顯著圖的過(guò)程；所述的腹側(cè)通路非空間特征分量顯著圖生成單元提取視頻圖像中包括顏色、亮度或方向的非空間特征，然后利用這些特征，在背側(cè)通路空間特征分量顯著圖生成單元生成的調(diào)制信號(hào)的作用下，生成非空間特征分量顯著圖輸出到注意信息提取單元；所述的注意信息提取單元用于將非空間特征分量顯著圖和空間特征分量顯著圖合并生成注意顯著圖，并生成注意信息。
2.一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型的處理方法，其特征在于具體包括如下步驟步驟1、圖像輸入單元輸出視頻圖像至背側(cè)通路空間特征分量顯著圖生成單元和腹側(cè)通路非空間特征分量顯著圖生成單元；步驟2、所述的背側(cè)通路空間特征分量顯著圖生成單元提取視頻圖像中的空間特征并生成空間特征分量顯著圖輸出到注意信息提取單元；同時(shí)該背側(cè)通路空間特征分量顯著圖生成單元還根據(jù)其生成的空間特征分量顯著圖計(jì)算生成調(diào)制信號(hào)，作用于腹側(cè)通路非空間特征分量顯著圖生成單元提取非空間特征并生成非空間特征分量顯著圖的過(guò)程；步驟3、所述的腹側(cè)通路非空間特征分量顯著圖生成單元提取視頻圖像中包括顏色、亮度或方向的非空間特征，然后利用這些特征，在背側(cè)通路空間特征分量顯著圖生成單元生成的調(diào)制信號(hào)的作用下，生成非空間特征分量顯著圖輸出到注意信息提取單元；步驟4、所述的注意信息提取單元將非空間特征分量顯著圖和空間特征分量顯著圖合并生成注意顯著圖，并生成注意信息。
3.根據(jù)權(quán)利要求2所述的一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型的處理方法，其特征在于所述生成空間特征分量顯著圖包括如下步驟(1)、若某一空間特征由一組子特征構(gòu)成，則對(duì)該組各子特征的灰度圖像分別采用高斯金字塔進(jìn)行多尺度圖像分解，得到一個(gè)包括0-8層總共9個(gè)尺度的多層圖像，其中第0層為原始圖像，數(shù)字越大的層，其圖像尺度越小，所述的高斯金字塔的圖像分解包括平滑和降采樣兩個(gè)運(yùn)算，對(duì)于一幅描述特征的灰度圖像I (x，y) =ItlO^y),其第i層圖像Ii(x，y)與第 i-1層圖像Ih (χ，y)之間的關(guān)系為
4.根據(jù)權(quán)利要求2所述的一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型的處理方法，其特征在于所述的步驟2中根據(jù)空間特征在空間特征分量顯著圖中的強(qiáng)度大小生成背側(cè)通路對(duì)腹側(cè)通路的調(diào)制信號(hào)G (x，y)的公式為G(x，y) = 1+ff ( Γ Ν (χ, y)),其中，rN(x，y)為空間特征分量顯著圖，函數(shù)W(_)為權(quán)重函數(shù)，它是一種值域?yàn)?br> 區(qū)間的單調(diào)函數(shù)，該函數(shù)用于調(diào)節(jié)調(diào)制信號(hào)的強(qiáng)度。
5.根據(jù)權(quán)利要求2所述的一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型的處理方法，其特征在于步驟3中在背側(cè)通路空間特征分量顯著圖生成單元生成的調(diào)制信號(hào)G(x，y)的作用下，生成非空間特征分量顯著圖F(x，y)的公式為F(x，y) =H(G(x,y),F' (x，y))其中，H( ■)為神經(jīng)細(xì)胞受到調(diào)制信號(hào)影響后的響應(yīng)函數(shù)，F(xiàn)’ (x, y)為未受調(diào)制信號(hào)作用下提取的原始特征圖，在處理過(guò)程中，若調(diào)制信號(hào)G(x，y)所對(duì)應(yīng)的圖像尺寸與原始特征圖F’ (x,y)不一致則需先將其調(diào)整為原始特征圖F’(x，y)的尺寸。
全文摘要
本發(fā)明一種基于背側(cè)通路引導(dǎo)的視覺(jué)注意計(jì)算模型及其處理方法，背側(cè)通路空間特征分量顯著圖生成單元根據(jù)空間特征分量顯著圖計(jì)算生成調(diào)制信號(hào)，作用于腹側(cè)通路非空間特征分量顯著圖生成單元提取非空間特征并生成非空間特征分量顯著圖的過(guò)程；并將非空間特征分量顯著圖和空間特征分量顯著圖合并生成注意顯著圖，生成注意信息，由于本發(fā)明先對(duì)生物視覺(jué)背側(cè)通路的視覺(jué)信號(hào)處理進(jìn)行建模，該模型的計(jì)算結(jié)果用于引導(dǎo)整個(gè)視覺(jué)注意的計(jì)算過(guò)程，其計(jì)算結(jié)果和處理圖像的效果與人的主觀視覺(jué)感受更為接近。
文檔編號(hào)G06K9/62GK102222231SQ20111013946
公開(kāi)日2011年10月19日 申請(qǐng)日期2011年5月26日 優(yōu)先權(quán)日2011年5月26日
發(fā)明者周昌樂(lè), 鄭靈翔 申請(qǐng)人:廈門大學(xué)