專利名稱：基于位熵率的視覺注意計算方法及系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及圖像與視頻處理技術(shù)，計算機視覺以及視覺感知等多個領域，尤其涉
及一種基于位熵率的視覺注意計算方法及系統(tǒng)。
背景技術(shù)：
選擇性注意是指心理資源有選擇性的被分配給某些認知加工過程，使得這些認知 過程對信息的加工更加快速準確。注意對于協(xié)調(diào)各種認知加工過程非常重要。人類每一時 刻都接受到大量的外界信息，處于被"信息轟炸"的狀態(tài)中。我們有限的心理資源和神經(jīng)資 源不可能同時處理這么多的信息，只能選擇性的處理具有高優(yōu)先性的信息而忽視低優(yōu)先性 的信息，注意的作用正是體現(xiàn)于此。 選擇性注意是一個非常復雜的認知過程，它時時刻刻影響著大腦的信息加工過 程。對選擇性注意的研究自上個世紀八十年代以來一直是認知科學的熱點領域，這一點可 以從每年發(fā)表的關(guān)于注意的文章的數(shù)量和質(zhì)量得到證明。關(guān)于注意機制的理論紛繁復雜， 但研究者比較認同以下分類從注意產(chǎn)生的方向來分，選擇性注意包括自下而上，數(shù)據(jù)驅(qū)動 的過程(bottom-up and data-driven process)禾口自上而下，目標指弓l的過程(top-down and goal-directed process);從注意選擇的目標來分，選擇性注意包括基于空間的注意 (space-basedattention)，基于特征的注意(feature-based attention)禾口基于物體的注 意(object-based attention)。 選擇性注意一般包括靜態(tài)注意分析和動態(tài)注意分析，分別針對靜態(tài)圖像和動態(tài)視 頻中顯著區(qū)域的檢測。在靜態(tài)注意分析中有兩種模型，一種是自下而上任務無關(guān)的模型，也 稱為剌激驅(qū)動的模型；另一種是自上而下任務相關(guān)的模型，也稱為任務驅(qū)動的模型。自下而 上的方法主要來自于視覺認知心理學方面的一些研究成果。Koch和Ullman在1985年就 提出了一個簡單的自下而上方法，它把視覺場景中每個位置的剌激顯著性響應作為輸入并 編碼成一個顯式的二維顯著圖，沿著此圖中顯著性下降的順序提供一種有效的注意掃描方 式。自下而上的方法無需考慮任何知識信息，然而我們時刻都在受到自身知識、文化背景的 影響。換句話說，我們時時刻刻都是任務驅(qū)動的，以自上而下的方法觀察周圍的事物。因此， 已有一些工作將先驗知識應用于視覺注意分析中，提高分析結(jié)果與眼動實驗結(jié)果的吻合程 度。近年來，越來越多的工作開始致力于動態(tài)注意分析。在視頻中，每一幀的顯著度分布不 僅受其自身內(nèi)容影響，同時受到時間上下文關(guān)系的影響，所以運動特征在視頻中起著至關(guān) 重要的作用。 現(xiàn)有的方法存在兩方面的問題一方面，現(xiàn)有的方法有的是基于中心-周圍模型 有的是基于信息最大化原理的，很少有方法能同時從這兩方面來解釋；另一方面，現(xiàn)有的方 法對視覺注意點的預測并不是特別準確，與真實的眼動數(shù)據(jù)有很大差距。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種視覺注意計算方法及系統(tǒng)，基于本發(fā)明，能夠獲取更
4加精確的圖像或者視頻的顯著度分析結(jié)果，更加符合生理學和心理學的依據(jù)。
本發(fā)明提供了一種基于位熵率的視覺注意計算方法，包括如下步驟濾波步驟，采 用稀疏碼本基函數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖，其中所述稀疏碼本 基函數(shù)是基于學習稀疏碼本而獲取的；全連接圖建立步驟，分別為所述多個子帶特征圖的 每一子帶特征圖建立對應的全連接圖；位熵率圖獲取步驟，在每一所述全連接圖上采用隨 機游走的方法進行信息的傳遞，在隨機游走過程中，依據(jù)位熵率進行顯著度度量，進而獲取 每一所述子帶特征圖對應的位熵率圖；顯著度圖獲取步驟，將所述多個位熵率圖加起來，獲 取所述圖像或視頻數(shù)據(jù)的顯著度圖。上述 上述基于位熵率的視覺注意計算方法，優(yōu)選所述位熵率圖獲取步驟中，所述位熵 率用于確定所述每一子帶特征圖對應的全連接圖中，每個節(jié)點i到其他節(jié)點的平均信息量 DERi表示為 淑一,Z!-^/l0gA其中，i是隨機游走過程的靜止概率，Pij是結(jié)點i到結(jié)點j的轉(zhuǎn)移概率，i、 j均
為自然數(shù)。 上述基于位熵率的視覺注意計算方法，優(yōu)選所述顯著度圖獲取步驟中，基于特征
整合理論，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計算方法，優(yōu)選所述濾波步驟中，采用獨立成分分析 方法分別為灰度圖像和彩色圖像學習稀疏碼本。 上述基于位熵率的視覺注意計算方法，優(yōu)選所述濾波步驟中，采用所述稀疏碼本 基函數(shù)對視頻的每一幀進行濾波，獲取每一幀的多個子帶特征圖，第t幀的第j個子帶特征 圖，依據(jù)下式更新
A:
力(x, _y力一 S exP(— " - r) y^'(x,;;,0 = 其中，fj(x，y，t)是更新前的第t幀的第j個子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個子帶特征圖，o是特征衰減率，o設置為1. 5，利用第t幀之前的k幀來 對第t幀進行更新。 另一方面，本發(fā)明還提供了一種基于位熵率的視覺注意計算系統(tǒng)，包括濾波模 塊、全連接圖建立模塊、位熵率圖獲取模塊和顯著度圖獲取模塊。其中，濾波模塊用于采用 稀疏碼本基函數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖，其中所述稀疏碼本基 函數(shù)是基于學習稀疏碼本而獲取的；全連接圖建立模塊用于分別為所述多個子帶特征圖的 每一子帶特征圖建立對應的全連接圖；位熵率圖獲取模塊用于在每一所述全連接圖上采用 隨機游走的方法進行信息的傳遞，在隨機游走過程中，依據(jù)位熵率進行顯著度度量，進而獲 取每一所述子帶特征圖對應的位熵率圖；顯著度圖獲取模塊，用于將所述多個位熵率圖加 起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計算系統(tǒng)，優(yōu)選所述位熵率圖獲取模塊中，所述位熵 率用于確定所述每一子帶特征圖對應的全連接圖中，每個節(jié)點i到其他節(jié)點的平均信息 量，所述位熵率SERi表示為
5
其中，i是隨機游走過程的靜止概率，Pij是結(jié)點i到結(jié)點j的轉(zhuǎn)移概率。 上述基于位熵率的視覺注意計算系統(tǒng)，優(yōu)選所述顯著度圖獲取模塊中，基于特征
整合理論，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計算系統(tǒng)，優(yōu)選所述濾波模塊中，采用獨立成分分析
方法分別為灰度圖像和彩色圖像學習稀疏碼本。 上述基于位熵率的視覺注意計算系統(tǒng)，優(yōu)選所述濾波模塊中，采用所述稀疏碼本 基函數(shù)對視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖后，第t幀的第j個子帶特征圖，依據(jù)下 式更新
/y 0，- Z exp(-o, y" - y。-(x，jj;,0二 其中，fj(x，y，t)是更新前的第t幀的第j個子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個子帶特征圖，o是特征衰減率，o設置為1. 5，利用第t幀之前的k幀來 對第t幀進行更新。 相對于現(xiàn)有技術(shù)中，本發(fā)明有如下幾個優(yōu)勢 第一、通過了大量的實驗證明，無論是在圖像顯著度分析還是視頻顯著度分析，基 于本發(fā)明獲取的分析結(jié)果都比現(xiàn)有的其他方法更加精確。 第二、提出的計算方法有生理學、心理學方面的依據(jù)來支撐初期視覺皮層中簡單 細胞的稀疏編碼特性指導本模型采用稀疏碼本生成圖像的子帶特征圖，視皮層神經(jīng)網(wǎng)絡中 存在著的再生局部連接和長范圍的水平連接方式指導本模型在每一個子帶特征圖上采用 了一種全連接的圖模型作為基本的表示，一個神經(jīng)元的行為由周圍神經(jīng)元的總的突觸輸入 來驅(qū)動指導我們提出了位熵率。 第三、同時能從視覺注意的兩種驅(qū)動方式_信息最大化和中心周圍模型_來解釋 本模型。


圖1為本發(fā)明基于位熵率的視覺注意計算方法實施例的步驟流程圖；
圖2是本發(fā)明基于位熵率的視覺注意計算方法的處理過程示意圖；
圖3是本發(fā)明中提取出的關(guān)于灰度圖像的稀疏碼本示意圖； 圖4A是本發(fā)明基于位熵率的視覺注意計算方法對3幅彩色圖像的視覺注意點的 預測結(jié)果； 圖4B是本發(fā)明基于位熵率的視覺注意計算方法對另外3幅彩色圖像的視覺注意 點的預測結(jié)果； 圖5為本發(fā)明基于位熵率的視覺注意計算系統(tǒng)實施例的結(jié)構(gòu)框圖。
具體實施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細的說明。 參照圖1，圖1為本發(fā)明基于位熵率的視覺注意計算方法實施例的步驟流程圖，包 括如下步驟 濾波步驟110，學習稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函數(shù)對 圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖。 全連接圖建立步驟120，分別為所述每一子帶特征圖建立對應的全連接圖。
位熵率圖獲取步驟130，在所述每一全連接圖上采用隨機游走的方法進行信息的 傳遞，在隨機游走過程中，依據(jù)位熵率作進行顯著度度量，進而獲取每一所述子帶特征圖對 應的位熵率圖。 顯著度圖獲取步驟140，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的 顯著度圖。 參照圖2，圖2為本發(fā)明基于位熵率的視覺注意計算方法的處理過程示意圖。圖2 中，a為輸入的圖像或者視頻數(shù)據(jù)。首先用學習得到的稀疏碼本基函數(shù)b對輸入圖像或者 視頻數(shù)據(jù)a進行濾波，得到的每一個子帶特征圖c對應一個稀疏碼本；然后為每一個子帶特 征圖c建立了一個全連接圖d表示，這種全連接圖d表示能夠描述圖像中較遠像素的關(guān)系； 為了模擬神經(jīng)網(wǎng)絡中各個神經(jīng)元之間信號(信息)的傳遞，本方法在每一個對應的全連接 圖d上采用了隨機游走的方法，熵率(Entropy Rate)描述了隨機游走過程的平均信息量， 把這個總的平均信息量分發(fā)到各個圖結(jié)點上去，提出了一個新的顯著度度量-位熵率，同 時它也描述了各個結(jié)點到所有其他結(jié)點的平均信息量，這樣對應于每個子帶特征圖就可以 得到一個位熵率圖e ;最后，把所有的位熵率圖加起來就得到了顯著度圖f。
下面結(jié)合圖3和圖4對上述各個步驟進行詳細說明。 濾波步驟110中，稀疏碼本學習后，獲取稀疏碼本基函數(shù)，采用該稀疏碼本基函數(shù) 對目標圖像或者視頻進行濾波，下面對稀疏碼本進行說明。 大量證據(jù)顯示當有剌激出現(xiàn)在細胞感受野的時候只有少量的早期視覺神經(jīng)元會 被激活，為了模擬這種特性，稀疏編碼理論被提出來去表示自然圖像的內(nèi)在結(jié)構(gòu)。稀疏碼本 基函數(shù)為Vk， k是對基函數(shù)位置、方向和尺度的索引，則圖像I可表示為
<formula>formula see original document page 7</formula>
cik是基函數(shù)的系數(shù)，本方法采用ak作為早期視覺特征，它可以通過與基函數(shù)對
應的濾波函數(shù)Gk計算得到 <formula>formula see original document page 7</formula>
本實施例采用獨立成分分析方法(Ind印endent ComponentAnalysis， ICA)分別為 灰度圖像和彩色圖像學習了一套稀疏碼本，這里的ICA是一種把混合信號分解成統(tǒng)計意義 上相互獨立的子信號的方法。如圖3所示，為本發(fā)明中提取出的關(guān)于灰度圖像的稀疏碼本 示意圖。 全連接圖建立步驟120為分別為所述每一子帶特征圖建立對應的全連接圖，具體 說明如下 對應于每一個子帶特征圖Fk建立了一個全連接圖GK = {Vk， EJ，其中Vk = {vkl， . . . ， vkn}是對應于圖像像素處的結(jié)點，vki = (Xi， yi， fk(Xi， y》)有位置和特征響應兩 個屬性，Ek二 {ekij，i，j = l，...n}是結(jié)點之間的加權(quán)邊，其中^.= (i，j，wkij)。權(quán)重wkij包含特征差異度。kij和空間距離這兩項wkij =①kiMj 其中Okij和可以表示為 ①kij = e鄧{I fk (Xi ， y》-fk (Xj ， y》| /Mk}& =exp{—;^(A — x))2 +0^ — a)2 /Z)} 在本模型中Mk是每個子帶特征圖中的最大特征響應差，D是圖像的最大維度(即 寬度和高度中的最大值)，A用來調(diào)節(jié)這兩項的重要性，一般設置為5。
位熵率圖獲取步驟130，說明用于度量顯著度的位熵率(SiteEntropy Rate)。
為了模擬神經(jīng)網(wǎng)絡中神經(jīng)元之間信號的傳遞，在每一個子帶特征圖所對應的全連 接圖上實施了一個隨機游走過程(Random Walk)，在這個隨機游走過程中從結(jié)點i到結(jié)點j 的轉(zhuǎn)移概率是(下面為了描述簡單省略掉子帶特征圖的索引k，如wkij為 ^=^^ 隨機游走的熵率是用來描述這個隨機過程的總的平均信息量的，它同時也描述了 所有圖結(jié)點(神經(jīng)元)傳遞的總的信息量，把熵率分解到每一個結(jié)點上去，本模型就提出了 一個新的概念-位熵率(Site Entropy Rate, SER)-去描述每個結(jié)點到其他所有結(jié)點的平 均信息量 雄,=巧2>A1《 其中i是隨機游走過程的靜止概率。根據(jù)人眼視覺系統(tǒng)信息獲取最大化的原理， 本模型提出用SER來描述各個結(jié)點的視覺顯著度。 最后，基于Treisman提出的特征整合理論(Feature-IntegrationTheory，即視覺 系統(tǒng)首先會提取初期視覺特征形成特征圖，然后特征圖集成到一個顯著圖去指導人們的關(guān) 注點)，顯著圖由各個特征圖所對應的SER圖相加來得到(這里重新恢復子帶特征圖索引 k): S,-=J]S￡i A, 其中Si是結(jié)點i的顯著值。 參照圖4A和圖4B，圖4A是本發(fā)明基于位熵率的視覺注意計算方法對3幅彩色圖 像的視覺注意點的預測結(jié)果，圖4B是本發(fā)明基于位熵率的視覺注意計算方法對另外3幅彩 色圖像的視覺注意點的預測結(jié)果。在圖4A和圖4B中，最左側(cè)的一列為輸入的原始圖像，中 間一列為采用本發(fā)明所提供的方法所獲取的顯著度圖，最右邊的一列為人們在觀測原始圖 像時由眼動儀測得的注意點數(shù)據(jù)(眼動數(shù)據(jù))?？梢钥闯?，顯著度圖與眼動數(shù)據(jù)極為相近， 這說明了本發(fā)明提出的方法對人眼注意點預測比較準確。 顯著度圖獲取步驟140，在神經(jīng)科學中有證據(jù)顯示在信號傳遞過程中，只有現(xiàn)階 段中不可預料的信號才能傳遞到下一階段；同時電生理學有證據(jù)顯示神經(jīng)響應會隨著細 胞暴露在同一個剌激下的時間長度而急劇下降。基于這些事實，本模型認為如果結(jié)點處產(chǎn) 生不可預料的信號或者結(jié)點處的信號發(fā)生了變化，這個結(jié)點就是比較顯著的。在視頻注意 分析中，在計算t時刻的顯著圖的時候應該抵消掉t時刻之前視頻幀的影響，具體的說，需要減去過去數(shù)幀的加權(quán)子帶特征圖來更新當前幀的子帶特征圖。fj(x，y，t)是第t幀的第 j個子帶特征圖，用如下式子來更新它
力(x, y力—X! exP(— *)力O, 乂f 一 " 其中，f' j(x，y，t)是更新后的第t幀的第j個子帶特征圖，o是特征衰減率，o 設置為1. 5，利用第t幀之前的k幀來對第t幀進行更新。后續(xù)建立全連接圖和計算位熵率 以及最后的顯著度圖與圖像注意分析一致。 參照圖5，圖5為本發(fā)明基于位熵率的視覺注意計算系統(tǒng)實施例的結(jié)構(gòu)框圖，包括 如下步驟 濾波模塊52，用于學習稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函 數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖。 全連接圖建立模塊54，用于分別為所述每一子帶特征圖建立對應的全連接圖。
位熵率圖獲取模塊56，用于在所述每一全連接圖上采用隨機游走的方法進行信息 的傳遞，在隨機游走過程中，依據(jù)位熵率作進行顯著度度量，進而獲取每一所述子帶特征圖 對應的位熵率圖。 顯著度圖獲取模塊58，用于將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù) 據(jù)的顯著度圖。 其中，位熵率圖獲取模塊54中，位熵率用于確定所述每一子帶特征圖對應的全連 接圖中，每個節(jié)點i到其他節(jié)點的平均信息量，所述位熵率表示為 Ji i是隨機游走過程的靜止概率，Pij是結(jié)點i到結(jié)點j的轉(zhuǎn)移概率。 在顯著度圖獲取模塊58中，可以基于特征整合理論，將所述多個位熵率圖加起
來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 在所述濾波模塊52中，采用獨立成分分析方法分別為灰度圖像和彩色圖像學習 稀疏碼本。 另外，本系統(tǒng)還提出了視頻注意分析中當前幀的子帶特征圖的更新策略。具體說 明如下 濾波模塊中，采用所述稀疏碼本基函數(shù)對視頻數(shù)據(jù)進行濾波，獲取多個子帶特征 圖后，第t幀的第j個子帶特征圖，依據(jù)下式更新
力(X，乂/) - J]exp(—f)力0,;;，/ — r)
r=l 其中，fj(x，y，t)是更新前的第t幀的第j個子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個子帶特征圖，o是特征衰減率，o設置為1. 5，利用第t幀之前的k幀來 對第t幀進行更新。 需要說明的是，上述實施例基于位熵率的視覺注意計算系統(tǒng)與基于位熵率的視覺 注意計算方法原理是類似，相關(guān)之處可以參考對于方法實施例的說明。在此不再贅述。
以上對本發(fā)明所提供的一種基于位熵率的視覺注意計算方法及系統(tǒng)進行了詳細
9 /,_/0，；;,0 =介紹，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明 只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術(shù)人員，依據(jù)本 發(fā)明的思想，在具體實施方式
及應用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應 理解為對本發(fā)明的限制。
權(quán)利要求
一種基于位熵率的視覺注意計算方法，其特征在于，包括如下步驟濾波步驟，采用稀疏碼本基函數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖，其中所述稀疏碼本基函數(shù)是基于學習稀疏碼本而獲取的；全連接圖建立步驟，分別為所述多個子帶特征圖的每一子帶特征圖建立對應的全連接圖；位熵率圖獲取步驟，在每一所述全連接圖上采用隨機游走的方法進行信息的傳遞，在隨機游走過程中，依據(jù)位熵率進行顯著度度量，進而獲取每一所述子帶特征圖對應的位熵率圖；顯著度圖獲取步驟，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。
2. 根據(jù)權(quán)利要求1所述的基于位熵率的視覺注意計算方法，其特征在于，所述位熵率 圖獲取步驟中，所述位熵率用于確定所述每一子帶特征圖對應的全連接圖中，每個節(jié)點i 到其他節(jié)點的平均信息量表示為其中，^是隨機游走過程的靜止概率，Pij是結(jié)點i到結(jié)點j的轉(zhuǎn)移概率，i、 j均為自 然數(shù)。
3. 根據(jù)權(quán)利要求2所述的基于位熵率的視覺注意計算方法，其特征在于，所述顯著度 圖獲取步驟中，基于特征整合理論，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù) 的顯著度圖。
4. 根據(jù)權(quán)利要求3所述的基于位熵率的視覺注意計算方法，其特征在于，所述濾波步 驟中，采用獨立成分分析方法分別為灰度圖像和彩色圖像學習稀疏碼本。
5. 根據(jù)權(quán)利要求4所述的基于位熵率的視覺注意計算方法，其特征在于，所述濾波步 驟中，采用所述稀疏碼本基函數(shù)對視頻的每一幀進行濾波，獲取每一幀的多個子帶特征圖， 第t幀的第j個子帶特征圖，依據(jù)下式更新其中，fj(x，y，t)是更新前的第t幀的第j個子帶特征圖，f' j(x，y，t)是更新后的第 t幀的第j個子帶特征圖，o是特征衰減率，o設置為1.5，利用第t幀之前的k幀來對第 t幀進行更新。
6. —種基于位熵率的視覺注意計算系統(tǒng)，其特征在于，包括濾波模塊，用于采用稀疏碼本基函數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖，其中所述稀疏碼本基函數(shù)是基于學習稀疏碼本而獲取的；全連接圖建立模塊，用于分別為所述多個子帶特征圖的每一子帶特征圖建立對應的全位熵率圖獲取模塊，用于在每一所述全連接圖上采用隨機游走的方法進行信息的傳 遞，在隨機游走過程中，依據(jù)位熵率進行顯著度度量，進而獲取每一所述子帶特征圖對應的位熵率圖；顯著度圖獲取模塊，用于將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯 著度圖。
7. 根據(jù)權(quán)利要求6所述的基于位熵率的視覺注意計算系統(tǒng)，其特征在于，所述位熵率 圖獲取模塊中，所述位熵率用于確定所述每一子帶特征圖對應的全連接圖中，每個節(jié)點i 到其他節(jié)點的平均信息量，所述位熵率表示為其中，^是隨機游走過程的靜止概率，Pij是結(jié)點i到結(jié)點j的轉(zhuǎn)移概率。
8. 根據(jù)權(quán)利要求7所述的基于位熵率的視覺注意計算系統(tǒng)，其特征在于，所述顯著度 圖獲取模塊中，基于特征整合理論，將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù) 的顯著度圖。
9. 根據(jù)權(quán)利要求8所述的基于位熵率的視覺注意計算系統(tǒng)，其特征在于，所述濾波模 塊中，采用獨立成分分析方法分別為灰度圖像和彩色圖像學習稀疏碼本。
10. 根據(jù)權(quán)利要求7所述的基于位熵率的視覺注意計算系統(tǒng)，其特征在于，所述濾波模 塊中，采用所述稀疏碼本基函數(shù)對視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖后，第t幀的第水子帶特征圖，依據(jù)下式更新<formula>formula see original document page 3</formula>其中，fj(x，y，t)是更新前的第t幀的第j個子帶特征圖，f' j(x，y，t)是更新后的第 t幀的第j個子帶特征圖，o是特征衰減率，o設置為1.5，利用第t幀之前的k幀來對第 t幀進行更新。
全文摘要
本發(fā)明公開了一種基于位熵率的視覺注意計算方法及系統(tǒng)。所述方法包括學習稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函數(shù)對圖像或視頻數(shù)據(jù)進行濾波，獲取多個子帶特征圖；分別為所述每一子帶特征圖建立對應的全連接圖；在所述每一全連接圖上采用隨機游走的方法進行信息的傳遞，在隨機游走過程中，依據(jù)位熵率作進行顯著度度量，進而獲取每一所述子帶特征圖對應的位熵率圖；將所述多個位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。通過了大量的實驗證明，無論是在圖像顯著度分析還是視頻顯著度分析，基于本發(fā)明獲取的分析結(jié)果都比現(xiàn)有的其他方法更加精確且有生理學、心理學方面的依據(jù)來支撐。
文檔編號G06T7/20GK101751671SQ20091024370
公開日2010年6月23日 申請日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者王亦洲, 王威, 高文, 黃慶明 申請人:北京大學