本發(fā)明涉及一種基于時-空顯著性自適應(yīng)融合的紅外圖像序列顯著性檢測方法，屬于圖像處理和計算機(jī)視覺技術(shù)領(lǐng)域。

背景技術(shù)：

視覺注意(顯著性)是人類視覺系統(tǒng)的一個重要機(jī)制：盡管人類的眼睛在面對自然場景時可以捕獲大量的視覺信息，但是人類有限的視覺細(xì)胞僅僅關(guān)注的是場景中最為顯著的區(qū)域。人類視覺系統(tǒng)的這個機(jī)制吸引了包括心理學(xué)、認(rèn)知神經(jīng)學(xué)、計算機(jī)科學(xué)等眾多領(lǐng)域的學(xué)者的研究興趣。目前，在計算機(jī)視覺領(lǐng)域，人們提出了各種各樣的計算模型，來模擬視覺顯著性，并將這些模型應(yīng)用于計算機(jī)視覺和模式識別的眾多領(lǐng)域，如：圖像/視頻壓縮、圖像/視頻分割、目標(biāo)檢測和識別、運(yùn)動目標(biāo)跟蹤等。

現(xiàn)階段，視覺顯著性模型從應(yīng)用對象角度可以分為兩類：單幀圖像的視覺顯著性檢測模型、視頻序列的視覺顯著性檢測模型。前者主要提取的是單幀圖像的空域顯著性，而后者不僅要提取空域顯著性，還要提取時域顯著性，這樣計算得到的顯著性圖(即時-空顯著性圖)才能適合于視頻序列應(yīng)用的需求。盡管，現(xiàn)在人們已經(jīng)提出一些時-空顯著性圖計算模型，但是，這些模型大都是針對普通光學(xué)圖像序列的。直接將這些模型應(yīng)用于紅外圖像序列，很難得到較為滿意的結(jié)果。原因如下：

首先，鑒于紅外圖像特殊的成像機(jī)理，在一般可見光圖像(序列)顯著性模型里常用的顏色、紋理、方向等特征，在紅外圖像中不明顯，導(dǎo)致這些特征無法使用。其次，鑒于紅外圖像(序列)的應(yīng)用場合(多為軍事應(yīng)用或民用視頻監(jiān)控等)，采集得到的紅外圖像(序列)中背景一般較為復(fù)雜，例如：背景含有海面雜波、云層雜波、背景干擾等。此時，顯著性目標(biāo)易于淹沒在這些背景中，導(dǎo)致顯著性檢測難度變大。由此可見，針對紅外圖像序列，設(shè)計一種適合于它的魯棒性、準(zhǔn)確性顯著性檢測模型，不僅十分迫切，而且具有挑戰(zhàn)性。

技術(shù)實(shí)現(xiàn)要素：

發(fā)明目的：針對現(xiàn)有技術(shù)面向紅外圖像序列顯著性檢測問題時所存在的問題，本發(fā)明提出一種通過提取紅外圖像序列的亮度對比度顯著性、輪廓顯著性、時域顯著性等，并將它們進(jìn)行自適應(yīng)融合，同時利用多尺度思想和格式塔(Gestalt)理論進(jìn)一步增強(qiáng)和優(yōu)化顯著性圖的紅外圖像序列顯著性檢測方法。

技術(shù)方案：一種紅外圖像序列顯著性檢測方法，包括如下步驟：

(A)采用一種基于交互一致性引導(dǎo)的空間信息融合方法提取每幀紅外圖像的亮度和輪廓特征，并計算空域顯著性。

其中，基于亮度對比度的顯著性計算包括：首先，針對紅外圖像序列的第t幀圖像I^t，計算位置l處的亮度對比度顯著性

其中，Ω_c是l的鄰域，Ω_s是l周圍的環(huán)形區(qū)域；其次，為了確保僅包含紅外目標(biāo)的區(qū)域是顯著度，降低背景雜波干擾，設(shè)計一個校正函數(shù)f(α)＝|α|^γ，其中，γ≥1，γ為常數(shù)，來控制對比度增益，得到：

基于輪廓的顯著性計算包括：首先，針對紅外圖像序列的第t幀圖像I^t，計算它的梯度幅度G^t；其次，為了消除噪聲的輪廓片段，得到更加魯棒的輪廓顯著性圖，采用上述校正函數(shù)對梯度幅度G^t進(jìn)行改進(jìn)，得到改進(jìn)后的輪廓顯著性圖：

基于交互一致性的空域顯著性融合包括：首先，通過上述兩步得到原始紅外圖像亮度對比度顯著性圖和輪廓顯著性圖后，計算它們之間的交互一致性：

其中，是相對于的一致性，是相對于的一致性。其次，根據(jù)一致性，分別計算和的融合權(quán)值：

其中，和滿足第三，根據(jù)權(quán)值，將和進(jìn)行融合，得到融合后的空域顯著性圖：

(B)設(shè)計一種多幀對稱差分算法提取紅外序列的運(yùn)動信息，并計算該幀圖像的時域顯著性。

首先，假設(shè)紅外視頻序列的第t幀圖像是I^t，第t-1幀圖像是I^t-1，這兩幀圖像的幀間差分為V^t,t-1＝|I^t-I^t-1|；

其次，對于一個紅外視頻序列，將幀間差分V^t,t-1看做是連續(xù)兩幀之間的變化區(qū)域，將視頻中的運(yùn)行目標(biāo)定義為T，則V^t,t-1又表示為連續(xù)兩幀中運(yùn)動目標(biāo)的合并。假設(shè)T^t是t時刻的運(yùn)動目標(biāo)，則V^t,t-1表示為：

V^t,t-1＝T^t∪T^t-1

第三，由上面這個公式計算得到的兩個連續(xù)變化區(qū)域的交疊即為運(yùn)動目標(biāo)：

V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t

第四，由V^t,t-1＝|I^t-I^t-1|和V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t兩個公式，運(yùn)動目標(biāo)T^t可以進(jìn)一步推導(dǎo)為：

T^t＝|I^t-I^t-1|∩|I^t-I^t+1|

第五，考慮到上述以對稱差分結(jié)果表示的運(yùn)動目標(biāo)T^t容易受到隨機(jī)噪聲和背景雜波的干擾，進(jìn)一步對其進(jìn)行修改，得到改進(jìn)后的顯著性運(yùn)動目標(biāo)T^t：

此時，該多幀對稱差分結(jié)果T^t即所求得的時域顯著性圖。

(C)設(shè)計一種自適應(yīng)融合策略，將空域顯著性S^t和時域顯著性T^t相結(jié)合。

首先，定義一個測量標(biāo)準(zhǔn)M，用于識別不同類型的運(yùn)動，如：快速運(yùn)動、慢速運(yùn)動、無運(yùn)動等：

其中，和分別表示T^t的均值和標(biāo)準(zhǔn)差；c是預(yù)先定義好的參數(shù)，取值范圍為c∈(0.5,1)。

其次，基于測量標(biāo)準(zhǔn)M，將空域顯著性S^t和時域顯著性T^t通過如下公式進(jìn)行自適應(yīng)融合：

(D)為了均勻突顯紅外圖像序列中的時-空顯著性區(qū)域，提出一種多尺度融合方法，嵌入到時-空顯著性模型里，得到多尺度時-空顯著性圖。

首先，計算不同尺度下的時-空顯著性圖其中r∈R表示尺度因子，R為{1,0.7,0.4}。

其次，將不同尺度下求得的時-空顯著性圖進(jìn)行融合，得到多尺度時-空顯著性圖：

其中，C＝[Σ_r∈Rr²]^-1為歸一化因子。

(E)為了進(jìn)一步優(yōu)化步驟(D)計算得到的多尺度時-空顯著性圖即提高顯著性圖的穩(wěn)健性、準(zhǔn)確性、及完整性，提出一種基于格式塔(Gestalt)理論的優(yōu)化算法。該算法的指導(dǎo)思想即對于顯著圖上的一個元素，靠近它的元素對它的顯著性有較強(qiáng)的影響，遠(yuǎn)離它的元素對它的顯著性的影響較弱。據(jù)此，設(shè)l是顯著圖上的一個元素，Ω_N是它的一個鄰域，則改進(jìn)后的時-空顯著性圖可以通過下式計算得到：

其中，為加權(quán)核函數(shù)。

本發(fā)明采用上述技術(shù)方案，具有以下有益效果：本發(fā)明的方法是在仔細(xì)分析紅外圖像序列特性以后所涉及的，它提出計算亮度對比度顯著性、輪廓顯著性、及運(yùn)動顯著性，都切合紅外圖像序列的特點(diǎn)，因此，計算得到的顯著圖有效且魯棒；本發(fā)明設(shè)計了多尺度融合策略及基于格式塔(Gestalt)理論的優(yōu)化策略，都分別進(jìn)一步提高顯著性檢測的準(zhǔn)確性，同時保證檢測得到的顯著性目標(biāo)的完整性。

附圖說明

圖1為本發(fā)明實(shí)施例的框架圖；

圖2為本發(fā)明亮度對比度模型計算示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例和附圖，對本發(fā)明的技術(shù)方案作進(jìn)一步解釋，應(yīng)理解本實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價形式的修改均落于本申請所附權(quán)利要求所限定的范圍。

如圖1所示，首先，計算紅外圖像序列的空域顯著性，具體包括如下三個步驟：

步驟(1)基于亮度對比度的顯著性計算

(1-1)針對紅外圖像序列的第t幀圖像I^t，計算位置l處的亮度對比度顯著性

其中，Ω_c是l的鄰域，Ω_s是l周圍的環(huán)形區(qū)域，如圖2所示。

(1-2)為了確保僅包含紅外目標(biāo)的區(qū)域是顯著度，降低背景雜波干擾，設(shè)計一個校正函數(shù)f(α)＝|α|^γ(其中，γ≥1是一個常數(shù))來控制對比度增益，得到：

步驟(2)基于輪廓的顯著性計算

(2-1)針對紅外圖像序列的第t幀圖像I^t，計算它的梯度幅度G^t；

(2-2)為了消除噪聲的輪廓片段，得到更加魯棒的輪廓顯著性圖，采用上述校正函數(shù)對梯度幅度G^t進(jìn)行改進(jìn)，得到改進(jìn)后的輪廓顯著性圖：

步驟(3)基于交互一致性的空域顯著性融合

(3-1)通過上述兩步得到原始紅外圖像亮度對比度顯著性圖和輪廓顯著性圖后，計算它們之間的交互一致性：

其中，是相對于的一致性，是相對于的一致性。

(3-2)根據(jù)一致性，分別計算和的融合權(quán)值：

其中，和滿足

(3-3)根據(jù)權(quán)值，將和進(jìn)行融合，得到融合后的空域顯著性圖：

(3-4)計算紅外圖像序列的時域顯著性；首先，假設(shè)紅外視頻序列的第t幀圖像是I^t，第t-1幀圖像是I^t-1，這兩幀圖像的幀間差分為V^t,t-1＝|I^t-I^t-1|；

其次，對于一個紅外視頻序列，幀間差分V^t,t-1可以看做是連續(xù)兩幀之間的變化區(qū)域；將視頻中的運(yùn)行目標(biāo)定義為T。V^t,t-1又可以表示為連續(xù)兩幀中運(yùn)動目標(biāo)的合并。例如，假設(shè)T^t是t時刻的運(yùn)動目標(biāo)，則V^t,t-1可以表示為：

V^t,t-1＝T^t∪T^t-1

第三，由上面這個公式計算得到的兩個連續(xù)變化區(qū)域的交疊即可看做是運(yùn)動目標(biāo)：

V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t

第四，由V^t,t-1＝|I^t-I^t-1|和V^t,t-1∩V^t,t+1＝(T^t∪T^t-1)∩(T^t∪T^t+1)＝T^t兩個公式，運(yùn)動目標(biāo)T^t可以進(jìn)一步推導(dǎo)為：

T^t＝|I^t-I^t-1|∩|I^t-I^t+1|

顯然，這是一個對稱差分結(jié)果。

第五，考慮到上述以對稱差分結(jié)果表示的運(yùn)動目標(biāo)T^t容易受到隨機(jī)噪聲和背景雜波的干擾，我們進(jìn)一步對其進(jìn)行修改，得到改進(jìn)后的顯著性運(yùn)動目標(biāo)T^t：

此時，這個多幀對稱差分結(jié)果T^t就是我們所求得的時域顯著性圖。

(3-5)將紅外圖像序列的空域顯著性S^t和時域顯著性T^t相融合，得到時-空顯著性；首先，基于上述計算得到的T^t，定義一個測量標(biāo)準(zhǔn)M，用于識別不同類型的運(yùn)動，如：快速運(yùn)動、慢速運(yùn)動、無運(yùn)動等：

其中，和分別表示T^t的均值和標(biāo)準(zhǔn)差；c是預(yù)先定義好的參數(shù)，取值范圍為c∈(0.5,1)。

其次，基于測量標(biāo)準(zhǔn)M，我們就可以將空域顯著性S^t和時域顯著性T^t通過如下公式進(jìn)行自適應(yīng)融合：

(3-6)計算多尺度時-空顯著性圖；首先，計算不同尺度下的時-空顯著性圖其中r∈R表示尺度因子，這里R為{1,0.7,0.4}。

其次，將不同尺度下求得的時-空顯著性圖進(jìn)行融合，得到多尺度時-空顯著性圖：

其中，C＝[∑_r∈Rr²]^-1為歸一化因子。

(3-7)優(yōu)化時-空顯著性圖；為了進(jìn)一步多尺度時-空顯著性圖即提高顯著性圖的穩(wěn)健性、準(zhǔn)確性、及完整性，提出一種基于格式塔(Gestalt)理論的優(yōu)化算法。該算法的指導(dǎo)思想即對于顯著圖上的一個元素，靠近它的元素對它的顯著性有較強(qiáng)的影響，遠(yuǎn)離它的元素對它的顯著性的影響較弱。據(jù)此，設(shè)l是顯著圖上的一個元素，Ω_N是它的一個鄰域，則改進(jìn)后的時-空顯著性圖可以通過下式計算得到：

其中，為加權(quán)核函數(shù)。