本發(fā)明涉及一種基于前景聚集度和背景先驗(yàn)的顯著性物體檢測(cè)方法，屬于計(jì)算機(jī)視覺和數(shù)字圖像處理領(lǐng)域。在目標(biāo)分割、目標(biāo)識(shí)別等領(lǐng)域中有廣闊的應(yīng)用前景。

(二)

背景技術(shù)：

人眼往往更容易注意到場(chǎng)景中與周圍環(huán)境有完全不同屬性，差別明顯的物體，這種自動(dòng)感知的能力能夠很容易地將場(chǎng)景中的感興趣部分分離出來。正是物體的這種與周圍環(huán)境顯著的差異并引起人眼注意的能力被稱為視覺顯著性。根據(jù)經(jīng)典的顯著性理論，視覺注意機(jī)制可以分為兩類：自上而下的注意機(jī)制和自下而上的注意機(jī)制。自上而下的注意機(jī)制是由任務(wù)驅(qū)動(dòng)的，這一機(jī)制中，人的意識(shí)和任務(wù)決定了圖像中的顯著目標(biāo)是哪一部分，根據(jù)任務(wù)，有人的主觀意識(shí)出發(fā)，人的看法在這一機(jī)制中發(fā)揮了很大的作用。而自底向上的注意機(jī)制是由數(shù)據(jù)驅(qū)動(dòng)的，也就是由圖像中自身包含的信息決定的。往往由圖像中的物體與其周圍的差異性決定了該物體的顯著性。

在計(jì)算機(jī)視覺領(lǐng)域，自上而下的視覺注意機(jī)制由于其以人的主觀意識(shí)為主，研究起來十分困難，所以現(xiàn)在的顯著性領(lǐng)域以自底向上的視覺注意機(jī)制為主要研究發(fā)現(xiàn)。自底向上機(jī)制的研究中最為經(jīng)典的則為于1998年提出的Itti模型，此模型在多尺度空間提取了亮度、顏色、方向三個(gè)特征作為圖像的特征，通過濾波以及中央——周圍差算法得到得到三個(gè)特征的特征圖，最后用線性加和的方法將三種特征融合，得到最終的顯著圖。Liu等人在2007年通過對(duì)顯著目標(biāo)進(jìn)行特征提取，得到多尺度對(duì)比度，中央-周圍對(duì)比度，顏色空間分布3種特征，再用條件隨機(jī)場(chǎng)模型進(jìn)行組合，得到最終的顯著性檢測(cè)結(jié)果。Hou等人于2009年提出了一種基于殘留譜的顯著性計(jì)算模型，在傅里葉變化域以原像信息與其冗余信息之差得到譜殘留信息，以殘留信息反變換到空間域得到其顯著性圖。Jiang等人2013年提出了UFO模型，通過結(jié)合目標(biāo)的獨(dú)特性、集中性和似物性特征來衡量顯著性。Zhu等人通過計(jì)算區(qū)域輪廓與邊界相連的長(zhǎng)度與區(qū)域面積的比值，得到了區(qū)域的邊界連接性特征，并在此基礎(chǔ)上計(jì)算出基于背景權(quán)重的對(duì)比度，最后通過優(yōu)化的方法來估計(jì)各區(qū)域的顯著性。

以往的顯著性模型通常只從目標(biāo)出發(fā)，或只從背景出發(fā)。本發(fā)明結(jié)合前景目標(biāo)的特征以及背景先驗(yàn)的優(yōu)勢(shì)，提出了一種前景聚集度的計(jì)算方法和背景種子選取方法，并利用優(yōu)化的方式將前景與背景融合，充分地突出了前景并抑制了背景。

(三)

技術(shù)實(shí)現(xiàn)要素：

(1)本發(fā)明的目的

為了彌補(bǔ)傳統(tǒng)方法的不足，本發(fā)明從前景聚集度先驗(yàn)和背景先驗(yàn)出發(fā)，提供了一種基于前景聚集度和背景先驗(yàn)的顯著性目標(biāo)檢測(cè)方法。

本發(fā)明中的聚集度先驗(yàn)結(jié)合了聚集度與中心先驗(yàn)，背景先驗(yàn)則是從圖像的邊界出發(fā)。因?yàn)橥ㄟ^對(duì)大量的圖像觀察可以發(fā)現(xiàn)，顯著性目標(biāo)在整幅圖像中的分布比較聚集，然而背景則分布較為廣泛，常分布于整幅圖像之中，根據(jù)此發(fā)現(xiàn)，本發(fā)明構(gòu)建了聚集度先驗(yàn)。另外，根據(jù)攝影習(xí)慣，目標(biāo)一般被置于圖像中靠近中心的位置，現(xiàn)有的方法中很多都是將圖像中心作為中心先驗(yàn)，但這種方法很容易出現(xiàn)錯(cuò)誤，為了解決這一問題，本發(fā)明中采用了基于凸包的中心先驗(yàn)，能根據(jù)圖像自適應(yīng)地選取更可靠的中心先驗(yàn)。同樣通過對(duì)大量的圖像觀察可以發(fā)現(xiàn)，靠近圖像邊界的部分一般多為背景，于是現(xiàn)有的很多方法則選用圖像的邊界作為背景先驗(yàn)。然而實(shí)際中存在一些狀況，圖像的邊界中包含一部分顯著性目標(biāo)，為了應(yīng)對(duì)這種狀況，本發(fā)明提出了一種背景種子點(diǎn)的選擇方法，從而提供更準(zhǔn)確地背景先驗(yàn)。

(2)技術(shù)方案

本發(fā)明的一種基于前景聚集度和背景先驗(yàn)的顯著性物體檢測(cè)方法，其具體方法步驟如下：

步驟一：圖像預(yù)處理；針對(duì)后續(xù)步驟，首先，通過構(gòu)建輸入圖像的高斯混合模型將輸入圖像分為多層，并利用哈希變換得到各層的二進(jìn)制碼；再者，通過超像素分割將輸入圖像分割為許多顏色相似，保邊界的超像素，并計(jì)算各超像素的平均位置和平均顏色；另外提取輸入圖像中包含顯著目標(biāo)的凸包，以凸包中心作為中心先驗(yàn)；

其中，在步驟一中所述的“利用哈希變換得到各層的二進(jìn)制碼”，其作法如下：首先構(gòu)建輸入圖像的高斯混合模型，用高斯混合模型的各成分對(duì)應(yīng)代表一種顏色，則可將輸入圖像的顏色分為6類，同時(shí)得到各像素點(diǎn)屬于各類的概率。像素屬于各層的概率可以用圖像來表示，則相對(duì)于將輸入圖像分解為了6部分，即用灰度值表示隸屬度的6層灰度圖像；然后將這6幅圖像均降采樣到大小為8×8的圖像，計(jì)算其灰度均值，將灰度值大于均值像素的標(biāo)記為1，否則為0，從而得到每層圖像對(duì)應(yīng)的64位二進(jìn)制碼；

步驟二：基于前景聚集度的顯著性；首先以各層二進(jìn)制碼間的相似程度作為相似性測(cè)度，將輸入圖像的高斯混合模型各層進(jìn)行分類，再通過計(jì)算各類基于中心先驗(yàn)的聚集度作為權(quán)重對(duì)進(jìn)行融合得到聚集度特征；再計(jì)算各超像素結(jié)合中央先驗(yàn)的全局對(duì)比度，得到對(duì)比度特征。最后將聚集度特征與對(duì)比度特征相乘，作為前景聚集度顯著圖；

其中，在步驟二中所述的“將輸入圖像的高斯混合模型各層進(jìn)行分類”，其作法如下：首先以高斯混合模型各層圖像對(duì)應(yīng)的二進(jìn)制碼之間的歐氏距離的倒數(shù)作為相似度測(cè)度，利用Alex Rodriguez的聚類方法將這6層圖像聚為3類，分別代表圖像中的前景、背景和陰影部分，則各像素點(diǎn)屬于這三類中第K類的概率為：

$p\left(K\right|I_x)=\underset{k\∈K}{\mathrm{\Σ}}p\left(k\right|I_x)$

其中p(k|I_x)是像素I_x屬于高斯混合模型第k個(gè)成分的概率，且這第k個(gè)成分屬于第K類，相當(dāng)于將屬于第K類的幾層圖像加和。

其中，在步驟二中所述的“再通過計(jì)算各類基于中心先驗(yàn)的聚集度作為權(quán)重對(duì)進(jìn)行融合得到聚集度特征”，其計(jì)算的過程如下：以聚集度為權(quán)重將分類得到的三類圖像加和，得到聚集度特征圖：

$S_C=\underset{K}{\mathrm{\Σ}}p\left(K\right|I_x)*Comp\left(K\right)$

Comp(K)即為第K類圖像對(duì)應(yīng)的聚集度：

$Comp\left(K\right)={\left(\frac{{\mathrm{\Σ}}_{I_x}\left|\right|x-\mathrm{\μ}|{|}^2\·p\left(K\right|I_x)}{{\mathrm{\Σ}}_{I_x}p\left(K\right|I_x)}\right)}^{-1}$

步驟三：基于背景先驗(yàn)的顯著性；首先取得與圖像邊界相連的超像素作為背景種子；然后，對(duì)步驟二中得到的前景顯著圖二值化，將被標(biāo)記為1的超像素作為前景種子點(diǎn)，計(jì)算其他超像素與前景種子的相似程度，并確定閾值；將邊界超像素中與前景種子相似度大于閾值的部分超像素從背景種子中剔除，則得到最終背景種子集；最后，通過計(jì)算各超像素與背景種子的對(duì)比度，從而得到背景顯著性；

其中，在步驟三中所述的“計(jì)算其他超像素與前景種子的相似程度”，其計(jì)算方法如下：

$Sim\left(i\right)=1-\underset{j\∈FS}{\mathrm{\Σ}}\left|\right|S_{fg}\left(i\right)-S_{fg}\left(j\right)\left|\right|$

FS代表前景種子點(diǎn)集。

其中，在步驟三中所述的“將邊界超像素中與前景種子相似度大于閾值的部分超像素從背景種子中剔除”，其剔除的過程如下：

通過OSTU算法確定相似度的閾值T，將邊界超像素中與前景種子相似度大于閾值T的部分超像素從背景種子中剔除，則得到最終背景種子集BS；最后，以各超像素與背景種子的對(duì)比度作為到背景顯著性：

$S_{bg}\left(i\right)=\underset{j\∈BS}{\mathrm{\Σ}}\left|\right|c_i-c_j\left|\right|\·(1-||{\mathrm{\μ}}_i-{\mathrm{\μ}}_j|\left|\right)$

步驟四：顯著性優(yōu)化融合；將融合問題視為優(yōu)化問題，構(gòu)建一個(gè)包含前景項(xiàng)、背景項(xiàng)和平滑項(xiàng)的代價(jià)函數(shù)，將前景背景結(jié)合在一起，通過最小化代價(jià)函數(shù)得到最終的顯著圖；

所述的步驟四中，首先構(gòu)建一個(gè)代價(jià)函數(shù)，將前景背景結(jié)合在一起：

Foreground代表前景項(xiàng)，Background代表背景項(xiàng)，Smoothness為平滑項(xiàng)；其中S(i)為第i個(gè)超像素的最終顯著性均值，通過最小化代價(jià)函數(shù)得到最終的顯著圖；α是平衡前景顯著性與背景顯著性對(duì)最終顯著性影響力大小的權(quán)重，λ是調(diào)節(jié)平滑項(xiàng)作用大小的權(quán)重，即調(diào)節(jié)最終顯著性的平滑程度。

最后通過最小化代價(jià)函數(shù)，得到最終的顯著性S；

通過以上步驟，本檢測(cè)方法結(jié)合圖像前景聚集度和背景先驗(yàn)，能夠較好地突出前景和抑制背景，則可以比較準(zhǔn)確地檢測(cè)出圖像目標(biāo)，對(duì)于其他圖像處理領(lǐng)域如目標(biāo)分割、目標(biāo)跟蹤和目標(biāo)檢索等都有實(shí)際應(yīng)用價(jià)值。

(3)與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)：

首先，本發(fā)明以凸包中心作為中心先驗(yàn)，提出了一種相對(duì)中心的聚集度特征的計(jì)算方法，并將之與基于中心先驗(yàn)的全局對(duì)比度相結(jié)合，可以得到較為完整的顯著物體，且充分凸顯了前景的顯著性。

其次，本發(fā)明提出了一種基于前景的背景種子點(diǎn)選擇算法，避免了將部分位于邊界的前景誤選為背景種子，從而提高了背景先驗(yàn)的準(zhǔn)確性?；诒尘跋闰?yàn)的顯著性計(jì)算有效的抑制了顯著圖中的背景部分。

最后，本發(fā)明將前景與背景顯著性的融合視為優(yōu)化問題處理，通過構(gòu)建代價(jià)函數(shù)結(jié)合前景與背景，充分利用了前景顯著圖和背景顯著圖的優(yōu)勢(shì)，并使得顯著圖平滑過渡，充分突出前景的同時(shí)，也很好地抑制了背景。

(四)附圖說明

圖1為本發(fā)明所述檢測(cè)方法的流程框圖。

(五)具體實(shí)施方式

為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作進(jìn)一步描述。

本發(fā)明的流程框圖如圖1所示，本發(fā)明一種基于前景聚集度和背景先驗(yàn)的顯著性物體檢測(cè)方法，其具體實(shí)施步驟如下：

步驟一：圖像預(yù)處理

首先，構(gòu)建輸入圖像的高斯混合模型，用高斯混合模型的各成分對(duì)應(yīng)代表一種顏色，則可將輸入圖像的顏色分為6類，同時(shí)得到各像素點(diǎn)屬于第k類顏色的概率：

{ω_k,μ_k,∑_k}為高斯混合模型的參數(shù)，像素屬于各層的概率可以用圖像來表示，則相對(duì)于將輸入圖像分解為了6部分，即用灰度值表示隸屬度的6層灰度圖像。然后將這6幅圖像均降采樣到大小為8×8的圖像，計(jì)算其灰度均值，將灰度值大于均值像素的標(biāo)記為1，否則為0，則每層圖像都可得到一個(gè)64位的二進(jìn)制碼。

然后，利用SLIC算法，將輸入圖像過分割為M＝200個(gè)超像素。并計(jì)算各超像素的位置μ_i和顏色均值c_i：

$c_i=\frac{\underset{I_x\∈P_i}{\mathrm{\Σ}}{I}_c}{q_i},{\mathrm{\μ}}_i=\frac{\underset{I_x\∈P_i}{\mathrm{\Σ}}{I}_{\mathrm{\μ}}}{q_i}---\left(2\right)$

其中I_c為屬于的像素I_x的顏色向量，I_μ為對(duì)應(yīng)的空間坐標(biāo)向量，q_i超像素塊P_i中包含的像素個(gè)數(shù)。

最后，對(duì)輸入的彩色圖像進(jìn)行Harris角點(diǎn)檢測(cè)，計(jì)算輸入圖像的Harris角點(diǎn)能量函數(shù)得到能量圖，選取能量圖中能量值最大的幾個(gè)點(diǎn)，并剔除圖像邊界附近的點(diǎn)，得到較準(zhǔn)確的顯著點(diǎn)，用一個(gè)凸包將所有顯著點(diǎn)包圍起來代表顯著區(qū)域，并以凸包中心作為中心先驗(yàn)。

步驟二：基于前景聚集度的顯著性

首先，以高斯混合模型各層圖像對(duì)應(yīng)的二進(jìn)制碼之間的歐氏距離的倒數(shù)作為相似度測(cè)度，利用Alex Rodriguez的聚類方法將這6層圖像聚為3類，分別代表圖像中的前景、背景和陰影部分。則各像素點(diǎn)屬于這三類中第K類的概率為：

$p\left(K\right|I_x)=\underset{k\∈K}{\mathrm{\Σ}}p\left(k\right|I_x)---\left(3\right)$

其中p(k|I_x)是像素I_x屬于高斯混合模型第k個(gè)成分的概率，且這第k個(gè)成分屬于第K類，相當(dāng)于將屬于第K類的幾層圖像加和。再以聚集度為權(quán)重將這三類圖像加和，得到聚集度特征：

$S_C=\underset{K}{\mathrm{\Σ}}p\left(K\right|I_x)*Comp\left(K\right)---\left(4\right)$

Comp(K)即為第K類圖像對(duì)應(yīng)的聚集度，具體的公式為：

$Comp\left(K\right)={\left(\frac{{\mathrm{\Σ}}_{I_x}\left|\right|x-\mathrm{\μ}|{|}^2\·p\left(K\right|I_x)}{{\mathrm{\Σ}}_{I_x}p\left(K\right|I_x)}\right)}^{-1}---\left(5\right)$

x是像素I_x的坐標(biāo)位置，μ是圖像中心的坐標(biāo)位置。

接著，結(jié)合中心先驗(yàn)的全局對(duì)比度的計(jì)算公式為：

$S_U\left(i\right)=\left(\underset{j\∈M}{\mathrm{\Σ}}\right||c_i-c_j||\·\exp (-\frac{\left|\right|{\mathrm{\μ}}_i-{\mathrm{\μ}}_j\left|\right|}{{{\mathrm{\σ}}_p}^2}\left)\right)\·\exp (-\frac{\left|\right|{\mathrm{\μ}}_i-\mathrm{\μ}\left|\right|}{{{\mathrm{\σ}}_c}^2})---\left(6\right)$

c_i代表超像素i的顏色均值，μ_i表示超像素i的位置均值。σ_p為調(diào)整顏色和空間位置影響力的權(quán)重，σ_c則為控制中心先驗(yàn)影響力的權(quán)重。

最后，以乘法的形式將聚集度特征和對(duì)比度特征相結(jié)合得到最終的前景顯著性：

S_fg(i)＝S_C(i)·S_U(i) (7)

S_C(i)代表超像素i的平均聚集度特征值。

步驟三：基于背景先驗(yàn)的顯著性

首先取得與圖像邊界相連的超像素作為背景種子。然后，對(duì)步驟二中得到的前景顯著圖二值化，將被標(biāo)記為1的超像素作為前景種子點(diǎn)，計(jì)算其他超像素與前景種子的相似程度，具體公式為：

$Sim\left(i\right)=1-\underset{j\∈FS}{\mathrm{\Σ}}\left|\right|S_{fg}\left(i\right)-S_{fg}\left(j\right)\left|\right|---\left(8\right)$

其中FS代表前景種子點(diǎn)集。

通過OSTU算法確定相似度的閾值T，將邊界超像素中與前景種子相似度大于閾值T的部分超像素從背景種子中剔除，則得到最終背景種子集BS。最后，計(jì)算各超像素與背景種子的對(duì)比度，從而得到背景顯著性，具體公式為：

$S_{bg}\left(i\right)=\underset{j\∈BS}{\mathrm{\Σ}}\left|\right|c_i-c_j\left|\right|\·(1-||{\mathrm{\μ}}_i-{\mathrm{\μ}}_j|\left|\right)---\left(9\right)$

步驟四：顯著性優(yōu)化融合

構(gòu)建一個(gè)包含前景項(xiàng)、背景項(xiàng)和平滑項(xiàng)的代價(jià)函數(shù)，將前景背景結(jié)合在一起，具體公式為：

Foreground代表前景項(xiàng)，Background代表背景項(xiàng)，Smoothness為平滑項(xiàng)。其中S(i)為第i個(gè)超像素的最終顯著性均值，通過最小化代價(jià)函數(shù)得到最終的顯著圖。α是平衡前景顯著性與背景顯著性對(duì)最終顯著性影響力大小的權(quán)重，λ是調(diào)節(jié)平滑項(xiàng)作用大小的權(quán)重，即調(diào)節(jié)最終顯著性的平滑程度。

最后通過最小化代價(jià)函數(shù)，得到最終的顯著性S。