本發(fā)明涉及一種融合局部和全局稀疏的圖像顯著性檢測(cè)方法，屬于計(jì)算機(jī)視覺中顯著性檢測(cè)技術(shù)領(lǐng)域。

背景技術(shù)：

隨著圖像信息的大量生成和發(fā)展，人們對(duì)計(jì)算機(jī)處理圖像的能力提出了更高的要求。在計(jì)算機(jī)視覺識(shí)別領(lǐng)域，顯著性檢測(cè)的研究是不可忽視的一個(gè)分支。圖像顯著性檢測(cè)就是提取圖片中最為重要的、人們最感興趣的部分，保證這一部分的信息不扭曲失真。而如何檢測(cè)圖像的顯著性區(qū)域，迄今為止已經(jīng)有眾多經(jīng)典算法提出。

在已有算法中，基于局部對(duì)比度的算法一般不能很好的檢測(cè)顯著目標(biāo)內(nèi)部信息，更加關(guān)注圖像的邊緣。而基于全局對(duì)比度的顯著性檢測(cè)算法，對(duì)于背景的抑制效果不是非常理想，并且有時(shí)會(huì)丟失一部分的顯著內(nèi)容。而現(xiàn)有的融合兩種算法的模型，如ca檢測(cè)模型，運(yùn)行時(shí)間較長。為此，需要研究一種新的顯著性檢測(cè)算法，將局部對(duì)比和全局對(duì)比的顯著性檢測(cè)模型融合起來，獲得更好的檢測(cè)效果的顯著圖。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：提供一種融合局部和全局稀疏的圖像顯著性檢測(cè)方法，將稀疏表示運(yùn)用到局部對(duì)比和全局對(duì)比的顯著性檢測(cè)模型當(dāng)中，并采用自適應(yīng)融合算法，生成檢測(cè)精確、運(yùn)行效率高的顯著性檢測(cè)方法。

本發(fā)明為解決上述技術(shù)問題采用以下技術(shù)方案：

一種融合局部和全局稀疏的圖像顯著性檢測(cè)方法，包括如下步驟：

步驟1，獲取原始圖像，并將原始圖像分割成若干個(gè)大小相同、互不重疊的圖像塊，將圖像塊按從左到右、從上到下的順序依次編號(hào)并標(biāo)記；

步驟2，將所有圖像塊重新整合成矩陣形式并按照編號(hào)進(jìn)行排序，形成一個(gè)矩陣b＝[b1,b2,…,bn]，其中，bi(i＝1,2,…,n)為第i個(gè)圖像塊縱向表示的列向量，n為所有圖像塊的數(shù)量；

步驟3，構(gòu)造用于局部稀疏表示的稀疏字典，對(duì)任一圖像塊對(duì)應(yīng)的列向量bi，選取該列向量前n列和后n列共2n列的列向量構(gòu)造該圖像塊對(duì)應(yīng)的稀疏字典di；對(duì)第1至第n個(gè)圖像塊對(duì)應(yīng)的列向量，選取當(dāng)前列向量后2n列的列向量構(gòu)造該圖像塊對(duì)應(yīng)的稀疏字典；對(duì)第n-(n-1)至第n個(gè)圖像塊對(duì)應(yīng)的列向量，選取當(dāng)前列向量前2n列的列向量構(gòu)造該圖像塊對(duì)應(yīng)的稀疏字典，n為正整數(shù)；

步驟4，構(gòu)造用于全局稀疏表示的稀疏字典，選取原始圖像上下左右四個(gè)邊界圖像塊對(duì)應(yīng)的列向量構(gòu)造所有圖像塊對(duì)應(yīng)的稀疏字典；

步驟5，利用omp算法分別求解局部稀疏表示、全局稀疏表示的稀疏系數(shù)；

步驟6，利用局部稀疏表示的稀疏系數(shù)重構(gòu)每個(gè)圖像塊，得到每個(gè)圖像塊對(duì)應(yīng)的重構(gòu)誤差列向量，將所有圖像塊形成的重構(gòu)誤差矩陣恢復(fù)成圖像，并進(jìn)行高斯濾波得到局部初始顯著圖；

步驟7，利用全局稀疏表示的稀疏系數(shù)重構(gòu)每個(gè)圖像塊，得到每個(gè)圖像塊對(duì)應(yīng)的重構(gòu)誤差列向量，將所有圖像塊形成的重構(gòu)誤差矩陣恢復(fù)成圖像，并進(jìn)行高斯濾波得到全局初始顯著圖；

步驟8，將局部初始顯著圖、全局初始顯著圖均轉(zhuǎn)換為灰度圖，并歸一化顯著值，采用自適應(yīng)融合算法融合局部初始顯著圖和全局初始顯著圖，得到最終的顯著圖。

作為本發(fā)明的一種優(yōu)選方案，步驟1所述將原始圖像分割成若干個(gè)大小相同、互不重疊的圖像塊之前，將原始圖像的尺寸調(diào)整為320*400像素大小，對(duì)應(yīng)分割成的圖像塊的大小選取為4*4像素。

作為本發(fā)明的一種優(yōu)選方案，所述步驟4的具體過程為：對(duì)矩陣b，選取第1至第n列、第n-(n-1)至第n列、列編號(hào)除以100余數(shù)為1的列、列編號(hào)整除100的列，構(gòu)造任意一個(gè)圖像塊對(duì)應(yīng)的稀疏字典，n為所有圖像塊的數(shù)量。

作為本發(fā)明的一種優(yōu)選方案，步驟5所述利用omp算法求解局部稀疏表示的稀疏系數(shù)計(jì)算公式為：

argmin||α||0s.t.b＝dα

其中，α為局部稀疏表示的稀疏系數(shù)集合，b為所有圖像塊重新整合后得到的矩陣，d為局部稀疏表示時(shí)所有圖像塊對(duì)應(yīng)的稀疏字典的集合，||·||0表示0范數(shù)。

作為本發(fā)明的一種優(yōu)選方案，步驟6所述利用局部稀疏表示的稀疏系數(shù)重構(gòu)每個(gè)圖像塊，得到每個(gè)圖像塊對(duì)應(yīng)的重構(gòu)誤差列向量計(jì)算公式為：

其中，ei為重構(gòu)誤差，bi(i＝1,2,…,n)為第i個(gè)圖像塊縱向表示的列向量，n為所有圖像塊的數(shù)量，d為局部稀疏表示時(shí)所有圖像塊對(duì)應(yīng)的稀疏字典的集合，αi為局部稀疏表示的稀疏系數(shù)，||·||2表示2范數(shù)。

作為本發(fā)明的一種優(yōu)選方案，步驟8所述自適應(yīng)融合算法計(jì)算公式為：

s(j,k)＝ωl×sl(j,k)+ωg×sg(j,k)

其中，s(j,k)為融合后得到的顯著圖的每個(gè)像素點(diǎn)，sl(j,k)、sg(j,k)分別表示局部初始顯著圖、全局初始顯著圖的每個(gè)像素點(diǎn)，ωl、ωg分別為局部初始顯著圖、全局初始顯著圖的權(quán)重，且∑x∈{l,g}ωx＝1。

本發(fā)明采用以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)效果：

1、本發(fā)明方法通過圖像分塊，選取不同的過完備字典，對(duì)其進(jìn)行局部和全局的稀疏表示，將所得的局部初始圖像和全局初始圖像進(jìn)行自適應(yīng)融合，得到最終的顯著圖像，取得了不錯(cuò)的效果。

2、本發(fā)明方法檢測(cè)精確，運(yùn)行效率高。

附圖說明

圖1是本發(fā)明融合局部和全局稀疏的圖像顯著性檢測(cè)方法實(shí)施例的框架圖。

圖2是本發(fā)明方法實(shí)施例中矩陣b的表示形式。

圖3是本發(fā)明方法實(shí)施例的檢測(cè)結(jié)果圖。

具體實(shí)施方式

下面詳細(xì)描述本發(fā)明的實(shí)施方式，所述實(shí)施方式的示例在附圖中示出。下面通過參考附圖描述的實(shí)施方式是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

如圖1所示，本發(fā)明的步驟如下：

步驟一：針對(duì)原始圖像i，基于局部稀疏表示得到初始局部顯著圖sl。

步驟二：針對(duì)原始圖像i，基于全局稀疏表示得到初始全局顯著圖sg。

步驟三：自適應(yīng)融合局部初始顯著圖sl和全局初始顯著圖sg，得到最終顯著圖s。詳細(xì)步驟如下：

1、基于局部稀疏表示的顯著性檢測(cè)

結(jié)合具體實(shí)施例，基于局部稀疏表示的顯著性檢測(cè)具體流程如下：

(1)讀取原始圖像i，將圖像尺寸調(diào)整為m1*m2大小。本發(fā)明以320*400像素為例，方便后續(xù)處理。

(2)分割原始圖像i成為若干圖像塊bi。本發(fā)明跟大部分的局部或全局處理算法不一樣，沒有以像素作為最小處理單元，這些算法雖然也將圖像分割成塊，但是最終的計(jì)算還是基于像素求解。但是圖像中像素點(diǎn)數(shù)量龐大，處理起來費(fèi)時(shí)費(fèi)力耗資源，所以本發(fā)明直接用圖像塊作為基本處理單元。雖然比像素級(jí)誤差略微大一點(diǎn)，但是節(jié)省了很多時(shí)間，也能取得不錯(cuò)的效果。

本發(fā)明中，圖像塊選取的大小是4*4像素，將320*400像素大小的圖片恰好分成8000個(gè)圖像塊，通過實(shí)驗(yàn)可以保證這些參數(shù)量可以在計(jì)算效率和誤差大小之間維持一個(gè)平衡。圖像中，分割完成的每個(gè)圖像塊按從左到右，從上到下的順序標(biāo)記為bi。

(3)圖像重組，得到矩陣b。這一步是為稀疏求解做準(zhǔn)備，由于稀疏算法的實(shí)現(xiàn)是基于矩陣運(yùn)算，所以對(duì)分割成圖像塊的圖片進(jìn)行重新整合。重組后的圖像成為一個(gè)圖像塊的行矩陣，標(biāo)記為b。在第(2)步分割的基礎(chǔ)上，將所有圖像塊重新排序，成為一個(gè)行向量，表示為b＝[b1,b2,…,bn]，n＝8000。其中，每一列元素bi都是一個(gè)圖像塊縱向表示的信息，大小是16*1，所以最終得到的圖像矩陣b的大小為16*8000。如圖2所示。

(4)構(gòu)造稀疏字典d。對(duì)于字典選擇，本發(fā)明沒有采用之前學(xué)者常用的字典庫或者是字典學(xué)習(xí)的構(gòu)造方法，而是結(jié)合了顯著性檢測(cè)的實(shí)際情況，直接從圖像內(nèi)選取合適的圖像塊來構(gòu)造字典，這樣能更加方便有效的重構(gòu)原有信號(hào)，對(duì)圖庫中的大部分圖片都可以收到良好的實(shí)驗(yàn)結(jié)果，算法的魯棒性也因此得到了提高。在局部稀疏中，對(duì)某一選定的圖像塊bi稀疏重構(gòu)，選取的是圖像塊周圍n*n范圍內(nèi)的圖像塊作為字典。

在本發(fā)明中，由于圖片已經(jīng)表示成圖像塊的行向量，選擇圖像塊前100列和后100列一共200個(gè)圖像塊作為字典，即bi-100～bi+100作為字典塊。需要注意的是，第1-100個(gè)圖像塊采用的是其后200列作為字典，而最后100列圖像塊是采用之前200列作為字典。由此形成的字典可以表示為di＝[d1,d2,…,d200]。

(5)稀疏系數(shù)α求解。本發(fā)明中系數(shù)求解算法綜合對(duì)比考慮了算法精度問題和實(shí)現(xiàn)復(fù)雜度問題，采用了omp算法。通過輸入已設(shè)定的輸入信號(hào)和字典，求出最佳的表示系數(shù)α，即求公式(1)。

argmin||α||0s.t.b＝dα(1)

(6)局部初始顯著圖sl的生成。在步驟(5)的基礎(chǔ)上，用所得的稀疏系數(shù)α重構(gòu)每個(gè)圖像塊bi，得出的誤差ei可以由公式(2)計(jì)算得出。

將其結(jié)果賦給所在的圖像塊，此時(shí)所有誤差值的表示方式還是一個(gè)行向量[e1,e2,…,e8000]。通過循環(huán)賦值變換，將行向量恢復(fù)成320*400的圖像。最后進(jìn)行高斯濾波得出局部初始顯著圖sl。

2、基于全局稀疏表示的顯著性檢測(cè)

全局稀疏是相對(duì)于局部稀疏而言的另外一種圖像稀疏算法。本發(fā)明的算法流程實(shí)現(xiàn)過程與局部相似，除了步驟(4)以外其他流程完全一樣，不再贅述。全局稀疏中字典的選取與局部字典不同之處在于，字典d是從整個(gè)圖片中選定，與圖像塊所在位置并沒有特別密切的聯(lián)系。下面重點(diǎn)介紹全局字典d的選取。

在傳統(tǒng)的稀疏表示中，全局字典的選定或者是從字典庫中匹配選取，或者是從圖片中按給定規(guī)則隨機(jī)選取圖像塊(如用除本圖像塊以外的所有圖像塊作為字典)，或者更為精確的是采用k-svd等字典學(xué)習(xí)方法，學(xué)習(xí)原始圖像的各個(gè)圖像塊特征，在每一個(gè)圖像塊重構(gòu)時(shí)，都進(jìn)行字典學(xué)習(xí)和字典更新，用最合適的字典使圖像重構(gòu)誤差達(dá)到最小。

對(duì)于大部分的應(yīng)用領(lǐng)域來說，稀疏表示的重構(gòu)誤差越小，說明算法越好。但是在顯著性檢測(cè)中，并非如此。本發(fā)明希望屬于背景的圖像塊能得到很好的重構(gòu)效果，理想誤差值為0；而屬于前景目標(biāo)的圖像塊，根據(jù)字典重構(gòu)，并不能得到很好的重構(gòu)效果，歸一化的理想誤差值為1。這樣才能準(zhǔn)確的檢測(cè)出顯著區(qū)域。

根據(jù)以上思想，本發(fā)明沒有選用之前一般的全局字典構(gòu)造法，而是直接從屬于背景的圖像塊中選擇字典。對(duì)于大部分圖像而言，圖片四周靠邊緣的圖像塊一般都屬于背景，所以本發(fā)明選擇上下左右四個(gè)邊界的圖像塊作為字典。在編程過程中，圖像輸入、尺寸統(tǒng)一、圖像塊分割和稀疏系數(shù)求解算法都與局部算法一致。上邊界選取前1-100列，即b1～b100作為字典；下邊界選取后1-100列，即b7901～b8000作為字典；左邊界用列標(biāo)號(hào)i除以100，余數(shù)為1的圖像塊bi作為字典；右邊界用列標(biāo)號(hào)i能夠整除100的作為字典，最終形成的字典總共360列。根據(jù)步驟(6)，得出全局初始顯著圖sg。

3、局部和全局顯著性自適應(yīng)融合

局部稀疏檢測(cè)法可以檢測(cè)出小目標(biāo)物體，但是顯著目標(biāo)太大的時(shí)候，則側(cè)重于檢測(cè)物體輪廓，丟失顯著物體內(nèi)部信息。全局稀疏檢測(cè)法可以很好的突出物體內(nèi)部信息，但是背景噪聲得不到很好的抑制，并且對(duì)于有些圖像，檢測(cè)信息不完整?；诖耍景l(fā)明將兩幅初始圖像的特征信息相互融合，取長補(bǔ)短，以獲得更好的實(shí)驗(yàn)結(jié)果。

融合算法多種多樣，有加權(quán)融合、乘法融合、最大值和最小值融合等等。通過實(shí)驗(yàn)發(fā)現(xiàn)，乘法融合只能顯示兩幅圖像共同顯著的部分，對(duì)于局部圖像而言，被抑制的內(nèi)部信息在經(jīng)過乘法融合之后，依舊不顯著。而最值融合得到的顯著圖一般只來源于某個(gè)主要渠道，實(shí)驗(yàn)發(fā)現(xiàn)最值融合并不能很好地突出顯著區(qū)域，或者抑制背景噪聲，相反的，對(duì)于一些圖片實(shí)驗(yàn)結(jié)果甚至不如初始顯著圖。而加權(quán)融合在經(jīng)過實(shí)驗(yàn)對(duì)比后發(fā)現(xiàn)，可以取得很好的效果，并且實(shí)現(xiàn)簡單，效率較高。

對(duì)于加權(quán)融合，如何選取兩幅圖像的權(quán)重之比，是研究重點(diǎn)，一般有兩種方式：固定權(quán)重值和自適應(yīng)權(quán)重值。第一種方法兩幅圖像的權(quán)重值固定，實(shí)現(xiàn)簡單，運(yùn)行速度快，但是靈活性差，不能根據(jù)圖像的不同調(diào)整相應(yīng)的比例。所以本發(fā)明選取的是第二種方法，自適應(yīng)生成權(quán)重值。此方法可以更加合理的融合兩幅初始顯著圖，得到更好的融合效果。

最終顯著圖計(jì)算流程如下：

(1)輸入局部初始顯著圖sl和全局初始顯著圖sg，將兩幅圖像的尺寸調(diào)整為320*400像素大小。

(2)將兩幅圖像類型轉(zhuǎn)換為灰度圖，歸一化顯著值。

(3)自適應(yīng)融合兩幅初始顯著圖，得到最終的顯著圖s。加權(quán)融合表達(dá)式如下公式(3)所示。

s(j,k)＝ωl×sl(j,k)+ωg×sg(j,k)(3)

其中，s(j,k)表示融合后的顯著圖的每個(gè)像素點(diǎn)，ωl和ωg分別為局部和全局初始顯著圖的權(quán)重，并且滿足∑x∈{l,g}ωx＝1。

定義sl相對(duì)于sg的相關(guān)性，相關(guān)系數(shù)用pl表示，定義如公式(4)所示：

同理，sg相對(duì)于sl的相關(guān)系數(shù)pg定義如公式(5)所示：

在此基礎(chǔ)上，計(jì)算權(quán)重值ωl和ωg，如公式(6)和(7)所示：

將計(jì)算的得出的權(quán)重值ωl和ωg帶入公式(3)中，為了取得更好的視覺效果，對(duì)所得結(jié)果進(jìn)行灰度拉伸和濾波，得出最終的融合圖像s，如圖3所示，實(shí)驗(yàn)結(jié)果驗(yàn)證了提出算法的有效性。

以上實(shí)施例僅為說明本發(fā)明的技術(shù)思想，不能以此限定本發(fā)明的保護(hù)范圍，凡是按照本發(fā)明提出的技術(shù)思想，在技術(shù)方案基礎(chǔ)上所做的任何改動(dòng)，均落入本發(fā)明保護(hù)范圍之內(nèi)。