一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法
【專利摘要】本發(fā)明提供了一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，所述方法首先通過(guò)過(guò)分割方法將輸入圖像分割為超像素以屏蔽圖像細(xì)節(jié)；然后通過(guò)將每個(gè)超像素節(jié)點(diǎn)作為圖模型的頂點(diǎn)構(gòu)造一個(gè)閉環(huán)的圖模型，所有的圖像邊緣的超像素彼此兩兩相連，各超像素連接圍繞其周圍的兩層超像素；分析每個(gè)超像素的傳播模式并得到其初始顯著性值；最后以所有超像素為前景，結(jié)合其對(duì)應(yīng)初始顯著性值，利用流形排序方法計(jì)算最終的顯著性圖。本發(fā)明得到的顯著性圖能夠有效地突出圖像中的顯著性物體，且模型簡(jiǎn)潔，計(jì)算快速，有利于加速后期的圖像處理應(yīng)用。
【專利說(shuō)明】一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)與數(shù)字圖像處理領(lǐng)域，具體地，涉及一種基于傳播模式和 流形排序的顯著性物體檢測(cè)方法。

【背景技術(shù)】
[0002] 顯著性的計(jì)算是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題，其目的在于從時(shí)空域大量 信息中選取特定的感興趣的區(qū)域。視覺(jué)顯著性檢測(cè)亦可被描述成是使得計(jì)算機(jī)擁有人的 視覺(jué)注意機(jī)制的研究。顯著性檢測(cè)可以在計(jì)算機(jī)視覺(jué)領(lǐng)域中的許多問(wèn)題中發(fā)揮作用，例如 用于圖像壓縮，加快物體識(shí)別和檢測(cè)算法等。一般而言，視覺(jué)顯著性檢測(cè)的輸出結(jié)果是一張 "顯著性圖"，其中越亮的區(qū)域表示該區(qū)域的顯著性特征越強(qiáng)，越容易被人所關(guān)注。
[0003] 目前而言，顯著性檢測(cè)的主要方法可分為"自底向上"和"自頂向下"，以及將兩者 結(jié)合之后的方法。"自底向上"的方法主要利用的是圖像的底層信息，例如圖像的顏色，紋理 等；"自頂向下"的方法利用高層的信息，結(jié)合機(jī)器學(xué)習(xí)等方法。
[0004] 顯著性檢測(cè)方法在國(guó)內(nèi)外諸多知名學(xué)者的努力下有了較大的發(fā)展，其中的方法主 要有=Itti等人在1998年提出使用特征的"中心一周圍差異"原理來(lái)進(jìn)行顯著性檢測(cè)，所用 特征具體包括顏色、強(qiáng)度與方向。Hou等人于2007年提出光譜殘差的方法，利用圖像傅立葉 變換后的幅度譜上計(jì)算光譜殘差，然后再將該殘差進(jìn)行反變換得到顯著性圖。Cheng等人于 2011年提出利用直方圖來(lái)得到顏色的統(tǒng)計(jì)特性，然后利用基于顏色對(duì)比來(lái)估計(jì)圖像塊的顯 著性，由于對(duì)顏色進(jìn)行了量化，因此檢測(cè)效率得到了提升。
[0005] 專利方面，申請(qǐng)?zhí)枮镃N201410180885的中國(guó)發(fā)明專利發(fā)明公開(kāi)一種基于對(duì)比 度與角點(diǎn)最小凸包的顯著性檢測(cè)方法。首先根據(jù)超像素的全局對(duì)比計(jì)算全局顯著圖， 然后使用中心一周圍算子計(jì)算局部顯著圖，最后根據(jù)Harris角點(diǎn)的最小凸包估計(jì)主要 目標(biāo)的位置與大小過(guò)濾到背景中部分區(qū)域的干擾，使得主要目標(biāo)得以突出；申請(qǐng)?zhí)枮?CN201410098280的中國(guó)發(fā)明專利提供一種基于前景先驗(yàn)和背景先驗(yàn)的顯著性物體檢測(cè)方 法，該方法分別從顯著性物體（前景）和背景出發(fā)，結(jié)合各自先驗(yàn)知識(shí)的優(yōu)勢(shì)來(lái)定義對(duì)應(yīng)的 顯著性衡量方式。對(duì)于顯著性物體，首先利用對(duì)比先驗(yàn)計(jì)算每個(gè)子區(qū)域的中心一周圍顏色 對(duì)比，然后將該對(duì)比度值乘以中心先驗(yàn)，最后通過(guò)平滑得到基于前景的顯著性圖。對(duì)于背 景，利用邊界先驗(yàn)和所定義的8鄰域"縫"，動(dòng)態(tài)優(yōu)化找到每一個(gè)像素分別到四條邊界的最 優(yōu)"縫"，計(jì)算最優(yōu)"縫"的成本得到基于背景的顯著性圖。最后將兩張顯著性圖相乘，再經(jīng) 過(guò)平滑輸出最終的顯著性圖。


【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于傳播模式和流形排序的顯 著性物體檢測(cè)方法，該方法能夠快速有效地自動(dòng)選擇初始顯著性節(jié)點(diǎn)，然后由流形排序的 方法得到最終顯著性結(jié)果，有效突出顯著性物體，同時(shí)抑制背景區(qū)域。該發(fā)明可以使用于圖 像壓縮以及加速圖像檢索、目標(biāo)檢測(cè)等計(jì)算機(jī)視覺(jué)領(lǐng)域的問(wèn)題。
[0007] 為實(shí)現(xiàn)以上目的，本發(fā)明提供一種基于傳播模式和流形排序的顯著性物體檢測(cè)方 法，具體步驟如下：
[0008] 第一步，圖像的超像素表達(dá)：
[0009] 將輸入的圖像通過(guò)超像素分割方法分割為N個(gè)顏色相似的超像素區(qū)域，計(jì)算每個(gè) 超像素區(qū)域內(nèi)的平均顏色信息，并將每個(gè)超像素作為顯著性表達(dá)的最小單位；
[0010] 第二步，建立閉環(huán)圖模型：
[0011] 將每個(gè)超像素做為頂點(diǎn)構(gòu)建圖模型。在該圖模型中，所有的在圖像邊緣的超像素 彼此之間兩兩相連，因此該圖模型屬于閉環(huán)圖模型。各超像素連接圍繞其周圍的兩層超像 素，超像素之間的連接邊的權(quán)重根據(jù)顏色信息以及所在的圍繞層數(shù)計(jì)算；
[0012] 第三步，初始顯著性值計(jì)算：
[0013] 利用第二步得到的圖模型，結(jié)合流形排序的方法計(jì)算排序矩陣；單獨(dú)以每個(gè)超像 素為顯著性查詢節(jié)點(diǎn)（即前景節(jié)點(diǎn)）計(jì)算流形排序的結(jié)果，將該結(jié)果作為該查詢節(jié)點(diǎn)的傳 播模式，該傳播模式是以當(dāng)前超像素為前景節(jié)點(diǎn)時(shí)，圖模型內(nèi)所有節(jié)點(diǎn)的顯著性值分布以 向量的形式表示，統(tǒng)計(jì)該向量?jī)?nèi)所有元素的和，作為當(dāng)前超像素的初始顯著性值；依照此方 法計(jì)算得到所有超像素的初始顯著性值；
[0014] 第四步，最終顯著性圖計(jì)算：
[0015] 通過(guò)第三步得到的每個(gè)超像素的初始顯著性值，以所有的超像素作為顯著性查詢 節(jié)點(diǎn)（前景），按照流形排序的方法計(jì)算最終的顯著性圖。
[0016] 優(yōu)選地，所述第一步中，具體的：
[0017] 將輸入的彩色圖像的顏色空間從RGB轉(zhuǎn)到LAB，并利用SLIC超像素分割算法將圖 像過(guò)分割為N個(gè)超像素，按照以下公式計(jì)算超像素內(nèi)部的平均顏色C i :
[0018]

【權(quán)利要求】
1. 一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其特征在于，所述方法包括 如下步驟： 第一步，圖像的超像素表達(dá)：將輸入的圖像通過(guò)超像素分割方法分割為N個(gè)顏色相似 的超像素區(qū)域，計(jì)算每個(gè)超像素區(qū)域內(nèi)的平均顏色信息，并將每個(gè)超像素作為顯著性表達(dá) 的最小單位； 第二步，建立閉環(huán)圖模型：將每個(gè)超像素做為頂點(diǎn)構(gòu)建圖模型，在該圖模型中，所有的 在圖像邊緣的超像素彼此之間兩兩相連，因此該圖模型屬于閉環(huán)圖模型；各超像素連接圍 繞其周圍的兩層超像素，超像素之間的連接邊的權(quán)重根據(jù)顏色信息以及所在的圍繞層數(shù)計(jì) 算； 第三步，初始顯著性值計(jì)算：利用第二步得到的圖模型，結(jié)合流形排序的方法計(jì)算排序 矩陣；單獨(dú)以每個(gè)超像素為顯著性查詢節(jié)點(diǎn)（即前景節(jié)點(diǎn)）計(jì)算流形排序的結(jié)果，將該結(jié)果 作為該查詢節(jié)點(diǎn)的傳播模式，該傳播模式是以當(dāng)前超像素為前景節(jié)點(diǎn)時(shí)，圖模型內(nèi)所有節(jié) 點(diǎn)的顯著性值分布以向量的形式表示，統(tǒng)計(jì)該向量?jī)?nèi)所有元素的和，作為當(dāng)前超像素的初 始顯著性值；依照此方法計(jì)算得到所有超像素的初始顯著性值； 第四步，最終顯著性圖計(jì)算：通過(guò)第三步得到的每個(gè)超像素的初始顯著性值，以所有的 超像素作為顯著性查詢節(jié)點(diǎn)，按照流形排序的方法計(jì)算最終的顯著性圖。
2. 根據(jù)權(quán)利要求1所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法,其特 征在于，所述第一步中，僅需提取顏色信息而不用計(jì)算相應(yīng)的位置信息作為后續(xù)圖模型的 計(jì)算參數(shù)。
3. 根據(jù)權(quán)利要求2所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其特 征在于，所述第一步中，具體為： 將輸入的彩色圖像的顏色空間從RGB轉(zhuǎn)到LAB，并利用SLIC超像素分割算法將圖像過(guò) 分割為N個(gè)超像素，按照以下公式計(jì)算超像素內(nèi)部的平均顏色Ci:
其中：1。為像素I的顏色向量即3維向量[L，a，b]，ISPiI表示超像素SPi中所含像素 的個(gè)數(shù)，i表示超像素的下標(biāo)號(hào)，i= 1，2，......，N。
4. 根據(jù)權(quán)利要求1所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法,其特 征在于，所述第二步中，將每個(gè)超像素做為頂點(diǎn)構(gòu)建圖模型以表示原圖，具體的是：在經(jīng)過(guò) 第一步的分割之后，圖像有N個(gè)超像素進(jìn)行抽象表達(dá)，以這N個(gè)超像素作為圖的頂點(diǎn)構(gòu)造圖 模型，一個(gè)完整的圖模型G包含頂點(diǎn)集合V、邊集合E以及邊的權(quán)值集合W。
5. 根據(jù)權(quán)利要求4所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其特 征在于，所述第二步中，圖模型中各超像素連接圍繞其周圍的兩層超像素，超像素之間的連 接邊的權(quán)重根據(jù)顏色信息以及所在的圍繞層數(shù)計(jì)算，具體的： 某一超像素與其第二層圍繞的超像素的連接邊的權(quán)重根據(jù)超像素顏色信息計(jì)算后，再 乘以系數(shù)λ，λ取值范圍大于零且小于等于1，以此來(lái)區(qū)分兩層圍繞的超像素的距離差異； 公式為：
其中：λ為調(diào)整各層權(quán)重的系數(shù)，對(duì)第一層環(huán)繞的超像素λ取值為1，對(duì)第二層環(huán)繞的 超像素λ取值為0. 5 ;σ是控制權(quán)重大小的一個(gè)常量；Ci和Cj表示超像素的顏色信息； 兩層連接的圖模型是為了更好地表達(dá)數(shù)據(jù)的流形的特性，R 構(gòu)成權(quán)值集合。 L1J Ληχη
6. 根據(jù)權(quán)利要求1-5任一項(xiàng)所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè) 方法，其特征在于，所述第三步中，流形排序的方法公式表達(dá)如下： f* = (D-Qff)-1Y, 其中：D zdiagWii，...，^}為度量矩陣，Clii= SjCoijS鄰接矩陣中各行元素的和； α=?Λ?+μ)是用于調(diào)整流形排序的光滑性和擬合程度的參數(shù)；W= 為該圖模型的 鄰接矩陣，其中的元素表示各超像素之間的連接權(quán)重；y=Ly1, ...，yn]T是用于存儲(chǔ)初始顯 著性值的向量。
7. 根據(jù)權(quán)利要求6所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其特 征在于，所述第三步中，選擇前景節(jié)點(diǎn)時(shí)，不是采用先利用背景先驗(yàn)計(jì)算然后轉(zhuǎn)換到前景的 方式，而是直接通過(guò)超像素的內(nèi)在傳播模式特性進(jìn)行計(jì)算初始顯著性值，且該方式求得每 個(gè)超像素的初始顯著性值各不相同，表達(dá)了每個(gè)超像素初始顯著性特性的差別。
8. 根據(jù)權(quán)利要求7所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法， 其特征在于，所述第三步中，各個(gè)節(jié)點(diǎn)的初始顯著性值是通過(guò)分析每個(gè)節(jié)點(diǎn)的傳播模式 來(lái)得到的；傳播模式的計(jì)算具體為：如選擇第i個(gè)超像素作為顯著性查詢節(jié)點(diǎn)，則將y= Iiy1, . . .，yn]T中的第i個(gè)元素置為1,其余的元素置為0 ; 由流形排序的方法公式計(jì)算得到此次流形排序的結(jié)果，即N個(gè)超像素的對(duì)應(yīng)本次查詢 節(jié)點(diǎn)的顯著性值；f"為一個(gè)列向量，其包含的值的分布形式即可看作為此次顯著性查詢節(jié) 點(diǎn)的傳播模式，計(jì)算f中所有元素的和即得到了此次顯著性查詢節(jié)點(diǎn)的初始顯著性值。
9. 根據(jù)權(quán)利要求8所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其特 征在于，所述第三步中，因?yàn)槊恳粋€(gè)超像素對(duì)應(yīng)的傳播模式即為（D-aWr1中的一列，并且 矩陣（D-αWr1是對(duì)稱的，因此計(jì)算所有超像素的初始顯著性值由如下的公式計(jì)算： = (D-Qff)-^s, 其中：yinit保存所有超像素的初始顯著性值，s為所有元素全為1的列向量。
10. 根據(jù)權(quán)利要求9所述的一種基于傳播模式和流形排序的顯著性物體檢測(cè)方法，其 特征在于，所述第四步中，計(jì)算求得每個(gè)超像素的所述初始顯著性值之后，即得到了保存所 有超像素的初始顯著性值yinit，相當(dāng)于完成了所述初始顯著性節(jié)點(diǎn)的選擇；將71!^代入流 形排序的方法公式即求得最終的每個(gè)超像素的顯著性值。
【文檔編號(hào)】G06T7/00GK104240244SQ201410457725
【公開(kāi)日】2014年12月24日 申請(qǐng)日期:2014年9月10日 優(yōu)先權(quán)日:2014年9月10日
【發(fā)明者】黃焱, 楊杰 申請(qǐng)人:上海交通大學(xué)