基于邊界信息融合的超像素分割方法
【專利摘要】本發(fā)明公開了一種基于邊界信息融合的超像素分割方法，主要解決現(xiàn)有SLIC算法對(duì)細(xì)小虛弱邊界貼合度較低的問題。其實(shí)現(xiàn)步驟是：1)獲取原始圖像的邊緣圖像；2)獲取原始圖像的LAB空間轉(zhuǎn)換圖像；3)在LAB轉(zhuǎn)換圖像內(nèi)初始化平面聚類中心；4)在平面聚類中心的局部范圍內(nèi)初始化邊界聚類中心；5)更新平面聚類中心和邊界聚類中心為3×3鄰域內(nèi)的梯度最小點(diǎn)；6)在LAB轉(zhuǎn)換圖像內(nèi)對(duì)像素點(diǎn)進(jìn)行分類；7)循環(huán)迭代步驟6)，獲得LAB轉(zhuǎn)換圖像像素點(diǎn)的最終標(biāo)記；8)將具有相同標(biāo)記的像素點(diǎn)構(gòu)成一個(gè)超像素，獲得原始圖像的超像素分割結(jié)果。本發(fā)明提高了超像素對(duì)細(xì)小虛弱邊緣的貼合度，可用于分類、識(shí)別、跟蹤等要求檢測(cè)目標(biāo)的場(chǎng)合。
【專利說明】
基于邊界信息融合的超像素分割方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種超像素分割方法，可用于圖像分類、 目標(biāo)識(shí)別、目標(biāo)跟蹤等要求檢測(cè)目標(biāo)的場(chǎng)合。
【背景技術(shù)】
[0002] 超像素是圖像中一系列位置相鄰且亮度、顏色、紋理等特征相似的像素點(diǎn)組成的 小區(qū)域。超像素具有良好的局部特征表達(dá)能力，能夠提取圖像的中層特征，并方便地表達(dá)圖 像的結(jié)構(gòu)信息。將超像素分割作為圖像處理算法的預(yù)處理步驟，能夠大幅降低后續(xù)處理的 計(jì)算復(fù)雜度。超像素分割已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)，并被應(yīng)用于多種視覺 任務(wù)，如圖像分割、深度估計(jì)、顯著性檢測(cè)、人體姿態(tài)估計(jì)、目標(biāo)識(shí)別等。
[0003] 簡(jiǎn)單線性迭代聚類SLIC算法是目前應(yīng)用最廣泛的超像素分割算法。與其他現(xiàn)有超 像素分割算法相比，如Shi等人的Normalized Cuts算法、Levinshtein等人的TurbopixeIs 算法、Vedaldi等人的Quick Shift算法等，SLIC算法復(fù)雜度更低，對(duì)邊緣的貼合度更好，生 成的超像素更緊湊、形狀更規(guī)則。同時(shí)，SLIC算法原理簡(jiǎn)單、使用方便，能夠控制超像素的數(shù) 量。但是SLIC算法對(duì)圖像中細(xì)小虛弱邊緣的貼合度仍有待提升，SLIC算法容易將處于細(xì)小 或虛弱邊緣處的像素點(diǎn)與相鄰背景像素點(diǎn)分到同一個(gè)超像素中，降低超像素對(duì)細(xì)小虛弱邊 緣的貼合度。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)上述SLIC算法對(duì)細(xì)小虛弱邊緣貼合度較低的不足，提出一 種基于邊界信息融合的超像素分割方法，以在不降低傳統(tǒng)SLIC算法邊緣貼合度的前提下， 提高超像素對(duì)細(xì)小虛弱邊緣的貼合度。
[0005] 實(shí)現(xiàn)本發(fā)明的技術(shù)思路是:初始化平面聚類中心和邊界聚類中心，融合邊界信息 對(duì)像素點(diǎn)與平面聚類中心和邊界聚類中心的距離進(jìn)行度量，利用局部k-means算法對(duì)像素 點(diǎn)進(jìn)行分類標(biāo)記，對(duì)平面聚類中心進(jìn)行均值更新，而使邊界聚類中心保持不變，循環(huán)迭代分 類標(biāo)記過程，將具有相同標(biāo)記的像素點(diǎn)看成一個(gè)超像素，在圖像平面內(nèi)畫出所有超像素的 邊界，即得原始圖像I的超像素分割結(jié)果。其具體步驟包括如下：
[0006] (1)計(jì)算原始彩色圖像I的二值化邊界圖像B;
[0007] (2)對(duì)原始彩色圖像I進(jìn)行顏色空間轉(zhuǎn)換，得到LAB顏色空間的轉(zhuǎn)換彩色圖像Ilab;
[0008] (3)在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，按照六邊形分布初始化平面聚類中心P a:
[0009] (3a)以像素為單位分別計(jì)算平面聚類中心的水平步長(zhǎng)Sh和垂直步長(zhǎng)Sv:
[0010]
[0011 ]其中，N為圖像像素點(diǎn)總數(shù)，K為期望的超像素?cái)?shù)目；
[0012] (3b)對(duì)平面聚類中心進(jìn)行行向初始化，即在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，從行像 2 素開始，每間隔Sv行，選定一行像素作為平面聚類中心所在行；
[0013] (3c)對(duì)平面聚類中心進(jìn)行列向初始化：
[0014] 對(duì)于奇數(shù)行，從^&列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初 2 始值；
[0015] 對(duì)于偶數(shù)行，從Sh列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初始 值；
[0016] (3d)將步驟(3b)_(3c)產(chǎn)生的平面聚類中心標(biāo)記為?3，&=1，2，...，協(xié)，詠為平面聚 類中心總數(shù)；
[0017] (4)在平面聚類中心的局部范圍內(nèi)初始化邊界聚類中心Eb:
[0018] (4a)在轉(zhuǎn)換彩色圖像Iiab平面內(nèi)確定搜索窗口 ：
[0019] 在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，將以平面聚類中心PA中心的ShXSh鄰域范圍作為搜 索窗口W P，并記錄Wp在圖像平面內(nèi)的幾何位置，記為[rQ，CQ，Ar, AC]，其中rQ、CQ分別為搜索 窗口左上角像素點(diǎn)的行號(hào)、列號(hào)，A r、△ c分別為搜索窗口的行寬、列寬；
[0020] (4b)在二值化邊界圖像B平面內(nèi)確定邊界窗口 ：
[0021] 在二值化邊界圖像B平面內(nèi)，將左上角像素坐標(biāo)為[rQ，CQ]，行寬為Ar，列寬為Δ c 的矩形范圍作為邊界窗口 Wb;
[0022] (4c)在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)初始化邊界聚類中心：
[0023]將Wp與Wb進(jìn)行與運(yùn)算，若運(yùn)算結(jié)果中含有非零元素，說明平面聚類中心P^ShX Sh 鄰域范圍內(nèi)存在邊界點(diǎn)，隨機(jī)選取邊界點(diǎn)的一個(gè)中值點(diǎn)，將其作為邊界聚類中心的初始值； 若運(yùn)算結(jié)果中沒有非零元素，說明平面聚類中心Pd^ShXSh鄰域范圍內(nèi)沒有邊界點(diǎn)，則不產(chǎn) 生任何邊界聚類中心；
[0024] (4d)將步驟(4c)產(chǎn)生的邊界聚類中心標(biāo)記為Eb，b = l，2, . . .，Ne，Ne為邊界聚類中 心總數(shù)；
[0025] (5)將所有平面聚類中心和邊界聚類中心更新為各自3X3鄰域內(nèi)的梯度最小點(diǎn)， 得到更新后的平面聚類中心和邊界聚類中心;
[0026] (6)將更新后的平面聚類中心P/和邊界聚類中心EV作為初始值，利用局部k-means算法對(duì)轉(zhuǎn)換彩色圖像I lab的像素點(diǎn)進(jìn)行分類標(biāo)記；
[0027] (7)循環(huán)迭代步驟(6)的分類標(biāo)記過程，直至連續(xù)兩次的平面聚類中心和邊界聚類 中心的誤差之和不超過5%，得到所有像素點(diǎn)的最終標(biāo)記；
[0028] (8)將具有相同標(biāo)記的像素點(diǎn)看成一個(gè)超像素，在圖像平面內(nèi)畫出所有超像素的 邊界，即得原始圖像I的超像素分割結(jié)果。
[0029] 本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)：
[0030] 1.傳統(tǒng)SLIC算法只是將圖像平面內(nèi)呈幾何分布的像素點(diǎn)作為初始聚類中心，并沒 有專門將邊界點(diǎn)作為初始聚類中心，本實(shí)例不僅將圖像平面內(nèi)呈幾何分布的像素點(diǎn)作為初 始平面聚類中心，還將呈幾何分布的像素點(diǎn)的局部領(lǐng)域內(nèi)的邊界點(diǎn)作為初始邊界聚類中 心，這種專門將邊界點(diǎn)作為初始聚類中心的初始化方法提高了超像素對(duì)細(xì)小邊緣的貼合 度；
[0031] 2.本發(fā)明將平面聚類中心按照六邊形分布進(jìn)行初始化，相比于傳統(tǒng)SLIC算法中的 四邊形分布，減少了以像素點(diǎn)為中心的2S hX2Sh局部鄰域內(nèi)能搜索到平面聚類中心數(shù)目，從 而減少了像素點(diǎn)與平面聚類中心之間距離度量的次數(shù)，保證了算法運(yùn)算時(shí)間不會(huì)增加；
[0032] 3.本發(fā)明將平面聚類中心局部領(lǐng)域內(nèi)的邊界點(diǎn)初始化為邊界聚類中心，并且迭代 過程中邊界聚類中心始終保持初始值不變，這種不更新邊界聚類中心的做法能有效地將圖 像中細(xì)小邊緣分為獨(dú)立的一類，大大降低了細(xì)小邊緣像素點(diǎn)與相鄰背景像素點(diǎn)被分為同一 類的可能；
[0033] 4.本發(fā)明融合邊界信息對(duì)像素點(diǎn)與平面聚類中心和邊界聚類中心的距離進(jìn)行度 量，當(dāng)像素點(diǎn)與平面聚類中心或邊界聚類中心的直線連線上存在邊界點(diǎn)時(shí)，將二者距離置 為無(wú)窮大，這種距離度量方法能有效避免將像素點(diǎn)分類標(biāo)記到與之存在邊界點(diǎn)的平面聚類 中心或邊界聚類中心中，有效提高了超像素對(duì)邊緣的貼合度；
[0034]綜上，本發(fā)明能在保持傳統(tǒng)SLIC算法邊緣貼合度的同時(shí)，有效提高超像素對(duì)細(xì)小 邊緣的貼合度。
【附圖說明】
[0035]圖1是本發(fā)明的實(shí)現(xiàn)總流程圖；
[0036] 圖2是本發(fā)明中平面聚類中心呈四邊形分布和六邊形分布的對(duì)比圖；
[0037] 圖3是本發(fā)明中平面聚類中心和邊界聚類中心的示意圖；
[0038]圖4是本發(fā)明中超像素分割方法與傳統(tǒng)SLIC算法的分割對(duì)比示例1;
[0039]圖5是本發(fā)明中超像素分割方法與傳統(tǒng)SLIC算法的分割對(duì)比示例2;
[0040]圖6是本發(fā)明中超像素分割方法與傳統(tǒng)SLIC算法在測(cè)試樣本集上的欠分割錯(cuò)誤率 和邊緣召回率變化曲線圖。 具體實(shí)施方案
[0041] 下面結(jié)合附圖1對(duì)本發(fā)明的步驟作進(jìn)一步的詳細(xì)描述：
[0042] 步驟1.計(jì)算原始彩色圖像I的二值化邊界圖像B。
[0043]傳統(tǒng)SLIC算法在局部k-means聚類過程中只利用了像素的顏色信息和空間信息， 為了提高超像素對(duì)細(xì)小邊界的貼合度，本實(shí)例在聚類中心初始化過程和距離度量過程中都 融合了邊界信息。提取彩色圖像邊界信息的方法有很多，如基于Canny算子的邊緣提取方 法、基于Sobel算子的邊緣提取方法等。
[0044]本實(shí)例的原始圖像為分辨率為481 X321的RGB彩色圖像，本實(shí)例采用但不局限于 采用基于梯度的方法獲取邊界圖像，具體步驟如下：
[0045] (Ia)在灰度空間內(nèi)，對(duì)原始彩色圖像I進(jìn)行梯度計(jì)算，得到X方向和y方向的梯度圖 像Gx、Gy;
[0046] (
lb)對(duì)梯度圖像Gx、Gy進(jìn)行模值計(jì)算，得到原始彩色圖像的邊界圖像
[0047] (Ic)利用Ostu算法對(duì)邊界圖像E進(jìn)行二值化，得到二值化邊界圖像B。
[0048]步驟2.對(duì)原始彩色圖像I進(jìn)行顏色空間轉(zhuǎn)換，得到LAB顏色空間的轉(zhuǎn)換彩色圖像 I lab 〇
[0049] LAB顏色空間是由國(guó)際照明委員會(huì)基于人類視覺感知規(guī)律提出的，LAB顏色空間是 描述人眼可見的所有顏色的最完備的色彩空間。此外，LAB顏色空間內(nèi)的很多"顏色"超出了 人類視覺的視域，純粹是假想的顏色，雖然這些"顏色"不能在物理世界中再生，但在圖像操 作的多個(gè)步驟之間使用假想色是很有用的，所以在圖像處理領(lǐng)域常常利用LAB顏色空間。
[0050] 本實(shí)例采用的原始圖像是分辨率為481 X 321的RGB彩色圖像，將圖像從RGB彩色空 間轉(zhuǎn)換到LAB彩色空間的步驟如下：
[0051] (2a)對(duì)原始彩色圖像I進(jìn)行預(yù)處理：
[0052]本步驟旨在提高圖像對(duì)比度。假設(shè)r、g、b是原始彩色圖像I中像素的三個(gè)通道，R、 G、B是預(yù)處理后的彩色圖像V中像素的三個(gè)通道，則r、g、b的取值范圍均為[0,255]，預(yù)處理 過程的轉(zhuǎn)換公式如下：
[0053]
[0054 ]其中，gamma函數(shù)實(shí)現(xiàn)對(duì)圖像的非線性色調(diào)編輯，能夠提高圖像對(duì)比度，gamma函數(shù) 如下所7-
[0055]
[0056] (2b)將RGB空間轉(zhuǎn)換為XYZ空間：
[0059] (2c)將XYZ空間轉(zhuǎn)換為L(zhǎng)AB空間：[0060] 假設(shè)L、A、B是轉(zhuǎn)換后LAB彩色圖像Iiab像素的三個(gè)通道，XYZ空間到LAB空間的轉(zhuǎn)換 公式如下：
[0057]假設(shè)X、Y、Z是轉(zhuǎn)換后XYZ空間像素的三個(gè)通道，RGB空間到XYZ空間的轉(zhuǎn)換是一個(gè)線 性轉(zhuǎn)換過?牟?±&/入:
[0058]
[0061]
[0062] 其中，函數(shù)f如下所示：
[0063]
[0064] 步驟3.在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，按照六邊形分布初始化平面聚類中心Pa。
[0065] 傳統(tǒng)SLIC算法的初始聚類中心沒有平面聚類中心和邊界聚類中心之分，為了提高 超像素對(duì)細(xì)小邊緣的貼合度，本實(shí)例將邊界信息融合進(jìn)了聚類中心初始化過程，即專門將 邊界點(diǎn)初始化為一種聚類中心。本實(shí)例將呈幾何分布的聚類中心稱為"平面聚類中心"，將 由邊界點(diǎn)充當(dāng)?shù)木垲愔行姆Q為"邊界聚類中心"。
[0066] SLIC算法本質(zhì)上是一種局部k-means聚類算法，該算法需要在像素點(diǎn)的局部鄰域 內(nèi)搜索聚類中心，并計(jì)算像素點(diǎn)與搜索到的聚類中心的距離。為了減少計(jì)算距離的次數(shù)，保 證算法運(yùn)行時(shí)間不多于傳統(tǒng)SLIC算法，本實(shí)例將初始平面聚類中心由傳統(tǒng)SLIC算法中的四 邊形分布改進(jìn)為六邊形分布，如圖2所示為初始平面聚類中心呈四邊形分布和六邊形分布 的對(duì)比圖，其中圖2(a)為初始平面聚類中心呈四邊形分布的示意圖，圖2(b)為初始平面聚 類中心呈六邊形分布的示意圖。
[0067] 由圖2(a)可知，當(dāng)初始平面聚類中心呈四邊形分布時(shí)，在以像素點(diǎn)i，i = l，2，...， N為中心的2ShX2Sh局部領(lǐng)域內(nèi)最多能搜索到8個(gè)平面聚類中心，即 Ps;
[0068] 由圖2(b)可知，當(dāng)初始平面聚類中心呈六邊形分布時(shí)，在以像素點(diǎn)i為中心的2Sh X 2Sh局部領(lǐng)域內(nèi)最多能搜索到4個(gè)平面聚類中心，即
[0069] 將平面聚類中心按六邊形分布進(jìn)行初始化，可以將像素點(diǎn)與平面聚類中心進(jìn)行距 離度量的次數(shù)由8降到4。假設(shè)圖像像素總數(shù)為N，期望的超像素?cái)?shù)目為K，顏色空間與坐標(biāo)空 間的加權(quán)因子為m，m控制超像素的緊湊度和規(guī)則度，取值越大生成的超像素越規(guī)則，通常取 值范圍在[5,40]，在轉(zhuǎn)換彩色圖像I lab平面內(nèi)，按照六邊形分布初始化平面聚類中心Pa，其 步驟如下：
[0070] (3a)以像素為單位分別計(jì)算平面聚類中心的水平步長(zhǎng)Sh和垂直步長(zhǎng)Sv:
[0071]
[0072] (3b)對(duì)平面聚類中心進(jìn)行行向初始化，即在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，從行像 λ 素開始，每間隔Sv行，選定一行像素作為平面聚類中心所在行；
[0073] (3c)對(duì)平面聚類中心進(jìn)行列向初始化：
[0074] 對(duì)于奇數(shù)行，從列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初 始值；
[0075] 對(duì)于偶數(shù)行，從Sh列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初始 值；
[0076] (3d)將步驟(3b)_(3c)產(chǎn)生的平面聚類中心標(biāo)記為?3，&=1，2，...，協(xié)，詠為平面聚 類中心總數(shù)。
[0077] 步驟4.在平面聚類中心的局部范圍內(nèi)初始化邊界聚類中心Eb。
[0078] 為提高超像素對(duì)細(xì)小邊緣的貼合度，本實(shí)例專門將邊界點(diǎn)初始化為邊界聚類中 心，具體步驟如下：
[0079] (4a)在轉(zhuǎn)換彩色圖像Iiab平面內(nèi)確定搜索窗口 ：
[0080] 在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，將以平面聚類中心PaS中心的ShXSh鄰域范圍作為搜 索窗口W P，并記錄Wp在圖像平面內(nèi)的幾何位置，記為[rQ，CQ，Ar, AC]，其中rQ、CQ分別為搜索 窗口左上角像素點(diǎn)的行號(hào)、列號(hào)，A r、△ c分別為搜索窗口的行寬、列寬；
[0081] (4b)在二值化邊界圖像B平面內(nèi)確定邊界窗口 ：
[0082] 在二值化邊界圖像B平面內(nèi)，將左上角像素坐標(biāo)為[rQ，CQ]，行寬為Ar，列寬為Δ c 的矩形范圍作為邊界窗口 Wb;
[0083] (4c)在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)初始化邊界聚類中心：
[0084]將Wp與Wb進(jìn)行與運(yùn)算，若運(yùn)算結(jié)果中含有非零元素，說明平面聚類中心Pj^Sh X Sh 鄰域范圍內(nèi)存在邊界點(diǎn)，隨機(jī)選取邊界點(diǎn)的一個(gè)中值點(diǎn)，將其作為邊界聚類中心的初始值； 若運(yùn)算結(jié)果中沒有非零元素，說明平面聚類中心Pd^ShXSh鄰域范圍內(nèi)沒有邊界點(diǎn)，則不產(chǎn) 生任何邊界聚類中心；
[0085] (4d)將步驟(4c)產(chǎn)生的邊界聚類中心標(biāo)記為Eb，b = l，2, . . .，Ne，Ne為邊界聚類中 心總數(shù)。
[0086] 本步驟平面聚類中心和邊界聚類中心的幾何關(guān)系如圖3所示，由圖3可見，在平面 聚類中心Pd^S hXSh鄰域內(nèi)搜索到了邊界點(diǎn)，則隨機(jī)選擇這些邊界點(diǎn)中的一個(gè)中值點(diǎn)初始 化為邊界聚類中心E 1;在平面聚類中心P4的Sh X Sh鄰域內(nèi)沒有搜索到任何邊界點(diǎn)，則不產(chǎn)生 任何邊界聚類中心。
[0087] 步驟5.將所有平面聚類中心和邊界聚類中心更新為各自3X3鄰域內(nèi)的梯度最小 點(diǎn)，得到更新后的平面聚類中和邊界聚類中心。
[0088] 為了避免平面聚類中心和邊界聚類中心被初始化為噪聲點(diǎn)，將平面聚類中心和邊 界聚類中心都更新為各自3 X 3鄰域內(nèi)的梯度最小點(diǎn)，3 X 3鄰域相對(duì)分辨率為481 X 321的圖 像而言是一個(gè)很小的區(qū)域，將平面聚類中心和邊界聚類中心更新為3X3鄰域內(nèi)的梯度最小 點(diǎn)，不僅可以避免噪聲點(diǎn)被初始化為平面聚類中心或邊界聚類中心，同時(shí)還能保證邊界聚 類中心的空間位置變化不超過±1個(gè)像素步長(zhǎng)。具體步驟如下：
[0089] (5a)在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，將以平面聚類中心Pa*中心的3 X 3鄰域范圍作 為梯度窗口 Wg;
[0090] (5b)在轉(zhuǎn)換彩色圖像Iiab平面內(nèi)，分別計(jì)算梯度窗口Wc在X方向和y方向的梯度矩 陣，得到這兩個(gè)方向的梯度矩陣1為^
[0091 ] (5c)對(duì)上述梯度矩陣Wgx、Wgy進(jìn)行模值計(jì)算，得到梯度幅值矩陣J e =松+K ；
[0092] (5d)尋找梯度幅值矩陣Ac中的最小值，并記錄該最小值的坐標(biāo)，記為[rg，c g]，其中 rg、cg分別為梯度幅值矩陣Ac中最小值點(diǎn)在在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)的行號(hào)、列號(hào)；
[0093] (5e)將平面聚類中6Pa的行列坐標(biāo)更新為[rg，c g]，更新后的平面聚類中心記為 Pa7 ;
[0094] (5f)按照步驟(5a)_(5e)將邊界聚類中心更新為各自3X3鄰域內(nèi)的梯度最小點(diǎn)， 更新后的邊界聚類中心記為。
[0095]步驟6.利用局部k-means算法對(duì)像素點(diǎn)進(jìn)行分類。
[0096] k-means算法是一種傳統(tǒng)的聚類算法，該算法通常是在全局范圍內(nèi)尋找離樣本點(diǎn) 距離最近的聚類中心，從而實(shí)現(xiàn)樣本點(diǎn)的分類標(biāo)記，這種在全局范圍內(nèi)搜索最優(yōu)聚類中心 的做法最大缺點(diǎn)是搜索時(shí)間過長(zhǎng)，考慮到超像素只是一個(gè)在局部范圍內(nèi)視覺上有意義的連 續(xù)區(qū)域，為了縮短搜索時(shí)間，本實(shí)例用局部搜索代替全局搜索，這樣既能滿足超像素分割的 局部最優(yōu)的要求，也能縮短算法運(yùn)行時(shí)間，其具體步驟如下：
[0097] (6a)將更新后的平面聚類中心P/和邊界聚類中心作為局部k-means算法的初 始值；
[0098] (6b)在以像素點(diǎn)i為中心的2ShX2Sh局部領(lǐng)域內(nèi)搜索平面聚類中心和邊界聚類中 心，得到平面聚類中心和邊界聚類中心E%，其中 〇 = 1，2,...具眞為搜索到的平面聚類 中心總數(shù)，β=1，2,. . .，Nfs，Nf!為搜索到的邊界聚類中心總數(shù)；
[0099] (6c)融合邊界信息對(duì)像素點(diǎn)i與平面聚類中心和邊界聚類中心E7e進(jìn)行距離度 量：
[0100] (6cl)設(shè)定一個(gè)與轉(zhuǎn)換彩色圖像Ilab行寬、列寬相同的二維矩陣，并將其所有元素 置0，該二維矩陣記為直線標(biāo)記矩陣M 1;
[0101] (6c2)在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，將像素點(diǎn)i與平面聚類中心用直線連接，直 線記為bi;
[0102] (6c3)將標(biāo)記矩陣組中在直線Ip1上的矩陣元素賦值1，其他元素值保持不變；
[0103] (6c4)將標(biāo)記矩陣M1與二值化邊界圖像B作與計(jì)算，獲得像素點(diǎn)i與平面聚類中心 P、的距離：
[0104] 若所得矩陣中含有非零元素，說明像素點(diǎn)i與平面聚類中心兩點(diǎn)連線上有邊界 點(diǎn)，將像素點(diǎn)i與平面聚類中心的距離置為無(wú)窮大，距離度量公式表示為:d P =+m，其中， ^為像素點(diǎn)i與平面聚類中心K。的距離；
[0105] 若所得矩陣中沒有非零元素，說明像素點(diǎn)i與平面聚類中心兩點(diǎn)連線上沒有邊 界點(diǎn)，像素點(diǎn)i與平面聚類中心的距離為顏色空間歐式距離和坐標(biāo)空間歐式距離加權(quán) 和，距離度量公式表示為：
[0106] 其中，dc為L(zhǎng)AB顏色空間的歐氏距離，ds為坐標(biāo)空間的歐氏距離；dc、ds的計(jì)算公式 為：
，A LAanAb1分別為像素點(diǎn)i與平面聚類中心 P7。在LAB顏色空間中L、A、B顏色分量的差值；Ari、Δ Ci分別為像素點(diǎn)i與平面聚類中心 在坐標(biāo)空間中行號(hào)、列號(hào)的差值；
[0107] (6c5)按照步驟(6cl)_(6c4)對(duì)像素點(diǎn)i與邊界聚類中心E%進(jìn)行距離度量；
[0108] (6d)將像素點(diǎn)i標(biāo)記為平面聚類中心K。和邊界聚類中心E%中距離像素點(diǎn)i最近的 占 .
[0109] (6e)更新平面聚類中心，邊界聚類中心保持不變：
[0110]更新聚類中心的方法有多種，如均值法、中值法等，本實(shí)例采用才不限于采用均值 法對(duì)平面聚類中心進(jìn)行更新，本實(shí)例將平面聚類中心更新為所有與之具有相同標(biāo)記的像素 點(diǎn)的坐標(biāo)向量的均值向量，為提高超像素對(duì)細(xì)小邊緣的貼合度，保證邊界聚類中心最終能 將邊緣像素點(diǎn)分類到一個(gè)獨(dú)立的超像素中，本實(shí)例使邊界聚類中心保持為步驟(5)獲得更 新后的邊界聚類中心f b不變。
[0111] 步驟7.循環(huán)迭代步驟(6)的分類標(biāo)記過程，直至連續(xù)兩次的平面聚類中心和邊界 聚類中心的誤差之和不超過5%，得到所有像素點(diǎn)的最終標(biāo)記。
[0112] 經(jīng)驗(yàn)數(shù)據(jù)表明，步驟(6)的分類標(biāo)記只需迭代10次即可滿足連續(xù)兩次的聚類中心 誤差不超過5 %，因此，本實(shí)例將迭代次數(shù)設(shè)置為10次。
[0113] 步驟8.將具有相同標(biāo)記的像素點(diǎn)看成一個(gè)超像素，在原始圖像I平面內(nèi)畫出所有 超像素的邊界，即得原始圖像I的超像素分割結(jié)果。
[0114] 本發(fā)明的效果可通過以下仿真進(jìn)一步說明：
[0115] 1.仿真方法與條件
[0116]實(shí)驗(yàn)數(shù)據(jù)利用伯克利計(jì)算機(jī)視覺研究組的BSDS500圖像庫(kù)，仿真實(shí)驗(yàn)均在安裝內(nèi) 存為 4.00G、處理器為 Intel (R)Core(TM) i3-2120CPU、主頻為 3.30GHz、操作系統(tǒng)為 Windows 7操作系統(tǒng)的機(jī)器上進(jìn)行，仿真軟件為Matlab2014a。
[0117] 2.仿真內(nèi)容
[0118]仿真1，從BSDS500圖像庫(kù)中選擇一幅簡(jiǎn)單背景下含有細(xì)小邊緣的圖像作為輸入圖 像，圖像中細(xì)小邊緣的尺寸小于圖像寬度的5%，期望的超像素?cái)?shù)目K=1000,加權(quán)因子m = {5，15,30}，用本發(fā)明方法與現(xiàn)有SLIC方法分別進(jìn)行超像素分割，結(jié)果如圖4所示，其中：
[0119] 圖4的第(a)列為采用SLIC方法的超像素分割結(jié)果；
[0120] 圖4的第(b)列為采用SLIC方法的超像素分割結(jié)果中方框標(biāo)記區(qū)域的局部放大圖；
[0121] 圖4的第(c)列為采用本發(fā)明方法的超像素分割結(jié)果；
[0122] 圖4的第(d)列為采用本發(fā)明方法的超像素分割結(jié)果中方框標(biāo)記區(qū)域的局部放大 圖。
[0123] 由圖4的第(a)列可以看出，SLIC方法生成的超像素對(duì)圖像中較粗的樹干邊緣具有 良好的貼合度，由圖4的第(b)列可以看出，SLIC方法生成的超像素容易將細(xì)小樹枝處的像 素點(diǎn)與相鄰的天空背景像素點(diǎn)劃分為同一個(gè)超像素，由圖4的第(c)列可以看出，本發(fā)明方 法生成的超像素對(duì)圖像中較粗的樹干邊緣也具有良好的貼合度，由圖4的第(d)列可以看 出，本發(fā)明方法生成的超像素能夠?qū)⒓?xì)小樹枝作為超像素的邊界，達(dá)到超像素對(duì)細(xì)小樹枝 的良好貼合;同SLIC方法相比，本發(fā)明方法生成的超像素既能保證對(duì)粗邊緣的良好貼合度， 也能提高對(duì)圖像中細(xì)小邊緣的貼合度。
[0124] 仿真2,從BSDS500圖像庫(kù)中選擇一幅復(fù)雜背景下含有虛弱邊緣的圖像作為輸入圖 像，圖像中虛弱邊緣處像素點(diǎn)的顏色向量與背景像素點(diǎn)的顏色向量相差不超過25%，期望 的超像素?cái)?shù)目K= 1000，加權(quán)因子m= {5，15，30}，用本發(fā)明方法與現(xiàn)有的SLIC方法分別進(jìn)行 超像素分割，結(jié)果如圖5所示，其中：
[0125] 圖5的第(a)列為采用SLIC方法的超像素分割結(jié)果；
[0126] 圖5的第(b)列為采用SLIC方法的超像素分割結(jié)果中方框標(biāo)記區(qū)域的局部放大圖；
[0127] 圖5的第(c)列為采用本發(fā)明方法的超像素分割結(jié)果；
[0128] 圖5的第(d)列為采用本發(fā)明方法的超像素分割結(jié)果中方框標(biāo)記區(qū)域的局部放大 圖。
[0129] 由圖5的第(a)列可以看出，SLIC方法生成的超像素對(duì)圖像中明顯的門框邊緣具有 良好的貼合度，由圖5的第(b)列可以看出，SLIC方法生成的超像素容易將虛弱樹干處的像 素點(diǎn)與相鄰的森林背景像素點(diǎn)劃分為同一個(gè)超像素，由圖5的第(c)列可以看出，本發(fā)明方 法生成的超像素對(duì)圖像中明顯的門框邊緣也具有良好的貼合度，由圖5的第(d)列可以看 出，本發(fā)明方法生成的超像素能夠?qū)⑻撊鯓涓勺鳛槌袼氐倪吔纾_(dá)到超像素對(duì)虛弱樹干 的良好貼合；同SLIC方法相比，本發(fā)明方法生成的超像素既能保證對(duì)明顯邊緣的良好貼合 度，也能提高對(duì)圖像中虛弱邊緣的貼合度。
[0130] 仿真3,基于欠分割錯(cuò)誤率和邊緣召回率兩個(gè)性能參數(shù)，用本發(fā)明方法與現(xiàn)有SLIC 方法對(duì)BSDS500圖像庫(kù)中的500幅圖像作對(duì)比實(shí)驗(yàn)。
[0131]設(shè)期望的超像素?cái)?shù)目K從100到2500按間隔50取值，加權(quán)因子m= {5,15，30}，將真 實(shí)邊緣點(diǎn)與超像素邊緣點(diǎn)重合的部分定義為邊緣召回點(diǎn)。
[0132] 用本發(fā)明方法與現(xiàn)有SLIC方法進(jìn)行超像素分割，結(jié)果如圖6所示，其中：
[0133] 圖6的第(a)列為加權(quán)因子m = 5時(shí)的欠分割錯(cuò)誤率和邊緣召回率曲線；
[0134] 圖6的第(b)列為加權(quán)因子m=15時(shí)的欠分割錯(cuò)誤率和邊緣召回率曲線；
[0135] 圖6的第(c)列為加權(quán)因子m = 30時(shí)的欠分割錯(cuò)誤率和邊緣召回率曲線。
[0136] 由圖6可以看出，本發(fā)明方法在欠分割錯(cuò)誤率和邊緣召回率兩方面相對(duì)傳統(tǒng)SLIC 方法都有所改進(jìn)。
[0137] 將對(duì)比實(shí)驗(yàn)中欠分割錯(cuò)誤率的具體數(shù)據(jù)以表格的形式給出，只列出實(shí)際輸出超像 素?cái)?shù)目f = {500，1000，1500，2000，2500}、加權(quán)因子m= {5，15，30}時(shí)的實(shí)驗(yàn)數(shù)據(jù)，得到欠分 割錯(cuò)誤率實(shí)驗(yàn)數(shù)據(jù)對(duì)比表1。
[0138] 將對(duì)比實(shí)驗(yàn)中邊緣召回率的具體數(shù)據(jù)以表格的形式給出，只列出實(shí)際輸出超像素 數(shù)目f ={500,1000,1500,2000,2500}、加權(quán)因子m= {5,15,30}時(shí)的實(shí)驗(yàn)數(shù)據(jù)，得到邊緣召 回率實(shí)驗(yàn)數(shù)據(jù)對(duì)比表2。
[0139] 由表1可以看出，本發(fā)明方法在實(shí)際輸出超像素?cái)?shù)目f為500、加權(quán)因子m為30時(shí)欠 分割錯(cuò)誤率得到了最大改進(jìn)，最大改進(jìn)為7.97 %。
[0140]由表2可以看出，本發(fā)明在實(shí)際輸出超像素?cái)?shù)目C為2000、加權(quán)因子m為25時(shí)邊緣 召回率得到了最大改進(jìn)，最大改進(jìn)為11.92%。
[0141]表1欠分割錯(cuò)誤率實(shí)驗(yàn)數(shù)據(jù)對(duì)比表
【主權(quán)項(xiàng)】
1.基于邊界信息融合的超像素分割方法，包括： (1) 計(jì)算原始彩色圖像I的二值化邊界圖像B; (2) 對(duì)原始彩色圖像I進(jìn)行顏色空間轉(zhuǎn)換，得到LAB顏色空間的轉(zhuǎn)換彩色圖像Ilab; (3) 在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，按照六邊形分布初始化平面聚類中心Pa: (3a)以像素為單位分別計(jì)算平面聚類中心的水平步長(zhǎng)Sh和垂直步長(zhǎng)Sv:其中，N為圖像像素點(diǎn)總數(shù)，K為期望的超像素?cái)?shù)目； (3b)對(duì)平面聚類中心進(jìn)行行向初始化，即在轉(zhuǎn)換彩色圖像Ilab平面內(nèi)，行像素開 始，每間隔Sv行，選定一行像素作為平面聚類中心所在行；(3c)對(duì)平面聚類中心進(jìn)行列向初始化： 對(duì)于奇數(shù)行，列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初始值； 對(duì)于偶數(shù)行，從Sh列像素開始，每間隔Sh列，選定一個(gè)像素作為平面聚類中心初始值； (3d)將步驟(3b)-(3c)產(chǎn)生的平面聚類中心標(biāo)記為?3，&=1，2，...，詠，詠為平面聚類中 心總數(shù)； (4) 在平面聚類中心的局部范圍內(nèi)初始化邊界聚類中心Eb: (4a)在轉(zhuǎn)換彩色圖像Iiab平面內(nèi)確定搜索窗口 ： 在轉(zhuǎn)換彩色圖像Iiab平面內(nèi)，將以平面聚類中心PaS中心的ShXS h鄰域范圍作為搜索窗 口Wp，并記錄Wp在圖像平面內(nèi)的幾何位置，記為[Wo, Ar, Δ c]，其中r〇、CQ分別為搜索窗口 左上角像素點(diǎn)的行號(hào)、列號(hào)，A r、△ c分別為搜索窗口的行寬、列寬； (4b)在二值化邊界圖像B平面內(nèi)確定邊界窗口 ： 在二值化邊界圖像B平面內(nèi)，將左上角像素坐標(biāo)為[rQ，CQ]，行寬為Δ r，列寬為Δ c的矩 形范圍作為邊界窗口 Wb; (4c)在轉(zhuǎn)換彩色圖像I lab平面內(nèi)初始化邊界聚類中心： 將Wp與WB進(jìn)行與運(yùn)算，若運(yùn)算結(jié)果中含有非零元素，說明平面聚類中心Pj^ShXSh鄰域 范圍內(nèi)存在邊界點(diǎn)，隨機(jī)選取邊界點(diǎn)的一個(gè)中值點(diǎn)，將其作為邊界聚類中心的初始值;若運(yùn) 算結(jié)果中沒有非零元素，說明平面聚類中心Pj^ShXSh鄰域范圍內(nèi)沒有邊界點(diǎn)，則不產(chǎn)生任 何邊界聚類中心； (4d)將步驟(4c)產(chǎn)生的邊界聚類中心標(biāo)記為Eb，b = l，2, . . .，Ne，Ne為邊界聚類中心總 數(shù)； (5) 將所有平面聚類中心和邊界聚類中心更新為各自3X3鄰域內(nèi)的梯度最小點(diǎn)，得到 更新后的平面聚類中和邊界聚類中心E，； (6) 將更新后的平面聚類中心PZ和邊界聚類中心作為初始值，利用局部k-means算 法對(duì)轉(zhuǎn)換彩色圖像Iiab的像素點(diǎn)進(jìn)行分類標(biāo)記； (7) 循環(huán)迭代步驟(6)的分類標(biāo)記過程，直至連續(xù)兩次的平面聚類中心和邊界聚類中心 的誤差之和不超過5%，得到所有像素點(diǎn)的最終標(biāo)記； (8)將具有相同標(biāo)記的像素點(diǎn)看成一個(gè)超像素，在圖像平面內(nèi)畫出所有超像素的邊界， 即得原始圖像I的超像素分割結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于邊界信息融合的超像素分割方法，其中步驟(6)所述的利 用局部k-means算法對(duì)轉(zhuǎn)換彩色圖像I lab的像素點(diǎn)進(jìn)行分類標(biāo)記，按如下步驟進(jìn)行： (6a)將更新后的平面聚類中心P/和邊界聚類中心W作為局部k-means算法的初始值； (6b)在以像素點(diǎn)i為中心的2ShX2Sh局部領(lǐng)域內(nèi)搜索平面聚類中心和邊界聚類中心，得 到平面聚類中心1^。和邊界聚類中心以 {!，其中1 = 1，2，...少，〇 = 1，2，...，仏，仏為搜索到的 平面聚類中心總數(shù)，β=1，2,...，飾，恥為搜索到的邊界聚類中心總數(shù)； (6c)融合邊界信息對(duì)像素點(diǎn)i與平面聚類中心K。和邊界聚類中心E%進(jìn)行距離度量； (6d)將像素點(diǎn)i標(biāo)記為平面聚類中心6和邊界聚類中心E%中離像素點(diǎn)i最近的點(diǎn)； (6e)更新平面聚類中心，邊界聚類中心保持不變。3. 根據(jù)權(quán)利要求1所述的基于邊界信息融合的超像素分割方法，其特征在于:步驟(6c) 中融合邊界信息對(duì)像素點(diǎn)i與平面聚類中心P、和邊界聚類中心Ei進(jìn)行距離度量，按如下步 驟進(jìn)行： (6cl)將像素點(diǎn)i與平面聚類中心K。進(jìn)行直線連接； (6c2)對(duì)像素點(diǎn)i與平面聚類中心K。進(jìn)行距離度量： 若連接像素點(diǎn)i與平面聚類中心P、的直線上存在邊界點(diǎn)，將二者距離置為無(wú)窮大，距離 度量公式表示為:dP =+c-，其中，如為像素點(diǎn)i與平面聚類中心P%的距離； 若連接像素點(diǎn)i與平面聚類中心P、的直線上不存在邊界點(diǎn)，則二者距離為顏色空間歐 式距離和坐標(biāo)空間歐式距離的加權(quán)和，其距離度量公式表示為：其中，dc為L(zhǎng)AB顏色空間的歐氏距離，ds為坐標(biāo)空間的歐氏距離，m為加權(quán)參數(shù)，m控制超 像素的緊湊度和規(guī)則度，取值越大生成的超像素越規(guī)則，通常取值范圍在[5,40] ;(1。、么的計(jì) 算公式為：其中，Δ h、Aai、Ah分別為像素點(diǎn)i與平面聚類中心P%在LAB顏色空間中L、A、B顏色分 量的差值；Ari、ACl分別為像素點(diǎn)i與平面聚類中心P'。在坐標(biāo)空間中行號(hào)、列號(hào)的差值； (6c3)按照步驟(6cl)-(6c2)對(duì)像素點(diǎn)i與邊界聚類中心E%進(jìn)行距離度量。4. 根據(jù)權(quán)利要求1所述的基于邊界信息融合的超像素分割方法，其特征在于:步驟(6e) 中更新平面聚類中心，邊界聚類中心保持不變，是將平面聚類中心進(jìn)行均值更新，即更新為 所有與平面聚類中心具有相同標(biāo)記的像素點(diǎn)的坐標(biāo)向量的均值向量，而使邊界聚類中心始 終為更新后的邊界聚類中心E，。
【文檔編號(hào)】G06K9/62GK106056155SQ201610368277
【公開日】2016年10月26日
【申請(qǐng)日】2016年5月30日
【發(fā)明人】王海, 彭雄友, 劉巖, 秦宏波, 趙偉
【申請(qǐng)人】西安電子科技大學(xué)