基于多層次模式子塊劃分的圖像分類方法
【專利摘要】本發(fā)明提出一種基于多層次模式子塊劃分的圖像分類方法，該方法包括以下步驟：提取圖像多尺度下的顯著性區(qū)域分布圖，并根據(jù)顯著性區(qū)域分布采樣不同位置和大小的窗口；對圖像實(shí)施超像素分割，通過分析每個窗口與其內(nèi)外鄰近超像素的位置和分布關(guān)系確定每個窗口出現(xiàn)目標(biāo)的概率，構(gòu)造多層次模式子塊；對每一個子塊做多字典特征描述，然后將其組織為張量模式用做圖像的特征描述；對圖像的張量描述做典范相關(guān)分析，提取圖像特征向量，最后通過分類器進(jìn)行分類。多層次模式子塊劃分，充分考慮了復(fù)雜圖像中目標(biāo)的整體性和層次性，一方面實(shí)現(xiàn)同一目標(biāo)模式信息的集中描述，另一方面實(shí)現(xiàn)了不同目標(biāo)模式信息的顯著性描述。在公測圖像庫上的實(shí)驗(yàn)結(jié)果，證實(shí)了我們的方法的有效性。
【專利說明】基于多層次模式子塊劃分的圖像分類方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理領(lǐng)域，具體涉及一種基于多層次模式子塊劃分的圖像分類方法。
【背景技術(shù)】
[0002]隨著多媒體技術(shù)的發(fā)展，圖像、視頻等多媒體數(shù)據(jù)急劇增長，如何快速、有效的將圖像分門別類，是當(dāng)前多媒體技術(shù)研究熱點(diǎn)之一。就圖像分類而言，雖然不同的應(yīng)用背景有著不同的分類目標(biāo)與評價標(biāo)準(zhǔn)，然而所有的圖像分類應(yīng)用都需要首先進(jìn)行圖像的描述，并且針對不同的應(yīng)用通常要選擇不同的圖像描述方法。圖像描述通俗講就是利用一組數(shù)據(jù)來表示一幅圖像，這組數(shù)據(jù)可以是向量的形式，也可以是矩陣的形式，它是圖像信息的一種抽象表達(dá)，是做圖像分析的重要模塊之一。自然場景圖像中的圖像內(nèi)容復(fù)雜多變，圖像中通常會出現(xiàn)多個目標(biāo)信息，因此準(zhǔn)確刻畫圖像中出現(xiàn)的模式信息，是實(shí)現(xiàn)圖像準(zhǔn)確分類的前提。
[0003]傳統(tǒng)方法中通常是將圖像分為不同尺度下的方塊，然后通過描述圖像中各個子塊的信息來表達(dá)圖像中的紋理信息和位置分布信息。這種圖像描述方法沒有表達(dá)出圖像中的模式信息和目標(biāo)顯著性信息，從而導(dǎo)致對圖像描述不夠準(zhǔn)確。此外，這種方法還存在圖像中同一目標(biāo)物被拆分開來的問題，使得同一目標(biāo)物在場景中不同位置出現(xiàn)會形成完全不同的特征描述，因此，缺乏對圖像中目標(biāo)整體信息的描述。

【發(fā)明內(nèi)容】

[0004]為了克服已有技術(shù)的不足，本發(fā)明的目的在于設(shè)計(jì)一種帶有圖像模式子塊分布信息的圖像分類方法，提出一個圖像信息更加豐富的圖像描述方法，適合于多目標(biāo)圖像場景的分類。為此，本發(fā)明提供一種基于多層次模式子塊劃分的圖像分類方法。
[0005]為達(dá)到所述目的，本發(fā)明提供一種基于多層次模式子塊劃分的圖像分類方法，該方法的圖像分類步驟如下:
[0006]步驟S1:提取圖像多尺度下的顯著性區(qū)域分布圖，并根據(jù)顯著性區(qū)域分布采樣不同位置和大小的窗口；
[0007]步驟S2:對圖像實(shí)施超像素分割，通過分析每個窗口與其內(nèi)外鄰近超像素的位置和分布關(guān)系確定每個窗口出現(xiàn)目標(biāo)的概率，構(gòu)造多層次模式子塊；
[0008]步驟S3:對每一個子塊做多字典特征描述，然后將其組織為張量模式用做圖像的特征描述；
[0009]步驟S4:對圖像的張量描述作典范相關(guān)分析，提取圖像特征向量，最后通過分類器進(jìn)行分類。
[0010]本發(fā)明針對圖像分類問題，通過顯著圖和超像素分割將圖像劃分為對應(yīng)不同顯著度的多層次模式子塊。對每一個子塊做多特征字典描述，將圖像構(gòu)造為一個三階張量描述，利用張量典范相關(guān)分析提取圖像的特征向量，最后通過分類器進(jìn)行分類。在公測數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果表明，本發(fā)明的基于多層次模式子塊劃分的圖像分類方法，有效提高了圖像分類的準(zhǔn)確率。
[0011]【專利附圖】

【附圖說明】
[0012]圖1是本發(fā)明所述圖像分類方法的分類框圖；
[0013]圖2是多層顯著圖提取結(jié)果；
[0014]圖3是圖像超像素劃分結(jié)果；
[0015]圖4是顯著圖窗口與超像素跨越關(guān)系圖；
[0016]圖5是多層次模式子塊劃分結(jié)果圖；
[0017]圖6是圖像張量描述結(jié)構(gòu)圖；
[0018]圖7是基于多層次模式子塊劃分圖像分類方法在Pascal Voc2007圖像庫中前10類的分類準(zhǔn)效果；
[0019]圖8是基于多層次模式子塊劃分圖像分類方法在Pascal Voc2007圖像庫中后10類的分類準(zhǔn)效果。
【具體實(shí)施方式】
[0020]為了更清楚的表述本發(fā)明的目的、技術(shù)方案和優(yōu)勢，下面結(jié)合具體例子，對本發(fā)明【具體實(shí)施方式】做進(jìn)一步的說明。
[0021]本發(fā)明利用顯著圖和超像素分割結(jié)果構(gòu)造多層次模式子塊劃分，提出了一個有效的圖像分類方法。圖1所示為本發(fā)明基于多層次模式子塊劃分圖像分類方法的分類框架，主要包括圖像多層次模式子塊劃分、圖像張量描述、張量描述下圖像特征提取以及利用分類器分類等幾個模塊。參照圖1，具體實(shí)施步驟如下:
[0022](一)多層次模式子塊劃分
[0023]首先，計(jì)算圖像多尺度下的顯著性區(qū)域分布，圖2示出了三個尺度下的顯著圖，并根據(jù)顯著性區(qū)域分布采樣不同位置和大小的T個窗口 ；然后我們采用均值漂移方法對圖像的Lab特征及位置特征進(jìn)行分析和聚類來實(shí)現(xiàn)超像素分割，圖3示出了超像素劃分的結(jié)果。最后通過分析每個窗口與其內(nèi)外鄰近超像素的位置和分布關(guān)系確定每個窗口出現(xiàn)目標(biāo)的概率，進(jìn)而實(shí)現(xiàn)模式子塊的提取，即定位圖像中的多個目標(biāo)物以及對應(yīng)的外接窗口。為實(shí)現(xiàn)準(zhǔn)確定位，對窗口與超像素的關(guān)系分析如下:
[0024]所有潛在目標(biāo)窗口由顯著性區(qū)域的分布生成，反映了圖像中的潛在目標(biāo)區(qū)域，因此顯著圖中每一個窗口w中含有度量窗口內(nèi)出現(xiàn)顯著目標(biāo)程度的信息。我們利用超像素將圖像分割為顏色、紋理相似的多個小區(qū)域，超像素劃分需滿足每一個超像素塊中的像素屬于同一個目標(biāo)物，但一個目標(biāo)物中可包含多個超像素。強(qiáng)邊界目標(biāo)下超像素不會跨越目標(biāo)的邊界，因此超像素具有保持目標(biāo)邊界的作用。由于顯著圖生成的窗口與超像素間的位置分布各異，為了保證窗口中目標(biāo)物的完整性并使得窗口最大程度的貼合目標(biāo)物，設(shè)計(jì)公式
(I)所示的度量方式來計(jì)算窗口與窗內(nèi)目標(biāo)物的緊貼程度，窗口越貼近目標(biāo)物，SW值越大。
【權(quán)利要求】
1.一種基于多層次模式子塊劃分的圖像分類方法，其特征在于，該圖像分類方法的步驟如下:步驟S1:提取圖像多尺度下的顯著性區(qū)域分布圖，并根據(jù)顯著性區(qū)域分布采樣不同位置和大小的窗口； 步驟S2:對圖像實(shí)施超像素分割，通過分析每個窗口與其內(nèi)外鄰近超像素的位置和分布關(guān)系確定每個窗口出現(xiàn)目標(biāo)的概率，構(gòu)造多層次模式子塊； 步驟S3:對每一個子塊做多字典特征描述，然后將其組織為張量模式用做圖像的特征描述；步驟S4:對圖像的張量描述做典范相關(guān)分析，提取圖像特征向量，最后通過分類器進(jìn)行分類。
2.根據(jù)權(quán)利I所述的基于多層次模式子塊劃分的圖像分類方法，其特征在于，通過計(jì)算多尺度顯著圖分布和超像素的跨越關(guān)系，提取圖像不同層次下的潛在目標(biāo)區(qū)域。
3.根據(jù)權(quán)利I所述的基于多層次模式子塊劃分的圖像分類方法，其特征在于，多層次模式子塊劃分是指:假設(shè)將圖像分三個層次來分別提取模式子塊，第一個層次中將原圖視作一個整體子塊；第二個層次中將圖像粗劃分為兩個模式塊，其中一塊為圖像中最顯著區(qū)域所在的子塊，另一塊為圖像中剩余區(qū)域；第三個層次中將圖像劃分為三個模式塊，其中兩塊分別代表最顯著子塊與次顯著子塊，剩余區(qū)域?yàn)榈谌龎K。
4.根據(jù)權(quán)利I所述的基于多層次模式子塊劃分的圖像分類方法，其特征在于，對每一個子塊做多字典特征描述，然后將其組織為三階張量模式用做圖像的特征描述。
5.根據(jù)權(quán)利I所述的基于多層次模式子塊劃分的圖像分類方法，其特征在于，對圖像的張量描述做典范相關(guān)分析，提取圖像特征向量，最后通過分類器進(jìn)行分類。
【文檔編號】G06T7/00GK103824079SQ201410045527
【公開日】2014年5月28日 申請日期:2014年2月8日 優(yōu)先權(quán)日:2014年2月8日
【發(fā)明者】丁洪富, 呂煊, 李愛迪, 楊凱, 劉俸才, 許汀汀 申請人:重慶市國土資源和房屋勘測規(guī)劃院, 重慶欣榮土地房屋勘測技術(shù)研究所