一種基于素描線段信息和空間金字塔匹配的圖像分類方法
【專利摘要】本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，具體為一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其實(shí)現(xiàn)方案是：1）利用初始素描模型得到圖像的初始素描圖，每個(gè)素描點(diǎn)以其所在素描線段的方向?yàn)槠浞较颍悦總€(gè)素描點(diǎn)為中心設(shè)計(jì)方向窗口，則所有素描點(diǎn)的方向窗口疊加出來的區(qū)域?yàn)榻Y(jié)構(gòu)區(qū)域，剩余的為非結(jié)構(gòu)區(qū)域；2）結(jié)構(gòu)區(qū)域提取多尺度的SIFT特征，非結(jié)構(gòu)區(qū)域提取單尺度SIFT特征；3）將這些SIFT特征通過聚類、投影和統(tǒng)計(jì)獲得特征F1；4）獲取素描線段的角度和長(zhǎng)度的統(tǒng)計(jì)特征F2；5）將F1和F2級(jí)聯(lián)并進(jìn)行分類。主要解決空間金字塔匹配方法中單尺度SIFT特征不能很好地表示圖像的細(xì)節(jié)信息從而導(dǎo)致分類準(zhǔn)確率不夠高的問題。
【專利說明】一種基于素描線段信息和空間金字塔匹配的圖像分類方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，涉及圖像分類方法，可用于影像智能化分類管理及相關(guān)應(yīng)用。具體涉及一種基于素描線段信息和空間金字塔匹配的圖像分類方法。
【背景技術(shù)】
[0002]圖像分類是計(jì)算機(jī)視覺領(lǐng)域中的經(jīng)典問題，應(yīng)用十分廣泛，如視頻監(jiān)控、醫(yī)學(xué)診斷、圖像檢索等都需要用到圖像分類方法。隨著多媒體數(shù)據(jù)的海量增長(zhǎng)，圖像分類的重要性越來越突出。圖像分類通常根據(jù)圖像的語義內(nèi)容，比如特定的場(chǎng)景、特定的包含物等，給圖像加上不同的類別標(biāo)簽，實(shí)現(xiàn)圖像分類。圖像經(jīng)常受到視角、光照、遮擋等因素的影響，給圖像分類帶來了很大的挑戰(zhàn)。
[0003]空間金字塔匹配方法，即Spatial Pyramid Matching(SPM),是一種經(jīng)典的圖像分類方法。SPM是經(jīng)典方法“特征袋模型”即Bag of Features (BOF)的一種擴(kuò)展，其在BOF方法基礎(chǔ)上通過引入金字塔劃分向BOF中加入了空間信息，其用于圖像分類包括以下五步:
1.局部特征提取與描述；2.構(gòu)建視覺詞典；3.根據(jù)視覺詞典進(jìn)行特征向量量化；4.將圖像進(jìn)行金字塔劃分得到子區(qū)域并計(jì)算每個(gè)子區(qū)域的視覺詞典直方圖，級(jí)聯(lián)形成最后的空間金字塔特征；5.訓(xùn)練分類器進(jìn)行分類。該方法是一種基于局部特征的方法，由于其簡(jiǎn)單性和高效性而備受推崇，在圖像分類和檢索方面使用十分廣泛。
[0004]SPM分類方法具有較高的分類準(zhǔn)確率，但是，SPM在局部特征提取階段通過密集采點(diǎn)方法將圖像劃分為固定大小的圖像塊，并在圖像塊上對(duì)梯度方向進(jìn)行統(tǒng)計(jì)，得到單尺度的SIFT (Scale Invariant Feature Transform)特征，但圖像中不同的局部區(qū)域?qū)Ψ诸悂碚f重要性不一樣，適用的局部特征也不同，只使用密集采點(diǎn)的單尺度SIFT特征并不能全面地表示圖像的細(xì)節(jié)信息，不利于分類。
[0005]為了解決空間金字塔匹配方法中單尺度SIFT特征不能很好地表示圖像的細(xì)節(jié)信息從而導(dǎo)致分類準(zhǔn)確率不夠高的問題，本發(fā)明提出了一種基于素描線段信息和空間金字塔匹配的圖像分類方法，先用初始素描模型將圖像劃分成結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域，然后在不同的區(qū)域按不同的方法提取SIFT特征，然后通過聚類、投影和統(tǒng)計(jì)獲取對(duì)整個(gè)圖像的更有效的描述，再與基于素描線段的統(tǒng)計(jì)特征聯(lián)合，以更好地表示圖像，進(jìn)行圖像分類。

【發(fā)明內(nèi)容】

[0006]為了解決現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的是提供一種基于素描線段信息和空間金字塔匹配的圖像分類方法，以提高圖像分類準(zhǔn)確率。
[0007]實(shí)現(xiàn)本發(fā)明的技術(shù)思路是:利用primal sketch模型即初始素描模型得到圖像的初始素描圖，根據(jù)初始素描圖的線段信息，將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域；在結(jié)構(gòu)區(qū)域提取不同尺度圖像塊的單尺度SIFT特征，在非結(jié)構(gòu)區(qū)域按傳統(tǒng)空間金字塔匹配方法劃分圖像塊并提取單尺度SIFT特征，通過聚類、直方圖投影、金字塔劃分等處理獲取一個(gè)基于初始素描線段和空間金字塔的特征；從圖像的素描線段中獲取一個(gè)表示圖像的基于素描線段的統(tǒng)計(jì)特征；采用有效的方法將每幅圖像的基于初始素描線段和空間金字塔的特征以及基于素描線段的統(tǒng)計(jì)特征進(jìn)行級(jí)聯(lián)然后用于分類。該方法包括以下步驟:
[0008]步驟1，給定訓(xùn)練圖像集合和測(cè)試圖像集合兩個(gè)圖像集合，兩者共同組成圖像分類數(shù)據(jù)庫；
[0009]步驟2，根據(jù)primal sketch模型即初始素描模型提取圖像分類數(shù)據(jù)庫中所有圖像的primal sketch map,即初始素描圖,在初始素描圖基礎(chǔ)上進(jìn)行進(jìn)一步的處理,將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分；
[0010]步驟3，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在結(jié)構(gòu)區(qū)域提取多種尺度圖像塊的單尺度 SIFT (Scale Invariant Feature Transform)特征；
[0011]步驟4，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在非結(jié)構(gòu)區(qū)域按照空間金字塔匹配方法劃分圖像塊并在圖像塊上提取單尺度SIFT特征；
[0012]步驟5，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，將每一幅圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的單尺度SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，按空間金字塔匹配方法進(jìn)行聚類、空間金字塔劃分、直方圖投影，得到表示每一幅圖像的基于初始素描線段和空間金字塔的特征，記為F_PSSPM ；
[0013]步驟6，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，從其初始素描圖的線段中提取表示該圖像的基于初始素描線段的統(tǒng)計(jì)特征，記為F_PS ；
[0014]步驟7，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，將按一定的權(quán)重進(jìn)行級(jí)聯(lián)，得到表示這幅圖像的特征F_WH0LE ；
[0015]步驟8，用空間金字塔匹配核函數(shù)，將訓(xùn)練集中每一幅圖像的特征F_WH0LE作為訓(xùn)練樣本，訓(xùn)練并得到分類器；
[0016]步驟9，將測(cè)試集中每一幅圖像的特征F_WH0LE輸入步驟8所述分類器中進(jìn)行分類，從而得到分類結(jié)果；
[0017]上述步驟2中所述的將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分，是在提取了圖像的初始素描圖后，找到初始素描圖中的每條線段，在每條素描線段的每個(gè)素描點(diǎn)上設(shè)計(jì)與其所在素描線段同方向的方向窗口，方向窗口的一邊平行于素描線段，另一邊垂直于素描線段，方向窗口的大小為(2n+l)X (2n+l),n為大于8的自然數(shù),將每條素描線段上所有素描點(diǎn)的方向窗口疊加得到區(qū)域圖，原圖像中與區(qū)域圖對(duì)應(yīng)位置的區(qū)域?yàn)榻Y(jié)構(gòu)區(qū)域，原圖像中除結(jié)構(gòu)區(qū)域之外的區(qū)域?yàn)榉墙Y(jié)構(gòu)區(qū)域。
[0018]上述步驟3中所述的在結(jié)構(gòu)區(qū)域提取多種尺度圖像塊的單尺度SIFT特征，其提取的SIFT特征與傳統(tǒng)空間金字塔中有所不同，具體為:
[0019]原始的SIFT特征提取過程包括五步，即構(gòu)建尺度空間、檢測(cè)極值點(diǎn)、精確定位極值點(diǎn)、關(guān)鍵點(diǎn)主方向分配以及關(guān)鍵點(diǎn)特征描述，其中關(guān)鍵點(diǎn)特征描述這一步是以關(guān)鍵點(diǎn)為中心取16 X 16的小塊再分成4X4個(gè)小塊，在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到128維的SIFT特征；
[0020]對(duì)結(jié)構(gòu)區(qū)域進(jìn)行多種尺度的劃分，獲得多種尺度的圖像塊(16 X 16、3 2 X 3 2、64X64)，并將這些圖像塊再分成4X4個(gè)小塊，在對(duì)結(jié)構(gòu)區(qū)域進(jìn)行劃分時(shí)采用密集采點(diǎn)方式，塊間步長(zhǎng)8個(gè)像素，如16 X 16的塊的步長(zhǎng)為8個(gè)像素，64X 64的塊的步長(zhǎng)也為8個(gè)像素，在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到表示這些圖像塊的128維的單尺度SIFT特征。
[0021]上述步驟5中所述的得到表示每一幅圖像的基于初始素描線段和空間金字塔的特征，具體為:
[0022]5a)將訓(xùn)練集圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，并從中隨機(jī)抽取出m個(gè)SIFT特征，m為給定參數(shù)，一般取值為50000 到 200000 之間；
[0023]5b)利用k-means聚類算法進(jìn)行聚類,得到視覺詞典D=Iid1, d2,..., dK],其中，K表示視覺詞典的大小，即k-means聚類算法中的聚類中心的個(gè)數(shù)，(Ii (i=l, 2，…，K)為一個(gè)列向量，表示一個(gè)視覺單詞，即聚類中心，K的取值一般為200到幾千之間；
[0024]5c)對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像的所有SIFT特征，將其向視覺詞典進(jìn)行映射，將每個(gè)SIFT特征映射到一個(gè)聚類中心；
[0025]5d)將每一幅圖像進(jìn)行3層金字塔劃分，三層金字塔劃分分別獲得1X1、2X2、4X4共21個(gè)子塊，在這些子塊上將子塊內(nèi)的圖像塊對(duì)應(yīng)的SIFT特征所屬聚類類別進(jìn)行直方圖統(tǒng)計(jì)，在每個(gè)子塊上得到一個(gè)直方圖，將得到的21個(gè)直方圖按一定的順序級(jí)聯(lián)，即得到基于初始素描模型和空間金字塔的特征F_PSSPM ；
[0026]上述步驟6中所述的從其初始素描圖線段中提取表示該圖像的基于初始素描線段的統(tǒng)計(jì)特征，具體為:
[0027]每條素描線段都有一個(gè)角度和長(zhǎng)度，角度為素描線段與圖像坐標(biāo)系中的X軸正半軸的夾角，即X軸正半軸按順時(shí)針方向繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)到與該素描線段平行過程中所旋轉(zhuǎn)的角度，長(zhǎng)度即素描線段上的素描點(diǎn)個(gè)數(shù)；
[0028]量化素描圖中各素描線段的角度得到角度特征，即將每條素描線段的角度均勻量化到20個(gè)尺度，即每9度一個(gè)尺度，將I~9度量化為1，將10~18度量化為2，……，將172~180度量化為20，其中素描線段的角度范圍為O到180度，如果某條素描線段的角度為180度，則其對(duì)應(yīng)量化后的值為20，將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在得到的每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，每個(gè)圖像區(qū)域?qū)?yīng)一個(gè)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段角度的統(tǒng)計(jì)特征F_PS_1 ；
[0029]同樣，量化素描圖中各線段長(zhǎng)度得到素描線段長(zhǎng)度特征，即將每條素描線段的長(zhǎng)度量化到20個(gè)尺度，即將包含I到5個(gè)素描點(diǎn)的素描線段量化為1，將包含6到10個(gè)素描點(diǎn)的線段量化為2，…，將大于100個(gè)素描點(diǎn)的線段量化為20，其中素描線段的長(zhǎng)度范圍為O到上百素描點(diǎn)，然后將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，每個(gè)圖像區(qū)域?qū)?yīng)一個(gè)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段長(zhǎng)度的統(tǒng)計(jì)特征F_PS_2 ；
[0030]最后從F_PS_1、F_PS_2中進(jìn)行選擇和結(jié)合來組成統(tǒng)計(jì)特征F_PS。
[0031]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0032]1、本發(fā)明在提取底層局部特征之前引入初始素描模型以將圖像劃分成結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域，在不同區(qū)域提取不同尺度的局部特征以更好地表示圖像的細(xì)節(jié)信息，并由此計(jì)算基于初始素描線段和空間金字塔的特征，能更好地表示圖像，讓分類更加準(zhǔn)確；
[0033]2、根據(jù)初始素描圖中的線段信息提取了一個(gè)可用于表示圖像的基于素描線段的統(tǒng)計(jì)特征，將其與基于初始素描線段和空間金字塔的特征級(jí)聯(lián)，能更好地描述圖像，有利于分類。
【專利附圖】

【附圖說明】
[0034]圖1是本發(fā)明的實(shí)現(xiàn)流程圖；
[0035]圖2是區(qū)域劃分的示例；
[0036]圖3是本發(fā)明方法和傳統(tǒng)金字塔匹配方法在SCenel5數(shù)據(jù)集各類上的混淆矩陣可視化圖；
【具體實(shí)施方式】
[0037]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0038]圖1是本發(fā)明一種基于素描線段信息的空間金字塔匹配的圖像分類方法的流程圖，如圖1所示，該方法包括以下步驟:
[0039]步驟1，給定訓(xùn)練圖像集合和測(cè)試圖像集合兩個(gè)圖像集合，兩者共同組成圖像分類數(shù)據(jù)庫；
[0040]步驟2，根據(jù)primal sketch模型即初始素描模型提取圖像分類數(shù)據(jù)庫中所有圖像的primal sketch map,即初始素描圖,在初始素描圖基礎(chǔ)上進(jìn)行進(jìn)一步的處理,將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分；
[0041]具體做法是，在提取了圖像的初始素描圖后，找到初始素描圖中的每條線段，在每條素描線段的每個(gè)素描點(diǎn)上設(shè)計(jì)與其所在素描線段同方向的方向窗口，方向窗口的一邊平行于素描線段，另一邊垂直于素描線段，方向窗口的大小為(2n+l)X (2n+l),n為大于8的自然數(shù)，所有素描點(diǎn)的方向窗口疊加得到區(qū)域圖，原圖像中與區(qū)域圖對(duì)應(yīng)位置的區(qū)域?yàn)榻Y(jié)構(gòu)區(qū)域，原圖像中除結(jié)構(gòu)區(qū)域之外的區(qū)域?yàn)榉墙Y(jié)構(gòu)區(qū)域；
[0042]圖2中給出了將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分的示例，圖2 Ca)為公用數(shù)據(jù)集scenel5中“MITstreet”類別中的一幅圖像的原圖，圖2 (b)為圖2 (a)所示原圖的初始素描圖，圖2 (c)中的正方形為以圖中的小圓所包含的素描點(diǎn)為中心，沿該素描點(diǎn)所在素描線段方向取的方向窗口，該窗口一邊與素描線段平行，一邊與素描線段垂直，取n=16，窗口大小為33X33，圖2 (d)中的黑色部分為得到的區(qū)域圖，原圖像中與圖2 (d)中的黑色部分對(duì)應(yīng)位置的區(qū)域?yàn)榻Y(jié)構(gòu)區(qū)域，原圖像中除結(jié)構(gòu)區(qū)域之外的區(qū)域?yàn)榉墙Y(jié)構(gòu)區(qū)域；
[0043]步驟3，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在結(jié)構(gòu)區(qū)域提取多種尺度圖像塊的單尺度SIFT特征；
[0044]原始的SIFT特征提取過程包括五步，即構(gòu)建尺度空間、檢測(cè)極值點(diǎn)、精確定位極值點(diǎn)、關(guān)鍵點(diǎn)主方向分配以及關(guān)鍵點(diǎn)特征描述，其中關(guān)鍵點(diǎn)特征描述這一步是以關(guān)鍵點(diǎn)為中心取16 X 16的小塊再分成4X4個(gè)小塊，在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到128維的SIFT特征；
[0045]而傳統(tǒng)空間金字塔匹配方法中用到的SIFT省略了前面四步而用密集采樣獲得關(guān)鍵點(diǎn)，即將圖像密集地劃分成重疊的步長(zhǎng)為8像素，大小16X 16的圖像小塊，并將圖像小塊的中心作為關(guān)鍵點(diǎn)，直接進(jìn)行特征描述，嚴(yán)格說來其已不具備尺度不變性，我們稱其為單尺度 SIFT ；
[0046]我們對(duì)結(jié)構(gòu)區(qū)域進(jìn)行多種尺度的劃分，獲得多種尺度的圖像塊(16X16、32X 32、64X64)，并將這圖像塊再分成4X4個(gè)小塊，在對(duì)結(jié)構(gòu)區(qū)域進(jìn)行劃分時(shí)采用密集采點(diǎn)方式，塊間步長(zhǎng)為8個(gè)像素,如16X16的塊的步長(zhǎng)為8個(gè)像素,64 X 64的塊的步長(zhǎng)也為8個(gè)像素，在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到表示這個(gè)圖像塊的128維的單尺度SIFT特征；
[0047]步驟4，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在非結(jié)構(gòu)區(qū)域按照傳統(tǒng)空間金字塔匹配方法劃分圖像塊并在圖像塊上提取單尺度SIFT特征；
[0048]具體為:按照傳統(tǒng)空間金字塔匹配方法在非結(jié)構(gòu)區(qū)域以密集采點(diǎn)的方式將圖像劃分成步長(zhǎng)為8個(gè)像素、重疊的大小為16X16的小塊，在這些小塊上計(jì)算的單尺度SIFT特征；
[0049]步驟5，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，將每一幅圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的單尺度SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，按傳統(tǒng)空間金字塔匹配方法進(jìn)行聚類、空間金字塔劃分、直方圖投影，得到表示每一幅圖像的基于初始素描線段和空間金字塔的特征，記為F_PSSPM ；[0050]具體做法為:
[0051]5a)將訓(xùn)練集圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，并從中隨機(jī)抽取出m個(gè)SIFT特征，m為給定參數(shù)，一般取值為50000 到 200000 之間；
[0052]5b)利用k-means聚類算法進(jìn)行聚類,得到視覺詞典D=Iid1, d2,..., dK],其中，K表示視覺詞典的大小，即k-means聚類算法中的聚類中心的個(gè)數(shù)，(Ii (i=l, 2，…，K)為一個(gè)列向量，表示一個(gè)視覺單詞，即聚類中心，K的取值一般為200到幾千之間；
[0053]5c)對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像的所有SIFT特征，將其向視覺詞典進(jìn)行映射，將每個(gè)SIFT特征映射到一個(gè)聚類中心；
[0054]5d)將每一幅圖像進(jìn)行3層金字塔劃分，三層金字塔劃分分別獲得1X1、2X2、4X4共21個(gè)子塊，在這些子塊上將子塊內(nèi)的圖像塊對(duì)應(yīng)的SIFT特征所屬聚類類別進(jìn)行直方圖統(tǒng)計(jì)，在每個(gè)子塊上得到一個(gè)直方圖，將得到的21個(gè)直方圖按一定的順序級(jí)聯(lián)，即得到基于初始素描模型和空間金字塔的特征F_PSSPM ；
[0055]步驟6，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，從其初始素描圖的線段中提取表示該圖像的基于初始素描線段的統(tǒng)計(jì)特征，記為F_PS ；
[0056]每條素描線段都有一個(gè)角度和長(zhǎng)度，角度為素描線段與圖像坐標(biāo)系中的X軸正半軸的夾角，即X軸正半軸按順時(shí)針方向繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)到與該素描線段平行過程中所旋轉(zhuǎn)的角度，長(zhǎng)度即素描線段上的素描點(diǎn)個(gè)數(shù)；
[0057]量化素描圖中各素描線段的角度得到角度特征，即將每條素描線段的角度(其范圍為O到180度)均勻量化到20個(gè)尺度，即每9度一個(gè)尺度，將I~9度量化為1，將10~18度量化為2，……，將172~180度量化為20，如果某條素描線段的角度為180度，則其對(duì)應(yīng)量化后的值為20，將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在得到的每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，在每個(gè)圖像區(qū)域獲得一個(gè)統(tǒng)計(jì)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段角度的統(tǒng)計(jì)特征F_PS_1 ；[0058]同樣，可以量化素描圖中各線段長(zhǎng)度得到素描線段長(zhǎng)度特征，即將每條素描線段的長(zhǎng)度(其范圍為O到上百素描點(diǎn))量化到20個(gè)尺度，即將包含I到5個(gè)素描點(diǎn)的素描線段量化為1，將包含6到10個(gè)素描點(diǎn)的線段量化為2，…，將大于100個(gè)素描點(diǎn)的線段量化為20，然后將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，在每個(gè)圖像區(qū)域獲得一個(gè)統(tǒng)計(jì)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段長(zhǎng)度的統(tǒng)計(jì)特征F_PS_2 ；
[0059]最后從F_PS_1、F_PS_2中進(jìn)行選擇和結(jié)合來組成統(tǒng)計(jì)特征F_PS ；
[0060]步驟7，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，將F_PSSPM與F_PS按一定的權(quán)重進(jìn)行級(jí)聯(lián)，得到表示這幅圖像的特征F_WH0LE ；
[0061]具體做法為:采用交叉驗(yàn)證的思想，抽取圖像分類數(shù)據(jù)庫的一部分新建立驗(yàn)證數(shù)據(jù)集，在驗(yàn)證數(shù)據(jù)集上按各種權(quán)重將每一幅圖像的F_PSSPM與F_PS進(jìn)行級(jí)聯(lián)并分類，根據(jù)分類準(zhǔn)確率確定最后的級(jí)聯(lián)權(quán)重；
[0062]步驟8，用空間金字塔匹配核函數(shù)，將訓(xùn)練集中每一幅圖像的特征F_WH0LE作為訓(xùn)練樣本，訓(xùn)練并得到分類器；[0063]具體做法是:使用空間金字塔匹配核函數(shù)，訓(xùn)練一個(gè)支持向量機(jī)(Support VectorMachine)作為最終的分類器；
[0064]步驟9，將測(cè)試集中每一幅圖像的特征F_WH0LE輸入步驟8所述分類器中進(jìn)行分類，從而得到分類結(jié)果。
[0065]本發(fā)明的效果可通過以下仿真實(shí)驗(yàn)進(jìn)一步說明:
[0066]為了具體說明本發(fā)明的優(yōu)勢(shì)和特點(diǎn)，下面將該發(fā)明應(yīng)用到自然圖像分類中去，得到分類結(jié)果。
[0067](I)實(shí)驗(yàn)環(huán)境
[0068]本實(shí)驗(yàn)的硬件測(cè)試平臺(tái)是:PC (Intel雙核3.00GHz,4G內(nèi)存)；
[0069]本實(shí)驗(yàn)的軟件測(cè)試平臺(tái)是:Windows764位操作系統(tǒng)，vs2010, matlab2011b。
[0070](2)實(shí)驗(yàn)內(nèi)容
[0071]對(duì)公用數(shù)據(jù)集SCenel5中的15類自然場(chǎng)景圖像進(jìn)行分類。這15類圖像的類另1J 分別為 “CALsuburb，，、“MITcoast，，、“MITforest，，、“MIThighway，，、“MITinsidecity，，、“MITmountaiη”、“MITopencountry”、“MITstreet”、“MITtallbuilding”、“PARoffice”、“bedroom”、“industrial”、“kitchen”、“Iivingroom”、“store”,其對(duì)應(yīng)的圖像數(shù)目為:241、360、328、260、308、374、410、292、356、215、216、311、210、289、315。
[0072]實(shí)驗(yàn)中各參數(shù)設(shè)置為:
[0073]從每個(gè)類別中隨機(jī)選取100張圖像構(gòu)成訓(xùn)練圖像集合，剩下的圖像構(gòu)成測(cè)試圖像
集合；
[0074]用primal sketch模型對(duì)每一幅圖像進(jìn)行區(qū)域劃分時(shí)的方向窗口對(duì)應(yīng)參數(shù)η設(shè)置為16，即方向窗口大小為33X33 ；
[0075]用k-means聚類獲取視覺詞典前需要從將訓(xùn)練圖像集合的所有SIFT特征中隨機(jī)提取m個(gè)SIFT特征，m取值100000 ；
[0076]k-means聚類時(shí)的聚類中心個(gè)數(shù)K取值為200 ；
[0077]通過用primal sketch模型進(jìn)行區(qū)域劃分，提取特征并訓(xùn)練分類器，對(duì)測(cè)試圖像集合中的圖像進(jìn)行分類，得到結(jié)果如表1所示，
[0078]表1本發(fā)明與傳統(tǒng)空間金字塔匹配(SPM)方法在scene-15上的分類準(zhǔn)確率
[0079]
【權(quán)利要求】
1.一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其特征在于:該方法包括以下步驟: 步驟1，給定訓(xùn)練圖像集合和測(cè)試圖像集合兩個(gè)圖像集合，兩者共同組成圖像分類數(shù)據(jù)庫； 步驟2，根據(jù)primal sketch模型即初始素描模型提取圖像分類數(shù)據(jù)庫中所有圖像的primal sketch map,即初始素描圖,在初始素描圖基礎(chǔ)上進(jìn)行進(jìn)一步的處理,將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分； 步驟3，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在結(jié)構(gòu)區(qū)域提取多種尺度圖像塊的單尺度SIFT特征； 步驟4，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，在非結(jié)構(gòu)區(qū)域按照空間金字塔匹配方法劃分圖像塊并在圖像塊上提取單尺度SIFT特征； 步驟5，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，將每一幅圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的單尺度SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，按空間金字塔匹配方法進(jìn)行聚類、空間金字塔劃分、直方圖投影，得到表示每一幅圖像的基于初始素描線段和空間金字塔的特征，記為F_PSSPM ； 步驟6，對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像，從其初始素描圖的線段中提取表示該圖像的基于初始素描線段的統(tǒng)計(jì)特征，記為F_PS ； 步驟7，對(duì)圖像分類數(shù) 據(jù)庫中的每一幅圖像，將F_PSSPM與F_PS按一定的權(quán)重進(jìn)行級(jí)聯(lián)，得到表示這幅圖像的特征F_WHOLE ； 步驟8，用空間金字塔匹配核函數(shù)，將訓(xùn)練集中每一幅圖像的特征F_WHOLE作為訓(xùn)練樣本，訓(xùn)練并得到分類器； 步驟9，將測(cè)試集中每一幅圖像的特征F_WHOLE輸入步驟8所述分類器中進(jìn)行分類，從而得到分類結(jié)果。
2.如權(quán)利要求1所述的一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其特征在于:步驟2中所述的將圖像劃分為結(jié)構(gòu)區(qū)域和非結(jié)構(gòu)區(qū)域兩部分，是在提取了圖像的初始素描圖后，找到初始素描圖中的每條線段，在每條素描線段的每個(gè)素描點(diǎn)上設(shè)計(jì)與其所在素描線段同方向的方向窗口，方向窗口的一邊平行于素描線段，另一邊垂直于素描線段，方向窗口的大小為(2n+l)X (2n+l)，n為大于8的自然數(shù)，將每條素描線段上所有素描點(diǎn)的方向窗口疊加得到區(qū)域圖，原圖像中與區(qū)域圖對(duì)應(yīng)位置的區(qū)域?yàn)榻Y(jié)構(gòu)區(qū)域，原圖像中除結(jié)構(gòu)區(qū)域之外的區(qū)域?yàn)榉墙Y(jié)構(gòu)區(qū)域。
3.如權(quán)利要求1所述的一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其特征在于:步驟3中所述的在結(jié)構(gòu)區(qū)域提取多種尺度圖像塊的單尺度SIFT特征，其提取的SIFT特征與傳統(tǒng)空間金字塔中有所不同，具體為: 原始的SIFT特征提取過程包括五步，即構(gòu)建尺度空間、檢測(cè)極值點(diǎn)、精確定位極值點(diǎn)、關(guān)鍵點(diǎn)主方向分配以及關(guān)鍵點(diǎn)特征描述，其中關(guān)鍵點(diǎn)特征描述這一步是以關(guān)鍵點(diǎn)為中心取16X16的小塊再分成4X4個(gè)小塊，在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到128維的SIFT特征； 對(duì)結(jié)構(gòu)區(qū)域進(jìn)行多種尺度的劃分，獲得多種尺度的圖像塊(16X16、32X32、64X64)，并將這些圖像塊再分成4X4個(gè)小塊，在對(duì)結(jié)構(gòu)區(qū)域進(jìn)行劃分時(shí)采用密集采點(diǎn)方式，塊間步長(zhǎng)8個(gè)像素,如16X16的塊的步長(zhǎng)為8個(gè)像素,64 X 64的塊的步長(zhǎng)也為8個(gè)像素,在每個(gè)小塊上進(jìn)行梯度方向的統(tǒng)計(jì)并級(jí)聯(lián)，得到表示這些圖像塊的128維的單尺度SIFT特征。
4.如權(quán)利要求1所述的一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其特征在于:步驟5中所述的得到表示每一幅圖像的基于初始素描線段和空間金字塔的特征，具體為: 5a)將訓(xùn)練集圖像的結(jié)構(gòu)區(qū)域的多種尺度圖像塊的SIFT特征與非結(jié)構(gòu)區(qū)域的單尺度SIFT特征放在一起，并從中隨機(jī)抽取出m個(gè)SIFT特征，m為給定參數(shù)，取值為50000到200000 之間； 5b)利用k-means聚類算法進(jìn)行聚類,得到視覺詞典D=Iid1, d2,..., dK],其中，K表示視覺詞典的大小，即k-means聚類算法中的聚類中心的個(gè)數(shù)，CliQ=I, 2，- ,K)為一個(gè)列向量，表示一個(gè)視覺單詞，即聚類中心，K的取值一般為200到幾千之間； 5c)對(duì)圖像分類數(shù)據(jù)庫中的每一幅圖像的所有SIFT特征，將其向視覺詞典進(jìn)行映射，將每個(gè)SIFT特征映射到一個(gè)聚類中心； 5d)將每一幅圖像進(jìn)行3層金字塔劃分，三層金字塔劃分分別獲得IX 1、2X2、4X4共21個(gè)子塊，在這些子塊上將子塊內(nèi)的圖像塊對(duì)應(yīng)的SIFT特征所屬聚類類別進(jìn)行直方圖統(tǒng)計(jì)，在每個(gè)子塊上得到一個(gè)直方圖，將得到的21個(gè)直方圖按一定的順序級(jí)聯(lián)，即得到基于初始素描模型和空間金字塔的特征F_PSSPM。
5.如權(quán)利要求1所述的一種基于素描線段信息和空間金字塔匹配的圖像分類方法，其特征在于:步驟6中所述的從其初始素描圖線段中提取表示該圖像的基于初始素描線段的統(tǒng)計(jì)特征，具體為: 每條素描線段都有一個(gè)角度和長(zhǎng)度，角度為素描線段與圖像坐標(biāo)系中的X軸正半軸的夾角，即X軸正半軸按順時(shí)針方向繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)到與該素描線段平行過程中所旋轉(zhuǎn)的角度，長(zhǎng)度即素描線段上的素描點(diǎn)個(gè)數(shù)； 量化素描圖中各素描線段的角度得到角度特征，即將每條素描線段的角度均勻量化到20個(gè)尺度，即每9度一個(gè)尺度，將I~9度量化為1，將10~18度量化為2，……，將172~180度量化為20，其中素描線段的角度范圍為O到180度，如果某條素描線段的角度為180度，則其對(duì)應(yīng)量化后的值為20，將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在得到的每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，每個(gè)圖像區(qū)域?qū)?yīng)一個(gè)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段角度的統(tǒng)計(jì)特征F_PS_1 ；同樣，量化素描圖中各線段長(zhǎng)度得到素描線段長(zhǎng)度特征，即將每條素描線段的長(zhǎng)度量化到20個(gè)尺度，即將包含I到5個(gè)素描點(diǎn)的素描線段量化為1，將包含6到10個(gè)素描點(diǎn)的線段量化為2，…，將大于100個(gè)素描點(diǎn)的線段量化為20，其中素描線段的長(zhǎng)度范圍為O到上百素描點(diǎn)，然后將圖像分類數(shù)據(jù)庫中每一幅圖像進(jìn)行金字塔劃分，在每個(gè)圖像區(qū)域上統(tǒng)計(jì)落在這20個(gè)尺度上的線段個(gè)數(shù)，每個(gè)圖像區(qū)域?qū)?yīng)一個(gè)直方圖，將所有直方圖按照給定的順序級(jí)聯(lián)，得到表示圖像的基于素描線段長(zhǎng)度的統(tǒng)計(jì)特征F_PS_2 ； 最后從F_PS_1、F_PS_2中進(jìn)行選擇和結(jié)合來組成統(tǒng)計(jì)特征F_PS。
【文檔編號(hào)】G06K9/46GK103839074SQ201410062436
【公開日】2014年6月4日 申請(qǐng)日期:2014年2月24日 優(yōu)先權(quán)日:2014年2月24日
【發(fā)明者】劉芳, 李玲玲, 李夢(mèng)雄, 焦李成, 郝紅俠, 戚玉濤, 孫濤, 武杰, 馬晶晶, 尚榮華, 于昕 申請(qǐng)人:西安電子科技大學(xué)