一種圖像的表示和處理方法及裝置制造方法
【專利摘要】本發(fā)明適用于圖像處理領(lǐng)域，提供了一種圖像的表示和處理方法及裝置，該方法包括：在待表示圖像中提取至少兩種類型的局部特征；根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型；根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，并將局部特征的編碼進(jìn)行概要，獲取所述圖像的多視角超向量表示。通過(guò)獲取的多視角超向量,可用于分類器訓(xùn)練以及圖像的檢索。由于本發(fā)明得到的多視角超向量表示為對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，可以使得編碼后的圖像信息完整的同時(shí)，也不會(huì)出現(xiàn)冗余，從而能夠顯著提高圖像的編碼效果。
【專利說(shuō)明】一種圖像的表示和處理方法及裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種圖像的表示和處理方法及裝置。
【背景技術(shù)】
[0002]在對(duì)圖像(包括圖片以及視頻等媒體數(shù)據(jù))進(jìn)行分類或者檢索時(shí)，需要在待分類或者檢索的圖像中提取用于描述圖像的局部圖像特征信息，對(duì)所述局部圖像特征進(jìn)行編碼，以對(duì)所述圖像進(jìn)行表示，便于對(duì)圖像的分類和檢索。對(duì)于圖片可由變置換特征(SIFT)、梯度方向直方圖(HOG)等描述，對(duì)于視頻可由H0G、光流直方圖(HOF)等描述。
[0003]此前的研究發(fā)現(xiàn)，不同類型的局部特征從不同方面(不同視角)描述圖像，它們之間存在一定的互補(bǔ)性。而且通過(guò)具有互補(bǔ)性的不同類型的局部特征有助于提高圖像的分類和識(shí)別的效果。
[0004]目前對(duì)圖像的不同類型的局部特征處理方法一般為:首先在圖片中分劃局部區(qū)域，然后根據(jù)這些局部區(qū)域在原始幀中提取梯度方向直方圖等特征。對(duì)特征進(jìn)行融合時(shí)，包括早期融合法和后期融合法，其中早期融合法是，將所有的局部特征串聯(lián)形成一個(gè)長(zhǎng)特征向量進(jìn)行編碼和聚合，以形成中層的圖片表示；后期融合法是，將單種局部特征分別進(jìn)行編碼和聚合，形成多個(gè)中層圖片表示方法，然后將中層表示串聯(lián)或者在單個(gè)特征得到分類得分后，進(jìn)行加權(quán)融合，最后將中層圖片表示輸入至分類器中進(jìn)行分類。
[0005]然而，由于上述方法僅僅是通過(guò)對(duì)編碼前局部特征或者編碼后的圖像的拼接，可能會(huì)造成最后得到的圖片編碼不完整或者過(guò)于冗余，圖像的編碼效果不佳。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實(shí)施例的目的在于提供一種包括不同局部特征之間的共享信息以及獨(dú)立信息的圖像的表示和處理方法，以解決現(xiàn)有技術(shù)中對(duì)圖像進(jìn)行編碼時(shí)，由于只通過(guò)編碼前或者編碼后的圖像的拼接，造成圖片編碼不完整或者過(guò)于冗余的問(wèn)題。
[0007]本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種圖像的表示和處理方法，所述方法包括:
[0008]在待表示圖像中提取至少兩種類型的局部特征；
[0009]根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型，所述混合獨(dú)立信息分解模型包括不同類型的局部特征中的共享信息和獨(dú)立信息；
[0010]根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，獲取所述圖像的多視角超向量表示。
[0011]本發(fā)明實(shí)施例的另一目的在于提供一種圖像的表示和處理裝置，所述裝置包括:
[0012]提取單元，用于在待表示圖像中提取至少兩種類型的局部特征；
[0013]建模單元，用于根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型，所述混合獨(dú)立信息分解模型包括不同類型的局部特征中的共享信息和獨(dú)立彳目息;
[0014]編碼單元，用于根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，獲取所述圖像的多視角超向量表示。
[0015]在本發(fā)明實(shí)施例中，通過(guò)提取待表示圖像中的至少兩種類型的局部特征，聯(lián)合建立包括不同類型的局部特征的共享信息和獨(dú)立信息的混合獨(dú)立信息分解模型，并根據(jù)所述混合獨(dú)立信息分解模型對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，得到圖像的多視角超向量表示。由于本發(fā)明得到的多視角超向量表示為對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，可以使得編碼后的圖像信息完整的同時(shí)，也不會(huì)出現(xiàn)冗余，從而能夠顯著提高圖像的編碼效果。
【專利附圖】

【附圖說(shuō)明】
[0016]圖1是本發(fā)明具體實(shí)施例提供的圖像的表示和處理方法的實(shí)現(xiàn)流程圖；
[0017]圖2是本發(fā)明具體實(shí)施例提供的混合獨(dú)立信息分解模型的參數(shù)訓(xùn)練的實(shí)現(xiàn)流程圖；
[0018]圖3是本發(fā)明具體實(shí)施例提供的獲取圖像的多視角超向量表示的實(shí)現(xiàn)流程圖；
[0019]圖4為本發(fā)明具體實(shí)施例提供的圖片的處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0021]本發(fā)明實(shí)施例主要用于對(duì)圖片或者視頻進(jìn)行多種局部特征的描述表示。所述圖片和視頻，以及其它媒體數(shù)據(jù)，在本發(fā)明中統(tǒng)一稱為圖像。由于本發(fā)明所述的圖像表示的處理方法，融合了多種局部特征，并且包括由不同類型的局部特征的共享信息所構(gòu)成超向量，因此其可稱為基于多視角(即包括多種類型的局部特征)超向量的圖像的表示和處理方法。另外，本發(fā)明所述的圖像的表示和處理方法得到圖像的多視角超向量，可以用于訓(xùn)練分類器，以便于使用分類器快速的完成對(duì)圖像的分類，也可以根據(jù)多視角超向量的相似度估計(jì)函數(shù)，如馬氏函數(shù)、核函數(shù)等，來(lái)檢索與待查找圖像相似的圖像。下面通過(guò)實(shí)施例進(jìn)行具體說(shuō)明。
[0022]如圖1所示為本發(fā)明實(shí)施例所述的圖像的表示和處理方法的實(shí)施流程示意圖。其中，在步驟SlOl中，在待表示圖像中提取至少兩種類型的局部特征。
[0023]其中，所述圖像的局部特征，對(duì)于圖片的局部特征，可以為尺度不變轉(zhuǎn)換特征(其英文全稱為Scale-1nvariant feature transform,其英文簡(jiǎn)稱為SIFT)、梯度方向直方圖(英文全稱為Histogram of oriented gradient,英文簡(jiǎn)稱為HoG)等,對(duì)于視頻的局部特征可以為梯度方向直方圖或光流直方圖等。
[0024]所述SIFT特征是基于物體上的一些局部外觀的興趣點(diǎn)而與圖像的大小和旋轉(zhuǎn)無(wú)關(guān)。對(duì)于光線、噪聲、些微視角改變的容忍度也相當(dāng)高?；谶@些特性，它們是高度顯著而且相對(duì)容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫(kù)中，很容易辨識(shí)物體而且鮮有誤認(rèn)。而且使用SIFT特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要3個(gè)以上的SIFT物體特征就足以計(jì)算出位置與方位。
[0025]所述梯度方向直方圖HoG描述子的核心思想是一幅圖像中的物體的表象和形狀可以被像素強(qiáng)度梯度或邊緣的方向分布很好地描述。其實(shí)現(xiàn)方法是先將圖像分成小的叫做方格單元連通區(qū)域；然后采集方格單元中各像素點(diǎn)的梯度方向或邊緣方向直方圖；最后把這些直方圖組合起來(lái)就可以構(gòu)成特征描述子。為了提高精確度，還可以把這些局部直方圖在圖像的更大的區(qū)間(block)中進(jìn)行對(duì)比度歸一化(contrast-normalized),此方法通過(guò)先計(jì)算各直方圖在這個(gè)區(qū)間(block)中的密度，然后根據(jù)這個(gè)密度值對(duì)區(qū)間中的各個(gè)方格單元做歸一化。通過(guò)這個(gè)歸一化后，能對(duì)光照變化和陰影獲得更好的穩(wěn)定性。
[0026]與其他的特征描述方法相比，方向梯度直方圖(HOG)描述子有很多優(yōu)點(diǎn)。首先，由于HoG方法是在圖像的局部方格單元上操作，所以它對(duì)圖像幾何的和光學(xué)的形變都能保持很好的不變性，這兩種形變只會(huì)出現(xiàn)在更大的空間領(lǐng)域上。其次，在粗的空域抽樣、精細(xì)的方向抽樣以及較強(qiáng)的局部光學(xué)歸一化等條件下，只要行人大體上能夠保持直立的姿勢(shì)，可以容許行人有一些細(xì)微的肢體動(dòng)作，這些細(xì)微的動(dòng)作可以被忽略而不影響檢測(cè)效果。方向梯度直方圖方法是特別適合于做圖像中的行人檢測(cè)。
[0027]由此可見(jiàn)，不同類型的局部特征從不同方面，即不同視角描述圖像和視頻，他們之間的優(yōu)點(diǎn)以缺點(diǎn)具有互補(bǔ)性。
[0028]在步驟S102中，根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型，所述混合獨(dú)立信息分解模型包括不同類型的局部特征中的共享信息和
獨(dú)立/[目息O
[0029]對(duì)于給定圖片中提取對(duì)應(yīng)于每個(gè)局部區(qū)域的兩種特征，將這兩種特征串聯(lián)起來(lái)得到了包含多視角信息 的新特征。為了對(duì)串聯(lián)得到的新特征進(jìn)一步的建模，需要利用獨(dú)立信息的分解模型。對(duì)于兩種底層特征X，y，假設(shè)它們滿足以下條件:
[0030]X = ffxz+zx+ ξ χ
[0031]y = ffyz+zy+ ξ y
[0032]其中，z代表χ和y兩種底層特征的共享信息，Wx, Wy分別為線性變換，Zx和Zy分別代表X和y特有的獨(dú)立信息，1和1,代表噪聲，是誤差項(xiàng)，分別服從高斯分布。因此，有如下概率模型:
[0033]P (χ I ζ) = N (ffxz+ μ χ, Ψχ)
[0034]p(y|z) = N(ffyz+μ y,
[0035]計(jì)算邊緣分布我們可以得到:
[0036]P (χ) = f P (χ I ζ) P (z) dz = N ( μ x, Wx (Wx) Τ+Ψχ)
[0037]p(y) = f P (y I ζ) p (z) dz = N ( μ y, Wy (Wy) Τ+Ψ^。
[0038]常用的獨(dú)立信息分解模型可以抽取新特征里面被兩種特征共享的一部分特征，但是這個(gè)模型只能處理線性相關(guān)的關(guān)系。在實(shí)際的數(shù)據(jù)中，不同的特征之間往往有非線性的相關(guān)性，因此需要采用混合獨(dú)立信息分解模型對(duì)新特征進(jìn)行建模。
[0039]作為一個(gè)混合模型，混合相關(guān)分析模型將特征空間分劃成幾個(gè)局部區(qū)域，并在每個(gè)局部用獨(dú)立信息分解模型建模。因?yàn)榫植繀^(qū)域中的相關(guān)性可以被近似為線性關(guān)系，這樣全局非線性關(guān)系就能由局部線性的混合模型來(lái)建模。因此，本發(fā)明所述的混合獨(dú)立信息分解模型可以處理特征之間的非線性相關(guān)關(guān)系。
[0040]作為一種可選的實(shí)施方式中，所述混合獨(dú)立信息分解模型的數(shù)學(xué)統(tǒng)計(jì)模型可以描述為:
【權(quán)利要求】
1.一種圖像的表示和處理方法，其特征在于，所述方法包括: 在待表示圖像中提取至少兩種類型的局部特征； 根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型，所述混合獨(dú)立信息分解模型包括不同類型的局部特征中的共享信息和獨(dú)立信息； 根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，并將局部特征的編碼進(jìn)行概要，獲取所述圖像的多視角超向量表示。
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述混合獨(dú)立信息分解模型為: p(x,y) =承)= ?ω4Ρ(χ\^?.k)p(y\zk,k)p(zk)dzk， k k 其中k為混合數(shù)的序號(hào)，?k = P(k)代表第k個(gè)混合數(shù)的先驗(yàn)概率，zk代表第k個(gè)混合數(shù)中X與y的共享變量，條件概率幻=N (wiz1-+^v? Ψλ-)，P(yk，幻=N (WX+^,Ψ7)服從正態(tài)分布；Z代表X和y兩種底層特征的共享信息，Wx, Wy分別為線性變換，Zx和Zy分別代表X和I特有的獨(dú)立信息； 所述根據(jù)從待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型步驟包括: A,初始化混合獨(dú)立信息分解模型的參數(shù)，所初始化的混合獨(dú)立信息分解模型的參數(shù)包括協(xié)方差矩陣、局部高斯分布的中心、投影矩陣以及每個(gè)局部矩陣的權(quán)值； B,根據(jù)所初始化的混合獨(dú)立信息分解模型的參數(shù)，計(jì)算對(duì)應(yīng)于樣本局部特征的隱變量以及后驗(yàn)概率的估計(jì)； C，根據(jù)所計(jì)算的隱變量和后驗(yàn)概率，更新所述參數(shù)，所述參數(shù)包括所述協(xié)方差矩陣、局部高斯模型的中心、投影矩陣、每個(gè)局部矩陣的權(quán)值； D，判斷所述參數(shù)收斂是否收斂，或者計(jì)算所述參數(shù)迭代的次數(shù)是否達(dá)到迭代的最大次數(shù)，如果所述參數(shù)不收斂或者所述參數(shù)迭代的次數(shù)沒(méi)有達(dá)到迭代的最大次數(shù)，轉(zhuǎn)入步驟B，否則得到所述混合獨(dú)立信息分解模型的學(xué)習(xí)后的參數(shù)。
3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述根據(jù)所初始化的混合獨(dú)立信息分解模型的參數(shù)，計(jì)算對(duì)應(yīng)于樣本局部特征的隱變量以及后驗(yàn)概率步驟中，




(O, ρ(υ.1 k) 所述后驗(yàn)概率的估計(jì)的計(jì)算公式如下，其中，所述代表第k個(gè)混合數(shù)的先驗(yàn)概率，u i = [Xi, Yi]表示對(duì)第i個(gè)局部特征對(duì)，凡=[μ': ,//::]是第k個(gè)混合數(shù)的中心；所述隱變量Ziik的估計(jì)的計(jì)算公式如下:^ =[Wf,



^ I 所述根據(jù)所計(jì)算的隱變量和后驗(yàn)概率，更新所述參數(shù)，所述參數(shù)包括所述協(xié)方差矩陣、局部高斯模型的中心、投影矩陣、每個(gè)局部矩陣的權(quán)值步驟為: 根據(jù)公式Σ,ζ’々計(jì)算每局部高斯模型的權(quán)重；根據(jù)公式
4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，并將局部特征的編碼進(jìn)行概要，獲取所述圖像的多視角超向量表示，具體步驟包括: 根據(jù)所述混合獨(dú)立信息分解模型的參數(shù)估計(jì)每個(gè)樣本，即局部特征對(duì)的共享隱變量，并通過(guò)各個(gè)樣本的后驗(yàn)概率進(jìn)行加權(quán)整合,得到每個(gè)局部高斯模型隱變量的估計(jì)，并將每個(gè)局部高斯模型隱變更的估計(jì)串聯(lián)，得到共享信息的超向量； 獲取混合獨(dú)立信息分解模型的樣本似然函數(shù)分別相對(duì)于X和y的參數(shù)[//(:,//(:，的梯度向量，該梯度向量包含不同類型局部特征X和y的獨(dú)立信息； 由所述共享信息的超向量以及包含獨(dú)立信息的所述梯度向量串聯(lián)起來(lái)，得到多視角超向量表示。
5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述根據(jù)所述混合獨(dú)立信息分解模型的參數(shù)估計(jì)確定每個(gè)樣本，即局部特征對(duì)的共享隱變量的估計(jì)，并通過(guò)各個(gè)樣本的后驗(yàn)概率進(jìn)行加權(quán)整合，得到每個(gè)局部高斯模型隱變量的估計(jì)，并將每個(gè)局部高斯模型隱變更的估計(jì)串聯(lián)，得到共享信息的超向量步驟中，根據(jù)公式
6.根據(jù)權(quán)利要求1所述方法，其特征在于，所述方法還包括: 根據(jù)所獲取的不同類別的圖像的多視角超向量，訓(xùn)練分類器，使得分類器可根據(jù)圖像的多視角超向量對(duì)其類別進(jìn)行判斷； 或者根據(jù)圖像塊的多視角超向量訓(xùn)練檢測(cè)器，使得檢測(cè)能夠檢測(cè)圖像塊內(nèi)是否存在特定物體。
7.根據(jù)權(quán)利要求1所述方法，其特征在于，所述方法還包括: 根據(jù)所獲取的多視角超向量以及所述多視角超向量的相相似度估計(jì)函數(shù)，檢索與其相似的圖像。
8.一種圖像的表示和處理裝置，其特征在于，所述裝置包括: 提取單元，用于在待表示圖像中提取至少兩種類型的局部特征； 建模單元，用于根據(jù)待表示圖像中所提取的不同種類的局部特征，聯(lián)合建立混合獨(dú)立信息分解模型，所述混合獨(dú)立信息分解模型包括不同類型的局部特征中的共享信息和獨(dú)立信息；編碼單元，用于根據(jù)所述混合獨(dú)立信息分解模型，對(duì)不同類型的局部特征的共享信息和獨(dú)立信息進(jìn)行編碼，并將局部特征的編碼進(jìn)行概要，獲取所述圖像的多視角超向量表示。
9.根據(jù)權(quán)利要求8所述裝置，其特征在于，所述混合獨(dú)立信息分解模型為:
10.根據(jù)權(quán)利要求8所述裝置，其特征在于，所述編碼單元從圖像中抽取不同類型的局部特征，構(gòu)成多態(tài)局部特征樣本集，利用訓(xùn)練出的混合獨(dú)立信息分解模型，計(jì)算樣本集的共享信息和獨(dú)立信息向量，進(jìn)而構(gòu)成圖像表示的多視角超向量，具體包括: 超向量獲取子單元，用于根據(jù)所述混合獨(dú)立信息分解模型的參數(shù)確定每個(gè)樣本的隱變量的估計(jì)，并通過(guò)后驗(yàn)概率進(jìn)行加權(quán)整合，得到每個(gè)局部高斯模型隱變量的估計(jì)，并將每個(gè)局部高斯模型隱變更的估計(jì)串聯(lián)，得到共享信息的超向量； 梯度向量獲取子單元，用于獲取混合獨(dú)立信息分解模型分別相對(duì)于X和I的參數(shù)的梯度向量，代表各類局部特征的獨(dú)立信息； 串聯(lián)子單元，用于由所述共享信息的超向量以及所述梯度向量串聯(lián)起來(lái)，得到多視角超向量表示。
【文檔編號(hào)】G06K9/62GK104036296SQ201410281723
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2014年6月20日 優(yōu)先權(quán)日:2014年6月20日
【發(fā)明者】喬宇, 蔡卓偉 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院