基于Fisher Vector的圖像精細(xì)分類方法
【專利摘要】本發(fā)明提出一種基于Fisher Vector的圖像精細(xì)分類方法，用以解決現(xiàn)有圖像精細(xì)分類方法中存在分類準(zhǔn)確率低的技術(shù)問(wèn)題，包括如下步驟：讀取圖像庫(kù)數(shù)據(jù)，得到包含各個(gè)類別的訓(xùn)練圖像集和測(cè)試圖像集；提取訓(xùn)練圖像集和測(cè)試圖像集中每幅圖像的RGB特征；求取關(guān)于訓(xùn)練圖像集RGB特征描述的混合高斯參數(shù)；求取匹配圖像塊集的Fisher Vector特征矢量；求取訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述；利用SVM對(duì)訓(xùn)練圖像集的最終特征描述進(jìn)行訓(xùn)練，得到分類模型；利用分類模型對(duì)測(cè)試圖像集的最終特征描述進(jìn)行分類。本發(fā)明具有分類準(zhǔn)確率較高的優(yōu)點(diǎn)，可應(yīng)用于互聯(lián)網(wǎng)通信、交通和公共安全領(lǐng)域。
【專利說(shuō)明】
基于Fisher Vector的圖像精細(xì)分類方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種圖像精細(xì)分類方法，具體涉及一種基于 Fisher Vector的圖像精細(xì)分類方法，可應(yīng)用于互聯(lián)網(wǎng)通信、交通和公共安全領(lǐng)域中的圖像 搜索、目標(biāo)跟蹤、指紋識(shí)別與人臉識(shí)別等。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)與互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，我們已經(jīng)進(jìn)入了一個(gè)以圖像構(gòu)建的世界。 然而爆炸式增長(zhǎng)的圖像數(shù)據(jù)卻使人們進(jìn)入了"信息發(fā)達(dá)、知識(shí)匱乏"的怪圈，在海量的圖像 信息與自己所需的數(shù)據(jù)之間經(jīng)常出現(xiàn)檢索困難的尷尬局面。圖像分類技術(shù)正是解決這一問(wèn) 題的有效途徑。
[0003] 圖像分類，根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開(kāi) 來(lái)的圖像處理方法。它利用計(jì)算機(jī)對(duì)圖像進(jìn)行定量分析，把圖像或圖像中的每個(gè)像元或區(qū) 域劃歸為若干個(gè)類別中的某一種，以代替人的視覺(jué)判讀。但在對(duì)同屬性不同類別，相似度較 低的子類圖像進(jìn)行分類時(shí)，傳統(tǒng)圖像分類的準(zhǔn)確率很難做出進(jìn)一步的提高。圖像精細(xì)分類 是圖像分類的一個(gè)分支，主要對(duì)于相似度區(qū)別較低的子類圖像集進(jìn)行精細(xì)分類。目前精細(xì) 分類方法主要有:基于SIFT特征的金字塔編碼分類方法;基于多核學(xué)習(xí)的分類方法;基于人 類視覺(jué)識(shí)別技術(shù)的分類方法;基于無(wú)標(biāo)簽無(wú)注釋的詞帶分類方法，其步驟包括:首先提取圖 像的RGB、LBP和SIFT等底層特征，并利用數(shù)理統(tǒng)計(jì)、概率分布等建立模型對(duì)提取的圖像底層 特征進(jìn)行擬合，獲取相應(yīng)的模型參數(shù);其次利用模型參數(shù)將圖像的底層特征轉(zhuǎn)化為帶有語(yǔ) 義信息的高層圖像特征，并結(jié)合高層圖像特征的相似性，利用基于詞帶的編碼技術(shù)、或基于 金塔字的編碼技術(shù)或基于視覺(jué)詞典的編碼技術(shù)等，對(duì)圖像進(jìn)行特征描述;最后選擇SVM支撐 向量機(jī)、或貝葉斯分類學(xué)習(xí)、或神經(jīng)網(wǎng)絡(luò)等分類器，對(duì)編碼的圖像集對(duì)進(jìn)行學(xué)習(xí)訓(xùn)練。但由 于子類圖像集中所包含的背景信息復(fù)雜，前景信息空間分布不均，相同類別的圖像語(yǔ)義也 有所差異，造成在構(gòu)建模型進(jìn)行圖像高層特征描述時(shí)，因?yàn)椴煌悇e圖像的差異性區(qū)分不 明顯，相同類別圖像的相似性表現(xiàn)不顯著，導(dǎo)致圖像分類準(zhǔn)確率較低。例如，中國(guó)專利申 請(qǐng)，授權(quán)公告號(hào)為CN 102208038 B，名稱為"基于視覺(jué)詞典的圖像分類方法"的發(fā)明專利，公 開(kāi)了一種基于視覺(jué)詞典的圖像分類方法，該方法包括以下步驟:SI:抽取訓(xùn)練圖像數(shù)據(jù)集的 聯(lián)合局部特征；S2:通過(guò)基于移動(dòng)均值和區(qū)域哈希法的聚類算法對(duì)所述聯(lián)合局部特征進(jìn)行 向量矢量化，從而選擇聚類中心個(gè)數(shù)，以形成視覺(jué)詞典;S3:根據(jù)所述視覺(jué)詞典生成圖像的 特征表示，以建立圖像分類器;S4:根據(jù)所述圖像分類器分類所述訓(xùn)練圖像數(shù)據(jù)集中的圖 像。本發(fā)明能夠獲得最具區(qū)分度的視覺(jué)詞典，從而使分類方法對(duì)圖像數(shù)據(jù)集的樣本空間分 布具有自適應(yīng)性，可以抵抗各種仿射變換和光照變化，對(duì)于局部異常、噪聲干擾、以及復(fù)雜 背景具有更好的魯棒性，而且具有很強(qiáng)的通用性，可以用于各種類型的圖像分類，因而具有 較高的實(shí)用價(jià)值。但對(duì)同屬性不同類別的圖像構(gòu)建視覺(jué)詞典時(shí)，不同類別圖像的差異性區(qū) 分不明顯，相同類別圖像的相似性表現(xiàn)不顯著，影響分類準(zhǔn)確率的提高。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)從在的缺陷，提出了一種基于Fisher Vector的圖像精細(xì)分類方法，用以解決現(xiàn)有圖像精細(xì)分類方法中存在分類準(zhǔn)確率低的技術(shù) 問(wèn)題。
[0005] 本發(fā)明的技術(shù)思路是:首先由混合高斯模型模擬圖像顏色概率密度分布，其次通 過(guò)提取匹配圖像塊并擬合混合高斯分布，得到匹配圖像塊的Fisher Vector特征向量，接著 按照匹配圖像塊與圖像隨機(jī)匹配得到的響應(yīng)圖集，按照空間金字塔編碼得到圖像的最終特 征描述，然后，通過(guò)向量機(jī)SVM對(duì)訓(xùn)練圖像集的最終特征描述進(jìn)行訓(xùn)練，得出多分類模型，最 后用分類模型對(duì)訓(xùn)練圖像集的最終特征描述進(jìn)行分類。
[0006] 根據(jù)上述技術(shù)思路，實(shí)現(xiàn)本發(fā)明目的采用的技術(shù)方案，包括如下步驟：
[0007] (1)依照?qǐng)D象庫(kù)自帶文本文檔中的圖像采樣編號(hào)，讀取圖像庫(kù)中各種類中對(duì)應(yīng)的 訓(xùn)練圖像和測(cè)試圖像，得到了包含所有種類的訓(xùn)練圖像集和測(cè)試圖像集；
[0008] (2)從得到的訓(xùn)練圖像集和測(cè)試圖像集中提取每幅圖像的RGB特征，得到訓(xùn)練圖像 集的RGB特征描述和測(cè)試圖像集的RGB特征描述，按如下步驟實(shí)現(xiàn)；
[0009] (2a)利用簡(jiǎn)單的線性迭代聚類SLIC超像素分割方法，對(duì)得到的訓(xùn)練圖像集和測(cè)試 圖像集中的圖像進(jìn)行分割，每幅得到多個(gè)帶有標(biāo)簽的超像素塊；
[0010] (2b)提取得到的多個(gè)超像素塊的RGB特征，得到每幅訓(xùn)練圖像的RGB特征描述和測(cè) 試圖像的RGB特征描述；
[0011] (2c)將得到訓(xùn)練圖像RGB特征描述和測(cè)試圖像的RGB特征描述進(jìn)行匯總，得到訓(xùn)練 圖像集的RGB特征描述或測(cè)試圖像集的RGB特征描述；
[0012] (3)利用訓(xùn)練圖像集的RGB特征描述，求取訓(xùn)練圖像集的RGB特征描述的混合高斯 參數(shù)；
[0013] (4)求取匹配圖像塊集的Fisher Vector特征矢量，按如下步驟實(shí)現(xiàn)：
[0014] (4a)依次沿著得到訓(xùn)練圖像集中每幅圖像的XY坐標(biāo)，隨機(jī)提取相同數(shù)目的匹配圖 像塊；
[0015] (4b)將提取的匹配圖像塊和其所對(duì)應(yīng)的訓(xùn)練圖像，進(jìn)行含有超像素塊的標(biāo)簽比 對(duì)，獲得每個(gè)圖像塊的RGB特征描述；
[0016] (4c)利用得到的混合高斯參數(shù)，分別列出每個(gè)匹配圖像塊的RGB特征描述的似然 函數(shù)，求取每個(gè)似然函數(shù)的梯度向量，并對(duì)求取的每個(gè)似然函數(shù)的梯度向量均進(jìn)行歸一化， 得到每個(gè)匹配圖像塊的Fisher Vector特征矢量；
[0017] (4d)對(duì)得到的所有匹配圖像塊的Fisher Vector特征矢量進(jìn)行匯總，得到匹配圖 像塊集的Fisher Vector特征矢量；
[0018] (5)求取訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述，按如下步驟 可實(shí)現(xiàn)：
[0019] (5a)將得到的匹配圖像塊集的Fisher Vector特征矢量分別與訓(xùn)練圖像集和測(cè)試 圖像集中的每幅圖像進(jìn)行遍歷匹配，得到每幅圖像的匹配響應(yīng)圖集；
[0020] (5b)統(tǒng)計(jì)得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖相似度最大的三個(gè)值，作為該響應(yīng)圖 的第一層編碼；
[0021] (5c)沿得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖的兩條幾何中心線，將其分割成四個(gè)區(qū) 域，并將每個(gè)區(qū)域中相似度最大的值，作為該響應(yīng)圖的第二層編碼；
[0022] (5d)依次對(duì)得到第一層編碼和第二層編碼進(jìn)行組合，得到每個(gè)響應(yīng)圖的金子塔編 碼；
[0023] (5e)對(duì)得到的所有響應(yīng)圖的金子塔編碼進(jìn)行匯總，得到響應(yīng)圖集的金子塔編碼， 并將響應(yīng)圖集的金字塔編碼作為該幅圖像的最終特征描述；
[0024] (5f)按照每幅圖像取自于訓(xùn)練圖像集或測(cè)試圖像集，對(duì)每幅圖像的特征描述進(jìn)行 匯總得到訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述；
[0025] (6)利用SVM支撐向量機(jī)，對(duì)得到的訓(xùn)練圖像集的最終特征描述進(jìn)行訓(xùn)練，得到分 類模型；
[0026] (7)利用得到的分類模型，對(duì)得到的測(cè)試圖像集的最終特征描述進(jìn)行分類。
[0027] 本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)：
[0028] 第一，本發(fā)明由于在計(jì)算圖像相似度時(shí)，采用了求取混合高斯參數(shù)，獲取匹配圖像 塊的Fisher Vector特征向量的步驟，在匹配圖像塊尺寸大小不一、空間信息分布不均等情 況下，保證了輸入特征向量維度始的統(tǒng)一化，提高相似性計(jì)算中的信息完整性，與現(xiàn)有技術(shù) 中的相似性計(jì)算輸入特征向量維度不統(tǒng)一，造成信息丟失相比，有效地提高了精細(xì)分類的 準(zhǔn)確率。
[0029]第二，本發(fā)明由于在提取圖像底層RGB特征時(shí)，采用了簡(jiǎn)單的線性迭代聚類SLIC分 割方法，提取并匯總多個(gè)超像素塊的RGB特征的方法，保證了圖像具有空間結(jié)構(gòu)的顏色特 征，并提高了底層特征的魯棒性，與現(xiàn)有技術(shù)中的提取單種底層特征導(dǎo)致信息不完全，提取 多種底層特征導(dǎo)致信息重復(fù)累計(jì)相比，進(jìn)一步提高了精細(xì)分類的準(zhǔn)確率。
[0030] 第三，本發(fā)明由于在獲取圖像的最終特征描述時(shí)，采用了對(duì)匹配圖像塊集與每幅 圖像進(jìn)行遍歷，將遍歷得到響應(yīng)圖進(jìn)行相似行計(jì)算，對(duì)相似性計(jì)算得到的響應(yīng)圖集進(jìn)行金 子塔編碼的步驟，保證了在整個(gè)圖像高層語(yǔ)義描述時(shí)無(wú)人為干預(yù)，并提高了不同類別圖像 的差異性和同類別圖像的相似性，與現(xiàn)有技術(shù)相比，提高了子類圖像的相似度。
【附圖說(shuō)明】
[0031] 圖1為本發(fā)明的實(shí)現(xiàn)流程框圖；
[0032] 圖2為本發(fā)明與不同現(xiàn)有技術(shù)的平均分類準(zhǔn)確率對(duì)比圖。
[0033]具體實(shí)施措施
[0034]下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明作進(jìn)一步描述。
[0035]參照?qǐng)D1，對(duì)本發(fā)明包括如下步驟：
[0036]步驟1，依據(jù)仿真實(shí)驗(yàn)中使用的鳥(niǎo)類圖象數(shù)據(jù)庫(kù)自帶的圖像采樣編號(hào)，讀取圖像數(shù) 據(jù)庫(kù)中13種鳥(niǎo)類所對(duì)應(yīng)的訓(xùn)練圖像和測(cè)試圖像，得到了包含13種鳥(niǎo)類的訓(xùn)練圖像集和測(cè)試 圖像集；
[0037]步驟2,從得到的訓(xùn)練圖像集和測(cè)試圖像集中提取每幅圖像的RGB特征，得到訓(xùn)練 圖像集的RGB特征描述和測(cè)試圖像集的RGB特征描述，按如下步驟實(shí)現(xiàn)：
[0038] 2a)利用簡(jiǎn)單的線性迭代聚類SLIC超像素分割方法，對(duì)得到的訓(xùn)練圖像集和測(cè)試 圖像集中的圖像進(jìn)行分割，每幅得到150個(gè)帶有標(biāo)簽的超像素塊，實(shí)現(xiàn)步驟如下：
[0039] (2al)設(shè)定訓(xùn)練圖像集和測(cè)試圖像集中每幅圖像預(yù)分割超像素塊的個(gè)數(shù)K，并計(jì)算 每幅圖像中種子點(diǎn)之間的近似距離S，計(jì)算公式如下：
[0040]
[0041] 其中，N為圖像像素點(diǎn)個(gè)數(shù)，Ν/Κ為每個(gè)超像素塊的大小；
[0042] (2a2)根據(jù)得到的每幅圖像種子點(diǎn)的近似距離，提取該幅圖像的預(yù)分割種子點(diǎn)，并 為每個(gè)種子分配一個(gè)標(biāo)簽!^=仏1丄2，...丄1(}，其中下標(biāo)0=(1，2，...，1〇，表示預(yù)分割的種 子點(diǎn)；
[0043] (2a2)計(jì)算每幅圖像的像素點(diǎn)與其最近的預(yù)分割種子點(diǎn)之間，在Lab顏色空間下的 歐氏距離dlab和XY坐標(biāo)空間下的歐氏距離dxy，計(jì)算公式如下：
[0044]
[0045]
[0046] 其中，I、a、b分別用于代表Lab顏色空間下的黑色到白色、紅色到綠色、黃色到藍(lán)色 的取值范圍，X和y代表XY坐標(biāo)空間下的平面直角坐標(biāo)，下標(biāo)11和〇分別代表著該幅圖像的像 素點(diǎn)和預(yù)分割的種子點(diǎn)；
[0047] (2a3)利用得到的歐氏距離dlab和dxy，計(jì)算像素點(diǎn)與其周圍預(yù)分割種子點(diǎn)的相似度 D。，計(jì)算公式如下：
[0048]
[0049] 其中，e為種子點(diǎn)的距離，m為衡量顏色值與空間信息在相似度衡量中的比重平衡 參數(shù)；
[0050] (2a4)選擇與像素點(diǎn)相似度最高的種子點(diǎn)，給其標(biāo)上與那個(gè)種子點(diǎn)一樣的標(biāo)簽，得 到帶有標(biāo)簽的多個(gè)超像素塊；
[0051] 2b)提取得到的多個(gè)超像素塊的RGB特征，得到每幅訓(xùn)練圖像的RGB特征描述和測(cè) 試圖像的RGB特征描述，實(shí)現(xiàn)步驟如下：
[0052] (2bl)統(tǒng)計(jì)得到的每個(gè)超像素塊在紅、綠、藍(lán)三個(gè)通道信息中，每個(gè)通道的信息總 和，分別記為尤°_，//，尸/;
[0057] 其中，lr，lg，Ib*別為每個(gè)像素塊中單通道所包含的像素點(diǎn)總數(shù)。[0058] (2b3)對(duì)每幅圖像中所有的超像素塊，其在RGB顏色空間下，紅、綠、藍(lán)通道的平均
[0053]
[0054]
[0055]
[0056] 值進(jìn)行統(tǒng)計(jì)匯總，得到每幅圖像的RGB特征描述，并記為
，其中S為一個(gè)K X3的矩陣，K為每幅圖像超像素塊的個(gè)數(shù)；
[0059] 2c)將得到訓(xùn)練圖像RGB特征描述和測(cè)試圖像的RGB特征描述進(jìn)行匯總，得到訓(xùn)練 圖像集的RGB特征描述或測(cè)試圖像集的RGB特征描述；
[0060] 步驟3,利用訓(xùn)練圖像集的RGB特征描述，求取訓(xùn)練圖像集的RGB特征描述的混合高 斯參數(shù)，實(shí)現(xiàn)步驟如下：
[0061] (3a)這里訓(xùn)練圖像集的RGB特征描述記作SA，為其建立混合高斯分布，公式如下：
[0062]
[0063] 個(gè)高斯模型，混合高斯數(shù)目，訓(xùn)練圖像集中圖像數(shù)目N= (1，2，3，. . .，i);
[0064] (3b)根據(jù)訓(xùn)練圖像集的RGB特征描述Sa的混合高斯分布，求出關(guān)于Sa的似然函數(shù)L (SA| Θ)，公式如下：
[0065]

[0066] 其中X為輸入樣本特征，μ」為單個(gè)高斯的均值矩陣，ε」為單個(gè)高斯的方差矩陣，CXj為 單高斯在混合高斯概率分布中的權(quán)值，Θ為對(duì)應(yīng)的參數(shù)，Ct j;
[0067] (3c)使用EM算法，求出訓(xùn)練圖像集的RGB特征描述Sa的均值 方差
、關(guān)于高斯核數(shù)目的相應(yīng)權(quán)重值
公式如下：
[0068] E步(求期望），求取 彡i彡N，1彡j彡M [0069] M步（最大化步驟），
[0070] 更新權(quán)值
[0071] 更新均值
[0072] 更新方差
[0073] 其中」=(1，2，...，1〇，1為混合高斯的高斯數(shù)目，而~4為3\1的矩陣，<^為1\1 的矩陣，μ」、ε」和a」作為所求的混合高斯參數(shù)θ;
[0074] 步驟4,求取匹配圖像塊集的Fisher Vector特征矢量，按如下步驟實(shí)現(xiàn)：
[0075] 4a)依次沿著得到訓(xùn)練圖像集中每幅圖像的XY坐標(biāo)，按照5種不同的尺寸每隔10個(gè) 像素隨機(jī)提取6個(gè)匹配圖像塊的方法，獲得30個(gè)匹配圖像塊；
[0076] 4b)將提取的匹配圖像塊和其所對(duì)應(yīng)的訓(xùn)練圖像，進(jìn)行含有超像素塊的標(biāo)簽比對(duì)， 獲得每個(gè)圖像塊的RGB特征描述；
[0077] 4c)利用得到的混合高斯參數(shù)，分別列出每個(gè)匹配圖像塊的RGB特征描述的似然函 數(shù)，求取每個(gè)似然函數(shù)的梯度向量，并對(duì)求取的每個(gè)似然函數(shù)的梯度向量均進(jìn)行歸一化，得 到每個(gè)匹配圖像塊的Fisher Vector特征矢量，實(shí)現(xiàn)步驟如下：
[0078] (4c 1)將單個(gè)匹配圖像塊的RGB特征描述記為X，由步驟(3b)求得混合高斯參數(shù)Θ， 去擬合X的分布，求取其似然函數(shù)L(X I Θ)，公式如下：
[0079] GMM參數(shù)θ = {μ」，ε」，ctj I j = 1，2，· · ·，M}，M為混合高斯數(shù)目，X= Ixj I i = 1，2，· · ·，T} 為輸入匹配圖像塊的T個(gè)超像素塊的RGB特征，
[0080]
[0081]
[0082]
[0083] 其中，V表示為匹配圖像塊RGB特征的原始維度，表示每個(gè)高斯參數(shù)的概率分布；
[0084] (4c2)求取似然函數(shù)L(X| Θ)的梯度向量仏(X I仍，公式如下：
[0085] 具體是對(duì)參數(shù)Θ求偏導(dǎo)，
[0086]
[0087]
[0088]
[0089] 其中，<、￥、表示V中的一個(gè)維度，另由貝葉斯公式知，特征X1由第j個(gè)高斯 分布生成的概率是
[0090]
[0091 ] (4c3)引入fisher matrix，對(duì)梯度向量1進(jìn)行歸一化處理，得到匹配圖
像塊的Fisher Vector特征矢暈，公式如下：
[0092]
[0093]
[0094]
[0095] 于是最終歸一化之后，單個(gè)匹配圖像塊的Fisher Vector特征矢量就是：
[0096]
[0097] 4d)對(duì)得到的所有匹配圖像塊的Fisher Vector特征矢量進(jìn)行匯總，得到匹配圖像 塊集的Fisher Vector特征矢量；
[0098]步驟5,求取訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述，按如下步 驟可實(shí)現(xiàn)：
[0099] 5a)將得到的匹配圖像塊集的Fisher Vector特征矢量分別與訓(xùn)練圖像集和測(cè)試 圖像集中的每幅圖像進(jìn)行遍歷匹配，得到每幅圖像的匹配響應(yīng)圖集，實(shí)現(xiàn)步驟如下：
[0100] (5al)對(duì)匹配圖像塊集中的每個(gè)匹配圖像塊沿圖像XY坐標(biāo)進(jìn)行遍歷，利用得到的 混合高斯參數(shù)，分別列出該幅圖像每個(gè)遍歷區(qū)域的RGB特征描述的似然函數(shù)，求取每個(gè)似然 函數(shù)的梯度向量，并對(duì)求取的每個(gè)似然函數(shù)的梯度向量進(jìn)行歸一化，得到每個(gè)遍歷區(qū)域的 Fisher Vector特征矢量；
[0101] (5a2)對(duì)匹配圖像塊和其在該幅圖像上的所有遍歷區(qū)域的Fisher Vector特征矢 量，依次進(jìn)行Power和L2歸一化，其中Power歸一化的表達(dá)式為，從而降低后期分類時(shí)的過(guò)擬 合現(xiàn)象，得到匹配圖像塊和其在該幅圖像上所有遍歷區(qū)域的Fisher Vector特征矢量，其中 Power歸一化的表達(dá)式為：
[0102] f(z) =sign(z) I z Iα
[0103] 其中，α是歸一化參數(shù)，且0<α<1，其參數(shù)值會(huì)隨著高斯數(shù)目而改變；
[0104] L2歸一化則采用如下內(nèi)核進(jìn)行計(jì)算：
[0105]
[0106] (5a3)采用點(diǎn)積的相似性計(jì)算方法，對(duì)歸一化后得到的匹配圖像塊和其在該幅圖 像上所有遍歷區(qū)域的Fisher Vector特征矢量進(jìn)行計(jì)算，得到匹配圖像塊與其在該幅圖像 上所有遍歷區(qū)域的相似度值，組合所有遍歷區(qū)域的相似度值，得到每個(gè)匹配圖像塊在該幅 圖像的匹配響應(yīng)圖；
[0107] (5a4)匯總所有匹配圖像塊在該幅圖像上的匹配響應(yīng)圖，得到每幅圖像的匹配響 應(yīng)圖集。
[0108] 5b)統(tǒng)計(jì)得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖相似度最大的三個(gè)值，作為該響應(yīng)圖 的第一層編碼；
[0109] 5c)沿得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖的兩條幾何中心線，將其分割成四個(gè)區(qū) 域，并將每個(gè)區(qū)域中相似度最大的值，作為該響應(yīng)圖的第二層編碼；
[0110] 5d)依次對(duì)得到第一層編碼和第二層編碼進(jìn)行組合，得到每個(gè)響應(yīng)圖的金子塔編 碼；
[0111] 5e)對(duì)得到的所有響應(yīng)圖的金子塔編碼進(jìn)行匯總，得到響應(yīng)圖集的金子塔編碼，并 將響應(yīng)圖集的金字塔編碼作為該幅圖像的最終特征描述；
[0112] 5f)按照每幅圖像取自于訓(xùn)練圖像集或測(cè)試圖像集，對(duì)每幅圖像的特征描述進(jìn)行 匯總得到訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述；
[0113] 步驟6,利用SVM支撐向量機(jī)，對(duì)得到的訓(xùn)練圖像集的最終特征描述進(jìn)行訓(xùn)練，得到 分類模型；
[0114] 步驟7,利用得到的分類模型，對(duì)得到的測(cè)試圖像集的最終特征描述進(jìn)行分類。 [0115]以下結(jié)合仿真實(shí)驗(yàn)，對(duì)本發(fā)明的技術(shù)效果作進(jìn)一步描述：
[0116] 1、仿真條件和內(nèi)容：
[0117] 本發(fā)明采用MATLAB，MATLAB版本為R2010a，Windows7，32位系統(tǒng)，硬件環(huán)境為CPU AMD A6-3400M APU with Radeon HD Graphics. 1.4GHz，內(nèi)存4G，對(duì)本發(fā)明與不同現(xiàn)有技術(shù) 的平均分類準(zhǔn)確率進(jìn)行對(duì)比仿真實(shí)驗(yàn)，其結(jié)果如圖2所示。
[0118] 實(shí)驗(yàn)中我們選用Caltech-UCSD Birds dataset(CUB_200)數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)庫(kù)在 圖像精細(xì)分類中應(yīng)用十分廣泛。CUB-200數(shù)據(jù)庫(kù)包含200張鳥(niǎo)類的圖像，每一個(gè)類別中，有15 張訓(xùn)練圖像，以及10~25張測(cè)試圖像。但是由于外部環(huán)境的影響，如果計(jì)算機(jī)程序運(yùn)行這么 多的圖片，需要耗時(shí)耗力，不利于實(shí)驗(yàn)結(jié)果的及時(shí)獲取，所以我們用了圖像庫(kù)中的一部分進(jìn) 行比對(duì)來(lái)驗(yàn)證分類性能，我們從綠鵑到啄木鳥(niǎo)只考慮13類鳥(niǎo)的家族。
[0119] MATLAB仿真中，我們嘗試了多種方法對(duì)分類性能的影響，CUB-200數(shù)據(jù)庫(kù)有一個(gè)粗 分割，可以直接把目標(biāo)框起來(lái)，在訓(xùn)練樣本中我們也按照這樣的分割方法，先把目標(biāo)給取出 來(lái)作為新的訓(xùn)練圖像樣本集，然后再在選取好的目標(biāo)圖像中獲取匹配圖像塊。在獲取匹配 圖像塊時(shí)，如果隨機(jī)選擇尺寸，則在以后與圖像匹配過(guò)程中會(huì)產(chǎn)生重復(fù)無(wú)用的程序步驟，滯 后程序的運(yùn)行時(shí)間，所以在選取匹配圖像塊時(shí)，我們只考慮5中尺寸的匹配圖像塊，WH=[20 20;50 50;100 100;50 80;80 50]，WH為匹配圖像塊的寬高尺寸，這樣每幅圖像只用考慮5 種尺寸下的遍歷區(qū)域即可。
[0120] 2、仿真結(jié)果分析：
[0121] 參照?qǐng)D2,橫坐標(biāo)代表精細(xì)分類的方法類別，縱坐標(biāo)代表不同精細(xì)分類方法的平均 準(zhǔn)確率，其中基于SIFT特征的金字塔編碼分類方法的平均準(zhǔn)確率是37.12%，基于多核學(xué)習(xí) 的分類方法的平均分類準(zhǔn)確率是37.02%，基于人類視覺(jué)識(shí)別技術(shù)的分類方法的平均分類 準(zhǔn)確率是40.25%，基于無(wú)標(biāo)簽無(wú)注釋的詞帶分類方法的平均準(zhǔn)確率是39.76%，本發(fā)明的 平均準(zhǔn)確率是40.30%，從圖中可以看出，本發(fā)明的平均分類準(zhǔn)確率比現(xiàn)有的其他精細(xì)分類 方法中最高的平均分類準(zhǔn)確率相比，提高了 0.05 %。
[0122]以上是本發(fā)明的一個(gè)實(shí)例，并不構(gòu)成對(duì)本發(fā)明的任何限制，仿真實(shí)驗(yàn)表明，本發(fā)明 能實(shí)現(xiàn)提高精細(xì)分類的準(zhǔn)確率。
【主權(quán)項(xiàng)】
1. 一種基于Fisher Vector的圖像精細(xì)分類方法，包括以下步驟： (1) 依照?qǐng)D象庫(kù)自帶文本文檔中的圖像采樣編號(hào)，讀取圖像庫(kù)中各種類中對(duì)應(yīng)的訓(xùn)練 圖像和測(cè)試圖像，得到了包含所有種類的訓(xùn)練圖像集和測(cè)試圖像集； (2) 從得到的訓(xùn)練圖像集和測(cè)試圖像集中提取每幅圖像的RGB特征，得到訓(xùn)練圖像集的 RGB特征描述和測(cè)試圖像集的RGB特征描述，按如下步驟實(shí)現(xiàn)； (2a)利用簡(jiǎn)單的線性迭代聚類SLIC超像素分割方法，對(duì)得到的訓(xùn)練圖像集和測(cè)試圖像 集中的圖像進(jìn)行分割，每幅得到多個(gè)帶有標(biāo)簽的超像素塊； (2b)提取得到的多個(gè)超像素塊的RGB特征，得到每幅訓(xùn)練圖像的RGB特征描述和測(cè)試圖 像的RGB特征描述； (2c)將得到訓(xùn)練圖像RGB特征描述和測(cè)試圖像的RGB特征描述進(jìn)行匯總，得到訓(xùn)練圖像 集的RGB特征描述或測(cè)試圖像集的RGB特征描述； (3) 利用訓(xùn)練圖像集的RGB特征描述，求取訓(xùn)練圖像集的RGB特征描述的混合高斯參數(shù)； (4) 求取匹配圖像塊集的Fisher Vector特征矢量，按如下步驟實(shí)現(xiàn)： (4a)依次沿著得到訓(xùn)練圖像集中每幅圖像的XY坐標(biāo)，隨機(jī)提取相同數(shù)目的匹配圖像 塊； (4b)將提取的匹配圖像塊和其所對(duì)應(yīng)的訓(xùn)練圖像，進(jìn)行含有超像素塊的標(biāo)簽比對(duì)，獲 得每個(gè)圖像塊的RGB特征描述； (4c)利用得到的混合高斯參數(shù)，分別列出每個(gè)匹配圖像塊的RGB特征描述的似然函數(shù)， 求取每個(gè)似然函數(shù)的梯度向量，并對(duì)求取的每個(gè)似然函數(shù)的梯度向量均進(jìn)行歸一化，得到 每個(gè)匹配圖像塊的Fisher Vector特征矢量； (4d)對(duì)得到的所有匹配圖像塊的Fisher Vector特征矢量進(jìn)行匯總，得到匹配圖像塊 集的Fisher Vector特征矢量； (5) 求取訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述，按如下步驟可實(shí) 現(xiàn)： (5a)將得到的匹配圖像塊集的Fisher Vector特征矢量分別與訓(xùn)練圖像集和測(cè)試圖像 集中的每幅圖像進(jìn)行遍歷匹配，得到每幅圖像的匹配響應(yīng)圖集； (5b)統(tǒng)計(jì)得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖相似度最大的三個(gè)值，作為該響應(yīng)圖的第 一層編碼； (5c)沿得到的匹配響應(yīng)圖集中每個(gè)響應(yīng)圖的兩條幾何中心線，將其分割成四個(gè)區(qū)域， 并將每個(gè)區(qū)域中相似度最大的值，作為該響應(yīng)圖的第二層編碼； (5d)依次對(duì)得到第一層編碼和第二層編碼進(jìn)行組合，得到每個(gè)響應(yīng)圖的金子塔編碼； (5e)對(duì)得到的所有響應(yīng)圖的金子塔編碼進(jìn)行匯總，得到響應(yīng)圖集的金子塔編碼，并將 響應(yīng)圖集的金字塔編碼作為該幅圖像的最終特征描述； (5f)按照每幅圖像取自于訓(xùn)練圖像集或測(cè)試圖像集，對(duì)每幅圖像的特征描述進(jìn)行匯總 得到訓(xùn)練圖像集的最終特征描述和測(cè)試圖像集的最終特征描述； (6) 利用SVM支撐向量機(jī)，對(duì)得到的訓(xùn)練圖像集的最終特征描述進(jìn)行訓(xùn)練，得到分類模 型； (7) 利用得到的分類模型，對(duì)得到的測(cè)試圖像集的最終特征描述進(jìn)行分類。2. 根據(jù)權(quán)利要求1所述的基于Fisher Vector的圖像精細(xì)分類的方法，其特征在于，步 驟(3)中所述的混合高斯參數(shù)，采用混合高斯分布公式求?。浩渲杏子?xùn)練圖像集的RS嘛征描述 表示第j個(gè)高斯模型，混合高斯數(shù)目，訓(xùn)練圖像集中圖像數(shù)目N= (1，2，3，. . .，i)。3.根據(jù)權(quán)利要求1所述的基于Fisher Vector的圖像精細(xì)分類的方法，其特征在于，步 驟(5a)中所述將得到的匹配圖像塊集的Fisher Vector特征矢量分別與訓(xùn)練圖像集和測(cè) 試圖像集中的每幅圖像進(jìn)行匹配，按如下步驟實(shí)現(xiàn)： (5al)對(duì)匹配圖像塊集中的每個(gè)匹配圖像塊沿圖像XY坐標(biāo)進(jìn)行遍歷，利用得到的混合 高斯參數(shù)，分別列出該幅圖像每個(gè)遍歷區(qū)域的RGB特征描述的似然函數(shù)，求取每個(gè)似然函數(shù) 的梯度向量，并對(duì)求取的每個(gè)似然函數(shù)的梯度向量進(jìn)行歸一化，得到每個(gè)遍歷區(qū)域的 Fisher Vector特征矢量； (5a2)對(duì)匹配圖像塊和其在該幅圖像上的所有遍歷區(qū)域的Fisher Vector特征矢量，依 次進(jìn)行Power和L2歸一化，得到匹配圖像塊和其在該幅圖像上所有遍歷區(qū)域的Fisher Vector特征矢量，其中Power歸一化的表達(dá)式為： f (z) = sign(z) I ζ |α 其中，α為歸一化參數(shù)，且〇<α<1 L2歸一化采用如下內(nèi)核進(jìn)行計(jì)算：(5a3)采用點(diǎn)積的相似性計(jì)算方法，對(duì)歸一化后得到的匹配圖像塊和其在該幅圖像上 所有遍歷區(qū)域的Fisher Vector特征矢量進(jìn)行計(jì)算，得到匹配圖像塊與其在該幅圖像上所 有遍歷區(qū)域的相似度值，組合所有遍歷區(qū)域的相似度值，得到每個(gè)匹配圖像塊在該幅圖像 的匹配響應(yīng)圖； (5a4)匯總所有匹配圖像塊在該幅圖像上的匹配響應(yīng)圖，得到每幅圖像的匹配響應(yīng)圖 集。
【文檔編號(hào)】G06K9/62GK106056159SQ201610390209
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月3日
【發(fā)明人】田小林, 焦李成, 薛鵬龍, 張小華, 馬文萍, 朱虎明, 緱水平
【申請(qǐng)人】西安電子科技大學(xué)