一種用于圖像場景識別的特征提取方法
【專利摘要】本發(fā)明涉及一種用于圖像場景識別的特征提取方法，包括在一組已知類別的訓(xùn)練圖像中挖掘信息和將待識別的測試圖像進行識別兩大步驟，其中第一步驟包括對圖像進行預(yù)處理；提取圖像的目標(biāo)特征；降低目標(biāo)特征的維度；執(zhí)行LDA模型訓(xùn)練算法；生成訓(xùn)練圖像的場景環(huán)境特征；特征組合；執(zhí)行SVM訓(xùn)練算法。第二步驟包括將測試圖像預(yù)處理；生成測試圖像的碼字；生成測試圖像的場景環(huán)境特征；提取測試圖像的目標(biāo)特征；降低測試圖像的目標(biāo)特征維度；測試圖像的特征組合；利用已訓(xùn)練的SVM分類器生成圖像類別。本發(fā)明減小了現(xiàn)有方法的計算量，擴展了應(yīng)用范圍并提高了識別準(zhǔn)確率。
【專利說明】一種用于圖像場景識別的特征提取方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像場景識別技術(shù)，具體涉及一種用于圖像場景識別的特征提取方 法。

【背景技術(shù)】
[0002] 圖像場景識別的目的是得到圖像的語義信息并給出其類別標(biāo)簽。它是計算機視 覺、模式識別和機器學(xué)習(xí)等領(lǐng)域的重要研究內(nèi)容，在圖像庫管理、圖像檢索等實用領(lǐng)域也是 不可或缺的技術(shù)?；谔卣鞔˙ag of Features)和主題模型的方法是近年來的研究熱潮， 取得了很多新成果和進展。這類方法借鑒于自然語言處理過程，把圖像視為局部觀察量的 集合并建立特征袋，利用特征袋建立主題模型，生成特征或直接生成類別。此外，圖像中的 目標(biāo)識別技術(shù)也為圖像的場景識別帶來有利信息，這類方法通過識別圖像中的部分目標(biāo)來 推斷圖像的場景類別。
[0003] 目前，主題模型技術(shù)尚存在一些缺點，主要體現(xiàn)在表達一幅待識別圖像需要對圖 像的特征袋進行統(tǒng)計和推理，這種需要進行迭代的運算會加大圖像識別的計算量。主題模 型方法往往對場景環(huán)境敏感，但是對于一些非場景環(huán)境敏感的圖像識別準(zhǔn)確率并不理想， 例如室內(nèi)場景類和事件類。結(jié)合圖像中的目標(biāo)信息有利于彌補這一缺點，但是目前的目標(biāo) 識別技術(shù)難以和主題模型方法直接結(jié)合，例如Object Bank技術(shù)，其產(chǎn)生的特征本身具有極 高的維度，這會沖淡主題模型方法所產(chǎn)生的特征在組合中占據(jù)的比例，并且由于維度災(zāi)難 問題，識別算法運算量極大，在個人計算機、工作站平臺上只能使用線性分類器。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是通過公開一種基于LDA模型的主題特征提取方法，用該方法得到 的主題環(huán)境特征描述圖像的場景環(huán)境。解決下列技術(shù)問題：表達一幅待識別圖像需要進行 統(tǒng)計和推理，運算量較大；對于事件類和室內(nèi)場景識別準(zhǔn)確率差。
[0005] 通過公開一種Object Bank特征的降維方法，解決其維度過高，難以與主題特征結(jié) 合的技術(shù)問題。
[0006] 公開將環(huán)境主題特征和降維后的目標(biāo)特征進行結(jié)合組成特征向量進行識別的方 法，提高識別準(zhǔn)確率。
[0007] 為實現(xiàn)所述目的，本發(fā)明提出的技術(shù)方案如下： 本發(fā)明所述的一種用于圖像場景識別的特征提取方法，包括下列兩大步驟： 1.在一組已知類別的訓(xùn)練圖像中挖掘信息 參閱圖1，輸入一組已知類別的訓(xùn)練圖像，每次選取一幅圖像，依次執(zhí)行"對圖像進行預(yù) 處理"、"提取圖像的目標(biāo)特征"步驟，直至選取完所有圖像后，執(zhí)行后續(xù)步驟"降低目標(biāo)特 征的維度"、"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特征"、"特征組合"、"執(zhí)行 SVM訓(xùn)練算法"。其中"對圖像進行預(yù)處理"步驟與"提取圖像的目標(biāo)特征"為并行步驟，不 分先后，"降低目標(biāo)特征的維度"與"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特 征"為并行步驟，不分先后。
[0008] 本步驟中已知類別的訓(xùn)練圖像數(shù)量要求不低于每類50幅。
[0009] I. 1對圖像進行預(yù)處理 a.將圖像歸一化為PxP像素的正方形圖像。
[0010] b.通過滑動網(wǎng)格方法，將正方形圖像劃分為iV個有重疊的子塊。
[0011] c.對每個子塊分別計算128維的SIFT灰度尺度強度區(qū)域描述符。
[0012] 1.2提取圖像的目標(biāo)特征 利用已公開的Object Bank算法提取圖像的目標(biāo)特征，具體為 a.圖像按照三層空間金字塔進行分塊，具體為在每一層上分別均分圖像為F , 22,43 個子圖像，每幅圖像共得到21個子圖像。
[0013] b.依次遍歷所有目標(biāo)，對于每個目標(biāo)，執(zhí)行如下操作：在每個子塊上，依次按照12 個尺度運行目標(biāo)濾波器，求得響應(yīng)值，每個尺度下響應(yīng)值的最大值作為輸出結(jié)果。
[0014] c.轉(zhuǎn)存并輸出結(jié)果，得到維度為12x21xiV。的一條目標(biāo)特征向量，其中if,為選用 的目標(biāo)探測器的個數(shù)。
[0015] 1.3降低目標(biāo)特征的維度 利用本發(fā)明公開的一種目標(biāo)特征降維算法對圖像的目標(biāo)特征進行降維，具體為 a.目標(biāo)特征輸入到含有個神經(jīng)元的一層神經(jīng)網(wǎng)絡(luò)，特征的每個維度對應(yīng)一 個神經(jīng)元，該層網(wǎng)絡(luò)被叫做輸入層。神經(jīng)元的輸出為：

【權(quán)利要求】
1. 一種用于圖像場景識別的特征提取方法，其特征是包括下列兩大步驟： 一. 在一組已知類別的訓(xùn)練圖像中挖掘信息 輸入一組已知類別的訓(xùn)練圖像，每次選取一幅圖像，依次執(zhí)行"對圖像進行預(yù)處理"、 "提取圖像的目標(biāo)特征"步驟，直至選取完所有圖像后，執(zhí)行后續(xù)步驟"降低目標(biāo)特征的維 度"、"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特征"、"特征組合"、"執(zhí)行SVM訓(xùn) 練算法"其中"對圖像進行預(yù)處理"步驟與"提取圖像的目標(biāo)特征"為并行步驟，不分先后， "降低目標(biāo)特征的維度"與"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特征"為并 行步驟，不分先后，本步驟中已知類別的訓(xùn)練圖像數(shù)量要求不低于每類50幅； 二. 將待識別的測試圖像進行識別 其中"將測試圖像預(yù)處理"、"生成測試圖像的碼字"、"生成測試圖像的場景環(huán)境特征" 步驟與"提取測試圖像的目標(biāo)特征"、"降低測試圖像的目標(biāo)特征維度"步驟為并行步驟，不 分先后。
2. 按照權(quán)利要求1所述的一種用于圖像場景識別的特征提取方法，其特征是具體步驟 如下： 一.在一組已知類別的訓(xùn)練圖像中挖掘信息 輸入一組已知類別的訓(xùn)練圖像，每次選取一幅圖像，依次執(zhí)行"對圖像進行預(yù)處理"、 "提取圖像的目標(biāo)特征"步驟，直至選取完所有圖像后，執(zhí)行后續(xù)步驟"降低目標(biāo)特征的維 度"、"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特征"、"特征組合"、"執(zhí)行SVM訓(xùn) 練算法"其中"對圖像進行預(yù)處理"步驟與"提取圖像的目標(biāo)特征"為并行步驟，不分先后， "降低目標(biāo)特征的維度"與"執(zhí)行LDA模型訓(xùn)練算法"、"生成訓(xùn)練圖像的場景環(huán)境特征"為并 行步驟，不分先后， 本步驟中已知類別的訓(xùn)練圖像數(shù)量要求不低于每類50幅， 1) .對圖像進行預(yù)處理 a. 將圖像歸一化為PxiM象素的正方形圖像； b. 通過滑動網(wǎng)格方法，將正方形圖像劃分為AT個有重疊的子塊； c. 對每個子塊分別計算128維的SIFT灰度尺度強度區(qū)域描述符； 2) .提取圖像的目標(biāo)特征 利用已公開的Object Bank算法提取圖像的目標(biāo)特征，具體為 a. 圖像按照三層空間金字塔進行分塊，具體為在每一層上分別均分圖像為I2，22，42 個子圖像，每幅圖像共得到21個子圖像； b. 依次遍歷所有目標(biāo)，對于每個目標(biāo)，執(zhí)行如下操作：在每個子塊上，依次按照12個尺 度運行目標(biāo)濾波器，求得響應(yīng)值，每個尺度下響應(yīng)值的最大值作為輸出結(jié)果； c. 轉(zhuǎn)存并輸出結(jié)果，得到維度為12x21x2^的一條目標(biāo)特征向量，其中Jfe為選用的目 標(biāo)探測器的個數(shù)； 3) .降低目標(biāo)特征的維度 利用本發(fā)明公開的一種目標(biāo)特征降維算法對圖像的目標(biāo)特征進行降維，具體為 a.目標(biāo)特征輸入到含有UmxJVe個神經(jīng)元的一層神經(jīng)網(wǎng)絡(luò)，特征的每個維度對應(yīng)一 個神經(jīng)元，該層網(wǎng)絡(luò)被叫做輸入層， 神經(jīng)元的輸出為：
其中，1
纟輸入層神經(jīng)元的閾值，為輸入的圖像數(shù)量，#表示網(wǎng)絡(luò)的 第/個輸入，此處#的總數(shù)量與Ob ject Bank特征維度相同，表示第i層網(wǎng)絡(luò)的第j個 神經(jīng)元的輸出； b. 輸入層神經(jīng)元的輸出結(jié)果再次輸入到含有SlxJV0個神經(jīng)元的一層，該層命名為中 間層，其中每12個對應(yīng)同一圖像12個目標(biāo)檢測尺度的輸入層神經(jīng)元為一組，每組連接到一 個的中間層神經(jīng)元，該層神經(jīng)元的輸出為：
c. 中間層神經(jīng)元的輸出結(jié)果再次輸入到含有目標(biāo)數(shù)個神經(jīng)元的一層，該層命名為輸出 層，其中對應(yīng)每個目標(biāo)的21個空間金字塔子塊作為一組，輸入到一個輸出層神經(jīng)元，該層 神經(jīng)元不設(shè)閾值，神經(jīng)元輸出為：
d. 輸出層上的輸出結(jié)果y=(y5'/_\…即為降維后的目標(biāo)特征； 4).行LDA模型訓(xùn)練算法 a. 取"對圖像進行預(yù)處理"步驟中得到的SIFT灰度尺度強度區(qū)域描述符，隨機選取其 中的一部分作為聚類目標(biāo)執(zhí)行K均值聚類算法，求得聚類中心，此處隨機選取的數(shù)量要求 總數(shù)不小于十萬個樣本，聚類中心計算為 Ci = 其中Ci表示對應(yīng)聚類號i的聚類中心，運算O0表示向量組的元素均值運算， 表示所有當(dāng)前聚類號為i的樣本向量組成的向量組； b. 根據(jù)所求的聚類中心，計算每一幅"已知類別的訓(xùn)練圖像"中每一個子塊對應(yīng)的聚類 號，稱為碼字，計算公式為： L = m^vEm.{R(Sam ,Ci)) M 其中表示任一樣本向量，運算f(-)表示歐幾里得距離二范數(shù)， c. 圖像依據(jù)其對應(yīng)的碼字，按照ID:C〇unt碼字：計數(shù)方式進行統(tǒng)計，利用已公開的 Gibbs Sampling算法，使用ID:Count訓(xùn)練一個LDA模型， 采樣公式為
其中，假設(shè)表示第I個碼字對應(yīng)的主題變量；下標(biāo)-?表示剔除其中的第f項， 所以表示從對應(yīng)的主題中剔除第g-項；Iitw表示主題i;中出現(xiàn)碼字^的次數(shù)；爲(wèi)是碼字 V的狄利克雷先驗；^表示圖像IB中出現(xiàn)主題z的次數(shù)是主題z的狄利克雷先驗， 通過采樣可以根據(jù) 2值估計其LDA的模型參數(shù)Am和,
其中表示主題Jt中碼字?的概率表示圖像B中主題的概率， 對fbr和匕t進行反復(fù)計算，直至每次計算結(jié)果不再改變， 5).生成訓(xùn)練圖像的場景環(huán)境特征 圖像通過其ID:C〇unt和訓(xùn)練好的LDA模型，利用本發(fā)明公開的環(huán)境特征提取算法生成 特征向量， 具體為： a. 作出簡化假設(shè)如下，對于碼字為安的新圖像，ft.,不更新并且等于其均值 ，則新圖像主題的先驗概率公式被改進為
其中M是訓(xùn)練集圖像的數(shù)量， 通過本發(fā)明提出的新圖像主題先驗概率改進公式，先驗概率可以被描述為一 個JTxF維矩陣A，其中元素 Λ表示第J個碼字被分配給第i個主題的概率； b. 定義\=1(^)，其中A(;J)表示矩陣A的第J列，所以每幅圖像都被其碼字的統(tǒng) 計所定義，對于包含碼字= 的圖像，其環(huán)境特征向量為
6) .特征組合 將"生成訓(xùn)練圖像的場景環(huán)境特征"步驟中得到的特征向量1與"降低目標(biāo)特征的維 度"步驟中得到的特征向量y順次組合成一條向量； 7) 執(zhí)行SVM訓(xùn)練算法 以"特征組合"步驟中得到的特征向量為訓(xùn)練樣本特征向量，以圖像已知的類別為類別 標(biāo)簽，利用已公開LibSVM軟件包執(zhí)行SVM訓(xùn)練算法，得到一個訓(xùn)練好的SVM分類器； 二.將待識別的測試圖像進行識別 其中"將測試圖像預(yù)處理"、"生成測試圖像的碼字"、"生成測試圖像的場景環(huán)境特征" 步驟與"提取測試圖像的目標(biāo)特征"、"降低測試圖像的目標(biāo)特征維度"步驟為并行步驟，不 分先后， 1) .將測試圖像預(yù)處理 a. 將圖像歸一化為PxP像素的正方形圖像； b. 通過滑動網(wǎng)格方法，將正方形圖像劃分為I個有重疊的子塊； c. 對每個子塊分別計算128維的SIFT灰度尺度強度區(qū)域描述符； 2) .生成測試圖像的碼字 a. 取"執(zhí)行LDA模型訓(xùn)練算法"步驟所求的聚類中心，并取"將測試圖像預(yù)處理"步驟 中得到的SIFT灰度尺度強度區(qū)域描述符，計算待識別圖像中每一個區(qū)域描述符對應(yīng)的聚 類號，稱為碼字， 計算公式為：
其中表示任一樣本向量，運算AG灰示歐幾里得距離二范數(shù)； b. 圖像依據(jù)其對應(yīng)的碼字，按照ID:Count (碼字：計數(shù)）方式進行統(tǒng)計； 3) .生成測試圖像的場景環(huán)境特征 圖像通過其ID:C〇unt和訓(xùn)練好的LDA模型，利用本發(fā)明公開的環(huán)境特征提取算法生成 特征向量，具體為 a. 作出簡化假設(shè)如下，對于碼字為牙的新圖像，Pb不更新并且等于其均值 EiU，則新圖像主題的先驗概率公式被改進為
其中M是訓(xùn)練集圖像的數(shù)量， 通過本發(fā)明提出的新圖像主題先驗概率改進公式，先驗概率F(z|w)可以被描述為一 個JTxF維矩陣J1，其中元素表示第個碼字被分配給第i個主題的概率； b. 定義\- ，其中A(;J)表示矩陣Jk的第J列，所以每幅圖像都被其碼字的統(tǒng) 計所定義， 對于包含碼字胃" = (W1的圖像，其環(huán)境特征向量為
4) .提取測試圖像的目標(biāo)特征 利用已公開的Object Bank算法提取圖像的目標(biāo)特征，具體為 a. 圖像按照三層空間金字塔進行分塊，具體為在每一層上分別均分圖像為I3,23,43 個子圖像，每幅圖像共得到21個子圖像； b. 依次遍歷所有目標(biāo)，對于每個目標(biāo)，執(zhí)行如下操作：在每個子塊上，依次按照12個尺 度運行目標(biāo)濾波器，求得響應(yīng)值，每個尺度下響應(yīng)值的最大值作為輸出結(jié)果； c. 轉(zhuǎn)存并輸出結(jié)果，得到維度為的一條目標(biāo)特征向量，其中為選用的目 標(biāo)探測器的個數(shù)； 5) .降低測試圖像的目標(biāo)特征維度 利用本發(fā)明公開的一種目標(biāo)特征降維算法對圖像的目標(biāo)特征向量進行降維， 具體步驟又可分為： a. 目標(biāo)特征向量輸入到含有乂個神經(jīng)元的一層神經(jīng)網(wǎng)絡(luò)，特征的每個維度 對應(yīng)一個神經(jīng)元，該層網(wǎng)絡(luò)被叫做輸入層， 神經(jīng)元的輸出為：
其中，Gm為"降低目標(biāo)特征的維度"步驟運算得到的結(jié)果，χω表示網(wǎng)絡(luò)的第J個輸 入，此處P的總數(shù)量與object Bank特征維度相同，f表示第I層網(wǎng)絡(luò)的第/個神經(jīng)元的 輸出； b. 輸入層神經(jīng)元的輸出結(jié)果再次輸入到含有SlxJV0個神經(jīng)元的一層，該層命名為中 間層，其中每12個對應(yīng)同一圖像12個目標(biāo)檢測尺度的輸入層神經(jīng)元為一組，每組連接到一 個的中間層神經(jīng)元， 該層神經(jīng)元的輸出為：
c. 中間層神經(jīng)元的輸出結(jié)果再次輸入到含有目標(biāo)數(shù)個神經(jīng)元的一層，該層命名為輸 出層，其中對應(yīng)每個目標(biāo)的21個空間金字塔子塊作為一組，輸入到一個輸出層神經(jīng)元，該 層神經(jīng)元不設(shè)閾值，神經(jīng)元輸出為：
d. 輸出層上的輸出結(jié)果y = 氣…/#·)即為降維后的目標(biāo)特征； 6) .測試圖像的特征組合 將"生成測試圖像的場景環(huán)境特征"步驟中得到的向量1與"降低測試圖像的目標(biāo)特征 維度"步驟中得到的向量--幌次組合成一條向量； 7).利用已訓(xùn)練的SVM分類器生成圖像類別 以"測試圖像的特征組合"步驟中得到的特征向量為圖像的特征向量，利用"執(zhí)行SVM 訓(xùn)練算法"步驟中得到訓(xùn)練好的SVM分類器對圖像進行識別。
【文檔編號】G06K9/62GK104376326SQ201410603389
【公開日】2015年2月25日 申請日期:2014年11月2日 優(yōu)先權(quán)日:2014年11月2日
【發(fā)明者】臧睦君, 劉通, 宋偉偉, 李陽, 王珂 申請人:吉林大學(xué)