一種基于n元模型的圖片索引構(gòu)建方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種基于n元模型的圖片索引構(gòu)建方法及裝置，涉及圖像索引的結(jié)構(gòu)與構(gòu)建技術(shù)。本發(fā)明公開的方法包括：對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”；根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像n元的圖像詞典；根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像n元，建立基于n元模型的圖片索引。本發(fā)明還公開了一種基于n元模型的圖片索引構(gòu)建裝置。本申請(qǐng)技術(shù)方案避免了傳統(tǒng)的圖片索引結(jié)構(gòu)中將圖像的高維底層特征作為索引對(duì)象，同時(shí)避免了構(gòu)建索引過程中復(fù)雜的降維處理過程。
【專利說明】—種基于η元模型的圖片索引構(gòu)建方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像索引的結(jié)構(gòu)與構(gòu)建技術(shù),具體涉及一種基于η元(n-gram)模型的圖片索引構(gòu)建方法及裝置，主要應(yīng)用于圖像語(yǔ)義自動(dòng)標(biāo)注和圖像檢索領(lǐng)域。
【背景技術(shù)】
[0002]在基于內(nèi)容的圖片檢索系統(tǒng)中，對(duì)大量圖片建立一個(gè)有效而快速的索引，是一個(gè)困難而復(fù)雜的問題。傳統(tǒng)的圖片索引結(jié)構(gòu)都是對(duì)圖片提取不同的底層特征(一般包括，顏色，紋理特征等)，然后將相應(yīng)的特征向量作為一個(gè)整體進(jìn)行索引，而這些特征一般維數(shù)較大，因此傳統(tǒng)的圖片索引方法都是對(duì)圖片底層高維特征進(jìn)行索引的樹狀索引結(jié)構(gòu)。這些索弓丨結(jié)構(gòu)隨著圖片數(shù)量的增加與圖片特征維數(shù)的增加，其性能都會(huì)急劇下降。因此，傳統(tǒng)的索引結(jié)構(gòu)在對(duì)圖像建立索引之前，都需要對(duì)圖像的高維特征數(shù)據(jù)進(jìn)行復(fù)雜的降維處理過程。
[0003]降維處理中較為常用的一種技術(shù)是主元分析(Principal ComponentAnalysis,PCA)方法。它通過構(gòu)造一組新的潛隱變量降低原始數(shù)據(jù)空間的維數(shù)，再?gòu)男碌挠成淇臻g抽取主要變化信息，提取統(tǒng)計(jì)特征，從而構(gòu)成對(duì)原始數(shù)據(jù)空間特性的理解。新的映射空間的變量由原始數(shù)據(jù)變量的線性組合構(gòu)成，從而大大降低了投影空間的維數(shù)。由于投影空間統(tǒng)計(jì)特征向量彼此正交，消除了變量間的關(guān)聯(lián)性，簡(jiǎn)化了原始過程特性分析的復(fù)雜程度。
[0004]對(duì)圖片高維特征向量進(jìn)行降維處理后，研究者提出了 X-tree，VA-file和
1-Distance圖片索引結(jié)構(gòu)與方法。由于這些方法將圖像高維特征向量作為整體進(jìn)行索弓丨，并且沒有充分考慮到圖片的特征，其性能并不理想。針對(duì)圖像數(shù)據(jù)的高維數(shù)據(jù)的特點(diǎn)，Berman 等提出 了圖像數(shù)據(jù)存儲(chǔ)系統(tǒng) FIDS (Flexiblelmage Database System)。FIDS 系統(tǒng)運(yùn)用了“三角不等式”算法進(jìn)行索引數(shù)據(jù)，從而極大的減少了需要進(jìn)行與Query圖片做比較的次數(shù)。而且FIDS允許用戶在檢索的過程中選擇不同的相似度檢索方法以及他們的組合對(duì)圖片進(jìn)行檢索。但該方法仍然是將圖片的高維特征向量作為整體進(jìn)行索引，其索引結(jié)構(gòu)相對(duì)復(fù)雜并且在建立索引的過程中需要復(fù)雜的降維處理過程。同時(shí)傳統(tǒng)的圖片索引結(jié)構(gòu)，沒能體現(xiàn)出帶有語(yǔ)義標(biāo)簽的圖像的底層特征與語(yǔ)義標(biāo)簽之前的關(guān)系。

【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是，提供一種基于n-gram模型的圖片索引構(gòu)建方法及裝置，以提高圖片檢索效率。
[0006]為了解決上述技術(shù)問題，本發(fā)明公開了一種基于η元模型的圖片索引構(gòu)建方法，包括:
[0007]對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”;
[0008]根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典；
[0009]根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元，建立基于η元模型的圖片索引。[0010]較佳地，上述方法中，所述提取圖像數(shù)據(jù)集的“圖像詞元”的過程如下:
[0011]將隨機(jī)選取的圖片元均勻切分為若干個(gè)圖像小塊；
[0012]提取所述圖像小塊的圖像底層特征，將其多個(gè)底層特征進(jìn)行融合，得到反應(yīng)圖像小塊多種底層特征的特征向量；
[0013]對(duì)得到的每個(gè)圖像小塊的特征向量，進(jìn)行聚類操作，選取代表相應(yīng)簇類的典型數(shù)據(jù)點(diǎn)作為“圖像詞元”。
[0014]較佳地，上述方法中，根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典的過程如下:
[0015]針對(duì)每一個(gè)“圖像詞元”，將與其相鄰的η-1個(gè)“圖像詞元”構(gòu)成一個(gè)“圖像詞元”序列，將所有“圖像詞元”序列作為一個(gè)項(xiàng)加入“圖像詞典”中，同時(shí)加入其長(zhǎng)度小于η的其他“圖像詞元”序列，構(gòu)成“圖像詞典”，η為大于I的整數(shù)。
[0016]較佳地，上述方法中，根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元指:
[0017]在建立索引的過程中，對(duì)索引的圖片提取所述“圖像詞典”項(xiàng)，計(jì)算每個(gè)圖片基于相應(yīng)“圖像詞典”的詞頻-逆向文件頻率(TF-1DF)特征向量。
[0018]較佳地，上述方法中，按照如下公式計(jì)算每個(gè)圖片的基于相應(yīng)“圖像詞典”的
TF-1DF特征向量:.η? ,
【權(quán)利要求】
1.一種基于η元模型的圖片索引構(gòu)建方法，其特征在于，該方法包括: 對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”； 根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典； 根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元，建立基于η元模型的圖片索引。
2.如權(quán)利要求1所述的方法，其特征在于，所述提取圖像數(shù)據(jù)集的“圖像詞元”的過程如下: 將隨機(jī)選取的圖片元均勻切分為若干個(gè)圖像小塊； 提取所述圖像小塊的圖像底層特征，將其多個(gè)底層特征進(jìn)行融合，得到反應(yīng)圖像小塊多種底層特征的特征向量； 對(duì)得到的每個(gè)圖像小塊的特征向量，進(jìn)行聚類操作，選取代表相應(yīng)簇類的典型數(shù)據(jù)點(diǎn)作為“圖像詞元”。
3.如權(quán)利要求1或2所述的方法，其特征在于，根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典的過程如下: 針對(duì)每一個(gè)“圖像詞元”，將與其相鄰的η-1個(gè)“圖像詞元”構(gòu)成一個(gè)“圖像詞元”序列，將所有“圖像詞元”序列作為一個(gè)項(xiàng)加入“圖像詞典”中，同時(shí)加入其長(zhǎng)度小于η的其他“圖像詞元”序列，構(gòu)成“圖像詞典”，η為大于I的整數(shù)?！?br> 4.如權(quán)利要求3所述的方法，其特征在于，根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元指: 在建立索引的過程中，對(duì)索引的圖片提取所述“圖像詞典”項(xiàng)，計(jì)算每個(gè)圖片基于相應(yīng)“圖像詞典”的詞頻-逆向文件頻率(TF-1DF)特征向量。
5.如權(quán)利要求4所述的方法，其特征在于，按照如下公式計(jì)算每個(gè)圖片的基于相應(yīng)“圖像詞典”的TF-1DF特征向量:
/I,, H =——^_
V η 式中IIi, j——“圖像詞典”項(xiàng)在圖像dj中的出現(xiàn)頻數(shù)； Σ knk,j——圖像Clj中所有項(xiàng)出現(xiàn)頻數(shù)總和；
IDI idf =1g-^-
1+U./:/, e I 式中|d|—圖片庫(kù)的圖像總數(shù)； U:t, e dj} I—包含該“圖像詞典”項(xiàng)ti的圖像數(shù)量。
6.一種基于η元模型的圖片索引構(gòu)建裝置，其特征在于，該裝置包括: 第一模塊，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集進(jìn)行預(yù)處理，從預(yù)處理后的圖像數(shù)據(jù)集中提取“圖像詞元”； 第二模塊，根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典； 第三模塊，根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元，建立基于η元模型的圖片索引。
7.如權(quán)利要求6所述的裝置，其特征在于，所述第一模塊提取圖像數(shù)據(jù)集的“圖像詞元”指: 將隨機(jī)選取的圖片元均勻切分為若干個(gè)圖像小塊； 提取所述圖像小塊的圖像底層特征，將其多個(gè)底層特征進(jìn)行融合，得到反應(yīng)圖像小塊多種底層特征的特征向量； 對(duì)得到的每個(gè)圖像小塊的特征向量，進(jìn)行聚類操作，選取代表相應(yīng)簇類的典型數(shù)據(jù)點(diǎn)作為“圖像詞元”。
8.如權(quán)利要求6或7所述的裝置，其特征在于，所述第二模塊根據(jù)所提取的“圖像詞元”構(gòu)建相應(yīng)的包含圖像η元的圖像詞典指: 針對(duì)每一個(gè)“圖像詞元”，將與其相鄰的η-1個(gè)“圖像詞元”構(gòu)成一個(gè)“圖像詞元”序列，將所有“圖像詞元”序列作為一個(gè)項(xiàng)加入“圖像詞典”中，同時(shí)加入其長(zhǎng)度小于η的其他“圖像詞元”序列，構(gòu)成“圖像詞典”，η為大于I的整數(shù)。
9.如權(quán)利要求8所述的裝置，其特征在于，所述第三模塊根據(jù)所構(gòu)建的圖像詞典，對(duì)帶有文本標(biāo)注的圖片數(shù)據(jù)集中的圖片進(jìn)行切割，提取相應(yīng)的圖像η元指: 在建立索引的過程中，對(duì)索引的圖片提取所述“圖像詞典”項(xiàng)，計(jì)算每個(gè)圖片基于相應(yīng)“圖像詞典”的詞頻-逆向文件頻率(TF-1DF)特征向量。
10.如權(quán)利要求9所述的裝置，其特征在于，所述第三模塊按照如下公式計(jì)算每個(gè)圖片的基于相應(yīng)“圖像詞典”的TF-1DF特征向量:
【文檔編號(hào)】G06F17/30GK103853795SQ201210522640
【公開日】2014年6月11日 申請(qǐng)日期:2012年12月7日 優(yōu)先權(quán)日:2012年12月7日
【發(fā)明者】戶保田, 陸平, 劉麗霞, 陳清才, 劉勝宇 申請(qǐng)人:中興通訊股份有限公司, 哈爾濱工業(yè)大學(xué)深圳研究生院