本發(fā)明屬于圖像檢索領(lǐng)域，主要涉及一種基于多特征多關(guān)系的圖像檢索方法

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們已經(jīng)習(xí)慣于在互聯(lián)網(wǎng)上搜索圖片。但是目前主流網(wǎng)站例如百度、谷歌等都是利用圖像中人工給定的文字標(biāo)簽進行檢索，如果圖像上沒有添加標(biāo)簽就不能被檢索到。因此如何利用圖像來檢索圖像，是目前互聯(lián)網(wǎng)圖像檢索領(lǐng)域的熱門之一。

針對上述問題，研究者們提出了一些方法，但是由于圖像本身具有不同的特征和圖像關(guān)系之間的復(fù)雜性，利用圖像來檢索圖像始終困擾著研究者們。最近在2015年圖像處理頂級刊物IEEE TRANS ON IMAGE PROCESSING上發(fā)表了一篇名為《Neighborhood Discriminant Hashing oflarge scale image retrieval》的文章，該文章提出了一種利用局部信息的區(qū)別學(xué)習(xí)出一個新的哈希方程來進行圖像的檢索。但是由于該方法并沒有考慮圖像不同特征所包含的不同信息以及圖像和圖像之間的不同關(guān)系，因此檢索到的圖像具有一定的局限性。到目前為止，依然沒有一種圖像檢索方法既考慮了圖像本身的不同特征，又考慮了圖像與圖像之間不同關(guān)系。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在解決當(dāng)前圖像檢索方法對圖像進行檢索中由于忽視圖像的不同特征和不同關(guān)系所導(dǎo)致的圖像檢索結(jié)果不理想的問題，提出一種基于多特征多關(guān)系的圖像檢索方法，以期通過綜合考慮圖像的不同特征，以及圖像之間的不同關(guān)系，來改善圖像檢索的效果，從而增強圖像檢索的魯棒性。

本發(fā)明為解決技術(shù)問題，采用如下的技術(shù)方案：

本發(fā)明一種基于多特征多關(guān)系的圖像檢索方法的特點是按如下步驟進行：

步驟1：對大小為m×n的圖像數(shù)據(jù)集X中所有的圖像提取顏色、紋理、形狀和詞袋特征，分別得到大小為m×n₁的顏色特征數(shù)據(jù)集X₁，大小為m×n₂的紋理特征圖像數(shù)據(jù)集X₂，大小為m×n₃的形狀特征圖像數(shù)據(jù)集X₃，大小為m×n₄的詞袋特征圖像數(shù)據(jù)集X₄；其中m為數(shù)據(jù)集中圖像樣本的個數(shù)，n、n₁、n₂、n₃、n₄分別為不同數(shù)據(jù)集中圖像樣本的維數(shù)；

步驟2：利用多特征局部投票法，將所述顏色特征數(shù)據(jù)集X₁、紋理特征圖像數(shù)據(jù)集X₂、形狀特征圖像數(shù)據(jù)集X₃、詞袋特征圖像數(shù)據(jù)集X₄進行融合，得到大小為m×n₅的綜合特征數(shù)據(jù)集Y，n₅為綜合特征數(shù)據(jù)集Y中圖像樣本的維數(shù)；

步驟3：將綜合特征數(shù)據(jù)集Y輸入卷積神經(jīng)網(wǎng)絡(luò)，得到大小為m×n₆特征數(shù)據(jù)集E，n₆為特征數(shù)據(jù)集E中圖像樣本的維數(shù)；

步驟4：利用k均值聚類方法求所述特征數(shù)據(jù)集E的聚類，將大小為n₆×n₆的各個聚類中心作為關(guān)系神經(jīng)元R₁,R₂,…,R_k；

步驟5：利用已知的標(biāo)簽信息，將所述特征數(shù)據(jù)集E分為大小為m₁×n₆的檢索圖像數(shù)據(jù)集Q和大小為m₂×n₆的訓(xùn)練圖像集T，其中m＝m₁+m₂；

步驟6：利用式(1)構(gòu)建第i個圖像和第j個圖像的相似度s_ij：

$s_{ij}=\underset{t=1}{\overset{k}{\mathrm{\Σ}}}sigmoid\left(Q_i{R}_t{T}_j\right)---\left(1\right)$

式(1)中，Q_i為所述檢索圖像數(shù)據(jù)集Q中第i個圖像，T_j為所述訓(xùn)練圖像集T中第j個圖像；R_t為第t個關(guān)系神經(jīng)元；

步驟7：利用已知標(biāo)簽信息構(gòu)建如式(2)所示的目標(biāo)方程L：

L＝min(s_--s₊) (2)

式(2)中，s₊為所述特征數(shù)據(jù)集E中兩個具有相同標(biāo)簽的圖像的相似度，s_-為所述特征數(shù)據(jù)集E中兩個具有不同標(biāo)簽的圖像的相似度；

步驟8：利用BP算法對所述關(guān)系神經(jīng)元R₁,R₂,…,R_k進行迭代更新，直到滿足目標(biāo)方程L。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果體現(xiàn)在：

1本發(fā)明考慮了圖像的不同特征，比如顏色、紋理、形狀和詞袋特征。因此本圖像檢索方法的結(jié)果和現(xiàn)有方法相比，體現(xiàn)了圖像在不同特征上的相似性，圖像檢索結(jié)果更加的準(zhǔn)確和豐富；

2本發(fā)明利用了深度卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖像綜合特征的表達(dá)，既挖掘了圖像綜合特征中的有效信息，同時降低了數(shù)據(jù)的維數(shù)，加速了算法的速度；

3本發(fā)明通過對學(xué)習(xí)到的綜合特征進行聚類，通過不同的聚類中心定義了圖像和圖像之間的不同關(guān)系，比如北極熊、棕熊、熊貓和玩具熊之間的關(guān)系。因此本圖像檢索方法的結(jié)果和現(xiàn)有方法相比，不僅提高了圖像檢索的準(zhǔn)確性，同時保證了圖像檢索結(jié)果的合理性。

附圖說明

圖1為本發(fā)明的實驗結(jié)果示意圖。

具體實施方式

本實施例中，一種基于多特征多關(guān)系的圖像檢索方法是首先利用不同的圖像特征提取方法對圖像提出不同的特征；然后利用多特征局部投票法，將提取到的不同圖像特征進行特征融合，得到一個綜合特征；其次利用深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)出一個更好的特征表達(dá)；再次利用k均值聚類的方法得到不同的關(guān)系神經(jīng)元，并設(shè)計一個目標(biāo)方程；最后利用BP算法對關(guān)系神經(jīng)元進行迭代更新，完成學(xué)習(xí)。具體的說是按如下步驟進行的：

步驟1：對大小為m×n的圖像數(shù)據(jù)集X中所有圖像提取顏色、紋理、形狀和詞袋特征，分別得到大小為m×n₁的顏色特征數(shù)據(jù)集X₁，大小為m×n₂的紋理特征圖像數(shù)據(jù)集X₂，大小為m×n₃的形狀特征圖像數(shù)據(jù)集X₃，大小為m×n₄的詞袋特征圖像數(shù)據(jù)集X₄；其中m為數(shù)據(jù)集中圖像樣本的個數(shù)，n、n₁、n₂、n₃、n₄分別為不同數(shù)據(jù)集中圖像樣本的維數(shù)；

通過對圖像提取不同的特征，圖像檢索時一方面提高了檢索的精度，另一方面確保了檢索結(jié)果的豐富；

步驟2：利用多特征局部投票法，將顏色特征數(shù)據(jù)集X₁、紋理特征圖像數(shù)據(jù)集X₂、形狀特征圖像數(shù)據(jù)集X₃、詞袋特征圖像數(shù)據(jù)集X₄進行融合，得到一個大小為m×n₅的綜合特征數(shù)據(jù)集Y，n₅為綜合特征數(shù)據(jù)集Y中樣本的維數(shù)，

通過對多特征進行融合，一方面挖掘了每個特征中具有代表性的信息，同時降低了特征的維數(shù)，使得計算加快；

步驟3：將綜合特征數(shù)據(jù)集Y輸入卷積神經(jīng)網(wǎng)絡(luò)，得到大小為m×n₆特征數(shù)據(jù)集E，n₆為特征數(shù)據(jù)集E中圖像樣本的維數(shù)；

通過利用深度卷積神經(jīng)網(wǎng)絡(luò)，進一步的挖掘出特征中的有效信息，同時進一步降低了特征的維數(shù)；

步驟4：利用k均值聚類方法求所述特征數(shù)據(jù)集E的聚類，將大小為n₆×n₆的各個聚類中心作為關(guān)系神經(jīng)元R₁,R₂,…,R_k；不同的關(guān)系神經(jīng)元代表了圖像與圖像之間的不同關(guān)系，

步驟5：利用已知的標(biāo)簽信息，將特征數(shù)據(jù)集E分為大小為m₁×n₆的檢索圖像數(shù)據(jù)集Q和大小為m₂×n₆的訓(xùn)練圖像集T，其中m＝m₁+m₂；

步驟6：利用式(1)構(gòu)建第i個圖像和第j個圖像的相似度s_ij，即構(gòu)建相似度方程s_ij：

$s_{ij}=\underset{t=1}{\overset{k}{\mathrm{\Σ}}}sigmoid\left(Q_i{R}_t{T}_j\right)---\left(1\right)$

式(1)中，Q_i為檢索圖像數(shù)據(jù)集Q中第i個圖像，T_j為訓(xùn)練圖像集T中第j個圖像；R_t為第t個關(guān)系神經(jīng)元；

步驟7：利用已知標(biāo)簽信息構(gòu)建如式(2)所示的目標(biāo)方程L：

L＝min(s_--s₊) (2)

式(2)中，s₊為特征數(shù)據(jù)集E中兩個具有相同標(biāo)簽的圖像的相似度，s_-為特征數(shù)據(jù)集E中兩個具有不同標(biāo)簽的圖像的相似度；通過使目標(biāo)方程達(dá)到最小值，即讓具有相同標(biāo)簽的圖像相似度越大越好，讓具有不同標(biāo)簽的圖像相似度越小越好；

步驟8：利用BP算法對所述關(guān)系神經(jīng)元R₁,R₂,…,R_k進行迭代更新，直到滿足目標(biāo)方程L的要求，從而獲得更新后的關(guān)系神經(jīng)元R₁′,R₂′,…,R_k′，使得所述相似度s_ij，在第i個圖像和第j個圖像擁有相同標(biāo)簽時較大，在擁有不同標(biāo)簽時較小。

如圖1所示，左側(cè)為檢索圖像，右側(cè)為根據(jù)左側(cè)圖像進行檢索的結(jié)果。從檢索結(jié)果中可以看到，本方法不僅可以檢索到在圖像特征關(guān)系上相似的圖像，也可以檢索到圖像內(nèi)容關(guān)系上相似的圖像。