專利名稱：一種主動(dòng)選擇代表性圖像的相關(guān)反饋方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字圖像的檢索裝置，特別涉及一種主動(dòng)選擇代表性圖像的相關(guān) 反饋機(jī)制。
背景技術(shù)：
數(shù)字圖像在日常生活和實(shí)際應(yīng)用中越來越頻繁的扮演著重要的角色。隨著網(wǎng)絡(luò)上 和個(gè)人用戶的數(shù)字圖像的快速增長，如何有效管理和利用這些數(shù)字圖像成為一個(gè)非常有意 義和挑戰(zhàn)的工作，而圖像檢索更是其中的關(guān)鍵技術(shù)。然而，由于每個(gè)用戶的搜索偏好都不 同，目前的檢索技術(shù)還不能非常精確的滿足所有用戶的要求，因此，一種稱為相關(guān)反饋的技 術(shù)引入進(jìn)來，讓用戶參與檢索過程，通過用戶和檢索裝置進(jìn)行交互和反饋，使得檢索結(jié)果更 加適應(yīng)個(gè)性化要求。具體的，當(dāng)檢索裝置向用戶呈現(xiàn)檢索結(jié)果后，用戶可以將若干圖像判斷 為相關(guān)或者不相關(guān)，并把這些信息提交給檢索裝置。檢索裝置利用這些獲得的信息來提高 檢索質(zhì)量，使得檢索結(jié)果更加符合用戶的要求。這樣的過程就叫做相關(guān)反饋，并且可以重復(fù) 進(jìn)行直到用戶滿意。目前，相關(guān)反饋過程中往往由檢索裝置隨機(jī)提供較少的候選圖像來讓用戶判斷是 否相關(guān)，從而限制了反饋圖像的信息量?，F(xiàn)在存在的極少的基于主動(dòng)學(xué)習(xí)的相關(guān)反饋機(jī)制 能自動(dòng)挑選出信息量較高的候選圖像，但往往只關(guān)注于那些檢索裝置最不確定的圖像，而 不考慮圖像的代表性，從而不能很大的提高相關(guān)反饋機(jī)制的效能。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明的針對(duì)現(xiàn)有的相關(guān)反饋機(jī)制中候選圖像隨機(jī)獲得或者只考慮片 面因素的問題，提供一種主動(dòng)選擇代表性圖像的相關(guān)反饋方法，從而能夠在選擇關(guān)反饋的 候選圖像時(shí)同時(shí)兼顧檢索裝置當(dāng)前已經(jīng)掌握的信息和對(duì)整個(gè)圖像數(shù)據(jù)庫的代表性，顯著提 高相關(guān)反饋的效率。技術(shù)方案為實(shí)現(xiàn)上述目的，本發(fā)明所述的一種主動(dòng)選擇代表性圖像的相關(guān)反饋 方法，主要包括以下一系列步驟一、計(jì)算數(shù)據(jù)庫中每張圖像的評(píng)分；二、按照評(píng)分從大到 小排序，選擇評(píng)分最大的圖像供用戶判斷是否相關(guān)；三、獲得用戶反饋結(jié)果后，重新計(jì)算數(shù) 據(jù)庫中圖像的相關(guān)度；四、依據(jù)新生成的圖像相關(guān)度對(duì)圖像排序，更新圖像檢索結(jié)果；五、 返回一或者結(jié)束。此過程可以重復(fù)進(jìn)行直到用戶對(duì)檢索結(jié)果滿意。計(jì)算機(jī)數(shù)據(jù)庫中的圖像由圖像數(shù)據(jù)庫L和查詢圖像U兩部分組成，其中圖像數(shù)據(jù) 庫L部分經(jīng)過用戶反饋，已經(jīng)具有是否相關(guān)的信息，查詢圖像U部分為未經(jīng)用戶反饋的圖 像。設(shè)定圖像數(shù)據(jù)庫L中共有N1幅圖像，查詢圖像U中共有N2幅圖像，相關(guān)反饋方法包含 以下步驟(1)獲得所有圖像L和U的特征向量XjPX2，以及L的是否相關(guān)信息^ ；如果是第 一輪，則L為空集；(2)對(duì)U中的每一幅圖像計(jì)算評(píng)分；
(3)將步驟2計(jì)算出來的評(píng)分按從大到小的順序排序；(4)選出評(píng)分最大的隊(duì)張圖像，用S表示，并獲得其特征向量X3;(5)將步驟4獲得的結(jié)果交給用戶判定是否相關(guān)，并用Y3表示反饋結(jié)果；(6)將S從U中移除，歸并到L中，對(duì)應(yīng)的X3加入到X1中，Y3加入到Y(jié)1,并相應(yīng)地
N1 加 N3, N2 減 N3 ；(7)根據(jù)更新后的X1, X2和Y1，計(jì)算每張圖像的相似度，根據(jù)新的相似度按從大到 小排序后輸出作為檢索結(jié)果；(8)如果用戶對(duì)檢索結(jié)果滿意了，則檢索過程結(jié)束，否則進(jìn)入新一輪的相關(guān)反饋。本發(fā)明主要基于以下的思想用戶反饋的圖像數(shù)量不一樣，或者反饋的圖像不一 樣，檢索裝置能獲得的信息量也就不同，如果完全隨機(jī)的向用戶提供候選圖像讓用戶判斷， 一方面，這樣隨機(jī)選取的圖像不一定是最有用的圖像，可能不能幫助檢索裝置提高檢索質(zhì) 量；另一方面，提供給用戶的候選圖像數(shù)量會(huì)很有限。而機(jī)器學(xué)習(xí)領(lǐng)域中的主動(dòng)學(xué)習(xí)技術(shù)能 很好的解決這樣的問題，檢索裝置利用主動(dòng)學(xué)習(xí)的思想能自動(dòng)的從數(shù)據(jù)庫中全局的挑選出 最適合用于反饋的圖像讓用戶判斷。而一張圖像是否適合用于反饋，是否能幫助檢索裝置 提高檢索結(jié)果質(zhì)量，一般可以從兩個(gè)方面來衡量一方面，如果檢索裝置對(duì)當(dāng)前這張圖像是 否相關(guān)非常不確定，那么用戶提供判斷之后，檢索裝置能獲得較大的信息量；另一方面，如 果這張圖像具有很好的代表性，能很好的代表數(shù)據(jù)庫中的某一類圖像，那么檢索裝置獲取 它是否相關(guān)的信息之后就能對(duì)數(shù)據(jù)庫中的大量圖像做出判斷，因此也是很有用的。本發(fā)明 就是基于以上兩個(gè)方面，用一個(gè)量化的評(píng)分來衡量圖像是否適合用于反饋，挑選出那些檢 索裝置不確定同時(shí)又具有很好的代表性的圖像。有益效果本發(fā)明與現(xiàn)有技術(shù)相比，其有益效果為本發(fā)明利用機(jī)器學(xué)習(xí)中的主 動(dòng)學(xué)習(xí)思想，在選擇相關(guān)反饋的候選圖像時(shí)同時(shí)兼顧檢索裝置當(dāng)前已經(jīng)掌握的信息和對(duì)整 個(gè)圖像數(shù)據(jù)庫的代表性，解決了之前相關(guān)反饋機(jī)制中候選圖像隨機(jī)獲得或者只考慮片面因 素的問題，從而顯著提高相關(guān)反饋的效率。


圖1是數(shù)字圖像檢索裝置工作流程圖。圖2是本發(fā)明機(jī)制的流程圖。圖3是計(jì)算每幅圖像的評(píng)分的流程圖。圖4是計(jì)算圖像相似度的流程圖。
具體實(shí)施例方式下面結(jié)合附圖，對(duì)最佳實(shí)施例進(jìn)行詳細(xì)說明，但是本發(fā)明的保護(hù)范圍不局限于所 述實(shí)施例。圖1所示為數(shù)字圖像檢索裝置工作流程圖。圖像數(shù)據(jù)庫由兩部分組成，圖像數(shù)據(jù) 庫部分是經(jīng)過用戶反饋的，已經(jīng)具有是否相關(guān)的信息，假設(shè)共有N1幅圖像，用L表示；查詢 圖像部分是未經(jīng)用戶反饋的圖像，假設(shè)總共有N2幅圖像，用U表示。裝置對(duì)數(shù)據(jù)庫中的圖 像提取特征，每一幅圖像由一個(gè)特征向量表示。特征提取可以使用數(shù)字圖像處理教科書中 的經(jīng)典方法生成適用的圖像特征，例如顏色、紋理、形狀等特征。
每次根據(jù)L和U中圖像的特征向量(假設(shè)用X1和X2表示)以及L中圖像的是否 相關(guān)的信息(假設(shè)用Y1表示，值為1時(shí)表示相關(guān)，值為-1時(shí)表示不相關(guān))，裝置進(jìn)行圖像檢 索，計(jì)算每幅圖像的相似度，并按相似度從大到小的順序輸出作為檢索結(jié)果。如果用戶對(duì)檢 索結(jié)果滿意了，則檢索過程結(jié)束，否則裝置將選擇若干圖像提供給用戶判斷是否相關(guān)，從而 進(jìn)入新一輪的相關(guān)反饋。圖2所示為本發(fā)明的相關(guān)反饋機(jī)制。步驟0開始，步驟1獲得所有圖像(包括L 和U)的特征向量X1, X2，以及L的是否相關(guān)的信息Yp如果是第一輪，則L為空集。步驟2 對(duì)U中的每一幅圖計(jì)算其評(píng)分，具體過程見圖3。步驟3將步驟2計(jì)算出來的評(píng)分排序，按 從大到小的順序排序。步驟4選擇出評(píng)分最大的N3張圖像，用S表示，并假設(shè)其特征向量 為X3，然后在步驟5中交給用戶判定是否相關(guān)，并用Y3 示反饋結(jié)果，即表示其是否相關(guān)，同 樣值為1表示相關(guān)，值為-1表示不相關(guān)。在步驟6中，將S從U中移除，歸并到L中，對(duì)應(yīng) 的X3加入到X1中，Y3加入到Y(jié)1，并相應(yīng)地N1加N3, N2減Ν3。步驟7中，根據(jù)更新后的X1, X2 和Y1，計(jì)算每張圖像的相似度，具體過程見圖4，根據(jù)新的相似度按從大到小排序后輸出作 為檢索結(jié)果。這樣到步驟8為止，一輪的相關(guān)反饋過程結(jié)束。圖3所示說明如何計(jì)算U中每幅圖像的評(píng)分。步驟20為開始動(dòng)作。步驟21中，基 于XJPX2計(jì)算一個(gè)核矩陣，大小為(NJN2) X (NJN2)，用K表示。這里核矩陣的計(jì)算方法可以 用機(jī)器學(xué)習(xí)或模式識(shí)別教科書中最常用的方法，比如線性核。每一幅圖像在K中都對(duì)應(yīng)著 某一行和某一列。步驟22，計(jì)算(Κ+Ι)的逆矩陣，結(jié)果用M表示，其中I是(NfN2) X (NJN2) 大小的單位陣。同樣的，每一幅圖像都在M矩陣中對(duì)應(yīng)著某一行和某一列。步驟23初始i 為1，開始對(duì)U中的圖像計(jì)數(shù)。步驟24判斷i是否大于N2,如果大于則U中的圖像已經(jīng)遍 歷完，跳向步驟29，結(jié)束，否則進(jìn)入下一步。步驟25中，假設(shè)當(dāng)前圖像i是相關(guān)的，這里引 入一個(gè)中間變量z，z = i表示相關(guān)，z = -1表示不相關(guān)，然后按照下面式(1)計(jì)算評(píng)分，得 到Vl。步驟26中，假設(shè)圖像i是不相關(guān)的，即ζ =-1，然后同樣按照式(1)計(jì)算評(píng)分，得到 V20式⑴中的代號(hào)M1到禮分別表示M矩陣中某一部分，分別由不同的行和列組成，具體 如下=M1由L中圖像對(duì)應(yīng)的行和列組成，大小為N1XN1, M2由U中除去第i幅以外圖像對(duì)應(yīng) 的行和列組成，大小為(N2-I) X (N2-I),M3由第i幅圖像對(duì)應(yīng)的行和列組成，大小為1X1，M4 由U中第i幅圖像對(duì)應(yīng)的行和L中圖像對(duì)應(yīng)的列組成，大小為IXN1,M5iU中除去第i幅以 外圖像對(duì)應(yīng)的行和L中圖像對(duì)應(yīng)的列組成大小為(N2-I) XN1, M6由U中除去第i幅以外圖 像對(duì)應(yīng)的行和U中第i幅圖像對(duì)應(yīng)的列組成，大小為(N2-I) XI。步驟27比較V1和V2，取其 中較小者作為圖像i的評(píng)分ν。步驟28將計(jì)數(shù)i加1，再轉(zhuǎn)到步驟24。注意用于計(jì)算評(píng)分 的式(1)中，既用到了 L中的圖像對(duì)應(yīng)的信息來幫助判斷檢索裝置當(dāng)前對(duì)圖像的不確定性， 同時(shí)又用到了 U中圖像對(duì)應(yīng)的信息來衡量圖像對(duì)其它所有圖像的代表性，從而保證了評(píng)分 同時(shí)從不確定性和代表性兩個(gè)方面衡量了當(dāng)前圖像是否適合用于反饋，也就保證了所選的 圖像能最大程度的提高檢索裝置的性能。值得說明的是，步驟27中的比較之所以選擇較小 值的作為圖像i的評(píng)分，主要是考慮到圖像i是否相關(guān)是無法知道的，選擇較小值相當(dāng)于保 守情況下保證了無論圖像i是相關(guān)還是不相關(guān)的，都能選擇到最適合于反饋的圖像。ν = -{zM3z + F1tM1Yi + 2zM4Y1 — (M5Y1 + M%zf M^x (M5Fi + M6z)) (3)圖4所示計(jì)算圖像相似度的流程圖，基于L計(jì)算每幅圖片的相似度可以有多種方 法，在典型實(shí)現(xiàn)例中采用下述計(jì)算方法。首先假設(shè)L中假設(shè)有Ill幅相關(guān)的圖像，有n2幅不相關(guān)的圖像，總共有η幅圖像需要計(jì)算相似度，并假設(shè)兩個(gè)長度為H1的臨時(shí)數(shù)組Α、Β分別存 儲(chǔ)中間值。步驟70為起始動(dòng)作。步驟71初始化i為1，開始計(jì)數(shù)。步驟72判斷是否η幅 圖像都已經(jīng)計(jì)算完畢，若i > η則跳到步驟75結(jié)束，否則進(jìn)入下一步。從步驟73開始分兩 個(gè)分支進(jìn)行。步驟7310初始j = 1，步驟7311判斷j是否大于ηι，是則跳到步驟7316，否 則進(jìn)入步驟7312，將k初始為1，步驟7313判斷k是否大于Ii1,是則跳到步驟7315，否則進(jìn) 入步驟7314。步驟7314按照式(2)計(jì)算得到值力之后存為A的第k個(gè)元素，并將k加1。 式(2)中Xi，\，和Xk分別表示第i幅要計(jì)算相似度的圖像，L中第j張相關(guān)圖像以及L中 第k張不相關(guān)圖像的特征向量，函數(shù)d是用來計(jì)算兩個(gè)向量的距離的，定義如式(3)，式(3) 中a和b為兩個(gè)向量，m為向量a和b的維數(shù)，at表示向量a的第t維的值，e0為一個(gè)預(yù)先 定義的非常小的常數(shù)，用于避免分母為0，在典型實(shí)現(xiàn)例中采用0.0001。步驟7315從A中 挑選一個(gè)最大值，存為B的第j個(gè)元素，并將j加1。步驟7316計(jì)算B的平均值，得到的值 記為Sp另一個(gè)分支從步驟7320到7326與步驟7310到7316類似，不同的是在步驟7324 按照式(4)計(jì)算，步驟7326得到的值記為s2。注意式(4)中的變量的含義與式(2)中的相 同。步驟74將S1和S2統(tǒng)一到同一量綱之后進(jìn)行求和，得到s，作為第i張圖像的相似度， 然后將i加1，返回到步驟72。<formula>formula see original document page 7</formula>熟知本領(lǐng)域的人士將理解，雖然這里為了便于解釋已描述了具體實(shí)施例，但是可 在不背離本發(fā)明精神和范圍的情況下作出各種改變。因此，除了所附權(quán)利要求之外，不能用 于限制本發(fā)明。
權(quán)利要求
一種主動(dòng)選擇代表性圖像的相關(guān)反饋方法，其特征是計(jì)算機(jī)數(shù)據(jù)庫中的圖像由圖像數(shù)據(jù)庫L和查詢圖像U兩部分組成，設(shè)定圖像數(shù)據(jù)庫L中共有N1幅圖像，查詢圖像U中共有N2幅圖像，相關(guān)反饋方法包含以下步驟(1)獲得所有圖像L和U的特征向量X1和X2，以及L的是否相關(guān)信息Y1；如果是第一輪，則L為空集；(2)對(duì)U中的每一幅圖像計(jì)算評(píng)分；(3)將步驟2計(jì)算出來的評(píng)分按從大到小的順序排序；(4)選出評(píng)分最大的N3張圖像，用S表示，并獲得其特征向量X3；(5)將步驟4獲得的結(jié)果交給用戶判定是否相關(guān)，并用Y3表示反饋結(jié)果；(6)將S從U中移除，歸并到L中，對(duì)應(yīng)的X3加入到X1中，Y3加入到Y(jié)1，并相應(yīng)地N1加N3，N2減N3；(7)根據(jù)更新后的X1，X2和Y1，計(jì)算每張圖像的相似度，根據(jù)新的相似度按從大到小排序后輸出作為檢索結(jié)果；(8)如果用戶對(duì)檢索結(jié)果滿意了，則檢索過程結(jié)束，否則進(jìn)入新一輪的相關(guān)反饋。
2.根據(jù)權(quán)利要求1所述的主動(dòng)選擇代表性圖像的相關(guān)反饋方法，其特征在于步驟(2) 具體包含以下步驟(21)基于\和X2計(jì)算一個(gè)核矩陣，大小為(Ni+N2)X (&+隊(duì))，用K表示；(22)計(jì)算(K+I)的逆矩陣，結(jié)果用M表示，其中I是(戰(zhàn))X(眺)大小的單位陣；(23)將圖像計(jì)數(shù)參數(shù)i置為1，開始對(duì)U中的圖像計(jì)數(shù)；(24)判斷i是否大于N2，如果大于則U中的圖像已經(jīng)遍歷完，跳向步驟29，否則進(jìn)入下一步；(25)，假設(shè)當(dāng)前圖像i是相關(guān)的，這里引入一個(gè)中間變量z，z= 1表示相關(guān)，z = -1表 示不相關(guān)，然后按照式(1)計(jì)算評(píng)分，得到^ ；(26)假設(shè)圖像i是不相關(guān)的，即z= -1，然后同樣按照式(1)計(jì)算評(píng)分，得到、；(27)比較^和，取其中較小者作為圖像i的評(píng)分u；(28)將圖像計(jì)數(shù)參數(shù)i加1，再轉(zhuǎn)到步驟24；(29)結(jié)束；<formula>formula see original document page 2</formula>式(1)中的代號(hào)虬到禮分別表示M矩陣中某一部分，分別由不同的行和列組成，具體 如下哋由L中圖像對(duì)應(yīng)的行和列組成，大小為NiXNp M2由U中除去第i幅以外圖像對(duì)應(yīng) 的行和列組成，大小為(N2-I) X (N2-1)，M3由第i幅圖像對(duì)應(yīng)的行和列組成，大小為1X1,M4 由U中第i幅圖像對(duì)應(yīng)的行和L中圖像對(duì)應(yīng)的列組成，大小為lXNp M5由U中除去第i幅 以外圖像對(duì)應(yīng)的行和L中圖像對(duì)應(yīng)的列組成大小為(N2-l) XN:, M6由U中除去第i幅以外 圖像對(duì)應(yīng)的行和U中第i幅圖像對(duì)應(yīng)的列組成，大小為(N2-l) XI。
3.根據(jù)權(quán)利要求1所述的主動(dòng)選擇代表性圖像的相關(guān)反饋方法，其特征是步驟(7)中 基于L計(jì)算每幅圖片的相似度的方法為首先假設(shè)L中假設(shè)有ni幅相關(guān)的圖像，有n2幅不 相關(guān)的圖像，總共有n幅圖像需要計(jì)算相似度，并假設(shè)兩個(gè)長度為叫的臨時(shí)數(shù)組A、B分別 存儲(chǔ)中間值，具體方法如下(71)將圖像計(jì)數(shù)參數(shù)i置為1，開始計(jì)數(shù)；(72)判斷是否n幅圖像都已經(jīng)計(jì)算完畢，若i> n則跳到步驟75結(jié)束，否則進(jìn)入下一步。(73)分兩個(gè)分支進(jìn)行 第一個(gè)分支為(7310)設(shè)圖像計(jì)數(shù)參數(shù)j= 1 ；(7311)判斷j是否大于叫，是則跳到步驟7316，否則進(jìn)入下一步；(7312)將圖像計(jì)數(shù)參數(shù)k初始置為1；(7313)判斷k是否大于ni，是則跳到步驟7315，否則進(jìn)入下一步；(7314)按照式(2)計(jì)算得到值ei之后存為A的第k個(gè)元素，并將k加1；(7315)從A中挑選一個(gè)最大值，存為B的第j個(gè)元素，并將j加1；(7316)計(jì)算B的平均值，得到的值記為Sl； 第二個(gè)分支為(7320)設(shè)圖像計(jì)數(shù)參數(shù)j= 1 ；(7321)判斷j是否大于叫，是則跳到步驟7316，否則進(jìn)入下一步；(7322)，將圖像計(jì)數(shù)參數(shù)k初始置為1；(7323)判斷k是否大于ni，是則跳到步驟7315，否則進(jìn)入下一步；(7324)按照式(4)計(jì)算得到值ei之后存為A的第k個(gè)元素，并將k加1；(7325)從A中挑選一個(gè)最大值，存為B的第j個(gè)元素，并將j加1；(7326)計(jì)算B的平均值，得到的值記為S2；<formula>formula see original document page 3</formula>(74)將Sl和s2統(tǒng)一到同一量綱之后進(jìn)行求和，得到s，作為第i張圖像的相似度，然后 將圖像計(jì)數(shù)參數(shù)i加1，返回到步驟72 ；(75)結(jié)束；式(2)中Xi，\，和xk分別表示第i幅要計(jì)算相似度的圖像，L中第j張相關(guān)圖像以及 L中第k張不相關(guān)圖像的特征向量，函數(shù)d是用來計(jì)算兩個(gè)向量的距離的，定義如式(3)；式 (3)中a和b為兩個(gè)向量，m為向量a禾P b的維數(shù)，at表示向量a的第t維的值，％為預(yù)先 定義的大于0的非常小的常數(shù)，；式⑷中的變量的含義與式⑵中的相同。
全文摘要
本發(fā)明提供一種主動(dòng)選擇代表性圖像的相關(guān)反饋方法，主要包括以下一系列步驟(一)計(jì)算數(shù)據(jù)庫中每張圖像的評(píng)分；(二)按照評(píng)分從大到小排序，選擇評(píng)分最大的圖像供用戶判斷是否相關(guān)；(三)獲得用戶反饋結(jié)果后，重新計(jì)算數(shù)據(jù)庫中圖像的相關(guān)度；(四)依據(jù)新生成的圖像相關(guān)度對(duì)圖像排序，更新圖像檢索結(jié)果；(五)返回(一)或者結(jié)束。本發(fā)明利用機(jī)器學(xué)習(xí)中的主動(dòng)學(xué)習(xí)思想，在選擇相關(guān)反饋的候選圖像時(shí)同時(shí)兼顧檢索裝置當(dāng)前已經(jīng)掌握的信息和對(duì)整個(gè)圖像數(shù)據(jù)庫的代表性，解決了之前相關(guān)反饋機(jī)制中候選圖像隨機(jī)獲得或者只考慮片面因素的問題，從而顯著提高相關(guān)反饋的效率。
文檔編號(hào)G06F17/30GK101833565SQ20101013751
公開日2010年9月15日 申請(qǐng)日期2010年3月31日 優(yōu)先權(quán)日2010年3月31日
發(fā)明者周志華, 黃圣君 申請(qǐng)人:南京大學(xué)