專利名稱：圖像相似度計(jì)算系統(tǒng)、圖像搜索系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于計(jì)算多個圖像的相似度的圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，還涉及一種用于檢索與查詢圖像相似的圖像的圖像檢索系統(tǒng)。更具體地講，本發(fā)明涉及一種用于檢測原始圖像和編輯圖像之間的相似度的圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，還涉及一種用于檢索與所編輯的查詢圖像相似的圖像的圖像檢索系統(tǒng)。
背景技術(shù)：
存在一種要計(jì)算要彼此進(jìn)行比較的兩個圖像之間的相似度的圖像相似度計(jì)算方法。通常，這樣的圖像相似度計(jì)算方法用于在從所登記的圖像組中檢索與查詢圖像相似的圖像的圖像檢索系統(tǒng)中，計(jì)算查詢圖像和被檢索圖像之間的相似度。
專利文獻(xiàn)1描述了一種傳統(tǒng)圖像檢索方法的示例。在專利文獻(xiàn)1中所述的圖像檢索方法將圖像分割為多個塊，并計(jì)算每一個塊的特征量。另外，圖像檢索方法根據(jù)針對每一個塊所獲得的特征量來向每一個塊提供標(biāo)簽，并通過按指定的次序排列標(biāo)簽來產(chǎn)生標(biāo)簽矩陣。該圖像檢索方法將查詢圖像和被檢索圖像之間的圖像相似度計(jì)算為從這些圖像中所獲得的標(biāo)簽列的相似度。在檢索時，相似度超過閾值的被檢索圖像被作為檢索結(jié)果輸出。
專利文獻(xiàn)2描述了一種檢索與查詢圖像部分相似的圖像的圖像檢索方法。在專利文獻(xiàn)2中所述的圖像檢索方法輸入查詢圖像和查詢區(qū)，即，在查詢圖像中進(jìn)行檢索的區(qū)域。該方法將查詢圖像分割為塊。根據(jù)每一個塊和查詢區(qū)之間的重疊區(qū)來定義權(quán)重。該方法使用權(quán)重對每一個塊的特征量進(jìn)行加權(quán)以計(jì)算特征量。相似地，該方法計(jì)算被檢索的圖像的特征量，并對兩個特征量進(jìn)行比較以計(jì)算圖像相似度。在檢索時，將具有高圖像相似度的圖像輸出為檢索結(jié)果。
專利文獻(xiàn)3描述了反映用戶的檢索意圖的圖像檢索方法。在專利文獻(xiàn)3中所述的圖像檢索方法將查詢圖像和被檢索圖像分割為多個區(qū)域，并允許用戶為所分割的區(qū)域定義不同的權(quán)重。該方法通過比較查詢圖像和被檢索圖像之間的相應(yīng)分割區(qū)域的特征量來獲取相似度。該方法將為每一個分割區(qū)域而定義的權(quán)重應(yīng)用于相似度，以計(jì)算圖像相似度。由于用戶可以在檢索期間指定需要特征關(guān)注的區(qū)域，能夠執(zhí)行反映用戶的檢索意圖的圖像檢索。
專利文獻(xiàn)1JP-A-1999-312248(段落0012-0013，圖9和13)專利文獻(xiàn)2JP-A-2000-163576(段落0017-0020，圖7和8)專利文獻(xiàn)3JP-A-2001-134765(段落0028-0031，圖11)發(fā)明內(nèi)容然而，專利文獻(xiàn)1中所述的方法假定了查詢圖像和被檢索的圖像之間的一致性?？梢酝ㄟ^將紙帶疊置在其上或部分地切割或修剪圖像以部分地改變圖像的圖案來變化地編輯圖像。該方法計(jì)算這樣改變的圖像和編輯之前的原始圖像之間的圖像相似度的較小值。存在不能夠獲得充分的吞吐量來確定或從編輯圖像中檢索原始圖像的問題。
盡管專利文獻(xiàn)2所述的方法可以處理具有局部不同的圖案的編輯圖像，但是需要預(yù)先指定作為檢索目標(biāo)的區(qū)域。同樣，專利文獻(xiàn)3中所述的方法將權(quán)重值賦予了圖像中的每一個區(qū)域，需要用戶指定在檢索期間需要特別關(guān)注的區(qū)域。因此，用戶需要預(yù)先指定未編輯的區(qū)域來計(jì)算圖像相似度，以便確定或從編輯圖像中檢索編輯之前的原始圖像。這樣存在著給用戶帶來極大不變的問題。
已經(jīng)提出了本發(fā)明來解決上述問題。因此，本發(fā)明的目的是提供一種圖像相似度計(jì)算系統(tǒng)、圖像檢索系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，能夠?qū)D像相似度計(jì)算為編輯圖像和編輯之前的原始圖像之間的較大值，而不會給用戶帶來指定區(qū)域的不便，從而確定或從具有局部改變的圖案的編輯圖像中檢索編輯之前的原始圖像。
根據(jù)本發(fā)明，提供了一種圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，配置為使用針對要應(yīng)用于圖像的編輯處理的概率的概率模型；將針對查詢圖像的每一個分割的小區(qū)域的特征量與針對參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
根據(jù)本發(fā)明的另一個實(shí)施例，提供了一種圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，配置為考慮針對要應(yīng)用于圖像的每一個區(qū)域的編輯處理的概率的概率模型，將針對查詢圖像的每一個分割的小區(qū)域的特征量與針對參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；以及計(jì)算查詢圖像和參考圖像之間的圖像相似度。
根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，配置為將針對查詢圖像的每一個分割的小區(qū)域的特征量與針對參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；并且利用要應(yīng)用于圖像的編輯處理的概率的概率模型，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
根據(jù)本發(fā)明的另一個實(shí)施例，提供了一種圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法和圖像相似度計(jì)算程序，配置為利用要應(yīng)用于每一個圖像區(qū)域的編輯處理的概率的概率模型，將針對查詢圖像的每一個分割的小區(qū)域的特征量與針對參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；以及利用該概率模型，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，例如，提供了一種圖像相似度計(jì)算系統(tǒng)，包括局部區(qū)域權(quán)重計(jì)算裝置，用于根據(jù)要應(yīng)用于每一個區(qū)域的圖像的編輯處理的概率來計(jì)算基于圖像區(qū)域的權(quán)重值；小區(qū)域相似度計(jì)算裝置，用于將針對查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，以計(jì)算各個小區(qū)域的特征量的相似度；以及圖像相似度計(jì)算裝置，用于將基于區(qū)域的權(quán)重值應(yīng)用于計(jì)算出的基于小區(qū)域的相似度，以計(jì)算查詢圖像和參考圖像之間的圖像相似度。上述結(jié)構(gòu)用于考慮針對每一個圖像區(qū)域的編輯概率來計(jì)算圖像相似度。這樣能夠消除在確定圖像相似度期間的很可能被編輯的區(qū)域的效應(yīng)。能夠針對編輯圖像和原始圖像之間的圖像相似度產(chǎn)生較大值。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，例如，提供了一種圖像相似度計(jì)算系統(tǒng)，包括匹配確定閾值確定裝置，用于根據(jù)要用于每一個區(qū)域的圖像的編輯處理的概率來計(jì)算確定圖像之間的匹配的閾值；小區(qū)域相似度計(jì)算裝置，用于將針對通過分割查詢圖像得到的每一個小區(qū)域的特征量與通過分割參考圖像得到的每一個小區(qū)域的特征量進(jìn)行比較，以計(jì)算針對各個小區(qū)域的特征量的相似度；以及圖像相似度計(jì)算裝置，用于根據(jù)計(jì)算出的基于小區(qū)域的相似度來計(jì)算整個圖像的相似度，利用用于確定匹配的閾值來修改整個圖像的相似度，并且計(jì)算查詢圖像和參考圖像之間的圖像相似度。通過該結(jié)構(gòu)，根據(jù)要應(yīng)用于圖像的編輯處理的概率的概率模型來估算圖像之間的相似度的概率分布，并且計(jì)算用于確定要比較的兩個圖像之間是否匹配的最佳閾值。該閾值用于修改圖像之間的相似度。能夠針對編輯圖像和原始圖像之間的圖像相似度產(chǎn)生較大值，并且針對完全彼此不相關(guān)的兩個圖像之間的圖像相似度，產(chǎn)生較小值。另外，能夠計(jì)算適合于確定被編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，例如，提供了一種圖像檢索系統(tǒng)，包括編輯概率模型估算裝置，用于利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算局部區(qū)域編輯概率，即，要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率；局部區(qū)域權(quán)重計(jì)算裝置，用于根據(jù)局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值，即，圖像中的每一個局部區(qū)域的權(quán)重值；圖像分割裝置，用于將作為輸入提供的被編輯的查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，用于從分割的小區(qū)域中提取查詢圖像小區(qū)域特征量，即，針對每一個小區(qū)域的特征量；參考圖像組小區(qū)域特征量存儲裝置，用于存儲針對由多個預(yù)先登記的參考圖像構(gòu)成的參考圖像組中的各個參考圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，用于將存儲在參考圖像組小區(qū)域特征量存儲部分中的每一個參考圖像的小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較，以計(jì)算小區(qū)域相似度，即，針對每一個參考圖像的基于小區(qū)域的特征量的相似度；圖像相似度計(jì)算裝置，用于利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，針對每一個參考圖像，對由小區(qū)域相似度計(jì)算裝置計(jì)算出的小區(qū)域相似度進(jìn)行加權(quán)；以及計(jì)算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；以及檢索結(jié)果輸出裝置，用于根據(jù)針對每一個參考圖像由圖像相似度計(jì)算裝置計(jì)算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。上述結(jié)構(gòu)用于考慮基于圖像區(qū)域的編輯概率來計(jì)算圖像相似度。這樣能夠消除在確定圖像相似度期間很可能被編輯的區(qū)域的效應(yīng)。能夠針對編輯圖像和原始圖像之間的圖像相似度產(chǎn)生較大值。
本發(fā)明的第一效果在于能夠針對編輯圖像和原始圖像之間的圖像相似度產(chǎn)生較大值。原因在于本發(fā)明考慮要應(yīng)用于圖像的編輯處理的概率的概率模型來計(jì)算圖像相似度，因此，能夠消除在確定圖像相似度期間很可能被編輯的區(qū)域的效應(yīng)。
本發(fā)明的第二效果在于能夠精確地從編輯圖像中檢索原始圖像。原因在于本發(fā)明利用具有能夠針對編輯圖像和原始圖像之間的圖像相似度產(chǎn)生較大值的第一效果的圖像相似度計(jì)算方法來檢索圖像。


圖1是示出了本發(fā)明第一實(shí)施例的配置的方框圖；圖2是示出了本發(fā)明第一實(shí)施例的操作的流程圖；圖3是示出了如何計(jì)算局部區(qū)域編輯概率的示意圖；圖4是示出了第一實(shí)施例的修改的方框圖；圖5是示出了在編輯概率模型存儲裝置中所存儲的局部區(qū)域編輯概率的示例的示意圖；圖6是示出了第一實(shí)施例的另一個修改的方框圖；圖7是示出了本發(fā)明的第二實(shí)施例的配置的方框圖；圖8是示出了本發(fā)明第二實(shí)施例的操作的流程圖；圖9是示出了本發(fā)明第三實(shí)施例的配置的方框圖；圖10是示出了本發(fā)明第四實(shí)施例的配置的方框圖；
圖11是示出了本發(fā)明第五實(shí)施例的配置的方框圖；圖12是示出了本發(fā)明第五實(shí)施例的操作的流程圖；圖13是示出了本發(fā)明第六實(shí)施例的配置的方框圖；圖14是示出了本發(fā)明第六實(shí)施例的操作的流程圖；圖15是示出了本發(fā)明第七實(shí)施例的配置的方框圖；圖16是示出了本發(fā)明第八實(shí)施例的配置的方框圖；圖17是示出了本發(fā)明第九實(shí)施例的配置的方框圖；圖18是示出了本發(fā)明第十實(shí)施例的配置的方框圖；圖19是示出了本發(fā)明第十一實(shí)施例的配置的方框圖；圖20是示出了本發(fā)明第十二實(shí)施例的配置的方框圖；參考符號說明11特征量提取部分111圖像分割裝置112小區(qū)域特征量提取裝置12圖像相似度計(jì)算部分121小區(qū)域相似度計(jì)算裝置122圖像相似度計(jì)算裝置13編輯概率模型估算裝置139編輯概率模型存儲裝置14局部區(qū)域權(quán)重計(jì)算裝置22圖像相似度計(jì)算部分221小區(qū)域相似度計(jì)算裝置222圖像相似度計(jì)算裝置25參考圖像組小區(qū)域特征量存儲部分26檢索結(jié)果輸出裝置32圖像相似度計(jì)算部分321小區(qū)域相似度計(jì)算裝置322圖像相似度計(jì)算裝置33編輯區(qū)域檢測裝置
34局部區(qū)域權(quán)重計(jì)算裝置42圖像相似度計(jì)算部分421小區(qū)域相似度計(jì)算裝置422圖像相似度計(jì)算裝置52圖像相似度計(jì)算部分521小區(qū)域相似度計(jì)算裝置522圖像相似度計(jì)算裝置53編輯概率模型估算裝置54匹配確定閾值計(jì)算裝置62圖像相似度計(jì)算部分621小區(qū)域相似度計(jì)算裝置622圖像相似度計(jì)算裝置72圖像相似度計(jì)算部分721小區(qū)域相似度計(jì)算裝置722圖像相似度計(jì)算裝置73編輯區(qū)域檢測裝置74匹配確定閾值計(jì)算裝置82圖像相似度計(jì)算部分821小區(qū)域相似度計(jì)算裝置822圖像相似度計(jì)算裝置92圖像相似度計(jì)算部分921小區(qū)域相似度計(jì)算裝置922圖像相似度計(jì)算裝置93編輯概率模型估算裝置94局部區(qū)域權(quán)重計(jì)算裝置95匹配確定閾值計(jì)算裝置1020圖像相似度計(jì)算部分1021小區(qū)域相似度計(jì)算裝置1022圖像相似度計(jì)算裝置1120圖像相似度計(jì)算部分
1121小區(qū)域相似度計(jì)算裝置1122圖像相似度計(jì)算裝置113編輯區(qū)域檢測裝置114局部區(qū)域權(quán)重計(jì)算裝置1 15匹配確定閾值計(jì)算裝置1220圖像相似度計(jì)算部分1221小區(qū)域相似度計(jì)算裝置1222圖像相似度計(jì)算裝置具體實(shí)施方式
下面將參考附圖來詳細(xì)描述實(shí)現(xiàn)本發(fā)明的最佳方式。
將參考附圖來描述本發(fā)明的第一實(shí)施例。如圖1的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第一實(shí)施例在功能上包括特征量提取部分11、圖像相似度計(jì)算部分12、編輯概率模型估算裝置(編輯概率計(jì)算裝置的一個示例)13、以及局部區(qū)域權(quán)重計(jì)算裝置14。
特征量提取部分11功能上包括圖像分割裝置111和小區(qū)域特征量提取裝置112。
當(dāng)輸入所編輯的查詢圖像時，圖像分割裝置111將查詢圖像分割為小區(qū)域。圖像分割裝置111將分割為小區(qū)域的查詢圖像輸出到小區(qū)域特征量提取裝置112。編輯處理表明部分地改變圖像圖案。編輯示例包括使諸如紙帶(ticker)、標(biāo)題和字符等疊置對象重疊在圖像上、部分地切割或修剪圖像、以及部分地鑲嵌或模糊圖像。將圖像分割為小區(qū)域的任意方法均可使用。將圖像分割為小區(qū)域的方法提供了以下示例例如，將圖像分割為等尺寸的矩形、將圖像分割為不規(guī)則尺寸的矩形、以及將圖像分割為各種尺寸的形狀，例如除了矩形之外的圓形和三角形。然而，本發(fā)明并不局限于這些分割方法?？梢詫D像進(jìn)行分割，從而使小區(qū)域彼此部分地重疊。整個圖像可以不必被分割為小區(qū)域?？梢詢H將部分圖像分割為小區(qū)域。
小區(qū)域特征量提取裝置112從特征量提取部分11中輸入的被分割為小區(qū)域的查詢圖像中提取針對每一個小區(qū)域的特征量。小區(qū)域特征量提取裝置112將提取的查詢圖像的小區(qū)域特征量輸出到小區(qū)域相似度計(jì)算裝置121。要提取的小區(qū)域特征量的示例包括顏色信息、邊緣信息、紋理信息、形狀信息和運(yùn)動信息。本發(fā)明并不局限于此。
涉及顏色信息的小區(qū)域特征量由代表值來示例表示，例如針對每一個小區(qū)域中的所有像素值的平均值、模值和中值、以及針對像素值的出現(xiàn)直方圖。像素值表明了用于各種顏色空間(例如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間)的坐標(biāo)值。優(yōu)選的是，可以使用涉及顏色信息的特征量，例如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所指定的主色、顏色布局、可擴(kuò)縮(scalable)顏色和顏色結(jié)構(gòu)。
作為涉及邊緣信息的小區(qū)域特征量的示例，優(yōu)選地，可以使用特征量(此后被稱為邊緣元素特征量)來描述針對每一個小區(qū)域的全局邊緣圖案，作為多個邊緣圖案中的最佳匹配圖案。另外，優(yōu)選地，可以使用針對每一個小區(qū)域中的本地邊緣圖案的出現(xiàn)直方圖。而且，優(yōu)選地，可以使用在ISO/IEC 15938-3中所指定的邊緣直方圖。涉及紋理信息的特征量示例包括在ISO/IEC 15938-3中所指定的均勻紋理和紋理瀏覽。涉及形狀信息的特征量的示例包括在ISO/IEC 15938-3中所指定的區(qū)域形狀、輪廓形狀和形狀3D。
當(dāng)查詢圖像為運(yùn)動畫面中的幀圖像時，優(yōu)選地，可以使用運(yùn)動信息作為小區(qū)域特征量。針對運(yùn)動信息的特征量的示例包括ISO/IEC15938-3中所指定的參數(shù)運(yùn)動和運(yùn)動行為。
編輯概率模型估算裝置13根據(jù)執(zhí)行作為輸入提供的編輯過程的設(shè)備的所編輯的學(xué)習(xí)圖像或特性，來計(jì)算局部圖像編輯概率，即，應(yīng)用于圖像中的每一個局部區(qū)域的編輯過程的概率。編輯概率模型估算裝置13將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置14。優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。
學(xué)習(xí)圖像或圖像表明了一個或更多編輯圖像，用作編輯概率模型估算裝置13計(jì)算局部區(qū)域編輯概率的基準(zhǔn)。例如，當(dāng)將本發(fā)明應(yīng)用于視頻編輯設(shè)備時，可以將構(gòu)成任意編輯視頻的幀圖像用作學(xué)習(xí)圖像。學(xué)習(xí)圖像并不局限于單一的類型。該學(xué)習(xí)圖像可以分類為以在屏幕上應(yīng)用諸如疊置紙帶等編輯處理的位置為特性的類型。這些類型的示例包括用作新節(jié)目的新聞圖像、用作體育節(jié)目的體育圖像、以及用作各類節(jié)目的各類圖像。例如，體育圖像被認(rèn)為具有將編輯處理應(yīng)用于屏幕的周圍的較高概率。各類節(jié)目圖像被認(rèn)為具有將編輯處理應(yīng)用于屏幕中心的較高概率。按照該方式，較好的做法為獨(dú)立于針對各類節(jié)目圖像的學(xué)習(xí)圖像來使用針對體育圖像的學(xué)習(xí)圖像。在該情況下，編輯概率模型估算裝置13計(jì)算基于類型的局部區(qū)域編輯概率。用戶能夠指定查詢圖像的類型，以使用與查詢圖像的類型相對應(yīng)的局部區(qū)域編輯概率。
當(dāng)輸入所編輯的學(xué)習(xí)圖像時，通過指定在學(xué)習(xí)圖像中應(yīng)用編輯過程的區(qū)域來測量局部區(qū)域編輯概率。指定編輯區(qū)域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如將圖像信息與文本信息相分離的方法(此后稱之為紙帶檢測方法)，如JP-A-2003-179888中所述。執(zhí)行編輯處理的設(shè)備的特性可以被作為輸入提供。在這樣的情況下，根據(jù)由該設(shè)備應(yīng)用于圖像的編輯圖案和根據(jù)與使用每一個編輯圖案的頻率有關(guān)的信息來測量局部區(qū)域編輯概率的方法是可用的。
該設(shè)備特性的示例包括由編輯設(shè)備應(yīng)用于圖像的編輯圖案和與使用每一個編輯圖案的頻率有關(guān)的信息。例如，本發(fā)明可以應(yīng)用于視頻編輯設(shè)備。使用給定的視頻編輯設(shè)備可以引起處理屏幕上的一個或更多特定區(qū)域的較高概率。使用另一個視頻編輯設(shè)備可以引起編輯屏幕上的一個或更多不同的特定區(qū)域的較高概率。在這種情況下，能夠使用指示這些區(qū)域的信息，以便將其編輯為指示編輯圖案的信息。另外，例如，體育圖像被認(rèn)為具有將編輯處理應(yīng)用于屏幕的周圍區(qū)域的較高概率。各類節(jié)目圖像被認(rèn)為具有將編輯處理應(yīng)用于屏幕中心區(qū)域的較高概率。在該情況下，能夠使用指示這些區(qū)域的信息以便將其編輯為指示編輯圖案的信息。也就是，當(dāng)使用設(shè)備(例如紙帶插入設(shè)備)來根據(jù)圖像類型改變編輯圖案時，設(shè)備特性不僅包括原先所暗含的設(shè)備特性，而且包括編輯圖案和與使用每一個編輯圖案的頻率有關(guān)的信息。
局部區(qū)域權(quán)重計(jì)算裝置14根據(jù)從編輯概率模型估算裝置13提供的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值。局部區(qū)域權(quán)重值對從圖像的局部區(qū)域中所提取的特征量如何有效地用于對整個圖像的相似度的計(jì)算進(jìn)行量化。局部區(qū)域權(quán)重計(jì)算裝置14將所計(jì)算出的局部區(qū)域權(quán)重值輸出到圖像相似度計(jì)算裝置122。有效的是，與分配給局部區(qū)域的局部區(qū)域編輯概率的減少成正比地設(shè)置更大的局部區(qū)域權(quán)重值。計(jì)算局部區(qū)域權(quán)重值的方法示例，如下局部區(qū)域權(quán)重值＝1-部區(qū)域編輯概率本發(fā)明并不局限于此。當(dāng)局部區(qū)域編輯概率較高時，可以賦予較小的局部區(qū)域權(quán)重值。而當(dāng)局部區(qū)域編輯概率較低時，可以賦予較大的局部區(qū)域權(quán)重值。在圖像相似度計(jì)算處理期間，優(yōu)選地，可以使用能夠消除高可能性被編輯的區(qū)域的效應(yīng)的其他計(jì)算方法。
如同編輯概率模型估算裝置13中的局部區(qū)域，優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。此外，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。
圖像相似度計(jì)算部分12功能上包括小區(qū)域相似度計(jì)算裝置121和圖像相似度計(jì)算裝置122。
小區(qū)域相似度計(jì)算裝置121將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置121計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置121將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置122?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 15938-3中所指定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0之類的二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或者如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。作為輸入提供的參考圖像包括涉及小區(qū)域特征量的小區(qū)域。優(yōu)選地，該小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。
不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。在這種情況下，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，然后計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，然后，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
小區(qū)域相似度計(jì)算裝置121將小區(qū)域相似度輸入到圖像相似度計(jì)算裝置122。圖像相似度計(jì)算裝置122利用從局部區(qū)域權(quán)重計(jì)算裝置14輸入的局部區(qū)域權(quán)重值中得到的針對每一個小區(qū)域的權(quán)重值，對該小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置122根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算圖像相似度，即，整個圖像的相似度，并輸出計(jì)算出的圖像相似度。計(jì)算圖像相似度的方法包括找到針對所有小區(qū)域的加權(quán)小區(qū)域相似度的總和、或找到其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置14輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置121輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，來產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值?？梢源嬖谝韵虑闆r，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
圖像相似度計(jì)算系統(tǒng)可在計(jì)算機(jī)上實(shí)現(xiàn)。圖像相似度計(jì)算系統(tǒng)包括以下組件例如，特征量提取部分11、圖像相似度計(jì)算部分12、編輯概率模型估算裝置13和局部區(qū)域權(quán)重計(jì)算裝置14。這些組件可以被實(shí)現(xiàn)為允許計(jì)算機(jī)的中央處理單元(CPU)執(zhí)行上述功能的程序。也就是說，構(gòu)成圖像相似度計(jì)算系統(tǒng)的組件可在計(jì)算機(jī)上實(shí)現(xiàn)，并且可以實(shí)現(xiàn)為程序。這不僅應(yīng)用于第一實(shí)施例，而且應(yīng)用于稍后將要描述的其他實(shí)施例。
現(xiàn)在將參考圖1的方框圖和圖2的流程圖來描述第一實(shí)施例的操作。
將學(xué)習(xí)圖像或設(shè)備特性作為輸入來提供(步驟A1)。編輯概率模型估算裝置13根據(jù)輸入的學(xué)習(xí)圖像或設(shè)備特性來計(jì)算局部區(qū)域編輯概率，即，將編輯處理應(yīng)用于圖像的每一個局部區(qū)域的概率(步驟A2)。
圖3是示出了編輯概率模型估算裝置13如何計(jì)算局部區(qū)域編輯概率的示意圖。根據(jù)圖3所示的示例，將與圖像數(shù)據(jù)相對應(yīng)的圖像區(qū)域分割為16個局部區(qū)域。當(dāng)將編輯處理應(yīng)用于針對多個學(xué)習(xí)圖像中的每一個圖像的各個局部區(qū)域時，編輯概率模型估算裝置13指示“1”。否則，編輯概率模型估算裝置13指示“0”。編輯概率模型估算裝置13執(zhí)行諸如對每一個局部區(qū)域進(jìn)行平均以計(jì)算編輯處理應(yīng)用于每一個局部區(qū)域的概率的過程。也就是，編輯概率模型估算裝置13估算指示局部區(qū)域編輯概率的概率模型。這里僅描述了估算概率模型的方法的示例?？梢允褂闷渌椒?。
編輯概率模型估算裝置13將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置14。根據(jù)該局部區(qū)域編輯概率，局部區(qū)域權(quán)重計(jì)算裝置14計(jì)算局部區(qū)域權(quán)重值，即，針對圖像中的每一個局部區(qū)域的權(quán)重值(步驟A3)。
將所編輯的查詢圖像作為輸入來提供(步驟A4)。圖像分割裝置111將輸入的查詢圖像分割為小區(qū)域，并將分割為小區(qū)域的圖像輸出到小區(qū)域特征量提取裝置112(步驟A5)。小區(qū)域特征量提取裝置112提取查詢圖像小區(qū)域特征量，即針對分割圖像的每一個小區(qū)域的特征量。然后，小區(qū)域特征量提取裝置112將所提取的查詢圖像小區(qū)域特征量輸出到小區(qū)域相似度計(jì)算裝置121(步驟A6)。將參考圖像的小區(qū)域特征量作為輸入來提供(步驟A7)。小區(qū)域相似度計(jì)算裝置121計(jì)算小區(qū)域相似度，即，通過將輸入的參考圖像的小區(qū)域特征量與查詢圖像的小區(qū)域特征量進(jìn)行比較獲得的特征量之間的特征量相似度。小區(qū)域相似度計(jì)算裝置121將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置122(步驟A8)。然后，圖像相似度計(jì)算裝置122利用由局部區(qū)域權(quán)重計(jì)算裝置14在步驟A3處計(jì)算出的局部區(qū)域權(quán)重值中所得到的針對每一個小區(qū)域的權(quán)重值，來對小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置122計(jì)算查詢圖像和參考圖像之間的圖像相似度(步驟A9)。按照該方式，使用局部區(qū)域權(quán)重值能夠消除很可能地被編輯區(qū)域的效應(yīng)。最后，圖像相似度計(jì)算裝置122輸出計(jì)算出的圖像相似度(步驟A10)。
本發(fā)明的第一實(shí)施例向分割圖像的每一個小區(qū)域的相似度提供考慮到編輯圖像的概率模型而計(jì)算出的權(quán)重，以計(jì)算圖像相似度。結(jié)果，圖像相似度計(jì)算可以免于很可能性被編輯區(qū)域的效應(yīng)。能夠正確地測量在編輯之前查詢圖像與參考圖像的狀態(tài)之間的相似度。能夠針對編輯圖像和原始圖像之間的圖像相似度來產(chǎn)生較大值。另外，本發(fā)明的第一實(shí)施例不需要從查詢圖像中檢測被編輯區(qū)域的處理。局部區(qū)域權(quán)重值是根據(jù)學(xué)習(xí)圖像或設(shè)備特性而計(jì)算出的。因此，另一過程可以用來提前找到局部區(qū)域權(quán)重值，能夠快速計(jì)算圖像相似度。
根據(jù)該實(shí)施例，圖像相似度計(jì)算裝置122考慮編輯由編輯概率模型估算裝置13估算出的圖像的概率模型，特別是，考慮到編輯針對每一個局部區(qū)域的圖像的概率模型，來計(jì)算圖像相似度。此外，小區(qū)域相似度計(jì)算裝置121可以考慮概率模型，將輸入?yún)⒖紙D像的小區(qū)域特征量與查詢圖像的小區(qū)域特征量進(jìn)行比較，并計(jì)算小區(qū)域相似度，即，針對小區(qū)域的特征量之間的相似度。例如，優(yōu)選地，可以向很可能性被編輯的小區(qū)域提供將小區(qū)域相似度調(diào)節(jié)為較小值的處理。應(yīng)該注意，小區(qū)域相似度計(jì)算裝置121可以考慮到概率模型來計(jì)算小區(qū)域相似度。其還應(yīng)用于以下所述的其他實(shí)施例。
編輯概率模型估算裝置13不需要在與每一個查詢圖像的輸入相對應(yīng)的定時處計(jì)算局部區(qū)域編輯概率。例如，編輯概率模型估算裝置13可以在按照本發(fā)明所應(yīng)用的設(shè)備或系統(tǒng)時、或在稍后的周期性時間點(diǎn)處，計(jì)算局部區(qū)域編輯概率。編輯概率模型估算裝置13保持計(jì)算結(jié)果。當(dāng)輸入查詢圖像時，編輯概率模型估算裝置13將所保持的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置14。這還應(yīng)用于根據(jù)稍后所述的其他實(shí)施例的編輯概率模型估算裝置。
因此，優(yōu)選地，可以預(yù)先計(jì)算局部區(qū)域編輯概率，并將計(jì)算出的局部區(qū)域編輯概率存儲在諸如ROM等存儲裝置中。圖4是示出了第一實(shí)施例的修改的方框圖。根據(jù)該修改，提供了一個存儲裝置來存儲局部區(qū)域編輯概率，而非編輯概率模型估算裝置13。
根據(jù)圖4所示的配置，編輯概率模型存儲裝置139存儲局部區(qū)域編輯概率。優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111分割的小區(qū)域。此外，局部區(qū)域可以對應(yīng)于由于進(jìn)一步分割由圖像分割裝置111所分割的小區(qū)域所得到的多個更小區(qū)域的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按照與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割的任何區(qū)域。局部區(qū)域編輯概率不僅可以被存儲為所有圖像共同使用的值，而且可以根據(jù)要使用的圖像類型而存儲為不同的值，例如新聞圖像、體育圖像和各類圖像。在后一種情況下，用戶可以指定查詢圖像類型來使用與查詢圖像類型相對應(yīng)的局部區(qū)域編輯概率。
圖5示出了編輯概率模型存儲裝置139中所存儲的局部區(qū)域編輯概率的示例的示意圖。在該示例中，編輯概率模型存儲裝置139存儲了編輯從與新聞、體育和各類圖像相對應(yīng)的圖像分割的局部區(qū)域的每一個的概率。新聞或體育圖像很可能在圖像的左上、右上和底部被編輯。因此，將較大值賦予針對相應(yīng)局部區(qū)域的局部區(qū)域編輯概率。各類圖像也包含用于在圖像的中心處應(yīng)用編輯處理的概率的較大值。
除了圖4中的編輯概率模型存儲裝置139之外的其他塊具有與圖1所示的塊相同的配置和操作。該修改消除了對提供具有計(jì)算功能的編輯概率模型估算裝置13的需要。
優(yōu)選地，可以將局部區(qū)域編輯概率存儲在諸如閃速存儲器等可重寫存儲裝置中，并能夠改變局部區(qū)域編輯概率。圖6是示出了第一實(shí)施例的另一種修改的方框圖。根據(jù)該修改，提出了一種可重寫存儲裝置來存儲局部區(qū)域編輯概率，而非編輯概率模型估算裝置13。
根據(jù)圖6所示的配置，編輯概率模型估算裝置13根據(jù)所編輯的學(xué)習(xí)圖像或執(zhí)行根據(jù)需要作為附加輸入提供的編輯處理的設(shè)備特性，計(jì)算局部區(qū)域編輯概率，即，應(yīng)用于圖像中的每一個局部區(qū)域的編輯處理的概率。編輯概率模型估算裝置13將計(jì)算出的局部區(qū)域編輯概率輸出到編輯概率模型更新裝置149。例如，周期性地或在出現(xiàn)可能極大地改變編輯概率模型的事件時，向編輯概率模型估算裝置13提供學(xué)習(xí)圖像或執(zhí)行編輯處理的設(shè)備特性。
編輯概率模型更新裝置149讀取在編輯概率模型存儲裝置139中預(yù)先存儲的局部區(qū)域編輯概率。編輯概率模型更新裝置149利用從編輯概率模型存儲裝置139中讀取的局部區(qū)域編輯概率和從編輯概率模型估算裝置13中輸入的局部區(qū)域編輯概率，來更新局部區(qū)域編輯概率。編輯概率模型更新裝置149將更新的局部區(qū)域編輯概率存儲在編輯概率模型存儲裝置139中。另外，編輯概率模型更新裝置149通過將從編輯概率模型存儲裝置139中所讀取的新局部區(qū)域編輯概率不變地存儲在編輯概率模型存儲裝置139中，來更新局部區(qū)域編輯概率。
圖6所示的除了編輯概率模型更新裝置149和編輯概率模型存儲裝置139之外的其他塊具有與圖1所示的塊相同的配置和操作。該修改可以保持在編輯概率模型存儲裝置139中所存儲的局部區(qū)域編輯概率的適當(dāng)內(nèi)容。
將參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第二實(shí)施例。如圖7的方框圖所示，第二實(shí)施例與第一實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第二實(shí)施例用圖像相似度計(jì)算部分22來替換根據(jù)第一實(shí)施例的圖1所示的圖像相似度計(jì)算部分12。第二實(shí)施例包括參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。第二實(shí)施例提供了一種具有參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26的圖像相似度計(jì)算系統(tǒng)。這樣的系統(tǒng)實(shí)現(xiàn)了圖像檢索系統(tǒng)。
參考圖像組小區(qū)域特征量存儲部分25存儲了針對預(yù)先存儲的多個參考圖像的小區(qū)域特征量。參考圖像組小區(qū)域特征量存儲部分25存儲了針對各個參考圖像的小區(qū)域特征量。優(yōu)選地，涉及這些小區(qū)域特征量的每一個的小區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的查詢圖像的小區(qū)域。另外，該小區(qū)域可以是與查詢圖像的小區(qū)域不同形狀和尺寸分割而成的區(qū)域。
圖像相似度計(jì)算部分22功能上包括小區(qū)域相似度計(jì)算裝置221和圖像相似度計(jì)算裝置222。
小區(qū)域相似度計(jì)算裝置221在圖像的基礎(chǔ)從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置221將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置221計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置221將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置222。
可以根據(jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，然后，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
從小區(qū)域相似度計(jì)算裝置221向圖像相似度計(jì)算裝置222提供針對參考圖像組的每一個參考圖像的小區(qū)域相似度。圖像相似度計(jì)算裝置222利用從局部區(qū)域權(quán)重計(jì)算裝置14提供的局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對所提供的小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置222根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算圖像相似度，即，整個圖像的相似度。圖像相似度計(jì)算裝置222將計(jì)算出的針對參考圖像組中的每一個參考圖像的圖像相似度輸出到檢索結(jié)果輸出裝置26。
計(jì)算圖像相似度的方法包括找到針對所有小區(qū)域的加權(quán)小區(qū)域相似度的總和、或找到其平均值。如果從局部區(qū)域權(quán)重計(jì)算裝置14輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置121輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，來產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
檢索結(jié)果輸出裝置26根據(jù)針對從圖像相似度計(jì)算裝置222提供的參考圖像組中的參考圖像的圖像相似度來進(jìn)行操作，并輸出從參考圖像組中對查詢圖像的檢索結(jié)果。存在從輸出參考圖像組中的所有參考圖像中輸出具有最大圖像相似度的參考圖像的檢索方法。另外，優(yōu)選地，可以將參考圖像組中的參考圖像的圖像相似度與預(yù)定閾值進(jìn)行比較，并輸出其圖像相似度等于或大于閾值的所有參考圖像。
現(xiàn)在將參考圖2的方框圖和圖7的流程圖來描述第二實(shí)施例的操作。
將學(xué)習(xí)圖像或設(shè)備特性作為輸入提供給編輯概率模型估算裝置13(步驟B1)。編輯概率模型估算裝置13根據(jù)輸入的學(xué)習(xí)圖像或設(shè)備特性來計(jì)算局部區(qū)域編輯概率，即，編輯圖像中的每一個局部區(qū)域的概率。編輯概率模型估算裝置13將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置14(步驟B2)。局部區(qū)域權(quán)重計(jì)算裝置14根據(jù)局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值，即，圖像中的每一個局部區(qū)域的權(quán)重值(步驟B3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟B4)。圖像分割裝置111將輸入的查詢圖像分割為小區(qū)域，并將分割為小區(qū)域的圖像輸出到小區(qū)域特征量提取裝置112(步驟B5)。小區(qū)域特征量提取裝置112提取查詢圖像小區(qū)域特征量，即針對分割為小區(qū)域的圖像中的每一個小區(qū)域的特征量。小區(qū)域特征量提取裝置112將所提取的查詢圖像小區(qū)域特征量輸出到小區(qū)域相似度計(jì)算裝置221(步驟B6)。小區(qū)域相似度計(jì)算裝置221從參考圖像組小區(qū)域特征量存儲部分25中讀取針對一個參考圖像的小區(qū)域特征量(步驟B7)。
小區(qū)域相似度計(jì)算裝置221將一個所讀取的參考圖像的小區(qū)域特征量與查詢圖像的小區(qū)域特征量進(jìn)行比較，以計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量相似度。小區(qū)域相似度計(jì)算裝置221將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置222(步驟B8)。然后，圖像相似度計(jì)算裝置222利用由局部區(qū)域權(quán)重計(jì)算裝置14在步驟B3計(jì)算出的局部區(qū)域權(quán)重值中所得到的針對每一個小區(qū)域的權(quán)重值，來對小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置222計(jì)算所述一個讀取的參考圖像和查詢圖像之間的圖像相似度(步驟B9)。該處理檢查是否針對參考圖像組小區(qū)域特征量存儲部分25中所存儲的所有參考圖像計(jì)算出了圖像相似度(步驟B10)。當(dāng)仍存在其圖像相似度未被計(jì)算的參考圖像時，該過程返回到步驟B7。當(dāng)針對所有參考圖像計(jì)算了圖像相似度時，該過程進(jìn)行到步驟B11。最后，檢索結(jié)果輸出裝置26根據(jù)針對所有參考圖像的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。
本發(fā)明的第二實(shí)施例利用具有根據(jù)本發(fā)明第一實(shí)施例的效果的圖像相似度計(jì)算方法來檢索圖像。該第二實(shí)施例利用通過消除很可能被編輯的區(qū)域而計(jì)算出的圖像相似度來檢索圖像。因此，第二實(shí)施例可以從編輯圖像中精確地檢索原始圖像。與第一實(shí)施例類似，第二實(shí)施例不需要從查詢圖像中檢索被編輯區(qū)域的過程，并能夠預(yù)先找到局部區(qū)域權(quán)重值，從而實(shí)現(xiàn)了快速圖像檢索。
第一實(shí)施例的修改也可以應(yīng)用于第二實(shí)施例。也就是說，可以設(shè)置編輯概率模型存儲裝置139，替代編輯概率模型估算裝置13。優(yōu)選地，可以設(shè)置編輯概率模型更新裝置149和編輯概率模型存儲裝置139。
將參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第三實(shí)施例。如圖9的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第三實(shí)施例包括特征量提取部分11、圖像相似度計(jì)算部分32、編輯區(qū)域檢測裝置(編輯概率計(jì)算裝置的示例)33和局部區(qū)域權(quán)重計(jì)算裝置34。特征量提取部分11與針對第一實(shí)施例所設(shè)置的相同。
編輯區(qū)域檢測裝置33使用自動檢測被編輯的區(qū)域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區(qū)域檢測裝置33計(jì)算本地編輯概率，即將編輯處理應(yīng)用于查詢圖像中的每一個局部區(qū)域的概率。編輯區(qū)域檢測裝置33將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置34。局部區(qū)域編輯概率可以具有任何概率值或二進(jìn)制值1或0。局部區(qū)域可以對應(yīng)于由于對由圖像分割裝置111所分割的小區(qū)域進(jìn)一步分割所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像中的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的形狀和尺寸分割的區(qū)域中的任何一個。
局部區(qū)域權(quán)重計(jì)算裝置34根據(jù)從編輯區(qū)域檢測裝置33提供的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值。局部區(qū)域權(quán)重值對從圖像的局部區(qū)域中所提取的特征量如何有效地用于對整個圖像的相似度的計(jì)算進(jìn)行量化。局部區(qū)域權(quán)重計(jì)算裝置34將所計(jì)算出的局部區(qū)域權(quán)重值輸出到圖像相似度計(jì)算裝置322。優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。存在計(jì)算局部區(qū)域權(quán)重值的方法示例，如下局部區(qū)域權(quán)重值＝1-局部區(qū)域編輯概率本發(fā)明并不局限于此。在圖像相似度計(jì)算處理期間，優(yōu)選地，可以使用其他能夠消除很可能被編輯的區(qū)域的計(jì)算方法。編輯區(qū)域檢測裝置33可以將局部區(qū)域編輯概率作為諸如1和0等二進(jìn)制概率值來提供。在這種情況下，存在將多個局部區(qū)域合成到新的局部區(qū)域中的方法。該方法找到局部區(qū)域權(quán)重值，作為合成之前具有局部區(qū)域編輯概率值0的局部區(qū)域包括在合成之后的局部區(qū)域中的區(qū)域比。
圖像相似度計(jì)算部分32功能上包括小區(qū)域相似度計(jì)算裝置321和圖像相似度計(jì)算裝置322。
小區(qū)域相似度計(jì)算裝置321將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置321計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置321將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置322。可以根據(jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。
當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。優(yōu)選地，涉及針對作為輸入提供的參考圖像的小區(qū)域特征量的小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。為了解決這一問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
小區(qū)域相似度計(jì)算裝置321輸入小區(qū)域相似度。圖像相似度計(jì)算裝置322利用從局部區(qū)域權(quán)重計(jì)算裝置34輸入的局部區(qū)域權(quán)重值中得到的針對每一個小區(qū)域的權(quán)重值，對該小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置322根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算圖像相似度，即，整個圖像的相似度，并輸出計(jì)算出的圖像相似度。計(jì)算圖像相似度的方法包括找到針對所有小區(qū)域的加權(quán)小區(qū)域相似度的總和、或找到其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置34輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置321輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，來產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
類似于第一實(shí)施例，第三實(shí)施例通過消除很可能被編輯的區(qū)域的效應(yīng)來計(jì)算圖像相似度。此外，第三實(shí)施例根據(jù)直接從查詢圖像中計(jì)算出的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值。第一實(shí)施例啟發(fā)式地根據(jù)學(xué)習(xí)圖像或設(shè)備特性來找到局部區(qū)域權(quán)重值，作為平均值。不同于第一實(shí)施例，第三實(shí)施例計(jì)算針對每一個查詢圖像的局部區(qū)域權(quán)重值，能夠計(jì)算針對編輯圖像和原始圖像之間的圖像相似度的較大值。另外，第三實(shí)施例不需要學(xué)習(xí)圖像或設(shè)備特性作為輸入。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第四實(shí)施例。如圖10的方框圖所示，第四實(shí)施例與第三實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第四實(shí)施例用圖像相似度計(jì)算部分42來替換根據(jù)第三實(shí)施例的圖9所示的圖像相似度計(jì)算部分32。第四實(shí)施例設(shè)置了參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。該參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26與第二實(shí)施例相同。
圖像相似度計(jì)算部分42功能上包括小區(qū)域相似度計(jì)算裝置421和圖像相似度計(jì)算裝置422。
小區(qū)域相似度計(jì)算裝置421以圖像為基礎(chǔ)從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置421將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置421計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置421將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置422。可以根據(jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。
當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
從小區(qū)域相似度計(jì)算裝置421向圖像相似度計(jì)算裝置422提供針對參考圖像組的每一個參考圖像的小區(qū)域相似度。圖像相似度計(jì)算裝置422利用從局部區(qū)域權(quán)重計(jì)算裝置34提供的局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對所提供的小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置422根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算圖像相似度，即，整個圖像的相似度。圖像相似度計(jì)算裝置422將計(jì)算出的針對參考圖像組中的每一個參考圖像的圖像相似度輸出到檢索結(jié)果輸出裝置26。
計(jì)算圖像相似度的方法包括針對所有小區(qū)域的加權(quán)小區(qū)域相似度求總和、或求其平均值。如果從局部區(qū)域權(quán)重計(jì)算裝置34輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置421輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，來產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
另外，可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
類似于第二實(shí)施例，檢索結(jié)果輸出裝置26輸出檢索結(jié)果。
第四實(shí)施例利用具有根據(jù)本發(fā)明第三實(shí)施例的效果的圖像相似度計(jì)算方法來檢索圖像。不同于第二實(shí)施例，第四實(shí)施例計(jì)算針對每一個詢圖像的局部區(qū)域權(quán)重值，使其能夠更精確地從編輯圖像中檢索原始圖像。類似于第三實(shí)施例，第四實(shí)施例不需要學(xué)習(xí)圖像或設(shè)備特性作為輸入。
參考附圖進(jìn)一步詳細(xì)描述本發(fā)明的第五實(shí)施例。如圖11的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第五實(shí)施例包括特征量提取部分11、圖像相似度計(jì)算部分52、編輯概率模型估算裝置53和匹配確定閾值計(jì)算裝置54。特征量提取部分11與針對本發(fā)明第一實(shí)施例所設(shè)置的相同。
編輯概率模型估算裝置53(編輯概率計(jì)算裝置的示例)根據(jù)被編輯的學(xué)習(xí)圖像或執(zhí)行作為輸入提供的編輯處理的設(shè)備的特性，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布。局部區(qū)域編輯概率表明了編輯圖像中的每一個局部區(qū)域的概率。編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布表明了要被編輯的圖像的局部區(qū)域數(shù)目的概率分布。編輯概率模型估算裝置53將計(jì)算出的局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布輸出到匹配確定閾值計(jì)算裝置54。
設(shè)備特性的示例包括由編輯設(shè)備應(yīng)用于圖像的編輯圖案和與使用每一個編輯圖案的頻率有關(guān)的信息。優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任火熱一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任火熱一個。
當(dāng)將編輯的學(xué)習(xí)圖像被作為學(xué)習(xí)圖像輸入時，通過指定在學(xué)習(xí)圖像中應(yīng)用編輯過程的區(qū)域來測量局部區(qū)域編輯概率。指定編輯區(qū)域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如紙帶檢測方法。執(zhí)行編輯處理的設(shè)備的特性可以被作為輸入提供。在這樣的情況下，根據(jù)由該設(shè)備應(yīng)用于圖像的編輯圖案和根據(jù)與使用每一個編輯圖案的頻率有關(guān)的信息來測量局部區(qū)域編輯概率的方法是可用的。
匹配確定閾值計(jì)算裝置54根據(jù)從編輯概率模型估算裝置53提供的局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布如下操作。匹配確定閾值計(jì)算裝置54計(jì)算針對稍后將要描述的圖像相似度計(jì)算裝置522得到的整個圖像的相似度的匹配確定閾值。匹配確定閾值表示由于確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計(jì)算裝置54將計(jì)算出的匹配確定閾值輸出到圖像相似度計(jì)算裝置522。存在計(jì)算最佳閾值的方法。該方法估算整個圖像的相似度的出現(xiàn)概率分布。該方法根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布，估算從具有部分改變的圖案的編輯圖像和原始圖像之間的圖像的小區(qū)域的相似度得到的整個圖像的相似度的出現(xiàn)概率分布。根據(jù)所估算出的整個圖像相似度的出現(xiàn)概率分布，該方法找到確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。該方法在估算整個圖像的相似度的出現(xiàn)概率分布的同時，提供了由于編輯處理而造成的圖案變化的效果。此外，優(yōu)選地，其可以提供由于對圖像重新進(jìn)行編碼而產(chǎn)生的噪聲出現(xiàn)造成的特征量變化的效果。
圖像相似度計(jì)算部分52功能上包括小區(qū)域相似度計(jì)算裝置521和圖像相似度計(jì)算裝置522。
小區(qū)域相似度計(jì)算裝置521將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置521計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置521將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置522?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。
當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。優(yōu)選地，涉及針對作為輸入提供的參考圖像的小區(qū)域特征量的小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
圖像相似度計(jì)算裝置522利用從小區(qū)域相似度計(jì)算裝置521提供的小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置522利用從匹配確定閾值計(jì)算裝置54提供的匹配確定閾值來修改計(jì)算出的整個圖像的相似度。該圖像相似度計(jì)算裝置522將修改的相似度作為圖像相似度輸出。計(jì)算整個圖像的相似度的方法包括求出針對所有小區(qū)域的小區(qū)域相似度的總和、或求其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
現(xiàn)在將參考圖11的方框圖和圖12的流程圖來描述第五實(shí)施例的操作。
將學(xué)習(xí)圖像或設(shè)備特性作為輸入提供給編輯概率模型估算裝置53(步驟C1)。編輯概率模型估算裝置53根據(jù)所提供的學(xué)習(xí)圖像或設(shè)備特性來計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布。局部區(qū)域編輯概率表明了編輯圖像中的每一個局部區(qū)域的概率。編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布表明了要被編輯的圖像的局部區(qū)域數(shù)目的概率分布。編輯概率模型估算裝置53將計(jì)算出的局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布輸出到匹配確定閾值計(jì)算裝置54(步驟C2)。根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，匹配確定閾值計(jì)算裝置54計(jì)算匹配閾值，即，用于確定圖像之間的匹配的閾值(步驟C3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟C4)。圖像分割裝置111將分割為小區(qū)域的圖像輸出到小區(qū)域特征量提取裝置112(步驟C5)。小區(qū)域特征量提取裝置112提取查詢圖像小區(qū)域特征量，即針對圖像中的每一個分割的小區(qū)域的特征量。小區(qū)域特征量提取裝置112將所提取的查詢圖像小區(qū)域特征量輸出到小區(qū)域相似度計(jì)算裝置521(步驟C6)。將參考圖像的小區(qū)域特征量作為輸入提供給小區(qū)域相似度計(jì)算裝置521(步驟C7)。小區(qū)域相似度計(jì)算裝置521將所提供的參考圖像的小區(qū)域特征量與查詢圖像的小區(qū)域特征量進(jìn)行比較，以計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量相似度。小區(qū)域相似度計(jì)算裝置521將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置522(步驟C8)。圖像相似度計(jì)算裝置522根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置522利用由匹配確定閾值計(jì)算裝置54在步驟C3處計(jì)算出的匹配確定閾值來修改整個圖像的相似度，以計(jì)算查詢圖像和參考圖像之間的圖像相似度(步驟C9)。最后，圖像相似度計(jì)算裝置522輸出計(jì)算出的圖像相似度(步驟C10)。
根據(jù)用于編輯圖像的概率模型，第五實(shí)施例計(jì)算用于確定要比較的兩個圖像之間的匹配的最佳閾值。根據(jù)該閾值，該實(shí)施例修改圖像之間的相似度以計(jì)算圖像相似度。該實(shí)施例根據(jù)用于確定圖像之間的匹配的閾值來修改相似度。因此，該實(shí)施例可以計(jì)算適合于確定被編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度。第五實(shí)施例不需要從查詢圖像中檢測編輯區(qū)域的處理。該實(shí)施例根據(jù)學(xué)習(xí)圖像或設(shè)備特性來計(jì)算匹配確定閾值。因此，能夠利用另一處理預(yù)先得出匹配確定閾值，并且能夠快速計(jì)算圖像相似度。
第一實(shí)施例的修改也可以應(yīng)用于第五實(shí)施例。也就是說，可以設(shè)置編輯概率模型存儲裝置來替代編輯概率模型估算裝置53。優(yōu)選地，可以設(shè)置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第六實(shí)施例。如圖13的方框圖所示，第六實(shí)施例與第五實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第六實(shí)施例用圖像相似度計(jì)算部分62來替換根據(jù)第五實(shí)施例的圖11所示的圖像相似度計(jì)算部分52。第六實(shí)施例包括參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。該參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26與針對第二實(shí)施例所設(shè)置的相同。
圖像相似度計(jì)算部分62功能上包括小區(qū)域相似度計(jì)算裝置621和圖像相似度計(jì)算裝置622。
小區(qū)域相似度計(jì)算裝置621以圖像為基礎(chǔ)從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置621將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置621計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置621將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置622?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。
例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，然后，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
圖像相似度計(jì)算裝置622根據(jù)從小區(qū)域相似度計(jì)算裝置621提供的針對參考圖像組中的參考圖像的小區(qū)域相似度，來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置622利用從匹配確定閾值計(jì)算裝置54提供的匹配確定閾值來修改計(jì)算出的整個圖像的相似度。該圖像相似度計(jì)算裝置622向檢索結(jié)果輸出裝置26輸出圖像相似度，即，參考圖像組中的參考圖像的相似度。計(jì)算整個圖像的相似度的方法包括求出針對所有小區(qū)域的小區(qū)域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第二實(shí)施例，檢索結(jié)果輸出裝置26輸出檢索結(jié)果。
現(xiàn)在參考圖13的方框圖和圖14的流程圖來描述第六實(shí)施例的操作。
將學(xué)習(xí)圖像或設(shè)備特性作為輸入提供給編輯概率模型估算裝置53(步驟D1)。編輯概率模型估算裝置53根據(jù)所提供的學(xué)習(xí)圖像或設(shè)備特性來計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布。局部區(qū)域編輯概率表明了編輯圖像中的每一個局部區(qū)域的概率。編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布表明了要被編輯的圖像的局部區(qū)域數(shù)目的概率分布。編輯概率模型估算裝置53將計(jì)算出的局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布輸出到匹配確定閾值計(jì)算裝置54(步驟D2)。根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，匹配確定閾值計(jì)算裝置54計(jì)算匹配閾值，即，用于確定圖像之間的匹配的閾值(步驟D3)。
將所編輯的查詢圖像作為輸入提供給圖像分割裝置111(步驟D4)。圖像分割裝置111將輸入的查詢圖像分割為小區(qū)域。圖像分割裝置111將分割為小區(qū)域的圖像輸出到小區(qū)域特征量提取裝置112(步驟D5)。小區(qū)域特征量提取裝置112提取查詢圖像小區(qū)域特征量，即針對圖像中的每一個分割的小區(qū)域的特征量。小區(qū)域特征量提取裝置112將所提取的查詢圖像小區(qū)域特征量輸出到小區(qū)域相似度計(jì)算裝置621(步驟D6)。小區(qū)域相似度計(jì)算裝置621從參考圖像組小區(qū)域特征量存儲部分25中讀取針對一個參考圖像的小區(qū)域特征量(步驟D7)。小區(qū)域相似度計(jì)算裝置621將一個所讀取的參考圖像的小區(qū)域特征量與查詢圖像的小區(qū)域特征量進(jìn)行比較，以計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量相似度。小區(qū)域相似度計(jì)算裝置621將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置622(步驟D8)。
圖像相似度計(jì)算裝置622根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置622利用由匹配確定閾值計(jì)算裝置54在步驟D3處計(jì)算出的匹配確定閾值來修改整個圖像的相似度，以計(jì)算所述一個讀取的參考圖像和查詢圖像之間的圖像相似度(步驟D9)。然后，該處理檢查是否針對參考圖像組小區(qū)域特征量存儲部分25中所存儲的所有參考圖像計(jì)算出了圖像相似度(步驟D10)。當(dāng)仍存在其圖像相似度未被計(jì)算的參考圖像時，該過程返回到步驟D7。當(dāng)針對所有參考圖像計(jì)算了圖像相似度時，該過程進(jìn)行到步驟D11。最后，檢索結(jié)果輸出裝置26根據(jù)針對所有參考圖像的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果(步驟D11)。
第六實(shí)施例利用計(jì)算適合于確定編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度的第五實(shí)施例來檢索圖像。即使當(dāng)參考圖像組登記了針對編輯的查詢圖像的多個原始圖像時，第六實(shí)施例可以針對編輯的查詢圖像，精確地檢索確定為原始圖像的所有圖像。類似于第五實(shí)施例，第六實(shí)施例不需要從查詢圖像中檢測編輯區(qū)域的處理，并且能夠精確地找到匹配確定閾值，從而能夠進(jìn)行快速圖像檢索。
第一實(shí)施例的修改也可以應(yīng)用于第六實(shí)施例。也就是說，可以設(shè)置編輯概率模型存儲裝置，替代編輯概率模型估算裝置53。優(yōu)選地，可以設(shè)置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第七實(shí)施例。如圖15的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第七實(shí)施例功能上包括特征量提取部分11、圖像相似度計(jì)算部分72、編輯區(qū)域檢測裝置73和匹配確定閾值檢測裝置74。特征量提取部分11與針對第一實(shí)施例所設(shè)置的相同。
編輯區(qū)域檢測裝置73使用自動檢測被編輯的區(qū)域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區(qū)域檢測裝置73計(jì)算局部編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布。局部區(qū)域編輯概率表明了將編輯處理應(yīng)用于被編輯的查詢圖像中的每一個局部區(qū)域的概率。編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布表明了在應(yīng)用了編輯處理的被編輯查詢圖像中的局部區(qū)域數(shù)目的概率分布。編輯區(qū)域檢測裝置73將計(jì)算出的局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布輸出到匹配確定閾值計(jì)算裝置74。局部區(qū)域編輯概率可以具有任何概率值或二進(jìn)制值1或0。局部區(qū)域可以對應(yīng)于由于對由圖像分割裝置111所分割的小區(qū)域進(jìn)一步分割所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像中的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的形狀和尺寸分割的區(qū)域中的任何一個。
匹配確定閾值計(jì)算裝置74根據(jù)從編輯區(qū)域檢測裝置73提供的局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布如下操作。匹配確定閾值計(jì)算裝置74計(jì)算針對稍后將要描述的圖像相似度計(jì)算裝置722得出的整個圖像的相似度的匹配確定閾值。匹配確定閾值表示由于確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計(jì)算裝置74將計(jì)算出的匹配確定閾值輸出到圖像相似度計(jì)算裝置722。存在計(jì)算最佳閾值的方法。該方法估算整個圖像的相似度的出現(xiàn)概率分布。該方法根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)的局部區(qū)域計(jì)數(shù)概率分布，估算從具有部分改變的圖案的編輯圖像和原始圖像之間的圖像的小區(qū)域的相似度得到的整個圖像的相似度的出現(xiàn)概率分布。根據(jù)所估算出的整個圖像相似度的出現(xiàn)概率分布，該方法得出確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。該方法在估算整個圖像的相似度的出現(xiàn)概率分布的同時，提供了由于編輯處理而造成的圖案變化的效果。此外，優(yōu)選地，其可以提供由于對圖像重新進(jìn)行編碼而產(chǎn)生的噪聲出現(xiàn)造成的特征量變化的效果。
圖像相似度計(jì)算部分72功能上包括小區(qū)域相似度計(jì)算裝置721和圖像相似度計(jì)算裝置722。
小區(qū)域相似度計(jì)算裝置721將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置721計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置721將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置722?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。優(yōu)選地，涉及針對作為輸入提供的參考圖像的小區(qū)域特征量的小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
圖像相似度計(jì)算裝置722利用從小區(qū)域相似度計(jì)算裝置721提供的小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置722利用從匹配確定閾值計(jì)算裝置74提供的匹配確定閾值來修改計(jì)算出的整個圖像的相似度。該圖像相似度計(jì)算裝置722將修改的相似度作為圖像相似度輸出。計(jì)算整個圖像的相似度的方法包括求出針對所有小區(qū)域的小區(qū)域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第五實(shí)施例，第七實(shí)施例計(jì)算適合于確定被編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度。此外，第七實(shí)施例根據(jù)從查詢圖像直接計(jì)算出的局部區(qū)域編輯概率來計(jì)算匹配確定閾值。第七實(shí)施例計(jì)算針對每一個查詢圖像的匹配確定閾值，不同于啟發(fā)式地根據(jù)學(xué)習(xí)圖像或設(shè)備特性求出作為平均值的匹配確定閾值的第五實(shí)施例。因此，第七實(shí)施例能夠更為精確地求出適合于確定被編輯的查詢圖像是否是從參考圖像產(chǎn)生的圖像相似度。第七實(shí)施例不需要學(xué)習(xí)圖像設(shè)備特性作為輸入。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第八實(shí)施例。如圖16的方框圖所示，第八實(shí)施例與第七實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第八實(shí)施例用圖像相似度計(jì)算部分82來替換根據(jù)第七實(shí)施例的圖15所示的圖像相似度計(jì)算部分72。第八實(shí)施例設(shè)置了參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26與針對第二實(shí)施例所設(shè)置的相同。
圖像相似度計(jì)算部分82功能上包括小區(qū)域相似度計(jì)算裝置821和圖像相似度計(jì)算裝置822。
小區(qū)域相似度計(jì)算裝置821以圖像為基礎(chǔ)從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置821將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置821計(jì)算小區(qū)域相似度，即，每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置821將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置822。可以根據(jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，則與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
圖像相似度計(jì)算裝置822根據(jù)從小區(qū)域相似度計(jì)算裝置821提供的針對參考圖像組中的參考圖像的小區(qū)域相似度，來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置822利用從匹配確定閾值計(jì)算裝置74提供的匹配確定閾值來修改計(jì)算出的整個圖像的相似度。該圖像相似度計(jì)算裝置822向檢索結(jié)果輸出裝置26輸出圖像相似度，即，參考圖像組中的參考圖像的相似度。計(jì)算整個圖像的相似度的方法包括求出針對所有小區(qū)域的小區(qū)域相似度的總和、或求出其平均值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第二實(shí)施例，檢索結(jié)果輸出裝置26輸出檢索結(jié)果。
第八實(shí)施例利用具有根據(jù)本發(fā)明第七實(shí)施例的效果的圖像相似度計(jì)算方法來檢索圖像。與第六實(shí)施例不同，第八實(shí)施例計(jì)算針對每一個查詢圖像的匹配確定閾值。因此，第八實(shí)施例可以更為精確地從參考圖像組中檢索針對被編輯的查詢圖像的所有原始圖像。類似于第七實(shí)施例，第八實(shí)施例不需要學(xué)習(xí)圖像或設(shè)備特性作為輸入。

參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第九實(shí)施例。如圖17的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第九實(shí)施例功能上包括特征量提取部分11、圖像相似度計(jì)算部分92、編輯概率模型估算裝置93、局部區(qū)域權(quán)重計(jì)算裝置94和匹配確定閾值計(jì)算裝置95。特征量提取部分11與針對本發(fā)明第一實(shí)施例所設(shè)置的相同。優(yōu)選地，可以將局部區(qū)域權(quán)重計(jì)算裝置94和匹配確定閾值計(jì)算裝置95配置為單一權(quán)重值和匹配確定閾值計(jì)算裝置。
編輯概率模型估算裝置93根據(jù)被編輯的學(xué)習(xí)圖像或執(zhí)行作為輸入提供的編輯處理的設(shè)備的特性，計(jì)算局部區(qū)域編輯概率，即應(yīng)用于圖像中的每一個局部區(qū)域的編輯處理的概率。編輯概率模型估算裝置93將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置94。
設(shè)備特性的示例包括由編輯設(shè)備應(yīng)用于圖像的編輯圖案和與使用每一個編輯圖案的頻率有關(guān)的信息。優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。
當(dāng)輸入編輯的學(xué)習(xí)圖像時，通過指定在學(xué)習(xí)圖像中應(yīng)用編輯過程的區(qū)域來測量局部區(qū)域編輯概率。指定編輯區(qū)域的方法不僅可以包括手動方法，還可以包括自動地檢測編輯處理的方法，例如紙帶檢測方法。執(zhí)行編輯處理的設(shè)備的特性可以被作為輸入提供。在這樣的情況下，根據(jù)由該設(shè)備應(yīng)用于圖像的編輯圖案和根據(jù)與使用每一個編輯圖案的頻率有關(guān)的信息來測量局部區(qū)域編輯概率的方法是可用的。
局部區(qū)域權(quán)重計(jì)算裝置94根據(jù)從編輯概率模型估算裝置93提供的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值。局部區(qū)域權(quán)重值對從圖像的局部區(qū)域中所提取的特征量如何有效地用于對整個圖像的相似度的計(jì)算進(jìn)行量化。局部區(qū)域權(quán)重計(jì)算裝置94將所計(jì)算出的局部區(qū)域權(quán)重值輸出到圖像相似度計(jì)算裝置922和匹配確定閾值計(jì)算裝置95。有效地，與分配給局部區(qū)域的局部區(qū)域編輯概率的減少成正比地設(shè)置更大的局部區(qū)域權(quán)重值。存在計(jì)算局部區(qū)域權(quán)重值的方法示例，如下局部區(qū)域權(quán)重值＝1-局部區(qū)域編輯概率本發(fā)明并不局限于此。在圖像相似度計(jì)算處理期間，優(yōu)選地，可以使用能夠消除很可能被編輯的區(qū)域的效應(yīng)的其他計(jì)算方法。
如同編輯概率模型估算裝置13中的局部區(qū)域，優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。
從局部區(qū)域權(quán)重計(jì)算裝置94向匹配確定閾值計(jì)算裝置95提供局部區(qū)域權(quán)重值。根據(jù)局部區(qū)域權(quán)重值，匹配確定閾值計(jì)算裝置95計(jì)算針對稍后將要描述的圖像相似度計(jì)算裝置922得到的圖像相似度的匹配確定閾值。匹配確定閾值表示用于確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計(jì)算裝置95將計(jì)算出的匹配確定閾值輸出到圖像相似度計(jì)算裝置922。圖像相似度計(jì)算裝置922利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對每一個小區(qū)域的相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置922通過消除編輯處理的效果來計(jì)算整個圖像的相似度。因此，匹配確定閾值計(jì)算裝置95考慮到局部區(qū)域權(quán)重值來計(jì)算匹配確定閾值。存在計(jì)算編輯圖像和原始圖像之間的最佳閾值的方法，如下。該匹配確定閾值計(jì)算裝置95通過使用其并消除編輯處理的效果，根據(jù)編輯圖像和原始圖像之間的局部區(qū)域權(quán)重值來計(jì)算整個圖像的相似度的估算值。根據(jù)估算出的整個圖像的相似度，該方法找到確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。此外，優(yōu)選地，其可以提供由于對圖像重新進(jìn)行編碼而產(chǎn)生的噪聲出現(xiàn)造成的特征量變化的效果。
圖像相似度計(jì)算部分92功能上包括小區(qū)域相似度計(jì)算裝置921和圖像相似度計(jì)算裝置922。
小區(qū)域相似度計(jì)算裝置921將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置921計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置921將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置922?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。優(yōu)選地，涉及針對作為輸入提供的參考圖像的小區(qū)域特征量的小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
小區(qū)域相似度計(jì)算裝置921將小區(qū)域相似度輸入到圖像相似度計(jì)算裝置922。圖像相似度計(jì)算裝置922利用從局部區(qū)域權(quán)重計(jì)算裝置94輸入的局部區(qū)域權(quán)重值中所得到的針對每一個小區(qū)域的權(quán)重值，來計(jì)算該小區(qū)域相似度。該圖像相似度計(jì)算裝置922根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置922利用從匹配確定閾值計(jì)算裝置95提供的匹配確定閾值來修改計(jì)算出的圖像相似度，并且將修改后的圖像相似度作為圖像相似度輸出。計(jì)算整個圖像的相似度的方法包括求出針對所有小區(qū)域的小區(qū)域相似度的總和、或求出其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置94輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置921輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有較小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的結(jié)果。在這種情況下，能夠通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，來產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
第九實(shí)施例具有第一和第五實(shí)施例的效果。第九實(shí)施例能夠消除很可能被編輯的區(qū)域的效果，以計(jì)算適合于確定所編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度。第九實(shí)施例將由局部區(qū)域權(quán)重計(jì)算裝置94計(jì)算出的局部區(qū)域權(quán)重值提供給匹配確定閾值計(jì)算裝置95。根據(jù)該配置，匹配確定閾值計(jì)算裝置95不需要根據(jù)從編輯概率模型估算裝置93提供的局部區(qū)域編輯概率來重新計(jì)算局部區(qū)域權(quán)重值，其中對局部區(qū)域權(quán)重值進(jìn)行參考以計(jì)算匹配確定閾值。按照該方式，可以抑制計(jì)算量。另外，該第九實(shí)施例不需要從查詢圖像中檢測編輯區(qū)域、以及根據(jù)學(xué)習(xí)圖像或設(shè)備特性來計(jì)算局部區(qū)域權(quán)重值和匹配確定閾值的處理。因此，可以使用另一種處理來提前得出局部區(qū)域權(quán)重值和匹配確定閾值，能夠快速計(jì)算圖像相似度。
第一實(shí)施例的修改也可以應(yīng)用于第九實(shí)施例。也就是說，可以設(shè)置編輯概率模型存儲裝置來替代編輯概率模型估算裝置93。優(yōu)選地，可以設(shè)置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第十實(shí)施例。如圖18的方框圖所示，第十實(shí)施例與第九實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第十實(shí)施例用圖像相似度計(jì)算部分1020來替換根據(jù)第九實(shí)施例的圖17所示的圖像相似度計(jì)算部分92。第十實(shí)施例包括參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26與針對第二實(shí)施例設(shè)置的相同。
圖像相似度計(jì)算部分1020功能上包括小區(qū)域相似度計(jì)算裝置121和圖像相似度計(jì)算裝置122。
小區(qū)域相似度計(jì)算裝置121以圖像為基礎(chǔ)從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置121將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置121計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置121將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置122?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，然后，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
從小區(qū)域相似度計(jì)算裝置121向圖像相似度計(jì)算裝置122提供針對參考圖像組的每一個參考圖像的小區(qū)域相似度。圖像相似度計(jì)算裝置122利用從局部區(qū)域權(quán)重計(jì)算裝置94提供的局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對所提供的小區(qū)域相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置122根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算整個圖像相似度。圖像相似度計(jì)算裝置122利用從匹配確定閾值計(jì)算裝置95提供的匹配確定閾值，來修改計(jì)算出的整個圖像的相似度。圖像相似度計(jì)算裝置122向檢索結(jié)果輸出裝置26輸出圖像相似度，即，修改的參考圖像組中的參考圖像的相似度。計(jì)算整個圖像相似度的方法包括求出針對所有小區(qū)域的加權(quán)小區(qū)域相似度的總和、或求出其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置94輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置121輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，可以使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，對多個局部區(qū)域權(quán)重值進(jìn)行平均可以產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。存在利用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第二實(shí)施例，檢索結(jié)果輸出裝置26輸出檢索結(jié)果。
第十實(shí)施例利用具有根據(jù)第九實(shí)施例的效果的相似度計(jì)算方法來檢索圖像。類似于第九實(shí)施例，第十實(shí)施例不需要從查詢圖像中檢測被編輯的區(qū)域的處理，并且能夠預(yù)先找到局部區(qū)域權(quán)重值和匹配確定閾值，因而能夠進(jìn)行快速圖像檢索。
第一實(shí)施例的修改也可以應(yīng)用于第十實(shí)施例。也就是說，可以設(shè)置編輯概率模型存儲裝置來替代編輯概率模型估算裝置93。優(yōu)選地，可以設(shè)置編輯概率模型更新裝置和編輯概率模型存儲裝置。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第十一實(shí)施例。如圖19的方框圖所示，根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第十一實(shí)施例功能上包括特征量提取部分11、圖像相似度計(jì)算部分112、編輯區(qū)域檢測裝置113、局部區(qū)域權(quán)重計(jì)算裝置114和匹配確定閾值計(jì)算裝置115。特征量提取部分11與針對本發(fā)明第一實(shí)施例所設(shè)置的相同。
編輯區(qū)域檢測裝置113使用自動檢測被編輯的區(qū)域的方法，例如針對作為輸入提供的被編輯查詢圖像的紙帶檢測方法。利用該方法，編輯區(qū)域檢測裝置113計(jì)算本地編輯概率，即，將編輯處理應(yīng)用于查詢圖像中的每一個局部區(qū)域的概率。編輯區(qū)域檢測裝置113將計(jì)算出的局部區(qū)域編輯概率輸出到局部區(qū)域權(quán)重計(jì)算裝置114。局部區(qū)域編輯概率可以具有任何概率值或二進(jìn)制值1或0。局部區(qū)域可以對應(yīng)于由于對由圖像分割裝置111所分割的小區(qū)域進(jìn)一步分割所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像中的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的形狀和尺寸分割的區(qū)域中的任何一個。
局部區(qū)域權(quán)重計(jì)算裝置114根據(jù)從編輯區(qū)域檢測裝置113提供的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值。局部區(qū)域權(quán)重值對從圖像的局部區(qū)域中所提取的特征量如何有效地用于對整個圖像的相似度的計(jì)算進(jìn)行量化。局部區(qū)域權(quán)重計(jì)算裝置114將所計(jì)算出的局部區(qū)域權(quán)重值輸出到圖像相似度計(jì)算裝置1122和匹配確定閾值計(jì)算裝置115。
優(yōu)選地，局部區(qū)域?qū)?yīng)于由圖像分割裝置111所分割的小區(qū)域。另外，局部區(qū)域可以對應(yīng)于進(jìn)一步分割由圖像分割裝置111分割的小區(qū)域所得到的多個更小區(qū)域中的任何一個。而且，局部區(qū)域可以對應(yīng)于圖像的每一個元素。另外，局部區(qū)域可以對應(yīng)于按與針對圖像分割裝置111的小區(qū)域分割方法不同的任何形狀和尺寸分割后的區(qū)域中的任何一個。存在計(jì)算局部區(qū)域權(quán)重值的方法示例，如下局部區(qū)域權(quán)重值＝1-局部區(qū)域編輯概率本發(fā)明并不局限于此。在圖像相似度計(jì)算處理期間，優(yōu)選地，可以使用能夠消除很可能被編輯的區(qū)域的效應(yīng)的其他計(jì)算方法。
編輯區(qū)域檢測裝置113可以將局部區(qū)域編輯概率作為諸如1和0等二進(jìn)制概率值來提供。在這種情況下，存在將多個局部區(qū)域合成到新的局部區(qū)域中的方法。該方法求出局部區(qū)域權(quán)重值，作為合成之前具有局部區(qū)域編輯概率值0的局部區(qū)域包括在合成之后的局部區(qū)域中的區(qū)域比。
從局部區(qū)域權(quán)重計(jì)算裝置114向匹配確定閾值計(jì)算裝置115提供局部區(qū)域權(quán)重值。根據(jù)局部區(qū)域權(quán)重值，匹配確定閾值計(jì)算裝置115計(jì)算針對稍后將要描述的圖像相似度計(jì)算裝置1122得出的圖像相似度的匹配確定閾值。匹配確定閾值表示用于確定兩個所比較的圖像是否匹配的最佳閾值。匹配確定閾值計(jì)算裝置115將計(jì)算出的匹配確定閾值輸出到圖像相似度計(jì)算裝置1122。圖像相似度計(jì)算裝置1122利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對每一個小區(qū)域的相似度進(jìn)行加權(quán)。圖像相似度計(jì)算裝置1122通過消除編輯處理的效果來計(jì)算整個圖像的相似度。因此，匹配確定閾值計(jì)算裝置115考慮到局部區(qū)域權(quán)重值來計(jì)算匹配確定閾值。存在計(jì)算編輯圖像和原始圖像之間的最佳閾值的方法如下。該匹配確定閾值計(jì)算裝置115通過使用其并消除編輯處理的效果，根據(jù)編輯圖像和原始圖像之間的局部區(qū)域權(quán)重值來計(jì)算整個圖像的相似度的估算值。根據(jù)估算出的整個圖像的相似度，該方法得出確定編輯圖像和原始圖像之間的不匹配(差異)的概率足夠小的閾值。此外，優(yōu)選地，其可以提供由于對圖像重新進(jìn)行編碼而產(chǎn)生的噪聲出現(xiàn)造成的特征量變化的效果。
圖像相似度計(jì)算部分112功能上包括小區(qū)域相似度計(jì)算裝置1121和圖像相似度計(jì)算裝置1122。
小區(qū)域相似度計(jì)算裝置1121將從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量與作為輸入提供的參考圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置1121計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置1121將計(jì)算出的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置1122?？梢愿鶕?jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在ISO/IEC 151138-3中所規(guī)定的。在該情況下，可以根據(jù)由ISO/IEC 151138-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。優(yōu)選地，涉及針對作為輸入提供的參考圖像的小區(qū)域特征量的小區(qū)域?qū)?yīng)于涉及從小區(qū)域特征量提取裝置112提供的查詢圖像的小區(qū)域特征量的小區(qū)域。這是因?yàn)榭梢詫ο鄳?yīng)的小區(qū)域直接進(jìn)行相互比較。不同的圖像分割方法可以引起查詢圖像的小區(qū)域和參考圖像的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算針對參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
可能存在以下情況涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
小區(qū)域相似度計(jì)算裝置1121將小區(qū)域相似度輸入到圖像相似度計(jì)算裝置1122。圖像相似度計(jì)算裝置1122利用從局部區(qū)域權(quán)重計(jì)算裝置114輸入的局部區(qū)域權(quán)重值中所得到的針對每一個小區(qū)域的權(quán)重值，對該小區(qū)域相似度進(jìn)行加權(quán)。該圖像相似度計(jì)算裝置1122根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置1122利用從匹配確定閾值計(jì)算裝置115提供的匹配確定閾值來修改計(jì)算出的圖像相似度，并且將修改后的圖像相似度作為圖像相似度輸出。計(jì)算圖像相似度的方法包括找到針對所有小區(qū)域的加權(quán)的小區(qū)域相似度的總和、或找到其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置114輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置1121輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，較好的做法是使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有較小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，通過計(jì)算針對多個局部區(qū)域權(quán)重值的平均值，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第九實(shí)施例，第十一實(shí)施例通過消除很可能被編輯的區(qū)域的效果，來計(jì)算適合于確定所編輯的查詢圖像是否是從參考圖像中產(chǎn)生的圖像相似度。此外，第十一實(shí)施例根據(jù)從查詢圖像直接計(jì)算出的局部區(qū)域編輯概率來計(jì)算局部區(qū)域權(quán)重值和匹配確定閾值。第十一實(shí)施例計(jì)算針對每一個查詢圖像的局部區(qū)域權(quán)重值和匹配確定閾值，不同于啟發(fā)式地根據(jù)學(xué)習(xí)圖像或設(shè)備特性找到作為平均值的局部區(qū)域權(quán)重值和匹配確定閾值的第九實(shí)施例。因此，第十一實(shí)施例能夠更為精確地找到適合于確定被編輯的查詢圖像是否是從參考圖像產(chǎn)生的圖像相似度。第十一實(shí)施例不需要學(xué)習(xí)圖像或設(shè)備特性作為輸入。類似于第九實(shí)施例，第十一實(shí)施例將由局部區(qū)域權(quán)重計(jì)算裝置114計(jì)算出的局部區(qū)域權(quán)重值提供給匹配確定閾值計(jì)算裝置115。因此，匹配確定閾值計(jì)算裝置115不需要根據(jù)從編輯概率模型估算裝置113提供的局部區(qū)域編輯概率來重新計(jì)算局部區(qū)域權(quán)重值，其中對局部區(qū)域權(quán)重值進(jìn)行參考以計(jì)算匹配確定閾值。按照該方式，可以抑制計(jì)算量。
參考附圖進(jìn)一步詳細(xì)地描述本發(fā)明的第十二實(shí)施例。如圖20的方框圖所示，第十二實(shí)施例與第十一實(shí)施例的區(qū)別如下。根據(jù)本發(fā)明的圖像相似度計(jì)算系統(tǒng)的第十二實(shí)施例用圖像相似度計(jì)算部分1220來替換根據(jù)第十一實(shí)施例的圖19所示的圖像相似度計(jì)算部分112。第十二實(shí)施例設(shè)置了參考圖像組小區(qū)域特征量存儲部分25和檢索結(jié)果輸出裝置26。該參考圖像組小區(qū)域特征量存儲部分25與針對第二實(shí)施例所設(shè)置的相同。
圖像相似度計(jì)算部分122功能上包括小區(qū)域相似度計(jì)算裝置1221和圖像相似度計(jì)算裝置1222。
小區(qū)域相似度計(jì)算裝置1221基于圖像從參考圖像組小區(qū)域特征量存儲部分25中讀取針對多個參考圖像的小區(qū)域特征量。小區(qū)域相似度計(jì)算裝置1221將針對每一個參考圖像的所讀取的小區(qū)域特征量與從小區(qū)域特征量提取裝置112中輸入的查詢圖像的小區(qū)域特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置1221計(jì)算小區(qū)域相似度，即，針對每一個小區(qū)域的特征量的相似度。小區(qū)域相似度計(jì)算裝置1221將計(jì)算出的針對參考圖像組中的每一個參考圖像的小區(qū)域相似度輸出到圖像相似度計(jì)算裝置1222。可以根據(jù)要使用的小區(qū)域特征量，調(diào)整計(jì)算小區(qū)域相似度的任意方法。例如，當(dāng)要使用的小區(qū)域特征量是諸如針對小區(qū)域的顏色的平均值、模值或中值等代表值時，存在根據(jù)正在使用的顏色空間的距離值和相關(guān)值來計(jì)算相似度的方法。當(dāng)要使用的小區(qū)域特征量是針對顏色和邊緣元素的出現(xiàn)直方圖時，存在計(jì)算直方圖之間的相似度的方法。
要使用的小區(qū)域特征量可以是主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、均勻紋理、紋理瀏覽、區(qū)域形狀、輪廓形狀、形狀3D、參數(shù)運(yùn)動或運(yùn)動行為，如在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所指定的。在這種情況下，可以根據(jù)由ISO/IEC 15938-3所推薦的距離(相似度)計(jì)算方法來計(jì)算相似度。
相似度可以是諸如1或0等二進(jìn)制確定結(jié)果。例如，當(dāng)將邊緣元素特征量用作小區(qū)域特征量時，存在以下方法如果正在比較的邊緣元素相匹配，則將相似度設(shè)置為1，或如果正在比較的邊緣元素不匹配，則將相似度設(shè)置為0。不同的圖像分割方法可以引起涉及從小區(qū)域特征量提取裝置112輸入的查詢圖像的小區(qū)域特征量的小區(qū)域、與涉及從參考圖像組小區(qū)域特征量存儲部分25讀取的參考圖像的小區(qū)域特征量的小區(qū)域之間的差異。為了解決該問題，較好的做法是使用任一個圖像的小區(qū)域特征量來補(bǔ)充與另一圖像的小區(qū)域相對應(yīng)的特征量，并計(jì)算相似度。例如，涉及參考圖像的小區(qū)域特征量的小區(qū)域可以是由于將涉及查詢圖像的小區(qū)域特征量的小區(qū)域進(jìn)一步分割為多個更小區(qū)域而得到的。在這種情況下，能夠通過計(jì)算參考圖像的多個小區(qū)域特征量的平均值來產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量?？赡艽嬖谝韵虑闆r涉及參考圖像的小區(qū)域特征量的小區(qū)域分割方法使用了與涉及查詢圖像的小區(qū)域特征量的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，然后，與重疊區(qū)域成正比地對與查詢圖像的小區(qū)域重疊的參考圖像的小區(qū)域的小區(qū)域特征量進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與查詢圖像的小區(qū)域相對應(yīng)的特征量。
從小區(qū)域相似度計(jì)算裝置1221向圖像相似度計(jì)算裝置1222提供針對參考圖像組中的每一個參考圖像的小區(qū)域相似度。圖像相似度計(jì)算裝置1222利用從局部區(qū)域權(quán)重計(jì)算裝置114提供的局部區(qū)域權(quán)重值中所得到的針對每一個小區(qū)域的權(quán)重值，對所提供的小區(qū)域相似度進(jìn)行加權(quán)。該圖像相似度計(jì)算裝置1222根據(jù)所得到的加權(quán)的小區(qū)域相似度來計(jì)算整個圖像的相似度。圖像相似度計(jì)算裝置1222利用從匹配確定閾值計(jì)算裝置115提供的匹配確定閾值來修改計(jì)算出的圖像相似度。圖像相似度計(jì)算裝置1222向檢索結(jié)果輸出裝置26輸出圖像相似度，即修改的參考圖像組中的參考圖像的相似度。計(jì)算整個圖像的相似度的方法包括找到針對所有小區(qū)域的加權(quán)的小區(qū)域相似度的總和、或找到其平均值。
如果從局部區(qū)域權(quán)重計(jì)算裝置114輸入的局部區(qū)域權(quán)重值的局部區(qū)域?qū)?yīng)于從小區(qū)域相似度計(jì)算裝置1221輸入的小區(qū)域相似度的小區(qū)域，則可以將局部區(qū)域權(quán)重值直接用作針對每一個小區(qū)域的權(quán)重值。當(dāng)小區(qū)域相似度的小區(qū)域不與局部區(qū)域權(quán)重值的局部區(qū)域相對應(yīng)時，可以使用局部區(qū)域權(quán)重值來補(bǔ)充與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。例如，局部區(qū)域權(quán)重值的局部區(qū)域可以是由于進(jìn)一步將具有較小區(qū)域相似度的小區(qū)域分割為多個更小區(qū)域而得到的。在這種情況下，對多個局部區(qū)域權(quán)重值進(jìn)行平均，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。
可以存在以下情況，涉及局部區(qū)域權(quán)重值的局部區(qū)域分割方法使用了與涉及小區(qū)域相似度的小區(qū)域分割方法完全不同的形狀和尺寸。在這種情況下，于是，與重疊區(qū)域成正比地對與小區(qū)域重疊的多個局部區(qū)域的權(quán)重值進(jìn)行加權(quán)，并對其進(jìn)行總計(jì)。按照該方式，能夠產(chǎn)生與小區(qū)域相似度的小區(qū)域相對應(yīng)的權(quán)重值。存在使用匹配確定閾值來修改整個圖像的相似度的方法。當(dāng)圖像相似度等于或大于匹配確定閾值時，該方法將相似度修改為1。當(dāng)圖像相似度小于匹配確定閾值時，該方法將相似度修改為0。
類似于第二實(shí)施例，檢索結(jié)果輸出裝置26輸出檢索結(jié)果。
第十二實(shí)施例利用具有根據(jù)第十一實(shí)施例的效果的圖像相似度計(jì)算方法來檢索圖像。與第一實(shí)施例不同的是，第十二實(shí)施例計(jì)算針對每一個查詢圖像的局部區(qū)域權(quán)重值和匹配確定閾值。因此，第十二實(shí)施例可以更精確地從參考圖像組中檢索出針對被編輯的查詢圖像的所有原始圖像。類似于第十一實(shí)施例，第十二實(shí)施例不需要學(xué)習(xí)圖像或設(shè)備特性作為輸入。
工業(yè)應(yīng)用性本發(fā)明可應(yīng)用于以下用途圖像相似度計(jì)算系統(tǒng)、圖像相似度計(jì)算方法、用于計(jì)算多個圖像的相似度的圖像相似度計(jì)算程序、用于檢索與查詢圖像相似的圖像的圖像檢索系統(tǒng)，等等。
權(quán)利要求
1.一種包括圖像相似度計(jì)算單元的圖像相似度計(jì)算系統(tǒng)，包括針對要應(yīng)用于圖像的編輯處理使用概率的概率模型；將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
2.根據(jù)權(quán)利要求1所述的圖像相似度計(jì)算系統(tǒng)，其中，針對每一個區(qū)域確定概率模型；和圖像相似度計(jì)算單元，在將查詢圖像的每一個分割的小區(qū)域的特征量和參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較時，使用概率模型。
3.根據(jù)權(quán)利要求1所述的圖像相似度計(jì)算系統(tǒng)，其中圖像相似度計(jì)算單元在計(jì)算查詢圖像和參考圖像之間的圖像相似度時，使用概率模型。
4.根據(jù)權(quán)利要求1所述的圖像相似度計(jì)算系統(tǒng)，其中，針對每一個區(qū)域確定概率模型；和圖像相似度計(jì)算單元在將查詢圖像的每一個分割的小區(qū)域的特征量和參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較時，和在計(jì)算查詢圖像和參考圖像之間的圖像相似度時，使用概率模型。
5.一種包括圖像相似度計(jì)算單元的圖像相似度計(jì)算系統(tǒng)，配置為利用基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率所計(jì)算的基于圖像區(qū)域的權(quán)重值，將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
6.一種包括圖像相似度計(jì)算單元的圖像相似度計(jì)算系統(tǒng)，配置為將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，以便計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改整個圖像的相似度，所述閾值是基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或基于將編輯處理應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布計(jì)算出的；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
7.一種包括圖像相似度計(jì)算單元的圖像相似度計(jì)算系統(tǒng)，配置為利用基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率計(jì)算出的基于圖像區(qū)域的權(quán)重值，將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，以便計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改整個圖像的相似度，所述閾值是基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率計(jì)算的；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
8.根據(jù)權(quán)利要求5所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率計(jì)算裝置，利用學(xué)習(xí)圖像或設(shè)備特性來計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率。
9.根據(jù)權(quán)利要求5所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率計(jì)算裝置，利用被編輯的查詢圖像來計(jì)算編輯處理被應(yīng)用于每一個局部區(qū)域的圖像的概率，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率。
10.根據(jù)權(quán)利要求6所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率分布計(jì)算裝置，利用學(xué)習(xí)圖像或設(shè)備特性來計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或?qū)⒕庉嬏幚響?yīng)用于圖像的局部區(qū)域數(shù)目的概率分布，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或?qū)⒕庉嬏幚響?yīng)用于圖像的局部區(qū)域數(shù)目的概率分布。
11.根據(jù)權(quán)利要求6所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率計(jì)算裝置，利用被編輯的查詢圖像來計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或?qū)⒕庉嬏幚響?yīng)用于圖像的局部區(qū)域數(shù)目的概率分布，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或?qū)⒕庉嬏幚響?yīng)用于圖像的局部區(qū)域數(shù)目的概率分布。
12.根據(jù)權(quán)利要求7所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率計(jì)算裝置，利用學(xué)習(xí)圖像或設(shè)備特性來計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率。
13.根據(jù)權(quán)利要求7所述的圖像相似度計(jì)算系統(tǒng)，還包括編輯概率計(jì)算裝置，利用被編輯的查詢圖像來計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率。
14.一種圖像相似度計(jì)算系統(tǒng)，包括編輯概率模型估算裝置，利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為局部區(qū)域編輯概率；局部區(qū)域權(quán)重計(jì)算裝置，根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；圖像分割裝置，將作為輸入提供的被編輯的查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和圖像相似度計(jì)算裝置，通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，來計(jì)算查詢圖像和參考圖像之間的圖像相似度。
15.一種圖像相似度計(jì)算系統(tǒng)，包括編輯區(qū)域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計(jì)算編輯處理被應(yīng)用于每一個局部區(qū)域的圖像的概率，作為局部區(qū)域編輯概率；局部區(qū)域權(quán)重計(jì)算裝置，根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；圖像分割裝置，將查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取針對每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和圖像相似度計(jì)算裝置，通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
16.一種圖像相似度計(jì)算系統(tǒng)，包括編輯概率模型估算裝置，利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；匹配確定閾值計(jì)算裝置，根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和圖像相似度計(jì)算裝置，配置為根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
17.一種圖像相似度計(jì)算系統(tǒng)，包括編輯區(qū)域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布；所述局部區(qū)域編輯概率是將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理必應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；匹配確定閾值計(jì)算裝置，根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和圖像相似度計(jì)算裝置，配置為根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
18.根據(jù)權(quán)利要求10、11、16和17中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述匹配確定閾值計(jì)算裝置通過根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，來估算在編輯圖像和原始圖像之間從圖像中的每一個小區(qū)域的相似度中所得到的整個圖像相似度的出現(xiàn)概率分布，計(jì)算匹配確定閾值的最佳值。
19.根據(jù)權(quán)利要求12或13所述的圖像相似度計(jì)算系統(tǒng)，其中所述匹配確定閾值計(jì)算裝置利用局部區(qū)域權(quán)重值，通過根據(jù)局部區(qū)域權(quán)重值估算整個圖像的相似度，來計(jì)算所述匹配確定閾值的最佳值。
20.根據(jù)權(quán)利要求8、9、12、13、14、15和19中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述局部區(qū)域權(quán)重計(jì)算裝置在局部區(qū)域編輯概率較高時，減少局部區(qū)域權(quán)重值；和在局部區(qū)域編輯概率較低時，增加局部區(qū)域權(quán)重值。
21.根據(jù)權(quán)利要求20所述的圖像相似度計(jì)算系統(tǒng)，其中所述局部區(qū)域權(quán)重計(jì)算裝置計(jì)算局部區(qū)域權(quán)重值作為1與局部區(qū)域編輯概率之間的差值。
22.根據(jù)權(quán)利要求8到13中的任何一項(xiàng)的圖像相似度計(jì)算系統(tǒng)，其中所述編輯概率計(jì)算裝置利用自動檢測編輯區(qū)域以指定編輯區(qū)域的方法來計(jì)算局部區(qū)域編輯概率。
23.根據(jù)權(quán)利要求14或16中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述編輯概率模型估算裝置利用自動檢測編輯區(qū)域以指定編輯區(qū)域的方法來計(jì)算局部區(qū)域編輯概率。
24.根據(jù)權(quán)利要求15或17所述的圖像相似度計(jì)算系統(tǒng)，其中所述編輯區(qū)域檢測裝置利用自動檢測編輯區(qū)域以指定編輯區(qū)域的方法來計(jì)算局部區(qū)域編輯概率。
25.根據(jù)權(quán)利要求1到21中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述局部區(qū)域是分割的區(qū)域，從而對應(yīng)于查詢圖像或參考圖像中的小區(qū)域。
26.根據(jù)權(quán)利要求1到21和25中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述查詢圖像或所述參考圖像中的小區(qū)域是通過分割圖像得到的等尺寸的矩形區(qū)域。
27.根據(jù)權(quán)利要求1到21和25中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述查詢圖像或所述參考圖像中的小區(qū)域是被分割以致于部分地彼此重疊的區(qū)域之一。
28.根據(jù)權(quán)利要求1到21和25中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述查詢圖像或所述參考圖像中的小區(qū)域是通過僅分割圖像的一部分而得到的。
29.根據(jù)權(quán)利要求1到28中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述特征量基于以下內(nèi)容中的至少一個顏色信息、邊緣信息、紋理信息、形狀信息和運(yùn)動信息。
30.根據(jù)權(quán)利要求1到28中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述特征量是以下內(nèi)容中的至少一個在諸如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間之類顏色空間系統(tǒng)中所指定的顏色坐標(biāo)的平均值、模值和中值、以及在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所指定的主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、直方圖紋理、紋理瀏覽、輪廓形狀和形狀3D。
31.根據(jù)權(quán)利要求1到30中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，其中所述編輯處理對應(yīng)于以下內(nèi)容中的至少一個將紙帶疊置在圖像上、將標(biāo)題疊置在圖像上、將字符疊置在圖像上、將對象疊置在圖像上、部分地切割圖像、部分地修剪圖像、部分地鑲嵌圖像、以及部分地模糊圖像。
32.一種利用根據(jù)權(quán)利要求1到13中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)計(jì)算出的圖像相似度來檢索圖像的圖像檢索系統(tǒng)。
33.一種圖像檢索系統(tǒng)，包括編輯概率模型估算裝置，利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為局部區(qū)域編輯概率；局部區(qū)域權(quán)重計(jì)算裝置，根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；參考圖像組小區(qū)域特征量存儲裝置，存儲由多個預(yù)先登記的參考圖像構(gòu)成的參考圖像組中的各個參考圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將存儲在參考圖像組小區(qū)域特征量存儲裝置中的每一個參考圖像的小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算每一個參考圖像的基于小區(qū)域的特征量的相似度，作為小區(qū)域相似度；圖像相似度計(jì)算裝置，配置為利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，針對每一個參考圖像，對由小區(qū)域相似度計(jì)算裝置計(jì)算出的小區(qū)域相似度進(jìn)行加權(quán)；和計(jì)算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結(jié)果輸出裝置，根據(jù)由圖像相似度計(jì)算裝置針對每一個參考圖像計(jì)算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。
34.一種圖像檢索系統(tǒng)，包括編輯區(qū)域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計(jì)算將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，作為局部區(qū)域編輯概率；局部區(qū)域權(quán)重計(jì)算裝置，根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；圖像分割裝置，將查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；參考圖像組小區(qū)域特征量存儲裝置，存儲由多個預(yù)先登記的參考圖像構(gòu)成的參考圖像組中的各個參考圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將存儲在參考圖像組小區(qū)域特征量存儲裝置中的每一個參考圖像的小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算每一個參考圖像的基于小區(qū)域的特征量的相似度，作為小區(qū)域相似度；圖像相似度計(jì)算裝置，配置為利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值，對由小區(qū)域相似度計(jì)算裝置針對每一個參考圖像計(jì)算出的小區(qū)域相似度進(jìn)行加權(quán)；和計(jì)算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結(jié)果輸出裝置，根據(jù)圖像相似度計(jì)算裝置針對每一個參考圖像計(jì)算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。
35.一種圖像檢索系統(tǒng)，包括編輯概率模型估算裝置，利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；匹配確定閾值計(jì)算裝置，根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；參考圖像組小區(qū)域特征量存儲裝置，存儲由多個預(yù)先登記的參考圖像構(gòu)成的參考圖像組中的各個參考圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將存儲在參考圖像組小區(qū)域特征量存儲裝置中的每一個參考圖像的小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算每一個參考圖像基于小區(qū)域的特征量的相似度，作為小區(qū)域相似度；圖像相似度計(jì)算裝置，配置為根據(jù)由小區(qū)域相似度計(jì)算裝置計(jì)算出的每一個參考圖像的小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改相似度；和計(jì)算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結(jié)果輸出裝置，根據(jù)圖像相似度計(jì)算裝置針對每一個參考圖像計(jì)算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。
36.一種圖像檢索系統(tǒng)，包括編輯區(qū)域檢測裝置，利用作為輸入提供的被編輯查詢圖像，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；匹配確定閾值計(jì)算裝置，根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；圖像分割裝置，將查詢圖像分割為小區(qū)域；小區(qū)域特征量提取裝置，從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；參考圖像組小區(qū)域特征量存儲裝置，存儲由多個預(yù)先登記的參考圖像構(gòu)成的參考圖像組中的各個參考圖像的小區(qū)域特征量；小區(qū)域相似度計(jì)算裝置，配置為將存儲在參考圖像組小區(qū)域特征量存儲裝置中的每一個參考圖像的小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算每一個參考圖像基于小區(qū)域的特征量的相似度，作為小區(qū)域相似度；圖像相似度計(jì)算裝置，配置為根據(jù)由小區(qū)域相似度計(jì)算裝置計(jì)算出的每一個參考圖像的小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改相似度；和計(jì)算查詢圖像和參考圖像組中的每一個參考圖像之間的圖像相似度；和檢索結(jié)果輸出裝置，根據(jù)由圖像相似度計(jì)算裝置針對每一個參考圖像計(jì)算出的圖像相似度，輸出從參考圖像組中對查詢圖像的檢索結(jié)果。
37.根據(jù)權(quán)利要求35或36所述的圖像檢索系統(tǒng)，其中所述匹配確定閾值計(jì)算裝置通過根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布估算在編輯圖像和原始圖像之間從圖像中的每一個小區(qū)域的相似度中所得到的整個圖像相似度的出現(xiàn)概率分布，計(jì)算匹配確定閾值的最佳值。
38.根據(jù)權(quán)利要求35或36所述的圖像檢索系統(tǒng)，其中所述匹配確定閾值計(jì)算裝置利用局部區(qū)域權(quán)重值，通過根據(jù)局部區(qū)域權(quán)重值估算整個圖像的相似度，來計(jì)算所述匹配確定閾值的最佳值。
39.根據(jù)權(quán)利要求33、34和38中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中所述局部區(qū)域權(quán)重計(jì)算裝置在局部區(qū)域編輯概率較高時，減少局部區(qū)域權(quán)重值；和在局部區(qū)域編輯概率較低時，增加局部區(qū)域權(quán)重值。
40.根據(jù)權(quán)利要求39所述的圖像檢索系統(tǒng)，其中所述局部區(qū)域權(quán)重計(jì)算裝置計(jì)算局部區(qū)域權(quán)重值計(jì)算作為1與局部區(qū)域編輯概率之間的差值。
41.根據(jù)權(quán)利要求33或35所述的圖像檢索系統(tǒng)，其中所述編輯概率模型估算裝置利用自動檢測編輯區(qū)域以指定編輯區(qū)域的方法來計(jì)算局部區(qū)域編輯概率。
42.根據(jù)權(quán)利要求34或36所述的圖像檢索系統(tǒng)，其中所述編輯區(qū)域檢測裝置利用自動檢測編輯區(qū)域以指定編輯區(qū)域的方法來計(jì)算局部區(qū)域編輯概率。
43.根據(jù)權(quán)利要求33到40中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中所述局部區(qū)域是分割的區(qū)域，從而對應(yīng)于查詢圖像或參考圖像中的小區(qū)域。
44.根據(jù)權(quán)利要求33到40和43中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中查詢圖像或參考圖像中的小區(qū)域是通過分割圖像得到的等尺寸的矩形區(qū)域。
45.根據(jù)權(quán)利要求33到40和43中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中查詢圖像或參考圖像中的小區(qū)域是被分割以致于彼此部分地重疊的區(qū)域之一。
46.根據(jù)權(quán)利要求33到40和43中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中查詢圖像或參考圖像中的小區(qū)域是通過僅分割圖像的一部分而得到的。
47.根據(jù)權(quán)利要求33到46中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中所述特征量基于以下內(nèi)容中的至少一個顏色信息、邊緣信息、紋理信息、形狀信息和運(yùn)動信息。
48.根據(jù)權(quán)利要求33到47中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中所述特征量是以下內(nèi)容中的至少一個在諸如RGB顏色空間、HSV顏色空間、YUV顏色空間、YIQ顏色空間、YCbCr顏色空間、L*a*b顏色空間和XYZ顏色空間之類的顏色空間系統(tǒng)中所指定的顏色坐標(biāo)的平均值、模值和中值、以及在國際標(biāo)準(zhǔn)ISO/IEC 15938-3中所指定的主色、顏色布局、可擴(kuò)縮顏色、顏色結(jié)構(gòu)、邊緣直方圖、直方圖紋理、紋理瀏覽、輪廓形狀和形狀3D。
49.根據(jù)權(quán)利要求33到47中的任何一項(xiàng)所述的圖像檢索系統(tǒng)，其中所述編輯處理對應(yīng)于以下內(nèi)容中的至少一個將紙帶疊置在圖像上、將標(biāo)題疊置在圖像上、將字符疊置在圖像上、將對象疊置在圖像上、部分地切割圖像、部分地修剪圖像、部分地鑲嵌圖像、以及部分地模糊圖像。
50.一種圖像檢索系統(tǒng)，利用根據(jù)權(quán)利要求1到29中的任何一項(xiàng)所述的圖像相似度計(jì)算系統(tǒng)，根據(jù)計(jì)算出的圖像相似度輸出多個參考圖像中與查詢圖像相似的圖像。
51.一種圖像相似度計(jì)算方法，包括以下步驟使用要應(yīng)用于圖像的編輯處理的概率的概率模型；將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
52.一種圖像相似度計(jì)算方法，包括以下步驟利用基于要應(yīng)用于圖像的編輯處理的概率計(jì)算出的基于圖像區(qū)域的權(quán)重值，將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；以及計(jì)算查詢圖像和參考圖像之間的圖像相似度。
53.一種圖像相似度計(jì)算方法，包括以下步驟通過將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或基于將編輯處理應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布計(jì)算的；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
54.一種圖像相似度計(jì)算方法，包括以下步驟利用基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率計(jì)算的基于圖像區(qū)域的權(quán)重值，通過將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基于編輯每一個局部區(qū)域的圖像的概率計(jì)算的；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
55.一種圖像相似度計(jì)算方法，包括以下步驟利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為局部區(qū)域編輯概率；根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
56.一種圖像相似度計(jì)算方法，包括以下步驟利用作為輸入提供的被編輯查詢圖像，計(jì)算將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，作為局部區(qū)域編輯概率；根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；將查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，來計(jì)算查詢圖像和參考圖像之間的圖像相似度。
57.一種圖像相似度計(jì)算方法，包括以下步驟利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，來計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
58.一種圖像相似度計(jì)算方法，包括以下步驟利用作為輸入提供的被編輯查詢圖像，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，來計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；將查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；以及計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
59.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序考慮要應(yīng)用于圖像的編輯處理的概率的概率模型；將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；和計(jì)算查詢圖像和參考圖像之間的圖像相似度。
60.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用基于要應(yīng)用于圖像的編輯處理的概率計(jì)算的基于圖像區(qū)域的權(quán)重值，將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較；以及計(jì)算查詢圖像和參考圖像之間的圖像相似度。
61.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序通過將查詢圖像的每一個分割的小區(qū)域的特征量與參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率、或基于將編輯處理應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布計(jì)算的；以及計(jì)算查詢圖像和參考圖像之間的圖像相似度。
62.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用基于要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率計(jì)算的基于圖像區(qū)域的權(quán)重值，通過將查詢圖像的每一個分割的小區(qū)域的特征量與針對參考圖像的每一個分割的小區(qū)域的特征量進(jìn)行比較，計(jì)算整個圖像的相似度；利用確定圖像之間的匹配的閾值來修改相似度，所述閾值是基于編輯每一個局部區(qū)域的圖像的概率計(jì)算的；以及計(jì)算查詢圖像和參考圖像之間的圖像相似度。
63.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，作為局部區(qū)域編輯概率；根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
64.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用作為輸入提供的被編輯查詢圖像，計(jì)算將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，作為局部區(qū)域編輯概率；根據(jù)局部區(qū)域編輯概率來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值；將查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和通過利用從局部區(qū)域權(quán)重值中得到的基于小區(qū)域的權(quán)重值對小區(qū)域相似度進(jìn)行加權(quán)，計(jì)算查詢圖像和參考圖像之間的圖像相似度。
65.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用作為輸入提供的學(xué)習(xí)圖像或設(shè)備特性，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是要應(yīng)用于每一個局部區(qū)域的圖像的編輯處理的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；將作為輸入提供的被編輯查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
66.一種使計(jì)算機(jī)執(zhí)行以下處理的圖像相似度計(jì)算程序利用作為輸入提供的被編輯查詢圖像，計(jì)算局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，所述局部區(qū)域編輯概率是將編輯處理應(yīng)用于每一個局部區(qū)域的圖像的概率，所述編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布是編輯處理被應(yīng)用于圖像的局部區(qū)域數(shù)目的概率分布；根據(jù)局部區(qū)域編輯概率或編輯目標(biāo)局部區(qū)域計(jì)數(shù)概率分布，計(jì)算用于確定圖像之間的匹配的閾值，作為匹配確定閾值；將查詢圖像分割為小區(qū)域；從分割的小區(qū)域中提取每一個小區(qū)域的特征量，作為查詢圖像的小區(qū)域特征量；將作為輸入提供的參考圖像的預(yù)先準(zhǔn)備的小區(qū)域特征量的參考圖像小區(qū)域特征量與查詢圖像小區(qū)域特征量進(jìn)行比較；和計(jì)算各個小區(qū)域的特征量的相似度，作為小區(qū)域相似度；和根據(jù)小區(qū)域相似度來計(jì)算整個圖像的相似度；利用匹配確定閾值來修改整個圖像的相似度；計(jì)算查詢圖像和參考圖像之間的圖像相似度。
全文摘要
提供一種圖像相似度計(jì)算系統(tǒng)，產(chǎn)生編輯圖像和原始圖像之間的圖像相似度的較大值。局部區(qū)域權(quán)重計(jì)算裝置14根據(jù)編輯圖像中的每一個局部區(qū)域的概率，來計(jì)算圖像中的每一個局部區(qū)域的權(quán)重值，作為局部區(qū)域權(quán)重值。局部區(qū)域權(quán)重計(jì)算裝置14將所計(jì)算的局部區(qū)域權(quán)重值輸出到圖像相似度計(jì)算裝置122。小區(qū)域相似度計(jì)算裝置121將通過分割查詢圖像得到的每一個小區(qū)域的特征量與通過分割參考圖像得到的每一個小區(qū)域的特征量進(jìn)行比較。小區(qū)域相似度計(jì)算裝置121計(jì)算針對各個小區(qū)域的特征量的相似度。圖像相似度計(jì)算裝置122通過將基于小區(qū)域的權(quán)重值應(yīng)用于計(jì)算出的相似度來計(jì)算查詢圖像和參考圖像之間的圖像相似度。該權(quán)重值是從局部區(qū)域權(quán)重計(jì)算裝置14中提供的局部區(qū)域權(quán)重值中得到的。
文檔編號G06K9/46GK1926575SQ20058000668
公開日2007年3月7日 申請日期2005年3月2日 優(yōu)先權(quán)日2004年3月3日
發(fā)明者巖元浩太 申請人:日本電氣株式會社