圖像檢索系統(tǒng)、信息處理裝置和圖像檢索方法
【專利摘要】圖像檢索系統(tǒng)、信息處理裝置和圖像檢索方法。一種圖像檢索系統(tǒng)包括獲得單元，該獲得單元獲得查詢圖像；指定信息提取單元，該指定信息提取單元從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息；特征信息提取單元，該特征信息提取單元從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及檢索單元，該檢索單元利用所述特征信息，對所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。
【專利說明】圖像檢索系統(tǒng)、信息處理裝置和圖像檢索方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像檢索系統(tǒng)、信息處理裝置和圖像檢索方法。

【背景技術(shù)】
[0002]以下專利公報中公開了用于提高用戶以視覺地搜索圖像的效率的技術(shù)。日本特開第2010-102501號公報公開了一種基于圖像特征將類似的檢索對象圖像歸類為同一類別并且連同該類別的基準(zhǔn)圖像的標(biāo)簽名以及與該標(biāo)簽名的關(guān)聯(lián)度一起顯示各個類別的圖像內(nèi)容的技術(shù)。日本特開第2007-164648號公報公開了一種基于布局特征量和圖像屬性特征量計算來查詢圖像與檢索對象圖像之間的相似度的技術(shù)。具體地，在以相似度的降序來排列檢索對象圖像的情況下，給予局部特征量的權(quán)重高于給予圖像屬性特征量的權(quán)重。
[0003]當(dāng)執(zhí)行圖像檢索處理時，借助于只選擇與查詢圖像對應(yīng)的檢索對象圖像(而不是選擇所有登記的檢索對象圖像)作為檢索對象，來減少圖像檢索處理的處理量。


【發(fā)明內(nèi)容】

[0004]因此，本發(fā)明的目的是在不要求用戶指定作為檢索對象的圖像組的情況下，僅對與查詢圖像對應(yīng)的圖像組的檢索對象圖像執(zhí)行圖像檢索處理。
[0005]根據(jù)本發(fā)明的第一方面，提供了一種圖像檢索系統(tǒng)，該圖像檢索系統(tǒng)包括:獲得單元，該獲得單元獲得查詢圖像；指定信息提取單元，該指定信息提取單元從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息；特征信息提取單元，該特征信息提取單元從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及檢索單元，該檢索單元利用所述特征信息，對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。
[0006]根據(jù)本發(fā)明的第二方面，在第一方面的圖像檢索系統(tǒng)中，所述指定信息提取單元借助于將從所述查詢圖像檢測到的物體圖像與預(yù)先和所述指定信息關(guān)聯(lián)地登記的物體圖像進行比較，來提取所述指定信息。
[0007]根據(jù)本發(fā)明的第三方面，在第二方面的圖像檢索系統(tǒng)中，所述特征信息包括特征點的特征量。進一步地，所述檢索單元在不使用所述檢測到的物體圖像中包含的所述特征點的所述特征量的情況下執(zhí)行所述圖像檢索處理，所述檢測到的物體圖像中包含的所述特征點包括在所述查詢圖像中包含的所述特征點中。
[0008]根據(jù)本發(fā)明的第四方面，第二方面或第三方面的圖像檢索系統(tǒng)還包括圖像處理單元，該圖像處理單元對所述查詢圖像執(zhí)行圖像處理，使得所述檢測到的物體圖像變得接近所述登記的物體圖像。進一步地，所述特征信息提取單元從所述圖像處理后的所述查詢圖像提取所述特征信息。
[0009]根據(jù)本發(fā)明的第五方面，在第一方面的圖像檢索系統(tǒng)中，所述指定信息提取單元提取添加到所述查詢圖像的所述指定信息，作為數(shù)字水印。
[0010]根據(jù)本發(fā)明的第六方面，在第一方面的圖像檢索系統(tǒng)中，所述指定信息提取單元提取的所述指定信息是從形成所述查詢圖像的一部分的部分圖像提取的所述特征信息。
[0011]根據(jù)本發(fā)明的第七方面，第一方面至第六方面中任一個方面的圖像檢索系統(tǒng)還包括多個登記裝置，各個登記裝置對應(yīng)于不同的指定信息，并且在各個登記裝置中登記由所對應(yīng)的指定信息指定的所述圖像組的所述特征信息。進一步地，所述檢索單元利用與所述指定信息提取單元提取的所述指定信息對應(yīng)的在所述登記裝置中登記的所述特征信息，執(zhí)行所述圖像檢索處理。
[0012]根據(jù)本發(fā)明的第八方面，第一方面至第七方面中任一個方面的圖像檢索系統(tǒng)還包括登記所述特征信息的登記處理單元。進一步地，所述特征信息提取單元從請求登記的所述檢索對象圖像提取所述特征信息；所述指定信息提取單元從請求登記的所述檢索對象圖像提取所述指定信息；并且所述登記處理單元根據(jù)所述指定信息提取單元提取的所述檢索對象圖像的指定信息，登記所述特征信息提取單元提取的所述檢索對象圖像的所述特征信息，作為所述圖像檢索處理中的檢索對象。
[0013]根據(jù)本發(fā)明的第九方面，第一方面至第八方面中任一個方面的圖像檢索系統(tǒng)還包括:查詢圖像接收單元，該查詢圖像接收單元接收從通信終端發(fā)送的所述查詢圖像；以及輸出單元，當(dāng)基于所述查詢圖像接收單元接收到的所述查詢圖像執(zhí)行所述圖像檢索處理時，該輸出單元向所述通信終端輸出與所述圖像檢索處理檢索到的檢索對象圖像關(guān)聯(lián)的內(nèi)容信息。
[0014]根據(jù)本發(fā)明的第十方面，提供了一種用于圖像檢索系統(tǒng)的信息處理裝置。所述圖像檢索系統(tǒng)包括:獲得單元，該獲得單元獲得查詢圖像；指定信息提取單元，該指定信息提取單元從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息；特征信息提取單元，該特征信息提取單元從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及檢索單元，該檢索單元利用所述特征信息對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。所述信息處理裝置包括所述指定信息提取單元。
[0015]根據(jù)本發(fā)明的第十一方面，提供了一種圖像檢索方法，該圖像檢索方法包括以下步驟:獲得查詢圖像；從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息；從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及利用所述特征信息，對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。
[0016]根據(jù)本發(fā)明的第一方面，在不要求用戶指定作為檢索對象的圖像組的情況下，可以僅對與查詢圖像對應(yīng)的圖像組的檢索對象圖像執(zhí)行圖像檢索處理。
[0017]根據(jù)本發(fā)明的第二方面，基于查詢圖像中包含的物體圖像，可以指定作為檢索對象的圖像組。
[0018]根據(jù)本發(fā)明的第三方面，可以減小物體圖像的存在對圖像檢索的結(jié)果的影響。
[0019]根據(jù)本發(fā)明的第四方面，可以減輕因查詢圖像而引起的檢索精度的下降。
[0020]根據(jù)本發(fā)明的第五方面，基于用戶不太容易看到的數(shù)字水印，可以指定作為檢索對象的圖像組。
[0021]根據(jù)本發(fā)明的第六方面，基于表示查詢圖像的特征的特征信息來可以指定作為檢索對象的圖像組。
[0022]根據(jù)本發(fā)明的第七方面，即使在不同的指定信息對應(yīng)于登記有檢索對象圖像的特征信息的不同登記裝置的情況下，也可以僅對與查詢圖像對應(yīng)的圖像組的檢索對象圖像執(zhí)行圖像檢索處理。
[0023]根據(jù)本發(fā)明的第八方面，在不要求用戶指定作為檢索對象的圖像組的情況下，可以登記特征信息。
[0024]根據(jù)本發(fā)明的第九方面，可以輸出與圖像檢索處理檢索到的檢索對象圖像關(guān)聯(lián)的內(nèi)容信息。
[0025]根據(jù)本發(fā)明的第十方面，在不要求用戶指定作為檢索對象的圖像組的情況下，可以僅對與查詢圖像對應(yīng)的圖像組的檢索對象圖像執(zhí)行圖像檢索處理。
[0026]根據(jù)本發(fā)明的第十一方面，在不要求用戶指定作為檢索對象的圖像組的情況下，可以僅對與查詢圖像對應(yīng)的圖像組的檢索對象圖像執(zhí)行圖像檢索處理。

【專利附圖】

【附圖說明】
[0027]將基于以下附圖對本發(fā)明的示例性實施方式進行詳細(xì)說明，附圖中:
[0028]圖1例示根據(jù)第一示例性實施方式的圖像檢索系統(tǒng)的整體構(gòu)造；
[0029]圖2A至圖2C例示EMM的概要圖；
[0030]圖3是例示根據(jù)第一示例性實施方式的用戶終端的硬件構(gòu)造的框圖；
[0031]圖4是例示根據(jù)第一示例性實施方式的圖像檢索服務(wù)器的硬件構(gòu)造的框圖；
[0032]圖5例示根據(jù)第一示例性實施方式的圖像檢索數(shù)據(jù)庫的示例性構(gòu)造；
[0033]圖6是例示根據(jù)第一示例性實施方式的用戶終端和圖像檢索服務(wù)器的功能性框圖；
[0034]圖7例示根據(jù)第一示例性實施方式的圖像檢索系統(tǒng)執(zhí)行的處理的順序圖；
[0035]圖8是例示根據(jù)第一示例性實施方式的登記處理的流程的流程圖；
[0036]圖9A至圖9C例示根據(jù)第一示例性實施方式的登記處理的具體示例；
[0037]圖10是例示根據(jù)第一示例性實施方式的檢索處理的流程的流程圖；
[0038]圖11的(a)到(c)例示根據(jù)第一示例性實施方式的檢索處理的具體示例；
[0039]圖12A至圖12C例示根據(jù)第二示例性實施方式的圖像檢索系統(tǒng)提取指定信息的方法;
[0040]圖13例示根據(jù)第二示例性實施方式的變型例(1)的檢索處理的具體示例；
[0041]圖14例示根據(jù)第二示例性實施方式的變型例(2)的檢索處理的流程的流程圖；
[0042]圖15A和圖15B例示根據(jù)第二示例性實施方式的變型例(2)的檢索處理的具體示例；
[0043]圖16例示根變型例1的圖像檢索系統(tǒng)的整體構(gòu)造；
[0044]圖17例示根據(jù)變型例1的裝置管理表的示例性構(gòu)造；
[0045]圖18是例示根據(jù)變型例1的檢索處理的流程的順序圖；
[0046]圖19是例示根據(jù)變型例3的檢索處理的流程的順序圖；
[0047]圖20A至圖20D例示根據(jù)變型例5的登記處理和檢索處理的具體示例；以及
[0048]圖21是例示根據(jù)變型例5的檢索處理的流程的順序圖。

【具體實施方式】
[0049]將參照附圖描述本發(fā)明的示例性實施方式。
[0050](第一示例性實施方式)
[0051]圖1例示根據(jù)第一示例性實施方式的圖像檢索系統(tǒng)1的整體構(gòu)造。如圖1所示，圖像檢索系統(tǒng)1是執(zhí)行圖像檢索的信息處理系統(tǒng)，并且包括用戶終端10、圖像檢索服務(wù)器20和登記終端30。雖然圖1僅例示了一個用戶終端10和一個登記終端30，但是實際上有兩個或更多個用戶終端10和兩個或更多個登記終端30。用戶終端10、圖像檢索服務(wù)器20和登記終端30連接到通信網(wǎng)絡(luò)100，以彼此通信。例如，通信網(wǎng)絡(luò)100可以是包括因特網(wǎng)的任意類型的通信網(wǎng)絡(luò)。
[0052]用戶終端10是具有圖像拍攝功能(攝像頭功能)的通信終端。用戶終端10拍攝圖1的印刷品40的圖像，并且向圖像檢索服務(wù)器20發(fā)送請求圖像檢索的查詢圖像。查詢圖像是充當(dāng)圖像檢索服務(wù)器20執(zhí)行的圖像檢索的檢索密鑰的圖像數(shù)據(jù)，并且是以圖像的形式表示對于圖像檢索服務(wù)器20的執(zhí)行圖像檢索的請求的數(shù)據(jù)。圖像檢索服務(wù)器20是檢索與從用戶終端10接收到的查詢圖像類似的圖像(下面描述的檢索對象圖像)的圖像處理裝置。印刷品40是上面印制有諸如文字和照片等的圖像要素的介質(zhì)(報紙介質(zhì))。印刷品40的示例包括傳單、手冊和雜志。在印刷品40上,稱作嵌入式媒體標(biāo)記(embedded mediamarker, EMM)的標(biāo)記41印制在圖像要素上。標(biāo)記41是指示數(shù)字內(nèi)容與印刷品40的圖像要素關(guān)聯(lián)的記號。標(biāo)記41以比較淺的顏色印制，以不妨礙用戶視覺識別印刷品40的圖像要素。登記終端30是例如內(nèi)容供應(yīng)商使用的通信終端，并且將關(guān)于EMM的信息和關(guān)于數(shù)字內(nèi)容的信息登記在圖像檢索服務(wù)器20中。
[0053]在該示例中，用戶終端10是智能電話。然而，用戶終端10可以是具有圖像拍攝功能的任意類型的通信終端，諸如移動電話終端、平板計算機終端、筆記本計算機、個人數(shù)字助手(PDA)和便攜式游戲機。登記終端30的示例包括個人計算機和其它類型的通信終端。
[0054]圖2A至圖2C例示EMM的概要圖。
[0055]圖2A是標(biāo)記41的示意圖。如圖2A所例示，標(biāo)記41包括特征界線411、定位點412和媒體圖標(biāo)413。特征界線411用圓形線條的圖像表示，并且圍繞印刷品40的圖像要素。如圖2B所例示，當(dāng)拍攝印刷品40的圖像時，用戶終端10的用戶操作用戶終端10，使得整個標(biāo)記41位于成像范圍內(nèi)。定位點412是標(biāo)識數(shù)字內(nèi)容所鏈接到的圖像要素的位置的位置信息。媒體圖標(biāo)413是標(biāo)識數(shù)字內(nèi)容的類型的圖標(biāo)。在該示例中，媒體圖標(biāo)413是表示視頻攝像頭的圖標(biāo)圖像。該圖標(biāo)圖像指示數(shù)字內(nèi)容是運動圖像內(nèi)容。在這種情況下，如圖2C所示，已經(jīng)拍攝了標(biāo)記41的圖像的用戶終端10借助于再現(xiàn)從圖像檢索服務(wù)器20提供的運動圖像內(nèi)容，來顯示運動圖像C。運動圖像內(nèi)容是與印刷品40的圖像要素有關(guān)的數(shù)字內(nèi)容。
[0056]與標(biāo)記41關(guān)聯(lián)的數(shù)字內(nèi)容可以是靜止圖像內(nèi)容、網(wǎng)絡(luò)(Web)內(nèi)容或其它類型的數(shù)子內(nèi)名
[0057]圖3是例示用戶終端10的硬件構(gòu)造的框圖。如圖3所示，用戶終端10包括控制器11、用戶接口(UI)單元12、通信單元13、圖像拍攝單元14和存儲單元15。
[0058]控制器11包括具有中央處理單元(CPU)、只讀存儲器(ROM)和隨機存取存儲器(RAM)的處理器。CPU借助于將ROM或存儲單元15中存儲的控制程序讀取到RAM并且執(zhí)行所讀取的控制程序，來控制用戶終端10的各個單元。進一步地，控制器11包括圖像處理電路(該圖像處理電路是例如專用集成電路(ASIC))，并且利用圖像處理電路來執(zhí)行圖像處理。Π單元12是提供圖形用戶接口(⑶I)的操作顯示器，并且包括在顯示面上顯示圖像的顯示面板和設(shè)置在顯示面上且用戶操作的觸摸屏。
[0059]用戶終端10可以包括從物理鍵等接收操作的其它操作單元，并且可以具有接收語音輸入操作的功能。
[0060]通信單元13包括用于借助于連接到通信網(wǎng)絡(luò)100來執(zhí)行通信的接口。圖像拍攝單元14是包括成像元件(諸如電荷耦合裝置(CXD)等)的圖像拍攝裝置，并且借助于圖像拍攝生成拍攝圖像(靜止圖像或運動圖像)。圖像拍攝單元14的圖像拍攝透鏡(未例示)設(shè)置在用戶終端10的背面。存儲單元15包括存儲裝置(諸如電可擦除可編程ROM (EEPR0M)和閃速存儲器等)，并且存儲控制器11執(zhí)行的操作系統(tǒng)(0S)和其它程序。
[0061]圖4是例示圖像檢索服務(wù)器20的硬件構(gòu)造的框圖。如圖4所示，圖像檢索服務(wù)器20包括控制器21、通信單元22和存儲單元23。
[0062]控制器21包括具有CPU、ROM和RAM的處理器。CPU借助于將ROM或存儲單元23中存儲的控制程序讀取到RAM并且執(zhí)行所讀取的控制程序，來控制圖像檢索服務(wù)器20的各個單元。進一步地，控制器21包括圖像處理電路(該圖像處理電路是例如(ASIC))，并且利用圖像處理電路來執(zhí)行圖像處理。通信單元22是用于借助于連接到通信網(wǎng)絡(luò)100來執(zhí)行通信的接口。存儲單元23是包括例如硬盤裝置的存儲裝置，并且存儲控制器21執(zhí)行的程序。存儲單元23還包括圖像檢索數(shù)據(jù)庫231。
[0063]要注意的是雖然圖4中有用虛線框表示的“指定信息表”，但是指定信息表232是下面描述的第二示例性實施方式的要素，并且與本示例性實施方式無關(guān)。
[0064]圖5是例示圖像檢索數(shù)據(jù)庫231的構(gòu)造的圖。
[0065]如圖5所示，圖像檢索數(shù)據(jù)庫231是彼此關(guān)聯(lián)地登記指定信息、圖像標(biāo)識符、局部特征量(特征信息的示例)和內(nèi)容信息的數(shù)據(jù)庫。
[0066]指定信息是指定作為檢索對象的圖像組的信息。該圖像組是檢索對象圖像的集合，并且是作為圖像檢索服務(wù)器20的檢索對象的所有檢索對象圖像的一部分。在該示例中，提供與檢索對象圖像關(guān)聯(lián)的數(shù)字內(nèi)容的各個內(nèi)容供應(yīng)商對應(yīng)于不同的指定信息。即，在本示例性實施方式中，指定信息是，但不限于，唯一標(biāo)識檢索對象圖像的類別的標(biāo)識符。
[0067]圖像標(biāo)識符是唯一標(biāo)識檢索對象圖像的標(biāo)識符。局部特征量表示檢索對象圖像的特征的量。更具體地，局部特征量是多個特征點中各個特征點的局部特征的量。在本示例中，局部特征量是尺度不變特征變換(SIFT)特征量。SIFT特征量是借助于確定像素的代表性亮度梯度方向、相對于所確定的方向生成亮度梯度直方圖并且借助于利用多維矢量(例如，128-維矢量)表示特征而獲得的局部特征量。SIFT特征量是在相關(guān)技術(shù)中已知的，例如在 Nagahashi, Fujiyoshi, and Kanade, "Object Type Classificat1n UsingStructure-Based Feature Representat1n' IEEJ, Technical Meeting on Systems andControl, pp39_44, January2007中描述的，因此這里將不進行詳細(xì)描述。
[0068]內(nèi)容信息是指示從圖像檢索服務(wù)器20提供給用戶終端10的數(shù)字內(nèi)容的信息。在本示例中，內(nèi)容信息是關(guān)于存取目的地的信息(諸如指示數(shù)字內(nèi)容所存儲的地點的統(tǒng)一資源標(biāo)識符(URI))。然而，內(nèi)容信息可以是表示數(shù)字內(nèi)容本身的信息。
[0069]以上述方式，在圖像檢索數(shù)據(jù)庫231中，針對各個指定信息，彼此關(guān)聯(lián)地登記從檢索對象圖像提取的局部特征量和指示與檢索對象圖像關(guān)聯(lián)的數(shù)字內(nèi)容的內(nèi)容信息。
[0070]圖6是例示用戶終端10和圖像檢索服務(wù)器20的功能構(gòu)造的框圖。如圖6所例示，圖像檢索服務(wù)器20執(zhí)行程序，由此實現(xiàn)與檢索對象圖像接收單元201、特征信息提取單元202、指定信息提取單元203、登記處理單元204、查詢圖像接收單元205、檢索單元206和內(nèi)容信息輸出單元207對應(yīng)的功能。用戶終端10執(zhí)行程序，由此實現(xiàn)與拍攝圖像獲得單元101、查詢圖像發(fā)送單元102和內(nèi)容信息接收單元103對應(yīng)的功能。
[0071]要注意的是雖然圖6中有用虛線框表示的“圖像處理單元”，但是圖像處理單元208是下面描述的第二示例性實施方式的變型例(2)的功能元件，并且與本示例性實施方式無關(guān)。
[0072]圖像檢索服務(wù)器20的檢索對象圖像接收單元201響應(yīng)于來自登記終端30的檢索對象圖像的登記請求，接收并獲得檢索對象圖像。
[0073]特征信息提取單元202提取從檢索對象圖像接收單元201提供的檢索對象圖像的特征點的局部特征量。特征信息提取單元202還提取從查詢圖像接收單元205提供的查詢圖像的局部特征量。
[0074]指定信息提取單元203從檢索對象圖像接收單元201提供的檢索對象圖像提取指定信息。指定信息提取單元203還從查詢圖像接收單元205提供的查詢圖像提取指定信息。
[0075]登記處理單元204執(zhí)行用于將關(guān)于檢索對象圖像的數(shù)據(jù)登記在圖像檢索數(shù)據(jù)庫231中的登記處理。更具體地，登記處理單元204將特征信息提取單元202從檢索對象圖像提取的局部特征量與指定信息提取單元203提取的檢索對象圖像的指定信息關(guān)聯(lián)地登記在圖像檢索數(shù)據(jù)庫231中。在該步驟中，登記處理單元204將指示從登記終端30獲得的數(shù)字內(nèi)容的內(nèi)容信息與指定信息和局部特征量關(guān)聯(lián)地登記在圖像檢索數(shù)據(jù)庫231中。
[0076]用戶終端10的拍攝圖像獲得單元101獲得圖像拍攝單元14拍攝的圖像。
[0077]查詢圖像發(fā)送單元102基于拍攝圖像獲得單元101獲得的拍攝圖像，向圖像檢索服務(wù)器20發(fā)送用于圖像檢索的查詢圖像。
[0078]圖像檢索服務(wù)器20的查詢圖像接收單元205 (獲得單元的示例)接收并獲得從查詢圖像發(fā)送單元102發(fā)送的查詢圖像。
[0079]檢索單元206利用局部特征量對指定信息指定的檢索對象圖像執(zhí)行檢索處理。檢索單元206基于圖像檢索數(shù)據(jù)庫231，檢索與從查詢圖像發(fā)送單元102發(fā)送的查詢圖像類似的檢索對象圖像。檢索單元206從圖像檢索數(shù)據(jù)庫231獲得與指定信息提取單元203提取的指定信息關(guān)聯(lián)的局部特征量，并且將獲得的局部特征量與特征信息提取單元202提取的查詢圖像的局部特征量進行比較，以確定針對各個特征點的對應(yīng)點。檢索單元206基于確定的對應(yīng)點檢索與查詢圖像類似的檢索對象圖像，并且標(biāo)識檢索到的檢索對象圖像的圖像標(biāo)識符。
[0080]內(nèi)容信息輸出單元207 (輸出單元的示例)向用戶終端10輸出與檢索單元206檢索到的檢索對象圖像對應(yīng)的內(nèi)容信息。內(nèi)容信息輸出單元207從圖像檢索數(shù)據(jù)庫231獲得與檢索單元206檢索到的檢索對象圖像的圖像標(biāo)識符關(guān)聯(lián)的內(nèi)容信息。然后，內(nèi)容信息輸出單元207向用戶終端10發(fā)送并輸出內(nèi)容信息。
[0081]用戶終端10的內(nèi)容信息接收單元103接收從內(nèi)容信息輸出單元207輸出的內(nèi)容信息。
[0082]圖7是例示由圖像檢索系統(tǒng)1執(zhí)行的處理的流程的順序圖。
[0083]當(dāng)用戶執(zhí)行用于請求在圖像檢索服務(wù)器20中登記檢索對象圖像的操作時，登記終端30向圖像檢索服務(wù)器20發(fā)送檢索對象圖像的登記請求(步驟S1)。該登記請求包括檢索對象圖像、內(nèi)容信息和用于向登記終端30發(fā)送數(shù)據(jù)的目的地地址。例如，用于標(biāo)識登記終端30發(fā)送登記請求的目的地的目的地地址預(yù)先設(shè)置在登記終端30執(zhí)行的程序中。通過通信單元22接收到登記請求的圖像檢索服務(wù)器20的控制器21執(zhí)行登記處理(步驟S2)。
[0084]圖8是例示登記處理的流程的流程圖。圖9A至圖9C例示登記處理的具體示例。
[0085]圖像檢索服務(wù)器20的控制器21獲得登記請求中包括的檢索對象圖像(步驟S21)。然后，控制器21從獲得的檢索對象圖像提取指定信息(步驟S22)?，F(xiàn)在假定控制器21獲得圖9A的檢索對象圖像Is。在這種情況下，如圖9B所示，控制器21對檢索對象圖像Is執(zhí)行用于解碼來自數(shù)字水印dwl的信息的圖像處理，由此提取指定信息。借助于登記終端30執(zhí)行的操作，將數(shù)字水印dwl添加到檢索對象圖像。在該例示中，控制器21提取指定信息“G001”。
[0086]然后，控制器21從獲得的檢索對象圖像檢測特征點，并且提取檢測到的特征點的局部特征量(步驟S23)。在該示例中，如圖9C所示，控制器21檢測特征點ps (由黑圓表示)，諸如檢索對象圖像Is的邊緣和角落)，并且提取檢測到的特征點ps的局部特征量。為了簡化例示，在圖9C中，僅一個特征點用“ps”表示。
[0087]要注意的是雖然數(shù)字水印dwl疊加在檢索對象圖像上，但是可以忽略其對特征點的檢測和局部特征量的影響。
[0088]然后，控制器21在圖像檢索數(shù)據(jù)庫231中登記在步驟S23的處理中提取的各個特征點的局部特征量(步驟S24)。在該步驟中，控制器21將圖像標(biāo)識符和局部特征量與步驟S22的處理中提取的指定信息關(guān)聯(lián)地登記。更具體地，控制器21向步驟S21的處理中獲得的檢索對象圖像Is分配圖像標(biāo)識符，并且登記從檢索對象圖像Is提取的多個局部特征量。參照圖5，與指定信息“G001”和圖像標(biāo)識符“IMG-1”關(guān)聯(lián)的局部特征量“Vsl”，...，和“Vsk”各是從具有圖像標(biāo)識符“IMG-1”的檢索對象圖像提取的局部特征量。在步驟S24的處理中，控制器21還在圖像檢索數(shù)據(jù)庫231中登記包括在登記請求中的內(nèi)容信息。
[0089]上述是登記處理的描述。
[0090]圖像檢索服務(wù)器20利用步驟S1的處理中發(fā)送的目的地地址，向登記終端30發(fā)送執(zhí)行登記處理的檢索對象圖像Is。登記終端30借助于印制并輸出檢索對象圖像Is，生成印刷品40。圖像檢索服務(wù)器20每當(dāng)接收到檢索對象圖像的登記請求時，就執(zhí)行具有上述程序的登記處理。
[0091]討論返回到圖7。
[0092]假定用戶終端10的用戶利用用戶終端10來拍攝印刷品40的圖像。在這種情況下，用戶終端10的控制器11使圖像拍攝單元14拍攝印刷品40的圖像，并且獲得借助于圖像拍攝而拍攝的圖像(步驟S3)。然后，控制器11通過通信單元13向圖像檢索服務(wù)器20發(fā)送獲得的查詢圖像(步驟S4)。例如，用于標(biāo)識用戶終端10將登記請求發(fā)送到的目的地的目的地地址預(yù)先設(shè)置在用戶終端10的控制器11執(zhí)行的程序中。進一步地，在步驟S4的處理中，用戶終端10還向登記終端30發(fā)送數(shù)據(jù)要發(fā)送到的目的地地址。通過通信單元22接收到查詢圖像的圖像檢索服務(wù)器20的控制器21基于該查詢圖像，執(zhí)行檢索處理(步驟S5)。
[0093]圖10是例示檢索處理的流程的流程圖。圖11的(a)到(c)例示檢索處理的具體示例。
[0094]首先，控制器21接收查詢圖像(步驟S51)。然后，控制器21從獲得的查詢圖像檢測特征點，并且提取檢測到的特征點的局部特征量(步驟S52)?，F(xiàn)在假定控制器21獲得圖11的(a)的查詢圖像Iq。如圖11的(b)所示，在查詢圖像Iq上，疊加有該查詢圖像的指定信息作為數(shù)字水印dw2。在這種情況下，如圖11的(c)所示，控制器21從查詢圖像Iq提取特征點pq的局部特征量。為了簡化例示，在圖11的(c)中，僅一個特征點用“pq”表示。
[0095]然后，控制器21從獲得的查詢圖像提取指定信息(步驟S53 )。在該示例中，控制器21對查詢圖像Iq執(zhí)行用于解碼來自數(shù)字水印dw2的信息的圖像處理，由此提取指定信息。該圖像處理可以與當(dāng)從檢索對象圖像提取指定信息時執(zhí)行的處理相同。在該例示中，控制器21提取指定信息“G001”。
[0096]然后，控制器21從圖像檢索數(shù)據(jù)庫231獲得用于檢索處理的局部特征量，并且將獲得的局部特征量與查詢圖像的局部特征量進行比較(步驟S54)?？刂破?1將特征點pq的局部特征量與和步驟S53的處理中提取的指定信息關(guān)聯(lián)地登記在圖像檢索數(shù)據(jù)庫231中的相應(yīng)局部特征量進行比較。如圖11的(c)所例示，控制器21獲得與和指定信息“G001”關(guān)聯(lián)的圖像標(biāo)識符“ IMG-1 ”、“ IMG-2”，…，“ MG-N”中的每一個對應(yīng)的局部特征量，并且將特征點pq的局部特征量與獲得的局部特征量進行比較。即，控制器21選擇指定信息“G001”指定的圖像組，作為檢索對象。另一方面，控制器21在檢索處理中不使用與除了步驟S53的處理中提取的指定信息之外的指定信息(諸如，指定信息“G002”和“G003”)關(guān)聯(lián)的局部特征量(即，圖像組)(例如，不從圖像檢索數(shù)據(jù)庫231獲得)。
[0097]然后，控制器21基于步驟S54的比較結(jié)果，執(zhí)行檢索與查詢圖像類似的檢索對象圖像的圖像檢索處理(步驟S55)。在該步驟中，控制器21針對查詢圖像Iq的各個特征點pq，計算與步驟S54中獲得的局部特征量的相似度。可以使用已知算法來計算局部特征量之間的相似度?？刂破?1基于計算出的相似度確定檢索對象圖像中的對應(yīng)點，由此檢索與查詢圖像類似的檢索對象圖像。例如，控制器21檢索具有最大數(shù)量的對應(yīng)點并且具有比閾值大的數(shù)量的對應(yīng)點的檢索對象圖像。
[0098]控制器21從圖像檢索數(shù)據(jù)庫231獲得與檢索到的檢索對象圖像的圖像標(biāo)識符關(guān)聯(lián)的內(nèi)容信息(步驟S56)。例如，在具有圖像標(biāo)識符“IMG-1”的檢索對象圖像是檢索結(jié)果的情況下，控制器21獲得內(nèi)容信息“Ct-1”。
[0099]以上是檢索處理的描述。圖像檢索服務(wù)器20每當(dāng)接收到查詢圖像時，執(zhí)行具有上述程序的處理。
[0100]討論返回到圖7。
[0101]當(dāng)檢索處理結(jié)束時，圖像檢索服務(wù)器20的控制器21基于步驟S4的處理中發(fā)送的目的地地址，通過通信單元22向用戶終端10發(fā)送并輸出在步驟S56的處理中獲得的內(nèi)容信息(步驟S6)。通過通信單元13接收到內(nèi)容信息的用戶終端10的控制器11基于接收到的內(nèi)容信息獲得并顯示數(shù)字內(nèi)容(步驟S7 )。
[0102]以上是圖像檢索系統(tǒng)1的操作的描述。
[0103]在上述第一示例性實施方式的圖像檢索系統(tǒng)1中，圖像檢索服務(wù)器20在檢索處理中從查詢圖像提取指定作為檢索對象的圖像組的指定信息。然后，圖像檢索服務(wù)器20從圖像檢索數(shù)據(jù)庫231獲得與該指定信息對應(yīng)的各個檢索對象圖像的局部特征量，并且將獲得的局部特征量與查詢圖像的局部特征量進行比較。因此，在圖像檢索系統(tǒng)1中，在不要求用戶終端10的用戶指定作為檢索對象的圖像組(檢索對象圖像)的情況下，基于指定信息僅對檢索對象圖像執(zhí)行圖像檢索。因為僅對指定的檢索對象圖像執(zhí)行圖像檢索，所以不從與不同的指定信息對應(yīng)的圖像組獲得檢索結(jié)果。進一步地，減少了檢索處理的處理量。
[0104](第二示例性實施方式)
[0105]下面，將描述本發(fā)明的第二示例性實施方式。
[0106]在第二示例性實施方式的圖像檢索圖像1中，基于人視覺地識別的物體的圖像(諸如圖標(biāo)圖像)，從查詢圖像提取指定信息。
[0107]第二示例性實施方式的圖像檢索系統(tǒng)1中包括的裝置以及裝置的硬件構(gòu)造可以與第一示例性實施方式的相同。進一步地，除了與用于提取指定信息的功能有關(guān)的部分之外，第二示例性實施方式的圖像檢索系統(tǒng)1的功能構(gòu)造可以與第一示例性實施方式的相同。
[0108]在以下描述中，將不進一步描述與第一示例性實施方式相同的部分。進一步地，與第一示例性實施方式相同的元件和處理步驟用相同的附圖標(biāo)記來表示，并且將不進一步描述。
[0109]圖12A和圖12B例示根據(jù)本示例性實施方式的圖像檢索系統(tǒng)1提取指定信息的方法。圖12A例示根據(jù)本示例性實施方式的印刷品40的示例。如圖12A所示，在印刷品40中，指示指定信息的圖標(biāo)圖像414包含在特征界線411內(nèi)部。在該示例中，圖標(biāo)圖像414是內(nèi)部具有星的矩形圖像，并且是表示指定信息的圖像(例如，內(nèi)容供應(yīng)商等的徽標(biāo))。參照圖12B，例示了借助于拍攝印刷品40的圖像而獲得的查詢圖像Iql。因為圖標(biāo)圖像414位于特征界線411的內(nèi)部，所以借助于拍攝圖標(biāo)圖像414的圖像而獲得的物體圖像A包含在查詢圖像Iql中。
[0110]在檢索處理的步驟S51的處理中獲得圖12B的查詢圖像Iql的情況下，圖像檢索服務(wù)器20的控制器21在步驟S53的處理中從查詢圖像Iql檢測指示指定信息的物體圖像?？刂破?1將圖12C的指定信息表232存儲在存儲單元23中，并且基于指定信息表232檢測查詢圖像中包含的物體圖像。指定信息表232是彼此關(guān)聯(lián)地登記有指定信息和唯一標(biāo)識指定信息的物體圖像的數(shù)據(jù)表?？刂破?1利用已知方法(例如，圖案匹配)從查詢圖像Iql檢測在指定信息表232中登記的物體圖像。在該步驟中，如果充當(dāng)物體圖像的記號的記號圖像(例如，上述矩形圖像)包含在印刷品40中，則控制器21可以借助于識別該記號圖像來檢測物體圖像。
[0111]然后，控制器21基于指定信息表232，提取與從查詢圖像Iql檢測到的物體圖像關(guān)聯(lián)的指定信息?？刂破?1基于提取的指定信息，執(zhí)行檢索處理的步驟S54和之后的處理。
[0112]在該登記處理中，圖像檢索服務(wù)器20使用包含與指定信息唯一關(guān)聯(lián)的物體圖像的檢索對象圖像。因此，登記終端30向圖像檢索服務(wù)器20發(fā)送包含與用戶指定的指定信息對應(yīng)的物體圖像的檢索對象圖像。接收到檢索對象圖像的圖像檢索服務(wù)器20基于指定信息表232檢測檢索對象圖像中包含的物體圖像，并且提取指定信息。在提取指定信息之后，圖像檢索服務(wù)器20以與第一示例性實施方式相同的方式執(zhí)行登記處理。
[0113](第二示例性實施方式的變型例)
[0114]下面描述的變型例可以彼此適當(dāng)組合。
[0115](1)在上述第二示例性實施方式的圖像檢索系統(tǒng)1中，在從查詢圖像中包含的物體圖像檢測到特征點的情況下，可以在不使用該特征點的情況下執(zhí)行檢索處理。由此，在圖像檢索系統(tǒng)1中，在不受圖標(biāo)圖像414影響的情況下，執(zhí)行圖像檢索處理。
[0116]假定如圖12B所例示，控制器21從查詢圖像Iql檢測物體圖像A，并且如圖13所例示，還檢測表示物體圖像A的特征的特征點pqj。在這種情況下，控制器21基于圖像檢索數(shù)據(jù)庫231中的局部特征量，確定針對從不包括查詢圖像Iql的物體圖像A的區(qū)域檢測到的特征點的對應(yīng)點。另一方面，控制器21在圖像檢索處理中不使用從物體圖像A檢測到的特征點pqj，并且不確定其對應(yīng)點?？刂破?1基于從不包括物體圖像A的區(qū)域檢測到的特征點的局部特征量，執(zhí)行圖像檢索處理。圖像檢索處理的步驟S55及之后的圖像檢索系統(tǒng)1的操作可以與上述第二示例性實施方式的相同。
[0117]當(dāng)執(zhí)行登記處理時，圖像檢索服務(wù)器20可以在圖像檢索數(shù)據(jù)庫231中登記從檢索對象圖像中不包括物體圖像的區(qū)域檢測到的特征點的局部特征量。
[0118](2)在上述第二示例性實施方式的圖像檢索系統(tǒng)1中，在查詢圖像中包含因用戶終端10拍攝印刷品40的圖像的方式或拍攝圖像的環(huán)境而引起的圖像變化(即，噪聲)的情況下，可以在對查詢圖像執(zhí)行減少圖像變化的圖像處理之后，執(zhí)行特征點的檢測和局部特征量的提取。例如，該圖像變化是因拍攝圖像的方式而引起的查詢圖像的圖像失真。如果當(dāng)利用攝像頭功能拍攝圖像時使用戶終端10沿水平方向傾斜，則可以將獲得的拍攝圖像沿水平方向扭曲為平行四邊形或梯形。如果使圖像拍攝裝置沿垂直方向傾斜，則可以將獲得的拍攝圖像沿垂直方向扭曲為平行四邊形或梯形。依賴于該類型的圖像失真的有無和圖像失真的程度，從查詢圖像檢測到的特征點和局部特征量可以變化。如果查詢圖像中出現(xiàn)圖像失真，則可能降低圖像檢索處理的精度。
[0119]該變型例的圖像檢索服務(wù)器20實現(xiàn)了與圖像處理單元208對應(yīng)的功能(除了圖6描述的功能構(gòu)造之外)。圖像處理單元208對查詢圖像執(zhí)行圖像處理，使得從查詢圖像檢測到的物體圖像變得接近與指定信息表232中登記的物體圖像對應(yīng)的指定信息的物體圖像。特征信息提取單元202基于圖像處理單元208進行圖像處理之后的查詢圖像，提取特征點并提取局部特征量。
[0120]圖14是例示由圖像檢索服務(wù)器20執(zhí)行的檢索處理的流程的流程圖。
[0121]圖像檢索服務(wù)器20的控制器21從步驟S51的處理中獲得的查詢圖像檢測物體圖像。然后，控制器21將檢測到的物體圖像與指定信息表232中登記的物體圖像進行比較，并且指定查詢圖像中的圖像變化。在圖像失真的情況下，可以借助于參照查詢圖像中物體圖像的尺寸和形狀來確定圖像失真的方向和程度。如圖15A所示，假定獲得具有沿水平方向的梯形圖像失真的查詢圖像Iq2。在這種情況下，物體圖像A與指定信息表232中登記的物體圖像不同，并且因圖像失真而變形。因此，控制器21對查詢圖像執(zhí)行圖像處理(幾何變換)，使得檢測到的物體圖像變得接近指定信息表232中登記的物體圖像(步驟S57)。由此，如圖15B所示，獲得圖像失真減少的查詢圖像Iqr。該查詢圖像Iqr包含經(jīng)由圖像處理減少了圖像失真的物體圖像Ar。
[0122]已知利用SIFT特征量的圖像檢索不太可能受到因查詢圖像與檢索對象圖像之間的尺寸差異而引起的檢索精度的降低的影響。由此，控制器21可以對查詢圖像執(zhí)行圖像處理，使得檢測到的物體圖像的形狀變得接近指定信息表232中登記的物體圖像的形狀(類似形狀)。
[0123]然后，在步驟S52的處理中，控制器21從圖像處理之后的查詢圖像提取局部特征量。然后，在步驟S53的處理中，控制器21從圖像處理之后的查詢圖像提取指定信息。此后，控制器21根據(jù)以上在第二示例性實施方式中描述的程序，執(zhí)行圖像檢索處理。
[0124]在該變型例中，在基于物體圖像減小查詢圖像的圖像變化的圖像處理之后，提取局部特征量。例如，該構(gòu)造可以應(yīng)用于除了涉及在不借助用戶進行指定的情況下提取指定信息的圖像檢索之外的圖像檢索。
[0125]進一步地，在該變型例中，描述了圖像失真，作為查詢圖像中的圖像變化。然而，圖像變化不限于圖像失真。例如，在使查詢圖像中的物體圖像相對于登記的物體圖像旋轉(zhuǎn)預(yù)定角度的情況下，圖像檢索服務(wù)器20執(zhí)行使查詢圖像沿反方向旋轉(zhuǎn)相同角度的圖像處理，然后執(zhí)行特征點的檢測和局部特征量的提取。進一步地，在基于物體圖像確定查詢圖像中存在亮度變化的情況下，圖像檢索服務(wù)器20執(zhí)行減小查詢圖像中的亮度變化的圖像處理，然后執(zhí)行特征點的檢測和局部特征量的提取。
[0126](變型例)
[0127]可以與上述示例性實施方式不同的方式來實現(xiàn)本發(fā)明。進一步地，下面描述的變型例可以彼此組合。
[0128](變型例1)
[0129]上述各個示例性實施方式的圖像檢索系統(tǒng)可以如下所述進行修改。
[0130]圖16例示根據(jù)該變型例的圖像檢索系統(tǒng)la的整體構(gòu)造。
[0131]如圖16所示，圖像檢索系統(tǒng)la是執(zhí)行圖像檢索的信息處理系統(tǒng)，并且包括用戶終端10、圖像檢索服務(wù)器20、登記終端30和登記服務(wù)器50a、50b和50c。用戶終端10和登記終端30具有與上述示例性實施方式相同的構(gòu)造并且執(zhí)行與上述示例性實施方式相同的操作。登記服務(wù)器50a、50b和50c是這樣的登記裝置:各個登記裝置對應(yīng)于不同的指定信息，并且在各個登記裝置中，登記由對應(yīng)的指定信息指定的圖像組中包括的檢索對象圖像的局部特征量和內(nèi)容信息。指定信息是指定登記了由指定信息指定的圖像組(檢索對象圖像)的局部特征量的登記服務(wù)器的信息。
[0132]登記服務(wù)器50a具有登記了圖5的圖像檢索數(shù)據(jù)庫231中的與指定信息“G001”關(guān)聯(lián)的數(shù)據(jù)的數(shù)據(jù)庫。登記服務(wù)器50b具有登記了圖5的圖像檢索數(shù)據(jù)庫231中的與指定信息“G002”關(guān)聯(lián)的數(shù)據(jù)的數(shù)據(jù)庫。登記服務(wù)器50c具有登記了圖5的圖像檢索數(shù)據(jù)庫231中的與指定信息“G003”關(guān)聯(lián)的數(shù)據(jù)的數(shù)據(jù)庫。圖像檢索服務(wù)器20與用戶終端10和登記終端30通信，并且還與登記服務(wù)器50a、50b和50c通信。即，圖像檢索服務(wù)器20充當(dāng)對用戶終端10與登記終端30和登記服務(wù)器50a、50b和50c之間的通信進行中介的服務(wù)器。下文中，當(dāng)不需要單獨提及登記服務(wù)器50a、50b和50c時，登記服務(wù)器50a、50b和50c可以總稱為“登記服務(wù)器50”。
[0133]在該變型例中，登記服務(wù)器50可以執(zhí)行登記處理，并且在數(shù)據(jù)庫中登記局部特征量和內(nèi)容信息。另選地，圖像檢索服務(wù)器20可以執(zhí)行登記處理，并且在登記服務(wù)器50的數(shù)據(jù)庫中登記局部特征量和內(nèi)容信息。進一步地，在該變型例中，設(shè)置了三個登記服務(wù)器50a、50b和50c。然而，可以設(shè)置兩個或四個或更多個登記服務(wù)器50。
[0134]圖像檢索服務(wù)器20不包括圖像檢索數(shù)據(jù)庫231，而將圖17的裝置管理表233存儲在存儲單元23中。裝置管理表233是指定信息和唯一標(biāo)識登記服務(wù)器50的標(biāo)識符(下文中稱作“裝置標(biāo)識符”)彼此關(guān)聯(lián)的數(shù)據(jù)表。在圖17中，用登記服務(wù)器50a、50b和50c的附圖標(biāo)記來表示裝置標(biāo)識符。即，在裝置管理表233中，指定了指定信息與識別存儲了由指定信息指定的圖像組的局部特征量的登記服務(wù)器50的裝置標(biāo)識符之間的對應(yīng)關(guān)系。
[0135]裝置標(biāo)識符可以是用于訪問各個登記服務(wù)器50的訪問目的地信息(通信地址)。訪問目的地信息的示例包括涉及檢索處理的服務(wù)的統(tǒng)一資源定位符(URL)和指示查詢圖像的目的地的目的地信息。
[0136]圖18是例示根據(jù)該變型例的檢索處理的流程的順序圖。
[0137]圖像檢索服務(wù)器20的控制器21執(zhí)行步驟S51至S53的處理，以從查詢圖像提取局部特征量并且提取指定信息。
[0138]然后，控制器21借助于參照裝置管理表233來確定與步驟S53的處理中提取的指定信息對應(yīng)的登記服務(wù)器50，并且向所確定的登記服務(wù)器50發(fā)送查詢圖像的局部特征量(步驟S58)。例如，如果基于查詢圖像獲得的指定信息是“G001”，則控制器21請求登記服務(wù)器50a執(zhí)行檢索處理。
[0139]登記服務(wù)器50將從圖像檢索服務(wù)器20接收到的局部特征量與登記服務(wù)器50中登記的局部特征量進行比較(步驟S54)，并且執(zhí)行檢索與查詢圖像類似的檢索對象圖像的圖像檢索處理(步驟S55)。即，該變型例的登記服務(wù)器50充當(dāng)本發(fā)明的各個示例性實施方式的圖像檢索裝置(圖像檢索服務(wù)器)。
[0140]檢索到與查詢圖像類似的檢索對象圖像的登記服務(wù)器50從數(shù)據(jù)庫獲得與檢索到的檢索對象圖像的圖像標(biāo)識符關(guān)聯(lián)的內(nèi)容信息，并且向圖像檢索服務(wù)器20發(fā)送內(nèi)容信息(步驟S59)。例如，在登記服務(wù)器50確定圖像標(biāo)識符“MG-1”作為檢索結(jié)果的情況下，登記服務(wù)器50向圖像檢索服務(wù)器20發(fā)送與圖像標(biāo)識符“MG-1”關(guān)聯(lián)的內(nèi)容信息“Ct-1”。圖像檢索服務(wù)器20的控制器21從登記服務(wù)器50獲得內(nèi)容信息，然后檢索處理結(jié)束(步驟S56 )。
[0141]在本變型例的圖像檢索系統(tǒng)la中，圖像檢索服務(wù)器20可以從登記服務(wù)器50獲得局部特征量并且執(zhí)行檢索處理。在這種情況下，圖像檢索服務(wù)器20向登記服務(wù)器50發(fā)送圖像標(biāo)識符作為檢索處理的結(jié)果，并且從登記服務(wù)器50獲得與圖像標(biāo)識符關(guān)聯(lián)的內(nèi)容信息。
[0142](變型例2)
[0143]在上述變型例1的圖像檢索系統(tǒng)la中，各個應(yīng)用程序可以對應(yīng)于不同的指定信息。在這種情況下，例如，唯一識別應(yīng)用程序的標(biāo)識符(應(yīng)用標(biāo)識符)可以用作指定信息。
[0144]對于登記終端30的操作，在執(zhí)行應(yīng)用程序并且請求圖像檢索服務(wù)器20執(zhí)行登記處理的情況下，登記終端30在步驟S1的處理中向圖像檢索服務(wù)器20發(fā)送從應(yīng)用獲得的指定信息。對于用戶終端10的操作，在執(zhí)行應(yīng)用程序并且請求圖像檢索服務(wù)器20執(zhí)行檢索處理的情況下，用戶終端10的控制器11在步驟S4的處理中向圖像檢索服務(wù)器20發(fā)送從應(yīng)用獲得的指定信息。
[0145]在本變型例的構(gòu)造應(yīng)用于上述變型例1的情況下，即使應(yīng)用程序的各個供應(yīng)商或基于應(yīng)用程序的服務(wù)的各個供應(yīng)商對應(yīng)于不同的登記服務(wù)器50，與由用戶終端10執(zhí)行的應(yīng)用程序?qū)?yīng)的登記服務(wù)器50也能夠提供涉及檢索處理的服務(wù)。
[0146]在本變型例的圖像檢索系統(tǒng)la中，指定信息不需要包含在檢索對象圖像或查詢圖像(g卩，印刷品40)中。
[0147](變型例3)
[0148]上述變型例1或變型例2的圖像檢索系統(tǒng)la可以如下進行修改。在該變型例中，登記服務(wù)器50從查詢圖像提取局部特征量，并且執(zhí)行檢索處理。
[0149]參照圖19，圖像檢索服務(wù)器20的控制器21從用戶終端10獲得查詢圖像(步驟
551)，并且從獲得的查詢圖像提取指定信息(步驟S53)。然后，控制器21基于提取的指定信息以及裝置管理表233，向與該指定信息對應(yīng)的登記服務(wù)器50發(fā)送(轉(zhuǎn)發(fā))查詢圖像(步驟S60)。登記服務(wù)器50從圖像檢索服務(wù)器20所接收到的查詢圖像提取局部特征量(步驟
552)，將提取的局部特征量與登記服務(wù)器50中登記的局部特征量進行比較，并且執(zhí)行圖像檢索處理(步驟S54和S55)。然后，登記服務(wù)器50從數(shù)據(jù)庫獲得與圖像檢索處理的結(jié)果對應(yīng)的內(nèi)容信息，并且向圖像檢索服務(wù)器20發(fā)送內(nèi)容信息(步驟S61)?？刂破?1從登記服務(wù)器50獲得內(nèi)容信息(步驟S56)，然后圖像檢索系統(tǒng)la中的檢索處理結(jié)束。
[0150]根據(jù)該變型例的圖像檢索系統(tǒng)la，與上述變型例1或變型例2的情況相比，減少了圖像檢索服務(wù)器20中檢索處理的處理量。
[0151](變型例4)
[0152]在圖像檢索系統(tǒng)中，用戶終端10可以從查詢圖像提取指定信息，并且向圖像檢索服務(wù)器20發(fā)送該指定信息與查詢圖像一起。在這種情況下，圖像檢索服務(wù)器20利用從用戶終端10接收到的指定信息，執(zhí)行檢索處理。
[0153]另選地，用戶終端10可以從查詢圖像提取局部特征量，并且向圖像檢索服務(wù)器20發(fā)送局部特征量。在這種情況下，圖像檢索服務(wù)器20利用從用戶終端10接收到的局部特征量，執(zhí)行檢索處理。
[0154]進一步地，登記終端30向圖像檢索服務(wù)器20，與檢索對象圖像分開地發(fā)送指定該檢索對象圖像作為檢索對象的指定信息。在這種情況下，圖像檢索服務(wù)器20獲得從登記終端30接收到的指定信息，并且執(zhí)行登記處理。
[0155](變型例5)
[0156]在圖像檢索系統(tǒng)1中，從形成檢索對象圖像或查詢圖像的一部分的部分圖像提取的局部特征量可以用作指定信息。下文中，將描述在登記終端30和用戶終端10從查詢圖像提取局部特征量和指定信息的情況下圖像檢索系統(tǒng)1的操作。
[0157]在請求圖像檢索服務(wù)器20執(zhí)行登記處理時，登記終端30首先指定形成檢索對象圖像的一部分的部分圖像。例如，如圖20A所示，登記終端30將檢索對象圖像Is的圖像區(qū)域以2X2的矩陣形式四等分，并且將位于預(yù)定位置(該示例中，是右下圖像區(qū)域)中的圖像區(qū)域指定作為部分圖像Isp。然后，在步驟S1的處理中，登記終端30向圖像檢索服務(wù)器20發(fā)送從該部分圖像Isp提取的局部特征量，作為指定信息。在步驟S2的處理中的登記處理中，圖像檢索服務(wù)器20將從登記終端30作為指定信息進行發(fā)送的局部特征量登記在圖像檢索數(shù)據(jù)庫231中。在該示例中，如圖20B所示，登記終端30將從部分圖像Isp提取的局部特征量登記在圖像檢索數(shù)據(jù)庫231中，作為指定信息。
[0158]下面，將描述檢索處理中圖像檢索系統(tǒng)1的操作。圖21是例示操作的流程的順序圖。
[0159]用戶終端10的控制器11使圖像拍攝單元14拍攝印刷品40的圖像，并且獲得經(jīng)由圖像拍攝而拍攝的圖像(步驟S3)。然后，控制器11基于拍攝圖像從查詢圖像提取局部特征量(步驟S52)。在該示例中，控制器11獲得圖11的(a)的查詢圖像Iq。然后，控制器11從形成查詢圖像的一部分的部分圖像提取局部特征量，作為指定信息(步驟S53a)。在步驟S53a的處理中，控制器11在查詢圖像中指定位于與檢索對象圖像的部分圖像的位置對應(yīng)的位置處的部分圖像。在該示例中，如在登記終端30的情況下，控制器11將查詢圖像的圖像區(qū)域以2X2的矩陣形式四等分，并且指定位于預(yù)定位置(該示例中，是右下圖像區(qū)域)中的圖像區(qū)域作為部分圖像Iqp (參見圖20C)。
[0160]在步驟S53a的處理中，控制器11可以在確定查詢圖像中包含的圖像要素(即，印刷品40的拍攝圖像的圖像要素)的垂直方向之后，指定查詢圖像的部分圖像。這是因為在如圖20C所示在查詢圖像中包含的圖像要素的垂直方向與查詢圖像的垂直方向一致的狀態(tài)下拍攝印刷品40的圖像的情況與如圖20D中虛線區(qū)域所示在查詢圖像Iq3中包含的圖像要素的垂直方向不與查詢圖像Iq3的垂直方向一致的狀態(tài)下(在該示例中，在使查詢圖像中包含的圖像要素向右旋轉(zhuǎn)90度的狀態(tài)下)拍攝印刷品40的圖像的情況之間，被指定為部分圖像的圖像區(qū)域是不同的。
[0161]由此，例如，控制器11從查詢圖像檢測指定查詢圖像中包含的圖像要素(諸如查詢圖像中包含的字符和標(biāo)記41 (例如，媒體圖標(biāo)413))的垂直方向的信息(方向信息)。然后，控制器11基于檢測到的方向信息，使查詢圖像旋轉(zhuǎn)，使得查詢圖像中包含的圖像要素的垂直方向與查詢圖像的垂直方向一致?？刂破?1從經(jīng)旋轉(zhuǎn)的查詢圖像指定部分圖像，并且提取指定信息。另選地，控制器11可以在不實際上旋轉(zhuǎn)查詢圖像的情況下，將在使查詢圖像中包含的圖像要素的垂直方向與查詢圖像的垂直方向一致的情況下期望位于預(yù)定位置的圖像區(qū)域指定為部分圖像。這樣，即使在查詢圖像Iq3中包含的圖像要素的垂直方向不與查詢圖像Iq3的垂直方向一致的情況下，如圖20D所示，控制器11也能夠精確地指定部分圖像Iqp。
[0162]要注意的是，只要方向信息指示查詢圖像的垂直方向與查詢圖像中包含的圖像要素的垂直方向之間的移位量，那么上述方向信息可以是任意信息。
[0163]然后，控制器11通過通信單元13向圖像檢索服務(wù)器20發(fā)送從查詢圖像提取的局部特征量和指示部分圖像的局部特征量的指定信息(步驟S4a)。通過通信單元22接收到從查詢圖像提取的局部特征量和指定信息的圖像檢索服務(wù)器20的控制器21執(zhí)行圖像檢索處理(步驟S54和S55)。除了部分圖像的局部特征量用作指定信息之外，圖像檢索處理的流程可以與第一示例性實施方式的相同。然后，控制器21從數(shù)據(jù)庫獲得與圖像檢索處理的結(jié)果對應(yīng)的內(nèi)容信息，并且向用戶終端10發(fā)送該內(nèi)容信息(步驟S56和步驟S6)。
[0164]根據(jù)本變型例的圖像檢索系統(tǒng)1，指定信息不需要包含在檢索對象圖像或查詢圖像中。
[0165]使用從查詢圖像的部分圖像提取的局部特征量作為指定信息的構(gòu)造可以應(yīng)用于除了用戶終端10之外的裝置提取局部特征量和指定信息的情況。進一步地，部分圖像的尺寸和形狀以及部分圖像在檢索對象圖像或查詢圖像中的位置不限于上述示例中所描述的。例如，用于指定部分圖像的條件可以被確定為使得兩個或更多個檢索對象圖像的部分圖像具有共同的局部特征量。
[0166](變型例6)
[0167]本發(fā)明的示例性實施方式中的檢索對象圖像或查詢圖像的指定信息不必須對應(yīng)于內(nèi)容供應(yīng)商。指定信息可以是例如指示由內(nèi)容供應(yīng)商提供的服務(wù)類型的信息或指示拍攝查詢圖像的圖像的日期和時間或登記檢索對象圖像的日期和時間的信息。進一步地，指定信息可以是上述應(yīng)用標(biāo)識符。
[0168]S卩，只要指定信息是用于指定作為檢索對象的圖像組的信息，那么本發(fā)明的示例性實施方式中的指定信息就可以是任意信息。根據(jù)該變型例的圖像檢索系統(tǒng)，不論查詢圖像和檢索對象圖像的指定信息，在不要求用戶指定作為檢索對象的圖像組的情況下，選擇檢索處理中使用的檢索對象圖像。
[0169](變型例7)
[0170]圖像檢索數(shù)據(jù)庫231中的指定信息不必須與從查詢圖像提取的指定信息匹配。即，在圖像檢索數(shù)據(jù)庫231中，在不使用查詢圖像的指定信息的情況下，可以登記與檢索對象圖像對應(yīng)的局部特征量和內(nèi)容信息。也在這種情況下，圖像檢索服務(wù)器20獲取與從查詢圖像提取的指定信息對應(yīng)的各個檢索對象圖像的局部特征量，并且執(zhí)行檢索處理。
[0171]例如，在將查詢圖像歸類為比檢索對象圖像小的類別的情況下，圖像檢索服務(wù)器20可以在檢索處理中使用包含查詢圖像的類別的類別中的檢索對象圖像的局部特征量。相反，在將查詢圖像歸類為比檢索對象圖像大的類別的情況下，圖像檢索服務(wù)器20可以在檢索處理中使用查詢圖像的類別中包含的類別中的檢索對象圖像的局部特征量。進一步地，圖像檢索服務(wù)器20可以基于指定信息確定與查詢圖像的類別在語義上(semantically)有關(guān)的類別中的檢索對象圖像的局部特征量，并且在檢索處理中使用確定的局部特征量。
[0172](變型例8)
[0173]在上述第二示例性實施方式的圖像檢索系統(tǒng)1中，與指定信息唯一關(guān)聯(lián)的物體圖像不限于圖標(biāo)圖像，而可以是包含編碼信息的編碼圖像(諸如條形碼和二維代碼)。進一步地，物體圖像可以是唯一識別指定信息的一個或更多個字符的字符串。即，指示查詢圖像的指定信息的信息包含在查詢圖像中。
[0174]進一步地，在上述第二示例性實施方式的圖像檢索系統(tǒng)1中，代替媒體圖標(biāo)413，可以使用與指定信息唯一關(guān)聯(lián)的物體圖像。
[0175](變型例9)
[0176]在上述示例性實施方式中，代替印刷品40，可以使用顯示包含疊加在圖像要素上的標(biāo)記41的圖像的顯示裝置。在這種情況下，用戶終端10拍攝該顯示裝置顯示的圖像(畫面)。
[0177](變型例10)
[0178]在上述示例性實施方式中，將SIFT特征量用作特征點的特征量(局部特征量)。然而，可以使用其它類型的特征量，諸如基于加速魯棒特征(speeded up robustfeatures, SURF)的特征量等。即，本發(fā)明的示例性實施方式中的特征信息不限于強度梯度的特征，而可以是指示特征點的位置(坐標(biāo))和其它特征點的特征量的信息。
[0179]進一步地，本發(fā)明的示例性實施方式中的特征信息可以指示除了特征點的局部特征量之外的、可用于圖像檢索的特征量。
[0180](變型例11)
[0181]在上述示例性實施方式中，圖像檢索服務(wù)器20輸出與和查詢圖像類似的檢索對象圖像對應(yīng)的內(nèi)容信息。然而，所輸出的信息不限于內(nèi)容信息。例如，在將本發(fā)明應(yīng)用于檢索類似圖像的信息處理系統(tǒng)的情況下，圖像檢索服務(wù)器20可以向用戶終端10發(fā)送并輸出從檢索數(shù)據(jù)庫檢索到的類似圖像的圖像數(shù)據(jù)。在這種情況下，用圖像標(biāo)識符標(biāo)識的檢索對象圖像可以代替內(nèi)容信息登記在圖像檢索數(shù)據(jù)庫231中。
[0182](變型例12)
[0183]圖像檢索服務(wù)器20不需要具有用于將局部特征量登記在圖像檢索數(shù)據(jù)庫231中的功能。在這種情況下，與圖像檢索服務(wù)器20分開設(shè)置的圖像登記裝置可以執(zhí)行將局部特征量和內(nèi)容信息登記在圖像檢索數(shù)據(jù)庫231中的登記處理。
[0184]進一步地，圖像檢索服務(wù)器20可以不由單個服務(wù)器裝置實現(xiàn)，而由組合操作的多個服務(wù)器裝置來實現(xiàn)。進一步地，由圖像檢索服務(wù)器20實現(xiàn)的功能可以由用戶使用的通信終端(例如，用戶終端10)來實現(xiàn)。
[0185]由上述各個示例性實施方式的用戶終端10、圖像檢索服務(wù)器20、登記終端30和登記服務(wù)器50實現(xiàn)的功能可以由一個或更多個硬件電路、由算術(shù)裝置執(zhí)行一個或更多個程序或者經(jīng)由這些的組合來實現(xiàn)。在利用程序?qū)崿F(xiàn)用戶終端10、圖像檢索服務(wù)器20、登記終端30和登記服務(wù)器50的功能的情況下，程序可以以存儲在計算機可讀記錄介質(zhì)(諸如磁記錄介質(zhì)(磁帶、磁盤、硬盤驅(qū)動器(HDD)、軟盤(FD)等)、光記錄介質(zhì)(光盤等)、磁光記錄介質(zhì)和半導(dǎo)體存儲器)的形式來存儲，或者可以在網(wǎng)絡(luò)上傳送。進一步地，本發(fā)明可以具體實施為由計算機執(zhí)行的信息處理方法。
[0186]出于解釋和說明的目的對本發(fā)明的示例性實施方式提供了前述描述。其目的不是窮舉性的，也不是將本發(fā)明限制于所公開的精確形式。顯然，許多修改和變型例對于本領(lǐng)域的技術(shù)人員是明顯的。為了最佳地解釋本發(fā)明的原理及其實際應(yīng)用，選擇并描述了這些實施方式，由此使得本領(lǐng)域的其他技術(shù)人員能夠理解本發(fā)明的各種實施方式以及適合于預(yù)期的具體應(yīng)用的各種修改。旨在利用所附權(quán)利要求書及其等同物限定本發(fā)明的范圍。
【權(quán)利要求】
1.一種圖像檢索系統(tǒng)，該圖像檢索系統(tǒng)包括: 獲得單元，該獲得單元獲得查詢圖像； 指定信息提取單元，該指定信息提取單元從該查詢圖像提取指定作為檢索對象的圖像組的指定信息； 特征信息提取單元，該特征信息提取單元從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及 檢索單元，該檢索單元利用所述特征信息，對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。
2.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)， 其中，所述指定信息提取單元借助于將從所述查詢圖像檢測到的物體圖像與預(yù)先和所述指定信息關(guān)聯(lián)地登記的物體圖像進行比較，來提取所述指定信息。
3.根據(jù)權(quán)利要求2所述的圖像檢索系統(tǒng)， 其中，所述特征信息包括特征點的特征量；以及 其中，所述檢索單元在不使用所述檢測到的物體圖像中包含的所述特征點的所述特征量的情況下執(zhí)行所述圖像檢索處理，所述檢測到的物體圖像中包含的所述特征點包括在所述查詢圖像中包含的所述特征點中。
4.根據(jù)權(quán)利要求2或權(quán)利要求3所述的圖像檢索系統(tǒng)，該圖像檢索系統(tǒng)還包括: 圖像處理單元，該圖像處理單元對所述查詢圖像執(zhí)行圖像處理，使得所述檢測到的物體圖像變得接近所述登記的物體圖像； 其中，所述特征信息提取單元從所述圖像處理后的所述查詢圖像提取所述特征信息。
5.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)， 其中，所述指定信息提取單元提取添加到所述查詢圖像的所述指定信息，作為數(shù)字水印。
6.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)， 其中，所述指定信息提取單元提取的所述指定信息是從形成所述查詢圖像的一部分的部分圖像提取的所述特征信息。
7.根據(jù)權(quán)利要求1至權(quán)利要求6中任一項所述的圖像檢索系統(tǒng)，該圖像檢索系統(tǒng)還包括: 多個登記裝置，各個登記裝置對應(yīng)于不同的指定信息，并且在各個登記裝置中登記由所對應(yīng)的指定信息指定的所述圖像組的所述特征信息； 其中，所述檢索單元利用與所述指定信息提取單元提取的所述指定信息對應(yīng)的在所述登記裝置中登記的所述特征信息，執(zhí)行所述圖像檢索處理。
8.根據(jù)權(quán)利要求1至權(quán)利要求7中任一項所述的圖像檢索系統(tǒng)，該圖像檢索系統(tǒng)還包括: 登記所述特征信息的登記處理單元； 其中，所述特征信息提取單元從請求登記的所述檢索對象圖像提取所述特征信息； 其中，所述指定信息提取單元從請求登記的所述檢索對象圖像提取所述指定信息；以及 其中，所述登記處理單元根據(jù)所述指定信息提取單元提取的所述檢索對象圖像的指定信息，登記所述特征信息提取單元提取的所述檢索對象圖像的所述特征信息，作為所述圖像檢索處理中的檢索對象。
9.根據(jù)權(quán)利要求1至權(quán)利要求8中任一項所述的圖像檢索系統(tǒng)，還包括: 查詢圖像接收單元，該查詢圖像接收單元接收從通信終端發(fā)送的所述查詢圖像；以及 輸出單元，當(dāng)基于所述查詢圖像接收單元接收到的所述查詢圖像執(zhí)行所述圖像檢索處理時，該輸出單元向所述通信終端輸出與所述圖像檢索處理檢索到的檢索對象圖像關(guān)聯(lián)的內(nèi)容信息。
10.一種用于圖像檢索系統(tǒng)的信息處理裝置，其中，所述圖像檢索系統(tǒng)包括:獲得單元，該獲得單元獲得查詢圖像；指定信息提取單元，該指定信息提取單元從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息；特征信息提取單元，該特征信息提取單元從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及檢索單元，該檢索單元利用所述特征信息對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理，所述信息處理裝置包括: 所述指定信息提取單元。
11.一種圖像檢索方法，該圖像檢索方法包括以下步驟: 獲得查詢圖像； 從所述查詢圖像提取指定作為檢索對象的圖像組的指定信息； 從所述查詢圖像提取圖像檢索處理中要使用的特征信息；以及 利用所述特征信息，對由所述指定信息指定的檢索對象圖像執(zhí)行所述圖像檢索處理。
【文檔編號】G06F17/30GK104424349SQ201410081120
【公開日】2015年3月18日 申請日期:2014年3月6日 優(yōu)先權(quán)日:2013年8月22日
【發(fā)明者】大根田裕一, 福田健一郎, 野田晉平 申請人:富士施樂株式會社