使用標(biāo)簽信息進(jìn)行圖像搜索的方法和裝置制造方法
【專利摘要】本發(fā)明公開了使用標(biāo)簽信息進(jìn)行圖像搜索的方法和裝置，以及導(dǎo)出標(biāo)簽信息并且將標(biāo)簽信息與圖像相關(guān)聯(lián)以支持圖像特征搜索的系統(tǒng)。該系統(tǒng)接收用于搜索包括與標(biāo)簽信息的特定布置相關(guān)聯(lián)的目標(biāo)對象在內(nèi)的一個或多個圖像的布置搜索信息。該系統(tǒng)對圖像的標(biāo)簽信息進(jìn)行分析，并且搜索具有滿足布置搜索信息的布置信息的圖像。
【專利說明】使用標(biāo)簽信息進(jìn)行圖像搜索的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像搜索，具體涉及使用標(biāo)簽信息進(jìn)行圖像搜索的方法和裝置，以及用于導(dǎo)出標(biāo)簽信息并將標(biāo)簽信息與圖像相關(guān)聯(lián)以支持圖像特征搜索的系統(tǒng)。
【背景技術(shù)】
[0002]諸如智能電話和平板PC等多媒體設(shè)備通常包括用于對圖像進(jìn)行拍攝的攝像機(jī)，或者用于管理所獲取并存儲在多媒體設(shè)備中的圖像的多種程序。已知多媒體設(shè)備的用戶可以使用與圖像相結(jié)合的標(biāo)簽信息，以便搜索期望圖像。已知的標(biāo)簽信息與圖像相結(jié)合，并且包括圖像的產(chǎn)生時間和產(chǎn)生地點，以及與圖像中包括的多個對象或人有關(guān)的信息。
[0003]當(dāng)在已知系統(tǒng)中使用標(biāo)簽信息搜索圖像時，用戶可以輸入搜索字以搜索期望圖像。例如，用戶可以輸入特定人的名字作為搜索字，從而搜索特定人的圖像。然而，已知搜索系統(tǒng)搜索圖像中的人和對象的能力有限，并且通常產(chǎn)生不期望的結(jié)果，使用戶沮喪并且浪費寶貴的時間和資源。此外，在已知的搜索系統(tǒng)中，搜索期望圖像涉及到對于特定搜索字分別識別搜索結(jié)果，導(dǎo)致較麻煩、多階段、易出錯的搜索過程。根據(jù)本發(fā)明原理的系統(tǒng)解決這些缺陷和相關(guān)問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明人已經(jīng)有利地認(rèn)識到需要能夠搜索其中人或?qū)ο笪挥趫D像內(nèi)的特定位置和/或位于特定地理位置和/或位于示出了實質(zhì)上相同的地點或場景的多個拍攝圖像的特定區(qū)域中的圖像。系統(tǒng)導(dǎo)出標(biāo)簽信息，將標(biāo)簽信息與圖像或圖像的一部分相關(guān)聯(lián)，以支持執(zhí)行圖像搜索并便于搜索期望圖像。
[0005]在實施例中，系統(tǒng)通過以下操作處理標(biāo)簽信息:識別圖像中包括的至少一個目標(biāo)，產(chǎn)生布置信息，布置信息指定了至少一個所識別目標(biāo)的名稱以及圖像中目標(biāo)位于的目標(biāo)區(qū)域。該系統(tǒng)將產(chǎn)生的布置信息作為標(biāo)簽信息與圖像相結(jié)合。圖像搜索方法使用標(biāo)簽信息，接收用于搜索圖像的布置搜索信息，該圖像包括具有特定布置的目標(biāo)。執(zhí)行圖像搜索，所述圖像包括在該圖像中包括的至少一個目標(biāo)的布置信息作為標(biāo)簽信息。該系統(tǒng)對圖像的標(biāo)簽信息進(jìn)行分析，并且搜索具有滿足布置搜索信息的布置信息的圖像。
[0006]在另一實施例中，標(biāo)簽信息存儲裝置包括存儲有至少一個圖像的存儲器?？刂破髯R別圖像中包括的至少一個目標(biāo)，產(chǎn)生布置信息，并且將所產(chǎn)生布置信息作為標(biāo)簽信息與圖像相結(jié)合并相關(guān)聯(lián)，其中布置信息指定至少一個所標(biāo)識目標(biāo)的名稱以及圖像中目標(biāo)位于的目標(biāo)區(qū)域。在另一實施例中，圖像搜索裝置使用標(biāo)簽信息，并且包括用于接收布置搜索信息的輸入單元，其中布置搜索信息用于搜索包括具有特定布置的目標(biāo)的圖像。對多個圖像執(zhí)行搜索，所述多個圖像各自包括用于標(biāo)識圖像中示出的至少一個目標(biāo)的布置的標(biāo)簽信息?？刂破鲗?biāo)簽信息進(jìn)行分析并且搜索具有滿足布置搜索信息的布置信息的圖像。該系統(tǒng)便于搜索具有期望目標(biāo)布置的圖像。
[0007]在另一實施例中，一種使用標(biāo)簽信息進(jìn)行圖像搜索的方法，所述方法包括:接收搜索區(qū)域和搜索字；將搜索區(qū)域和搜索字與標(biāo)簽信息中包括的對應(yīng)于每個圖像的目標(biāo)區(qū)域和目標(biāo)的名稱相比較；顯示在圖像的目標(biāo)區(qū)域上包括所述名稱的目標(biāo)在內(nèi)的圖像，作為比較結(jié)果。
【專利附圖】

【附圖說明】
[0008]根據(jù)以下結(jié)合附圖的詳細(xì)描述，本發(fā)明的以上和其他方面、特征和優(yōu)點更顯而易見，在附圖中:
[0009]圖1A、1B、1C、1D和IE示出了是根據(jù)本發(fā)明實施例的系統(tǒng)的操作；
[0010]圖2示出了根據(jù)本發(fā)明實施例的處理標(biāo)簽信息的方法的流程圖；
[0011]圖3A和3B示出了根據(jù)本發(fā)明實施例的標(biāo)簽信息存儲方法；
[0012]圖4示出了根據(jù)本發(fā)明實施例的圖像搜索方法的流程圖；
[0013]圖5A、5B、5C、ro、5E、5F和5G示出了根據(jù)本發(fā)明實施例的輸入布置搜索信息的處理操作；
[0014]圖6A、6B、6C和6D示出了根據(jù)本發(fā)明實施例的執(zhí)行圖像搜索的處理操作；
[0015]圖7A和7B示出了根據(jù)本發(fā)明實施例的圖像搜索條件；
[0016]圖8A和SB示出了根據(jù)本發(fā)明實施例的調(diào)整分辨率的處理；
[0017]圖9A和9B示出了根據(jù)本發(fā)明實施例的圖像搜索結(jié)果屏幕；以及
[0018]圖10示出了應(yīng)用了本發(fā)明實施例的裝置的框圖。
【具體實施方式】
[0019]在下文中，在描述本發(fā)明時，當(dāng)與公知功能或配置有關(guān)的詳細(xì)描述可能不必要地模糊本發(fā)明的主題時省略該詳細(xì)描述。
[0020]在下文中，在描述本發(fā)明實施例時，為了便于描述，假定媒體設(shè)備包括觸摸屏，但是本發(fā)明不限于此并且可以應(yīng)用于包括能夠代替觸摸屏的輸入功能和顯示功能的多種裝置在內(nèi)的設(shè)備。例如，本發(fā)明的實施例可以應(yīng)用于包括諸如鼠標(biāo)和數(shù)字化器等輸入設(shè)備和諸如監(jiān)視器等顯示設(shè)備在內(nèi)的多種設(shè)備。
[0021]在下文中，媒體設(shè)備是指以下設(shè)備:可以執(zhí)行諸如圖像和文本等多種媒體的記錄和顯示中的至少一個，并且與包括蜂窩電話、智能電話、導(dǎo)航單元、個人數(shù)字助理(PDA)、便攜式多媒體播放器(PMP)、運動圖像專家組層3 (MP3)播放器、游戲機(jī)、平板PC、上網(wǎng)本計算機(jī)、臺式計算機(jī)、筆記本計算機(jī)、連接互聯(lián)網(wǎng)的通信終端和可接收廣播的通信終端等設(shè)備的含義一同使用。本文所使用的“標(biāo)簽信息”包括與圖像相關(guān)聯(lián)圖像元數(shù)據(jù)，其中元數(shù)據(jù)提供與圖像內(nèi)容有關(guān)的信息。
[0022]在下文中，將參照附圖描述本發(fā)明的實施例。
[0023]圖1A至IE示出了對于包括首爾塔110的圖像的系統(tǒng)操作，如圖1A和IB所示這些圖像與其他圖像一起存儲在媒體設(shè)備中。首爾塔110位于圖1A中所示圖像的中心區(qū)域，并且位于圖1B中所示圖像的右下側(cè)。例如，用戶期望搜索其中首爾塔110位于中心區(qū)域的圖像。其中目標(biāo)名稱包括在圖像中并且作為標(biāo)簽信息存儲的已知搜索方法返回包括圖1A和IB的圖像在內(nèi)的示出了首爾塔110的所有圖像。
[0024]相反，根據(jù)本發(fā)明原理的系統(tǒng)返回如下搜索結(jié)果:示出了在中心圖像區(qū)域顯示首爾塔的圖像(例如，圖1A、1D)，而排除了在非中心圖像區(qū)域顯示首爾塔的圖像。該系統(tǒng)存儲對圖像中包括的目標(biāo)所位于的圖像的目標(biāo)區(qū)域加以標(biāo)識的標(biāo)簽信息，當(dāng)搜索圖像時利用該目標(biāo)區(qū)域。有利地，該系統(tǒng)有助于搜索其中用戶期望的特定目標(biāo)位于特定區(qū)域處的圖像。因此，媒體設(shè)備接收用戶輸入(或系統(tǒng)導(dǎo)出的)搜索信息，并且響應(yīng)于輸入的搜索信息來搜索圖像，搜索信息標(biāo)識了圖像的特定搜索區(qū)域和針對目標(biāo)的搜索字，用于搜索圖像的特定區(qū)域中的目標(biāo)。
[0025]例如，響應(yīng)于用戶選擇媒體設(shè)備的一部分顯示區(qū)域并且在圖像搜索屏幕(如圖1C所示)上輸入與所選區(qū)域120相對應(yīng)的搜索字，媒體設(shè)備搜索其中對應(yīng)于輸入搜索字的目標(biāo)位于與所選區(qū)域120相對應(yīng)的區(qū)域處的圖像，并且向用戶提供搜索結(jié)果。相應(yīng)地，當(dāng)用戶指定‘首爾塔’作為要在所選搜索區(qū)域120處搜索的目標(biāo)項時，媒體設(shè)備搜索其中在與搜索區(qū)域120相對應(yīng)的區(qū)域處包括‘首爾塔’的圖像。
[0026]圖1D示出了圖1A中示出的圖像與用戶輸入的搜索信息相比較的屏幕示例。首爾塔Iio包括在與用戶指定的搜索區(qū)域120相對應(yīng)的區(qū)域中，因此媒體設(shè)備將該圖像確定為用戶想找的圖像，并且向用戶示出搜索結(jié)果。類似地，圖1E示出了圖1B的圖像與用戶輸入的搜索信息的比較。首爾塔110不包括在與用戶指定的搜索區(qū)域120相對應(yīng)的區(qū)域中，因此媒體設(shè)備確定該圖像不滿足用戶搜索準(zhǔn)則。搜索系統(tǒng)返回圖1A圖像作為搜索結(jié)果，排除圖1B，相反已知系統(tǒng)錯誤地返回圖像IA和IB 二者。有利地，該系統(tǒng)預(yù)先存儲與圖像中包括的目標(biāo)所位于的圖像目標(biāo)區(qū)域有關(guān)的信息作為標(biāo)簽信息并且在搜索中使用該標(biāo)簽信息。
[0027]圖2示出了用于存儲圖像中目標(biāo)位于的目標(biāo)區(qū)域的有關(guān)信息作為標(biāo)簽信息的處理。目標(biāo)區(qū)域的有關(guān)信息連同目標(biāo)名稱一起存儲，并且在下文中，將目標(biāo)區(qū)域的有關(guān)信息和目標(biāo)名稱稱作布置信息。
[0028]在步驟201中，媒體設(shè)備識別圖像中包括的至少一個目標(biāo)。該圖像可以對應(yīng)于先前存儲在媒體設(shè)備中的圖像，或者利用媒體設(shè)備中加載的攝像機(jī)拍攝而產(chǎn)生的圖像。即，對目標(biāo)的識別可以在攝像機(jī)拍攝期間自動執(zhí)行，或者可以在執(zhí)行特定菜單功能期間對媒體設(shè)備中已經(jīng)存儲的圖像執(zhí)行。不同的已知識別方法可以用于識別目標(biāo)。不同的已知識別方法可以用于識別人的面部、半身、全身或姿勢。與社交連網(wǎng)或地址簿有關(guān)的應(yīng)用可以用于人類特征識別?？梢曰谙蚩蓤?zhí)行應(yīng)用注冊的或在地址簿中的人的照片信息來執(zhí)行人類特征識另IJ。采用位置信息的不同已知識別方法可以應(yīng)用于對象識別。例如，可以應(yīng)用使用全球定位系統(tǒng)(GPS)信息或周邊地圖信息的對象識別方法。此外，除了 GPS信息或周邊地圖信息，還可以應(yīng)用使用與視角有關(guān)的感測信息的對象識別方法，從而排除被識別為對象的錯誤目標(biāo)，并且不會將其作為標(biāo)簽信息合并在圖像數(shù)據(jù)中。這減少了錯誤的搜索結(jié)果并且降低了識別對象所需處理的復(fù)雜性。在步驟203中，媒體設(shè)備產(chǎn)生所識別目標(biāo)的布置信息。如上所述，布置信息包括目標(biāo)名稱以及與圖像內(nèi)的目標(biāo)區(qū)域有關(guān)的信息。即，布置信息包括與要在圖像的哪個區(qū)域識別目標(biāo)有關(guān)的信息。
[0029]在步驟205中，媒體設(shè)備將所產(chǎn)生的布置信息作為標(biāo)簽信息與圖像相結(jié)合。除了布置信息，與圖像相結(jié)合的標(biāo)簽信息還包括產(chǎn)生圖像的時間以及產(chǎn)生圖像的地點。
[0030]參照圖3A和3B描述上述標(biāo)簽信息存儲方法的實施例。媒體設(shè)備識別在先前存儲的圖像中或者通過拍攝產(chǎn)生的圖像中包括的目標(biāo)。例如，圖3A和3B示出了在一個圖像中識別兩個目標(biāo)310和320。當(dāng)識別到目標(biāo)310和320時，媒體設(shè)備產(chǎn)生目標(biāo)310和320的布置信息。如上所述，布置信息對應(yīng)于圖像中目標(biāo)位于的目標(biāo)區(qū)域的信息，并且可以用于提取和顯示目標(biāo)區(qū)域。目標(biāo)區(qū)域可以以多種形式顯示，為了簡化計算并最小化所存信息，描述包括矩形形式的目標(biāo)區(qū)域。然而，本發(fā)明不限于此，目標(biāo)區(qū)域可以包括閉合曲線、圓球形、橢圓形、不規(guī)則形狀或圍繞所識別目標(biāo)的外周的其他形狀。矩形目標(biāo)區(qū)域可通過用作起始點的預(yù)定點(例如，圖像的左上頂點)的坐標(biāo)信息來定義。
[0031]圖像的左上頂點對應(yīng)于坐標(biāo)(0，O)，圖像的右下頂點對應(yīng)于坐標(biāo)(X，Y)，可以利用最接近坐標(biāo)(0，0)的坐標(biāo)(XI，Yl)和最遠(yuǎn)離坐標(biāo)(0，0)的坐標(biāo)(Χ2，Υ2)來指定目標(biāo)310的目標(biāo)區(qū)域，并且可以利用最接近坐標(biāo)(0，0)的坐標(biāo)(Χ3，Υ3)和最遠(yuǎn)離坐標(biāo)(0，0)的坐標(biāo)(Χ4, Υ4)來指定目標(biāo)320的目標(biāo)區(qū)域。
[0032]備選地，可以利用不同的坐標(biāo)集以及相對于坐標(biāo)的垂直和水平長度來指定目標(biāo)區(qū)域，如圖3Β所示?？梢岳米罱咏鴺?biāo)(0，0)的坐標(biāo)(Χ1，Υ1)以及相對于坐標(biāo)(Χ1，Υ1)的水平長度α I和垂直長度β I來指定目標(biāo)區(qū)域310，并且可以利用最接近坐標(biāo)(0，0)的坐標(biāo)(Χ3, Υ3)以及相對于坐標(biāo)(Χ31，Υ3)的水平長度α 2和垂直長度β 2來指定目標(biāo)區(qū)域320。當(dāng)確定了目標(biāo)區(qū)域310和320時，媒體設(shè)備產(chǎn)生布置信息330，其中將所確定的坐標(biāo)信息關(guān)聯(lián)到(映射到)對應(yīng)目標(biāo)的名稱，以提供經(jīng)結(jié)合產(chǎn)生的布置信息330作為用于與圖像相關(guān)聯(lián)的標(biāo)簽信息。
[0033]圖4示出了圖像搜索方法的流程圖。在步驟401中，媒體設(shè)備從用戶接收用于搜索包括目標(biāo)對象并具有特定布置的圖像的搜索信息(在下文中，稱作布置搜索信息)。這里，布置搜索信息是指用于搜索圖像的特定區(qū)域中的目標(biāo)對象的信息。布置搜索信息包括用于搜索特定目標(biāo)的搜索區(qū)域、以及用于在搜索區(qū)域中執(zhí)行搜索的搜索字。
[0034]圖5Α至5G示出了輸入布置搜索信息的處理操作。在實施例中，顯示屏幕包括提供給用戶的預(yù)定數(shù)目的劃分顯示區(qū)域，響應(yīng)于用戶對一個或多個對劃分顯示區(qū)域的選擇，選擇搜索區(qū)域。備選地，可以通過其他方法執(zhí)行對搜索區(qū)域的選擇，包括利用電子筆確定閉合曲線作為搜索區(qū)域，如圖5Α所示。
[0035]響應(yīng)于用戶執(zhí)行圖像搜索菜單，媒體設(shè)備向用戶提供包括預(yù)定數(shù)目的劃分顯示區(qū)域在內(nèi)的屏幕，如圖5Β所示。用戶可以使用顯示的屏幕來選擇搜索區(qū)域。在本發(fā)明的實施例中，可以通過觸摸和拖動或者通過使用電子筆或手指，通過光標(biāo)移動或其他方法，來執(zhí)行對搜素區(qū)域的選擇。媒體設(shè)備確定選擇了其中包括電子筆所繪制區(qū)域在內(nèi)的劃分區(qū)域510、520和530作為搜索區(qū)域，如圖5C所示。備選地，媒體設(shè)備例如可以確定在其中分別執(zhí)行了觸摸操作的劃分區(qū)域510、520和530，選擇在其中執(zhí)行了觸摸操作的單個劃分區(qū)域510或者在其中執(zhí)行了拖動操作的劃分區(qū)域520和530，作為搜索區(qū)域，如圖所示。響應(yīng)于選擇了觸摸區(qū)域，媒體設(shè)備提供用于輸入搜索字的菜單，搜索字用于在搜索區(qū)域中執(zhí)行搜索?？梢酝ㄟ^用電子筆書寫(如圖5E所示)，通過經(jīng)由所顯示鍵盤的輸入(如圖5F所示)或者通過選擇下拉菜單中提供的字(如圖5G所示)，來執(zhí)行搜索字的輸入。
[0036]參照圖4，在步驟403中，媒體設(shè)備將所存圖像的布置信息與輸入的布置搜索信息相比較。即，媒體設(shè)備對與圖像相結(jié)合的布置信息進(jìn)行分析，以搜索滿足輸入的布置搜索信息的圖像。在實施例中，通過搜索包括輸入的搜索字作為關(guān)聯(lián)布置信息的圖像來執(zhí)行圖像搜索。在所選圖像中，將目標(biāo)對象位于的目標(biāo)區(qū)域與輸入的搜索區(qū)域彼此比較。
[0037]圖6A和6D不出了執(zhí)行圖像搜索的處理操作。響應(yīng)于輸入布置搜索信息，如圖6A所示，媒體設(shè)備搜索多個所存圖像，找到并選擇其中存儲了 ‘兒童’和‘首爾塔’作為布置信息的圖像。然后，媒體設(shè)備搜索滿足輸入的布置搜索信息的一個或多個特定圖像。具體地，媒體設(shè)備搜索如下圖像:其中‘首爾塔’位于與搜索區(qū)域610相對應(yīng)的區(qū)域，并且‘兒童’位于與搜索區(qū)域620相對應(yīng)的區(qū)域。媒體設(shè)備確定圖6B至6D的圖像之中滿足輸入的布置搜索信息的圖像(即，其中‘首爾塔’和‘兒童’分別位于與搜索區(qū)域610和搜索區(qū)域620相對應(yīng)的區(qū)域處的圖像)包括圖6B的圖像(搜索結(jié)果)。
[0038]媒體設(shè)備可以配置為在搜索區(qū)域和目標(biāo)區(qū)域彼此交疊預(yù)定量時以及在候選搜索區(qū)域與目標(biāo)區(qū)域?qū)嵸|(zhì)上一致時，確定滿足搜索條件。例如，當(dāng)預(yù)定量是50%時，媒體設(shè)備可以確定圖7A所示的圖像滿足布置搜索信息，并且圖7B所示的圖像不滿足布置搜索信息。此夕卜，可以輸入多個搜索字，并且媒體設(shè)備支持響應(yīng)于用戶輸入的搜索準(zhǔn)則和將搜索項鏈接的搜索運算符(例如，與、或、非)，搜索包括與多個搜索字相對應(yīng)的多個目標(biāo)對象中的一個或多個或所有目標(biāo)對象在內(nèi)的圖像。
[0039]搜索結(jié)果圖像的分辨率可以與媒體設(shè)備的顯示分辨率不同，并且媒體設(shè)備可以在將搜索區(qū)域與目標(biāo)區(qū)域相比較之前執(zhí)行用于將圖像的分辨率與媒體設(shè)備的顯示分辨率相匹配的操作。媒體設(shè)備可以響應(yīng)于圖像分辨率與媒體設(shè)備的顯示分辨率的比值，相對于媒體設(shè)備的顯示分辨率來調(diào)整目標(biāo)對象的坐標(biāo)信息。例如，假設(shè)所搜索的圖像的分辨率是250X500，如圖8A所示，并且媒體設(shè)備的顯示分辨率是500X1000，如圖8B所示。由于媒體設(shè)備的顯示分辨率是圖像分辨率的二倍，因此，執(zhí)行將圖像中包括的目標(biāo)的坐標(biāo)值加倍的坐標(biāo)變換。即，將如圖8A所示的目標(biāo)坐標(biāo)信息(100，150)和(200，250)調(diào)整到坐標(biāo)信息(200,300)和(400，500)。媒體設(shè)備在調(diào)整坐標(biāo)信息之后執(zhí)行目標(biāo)區(qū)域與搜索區(qū)域的比較。
[0040]返回參照圖4，在步驟405中，媒體設(shè)備向用戶示出搜索結(jié)果。圖9A和9B示出了圖像搜索結(jié)果屏幕。媒體設(shè)備顯示圖像搜索結(jié)果作為縮略圖，如圖9A所示。媒體設(shè)備可以參照搜索到的圖像的標(biāo)簽信息或元數(shù)據(jù)，連同圖像搜索結(jié)果一起顯示多種類型的信息，例如，產(chǎn)生對應(yīng)圖像的時間。此外，媒體設(shè)備在整個顯示區(qū)域中顯示搜索結(jié)果，如圖9B所示。響應(yīng)于用戶命令(例如，用戶揮擊(swipe)操作)顯示下個搜索結(jié)果圖像。搜索結(jié)果向?qū)聊幌蛩阉鞯降膱D像給出優(yōu)先級順序，以順序地示出搜索結(jié)果圖像。例如，媒體設(shè)備可以優(yōu)先考慮具有搜索區(qū)域與目標(biāo)區(qū)域之間的最大交疊區(qū)域的圖像。
[0041]圖10示出了用于導(dǎo)出并處理標(biāo)簽信息并且將標(biāo)簽信息與圖像的特定區(qū)域相關(guān)聯(lián)以支持圖像特征搜索的系統(tǒng)。標(biāo)簽信息存儲方法和圖像搜索方法可以在分離的設(shè)備中執(zhí)行。不同實施例中的系統(tǒng)可以包括觸摸屏、用于提供輸入和顯示功能的裝置、鼠標(biāo)或數(shù)字化器、以及諸如監(jiān)視器等顯示設(shè)備。
[0042]控制器1010響應(yīng)于從用戶輸入的命令，產(chǎn)生在產(chǎn)生圖像時從攝像機(jī)單元1040傳送的圖像的標(biāo)簽信息，或者產(chǎn)生在存儲器1020中存儲的圖像的標(biāo)簽信息。即，控制器1010識別圖像中包括的至少一個目標(biāo)，產(chǎn)生對至少一個所識別目標(biāo)的名稱以及圖像中目標(biāo)位于的目標(biāo)區(qū)域加以指定的布置信息，并且將產(chǎn)生的布置信息作為標(biāo)簽信息與圖像相結(jié)合。
[0043]此外，控制器1010基于從用戶輸入的布置搜索信息，執(zhí)行圖像搜索。控制器1010接收布置搜索信息，以搜索包括目標(biāo)對象并具有特定布置的圖像。執(zhí)行對包括布置信息作為至少一個目標(biāo)對象的標(biāo)簽信息的圖像的搜索?？刂破?010對候選搜索結(jié)果圖像的標(biāo)簽信息進(jìn)行分析，以標(biāo)識滿足輸入的布置搜索信息的一個或多個搜索結(jié)果圖像?？刂破?010與特定服務(wù)器連接，以執(zhí)行針對服務(wù)器中存儲的圖像以及存儲器1020中存儲的圖像二者的搜索。
[0044]響應(yīng)于經(jīng)由圖像搜索菜單的輸入，控制器1010在觸摸屏1030上顯示向?qū)聊?，使得用戶能夠輸入搜索?zhǔn)則，搜索準(zhǔn)則包括標(biāo)識了至少一個搜索區(qū)域以及至少一個目標(biāo)對象的搜索字以用于執(zhí)行搜索的數(shù)據(jù)。在一個實施例中，控制器1010在觸摸屏1030上示出包括多個預(yù)定劃分區(qū)域的屏幕。此外，控制器1010可以在觸摸屏1030上顯示用于輸入搜索字的鍵盤，或者可以控制觸摸屏1030支持用戶使用電子筆的書寫輸入?？刂破?010還通過觸摸屏1030顯示預(yù)定的下拉菜單。下拉菜單包括其中根據(jù)屬性對預(yù)先存儲的字進(jìn)行了分類的分級(hierarchical)樹菜單結(jié)構(gòu)。當(dāng)提供針對人的搜索字時，可以通過使用媒體設(shè)備中存儲的地址簿來配置下拉菜單。響應(yīng)于發(fā)起基于輸入的布置搜索信息的圖像搜索，控制器1010搜索一個或多個圖像，在所述圖像中包括與輸入搜索字相對應(yīng)的目標(biāo)對象所位于的目標(biāo)區(qū)域，并且與搜索字相對應(yīng)的目標(biāo)區(qū)域與搜索準(zhǔn)則中指定的搜索位置交疊了預(yù)定量。
[0045]響應(yīng)于執(zhí)行圖像搜索，在觸摸屏1030的顯示區(qū)域的分辨率與所搜索圖像的分辨率不同的情況下，控制器1010執(zhí)行用于匹配的分辨率調(diào)整操作。例如，控制器1010計算所搜索圖像的分辨率與觸摸屏1030的顯示區(qū)域的分辨率的比值，根據(jù)所計算的比值來調(diào)整目標(biāo)區(qū)域，并且將經(jīng)調(diào)整的目標(biāo)區(qū)域與搜索區(qū)域相比較。
[0046]存儲器1020存儲多個圖像，并且攝像機(jī)單元1040向控制器1010傳送所拍攝的圖像。通信單元1050使用多種不同的預(yù)定通信協(xié)議之一與其他媒體設(shè)備或服務(wù)器通信，并獲取與特定服務(wù)器中存儲的圖像有關(guān)的信息。
[0047]本發(fā)明的上述實施例可以多種預(yù)定方式來實現(xiàn)。例如，本發(fā)明的實施例可以通過使用硬件、軟件或硬件和軟件的組合來實現(xiàn)。當(dāng)使用軟件來實現(xiàn)實施例時，可以將實施例實現(xiàn)為使用多種操作系統(tǒng)和平臺在一個或多個處理器上執(zhí)行的軟件。此外，上述這種軟件可以通過使用多種適合編程語言的任意編程語言來代碼化，并且可以編譯為可執(zhí)行機(jī)器語言代碼或者在框架或虛擬機(jī)中執(zhí)行的可執(zhí)行中間代碼。
[0048]此外，當(dāng)在一個或多個處理器上執(zhí)行本發(fā)明的實施例時，可以將實施例實現(xiàn)為處理器可讀介質(zhì)(例如，存儲器、軟盤、硬盤、壓縮盤、光盤或磁盤)，其中，記錄有用于執(zhí)行實現(xiàn)如上所述本發(fā)明多個實施例的方法的一個或多個程序。在35U.S.C.112第六段的規(guī)定下本文沒有解釋元件權(quán)利要求，除非使用短語“用于......的裝置”來明確引述元件。
【權(quán)利要求】
1.一種使用標(biāo)簽信息進(jìn)行圖像搜索的方法，所述方法包括: 接收用于執(zhí)行多個圖像的搜索的搜索準(zhǔn)則，所述搜索準(zhǔn)則包括布置信息，所述布置信息包括用于標(biāo)識至少一個目標(biāo)對象的名稱以及圖像中目標(biāo)對象位于的目標(biāo)區(qū)域的標(biāo)簽信息； 對所述多個圖像的標(biāo)簽信息進(jìn)行分析，以標(biāo)識具有滿足所述搜索準(zhǔn)則的標(biāo)簽信息的候選圖像；并且 提供對所述候選圖像加以標(biāo)識的數(shù)據(jù)作為搜索結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述多個圖像包括圖像的特定布置，其中對象位于圖像內(nèi)的特定位置或者位于特定地理位置，或者對象位于所拍攝的示出了實質(zhì)上相同地點或場景的多個圖像的特定區(qū)域中。
3.根據(jù)權(quán)利要求2所述的方法，其中，目標(biāo)區(qū)域由標(biāo)識所述目標(biāo)對象的兩個對應(yīng)點的兩個坐標(biāo) 來確定。
4.根據(jù)權(quán)利要求1所述的方法，其中，搜索準(zhǔn)則包括用于標(biāo)識以下的數(shù)據(jù): 至少一個搜索區(qū)域；以及 針對至少一個目標(biāo)的搜索字，其中在所述至少一個搜索區(qū)域中執(zhí)行對所述至少一個目標(biāo)的搜索。
5.根據(jù)權(quán)利要求4所述的方法，其中，搜索區(qū)域包括從顯示器上多個預(yù)定劃分區(qū)域中選擇的至少一個劃分區(qū)域。
6.根據(jù)權(quán)利要求4所述的方法，其中，搜索圖像包括: 搜索呈現(xiàn)了與輸入的搜索字相對應(yīng)的目標(biāo)對象的目標(biāo)區(qū)域所位于的圖像，并且確定對應(yīng)于搜索字的搜索區(qū)域與圖像中呈現(xiàn)了目標(biāo)對象的區(qū)域彼此交疊預(yù)定量。
7.根據(jù)權(quán)利要求6所述的方法，其中，搜索圖像還包括: 計算圖像的分辨率與顯示區(qū)域的分辨率的比值； 根據(jù)計算的比值來調(diào)整目標(biāo)區(qū)域；并且 將經(jīng)調(diào)整的目標(biāo)區(qū)域與搜索區(qū)域相比較。
8.一種使用標(biāo)簽信息進(jìn)行圖像搜索的裝置，所述裝置包括: 輸入單元，配置為接收用于執(zhí)行多個圖像搜索的搜索準(zhǔn)則，所述搜索準(zhǔn)則包括布置信息，所述布置信息包括用于標(biāo)識至少一個目標(biāo)對象的名稱以及圖像中目標(biāo)對象位于的目標(biāo)區(qū)域的標(biāo)簽信息； 控制器，配置為 對所述多個圖像的標(biāo)簽信息進(jìn)行分析，以標(biāo)識具有滿足所述搜索準(zhǔn)則的標(biāo)簽信息的候選圖像；并且 提供對所述候選圖像加以標(biāo)識的數(shù)據(jù)作為搜索結(jié)果。
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述多個圖像包括圖像的特定布置，其中對象位于圖像內(nèi)的特定位置或者位于特定地理位置處，或者對象位于所拍攝的示出了實質(zhì)上相同地點或場景的多個圖像的特定區(qū)域中。
10.根據(jù)權(quán)利要求9所述的裝置，其中，目標(biāo)區(qū)域由標(biāo)識所述目標(biāo)區(qū)域的兩個對應(yīng)點的兩個坐標(biāo)集來確定。
11.根據(jù)權(quán)利要求8所述的裝置，其中，所述搜索準(zhǔn)則包括用于標(biāo)識以下的數(shù)據(jù):至少一個搜索區(qū)域；以及 針對至少一個目標(biāo)的搜索字，其中在所述至少一個搜索區(qū)域中執(zhí)行對所述至少一個目標(biāo)的搜索。
12.根據(jù)權(quán)利要求11所述的裝置，其中，搜索區(qū)域包括從顯示器上多個預(yù)定劃分區(qū)域中選擇的至少一個劃分區(qū)域。
13.根據(jù)權(quán)利要求11所述的裝置，其中，控制器搜索呈現(xiàn)了與輸入的搜索字相對應(yīng)的目標(biāo)對象的目標(biāo)區(qū)域所位于的圖像，并且確定對應(yīng)于搜索字的搜索區(qū)域與圖像中呈現(xiàn)了目標(biāo)對象的區(qū)域彼此交疊預(yù)定量。
14.根據(jù)權(quán)利要求13所述的裝置，其中，控制器計算圖像的分辨率與顯示區(qū)域的分辨率的比值，根據(jù)計算的比值來調(diào)整目標(biāo)區(qū)域，并且將經(jīng)調(diào)整的目標(biāo)區(qū)域與搜索區(qū)域相比較。
15.一種使用標(biāo)簽信息進(jìn)行圖像搜索的方法，所述方法包括: 接收搜索區(qū)域和搜索字； 將搜索區(qū)域和搜索字與標(biāo)簽信息中包括的對應(yīng)于每個圖像的目標(biāo)區(qū)域和目標(biāo)的名稱相比較； 顯示在圖像的目標(biāo)區(qū)域上包括所述名稱的目標(biāo)在內(nèi)的圖像，作為比較結(jié)果。
【文檔編號】G06F17/30GK103838810SQ201310581238
【公開日】2014年6月4日 申請日期:2013年11月19日 優(yōu)先權(quán)日:2012年11月20日
【發(fā)明者】黃珉敬, 姜斗錫, 林思米, 鄭義昌, 崔普根 申請人:三星電子株式會社