處理器執(zhí)行以使得所述處理器：利用圖像采集器采集要搜索的目標(biāo)對(duì)象的目標(biāo)圖像；判斷 所述目標(biāo)圖像是否滿足預(yù)定條件；在所述目標(biāo)圖像滿足預(yù)定條件時(shí)，利用收發(fā)器發(fā)出針對(duì) 所述目標(biāo)對(duì)象的搜索請(qǐng)求，該搜索請(qǐng)求包括所述目標(biāo)圖像；以及利用收發(fā)器接收與所述目 標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息，其中所述相關(guān)對(duì)象信息基于從所述目標(biāo)圖像中提取的與所 述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特征搜索得到。
[0032] 在根據(jù)本公開實(shí)施例的用于服務(wù)器的搜索方法、搜索裝置和計(jì)算機(jī)程序產(chǎn)品的技 術(shù)方案中，通過從要搜索的目標(biāo)對(duì)象的目標(biāo)圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息 和圖像特征，基于所字符信息和圖像特征執(zhí)行搜索，能夠準(zhǔn)確且便利地搜索目標(biāo)對(duì)象的相 關(guān)對(duì)象信息，從而提高用戶的使用體驗(yàn)。
[0033] 在根據(jù)本公開實(shí)施例的用于用戶設(shè)備的搜索方法、該用戶設(shè)備和計(jì)算機(jī)程序產(chǎn)品 的技術(shù)方案中，在所采集的目標(biāo)對(duì)象的目標(biāo)圖像滿足預(yù)定條件時(shí)，基于該目標(biāo)圖像發(fā)出搜 索請(qǐng)求，使能夠準(zhǔn)確且便利地搜索目標(biāo)對(duì)象的相關(guān)對(duì)象信息，從而提高用戶的使用體驗(yàn)。
【附圖說明】
[0034] 為了更清楚地說明本公開實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中 所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本公開的一些實(shí) 施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。
[0035] 圖1 (a)示意性圖示了根據(jù)本公開實(shí)施例的應(yīng)用場(chǎng)景；
[0036] 圖1 (b)不意性圖不了由用戶設(shè)備拍攝的目標(biāo)圖像的不意圖；
[0037] 圖2是示意性圖示了根據(jù)本公開實(shí)施例的用于服務(wù)器的搜索方法的流程圖；
[0038] 圖3是示意性圖示了圖2的搜索方法中的基于圖像特征和字符信息搜索目標(biāo)對(duì)象 的相關(guān)對(duì)象信息的流程圖；
[0039] 圖4是示意性圖示了根據(jù)本公開實(shí)施例的用于用戶設(shè)備的搜索方法流程圖；
[0040] 圖5是示意性圖示了根據(jù)本公開實(shí)施例的第一搜索裝置的框圖；
[0041] 圖6是示意性圖示了根據(jù)本公開實(shí)施例的用于服務(wù)器的第二搜索裝置的框圖；
[0042] 圖7是示意性圖示了根據(jù)本公開實(shí)施例的用戶設(shè)備的框圖。
【具體實(shí)施方式】
[0043] 下面將結(jié)合本公開實(shí)施例中的附圖，對(duì)本公開實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例是本公開一部分實(shí)施例，而不是全部的實(shí)施例。本領(lǐng)域普 通技術(shù)人員基于本公開中的實(shí)施例所獲得的所有其他實(shí)施例，都屬于本公開保護(hù)的范圍。
[0044] 圖1(a)示意性圖示了根據(jù)本公開實(shí)施例的應(yīng)用場(chǎng)景。如圖1(a)所示，用戶設(shè)備 10通過網(wǎng)絡(luò)與搜索服務(wù)器20通信連接。所述用戶設(shè)備10例如為智能手機(jī)、平板計(jì)算機(jī)、筆 記本計(jì)算機(jī)等。所述搜索服務(wù)器20為云服務(wù)器，網(wǎng)站服務(wù)器等。用戶設(shè)備10與搜索服務(wù)器 20之間的通信可以采用各種技術(shù)來實(shí)現(xiàn)，包括但不限于互聯(lián)網(wǎng)、局域網(wǎng)、第三代移動(dòng)通信技 術(shù)等。例如，用戶設(shè)備的用戶瀏覽淘寶網(wǎng)網(wǎng)頁(yè)，以期望購(gòu)買特定的商品，即目標(biāo)對(duì)象。該用 戶設(shè)備通過互聯(lián)網(wǎng)連接到淘寶網(wǎng)的搜索服務(wù)器。
[0045] 通常，用戶在用戶設(shè)備的淘寶網(wǎng)網(wǎng)頁(yè)中輸入要購(gòu)買的商品的關(guān)鍵詞，用戶設(shè)備經(jīng) 由互聯(lián)網(wǎng)將所述關(guān)鍵詞傳送給淘寶網(wǎng)的搜索服務(wù)器，后者基于所述關(guān)鍵詞執(zhí)行搜索，并經(jīng) 由互聯(lián)網(wǎng)將所述搜索結(jié)果發(fā)送給用戶設(shè)備。當(dāng)用戶輸入的關(guān)鍵詞不準(zhǔn)確或存在錯(cuò)誤時(shí)，難 以獲得令人滿意的搜索結(jié)果。而且，由于商品或服務(wù)個(gè)數(shù)和種類繁多，在搜索結(jié)果中可能包 括與關(guān)鍵詞相關(guān)聯(lián)的多種商品，這可使用戶不能從搜索結(jié)果中找到要購(gòu)買的目標(biāo)對(duì)象。
[0046] 在本公開的實(shí)施例中，用戶設(shè)備10利用攝像頭等對(duì)要購(gòu)買的目標(biāo)對(duì)象進(jìn)行圖像 采集，將所采集的目標(biāo)圖像傳送給搜索服務(wù)器20。搜索服務(wù)器20從所述目標(biāo)圖像中提取字 符信息和/或圖像信息，并基于所提取的信息執(zhí)行搜索，并經(jīng)由互聯(lián)網(wǎng)將所述搜索結(jié)果發(fā) 送給用戶設(shè)備。在所述目標(biāo)圖像中，通常攜帶關(guān)于目標(biāo)對(duì)象的豐富信息，例如目標(biāo)對(duì)象的外 觀、名稱、商標(biāo)、生產(chǎn)商、生產(chǎn)日期等?；谀繕?biāo)圖像中的豐富信息，搜索服務(wù)器能夠更準(zhǔn)確 地搜索到用戶的目標(biāo)對(duì)象，從而提高搜索的準(zhǔn)確度。此外，搜索服務(wù)器可以自動(dòng)地提取目標(biāo) 圖像中的信息，而不需要用戶手動(dòng)地輸入關(guān)鍵詞等，這使得用戶的搜索操作更為便捷。
[0047] 圖1 (b)示意性圖示了由用戶設(shè)備10拍攝的目標(biāo)圖像的示意圖。如圖1 (b)所示， 所拍攝的目標(biāo)圖像（1)、（2)、（3)分別是依云（evian)礦泉水、卡樂比（calbee)薯片、藍(lán)月 亮洗衣液。在所述目標(biāo)圖像（1)中包括如下信息：瓶裝水形狀的外觀、為evian的名稱、山 脈形狀、容量550毫升等，依據(jù)這些信息，搜索服務(wù)器20能夠準(zhǔn)確地搜索到用戶的目標(biāo)對(duì) 象。然而，如果用戶輸入關(guān)鍵字"依云礦泉水"，則會(huì)搜索不同包裝、不同系列、不同容量的依 云礦泉水。類似地，圖1(b)的目標(biāo)圖像（2)中也包括了豐富的信息：例如，品牌名稱"卡樂 B"、商品內(nèi)容"Potato Chips"、口味系列"燒烤味"、袋裝的商品外觀、容量"90g"等；圖1(b) 的目標(biāo)圖像（3)中也包括了豐富的信息：例如，品牌名稱"藍(lán)月亮"、商品內(nèi)容"洗衣液"、桶 裝的商品外觀、容量"2kg"、產(chǎn)品系列"清雅丁香"等?；谀繕?biāo)圖像中包含的豐富信息，搜 索服務(wù)器20能夠準(zhǔn)確地搜索到各個(gè)目標(biāo)對(duì)象。
[0048] 圖2是示意性圖示了根據(jù)本公開實(shí)施例的用于服務(wù)器的搜索方法200的流程圖。 該搜索方法200可應(yīng)用于如圖1 (a)所示的搜索服務(wù)器。如圖2所示，所述搜索方法200可 包括：接收搜索請(qǐng)求，該搜索請(qǐng)求包括要搜索的目標(biāo)對(duì)象的目標(biāo)圖像（S210);從所述目標(biāo) 圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特征（S220);基于所述字符信息和 所述圖像特征搜索與所述目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息（S230);發(fā)送所述相關(guān)對(duì)象信 息（S240)。
[0049] 在S210中，服務(wù)器從用戶設(shè)備接收搜索請(qǐng)求，該搜索請(qǐng)求包括要搜索的目標(biāo)對(duì)象 的目標(biāo)圖像。所述目標(biāo)圖像是如圖1(b)中所示的任一個(gè)目標(biāo)圖像。該目標(biāo)圖像包含了要 搜索的目標(biāo)對(duì)象的各種信息，包含但不限于品牌名稱、對(duì)象內(nèi)容、系列、外觀、容量、生產(chǎn)日 期等。該目標(biāo)圖像可以是所述用戶設(shè)備利用其圖像采集裝置所采集的，也可以是所述用戶 設(shè)備從其它電子設(shè)備接收的，用戶設(shè)備獲取所述目標(biāo)圖像的方式不構(gòu)成對(duì)本公開實(shí)施例的 限制。
[0050] 如結(jié)合圖1(a)所示描述的，服務(wù)器要從所述目標(biāo)圖像中提取信息來搜索目標(biāo)對(duì) 象。相應(yīng)地，所述目標(biāo)圖像的圖像質(zhì)量將直接影響搜索結(jié)果。例如在圖1(b)的目標(biāo)圖像（1) 中，如果目標(biāo)圖像模糊而導(dǎo)致不能提取其品牌名稱evian、容量等信息，則難以準(zhǔn)確地搜索 到目標(biāo)對(duì)象。因此，可以對(duì)所述目標(biāo)圖像做出要求，例如所述目標(biāo)圖像滿足預(yù)定條件。所述 預(yù)定條件可以是關(guān)于目標(biāo)圖像的亮度的條件、或者是關(guān)于所述目標(biāo)圖像的清晰度的條件。
[0051] 例如，當(dāng)目標(biāo)圖像的亮度大于等于預(yù)設(shè)亮度閾值時(shí)，確定所述目標(biāo)圖像滿足預(yù)定 條件；當(dāng)目標(biāo)圖像的亮度小于預(yù)設(shè)亮度閾值時(shí)，確定所述目標(biāo)圖像不滿足預(yù)定條件?；蛘?， 當(dāng)目標(biāo)圖像的清晰度大于等于預(yù)設(shè)清晰度閾值時(shí)，確定所述目標(biāo)圖像滿足預(yù)定條件；當(dāng)目 標(biāo)圖像的亮度小于預(yù)設(shè)清晰度閾值時(shí)，確定所述目標(biāo)圖像不滿足預(yù)定條件。所述預(yù)設(shè)亮度 閾值或預(yù)設(shè)清晰度閾值可以根據(jù)所述服務(wù)器的處理能力來調(diào)整。例如，當(dāng)服務(wù)器的處理能 力強(qiáng)時(shí)，可以將預(yù)設(shè)亮度閾值或預(yù)設(shè)清晰度閾值設(shè)置為較低的值；當(dāng)服務(wù)器的處理能力弱 時(shí)，可以將預(yù)設(shè)亮度閾值或預(yù)設(shè)清晰度閾值設(shè)置為較高的值。
[0052] 在S220中，從所述目標(biāo)圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特 征。所述目標(biāo)圖像所包括的字符信息例如為產(chǎn)品名稱、容量、品牌名稱、生產(chǎn)日期等，這些字 符信息是文字或符號(hào)。所述目標(biāo)圖像所包括的圖像特診是圖像的顏色分量、各個(gè)顏色分量 的組成比例等。典型地，采用不同的技術(shù)手段來提取目標(biāo)圖像中的字符信息和圖像特征。
[0053] 對(duì)于字符信息，可以米用光學(xué)字符識(shí)別（OCR，Optical Character Recognition) 技術(shù)提取目標(biāo)圖像中的字符信息。在OCR技術(shù)中，服務(wù)器通過檢測(cè)目標(biāo)圖像的暗、亮的模式 確定其形狀，然后用字符識(shí)別方法將形狀翻譯成計(jì)算機(jī)文字。或者，還可以采用其它技術(shù)來 對(duì)目標(biāo)圖像進(jìn)行字符識(shí)別以獲取其中的字符信息。
[0054] 可通過如下操作從所述目標(biāo)圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息：利用 光學(xué)字符識(shí)別OCR從所述目標(biāo)圖像中識(shí)別文字和符號(hào)；從所識(shí)別的文字和符號(hào)中選擇用于 標(biāo)識(shí)所述目標(biāo)對(duì)象的標(biāo)識(shí)字符，作為與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息。如前所述，在目標(biāo) 圖像中包括豐富的信息，部分信息可能與目標(biāo)對(duì)象的搜索密切相關(guān)，例如產(chǎn)品名稱、品牌、 容量等。然而，目標(biāo)圖像中還可能包括與目標(biāo)對(duì)象的搜索無關(guān)的信息，例如成分、安全提醒 等，這些信息可能是所有的同類產(chǎn)品都涉及的信息，其不能用于標(biāo)識(shí)目標(biāo)對(duì)象。因此，在對(duì) 目標(biāo)圖像進(jìn)行字符識(shí)別之后，需要從中篩選出搜索目標(biāo)對(duì)象所需的信息，即用于標(biāo)識(shí)所述 目標(biāo)對(duì)象的標(biāo)識(shí)字符。
[0055] 圖像特征是指數(shù)值化的圖像特性表達(dá)，例如使用向量來表示圖像特性?？梢圆捎?現(xiàn)有的或?qū)沓霈F(xiàn)的各種方式來表示目標(biāo)圖像的圖像特征。這里以顏色直方圖和詞袋模型 (Bag of Words)特征作為圖像特征為例進(jìn)行描述。要注意，在應(yīng)用中，可以采用顏色直方圖 和詞袋模型特征中的任一個(gè)來表示目標(biāo)圖像的圖像特征，也可以采用顏色直方圖和詞袋模 型特征二者來示目標(biāo)圖像的圖像特征。也就是說，所述從所述目標(biāo)圖像中提取與所述目標(biāo) 對(duì)象相關(guān)聯(lián)和圖像特征包括如下操作中的至少一個(gè)：計(jì)算所述目標(biāo)圖像的顏色直方圖特征 作為所述圖像特征；和計(jì)算所述目標(biāo)圖像的詞袋模型特征作為所述圖像特征。
[0056] 顏色直方圖是圖像的顏色特征的一種統(tǒng)計(jì)表達(dá)，其用于表示不同色彩在整幅目標(biāo) 圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置。顏色直方圖與顏色空間表示方 式密切相關(guān)。常用的顏色直方圖包括RGB空間顏色直方圖，HSV空間顏色直方圖以及Lab空 間顏色直方圖等。在不同的顏色空間中，目標(biāo)圖像的顏色直方圖具有不同的數(shù)值。
[0057] 詞袋模型特征是圖像的紋理特征的一種統(tǒng)計(jì)表達(dá)，其可以有效描述圖像的整體和 局部特性。例如，可通過如下操作獲得目標(biāo)圖像的詞袋模型特征：從目標(biāo)圖像中提取特征 描述符，例如尺度不變特征變換（SIFT，Scale Invariant Feature Transform)、方向梯度 直方圖（HOG，Histogram of Oriented Gradient)等；對(duì)于每一個(gè)描述符，在預(yù)先準(zhǔn)確的碼 本中搜索最相似的聚類中心，統(tǒng)計(jì)不同聚類中心在該目標(biāo)圖像中出現(xiàn)的頻度，形成一個(gè)直 方圖；對(duì)該直方圖作歸一化處理，從而得到目標(biāo)圖像的詞袋模型特征。所述預(yù)先準(zhǔn)確的碼 本可通過如下方式獲得：從訓(xùn)練圖像的集合中隨機(jī)提取大量的圖像描述符（例如SIFT，H0G 等），采用聚類算法對(duì)這些圖像描述符進(jìn)行聚類，得到多個(gè)類別，聚類得到的所有類別即組 成碼本。
[0058] 在S230中，基于在S220中獲得的字符信息和圖像特征搜索與所述目標(biāo)對(duì)象相關(guān) 聯(lián)的相關(guān)對(duì)象信息。具體地，基于所述字符信息和所述圖像特征從預(yù)先建立