的對(duì)象數(shù)據(jù)庫 中搜索所述相關(guān)對(duì)象信息。所述對(duì)象數(shù)據(jù)庫包括各個(gè)備選對(duì)象的圖像特征、字符信息和關(guān) 聯(lián)信息。
[0059] 假設(shè)對(duì)象數(shù)據(jù)庫P中包含N個(gè)對(duì)象，每一個(gè)對(duì)象&可以用三元組 {f?，fT(p.j)，a(p.j)}表示，其中，j = 1，2, · · ·，N。f?表示對(duì)象p.j的圖像特征，其可以 是顏色直方圖特征，或者是詞袋模型特征，或者是由顏色直方圖特征和詞袋模型特征拼接 而成的向量。f T(P_i)是對(duì)象Pi的字符信息，其典型地是字符串，該字符串例如為名稱、品牌、 含量等。a(P])表示與對(duì)象 ？]的關(guān)聯(lián)的其他關(guān)聯(lián)信息，如價(jià)格、銷量、用戶評(píng)價(jià)、宣傳視頻以 及超鏈接等?；蛘?，每一個(gè)對(duì)象化還可以用二元組{fJplfVh)}表示。假設(shè)要搜索的 目標(biāo)對(duì)象q的目標(biāo)圖像的圖像特征和字符信息分別是fjq)和f T(q)，相應(yīng)地，可通過將在 S220中獲得的字符信息fT(q)和圖像特征& (q)與對(duì)象數(shù)據(jù)庫P中的各個(gè)備選對(duì)象的字符 信息fT(P])和圖像特征fJPj)進(jìn)行比對(duì)來執(zhí)行搜索。
[0060] 圖3是示意性圖示了圖2的搜索方法中的基于圖像特征和字符信息搜索目標(biāo)對(duì)象 的相關(guān)對(duì)象信息（S230)的流程圖。如圖3所示，基于目標(biāo)圖像的圖像特征和各個(gè)備選對(duì)象 的圖像特征計(jì)算所述目標(biāo)對(duì)象與各個(gè)備選對(duì)象之間的圖像特征相似度（S231);基于目標(biāo) 圖像的字符信息和各個(gè)備選對(duì)象的字符信息計(jì)算所述目標(biāo)對(duì)象與各個(gè)備選對(duì)象之間的字 符信息相似度（S232);對(duì)所述圖像特征相似度和字符信息相似度進(jìn)行加權(quán)平均來獲得所 述目標(biāo)對(duì)象與各個(gè)備選對(duì)象之間的平均相似度（S233);按照所述平均相似度的遞減順序 從所述多個(gè)備選對(duì)象中選擇預(yù)定數(shù)目備選對(duì)象（S234);將與所選擇的備選對(duì)象對(duì)應(yīng)的信 息作為與所述目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息（S235)。下面以目標(biāo)對(duì)象q與對(duì)象數(shù)據(jù)庫P 中包含N個(gè)對(duì)象&為例進(jìn)行描述。
[0061] 在S231中，可以計(jì)算所述目標(biāo)對(duì)象q的圖像特征fjq)與各個(gè)備選對(duì)象&之間的 圖像特征A (P)之間的余弦相似度Sl (q，P])，作為所述圖像特征相似度。所述余弦相似度 sAq，。）可通過如下的公式（1)來計(jì)算：
[0062]
[0063] 其中，| Ifjq) | |是圖像特征fjq)的模，| Ifjp,) | |是圖像特征fjp,)的模。公 式（1)所示的余弦相似度僅僅是圖像特征相似度的一種表述方式。在實(shí)踐中，還可以采取 其它的函數(shù)來表示圖像特征相似度，例如，可以采取目標(biāo)對(duì)象的圖像特征與各個(gè)備選對(duì)象 之間的圖像特征之間的皮爾森相關(guān)系數(shù)作為所述圖像特征相似度。
[0064] 在S232中，可如下地計(jì)算所述目標(biāo)對(duì)象q與各個(gè)備選對(duì)象&之間的字符信息 相似度：計(jì)算所述目標(biāo)對(duì)象q的字符信息f T(q)與各個(gè)備選對(duì)象&的字符信息fT(Pi)之 間的編輯距離d(fT(q)，f T(P]));基于所述編輯距離、所述目標(biāo)對(duì)象的字符信息fT(q)的長(zhǎng) 度、備選對(duì)象的字符信息f T(Pj)的長(zhǎng)度來計(jì)算所述字符信息相似度。編輯距離是指在兩 個(gè)字符串之間，由一個(gè)字符串轉(zhuǎn)成另一個(gè)字符串所需的最少編輯操作次數(shù)，所許可的編輯 操作包括將一個(gè)字符替換成另一個(gè)字符，插入一個(gè)字符，刪除一個(gè)字符。因此，編輯距離 d(fT(q)，fT(P]))是將字符信息fT(q)轉(zhuǎn)成字符信息f T(P])所需的最少編輯操作次數(shù)。字符 信息fT(q)的長(zhǎng)度例如是該字符信息f T(q)中包括的文字和符號(hào)的數(shù)目。備選對(duì)象的字符 信息fT(P])的長(zhǎng)度例如是該字符信息f T(P])中包括的文字和符號(hào)的數(shù)目。例如，可通過如 下的公式（2)來計(jì)算字符信息相似度 ％((1，？）：
[0065]
[0066] 其中，d(fT(q)，fT(Pj))是字符信息f T(q)和字符信息fT(Pj)之間的編輯距離， L(fT(q))是字符信息fT(q)的長(zhǎng)度，L(fT(P]))是字符信息f T(P])的長(zhǎng)度。
[0067] 在S233中，對(duì)所述圖像特征相似度Sl(q，Pj)和字符信息相似度s T(q，Pj)進(jìn)行加權(quán) 平均來獲得所述目標(biāo)對(duì)象與各個(gè)備選對(duì)象之間的平均相似度。例如，可通過下面的公式（3) 來計(jì)算所述平均相似度s (q, p_j):
[0068] s(q, P j) = ω · s: (q, ρ j) + (1-ω ) sT (q, ρ j)公式（3)，
[0069] 其中，ω是權(quán)重系數(shù)。該權(quán)重系數(shù)ω是可調(diào)的參數(shù)，其取值范圍是[0, 1]，典型取 值為ω = 〇. 6。當(dāng)權(quán)重系數(shù)ω增加時(shí)，圖像特征相似度Sl (q，Pj)在平均相似度中權(quán)重增 加，字符信息相似度sT(q，P])在平均相似度中權(quán)重降低。當(dāng)權(quán)重系數(shù)ω減少時(shí)，圖像特征 相似度sJcLPj)在平均相似度中權(quán)重降低，字符信息相似度s T(q，Pj)在平均相似度中權(quán)重 增加。
[0070] 在S234中，按照所述平均相似度s(q，P])的遞減順序從所述多個(gè)備選對(duì)象中選 擇預(yù)定數(shù)目備選對(duì)象。在S233中，計(jì)算了目標(biāo)對(duì)象與各個(gè)備選對(duì)象之間的平均相似度 s (q，P])，j = 1，2, . . .，N，即得到N個(gè)平均相似度，對(duì)這N個(gè)平均相似度可以按照遞減的順 序排列，并例如選擇平均相似度靠前的預(yù)定數(shù)目R個(gè)備選對(duì)象，這R個(gè)備選對(duì)象即是搜索結(jié) 果。所述R個(gè)備選對(duì)象與目標(biāo)對(duì)象之間的平均相似度較高，說明這R個(gè)備選對(duì)象與目標(biāo)對(duì) 象較接近，從而有較大的可能是用戶期望的目標(biāo)對(duì)象。R是一個(gè)可配置的參數(shù)，其典型值可 設(shè)為10、20和100等。
[0071] 在S235中，將與所選擇的R個(gè)備選對(duì)象對(duì)應(yīng)的信息作為與所述目標(biāo)對(duì)象相關(guān)聯(lián)的 相關(guān)對(duì)象信息。將此R個(gè)對(duì)象的圖片、字符描述以及關(guān)聯(lián)信息等作為相關(guān)對(duì)象信息。所述 關(guān)聯(lián)信息例如為價(jià)格、銷量、用戶評(píng)價(jià)、宣傳視頻以及超鏈接等。
[0072] 在上面的S233至S235中，基于所述圖像特征相似度和所述字符信息相似度來從 所述多個(gè)備選對(duì)象中搜索與所述目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息。替換所述S233至S235， 還例如可以按照如下的方式搜索相關(guān)對(duì)象信息：按照?qǐng)D像特征相似度的遞減順序從所述多 個(gè)備選對(duì)象中選R1個(gè)備選對(duì)象；按照字符信息相似度的遞減順序從所述多個(gè)備選對(duì)象中 選擇R2個(gè)備選對(duì)象；將與所述選擇的R1個(gè)備選對(duì)象和R2個(gè)備選對(duì)象對(duì)應(yīng)的信息作為與所 述目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息。R1是小于N的自然數(shù)。R2也是小于N的自然數(shù)。
[0073] 在S240中，服務(wù)器將所搜索到的相關(guān)對(duì)象信息作為搜索結(jié)果發(fā)送給用戶設(shè)備。月艮 務(wù)器可以利用互聯(lián)網(wǎng)、局域網(wǎng)等各種網(wǎng)絡(luò)或通信技術(shù)發(fā)送所述相關(guān)對(duì)象信息。相關(guān)對(duì)象信 息例如是所述R個(gè)備選對(duì)象的圖片、文字描述以及關(guān)聯(lián)信息，或者是上述的R1加上R2備選 對(duì)象的圖片、文字描述以及關(guān)聯(lián)信息。用戶設(shè)備在接收到相關(guān)對(duì)象信息之后，可以將所述相 關(guān)對(duì)象信息顯示在用戶設(shè)備的屏幕上，以供用戶查看。
[0074] 在根據(jù)本公開實(shí)施例的用于服務(wù)器的搜索方法的技術(shù)方案中，通過從要搜索的目 標(biāo)對(duì)象的目標(biāo)圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特征，基于所述字符信 息和圖像特征執(zhí)行搜索，能夠準(zhǔn)確且便利地搜索目標(biāo)對(duì)象的相關(guān)對(duì)象信息，從而提高用戶 的使用體驗(yàn)。此外，通過自動(dòng)識(shí)別目標(biāo)圖像中包含的字符信息，免去用戶手動(dòng)輸入關(guān)鍵字的 步驟。
[0075] 圖4是示意性圖示了根據(jù)本公開實(shí)施例的用于用戶設(shè)備的搜索方法400流程圖。 該搜索方法400應(yīng)用與圖1 (a)所示的用戶設(shè)備。如圖4所示，該搜索方法400可包括：采集 要搜索的目標(biāo)對(duì)象的目標(biāo)圖像（S410);判斷所述目標(biāo)圖像是否滿足預(yù)定條件（S420);在所 述目標(biāo)圖像滿足預(yù)定條件時(shí)，發(fā)出針對(duì)所述目標(biāo)對(duì)象的搜索請(qǐng)求，該搜索請(qǐng)求包括所述目 標(biāo)圖像（S430);接收與所述目標(biāo)對(duì)象相關(guān)聯(lián)的相關(guān)對(duì)象信息（S440)，其中所述相關(guān)對(duì)象信 息基于從所述目標(biāo)圖像中提取的與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特征搜索得到。
[0076] 在S410中，可以利用用戶設(shè)備中的圖像采集裝置來采集要搜索的目標(biāo)對(duì)象的目 標(biāo)圖像。例如，用戶的圖1(b)中的藍(lán)月亮洗衣液快用盡了，并期望購買該藍(lán)月亮洗衣液，則 用戶利用用戶設(shè)備10中內(nèi)置的圖像采集裝置、或者與用戶設(shè)備連接的圖像采集裝置對(duì)現(xiàn) 有的藍(lán)月亮洗衣液進(jìn)行圖像采集。圖像采集裝置與用戶設(shè)備的位置關(guān)系不構(gòu)成對(duì)本公開實(shí) 施例的限制。
[0077] 在S420中，判斷所述目標(biāo)圖像是否滿足預(yù)定條件。由于服務(wù)器要從所述目標(biāo)圖 像中提取信息來搜索目標(biāo)對(duì)象，所以所述目標(biāo)圖像的圖像質(zhì)量將直接影響搜索結(jié)果。以圖 1(b)的目標(biāo)圖像（1)為例，如果目標(biāo)圖像模糊而導(dǎo)致不能提取其品牌名稱evian、容量等信 息，則難以準(zhǔn)確地搜索到目標(biāo)對(duì)象。在該S420可以對(duì)所述目標(biāo)圖像做出要求，例如所述目 標(biāo)圖像滿足預(yù)定條件。所述預(yù)定條件可以是關(guān)于目標(biāo)圖像的亮度的條件、或者是關(guān)于所述 目標(biāo)圖像的清晰度的條件。
[0078] 作為基于目標(biāo)圖像的亮度來判斷是否滿足預(yù)定條件的示例，在S420中可以將 S410中采集的目標(biāo)圖像轉(zhuǎn)換為HSL顏色空間的圖像數(shù)據(jù)，該HSL顏色空間的圖像數(shù)據(jù)中包 括了亮度信息。然后，統(tǒng)計(jì)所述HSL顏色空間的圖像數(shù)據(jù)中的所有像素的光照分量（即L分 量）的平均值I。當(dāng)用于該目標(biāo)圖像的光照分量的平均值瓦大于等于預(yù)定亮度閾值?Υ時(shí)， 可以判斷所述目標(biāo)圖像滿足預(yù)定條件。當(dāng)用于該目標(biāo)圖像的光照分量的平均值Σ小于預(yù) 定亮度閾值?Υ時(shí)，可以判斷所述目標(biāo)圖像不滿足預(yù)定條件。預(yù)定亮度閾值1\典型地為64。 或者，可以通過測(cè)量圖像采集環(huán)境中的光照條件來間接地判斷目標(biāo)圖像的質(zhì)量。例如，可以 確定在采集所述目標(biāo)圖像過程中的光照參數(shù)；當(dāng)所述光照參數(shù)大于等于預(yù)設(shè)照度時(shí)，確定 所述目標(biāo)圖像滿足預(yù)定條件；當(dāng)所述光照參數(shù)小于預(yù)設(shè)照度時(shí)，確定所述目標(biāo)圖像不滿足 預(yù)定條件。
[0079] 作為基于目標(biāo)圖像的清晰度來判斷是否滿足預(yù)定條件的示例，在S420中可以利 用預(yù)定算法（例如，Canny算法）提取在S410中采集的目標(biāo)圖像的邊緣，計(jì)算所述目標(biāo)圖 像中位于邊緣的各個(gè)像素點(diǎn)的梯度G，然后進(jìn)一步計(jì)算目標(biāo)圖像中所有位于邊緣的像素點(diǎn) 的梯度的平均值巧。當(dāng)該目標(biāo)圖像的所有位于邊緣的像素點(diǎn)的梯度的平均值巧大于等于 預(yù)設(shè)梯度閾值I時(shí)，可以判斷所述目標(biāo)圖像滿足預(yù)定條件。當(dāng)該目標(biāo)圖像的所有位于邊緣 的像素點(diǎn)的梯度的平均值g小于預(yù)設(shè)梯度閾值I時(shí)，可以判斷所述目標(biāo)圖像不滿足預(yù)定條 件。該預(yù)設(shè)梯度閾值I典型地為100。
[0080] 上述的預(yù)定亮度閾值?Υ或預(yù)設(shè)梯度閾值Τ 可以根據(jù)執(zhí)行搜索的服務(wù)器的處理能 力來調(diào)整。例如，當(dāng)服務(wù)器的處理能力強(qiáng)時(shí)，可以將預(yù)定亮度閾值?Υ或預(yù)設(shè)梯度閾值T e設(shè) 置為較低的值；當(dāng)服務(wù)器的處理能力弱時(shí)，可以將預(yù)定亮度閾值?Υ或預(yù)設(shè)梯度閾值T 設(shè)置 為較高的值。
[0081] 當(dāng)在S420中判斷目標(biāo)圖像滿足預(yù)定條件時(shí)，在S430中發(fā)出針對(duì)所述目標(biāo)對(duì)象的 搜索請(qǐng)求，該搜索請(qǐng)求包括所述目標(biāo)圖像。然后，如圖1 (a)所示的搜索服務(wù)器20從所述目 標(biāo)圖像中提取與所述目標(biāo)對(duì)象相關(guān)聯(lián)的字符信息和圖像特征，并基于所述字符信息和所述 圖像特征執(zhí)行搜索，即執(zhí)行結(jié)合圖2描述的搜索方法的各個(gè)步驟。由于目標(biāo)圖像的亮度或 清晰度較好，所以在服務(wù)器中能夠準(zhǔn)確地提取字符信息和圖