專利名稱：圖像處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理。
背景技術(shù)：
目前已經(jīng)開發(fā)出了用于對文本信息項或者至少對具有一些文本內(nèi)
容的項目(item)進行索引和搜索的技術(shù)。作為此類技術(shù)的一個例子來 講，可以由文本項(例如，字分布)生成特征數(shù)據(jù)，并且可以以特;f正數(shù) 據(jù)的比較為基礎(chǔ)實施項目之間的比較。
但是，就圖像項而言，只有少數(shù)幾種有用的技術(shù)。 一種簡單的技術(shù)是使某些文本與圖像相關(guān)。該技術(shù)的簡單情況可以 是標(biāo)題，或者該技術(shù)可以涉及更為詳細(xì)的"元數(shù)據(jù)"，例如，說明書的 段落、圖像中的項目或人的清單、圖像的俘獲時間、其俘獲所涉及的項 目的清單等。之后，可以采用基于文本的搜索技術(shù)識別類似的圖像。當(dāng) 然，提供精確、有用的元數(shù)據(jù)既耗費時間，又代價昂貴。
其他技術(shù)基于圖像自身建立特征數(shù)據(jù)。這些特征數(shù)據(jù)可以包括顏色 特性、紋理特性等。但是，這仍然是有限的，因為對于觀察者而言表現(xiàn) 相同事物的兩幅圖像可能具有迥然不同的圖像特性。例如，某一個具體 的人的一對圖像可能因背景不同而具有迥異的圖像特性。

發(fā)明內(nèi)容
本發(fā)明提供了一種圖像處理方法，其包括的步驟有 劃分處于測試當(dāng)中的圖^象，以形成多個圖部分，每一部分表示一組
具有類似圖像特性的像素，至少某些部分是相連的； 從包括一個或多個圖像部分的子集導(dǎo)出特征數(shù)據(jù)； 將來自所述圖像部分的子集的特征數(shù)據(jù)與指示相應(yīng)的參考圖像部
分的特征數(shù)據(jù)進行比較，以檢測處于測試當(dāng)中的圖像部分與參考圖像部
分之間的相似度。
本發(fā)明首先將圖像劃分成具有相似的圖像特性的部分(區(qū)域等)，
之后從各個部分建立特征數(shù)據(jù)，以實現(xiàn)與其他參考部分的比較，由此解決了上述問題，其中，(例如)所述參考部分是該圖像或其他圖像中的 部分，乃至是對圖像部分給出一般表示的人為創(chuàng)建的部分。由此能夠降 低由與當(dāng)前比較無關(guān)的圖像部分導(dǎo)致的變化度。
就本發(fā)明的另一方面而言，還提供了一種圖像處理方法，其包括的
步驟有
劃分處于測試當(dāng)中的圖像，以形成多個圖部分，每一部分表示一組
具有類似圖像特性的像素，至少某些部分是相連的，所述劃分步驟包括
(i) 從處于測試當(dāng)中的圖像的像素導(dǎo)出圖像特性數(shù)據(jù)；
(ii) 根據(jù)其相應(yīng)的圖像特性數(shù)據(jù)將像素匯集成圖像部分。 本發(fā)明的其他方面的子特征同樣適用于這一方面。 在權(quán)利要求中進一步限定了本發(fā)明的各個方面和特征。


現(xiàn)在將參考附圖，僅通過舉例的方式描述本發(fā)明的實施例，在附圖
中
圖1示意性地示出了一種圖像處理系統(tǒng)； 圖2a和2b示意性地示出了將圖像劃分成多個圖像部分； 圖3是示出了圖像劃分過程的示意性流程圖； 圖4示意性地示出了帶有黑邊界的圖像； 圖5示意性地示出了圖像內(nèi)的搜索區(qū)域； 圖6示意性地示出了在圖像內(nèi)生成簇的早期階段； 圖7示意性地示出了主要部分過濾處理； 圖8是示出了特征矢量的生成的示意性流程圖； 圖9示意性地示出了量化的RGB空間； 圖IO示意性地示出了量化邊界； 圖11示意性地示出了特征直方圖的生成； 圖12示意性地示出了隨機映射處理； 圖13示意性地示出了加權(quán)顏色量化處理； 圖14示意性地示出了加權(quán)馬爾可夫模型的生成； 圖15示意性地示出了作為視頻獲取和/或處理設(shè)備的例子的便攜式 攝像機；
圖16示意性地示出了作為便攜式數(shù)據(jù)處理設(shè)備的個人數(shù)字助理；圖17示意性地示出了基于網(wǎng)絡(luò)的購物方案；
圖18示意性地示出了用戶選擇顯示；以及
圖19示出了圖17的設(shè)備的操作的示意性流程圖。
具體實施例方式
圖1是基于通用計算機10的圖像處理系統(tǒng)的示意圖，所述通用計 算機10具有包括用于程序和數(shù)據(jù)的磁盤存儲器30的處理器單元20、連 接至諸如Ethernet或Internet的網(wǎng)絡(luò)50的網(wǎng)絡(luò)接口卡40、諸如陰極射線 管或液晶顯示裝置的顯示裝置60、鍵盤70和諸如鼠標(biāo)的用戶輸入裝置 80。所述系統(tǒng)在程序控制下工作，所述程序存儲在磁盤存儲器30內(nèi)， 并且(例如)通過網(wǎng)絡(luò)50、可拆卸》茲盤(未示出)或^茲盤存^f渚器30上 的預(yù)安裝提供。
一般而言，將圖像處理設(shè)備設(shè)置為將圖像劃分為各個圖像部分。之 后，根據(jù)所述部分導(dǎo)出所謂的特征數(shù)據(jù)。這樣能夠?qū)崿F(xiàn)在部分級上進行 圖像比較，也就是說，可以將測試圖像的一個或多個部分的(由特征數(shù) 據(jù)表示的)特性與該圖像中，或者(在更普遍的情況下)與其他圖像中 的其他部分的特性進行比較，以檢測出可認(rèn)為與測試中的圖像或者與測 試中的圖像的所選部分"類似"的參考圖像?；蛘?，可以將所述特征數(shù) 據(jù)與人為生成的(或者有可能在多種情況下求平均得到的)參考特征數(shù) 據(jù)進行比較，所迷參考數(shù)據(jù)(例如)可以給出一部藍(lán)色車輛的一般表示， 而未必給出具體的藍(lán)色車輛的確切表示。
圖2a示意性地示出了示例圖像，圖2b示意性地示出了由圖2a的圖 像導(dǎo)出的圖像部分(例如，部分75)的樣本集合。 一般地，圖2b所示 的部分由黑色邊界包圍，但是，其目的僅在于能夠?qū)⑺霾糠址奖愕乇?現(xiàn)在紙上。所述黑色邊界未必存在于(有可能未存在于)實際的經(jīng)劃分 的圖像中。
所述系統(tǒng)可以使特征數(shù)據(jù)與所述部分中的每者相關(guān)——例如，采用 單個值表示該部分的圖像(例如，顏色)特性，或者將多值特征數(shù)據(jù)統(tǒng) 稱為表示該部分的各種不同的圖像特性的"特征矢量"。
所述圖像處理系統(tǒng)可以在不同的操作模式下工作。在第 一種模式 中，將一組圖像匯集到磁盤存儲器30或者通過網(wǎng)絡(luò)50連接的網(wǎng)絡(luò)磁盤 驅(qū)動器上，并對其進行劃分，排序和索引，以供搜索操作之用。第二種模式是實際搜索，所述實際搜索涉及當(dāng)前圖像與經(jīng)索引和排序的數(shù)據(jù)的 比較。另一種操作^t式是準(zhǔn)實時搜索或比較操作。對此而言，未必要對
圖像數(shù)據(jù)進行預(yù)劃分、索引和排序；相反，可以根據(jù)對此類信息的需求
而從所要比較的圖像導(dǎo)出特征數(shù)據(jù)。
因此，應(yīng)當(dāng)認(rèn)識到，在下述實施例中，可以"預(yù)先"扭4行諸如，劃 分圖像和推導(dǎo)特征數(shù)據(jù)的操作，從而實現(xiàn)后續(xù)的圖像或者圖像部分之間 的特征數(shù)據(jù)的比較?；蛘?，可以根據(jù)需要執(zhí)行所述操作。還應(yīng)當(dāng)認(rèn)識到， 可以通過一個系統(tǒng)生成(部分或全部)特征數(shù)據(jù)，并在另一個系統(tǒng)上采 用所述特征數(shù)據(jù)進行比較。
通過常規(guī)的方式將圖像加載到磁盤存儲器30上。優(yōu)選將其作為數(shù) 據(jù)庫結(jié)構(gòu)的部分存儲，其能夠?qū)崿F(xiàn)更為簡單的項目檢索和索引，但這不
是必須的。
還應(yīng)當(dāng)認(rèn)識到，未必將特征數(shù)據(jù)和/或圖像存儲到本地磁盤驅(qū)動器 30上?？梢詫?shù)據(jù)存儲到經(jīng)由網(wǎng)絡(luò)50連接至系統(tǒng)10的遠(yuǎn)程驅(qū)動器上。 或者，可以按照分布方式存儲信息，例如，可以將信息存儲到跨越網(wǎng)絡(luò) 的各個站點中。如果將信息存儲到不同的internet站點或網(wǎng)絡(luò)站點中， 那么可以采用第二級信息存儲器對任選具有相關(guān)概述的與遠(yuǎn)程信息的 "鏈接"(例如，URL)、摘要和與該鏈接相關(guān)的元數(shù)據(jù)進行本地存儲。 因此，除非用戶選擇了相關(guān)鏈接，否則無法訪問遠(yuǎn)程保存的信息。
在另一個例子中，可以跨越諸如研究組、報紙發(fā)行商、醫(yī)療業(yè)務(wù)體 系的網(wǎng)絡(luò)化工作組存儲圖像和/或特征數(shù)據(jù)。 一種混合的方案可能涉及一 些本地存儲的項目和/或一些跨越局域網(wǎng)存儲的項目和/或一些跨越廣域 網(wǎng)存儲的項目。在這種情況下，所述系統(tǒng)可以在對他人俘獲或準(zhǔn)備的類 似圖像進行定位方面發(fā)揮作用?；蛘撸谡跍?zhǔn)備新的電視節(jié)目的情況 下，可以釆用本系統(tǒng)檢測以前的具有類似內(nèi)容的節(jié)目，由此檢驗其原創(chuàng) 性。
還應(yīng)當(dāng)認(rèn)識到，圖1的系統(tǒng)10只是能夠采用從劃分后的圖像導(dǎo)出 的特征數(shù)據(jù)的可能系統(tǒng)中的一個例子。盡管設(shè)想采用 一般為非便攜式計 算機(也可能是具有信號處理功能的便攜式計算機)的功能相當(dāng)強大的 計算機執(zhí)行初始(劃分)階段，但是可以在便攜式設(shè)備上，例如，在"個 人數(shù)字助理"(具有顯示器和用戶輸入裝置的，通常與人的一只手相匹 配的數(shù)據(jù)處理裝置)、筆記本電腦等便攜式計算機乃至移動電話、視頻編輯設(shè)備或攝像機等裝置上執(zhí)行后面的信息訪問階段。
一般來講，實際 上可以采用任何具有顯示器的裝置實施操作的信息訪問階段。在下文 中，將參考圖10和11說明其他合適的裝置的例子。 所述處理不局限于圖像或部分的具體數(shù)量。
圖3示出了圖像劃分處理的流程圖。將參考圖4到圖7說明圖3的 處理步驟。
在圖3中，在步驟100中，檢測所要劃分的圖像周圍是否存在黑色 邊界。出現(xiàn)這種邊界的原因通常是圖像俘獲格式與圖像存儲/傳輸格式不 匹配。例如，如果在寬屏模式中俘獲圖像，但是按照非寬屏^t式存儲， 那么如圖4所示，就會在圖像中插入黑色邊界。這里，在前面的某處理 階段中，向圖像270施加了上方和下方黑色邊界280。如果在步驟100 中檢測到了這樣的黑色邊界，那么在步驟110中，將所述邊界刪除。其 涉及避免相關(guān)像素參與隨后的處理，即圖像剪切(cropping)，以便在
設(shè)置一個標(biāo)志，其表示(a)已經(jīng)執(zhí)行了剪切，(b)已經(jīng)剪切的區(qū)域的 尺寸。這樣允許在下文所述的步驟230中恢復(fù)所述邊界。
如果畫面整體上都非常黑，那么可以預(yù)先確定(例如)50像素的最 大邊界寬度，以避免剪切掉整幅圖像。
在步驟110中去除邊界之后，或者在步驟100中未檢測到邊界的存 在之后，控制轉(zhuǎn)到步驟120，在該步驟中，從處于測試當(dāng)中的圖1^象提取 所謂的"特征，，。其執(zhí)行過程如下。參考圖5，在處于測試當(dāng)中的圖像 270，的每一像素位置290上，確定圍繞所述像素位置的像素塊。在圖5 中，將示例塊示意性地表示為塊285。典型地，所述塊可以是9x9像素。 對于每一個這樣的塊而言，確定顏色特性R(紅色)、G(綠色)和B (藍(lán)色)的中值，以及Cb和Cr(色差值)。通過這種方式，使每一像 素位置具有相關(guān)的由五個值(R、 G、 B、 Cb、 Cr)構(gòu)成的組，但是這 些值不代表像素的實際顏色特性，而是代表圍繞所述像素位置的塊的中 值。這些針對每一像素位置的由五個顏色特性值構(gòu)成的組表示在步驟 120中提取的特征。
在步驟130中，使所述特征歸一化。在本實施例中執(zhí)行所述操作的 方式是使跨越與單個圖像相關(guān)的整個像素組的R值歸一化，從而使之具 有平均值0，和標(biāo)準(zhǔn)偏差l。所述條件同樣適用于跨越所述圖像的G值，等等。
在步驟140中，開始將像素集簇到一起的處理。具體而言，步驟140 涉及對所述簇的集合的中心初始化。
在多維(R, G， B, Cb, Cr)顏色(或特征)空間內(nèi)表示所述蔟， 而不是(在這一階段內(nèi))在圖像空間內(nèi)通過聯(lián)系相鄰區(qū)域來表示所述簇。 因此，其目的在于將具有類似顏色特性的像素集結(jié)起來，而不是(必須) 將圖像空間域內(nèi)靠在 一 起的像素集結(jié)起來。
按照下述說明設(shè)置簇的中心。
設(shè)置由2nUmber-。f-van福es個簇，即，32個簇構(gòu)成的初始組。在(R, G,
B, Cb, Cr)空間內(nèi)，將這些簇的中心設(shè)置為對應(yīng)于各個變量R、 G、 B、 Cb、 Cr具有最小值或最大值的位置的集合。初始的32個簇中心在顏色 空間內(nèi)的坐才示的例子如下
(Rmin，Gmin,Bmin,Crmin，Cbmin) (Rmax, Gmax，Bmax， Crmax, Cbmax)
由此完成了步驟140，即，簇中心的初始化。之后，控制轉(zhuǎn)到步驟 150,在該步驟中，將每一像素分配給在顏色空間中與該像素最近的簇 中心。采用常規(guī)數(shù)學(xué)方法計算顏色空間內(nèi)的像素位置與簇中心之間的距 離，所述數(shù)學(xué)方法包括片全測顏色空間內(nèi)的兩個位置之間的歐幾里德距 離。在步驟150結(jié)束時，將處于測試當(dāng)中的圖《象中的所有^象素都分配含會 了簇中心。
在步驟160中，去除所有空的簇。因此，每次重復(fù)執(zhí)行步驟150到 200時，簇的數(shù)量都傾向于減少。
在步驟170中，將彼此靠近程度(在五維顏色空間內(nèi))超過了簇合 并閾值的所有簇合并到 一起。
在步驟180中，重新計算簇中心。如上所述，將簇中心初始化為五 個變量值在顏色空間內(nèi)的極值。在步驟180中，重新計算簇中心，使之 成為該簇內(nèi)的所有像素(在顏色空間內(nèi))的平均位置。因而，(例如)， 結(jié)合簇內(nèi)的所有像素的R值形成平均R值，所述平均R值形成了該簇 的簇中心的新的R坐標(biāo)。
在步驟190中，針對每一簇計算被稱為"簇內(nèi)距離"(wcd)的變量。用于推導(dǎo)wcd的公式如下 Wcd二i:距離(像素，蔟中心)
相應(yīng)地，wcd表示(在顏色空間內(nèi))像素與相應(yīng)的蔟中心之間的位 移的總和。
在步驟200中，通過執(zhí)行測試檢-瞼所有wed值的和(總wed )自上 次計算之后是否發(fā)生了變化。當(dāng)然，第一次經(jīng)過步驟150到200構(gòu)成的 環(huán)將產(chǎn)生第一個wcd值，因而步驟200中的測試結(jié)果將是肯定的，并且 控制將返回至步驟150。因此，在新計算的總wcd值與前一重復(fù)過程中 計算的對應(yīng)值之間進行比較。
步驟200中的測試可以是絕對的，即，"總wcd發(fā)生了任何改變 嗎？"，或者可以應(yīng)用閾值測試，即，"總wcd的變化小于閾值量嗎？"
在適當(dāng)數(shù)量的重復(fù)之后，步驟200將探測到自上次重復(fù)之后總wcd 未發(fā)生變化，并且控制轉(zhuǎn)到步驟210,在步驟210中集簇操作結(jié)束。
至此，可以認(rèn)為在由五個變量(R, G, B, Cb, Cr)表示的特征空間(顏 色空間)內(nèi)將像素集簇到了一起?，F(xiàn)在將考慮使像素在圖像空間域內(nèi)集 結(jié)，其目的在于形成少量的圖像部分，所述圖像部分各個相連，并且表 示圖像的類似部分，至少其顏色特性是類似的。這里，對所期望的"少" 量沒有明確的定義，其完全取決于圖像內(nèi)容。
如果在圖像域內(nèi)表示一直執(zhí)行到步驟210的集簇過程，從而在圖像 的顯示版本中將同一簇內(nèi)的像素集結(jié)到一起，那么結(jié)果的例子可以如圖 6所示，其中，圖像270"的連續(xù)像素組300來自相同的簇。注意，在圖 6中，可以通過幾個截然不同的圖像區(qū)域表示(顏色空間內(nèi)的)一個簇。
在將圖6中每一帶邊界的區(qū)域300看作一個圖像區(qū)域的情況下，在 步驟220中，實施所謂的主要部分過濾，以消除細(xì)小區(qū)域。圖7示意性 地示出了所述主要部分過濾，其中，在中心像素310的周圍存在像素陣 列。像素310實際上落在由大的區(qū)域330包圍的小區(qū)域320內(nèi)。主要部 分過濾的作用在于檢查包圍像素310的像素陣列，并將像素310分配給 在所述像素陣列當(dāng)中具有最大表示的區(qū)域。在圖7的例子中，可以看出， 所述操作涉及將像素310分配給區(qū)域330。所述方法同樣適用于小區(qū)域 320內(nèi)的其他像素，因而實際上區(qū)域320將消失。在實踐當(dāng)中，主要部 分過濾步驟一般采用9x9像素陣列。
在步驟230中，如有必要，可以重新添加在步驟110中去除的黑色邊界。
在步驟240中，執(zhí)行連接部分分析，以確定每一簇內(nèi)的哪些像素是 相連的。連接部分分析涉及對像素進行水平和垂直掃描，以檢^T(圖像 域內(nèi)的)相鄰像素是否屬于相同的簇。為屬于同一簇的相連像素提供相 同的區(qū)域編號。為屬于同一簇的不相連的像素提供單獨的區(qū)域編號。在 這一處理之后，至少存在與處理之前一樣多的區(qū)域，通常會多出一個區(qū) 域。注意，如果認(rèn)為存在一些不相連的區(qū)域是可以接受的，那么可以 省略這一階段。
在步驟250中，重新設(shè)置簇的數(shù)量，使之等于當(dāng)前的圖像區(qū)域的數(shù)
量，其中，在簇和區(qū)域之間具有——對應(yīng)關(guān)系。按照上述說明計算每一 最新建立的簇的簇中心。
最后，在步驟260中，使所有留下的小區(qū)域(小于500個像素的區(qū) 域)與最近的相鄰區(qū)域合并。其執(zhí)行過程如下。
對于小于IOO個像素的區(qū)域而言，與所對應(yīng)的簇中心最接近所要合 并的區(qū)域的蔟中心的相鄰區(qū)域合并。對于介于100和500像素之間的區(qū)域而言，按照下屬說明計算"合 并代價"
合并代價=(像素的數(shù)量)1/2+與任何空間相鄰區(qū)域的最小簇間距離 如果合并代價小于預(yù)定閾值，那么合并所述區(qū)域。
否則不合并所述區(qū)域。
在下文中將描述這樣一種系統(tǒng)，其中，借助所述系統(tǒng)，可以采用經(jīng) 劃分的圖像作為基礎(chǔ)，利用特征矢量來比較所述圖像的部分和其他圖像 中的圖^^部分。圖^^劃分的其他應(yīng)用包括
1. 基于區(qū)域的視頻編碼(例如，在低比特率上)?？梢酝ㄟ^描述每 一區(qū)域覆蓋的面積以及描述其顏色和/或紋理對區(qū)域(部分)進行編碼。 對于移動電話、手提裝置、IP上視頻等采用的比特率非常低的視頻編碼 而言，這種方法尤為有用，因為在這些應(yīng)用當(dāng)中，屏幕分辨率一般較低， 而且將圖像區(qū)域顯示為單一的顏色/紋理也不會對感受到的主觀質(zhì)量造 成太大影響。
2. 基于區(qū)域活躍性的視頻編碼。將圖像劃分成各個區(qū)域，并采用基 于對象的編碼方案對其進行編碼。在量化過程中，平滑(低活躍性)區(qū) 域的處理比帶有紋理(高活躍性)區(qū)域的處理更難，因為紋理一般更易于隱藏量化噪聲。
3. 圖像/視頻合成。將圖像/視頻劃分成對象。其允許在不需要常規(guī)
的"藍(lán)屏"色度鍵控的情況下選擇所要提取或插入到其他視頻/圖像中的 對象。
4. CCTV(閉合電路TV)分析。將CCTV圖像劃分成對象，從而使 用戶能夠在自動監(jiān)視過程中(例如，在人群計數(shù)、可疑行為分析、車輛 跟蹤、交通分析、運動探測等計算機監(jiān)視操作過程中)選擇所要忽略的 或者所要予以特殊關(guān)注的圖像的對象或區(qū)域。
5. 設(shè)備視覺觀察應(yīng)用，例如，對傳送帶上的(可能未知)的對象等 計數(shù)。
6. 醫(yī)療圖〗象劃分和診斷，例如，細(xì)l包4企測。
7. 航空攝影分析，例如，劃分成不同的均質(zhì)區(qū)域，以及將所述區(qū)域 劃分成不同的土地應(yīng)用。
至此描述的處理實現(xiàn)了將圖像劃分成相應(yīng)的圖像部分?，F(xiàn)在，為了 能夠使所述部分相互比較，或者使所述部分與其他參考部分(或相對于 一般參考部分生成的數(shù)據(jù))進行比較， 一種合適的做法是從每一部分推 導(dǎo)特征數(shù)據(jù)(例如，所謂的"特征矢量")。現(xiàn)在，將說明一種從每一 圖像部分推導(dǎo)特征矢量的技術(shù)。
針對上文，下述說明可能涉及處于通過上述處理標(biāo)識的部分內(nèi)的像 素?；蛘撸梢詫⑾率鎏幚響?yīng)用于整幅圖像。也就是說，盡管所述處理 在對圖像進行劃分的情況下尤為有效，但是不對圖像進行劃分的情況 下，也可以應(yīng)用所述處理。
圖8是示出了特征矢量的生成的示意性流程圖。為了避免對圖8的 本質(zhì)造成混淆，所述流程圖僅包括四個步驟(步驟405、415、425和435 )。 在這些步驟之間，示意性地示出了相應(yīng)的輸入/輸出(作為數(shù)據(jù)400、410、 420、 430和440)。
所述處理從輸入圖像400中的(按照上述說明標(biāo)識的)區(qū)域402開 始。如上所述，可以將所要說明的處理應(yīng)用于整幅圖像，或者應(yīng)用于圖 像內(nèi)的區(qū)域。
首先，在步驟405中，對于R、 G、 B(在這一處理中未采用Cr和 Cb )顏色特性中的每者，將部分內(nèi)的像素的顏色特性量化成四個不同的值。所述三個變量的四個值給出了 64個可能的級別。圖9中示出了 64 級色立方體(colour cube)的示意性表示。這里，黑點(為了圖示的清 晰起見，很多黑點都沒有示出)表示RGB空間內(nèi)的可能的量化點。將R、 G和B值均量化成最近的所述點。
在這一實施例中，通過三個8位值表示原始RGB值，因此R、 G和 B可以具有處于0和255之間的值。通過設(shè)置量化邊界給出處于32、 96、 160和224上的量化子范圍的中心。這表示將0到255的總范圍劃分成 了四個基本相等的子范圍。
由步驟405的量化處理得到了量化的圖像數(shù)據(jù)410。
顏色空間的量化是所述系統(tǒng)的重要部分，因為原始特征矢量的尺寸 (參考下文)是顏色調(diào)色板尺寸的平方。例如，如果顏色調(diào)色板由24 位RGB空間內(nèi)的所有離散點構(gòu)成，那么調(diào)色板尺寸為2563,原始特征 矢量尺寸為2566,在很多種情況下所述值是不實用的。通過對色度-飽 和度-純度(HSV)空間的非線性量化和對24位RGB空間的線性量化 的試-瞼表明，24位RGB空間的量化因量化誤差而導(dǎo)致的問題較少，當(dāng) 然也可以采用其他量化方案。
在步驟415中生成了馬爾可夫模型。
對于每一像素而言，所述處理標(biāo)識出圍繞該像素的3x3方陣列中 的8個相鄰像素。這里，所述的相鄰像素僅限于當(dāng)前區(qū)內(nèi)的像素，如果 像素處于當(dāng)前區(qū)域的邊緣上，那么認(rèn)為其相鄰像素少于8個。
建立一個二維的64 x 64bin (即4096bin )直方圖作為所述區(qū)域的所 謂的馬爾可夫模型。
按照下述說明建立直方圖。
對于每一像素而言，其自身的量化像素值(處于64值范圍內(nèi)，并 且按照預(yù)定順序編號為值1到64)沿直方圖的一個軸形成了一個位置。 同樣在值1到64的范圍內(nèi)表述的每一相鄰像素的值沿直方圖的另一軸 形成了一個位置。相應(yīng)地，對于特定的中心像素而言，可能存在多達8 個不同的bm,所述bin由對應(yīng)的相鄰l象素值標(biāo)識。累力口 ( increment)這 些bm中的每者，其中，每一 bin表示相應(yīng)的^象素的一非列(permutation) 和相鄰像素特性。更一般而言，每一bm表示連續(xù)像素組內(nèi)的特性的排 列，在本實施例中，所述連續(xù)像素組包括兩個像素，但是其可以包括更 多的像素。從一個角度來講，可以認(rèn)為所述馬爾可夫模型表示圖像部分的紋理。
之后，針對下一像素的中心像素值及其八個相鄰像素值重復(fù)所述處
理。由此，在正在考慮的整個區(qū)域上，將產(chǎn)生一個64 x 64bin二維直方
圖11示意性地示出了特征直方圖的生成，但是其參考了極為簡化 的情況，即僅有3個(而不是64個)量化RGB值0、 1、 2。在局部圖 像區(qū)域450內(nèi)，將3x3像素掃描窗口 455布置在中心像素460的周圍。 (在這一簡化的例子中，3值顏色空間內(nèi)的)中心1象素的顏色定義 了處于圖11的底部的直方圖中的行。每一相鄰像素的顏色定義了列。 在行和列的交叉處，累加所述bin。在所示的例子中，掃描窗口中心像 素具有顏色指數(shù)l。其總共具有8個相鄰像素，其中，5個具有顏色指 數(shù)0, 2個具有顏色指數(shù)1， l個具有顏色指數(shù)2。 其導(dǎo)致了，在所述 bm中的第l行，第0列處使馬爾可夫模型增加5，在所述bm中的第l 行，第1列處，使其增加2,在所述bm中的第1行，第2列處，使其 增力口 1。
之后，使所述直方圖歸一化?？梢栽谥饏^(qū)域的基礎(chǔ)上，和/或跨越與 整幅圖像相關(guān)的直方圖的集合執(zhí)行所述操作。通過所述歸一化處理，使 得一行內(nèi)的所有值的和等于1。參考下述歸一化方程，所述方程是指附 圖中簡化的3x3的例子<formula>formula see original document page 15</formula>在圖8中給出了舉例的歸一化馬爾可夫模型數(shù)據(jù)的示意性表示，并
將其表示為數(shù)據(jù)420。
之后，在步驟425中生成特征矢量。
通過連結(jié)(對應(yīng)于圖像或者對應(yīng)于特定的圖像區(qū)域的)二維歸一化 馬爾可夫直方圖中的所有的642個值形成4096值矢量，由此形成了所述 特征矢量。所述連結(jié)根據(jù)預(yù)定的但是任意的順序發(fā)生。在圖8中提供了 所述特征矢量的示范性例子，并將其作為數(shù)據(jù)430,其中，將所述特征 矢量稱為"原始"特征矢量。注意，為了圖示的清晰起見，并未示出所 有的4096個值。
之后，在步驟435中，通過主要部分分析或隨機映射將4096值矢 量減為200值矢量。在其他部分將對所述隨機映射技術(shù)進行詳細(xì)說明， 該技術(shù)涉及采用200 x 4096隨機矩陣乘以所述4096值矢量，可以按照 預(yù)先設(shè)置的形式存儲所述隨機矩陣，以供本技術(shù)之用。圖12提供了這 一隨機映射處理的示意性表示，其中，通過使1xN矢量與由隨機數(shù)構(gòu) 成的NxM矩陣進行矩陣相乘將1 xN矢量減為1 xM矢量。前面7>開 的工作表明，盡管所得的矢量可以短得多，但是在隨機映射處理之后它 們的點積基本保持相同。
所述隨機映射處理的輸出為200值"減少"特征矢量，其指示圖像 或每一圖像部分的顏色特性。在圖8中示出了作為數(shù)據(jù)440的示意性例 子，但是為了清晰起見，這里也沒有示出所有的200個值。這一示意性 表示的要點在于認(rèn)識到所減少后的特征矢量短于原始特征矢量。
當(dāng)然，應(yīng)當(dāng)認(rèn)識到，減少后的特征矢量未必是200個值的長度。這 一數(shù)量是一種合理的折中選擇，其兼顧了縮短的要求(為了便于存儲和 應(yīng)用于其他處理)和具有足以精確地表示顏色特性的長度的要求。但是， 也可以采用其他長度。
為了比較兩個圖像部分(或者至少比較采用參考特征數(shù)據(jù)導(dǎo)出的特 征數(shù)據(jù))，要確立其特征矢量之間的距離。較短的距離意味著較大的相 似性。
采用這種技術(shù)的一個例子是，用戶從諸如圖2B所示的經(jīng)劃分的圖 ^象中選4奪一個或多個部分。例如，用戶可以選4f附圖標(biāo)記為75的部分。 從該部分導(dǎo)出特征矢量，并將其與來自同一圖像內(nèi)的其他部分的特征矢 量以及來自其他圖像中的部分(即位于用于檢驗相似圖像部分的數(shù)據(jù)庫中)的特征矢量進行比較。注意，歸一化處理意味著，如果具有不同尺 寸的圖像部分的顏色特性是相似的，那么仍然可以將其檢測為彼此相 似。
可以預(yù)先針對所有的部分生成特征矢量，或者可以按照需要生成特 征矢量。在保存圖像的數(shù)據(jù)庫的混合方案中，可以針對所存儲的圖像預(yù) 先生成特征矢量。在使新圖像與所述數(shù)據(jù)庫進行比較時，由該圖像單獨 (或者由該圖像的部分)生成特征矢量。
如果用戶選擇了不止一個部分，那么存在各種不同的方式來處理這 一情況?？梢詥为毺幚硭霾糠郑⑨槍γ恳凰x部分導(dǎo)出對應(yīng)的結(jié)果 組(相似的部分)。或者，可以將用戶選擇的部分結(jié)合處理，從而合并 用戶選擇的部分與處于測試當(dāng)中的部分之間的距離，并導(dǎo)出具有最小的 合并距離的結(jié)果組。通常通過使兩個或更多的距離相乘來完成兩個(或 多個)用戶選擇部分與處于測試當(dāng)中的部分之間的距離的合并。還可能 使所述距離與 一個以上的處于測試當(dāng)中的部分相關(guān)，只要所有的處于測 試當(dāng)中的部分都屬于同一圖像即可。在這種情況下，在所述乘法當(dāng)中采 用測試圖像中的部分與每一用戶選擇部分的最小距離。之后，所述系統(tǒng) 返回具有最小總體距離的測試圖像。
現(xiàn)在將說明一種能夠為上述技術(shù)帶來提高的改進。在一些情況下，
采用少量的量化級(64個量化級)意味著量化級之間的邊界過于明顯。
顏色特性中的小的變化就可能導(dǎo)致分配給像素的量化級的劇烈變化。因 而(例如)稍微亮一些的天空區(qū)域在其內(nèi)的量化級的變化的影響下就可 能導(dǎo)致與其他天空區(qū)域之間具有非常差的相關(guān)性。
對于這一特點的解決方案是將來自圖11中的每一相鄰像素的貢獻
(contribution)分配給各個bin。因而，像以前一樣，在垂直軸上設(shè)置 每一中心像素值(對于所述中心像素值可能存在幾個貢獻)，但是，對
于每一相鄰像素而言，根據(jù)該相鄰像素(在顏色空間內(nèi))與最近的量化 級之間的距離將非整數(shù)貢獻加到多個bm中。現(xiàn)在，將參考圖13和14 說明所述方案的例子。
圖13和14的方案提供的主要差異在于降低了量化誤差的影響。所 述變化將影響顏色量化步驟405和馬爾可夫才莫型生成步驟415。下文中 將說明加權(quán)將怎樣影響前述算法。
按照與上文相同的方式劃分24位RGB空間。但是，這里并非將特定像素顏色量化成一個調(diào)色板顏色，而是將其量化成幾個調(diào)色板顏色， 并記錄對每一調(diào)色板顏色的貢獻。
圖13示意性地示出了圖9的量化點的子集。每一點C1,.C12表示3 維RGB空間中的量化RGB顏色。實際的(非量化)像素不太可能直接 落在一個量化點上， 一般都落在量化點之間。在圖13中，正在考慮的 像素落在RGB空間中的位置480上。將RGB空間中像素位置480與量 化點Cn之間距離示為Ln。
可以說，實際的顏色由最近的調(diào)色板顏色的貢獻構(gòu)成。要想計算每 一調(diào)色板顏色的貢獻，則獲取最大距離Dmax(在圖13中將其示為量化 點C4與量化點C10之間的線，其表示量化網(wǎng)才各中的最大距離)，并減 去調(diào)色板顏色和實際顏色之間的距離。由此得到了相應(yīng)的權(quán)重值wn。
如果^又重wn〉0,那么在下述處理中采用調(diào)色一反顏色；否則棄用該 值，或?qū)⑵湓O(shè)為零。
因此，對于每一實際顏色而言，將形成發(fā)揮作用的調(diào)色板顏色及其 權(quán)重的集合。使每一所述集合歸一化，從而使每一集合的權(quán)重的和為1。
從原理上，按照與上文所述的相同的方式形成馬爾可夫模型，但是 這里并非采用 一種調(diào)色板顏色表示每一像素，而是采用帶有權(quán)重的調(diào)色 板顏色的集合表示每一像素。
圖14示意性地示出了這種情況，其中，該圖示出了處于掃描窗口 455'內(nèi)的中心^象素460'和周圍的8個4象素的4又重w0、 wl和w2構(gòu)成的 組。如前所述，采用僅有三種顏色的調(diào)色板(量化顏色空間)。
在確定相鄰像素對所述模型作出的貢獻時，所述二維直方圖中的幾 個單元都受到影響，而不是只有一個單元受到影響。將中心像素的權(quán)重 的列矢量與相鄰像素的權(quán)重的行矩陣相乘，以形成與馬爾可夫模型矩陣 具有相同維度的矩陣，由此找到對直方圖的適當(dāng)?shù)呢暙I。將這些矩陣中 的每者添加至所述模型矩陣。
例如，考慮圖15中的中心像素460，和相鄰像素"n"之一之間的變 換，可以看出，對于每一個這樣的關(guān)系而言，存在對馬爾可夫模型的9 個貢獻。注意，這里的示意性例子提供了具有3種顏色的調(diào)色板和尺寸 為3x3的馬爾可夫^t型，因此具有9個貢獻。實際應(yīng)用中的調(diào)色板具 有64種顏色和尺寸為64 x 64的馬爾可夫矩陣，因此對每一相鄰4象素而 言，其貢獻是尺寸為64 x 64 (如果將權(quán)重wnO的顏色設(shè)為零，參考上文)或高達64 x 64 (如果棄用了所述顏色)的矩陣。
如前所述，在掃描了整個區(qū)域的情況下，使馬爾可夫模型矩陣歸 一化，從而使每一行的和等于1。
圖15示意性地示出了作為視頻獲取和/或處理設(shè)備的例子的便攜 式攝像機500,所述便攜式攝像機包括帶有相關(guān)鏡頭520的圖像俘獲 裝置510、數(shù)據(jù)/信號處理器530、磁帶存儲器540、磁盤或其他隨機 存取存儲器550、用戶控制裝置560和帶有取景器580的顯示裝置570。 常規(guī)便攜式攝像機或其他備選裝置的其他特征(例如，不同的存儲介 質(zhì)或者不同的顯示屏裝置)對于本領(lǐng)域技術(shù)人員而言是顯而易見的。
550上，并在顯示裝置570上觀看與所存儲的數(shù)據(jù)相關(guān)的SOM,并采 用用戶控制裝置560對其進行上述控制。
圖16示意性地示出了作為便攜式數(shù)據(jù)處理設(shè)備的例子的個人數(shù) 字助理(PDA) 600,其具有顯示屏610連同數(shù)據(jù)處理和存儲裝置(未 示出)，其中，所述顯示屏610具有顯示區(qū)域620和提供用戶控制的 觸摸敏感區(qū)域630。本領(lǐng)域技術(shù)人員同樣清楚這一領(lǐng)域中的各種替代 選牙奪。如上所述，可以結(jié)合圖1的系統(tǒng)4吏用所述PDA。
可以采用通過上述處理導(dǎo)出的特征矢量訓(xùn)練和/或填充(populate ) 用于顯示的自組織圖(map),例如，GB-A-2393275中公開的圖。
可以通過集合將圖像或材料劃分成某一分類，在所述分類中，所 有的圖像或部分具有處于分類特征矢量的閾值距離內(nèi)的特征矢量。可 以按照解析的方式設(shè)置所述分類特征矢量，或者將其作為經(jīng)用戶判斷 以共同的概念(例如，海灘景觀)為聯(lián)系紐帶的一組圖像或部分的平 均特征矢量加以推導(dǎo)。
總結(jié)所述特征矢量生成技術(shù)可知，提供了一種作為旋轉(zhuǎn)、平移和 縮放不變量的基于顏色的特征矢量?？梢圆捎盟鎏卣魇噶浚脠D 像的全部或部分搜索圖像數(shù)據(jù)庫。所述特征矢量以馬爾可夫模型為基 礎(chǔ)，所述馬爾可夫模型描述了圖像內(nèi)的顏色變換。為了能夠使用基于 顏色特性的馬爾可夫模型，開發(fā)出了這樣一種技術(shù)，其將RGB顏色 空間量化為表示馬爾可夫模型中的狀態(tài)的調(diào)色板顏色空間。
現(xiàn)在將參考圖17到19說明上述技術(shù)的另一應(yīng)用。
圖17示意性地示出了基于網(wǎng)絡(luò)的購物方案，其中，經(jīng)由網(wǎng)絡(luò)710(例如局域網(wǎng)，或(更一般來講)internet)將用戶的數(shù)據(jù)處理設(shè)備或 "客戶端"700連接至纟見頻處理器720和在線購物服務(wù)器740。
所述設(shè)備還包括特征數(shù)據(jù)檢測器730、比較邏輯750和參考特 征數(shù)據(jù)存儲器760。 注意，客戶端、視頻服務(wù)器和在線商店這三個區(qū) 域的功能劃分是隨意的，在大多數(shù)情況不會對技術(shù)層面造成太大的影 響。具體而言，可以將單元730、 750和760中的每者作為客戶端、 視頻服務(wù)器或在線商店的部分實現(xiàn)。此外，可以將視頻服務(wù)器和客戶 端作為單個客戶端處理器實現(xiàn)。為了便于說明，只是簡單地提供了圖
17所示的具體方案。
在下述說明中還將參考示出了處于客戶端700的示意性用戶選擇 顯示的圖18以及圖19所示的示意性流程圖。所述流程圖與圖17的 具體示范性方案相關(guān)。
視頻服務(wù)器接受視頻數(shù)據(jù)(步驟900 ),其涉及將視頻數(shù)據(jù)上載 到視頻數(shù)據(jù)服務(wù)器中(或與其相關(guān))的視頻數(shù)據(jù)存儲器上。在步驟910 中，視頻服務(wù)器采用上述技術(shù)將視頻圖像中的每者(或子集)劃分成 部分。在步驟920中，通過特征數(shù)據(jù)檢測器730導(dǎo)出特征數(shù)據(jù)，并使 之與定義哪一部分(用于顯示的)具有該特征數(shù)據(jù)的數(shù)據(jù)相關(guān)，其中 在該流程圖中將所述處理稱為"標(biāo)識，，特征數(shù)據(jù)。換言之，圖像中的 每一部分(或某些部分)具有相關(guān)的特征數(shù)據(jù)，所述部分和特征數(shù)據(jù) 通過標(biāo)識lt據(jù)〗皮此相關(guān)。
顯然，如果通過諸如圖15所示的俘獲設(shè)備的俘獲設(shè)備生成了視 頻數(shù)據(jù)，或者如果通過對其進行預(yù)處理導(dǎo)出了部分和/或特征數(shù)據(jù)，那 么未必需要步驟910和920的全部。類似地，沒有在視頻服務(wù)器內(nèi)存 儲碎見頻數(shù)據(jù)的技術(shù)必要性；視頻服務(wù)器可以基本實時工作，以便將視 頻數(shù)據(jù)傳送到客戶端。此外，不必預(yù)先推導(dǎo)特征數(shù)據(jù)(甚至部分劃分)； 當(dāng)用戶在客戶端選擇部分時(參考下文)，可以根據(jù)需要對所述內(nèi)容 進行推導(dǎo)。
在步驟930中，在客戶端顯示視頻圖^^。圖18示出了所顯示的 圖像的例子。這里，通過附圖標(biāo)記表示兩個圖像部分與汽車的后部 相關(guān)的部分800和與人的褲子相關(guān)的部分810?？梢?例如，通過框 取或者通過光標(biāo)變化，其采取的方式實質(zhì)上與光標(biāo)經(jīng)過Microsoft Internet ExplorerTM中的超級鏈接所采取的方式類似)在顯示器上標(biāo)識通過所述部分劃分處理(步驟910)標(biāo)識的部分，或者無需提供標(biāo)識。 用戶具有諸如鼠標(biāo)、指輪、觸摸敏感屏等指向裝置。用戶能夠指
示所顯示的圖像上的區(qū)域，從而選擇圖像中的某一部分(在步驟940 中)?？梢圆捎檬髽?biāo)按鈕等選擇控制指示所選的區(qū)域。如果用的指示 (和/或點擊)落在某一所劃分的部分內(nèi)(不管是否已經(jīng)進行了劃分處 理)，都將與該部分相關(guān)的特征數(shù)據(jù)發(fā)送至比較邏輯750。這里，在 步驟950中，將所述特征數(shù)據(jù)與參考特征數(shù)據(jù)存儲器760中存儲的參 考特征數(shù)據(jù)進行比較。
現(xiàn)在將說明參考特征數(shù)據(jù)的推導(dǎo)。
在圖19的步驟980和990中示意性i也示出了這一處理的一個例 子，其中，對圖像進行分析，并推導(dǎo)參考特征數(shù)據(jù)。就應(yīng)當(dāng)對哪些圖 像進行分析而言，首先應(yīng)當(dāng)考慮參考特征數(shù)據(jù)的用途。參考特征數(shù)據(jù) 的作用在于對標(biāo)識某種類型的產(chǎn)品的圖像部分給出 一般指示。例如， (在理想情況下)應(yīng)當(dāng)與部分800的特征數(shù)據(jù)進行比較的參考特征數(shù) 據(jù)將對車輛做一般指示，或者具體指示轎車，乃至指示某種顏色或風(fēng) 格的轎車。相應(yīng)地，對于這種情況而言， 一種生成參考特征數(shù)據(jù)的方
法是對表示所述產(chǎn)品類別的一幅或多幅圖像進行分析(劃分或者由其 推導(dǎo)特征數(shù)據(jù))?？梢酝ㄟ^對多個這樣的圖像的分析結(jié)果求平均，由
此獲得更為一般的結(jié)果。 一種備選的方式是以分析的方式，即，通過 判斷哪些是與車輛的部分相關(guān)的圖像部分的可能的圖像特性，進而確 定所述特性表示哪些特征數(shù)據(jù)來生成參考特征數(shù)據(jù)。 一般來講，通過 參考特征數(shù)據(jù)存儲器760保存參考特征數(shù)據(jù)的多個例子，其中每者與 相應(yīng)的產(chǎn)品或服務(wù)類型相關(guān)。
在4壬一種情況下，均可以在步驟950中，通過比4吏邏輯750 4僉測 所檢測到的用戶選擇的圖像部分的特征數(shù)據(jù)與參考特征數(shù)據(jù)的例子 之間的對應(yīng)關(guān)系。這里，可以選擇最佳匹配，或者可以應(yīng)用"匹配度，， 閾值，從而僅準(zhǔn)許至少具有一定的統(tǒng)計學(xué)意義的匹配，所有的這些方 式均采用已知的匹配4支術(shù)。
在發(fā)現(xiàn)匹配時，將與匹配參考特征數(shù)據(jù)相關(guān)的類型的產(chǎn)品或月l務(wù) (也可能是對應(yīng)于所述產(chǎn)品的internet地址或超級鏈接)發(fā)送至在線 商店。在步驟960中，(如果采用上述超級鏈接，那么根據(jù)所述超級 鏈接的目標(biāo))將商店入口或者所銷售的具體項目或二者發(fā)送至客戶端700。通過客戶端顯示所述商店和/或項目的細(xì)節(jié)(例如，在顯示屏的 子窗口內(nèi))，如果希望，用戶可以按照一般的方式，例如，通過(有 可能采用指向裝置)操作購買菜單項目或控制按鈕執(zhí)行購買(在步驟
970中)。
可以通過在線商店或第三方管理所述系統(tǒng)。在4壬何一種情況下， 都能夠提請所述(或其他)在線商店供應(yīng)商以圖像(或視頻)以及相 關(guān)超級鏈接或購物信息的形式提供數(shù)據(jù)，所述數(shù)據(jù)可選地與相關(guān)參考 特征數(shù)據(jù)。作為這一操作的回報，可以預(yù)先，或者根據(jù)用戶對于該商 店相關(guān)的項目的選擇，或者在用戶實施購買(即"點擊付費")時， 或者在上述情況的任意組合下為系統(tǒng)管理者付費。
應(yīng)當(dāng)i^識到，這些4支術(shù)未必僅適用于碎見頻圖〗象，也可以采用由一 幅或多幅靜止圖像構(gòu)成的系列。
權(quán)利要求
1.一種圖像處理方法，其包括步驟劃分處于測試當(dāng)中的圖像，以形成多個圖部分，每一部分表示一組具有類似圖像特性的像素，至少一些部分是相連的；從包括一個或多個圖像部分的子集導(dǎo)出特征數(shù)據(jù)；將來自所述圖像部分的子集的特征數(shù)據(jù)與指示相應(yīng)的參考圖像部分的特征數(shù)據(jù)進行比較，以檢測處于測試當(dāng)中的圖像部分與參考圖像部分之間的相似度。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述參考圖像部分是一個或多個其他圖像的相應(yīng)圖像部分；以及 所述比較步驟用于檢測處于測試當(dāng)中的圖像與所述一個或多個其 他圖像之間的相似度。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述劃分步驟包括 Ci)從處于測試當(dāng)中的圖像的像素中導(dǎo)出圖像特性；(ii) 根據(jù)其相應(yīng)的圖像特征數(shù)據(jù)將像素匯集成圖像部分。
4. 根據(jù)權(quán)利要求3所述的方法，其中，所述劃分步驟還包括(iii) 根據(jù)圖像特性數(shù)據(jù)差異檢測圖像部分的分離度；以及(iv) 合并其分離度低于閾值分離度的圖像部分。
5. 根據(jù)權(quán)利要求4所述的方法，其中，遞歸執(zhí)行步驟(iii)。
6. 根據(jù)權(quán)利要求3到5中的任何一項所述的方法，其包括步驟(v) 對所述圖像部分進行空間過濾，所述空間過濾傾向于將來自小圖 像部分的像素重新分配給大圖像部分。
7. 根據(jù)權(quán)利要求3到6中的任何一項所述的方法，其包括步驟 檢測處于測試當(dāng)中的圖像是否具有黑色邊界； 在劃分步驟之前去除所述邊界；以及 在所述劃分步驟之后重新施加所述邊界。
8. 根據(jù)前述權(quán)利要求中的任忖一項所述的方法，其中，所述特征 數(shù)據(jù)至少指示顏色特性。
9. 根據(jù)前述權(quán)利要求中的任何一項所述的方法，其中，所述特征 數(shù)據(jù)至少指示圖像紋理特性。
10. 根據(jù)前述權(quán)利要求中的任何一項所述的方法，其包括步驟 從每一圖像部分導(dǎo)出相應(yīng)的特征數(shù)據(jù)；以及其中，與處于測試當(dāng)中的圖像相關(guān)的圖像部分的子集包括一個以上 的圖像部分，并采用來自所述子集中的所有圖像部分的特征數(shù)據(jù)的組合 執(zhí)行所述比較步驟。
11. 根據(jù)前述權(quán)利要求中的任何一項所述的方法，其中，每一部分 是連續(xù)的。
12. 根據(jù)前述權(quán)利要求中的任何一項所述的方法，其包括步驟 生成指示多個參考圖像部分的特征數(shù)據(jù)，每一參考圖像部分具有相關(guān)數(shù)據(jù)項目；檢測用戶對從處于測試當(dāng)中的圖像導(dǎo)出的圖像部分的選擇； 訪問與被檢測為與用戶選擇的圖像部分最為相似的參考圖像數(shù)據(jù) 相關(guān)的數(shù)據(jù)項目。
13. 根據(jù)權(quán)利要求12所述的方法，其中 所述相關(guān)數(shù)據(jù)項目是超級鏈接；以及訪問所述相關(guān)數(shù)據(jù)項目的步驟包括訪問與該超級鏈接相關(guān)的超級 鏈接目標(biāo)。
14. 根據(jù)權(quán)利要求12或13所述的方法，其中，訪問相關(guān)數(shù)據(jù)項目 的步驟包括向用戶提供指示與所述參考圖像部分相關(guān)的商品或服務(wù)的 購買價格的數(shù)據(jù)。
15. 根據(jù)權(quán)利要求14所述的方法，其包括步驟檢測用戶購買控制操作，所述購買控制操作指示用戶希望購買所述 商品或服務(wù)。
16. 根據(jù)權(quán)利要求12到15中的任何一項所述的方法，其中，檢測 用戶選擇的步驟包括顯示處于測試當(dāng)中的圖像至少一部分；以及檢測用戶對指向裝置的操作，所述操作對準(zhǔn)了所述圖像部分。
17. —種包括程序代碼的計算機軟件，當(dāng)在計算機上執(zhí)行時，所述 程序代碼執(zhí)行根據(jù)前述權(quán)利要求中的任何一項所述的方法。
18. 用于提供根據(jù)權(quán)利要求17所述的計算機軟件的介質(zhì)。
19. 根據(jù)權(quán)利要求18所述的介質(zhì)，所述介質(zhì)為存儲介質(zhì)。
20. 根據(jù)權(quán)利要求18所述的介質(zhì)，所示介質(zhì)為傳輸介質(zhì)。
21. —種圖像處理設(shè)備，包括用于劃分處于測試當(dāng)中的圖像，以形成多個圖像部分的裝置，每一部分表示一組具有類似圖像特性的像素，至少一些部分是相連的； 用于從包括一個或多個圖像部分的子集導(dǎo)出特征數(shù)據(jù)的裝置； 用于將來自所述圖像部分的子集的特征數(shù)據(jù)與指示相應(yīng)的參考圖像部分的特征數(shù)據(jù)進行比較，以檢測處于測試當(dāng)中的圖像部分與參考圖像部分之間的相似度的裝置。
22. —種包括根據(jù)權(quán)利要求21所述的圖像處理設(shè)備的圖像俘獲設(shè)備。
23. —種圖像處理方法，其包括步驟劃分處于測試當(dāng)中的圖像，以形成多個圖部分，每一部分表示一組 具有類似圖像特性的像素，至少一些部分是相連的，所述劃分步驟包括(i) 從處于測試當(dāng)中的圖像的像素導(dǎo)出圖像特性數(shù)據(jù)；(ii) 根據(jù)其相應(yīng)的圖像特性數(shù)據(jù)將像素匯集成圖像部分。
24. —種圖像處理設(shè)備，包括用于劃分處于測試當(dāng)中的圖像，以形成多個圖像部分的裝置，每一 部分表示一組具有類似圖像特性的像素，至少一些部分是相連的，所述 劃分裝置包括用于從處于測試當(dāng)中的圖像的像素導(dǎo)出圖像特性數(shù)據(jù)的裝置； 用于根據(jù)其相應(yīng)的圖像特性數(shù)據(jù)將像素匯集成圖像部分的裝置。
全文摘要
一種圖像處理方法，包括的步驟有劃分處于測試當(dāng)中的圖像，以形成多個具有類似圖像特性的連續(xù)圖像部分；從包括一個或多個圖像部分的子集導(dǎo)出特征數(shù)據(jù)；將來自所述圖像部分的子集的特征數(shù)據(jù)與從一幅或多幅其他圖像的相應(yīng)的圖像部分導(dǎo)出的特征數(shù)據(jù)進行比較，以檢測處于測試當(dāng)中的圖像與所述一幅或多幅圖像之間的相似度。
文檔編號G06K9/46GK101300575SQ200680040833
公開日2008年11月5日 申請日期2006年9月29日 優(yōu)先權(quán)日2005年10月31日
發(fā)明者J·R·索爾普, M·C·朗, M·J·威廉斯, P·E·普雷爾, R·M·S·波特, R·貝爾斯富德 申請人:索尼英國有限公司