專利名稱：：一種基于內(nèi)容的復(fù)合型圖像檢索方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種圖像檢索技術(shù)，特別涉及一種用在多媒體
技術(shù)領(lǐng)域：
中的基于內(nèi)容的復(fù)合型圖像檢索方法。
背景技術(shù)：
：.圖像檢索研究重點是基于內(nèi)容的圖像檢索(簡稱CBIR)。然而，盡管基于內(nèi)容的圖像檢索技術(shù)研究已達(dá)數(shù)十年，取得了長足的進(jìn)展，但仍無法滿足用戶的檢索要求。最難以解決的一個問題是表征圖像內(nèi)容的低層視覺特征與用戶檢索時具有的高層語義之間存在差距。人們不斷引入新技術(shù)來縮小這種"語義鴻溝"，如將低層的視覺特征映射到高層。這種映射可事先確定，也可讓檢索系統(tǒng)利用低層特征，而用戶則通過人機(jī)交互加入高層知識。典型的方法是利用相關(guān)反饋和語義視覺模板進(jìn)行優(yōu)化査詢，或借助交互界面漸進(jìn)地解釋圖像內(nèi)容。由此可見，研究圖像的低層視覺特征，以及圖像間相似性的度量既具有重要的意義，目前圖像檢索研究面臨著以下三個問題第一，顏色不僅反映物體表面材質(zhì)，也將隨著光照的方向、強(qiáng)度和相機(jī)觀察點的改變而變化，現(xiàn)有大多數(shù)基于顏色的特征表達(dá)，仍無法消除環(huán)境因素的影響，且對環(huán)境的變化很敏感。針對物體的顏色直方圖特征對光照條件非常敏感的特點，人們嘗試用比值直方圖代替顏色直方圖，使其只對陰影、遮蔽和高亮度較敏感?；蛘邔︻伾臻g進(jìn)行預(yù)處理，將顏色量從RGB空間轉(zhuǎn)換到C4C5C6空間，將其稱為顏色不變量空間；但這種不變量模型的分辨能力不太理想，且仍需在其基礎(chǔ)上考慮顏色空間量化策略。第二，目前在基于內(nèi)容的圖像檢索技術(shù)中，以空間特征表達(dá)圖像內(nèi)容的方法并不完善。大多在顏色或紋理特征中加入空間信息，如顏色相關(guān)圖表達(dá)法；將顏色相關(guān)矩陣沿對角線和非對角線方向分為兩部分，對角線部分的顏色分布遵循傳統(tǒng)顏色直方圖的特點，而非對角線部分則反映顏色邊緣信息，以便更好地表達(dá)空間特征。人們在此基礎(chǔ)上進(jìn)一步提出利用孤獨因子衡量對角線和非對角線部分顏色統(tǒng)計量的權(quán)重，也有效地提高了檢索精度。此外，利用圖像分塊的策略增加空間分布信息也很較有效。通常，有3種方式劃分圖像固定方式，半動態(tài)方式和動態(tài)方式，而圖像中檢索物體的尺寸是決定劃分圖像的重要因素。人們還提出了簡單的局部直方圖方法，將圖像進(jìn)行固定分塊，計算每一個子塊的顏色直方圖；再比較兩幅圖像相應(yīng)子塊間的相似距離，并進(jìn)行求和作為整幅圖像的相似距離值；但子塊間的空間約束關(guān)系太強(qiáng)，丟失了全局顏色直方圖所具有的旋轉(zhuǎn)、平移不變性的優(yōu)點。因此，在基于內(nèi)容的圖像檢索領(lǐng)域中，針對顏色分量受環(huán)境影響、圖像空間表達(dá)不足等問題，有效地提高彩色圖像檢索的精度和速度是現(xiàn)有技術(shù)中有待解決的問題。
發(fā)明內(nèi)容本發(fā)明需解決的問題是在圖像檢索領(lǐng)域中，針對顏色分量受環(huán)境影響、圖像空間表達(dá)不足等問題，提出一種基于內(nèi)容的復(fù)合型圖像檢索方法。本發(fā)明基于內(nèi)容的復(fù)合型圖像檢索方法的實施步驟為(1)將顏色不變量模型應(yīng)用于原始圖像；(2)分析待搜索圖像的特征；(3)如果待搜索圖像的顏色分量易受環(huán)境影響，則計算變換模型后圖像的顏色相關(guān)矩陣并二值化顏色相關(guān)矩陣；(4)如果待搜索圖像含有較多的灰度級時，則對原始彩色圖像進(jìn)行邊緣檢測，對邊緣像素，建立邊緣相關(guān)矩陣；對非邊緣像素，直接使用顏色直方圖描述局部顏色分布信息。本發(fā)明的檢索方法具有操作簡便、檢索速度和精度高的優(yōu)點，本發(fā)明構(gòu)建成復(fù)合型檢索系統(tǒng)，對用戶提供多樣的査詢手段。附圖l是本發(fā)明的流程圖。具體實施例方式本發(fā)明的主旨是設(shè)計一個技術(shù)方案使得在檢索對環(huán)境因素變化敏感的圖像和空間表達(dá)復(fù)雜的圖像時，能提高檢索速度和精度。下面結(jié)合實施例參照附圖進(jìn)行詳細(xì)說明，以便對本發(fā)明方法的技術(shù)特征及優(yōu)點進(jìn)行更深入的詮釋。本發(fā)明基于內(nèi)容的復(fù)合型圖像檢索方法，其具體實施步驟為其一，將顏色不變量模型應(yīng)用于原始圖像；其二，分析待搜索圖像的特征；其三，如果待搜索圖像的顏色分量易受環(huán)境影響，則計算變換模型后圖像的顏色相關(guān)矩陣并二值化顏色相關(guān)矩陣;其四，如果待搜索圖像含有較多的灰度級時，則對原始彩色圖像進(jìn)行邊緣檢測，對邊緣像素，建立邊緣相關(guān)矩陣；對非邊緣像素，直接使用顏色直方圖描述局部顏色分布信息。(如圖l)隨著環(huán)境因素的變化，像素各顏色分量均以幾乎相同的比例改變。例如若像素P(R，G，B)的分量R在數(shù)值上大于分量G和B，則變化后P的分量R仍然大于分量G和B。同理，若像素P(R，G，B)的分量B在數(shù)值上小于分量，則變化后P的分量B仍然小于分量R和G。換言之，每個像素?zé)o論環(huán)境因素如何改變，在各分量中最大分量和最小分量是不會改變。由此，本發(fā)明提出一種新的顏色不變量模型最大最小分量顏色不變量模型，利用其對圖像進(jìn)行量化，再計算顏色相關(guān)矩陣以表達(dá)圖像內(nèi)容。值得關(guān)注的問題，一副圖像往往會出現(xiàn)背景色比例較大，但非背景色的像素卻代表著圖像中有意義區(qū)域的信息。這樣，在圖像匹配時，這些小概率卻非常重要的數(shù)值就不起太大作用，直接影響檢索精度。鑒于上述兩點考慮，本發(fā)明又對經(jīng)典的顏色相關(guān)矩陣改進(jìn)為顏色不變量的相關(guān)矩陣；且又對其進(jìn)行二進(jìn)制表達(dá)。其具體操作如下(1)顏色不變量模型所提出的"最大最小分量顏色不變量模型"，不僅可降維，而且有很好的抗干擾能力。模型描述和定義如下假設(shè)像素表示為T(p),(R(p)，G(p)，B(p))，則:Tmax三MAX(R(p)，G(p)，B(p));Tmin三MIN(R(p),G(p)，B(p));其中Tmax，Tmin分別表示三個分量R(p)，G(p)，B(p)中的最大、最小值。由此，在計算顏色相關(guān)矩陣和顏色直方圖時顏色量化為集合S:S=(Tmax，Tmin}={RmaxGmin，RmaxBmin,GmaxRmin，GmaxBmin，BmaxRmin，BmaxGmin};(2)計算顏色相關(guān)矩陣對變換后的數(shù)字圖像而言，顏色被量化為6組，分另'J為RmaxGmin，RmaxBmin，GraaxRmin，GmaxBmin，BmaxRmin，BmaxGmin，據(jù)此計算顏色相關(guān)矩陣。例如一幅nXn的圖像T被量化為m種顏色。對一個像素點p(x，y)GT，T(p)表示該像素的顏色值。令Tc^(p|T(p)二c}，則pETc等價于pET，T(p)=c。對于任意兩個像素pl(xl，yl)，p2(x2，y2)，定義k={Ipl-p2|^max{|xl-x2I，|yl-y2|}。定義ci,ie[l，m]，令Hci(T)代表圖像T中顏色為ci像素的總個數(shù)。則顏色直方圖定義為hci(T)=Pr[pETci]二Hci(T)/(nXn)。式中，hci(T)給出了圖像T中任意一個像素的顏色值為ci的概率。Hci(T)統(tǒng)計了圖像中顏色為ci的像素個數(shù)。從考慮顏色概率分布角度出發(fā)，需考慮從圖像T中任取一個顏色為ci的像素pl，在和pl相距為k的任意一點p2，p2的顏色為cj的概率是多少。由此，可考慮通過定義條件概率，來描述像素顏色間的空間關(guān)系。k表示像素間距，kE[l，d]，d是一個預(yù)先設(shè)定好的值，表示所取間距的個數(shù)。對于i，je[l，m]，圖像T的顏色相關(guān)圖定義為Y(k)ci，cj(T)=Pr[p2ETcj，|pl—p2|=k|plETci]顏色自關(guān)聯(lián)圖定義為a(k)ci(T)"(k)ci，ci(T)它只捕獲相同顏色間的空間聯(lián)系。r(k)ci，cj(T)會(plETci，p2ETcjIIpl-p2I=k}I統(tǒng)計了距離為k的顏色分別為ci，cj的顏色對的個數(shù)。如果忽略邊界條件，設(shè)cl，c2分別代表任意兩個像素pl，p2的顏色，貝lj:Pr(cl=ci，c2=cj，Ipl-p2I=k)=r(k)ci，cj(T)/(nXnX8k)式中分母表示圖像T中距離為k的像素對的總數(shù)，對于每一個像素，和它距離為k的像素的個數(shù)為8k。由此得到條件概率Pr(c2=Ci，Ipl-p2I=klcl=ci)=<formula>formulaseeoriginaldocumentpage7</formula>即所要計算的Y(k)ci，cj(T)的值?；陬伾蛔兞康南嚓P(guān)矩陣的空間復(fù)雜度僅為0(36)。此時，顏色相關(guān)矩陣可以看成一張以顏色對為索引的表，入口<i，j〉代表一個顏色為ci的像素，它在鄰范圍內(nèi)存在與距離為2;顏色為cj像素的概率，這時計算顏色相關(guān)矩陣得到是一個66的矩陣，ci，cjES。(3)二進(jìn)制表達(dá)在二進(jìn)制顏色相關(guān)矩陣中，將原顏色相關(guān)矩陣中概率非零處以數(shù)值1代替，使得相關(guān)矩陣的數(shù)值量化成0和1，可有效抑制背景色影響。用二進(jìn)制表達(dá)矩陣有兩大優(yōu)勢第一，顯著減少顏色相關(guān)矩陣表達(dá)的計算量；第二，等同地考慮了像素間的相關(guān)性，從某種意義上來說避免了圖像分割。RGB顏色向量角被用于衡量顏色間的差異和檢測邊緣。雖然它對光照不敏感，但也無法比較灰度色之間的差異，當(dāng)檢索圖像含有較多的灰度級時，會產(chǎn)生很大的誤差。CIELab空間使用歐幾里德距離檢測圖像邊緣信息，同時利用顏色聚類來提取圖像的主要顏色。與將顏色空間線性分割的方法相比，顏色量化誤差更小，檢索效果較理想。利用顏色不變量模型對原始彩色圖像量化后；再利用顏色向量角和歐幾里德距離共同檢測原始彩色圖像邊緣；根據(jù)Tmax是否大于設(shè)定的閥值判斷像素是否為邊緣像素；對邊緣像素，建立邊緣相關(guān)矩陣；對非邊緣像素，直接使用顏色直方圖描述局部顏色分布信息。目前，常用的彩色邊緣檢測方法有兩種一是經(jīng)典算子的直接擴(kuò)展用經(jīng)典的基于歐幾里德距離算子分別作用于R、G、B三個通道，再把運算結(jié)果以某種方式組合起來，如取三個結(jié)果的平方和的平方根、或絕對值中的最大值、絕對值之和等。二是向量空間方法這類方法是比較成熟的方法之一，其主要思想是將圖像中的每一個像素看成是RGB空間中的一個三維向量，那么整幅彩色圖像就被認(rèn)為是一個二維三分量的向量場。具體算法可采用向量排序統(tǒng)計算子、方向算子、RGB顏色向量角算子等。然而，無論利用歐幾里德距離或顏色向量角檢測彩色圖像邊緣都有各自局限性。在RGB空間中，分別計算像素在八鄰域中的顏色向量角和歐幾里德距離，找到向量角和距離最大值，以加權(quán)之和表征像素間的色差。顏色向量角<formula>formulaseeoriginaldocumentpage8</formula>歐幾里德距離<formula>formulaseeoriginaldocumentpage8</formula>將二者結(jié)合后，提出的方法<formula>formulaseeoriginaldocumentpage8</formula>，其中vc，Vi分別表示3X3模板中心像素和其八鄰域像素；^和^是非負(fù)的加權(quán)因子<formula>formulaseeoriginaldocumentpage8</formula>(3)對邊緣像素建立邊緣顏色相關(guān)矩陣；對非邊緣像素，則構(gòu)建顏色直方圖，直接使用顏色直方圖描述局部顏色分布信息。非邊緣顏色直方圖與傳統(tǒng)的直方圖的形式一致，但傳統(tǒng)的直方圖是反映整幅圖像的全局顏色分布；而非邊緣顏色平滑直方圖則反映了處于顏色塊內(nèi)部的平滑像素的全局顏色分布。下面結(jié)合實施案例描述本發(fā)明的具體實施方案利用VC++6.0和Oracle9i數(shù)據(jù)庫實現(xiàn)了基于內(nèi)容的圖像檢索試驗系統(tǒng)，建立了一個完整的圖像數(shù)據(jù)庫IMAGEDB，這些圖像是經(jīng)過預(yù)先選擇的多種類型，如花草、動物、昆蟲、日出、建筑、國旗、遙感圖像、樹林、人物等。本系統(tǒng)采用示例查詢，通過所給出的5種不同的圖像類昆蟲、花草、日出、汽車、遙感圖像(廣東南沙)利用本發(fā)明檢索方法進(jìn)行檢索實驗，以證明本發(fā)明給出的方法和檢索流程的可行性和有效性。從圖像數(shù)據(jù)庫選取了5類各20幅共100幅圖像進(jìn)行示例査詢，計算出了這100次査詢的平均檢索效率。對于每一幅查詢圖像，我們邀請3個人分別瀏覽整個數(shù)據(jù)庫，挑選出他們認(rèn)為與査詢圖像相似的所有圖像，然后我們選擇至少兩個人認(rèn)為相似的圖像組成的圖像集合作為此査詢圖像的標(biāo)準(zhǔn)答案。圖像檢索系統(tǒng)的檢索速度通常簡單的由系統(tǒng)多次圖像査詢的平均運行時間來表征，本章也采用平均運行時間來度量檢索速度。實際上，系統(tǒng)的査詢時間與圖像庫的大小、特征矢量的維數(shù)、匹配方法的復(fù)雜度、系統(tǒng)的軟硬件運行環(huán)境都有關(guān)系。本發(fā)明運行的軟件環(huán)境是VC++6.0和WindowsXP，硬件環(huán)境是Celeron2.66GCPU、512MB內(nèi)存。表l給出了"排序值評測法"評價本發(fā)明與顏色直方圖、顏色(自)相關(guān)圖在5種不同圖像類上的檢索性能表。對于每一類圖像，本發(fā)明檢索法的檢索精確度均優(yōu)于顏色直方圖和顏色(自)相關(guān)圖；而對于第5類圖像而言，遙感圖像類只檢索出兩幅相關(guān)圖像，但由于位序靠前，值小于其他4類圖像，對于只對査全率感興趣用戶，不能滿足其要求。所以，引入"平均積分比法"作比較。隨機(jī)抽取本系統(tǒng)圖庫中的5幅圖像，在檢索結(jié)果中，對相關(guān)圖像做人工判定，并記錄每個相關(guān)圖像在結(jié)果中的位置，得到本系統(tǒng)的平均積分，統(tǒng)計結(jié)果見表2。利用"平均積分比法"評估的結(jié)果較合理昆蟲〉汽車〉日出〉遙感圖像〉花草，且平均值較小，檢索性能較理想。從上述兩種性能評價方法的結(jié)果可以看出，無論檢索精度還是檢索速率，本發(fā)明檢索效果均明顯優(yōu)于顏色直方圖和顏色(自)相關(guān)圖。從檢索結(jié)果圖像集來看，本發(fā)明將査詢圖像的大部分修改圖像檢索了出來，且大多排序靠前，說明本發(fā)明對環(huán)境因素變化，特別是光照的方向與強(qiáng)度變化有很好的抗干擾能力；此外，本發(fā)明方法因為"最大最小分量顏色不變量模型"將顏色量化數(shù)降為6，特征向量僅為36維，所以圖像檢索速度較快，檢索時間在1秒以內(nèi)，完全能夠滿足用戶的要求。而對于紋理較復(fù)雜的圖像，如遙感圖像，檢索效果不太理想。表l本發(fā)明與顏色直方圖和顏色(自)相關(guān)圖的檢索性能比較<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>表2本發(fā)明的平均積分測筧<table>tableseeoriginaldocumentpage10</column></row><table>權(quán)利要求1、一種基于內(nèi)容的復(fù)合型圖像檢索方法，其特征在于包括如下實施步驟(1)將顏色不變量模型應(yīng)用于原始圖像；(2)分析待搜索圖像的特征；(3)如果待搜索圖像的顏色分量易受環(huán)境影響，則計算變換模型后圖像的顏色相關(guān)矩陣并二值化顏色相關(guān)矩陣；(4)如果待搜索圖像含有較多的灰度級時，則對原始彩色圖像進(jìn)行邊緣檢測，對邊緣像素，建立邊緣相關(guān)矩陣；對非邊緣像素，直接使用顏色直方圖描述局部顏色分布信息。2、根據(jù)權(quán)利要求1所述的基于內(nèi)容的復(fù)合型圖像檢索方法，其特征在于所述的顏色不變量模型描述和定義如下假設(shè)像素表示為T(p)s(R(p)，G(p)，B(p))，貝U:Tmax三MAX(R(p)，G(p)，B(p));Tmin三M工N(R(p)，G(p)，B(p));其中，Tmax，Tmin分別表示三個分量R(p)，G(p)，B(p)中的最大、最小值。3、根據(jù)權(quán)利要求2所述的基于內(nèi)容的復(fù)合型圖像檢索方法，其特征在于所述的邊緣檢測采用的方法是在RGB空間中，分別計算像素在八鄰域中的顏色向量角和歐幾里德距離，找到向量角和距離最大值，以加權(quán)之和表征像素間的色差。4、根據(jù)權(quán)利要求3所述的基于內(nèi)容的復(fù)合型圖像檢索方法，其特征在于所述的判斷是否為邊緣像素的依據(jù)是Tmax是否大于設(shè)定的閥值。全文摘要本發(fā)明的復(fù)合型圖像檢索方法，其實施步驟為將顏色不變量模型應(yīng)用于原始圖像；分析待搜索圖像的特征；如果待搜索圖像的顏色分量易受環(huán)境影響，則計算變換模型后圖像的顏色相關(guān)矩陣并二值化顏色相關(guān)矩陣；如果待搜索圖像含有較多的灰度級時，則對原始彩色圖像進(jìn)行邊緣檢測，對邊緣像素，建立邊緣相關(guān)矩陣；對非邊緣像素，直接使用顏色直方圖描述局部顏色分布信息。借助本發(fā)明檢索方法，針對顏色分量受環(huán)境影響、圖像空間表達(dá)不足等問題，有效地提高彩色圖像檢索的精度和速度，并可構(gòu)建成復(fù)合型檢索系統(tǒng)，用戶可任意選擇特征表達(dá)。文檔編號G06F17/30GK101388020SQ200810029240公開日2009年3月18日申請日期2008年7月7日優(yōu)先權(quán)日2008年7月7日發(fā)明者史婷婷,巖李申請人:華南師范大學(xué)