本發(fā)明涉及圖像處理技術領域，具體說是一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法及系統(tǒng)。

背景技術：

在圖像表達領域常用的方法包括：

(1)基于視覺詞袋模型的圖像語義表達。其基本原理是將圖像看做無序的特征單詞集合，通過統(tǒng)計每個特征單詞在圖像中出現(xiàn)的次數(shù)，得到特征單詞頻率直方圖向量，以此作為圖像的表達。

(2)基于視覺語言模型的圖像語義表達。視覺語言模型把圖像看成具有一定排列順序的文檔，可通過圖像中局部共現(xiàn)頻率和空間關系來完成整幅圖像的語義表達。

(3)基于學習編碼模型的語義表達。其主要代表為稀疏編碼。稀疏編碼是利用圖像特征基向量的組合來描述圖像內容。

目前，以上算法針對圖像表達仍存在一些問題：

(1)目前算法均未考慮到語義在特定的特征層面存在一定的聯(lián)系(即存在語義相關性)，而造成量化誤差嚴重等后果，從而對語義標注，語義表達產(chǎn)生極大影響。

(2)一些學習編碼模型只有單層的編碼層，學習到的視覺字典缺乏對特征的選擇性，降低了圖像內容的語義分辨力。

(3)目前算法通常對標注的語義結果沒有進一步的反饋和調整，更多的還是依賴于底層特征的選擇。

技術實現(xiàn)要素：

鑒于已有技術存在的不足，本發(fā)明的目的是要提供一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法。

為了實現(xiàn)上述目的，本發(fā)明技術方案如下：

一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法，其特征在于，具體步驟包括：

S1、預先構建鞋印花紋圖像語義詞匯關系表；

S2、采集鞋印花紋圖像；

S3、對所采集的鞋印花紋圖像進行鞋印花紋圖像基元提取，以獲得相應的鞋印花紋圖像基元；

S4、提取鞋印花紋圖像基元的小波傅里葉梅林特征；

S5、依次根據(jù)所提取的每一鞋印花紋圖像基元的小波傅里葉梅林特征與鞋印花紋圖像語義詞匯關系表進行特征匹配，并基于所獲得匹配度確定該鞋印花紋圖像基元所對應的語義類別；

S6、統(tǒng)計每一種語義在所述鞋印花紋圖像中出現(xiàn)的次數(shù)，以獲得鞋印花紋圖像語義頻率直方圖；

S7、基于所獲得的鞋印花紋圖像語義頻率直方圖及鞋印花紋圖像語義詞匯關系表獲得能夠表達圖像語義相關性的鞋印花紋圖像語義表達直方圖；

本發(fā)明的另一目的在于提供一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達系統(tǒng)，所述系統(tǒng)包括：

關系表構建模塊，以鞋印圖案的幾何形狀為基礎，構建鞋印花紋圖像語義詞匯關系表；

提取模塊，對采集的鞋印花紋圖像進行鞋印花紋圖像基元提取，并進一步提取鞋印花紋圖像基元的紋理特征；

基元語義類別判定模塊，根據(jù)鞋印花紋圖像語義關系表以及鞋印花紋圖像基元紋理特征的對比結果，判定鞋印花紋圖像基元所對應的語義類別；

圖像表達模塊，統(tǒng)計鞋印花紋圖像語義頻率直方圖，并進一步處理獲得能夠兼顧圖像語義相關性的鞋印花紋圖像語義表達直方圖。

與現(xiàn)有技術相比，本發(fā)明的有益效果：

(1)本發(fā)明通過鞋印花紋語義詞匯關系表確定了鞋印花紋語義單詞在特定層面的語義相關性，從而有效避免了語義相關性對語義表達的干擾。

(2)本發(fā)明采用的語義相關性處理方式有效形成了一種反饋機制，能對語義標注結果進行監(jiān)督和調整，提高語義表達的準確性。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明鞋印花紋語義詞匯關系表構建流程圖；

圖2為本發(fā)明鞋印花紋表達流程圖；

圖3為本發(fā)明鞋印花紋表達系統(tǒng)結構圖；

圖4為本發(fā)明鞋印花紋表達系統(tǒng)關系表構建模塊結構；

圖5為本發(fā)明鞋印花紋表達系統(tǒng)提取模塊結構圖；

圖6為本發(fā)明鞋印花紋語義關系示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明提供了一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法及系統(tǒng)，基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法流程如圖2所示，其步驟包括：

S1、預先構建鞋印花紋圖像語義詞匯關系表，構建步驟包括：

S1.1、構建語義詞匯表

S1.1.1、預先依據(jù)鞋印花紋圖像所對應的幾何形狀進行分類并分類后的每種形狀分別設定與其一一對應的語義標簽，所述語義標簽分別記為R₁,R₂,…,R_N，其表示鞋印花紋的真實語義，所述幾何形狀可如波折型、格塊型、類圓型等；

S1.1.2、劃定鞋印花紋圖像中鞋印花紋圖像基元，并對同一語義標簽下的鞋印花紋進行聚類以獲得各自所對應的鞋印花紋單詞集合，在鞋印圖像中，將獨立的連通區(qū)域稱為鞋印花紋基元，其是鞋印花紋圖像中構成花紋分布的最小的獨立的個體，由于鞋印的成痕體、穿著時間、人的行走習慣以及成像形式的不同，同樣的鞋印花紋在圖像上有著不同的表現(xiàn)形式，因此每個語義標簽下包含多個鞋印花紋單詞，對同一語義標簽下的鞋印花紋進行聚類，將各類的代表基元稱為鞋印花紋單詞。記為R_l＝{α₁,α₂,...α_n}，其中R_l表示語義標簽R_l下的鞋印花紋單詞集合，α_i表示鞋印花紋單詞；

S1.1.3、基于所獲得的各語義標簽對應的鞋印花紋單詞集合構成鞋印花紋語義詞匯表，其記為S_v＝{R₁,R₂,...,R_N}，其中R₁,R₂,...,R_N分別表示語義標簽R₁,R₂,…,R_N下的各鞋印花紋單詞集合；

S1.2、判別語義相關性

由于鞋印花紋圖像中花紋類別較多，且不同的使用者給花紋圖像造成的磨損，殘缺等損傷的不同，導致語義標簽之間存在著相互聯(lián)系(即語義相關性)。為了能準確地構建出語義詞匯關系表，必須首先進行語義相關性的判定。具體步驟如下：

S1.2.1、取已標記語義標簽的鞋印花紋基元作為判別語義相關性的訓練鞋印花紋基元圖像；

S1.2.2、對訓練鞋印花紋基元圖像提取小波傅里葉梅林特征；

S1.2.3、將得到的訓練鞋印花紋圖像紋理特征與鞋印花紋語義詞匯表S_v中鞋印花紋單詞所提取的鞋印花紋圖像紋理特征進行相似度對比，并重新標注訓練鞋印花紋基元圖像的語義標簽；

S1.2.4、根據(jù)新標注的語義標簽與原語義標簽的對比結果，判別語義關系，所述語義關系包括：

同義詞：假設某類基元集合R_l＝{α₁,α₂,...α_n}其對應語義標簽為R_l，基元集合R_k＝{β₁,β₂,...β_n}其對應語義標簽為R_k。將兩類基元提取特征并重新標注語義類別，若R_k中的各個基元也可以標記為R_l，同時R_l中的各個基元也可以標記為R_k，則我們認為R_l、R_k兩種語義在這種視覺特征層面為同義詞。如圖6中a組所示的兩類圖像，由于其較高的相似度導致兩個類別在判別過程中極其容易混淆，根據(jù)定義其為同義詞。

上下義詞：假設某類基元集合R_l＝{α₁,α₂,...α_n}其對應語義標簽為R_l，基元集合R_k＝{β₁,β₂,...β_n}其對應語義標簽為R_k。將兩類基元提取特征重新標注語義類別，若R_l中的各個基元也可以標記為R_k，但R_k中的各個基元不可以標記為R_l，則我們認為R_k為R_l的上義詞，R_l為R_k的下義詞。如圖6中的b組所示的兩類圖像，b中第一類圖像會由于殘缺或磨損等因素而被判成第二類。而第二類由于其特殊性很難判為第一類。則根據(jù)定義稱其為上下義詞。

易錯詞：是指易于與其他語義相混淆的語義單詞。如圖6中c組中的2類基元圖像所示，第一類圖像既與波折形相似又與曲形相似；第二類圖像既與圓形相似又與花瓣形相似。這中類型的基元圖像易與其他語義類別相混淆。其體現(xiàn)在以下兩個方面:

某類基元R_l＝{α₁,α₂,...α_n}其對應的語義標簽為R_l，提取特征進行重新標注后，若R_l中的各個基元容易標記為別的標簽，但其他語義標簽中的基元不易標記為R_l，則稱R_l為可信易錯詞?？尚乓族e詞存在自身語義純度高的特點(即標注R_l語義標簽的基元一定為R_l語義的類別圖)。

對于語義標簽A，其他語義標簽對應的基元集合中的基元分別提取特征進行重新標注語義類別后，容易標記為R_l，則稱R_l稱為不可信易錯詞。不可信易錯詞易受到其他類別的影響，類別純度較低。

S1.3、構建語義詞匯關系表

S1.3.1、將鞋印花紋語義詞匯表S_v＝{R₁、R₂、...R_N}中的同義詞進行合并，得到新的鞋印花紋語義詞匯表S_ns＝{w₁,w₂,…,w_i,…,w_K}，其中w_i表示鞋印花紋單詞，i＝1,2…K，K表示鞋印花紋單詞數(shù)目，且所述新的鞋印花紋語義詞匯表S_ns中各鞋印花紋單詞之間互不同義；

S1.3.2、構建鞋印花紋語義詞匯關系表S_r＝{P₁,P₂,…,P_i,…,P_K}，其中P_i是個五元組，其包含語義標簽、語義標簽對應的單詞、詞性、關聯(lián)詞匯和權重；所述詞性包括上/下義詞、可信/不可信易錯詞；語義詞匯關系表S_r是鞋底花紋語義表達的基礎。所述權重初始值為1，并根據(jù)鞋印花紋語義詞匯關系表中的詞性進行更新，其更新方式為將詞性為可信易錯詞的語義類別的權值進行提高、詞性為不可信易錯詞的語義類別的權重保持不變。根據(jù)語義詞匯關系表S_r，以鞋底花紋圖像中，各單詞出現(xiàn)的頻率來表示鞋印。如圖1所示為鞋印花紋語義詞匯關系表構建流程

S2、采集鞋印花紋圖像；

S3、對所采集的鞋印花紋圖像進行鞋印花紋圖像基元提取，以獲得相應的鞋印花紋圖像基元；根據(jù)鞋印花紋圖像基元的連通特性將基元劃分到各自所屬區(qū)域中，然后選取面積大于一定值的連通域，取其外接矩作為目標區(qū)域，即為提取的鞋印花紋圖像基元。這里選取面積大于一定值的鞋印花紋圖像基元能有效避免部分噪聲的干擾。

S4、對鞋印花紋基元提取小波傅里葉梅林特征。

S5、依次根據(jù)所提取的每一鞋印花紋圖像基元的紋理特征與鞋印花紋圖像語義詞匯關系表進行特征匹配，并基于所獲得匹配度確定該鞋印花紋圖像基元所對應的語義類別；

導入鞋印花紋圖像語義關系表，取得表中語義標簽、語義標簽對應的單詞、詞性、關聯(lián)詞匯和權重五項信息；

將提取的鞋印花紋圖像基元紋理特征與鞋印花紋語義詞匯表中鞋印花紋單詞所提取的鞋印花紋圖像基元紋理特征進行匹配，按匹配度得分或稱為相似度得分給語義標簽進行排序，當相似度得分大于一定閾值時，則將此鞋印花紋圖像基元標定為該語義標簽，否則則判為拒絕識別。這里所提到的閾值根據(jù)詞性來決定，當詞性為不可信易錯詞，閾值較高，若詞性為非不可信易錯詞，則閾值相對較低。具體地,當詞性為非不可信易錯詞，且該得分大于一定閾值則將此鞋印花紋圖像基元標定為該語義標簽，否則則判為拒絕識別；當詞性為不可信易錯詞時，則需要提高閾值來限制非同類語義鞋印花紋圖像基元混入到該語義類別中，即判斷該得分是否大于另一閾值，且所述另一閾值大于詞性為非不可信易錯詞時所設定的閾值；是則將此鞋印花紋圖像基元標定為該語義標簽，否則判為拒絕識別。

S6、統(tǒng)計每一種語義在所述鞋印花紋圖像中出現(xiàn)的次數(shù)，以獲得鞋印花紋圖像語義頻率直方圖。

S7、通常情況下，頻率直方圖可作為該鞋印花紋圖像的語義表達。但為兼顧語義相關性，將會對直方圖進行進一步處理，具體方法如下：

在語義詞匯關系表中查找詞性為下義詞的語義標簽，并查找該標簽在直方圖中對應的頻次，當其頻次大于一定值時，將其頻次賦給關聯(lián)詞匯(即其上義詞)，將該語義標簽的頻次設為0。反之，其頻次小于一定值時，我們認為該下義詞對圖像語義表達影響較小，不做處理。(對于上下義詞的處理不采用直接合并的方式是因為一個上義詞可能對應多個下義詞，直接合并會影響其他下義詞的表達。)

將獲得的語義頻率直方圖與語義詞匯關系表中的權重值相乘，得到最終的鞋印花紋圖像語義表達直方圖。

處理后得到的鞋印花紋圖像語義頻率直方圖是基于原鞋印花紋圖像語義頻率直方圖及鞋印花紋圖像語義詞匯關系表獲得的，兼顧了語義相關性，故本專利將其作為鞋印花紋圖像的語義表達。

如圖3所示為本發(fā)明提供的一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達系統(tǒng)，包括：關系表構建模塊，用以構建鞋印花紋圖像語義詞匯關系表；提取模塊，用以由采集到的鞋印花紋圖像提取鞋印花紋圖像基元并進一步提取鞋印花紋圖像基元的紋理特征；基元語義類別判定模塊，依次根據(jù)所提取的每一鞋印花紋圖像基元的紋理特征與鞋印花紋圖像語義詞匯關系表進行特征匹配，并基于所獲得匹配度確定該鞋印花紋圖像基元所對應的語義類別；圖像表達模塊，用以統(tǒng)計鞋印花紋圖像語義表達直方圖，并對直方圖進一步獲得能夠兼顧語義相關性的鞋印花紋圖像鞋印花紋圖像語義表達直方圖。

如圖4所示為圖3中關系表構建模塊的結構，其包括：語義詞匯表構建模塊，用以構建鞋印花紋圖像語義詞匯表；語義相關性判別模塊，用以判定鞋印花紋圖像基元的語義關系；語義詞匯關系表構建模塊，用以構建語義詞匯關系表。

如圖5所示為圖3中提取模塊結構，其包括：基元提取模塊，用于提取鞋印花紋圖像基元；元特征提取模塊，用于提取鞋印花紋圖像基元紋理特征。

綜上所述，本發(fā)明提供了一種基于詞袋模型且兼顧語義相關性的鞋印花紋表達方法及系統(tǒng)，其用途不僅限于鞋印花紋提取，在圖像分離、圖像檢索、圖像處理等領域，均可應用。其是基于詞袋模型設計且兼顧圖像語義相關性的圖像表達方法，通過對鞋印花紋圖像語義表達直方圖的進一步處理，不僅有效避免了語義相關性對語義表達的干擾，而且有效形成了一種反饋機制，能對語義標注結果進行監(jiān)督和調整，在提高語義表達準確性的同時也很大程度上控制了鞋印花紋圖像紋理特征在語義標注過程中的主導地位。

最后應說明的是：以上各實施例僅用以說明本發(fā)明的技術方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發(fā)明各實施例技術方案的范圍。