一種商標(biāo)圖像識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視覺(jué)目標(biāo)檢測(cè)與識(shí)別技術(shù)領(lǐng)域，具體涉及一種商標(biāo)圖像識(shí)別方法。
【背景技術(shù)】
[0002] 近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展和普及，尤其是社交網(wǎng)站的不斷推廣和應(yīng)用， 網(wǎng)絡(luò)上的圖像呈快速增長(zhǎng)趨勢(shì)，這使得網(wǎng)絡(luò)媒體成為最具潛力的廣告及商業(yè)平臺(tái)。品牌跟 蹤是近些年出現(xiàn)的一種服務(wù)，通過(guò)分析品牌在媒體上曝光的頻繁程度以及用戶的評(píng)價(jià)來(lái)評(píng) 估品牌的成長(zhǎng)。傳統(tǒng)的分析方法有兩種，一種是依靠人工進(jìn)行分析和統(tǒng)計(jì)，由于網(wǎng)絡(luò)媒體數(shù) 量巨大，這種方式需要耗費(fèi)大量的人力和時(shí)間；第二種方式是通過(guò)網(wǎng)站的關(guān)鍵詞搜索功能 檢索相關(guān)的圖像，然而關(guān)鍵詞并不一定與內(nèi)容密切相關(guān):一方面搜索結(jié)果中含有大量噪聲， 盡管含有關(guān)鍵詞，但經(jīng)常與品牌并不相關(guān)，另一方面大量含有商標(biāo)的圖像無(wú)法檢索到。因此 設(shè)計(jì)一種對(duì)圖像內(nèi)容進(jìn)行分析，自動(dòng)識(shí)別其中所含商標(biāo)的方法，具有重要的商業(yè)應(yīng)用價(jià)值。
[0003] 近年來(lái)，研究人員提出了一些基于"詞袋模型"的商標(biāo)識(shí)別方法:首先從圖像中提 取SIFT或SURF特征，然后對(duì)這些特征進(jìn)行聚類(lèi)，形成視覺(jué)詞，然后將原始特征進(jìn)行量化得到 這些視覺(jué)詞，這樣每張圖像就可以表示成視覺(jué)詞的集合。跟直接使用原始的特征相比，量化 后的特征維度大大降低，可以用于大規(guī)模的商標(biāo)識(shí)別任務(wù)。但是，基于"詞袋模型"的方法存 在兩點(diǎn)不足:一是量化過(guò)程在降低原始特征維度的同時(shí)，也在一定程度上降低了原始特征 的表示能力，導(dǎo)致兩個(gè)原本不同的特征在量化后可能會(huì)被認(rèn)為是相同的，稱(chēng)為"誤匹配"。為 了盡可能地減少這些誤匹配，研究者們提出了一系列方法。代表作包括S.Romberg等人2013 年在文獻(xiàn)"Bundle min-hashing for logo recognition"中提出的同時(shí)考慮相鄰的多個(gè)關(guān) 鍵點(diǎn)的方法，以及C.Wan等人2013年在文獻(xiàn)"Tree-based shape descriptor for scalable logo detection"中提出的將空間位置滿足一定條件的四個(gè)關(guān)鍵點(diǎn)組合成一種樹(shù)形結(jié)構(gòu)的 方法。這些方法能在一定程度上緩解誤匹配的問(wèn)題，但是它們對(duì)圖像的仿射變換以及關(guān)鍵 點(diǎn)缺失的魯棒性還有不足。
[0004] 基于"詞袋模型"的方法的第二個(gè)不足之處在于圖像中存在大量與商標(biāo)不相關(guān)的 關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)不僅會(huì)干擾商標(biāo)的正確識(shí)別，同時(shí)也會(huì)嚴(yán)重影響識(shí)別速度。為了去除這 些不相關(guān)的關(guān)鍵點(diǎn)，比較直接的做法是僅考慮出現(xiàn)在商標(biāo)區(qū)域中的那些關(guān)鍵點(diǎn)，但是，對(duì)于 不同類(lèi)型的商標(biāo)，檢測(cè)出來(lái)的關(guān)鍵點(diǎn)數(shù)量差異很大，如果太少會(huì)影響識(shí)別效果，如果太多會(huì) 降低識(shí)別速度;另外，那些出現(xiàn)在商標(biāo)區(qū)域內(nèi)的關(guān)鍵點(diǎn)有很多是與背景相關(guān)的，它們與商標(biāo) 本身并沒(méi)有什么相關(guān)性。所以，只考慮出現(xiàn)在商標(biāo)區(qū)域內(nèi)的關(guān)鍵點(diǎn)的方法并不能很好地去 除那些商標(biāo)無(wú)關(guān)的關(guān)鍵點(diǎn)。
[0005] 綜上所述，現(xiàn)有的商標(biāo)識(shí)別技術(shù)存在兩個(gè)不足之處:一是沒(méi)有一種對(duì)圖像仿射變 換和關(guān)鍵點(diǎn)缺失具有較好魯棒性的誤匹配消除方法;二是沒(méi)有在識(shí)別過(guò)程中能有效過(guò)濾那 些與商標(biāo)不相關(guān)關(guān)鍵點(diǎn)的方法。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種新的商標(biāo)圖像識(shí)別方法，該技術(shù)采用首 先使用基于互信息的特征選擇方法來(lái)過(guò)濾掉大量與商標(biāo)不相關(guān)的特征點(diǎn)，然后使用一種新 的拓?fù)浼s束方法來(lái)消除誤匹配，通過(guò)二者的結(jié)合，能夠達(dá)到識(shí)別速度快、識(shí)別率高的效果。
[0007] 本發(fā)明的一種商標(biāo)圖像識(shí)別方法，包括如下步驟：
[0008] 首先采用基于互信息的特征選擇方法來(lái)過(guò)濾掉大量與商標(biāo)不相關(guān)的特征點(diǎn)，包含 以下步驟：
[0009] (1)對(duì)于待識(shí)別的每種商標(biāo)，準(zhǔn)備一定數(shù)量(不少于5張）的訓(xùn)練樣本，保證商標(biāo)在 每張樣本中至少出現(xiàn)一次；
[0010] (2)對(duì)每張訓(xùn)練樣本提取局部特征，如SIFT(Scale_Invariant Feature Transform)、SURF(Speeded Up Robust Features)特征，并對(duì)特征進(jìn)行聚類(lèi)和量化，將每張 訓(xùn)練樣本表示成視覺(jué)詞集合；
[0011] (3)對(duì)于每種商標(biāo)，將包含該商標(biāo)的樣本作為正樣本，不包含該商標(biāo)的樣本作為負(fù) 樣本，計(jì)算正樣本所包含的所有視覺(jué)詞的互信息，基于互信息對(duì)這些視覺(jué)詞進(jìn)行排序，選取 互信息值最大的前η(默認(rèn)100)個(gè)作為識(shí)別這種商標(biāo)的特征。
[0012] 進(jìn)一步，基于選取出來(lái)的特征對(duì)測(cè)試圖片進(jìn)行商標(biāo)識(shí)別，包含以下步驟：
[0013] (4)對(duì)每張測(cè)試圖像提取相同的局部特征，然后利用步驟(2)得到的聚類(lèi)中心對(duì)這 些特征進(jìn)行量化，將測(cè)試圖像表示成視覺(jué)詞的集合；
[0014] (5)關(guān)鍵點(diǎn)匹配:首先利用步驟(3)中選取出來(lái)的前η個(gè)視覺(jué)詞特征對(duì)測(cè)試圖像的 關(guān)鍵點(diǎn)進(jìn)行過(guò)濾，僅保留那些包含在這η個(gè)視覺(jué)詞集合中的關(guān)鍵點(diǎn)。對(duì)測(cè)試圖像與待識(shí)別商 標(biāo)的每張正樣本進(jìn)行匹配，得到初始匹配點(diǎn)對(duì)，并記錄匹配關(guān)鍵點(diǎn)對(duì)的位置信息。
[0015] 進(jìn)一步，利用特征點(diǎn)的拓?fù)潢P(guān)系來(lái)消除誤匹配的方法，具體步驟如下：
[0016] (6)對(duì)于步驟(5)中得到的每對(duì)匹配點(diǎn)，找到它們?cè)诟髯詧D像中距離最近的k(默認(rèn) 10)個(gè)關(guān)鍵點(diǎn)，對(duì)這k個(gè)關(guān)鍵點(diǎn)各添加一個(gè)關(guān)于中心點(diǎn)（匹配點(diǎn)）的對(duì)稱(chēng)點(diǎn)，然后對(duì)著2k個(gè)關(guān) 鍵點(diǎn)按順時(shí)針?lè)较蜻M(jìn)行排序，分別得到兩個(gè)2k長(zhǎng)度，并且首尾相連的序列；
[0017] (7)對(duì)步驟(6)中得到的兩個(gè)序列求最長(zhǎng)公共子序列(LCS)，再求出最長(zhǎng)公共子序 列占所有2k個(gè)關(guān)鍵點(diǎn)的比例，作為匹配點(diǎn)對(duì)之間的匹配度，如果匹配度小于閾值α(默認(rèn) 0.6)，則認(rèn)為是誤匹配，將它們從匹配點(diǎn)對(duì)中剔除;本發(fā)明中的消除誤匹配的方法也可以單 獨(dú)使用，用于去除錯(cuò)誤匹配的關(guān)鍵點(diǎn)對(duì)；
[0018] (8)統(tǒng)計(jì)保留下來(lái)的匹配點(diǎn)對(duì)中不同視覺(jué)詞的數(shù)目作為測(cè)試圖像與樣本之間的相 似度；
[0019] (9)計(jì)算測(cè)試圖像與待識(shí)別商標(biāo)的所有正樣本之間的最大相似度，作為判斷測(cè)試 圖像是否包含該商標(biāo)的置信度，如果置信度大于閾值β，則認(rèn)為測(cè)試圖像包含這種商標(biāo)。
[0020] 本發(fā)明的有益效果在于：能夠快速準(zhǔn)確地從圖像中自動(dòng)識(shí)別出是否包含某種商 標(biāo)，在普通PC機(jī)上識(shí)別一類(lèi)商標(biāo)的速度約為20ms/張，識(shí)別精度可以達(dá)到90%以上，達(dá)到了 實(shí)際應(yīng)用水平。本發(fā)明之所以具有上述效果，其原因在于:本發(fā)明采用特征選擇來(lái)過(guò)濾掉大 量與目標(biāo)商標(biāo)不相關(guān)的特征點(diǎn)，降低了它們對(duì)識(shí)別結(jié)果的干擾，同時(shí)降低了后續(xù)步驟的時(shí) 間復(fù)雜度;在此基礎(chǔ)上，利用一種對(duì)圖像仿射變換和關(guān)鍵點(diǎn)缺失都具有較好魯棒性的拓?fù)?約束來(lái)消除錯(cuò)誤匹配，能夠進(jìn)一步提高識(shí)別精度。
【附圖說(shuō)明】
[0021] 圖1是本發(fā)明的技術(shù)流程圖。
[0022] 圖2是采用具體圖像的技術(shù)流程圖。
[0023]圖3是特征選擇效果圖。
[0024]圖4是添加對(duì)稱(chēng)點(diǎn)示意圖。
[0025]圖5是拓?fù)浼s束示意圖。
[0026]圖6是消除誤匹配效果圖。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖和具體實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。
[0028]本發(fā)明是一種商標(biāo)圖像識(shí)別方法，其技術(shù)流程如圖1和圖2所示，具體包含以下步 驟：
[0029] (1)準(zhǔn)備正樣本，提取視覺(jué)特征
[0030] 對(duì)待識(shí)別的每種商標(biāo)準(zhǔn)備一定數(shù)量的訓(xùn)練樣本，并對(duì)這些訓(xùn)練樣本提取一種局部 特征，如SIFT特征或者SURF特征，然后對(duì)提取出來(lái)的特征進(jìn)行聚類(lèi)和量化，得到關(guān)鍵點(diǎn)的視 覺(jué)詞表示，如公式一所示：
[0031] 公式一 :k={P(k)，S(k)，I(k)}
[0032] 其中，k表示第k個(gè)關(guān)鍵點(diǎn)，P(k)表示位置，S(k)表示尺度，I(k)表示最近的聚類(lèi)中 心。
[0033] (2)基于互信息的特征選擇
[0034]對(duì)于每種商標(biāo)，將所有訓(xùn)練樣本中包含該商標(biāo)的樣本作為正樣本，不包含該商標(biāo) 的樣本作為負(fù)樣本，計(jì)算正樣本中所有視覺(jué)詞的互信息，計(jì)算方法如公式二所示：
[0036]其中，c表示正樣本所屬類(lèi)別，t表示正樣本中的某個(gè)視覺(jué)詞;表示包含或不包含 (i = l表示包含，i = 〇表示不包含)視覺(jué)詞t并且屬于或不屬于（j = l表示屬于，j = 0表示不 屬于)正樣本的圖片數(shù)量。舉例來(lái)說(shuō)，N1Q表示包含視覺(jué)詞t但不屬于類(lèi)別c的圖片數(shù)量，以此 類(lèi)推。Ni. =Ni〇+Nii，N. j = N〇j+Nij，Ν=Νοο+Νοι+Νιο+Νιι〇
[0037]接著我們按照I(t，c)從大到小對(duì)所有視覺(jué)詞進(jìn)行排序，選取前n(默認(rèn)100,也可以 是其它值)個(gè)視覺(jué)詞作為后續(xù)識(shí)別這種商標(biāo)的特征。因?yàn)榛バ畔⑹呛饬刻卣髋c類(lèi)別相關(guān)性 的重要指標(biāo)，互信息值越大，表示特征與類(lèi)別的相關(guān)性越大，在分類(lèi)(識(shí)別)過(guò)程中對(duì)結(jié)果的 影響也越大，所以利用特征選擇，能夠過(guò)濾掉大量與目標(biāo)商標(biāo)不相關(guān)的視覺(jué)詞(對(duì)應(yīng)的關(guān)鍵 點(diǎn)也隨之被過(guò)濾掉），一方面能夠降低它們對(duì)識(shí)別結(jié)果的干擾，另一方面能夠極大地縮短后 續(xù)匹配和校驗(yàn)的時(shí)間，進(jìn)而提高整體的識(shí)別速度。特征選擇的效果如圖3所示，圖中共有四 對(duì)圖像，每對(duì)圖像中左圖為特征選擇前的圖像，右圖為特征選擇后的圖像。
[0038] (3)關(guān)鍵點(diǎn)匹配
[0039]對(duì)于測(cè)試圖片，在識(shí)別它是否包含某種商標(biāo)的時(shí)候，需要計(jì)算它與這種商標(biāo)的所 有正樣本之間的相似度，然后基于最大相似度來(lái)判斷它是否包含這種商標(biāo)，如果大于閾值 β，則認(rèn)為測(cè)試圖像包含這種商標(biāo)。計(jì)算測(cè)試圖片與正樣本之間相似度的流程如下：
[0040] 同（1)，首先對(duì)測(cè)試圖片提取相同的局部特征，然后利用（1)中得到的聚類(lèi)中心對(duì) 特征進(jìn)行量化，將測(cè)試圖片表示成視覺(jué)詞集合。然后利用（2)中得到的η個(gè)特征對(duì)測(cè)試圖片 進(jìn)行關(guān)鍵點(diǎn)過(guò)濾，僅保留那些在這η個(gè)視覺(jué)詞范圍內(nèi)的關(guān)鍵點(diǎn)，這樣測(cè)試圖片與正樣本中剩 下的關(guān)鍵點(diǎn)數(shù)目跟η在同一個(gè)數(shù)量級(jí)。<