對(duì)于多分類器的屬性分析圖;
[0028] 圖4是本發(fā)明中多分類器類別獨(dú)特性與類別無關(guān)性的分布圖;
[0029] 圖5是本發(fā)明的檢測效果圖;
[0030] 圖6是本發(fā)明的聯(lián)合檢測過程示意圖。
【具體實(shí)施方式】
[0031] 本發(fā)明提出了一種多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,包括以下步驟:
[0032] (1)給定包含m個(gè)類別的多類別訓(xùn)練圖片集,每個(gè),對(duì)每個(gè)類別給予一個(gè)類別標(biāo) 簽,定義為L= {Li,L2,. ..,LJ(i= 1,2,. . .,M)。每個(gè)類別包含Ni張圖像(i= 1,2,. . .,M)。
[0033] (2)利用對(duì)象性檢測方法對(duì)所有圖像進(jìn)行對(duì)象性分析(ObjectnessMeasure),每 張圖像生成K個(gè)候選區(qū)域。
[0034] (3)對(duì)每個(gè)區(qū)域塊,利用在ImageNet數(shù)據(jù)集上已訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(CNN)模 型,對(duì)于每個(gè)區(qū)域抽取fc7層4096維特征。
[0035] (4)對(duì)每個(gè)類別生成的目標(biāo)區(qū)域特征分別使用聚類算法(如Kmeans算法)進(jìn)行聚 類,對(duì)第i類別得到(;=[Ni/100]個(gè)聚類中心以及對(duì)所有區(qū)域特征的聚類結(jié)果。
[0036] (5)根據(jù)之前的聚類結(jié)果,對(duì)上述每個(gè)類別集合分別訓(xùn)練線性SVM分類器,采用 10-fold交叉驗(yàn)證法進(jìn)行迭代優(yōu)化(即把數(shù)據(jù)集分成10個(gè)子集,10個(gè)子集中得1個(gè)作為測 試集,而其余的9個(gè)數(shù)據(jù)集作為訓(xùn)練集),得到個(gè)圖像中層區(qū)域分類器。每個(gè)中層分類 器的訓(xùn)練時(shí)使用這個(gè)區(qū)域特征集的全部特征作為正樣本,而使用其他特征集合內(nèi)隨即挑選 的特征作為負(fù)樣本。
[0037] (6)計(jì)算分類器之間的相似性,需要估計(jì)兩個(gè)聚類集合之間的相似性:首先在驗(yàn) 證集合validation集合上生成對(duì)象性檢測區(qū)域。然后利用每個(gè)中層分類器在validation set上進(jìn)行檢測,依據(jù)可信度對(duì)測試結(jié)果進(jìn)行由大到小排序,排序編號(hào)進(jìn)行記為P(i,k),取 前Tr個(gè)可信度最高的區(qū)域,比對(duì)其重合度,重合度的計(jì)算式如下所示:
[0038]
[0039] 其中P(i,k)表示第i個(gè)分類器在第k個(gè)類別上的測試結(jié)果,M表示類別的總個(gè)數(shù)。
[0040] (7)如圖2所示,需要在計(jì)算分類器的相似性后,分別可以由類內(nèi)和類間相似性度 量得到分類器的類別獨(dú)特性(TF)和類別無關(guān)性(DF)。將i類的分類器集合記為gl,則有:
[0041]
[0042]
[0043]大致的T(i),D(i)分布情況如圖4,所示。
[0044] (8)對(duì)于輸入的圖片集合利用對(duì)象性分析對(duì)每張圖像生成K個(gè)候選區(qū)域,并以 相同方式生成區(qū)域特征,對(duì)于每個(gè)候選區(qū)域利用多分類器進(jìn)行聯(lián)合檢測,檢測得分的計(jì)算 式:
[0045]
[0046] (9)最終的得分可被認(rèn)為是用有該類別獨(dú)有的特征而排除了類間共同特征,即擁 有最小的類內(nèi)同性和類間異性。而為了改善聯(lián)合檢測的效果我們?cè)诘梅猪?xiàng)中添加對(duì)象性估 計(jì):F(R) =F。(R) +A? 〇 (R)
[0047] 最終結(jié)果選取排名最靠前的區(qū)域作為檢測結(jié)果。
【主權(quán)項(xiàng)】
1. 一種多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于包括如下步驟: (1) 圖片集預(yù)處理:輸入包含M個(gè)類別標(biāo)簽的弱標(biāo)注的圖像數(shù)據(jù)集,進(jìn)行對(duì)象性分析得 到對(duì)象性區(qū)域集化OXproposals); (2) 生成區(qū)域特征,依據(jù)不同類別標(biāo)簽進(jìn)行特征聚類; (3) 根據(jù)聚類結(jié)果,對(duì)每個(gè)對(duì)象性區(qū)域集訓(xùn)練中層區(qū)域分類器; (4) 計(jì)算每個(gè)中層區(qū)域分類器類別屬性; (5) 根據(jù)多分類器聯(lián)合分析結(jié)果,得到聯(lián)合檢測器,用于圖像對(duì)象檢測。2. 如權(quán)利要求1所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于:其中, 在所述步驟(1)中,選取的輸入訓(xùn)練圖片集可包含M個(gè)類別,每個(gè)類別包含Ni張圖像,i= 1,2,...,M;利用對(duì)象性檢測方法對(duì)所有圖像進(jìn)行對(duì)象性分析,每張圖像生成K個(gè)候選區(qū) 域;M個(gè)類別的類別標(biāo)簽集定義為L= {Li,Lz,. ..,LJ(i= 1,2,. . .,M),對(duì)于每個(gè)弱標(biāo)注訓(xùn) 練集,僅需輸入圖像集合的類別標(biāo)簽,而不需要輸入對(duì)圖像內(nèi)部對(duì)象位置的具體標(biāo)注信息。3. 如權(quán)利要求1所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于,其中 所述步驟(2),對(duì)于生成的所有圖像候選區(qū)域進(jìn)行特征分析時(shí),使用ImageNet數(shù)據(jù)集訓(xùn)練 的卷積神經(jīng)網(wǎng)絡(luò)模型,抽取神經(jīng)網(wǎng)絡(luò)模型的層的特征作為代表特征共4096維;之后對(duì) 每個(gè)類別生成的目標(biāo)區(qū)域特征分別使用聚類算法進(jìn)行聚類,對(duì)第i類別得到Ci= [Ni/lOO] 個(gè)聚類中屯、W及對(duì)所有目標(biāo)區(qū)域特征的聚類結(jié)果。4. 如權(quán)利要求3所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于:所述 步驟(3),根據(jù)之前的聚類結(jié)果,對(duì)上述每個(gè)類別集合分別訓(xùn)練線性SVM分類器,得到 個(gè)圖像中層區(qū)域分類器;每個(gè)中層分類器的訓(xùn)練時(shí)使用運(yùn)個(gè)區(qū)域特征集的全部特征作為正 樣本,而使用其他特征集合內(nèi)隨機(jī)挑選的特征作為負(fù)樣本。5. 如權(quán)利要求1所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于:所述 步驟(4),對(duì)于每個(gè)中層區(qū)域分類器,計(jì)算與相同類別內(nèi)其他分類器的相關(guān)性,得到分類器 的類別獨(dú)一性;對(duì)于每個(gè)中層區(qū)域分類器,計(jì)算每個(gè)分類器與不同類別其他分類器的相關(guān) 性,得到分類器的類別無關(guān)性。6. 如權(quán)利要求5所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于:對(duì) 于多分類器的相關(guān)性,根據(jù)多分類器分析結(jié)果,需要計(jì)算分類器之間的相似性對(duì)輸入圖片 進(jìn)行聯(lián)合分析與檢測;在計(jì)算分類器的相似性時(shí),首先需要估計(jì)兩個(gè)聚類集合之間的相似 性:先在驗(yàn)證集合validation集合上生成對(duì)象性檢測區(qū)域;然后利用每個(gè)中層分類器在 validationset上進(jìn)行檢測,依據(jù)可信度對(duì)測試結(jié)果進(jìn)行由大到小排序,排序編號(hào)進(jìn)行記 為P(i,k),取前Tr個(gè)可信度最高的區(qū)域,比對(duì)其重合度,重合度的計(jì)算式如下所示:其中P(i,k)表示第i個(gè)分類器在第k個(gè)類別上的測試結(jié)果,M表示類別的總個(gè)數(shù)。7. 如權(quán)利要求5所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于: 在計(jì)算分類器的相似性后,分別由類間相似性和類內(nèi)相似性得到分類器的類別獨(dú)一性 (category-specificattribute) 及類另U無關(guān)t生(category-irrelevantattribute) !尋 i類的分類器集合記為gl,則有:T(i)是類別gi內(nèi)的第i個(gè)分類器的類別獨(dú)一性,Da)是類別g1內(nèi)的第i個(gè)分類器的 類別無關(guān)性;T(i)表示一個(gè)分類器在類內(nèi)的相似度,擁有較大T(i)的分類器,被認(rèn)為能更 好的代表運(yùn)個(gè)類別的特征;T(i)表示一個(gè)分類器在類間的相似度,擁有較大D(i)的分類器 有較大的類間相似度,被認(rèn)為是更能表現(xiàn)不同類別物體中的相同場景區(qū)域特征。8.如權(quán)利要求1所述的多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,其特征在于:獲取 的多個(gè)中層區(qū)域分類器W及相對(duì)應(yīng)的屬性分析結(jié)果,后利用多分類器進(jìn)行聯(lián)合測試;對(duì)于 輸入的測試圖片集合同樣生成K個(gè)候選區(qū)域,并W相同方式生成區(qū)域特征,對(duì)于每個(gè)候選 區(qū)域利用多分類器進(jìn)行聯(lián)合檢測,檢測得分的計(jì)算式:式中,T(i)是區(qū)域R在第i個(gè)分類器上的檢測得分,T(i),D(i)可W被認(rèn)為是第個(gè)分類 器的詞頻屬性和逆向文件頻率屬性;最終的得分被認(rèn)為是用有該類別獨(dú)有的特征而排除了 類間共同特征,即擁有最小的類內(nèi)相似性和類間相異性;得分項(xiàng)F(R)計(jì)算方式: F(R) = Fo(R) +入? O(R) 而為了改善聯(lián)合檢測的效果我們?cè)诘梅猪?xiàng)中添加對(duì)象性估計(jì),其中A是0到1的值, 加入A能有效調(diào)節(jié)最終的結(jié)果,使得對(duì)于物體的識(shí)別性能達(dá)到最佳;最終結(jié)果選取排名最 靠前的區(qū)域作為檢測結(jié)果。
【專利摘要】本發(fā)明是一種多分類器聯(lián)合的弱標(biāo)注圖像對(duì)象檢測方法,包括:輸入M個(gè)不同標(biāo)簽的弱標(biāo)注圖像集,對(duì)其中的所有圖片進(jìn)行對(duì)象性分析,生成對(duì)象性區(qū)域集;對(duì)區(qū)域集生成圖像特征,后對(duì)不同標(biāo)簽特征集分別進(jìn)行聚類;根據(jù)聚類的結(jié)果,對(duì)每個(gè)聚類后區(qū)域集合訓(xùn)練中層區(qū)域分類器;每個(gè)分類器分別計(jì)算類別屬性;輸入測試圖像,進(jìn)行對(duì)象性分析得到區(qū)域塊,生成區(qū)域特征。使用多分類器進(jìn)行聯(lián)合檢測,判斷出包含該類別對(duì)象的區(qū)域。本發(fā)明在多類別圖像對(duì)象聯(lián)合檢測方面有良好的表現(xiàn),可應(yīng)用于圖像對(duì)象自動(dòng)標(biāo)注,圖像對(duì)象識(shí)別等領(lǐng)域。
【IPC分類】G06K9/62
【公開號(hào)】CN105205501
【申請(qǐng)?zhí)枴緾N201510643148
【發(fā)明人】李甲, 陳小武, 張宇, 趙沁平, 王晨
【申請(qǐng)人】北京航空航天大學(xué)
【公開日】2015年12月30日
【申請(qǐng)日】2015年10月4日