一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法，包括以下步驟：步驟1，數(shù)據(jù)準(zhǔn)備與回收，用戶逐次將待標(biāo)注樣本送入樣本緩沖池，對(duì)樣本緩沖池進(jìn)行規(guī)模檢測(cè)，經(jīng)過(guò)特征抽取后將待標(biāo)注樣本送入循環(huán)標(biāo)注模塊；步驟2，循環(huán)標(biāo)注，每輪循環(huán)過(guò)程開始，通過(guò)在線相似度度量模型計(jì)算特征的相似度矩陣，然后通過(guò)約束傳播優(yōu)化相似度矩陣，再使用譜聚類算法對(duì)相似度矩陣數(shù)據(jù)聚類，選擇出顯著類別推送給用戶進(jìn)行標(biāo)注，不斷循環(huán)直到剩余樣本不足以繼續(xù)標(biāo)注，退出循環(huán)過(guò)程，最終得到用戶對(duì)輸入圖像區(qū)域的個(gè)性化標(biāo)簽。通過(guò)本發(fā)明的技術(shù)，可以實(shí)現(xiàn)對(duì)圖像的快速準(zhǔn)確的標(biāo)注，提升了標(biāo)注效率且能夠適應(yīng)用戶個(gè)性化的標(biāo)注體系。
【專利說(shuō)明】
-種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種圖像標(biāo)注方法，屬于圖像處理技術(shù)領(lǐng)域，具體地說(shuō)是一種數(shù)據(jù)驅(qū) 動(dòng)的迭代式圖像在線標(biāo)注方法。
【背景技術(shù)】
[0002] 近些年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)、多媒體影像W及存儲(chǔ)設(shè)備的飛速發(fā)展，用戶接觸到的 圖像數(shù)量呈爆炸性增長(zhǎng)。如何快速有效地將大量的用戶圖像數(shù)據(jù)分類組織，W滿足用戶的 其他應(yīng)用需求，是一個(gè)重要的研究方向。傳統(tǒng)圖像標(biāo)注W分類、檢索為應(yīng)用目標(biāo)，關(guān)屯、圖像 整體或局部的場(chǎng)景、對(duì)象及對(duì)象間關(guān)系等信息。因此，在用戶圖像數(shù)據(jù)不斷增長(zhǎng)的背景下， 圖像的標(biāo)注要更為靈活，標(biāo)注體系多樣，W適應(yīng)不同用戶的不同應(yīng)用，同時(shí)保持較低的用戶 標(biāo)注負(fù)擔(dān)。
[0003] 事實(shí)上，圖像標(biāo)注技術(shù)一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)課題，并已產(chǎn)生了大量的技 術(shù)和方法。典型的圖像標(biāo)注方法都是采用模型驅(qū)動(dòng)方式來(lái)實(shí)現(xiàn)，即從已標(biāo)注圖像集中學(xué)習(xí) 出特征空間和關(guān)鍵詞空間之間的關(guān)系模型，并利用該模型對(duì)待標(biāo)注圖像進(jìn)行標(biāo)注。如:專利 《一種圖像自動(dòng)標(biāo)注算法》（2013105149427)，通過(guò)選擇信息含量豐富的圖像集訓(xùn)練回歸模 型，再對(duì)未標(biāo)注圖像逐一分類標(biāo)注；專利《一種基于詞間相關(guān)性的圖像自動(dòng)標(biāo)注方法》 (20 1 4 10008553 1 )和《一種基于秩最小化的多標(biāo)簽圖像標(biāo)注結(jié)果融合方法》 (201310375976.2)則通過(guò)建立不同的概率模型，對(duì)未標(biāo)注圖像逐一進(jìn)行標(biāo)簽預(yù)測(cè)或多標(biāo)簽 融合。運(yùn)類方法的性能和效果很大程度上依賴于所選定假設(shè)模型和標(biāo)注訓(xùn)練集，除需要選 擇合適的分類模型外，更需要大量人工標(biāo)注訓(xùn)練數(shù)據(jù)，且其標(biāo)注體系在模型訓(xùn)練完成后難 W改變。為此，研究者隨后提出了許多新的解決方法，一方面，針對(duì)人工標(biāo)注訓(xùn)練數(shù)據(jù)負(fù)擔(dān) 大的問(wèn)題，提出了半監(jiān)督學(xué)習(xí)的圖像標(biāo)注方法，如：專利《一種基于多視圖和半監(jiān)督學(xué)習(xí)機(jī) 制的圖像標(biāo)注方法》(2014101080605)，其主要思想是只對(duì)訓(xùn)練數(shù)據(jù)集中的少量數(shù)據(jù)進(jìn)行標(biāo) 注，然后將數(shù)據(jù)集中大量的未標(biāo)注的數(shù)據(jù)加入到模型的訓(xùn)練中，通過(guò)挖掘圖像之間存在的 特征空間上的近鄰關(guān)系來(lái)實(shí)現(xiàn)對(duì)圖像的有效標(biāo)注，從而大大減少了人工標(biāo)注訓(xùn)練數(shù)據(jù)集的 負(fù)擔(dān);另一方面，針對(duì)標(biāo)注體系的多樣性問(wèn)題，提出了采用主動(dòng)學(xué)習(xí)的圖像標(biāo)注方法，如:文 南犬l:P.Jain and A.Kapoor.Active learning for large multi-class problems.In Proceedings of Computer Vision and Pattern 民ecognition,pages 762 - 769. IEEE， 2009,2:A.Kapoor,K.Grauman,民.Urtasun,and T.Darrell.Active learning with gaussian processes for object categorization.In Proceedings of International Conference on Computer Vision，pages 1-8.IE邸，2007。^及專利《一種基于主動(dòng)學(xué)習(xí)的 圖像標(biāo)注方法K201410106864.1)和《基于主動(dòng)學(xué)習(xí)和多標(biāo)簽多示例學(xué)習(xí)的場(chǎng)景圖像標(biāo)注 方法K201510473322.2)，它們通過(guò)主動(dòng)地從訓(xùn)練數(shù)據(jù)集中挑選出部分代表性或信息含量 較大的樣本數(shù)據(jù)供用戶標(biāo)注，減少了部分人工標(biāo)注的工作量，同時(shí)一定程度上增加了標(biāo)注 體系的多樣性。
[0004] 針對(duì)模型驅(qū)動(dòng)方法存在的對(duì)數(shù)據(jù)集先驗(yàn)假設(shè)和人工標(biāo)注訓(xùn)練樣本的依賴性、標(biāo)注 體系難W變化更新等問(wèn)題，數(shù)據(jù)驅(qū)動(dòng)的圖像標(biāo)注成為近年來(lái)圖像標(biāo)注領(lǐng)域的新趨勢(shì)。一種 是采用深度思想，如：專利《一種基于多模態(tài)深度學(xué)習(xí)的圖像標(biāo)注方法》（201510198325.X) 和專利《一種基于深度學(xué)習(xí)與典型相關(guān)分析的圖像自動(dòng)標(biāo)注方法》（201410843484.6)采用 神經(jīng)網(wǎng)絡(luò)得到圖像的高層特征表示，然后通過(guò)高層特征建立分類器模型，對(duì)未標(biāo)注圖像逐 一進(jìn)行判別標(biāo)注;而另一種趨勢(shì)是針對(duì)具有一定相似性的數(shù)據(jù)，利用他們之間的關(guān)系，采用 組別標(biāo)注的方式，對(duì)其類別發(fā)現(xiàn)的一組數(shù)據(jù)進(jìn)行標(biāo)注，如：文獻(xiàn)3: Y.J. Lee and K.Grauman.Object-graphs for context-aware visual category discovery. IEEE Transactions on Pattern Analysis and Machine Intelligence,34(2):346-358,2012, 文南犬4:D.Dai,M.Prasad,C丄eistner,and L.Van Gool.Ensemble partitioning for unsupervised image c曰tegoriz曰tion. In Proceedings of European Conference on Computer Vision,pages 483-496.Springer,2012,文南犬5:D.Liu and T.Chen.Unsupervised image categorization and object localization using topic models and correspondences between images. In Proceedings of International Conference on Computer Vision,pages 1-7.IE邸，2007,與逐一標(biāo)注的方式相比，運(yùn)種W 組為形式的標(biāo)注有效地提高了運(yùn)類數(shù)據(jù)的標(biāo)注效率。但是運(yùn)類方法同樣需要事先確立標(biāo)注 類別，且僅能通過(guò)調(diào)整聚類數(shù)來(lái)影響標(biāo)注體系。與運(yùn)類方法相比，文獻(xiàn)6 :M. Wigness, B.A.Draper and J.R.Beveride.Selectively guiding visual concept discovery.WACV 2014, pp. 247-254.文獻(xiàn) 7: C. Gal Iegui I los,B. McFee and G.R. G 丄 anckriet. Iterative category discovery via multiple kernel metric learning.Springer IJCV 2014,108 (1-2)，pp. 115-132.能夠幫助用戶在標(biāo)注過(guò)程中發(fā)現(xiàn)潛在的新的標(biāo)注類別，并能在循環(huán)過(guò) 程中，逐步定義標(biāo)注體系，使得標(biāo)注結(jié)果更加個(gè)性化，多樣化。
[0005] 綜合上述的圖像標(biāo)注方法，模型驅(qū)動(dòng)的標(biāo)注方法存在依賴假設(shè)模型、依賴大量人 工標(biāo)注訓(xùn)練數(shù)據(jù)、標(biāo)注體系缺乏靈活性等缺點(diǎn)，使其不適用于大規(guī)模的用戶圖像的標(biāo)注工 作;而已有的數(shù)據(jù)驅(qū)動(dòng)方法，也存在對(duì)標(biāo)注數(shù)據(jù)先驗(yàn)知識(shí)的依賴問(wèn)題，且沒(méi)有針對(duì)圖像進(jìn)行 特征表示的優(yōu)化，對(duì)圖像的表征能力差。所W，上述圖像標(biāo)注方法都不能完全滿足圖像標(biāo)注 的應(yīng)用需求。

【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種數(shù)據(jù)驅(qū) 動(dòng)的迭代式圖像在線標(biāo)注方法，用于支持圖像區(qū)域的標(biāo)注。
[0007] 為了解決上述技術(shù)問(wèn)題，本發(fā)明公開一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法， 包括W下步驟：
[0008] 步驟1，數(shù)據(jù)準(zhǔn)備與特征提取:將需要進(jìn)入循環(huán)標(biāo)注的圖像區(qū)域集合即樣本集合送 入樣本緩沖池，并進(jìn)行特征提取，；
[0009] 步驟2,循環(huán)標(biāo)注:通過(guò)在線相似度度量模型對(duì)提取的特征進(jìn)行相似度計(jì)算，使用 約束傳播優(yōu)化的聚類算法對(duì)未標(biāo)注圖像區(qū)域數(shù)據(jù)進(jìn)行聚類，選擇出顯著類別，即最聚類優(yōu) 簇推送給用戶進(jìn)行標(biāo)注，并將標(biāo)注結(jié)果用于約束傳播和相似度度量模型的學(xué)習(xí)更新，最終 循環(huán)標(biāo)注得到用戶對(duì)輸入圖像區(qū)域的個(gè)性化標(biāo)簽；
[0010] 步驟3,回收從循環(huán)標(biāo)注中返回的未標(biāo)注圖像區(qū)域數(shù)據(jù):在循環(huán)標(biāo)注過(guò)程結(jié)束后， 回收未被標(biāo)注的樣本集合到樣本緩沖池。
[OOW 其中，步驟1包括W下步驟：
[001^ 步驟1-1，將初始化的圖像區(qū)域集合即樣本集合{印省.，…，皆}送入樣本緩沖池 Bp (下標(biāo)P表示集合B為樣本準(zhǔn)備的緩沖池），時(shí)表示第C個(gè)圖像區(qū)域，上標(biāo)+表示b為樣本區(qū)域圖 像，下標(biāo)C表示該樣本圖像區(qū)域在集合中的序列位置，樣本緩沖池 Bp包含當(dāng)前所有待標(biāo)注的 圖像區(qū)域，當(dāng)樣本緩沖池樣本數(shù)量I Bp I大于闊值T(闊值通常取200)，則將樣本緩沖池中樣 本送入循環(huán)標(biāo)注過(guò)程；
[0013] 步驟1-2,提取從樣本緩沖池中準(zhǔn)備載入循環(huán)標(biāo)注過(guò)程的所有樣本特征，包括顏色 直方圖特征（RGB/HSV histogram)、冷暖色調(diào)特征（warmcold)和位置上下文 (Iocationcontexts)D
[0014] 步驟2包括W下步驟：
[0015] 步驟2-1，對(duì)步驟1-2中得到的樣本特征進(jìn)行相似度計(jì)算與更新:通過(guò)如下公式獲 得進(jìn)入循環(huán)標(biāo)注過(guò)程的第i個(gè)圖像區(qū)域If與第j個(gè)圖像區(qū)域(下標(biāo)i，j表示任意兩個(gè)圖像 區(qū)域的序列位置)之間的特征相似度Si, ;
[0016]
[0017] 其中W表示度量參數(shù)矩陣，i和j的取值范圍為1~C，然后得到特征相似度度量矩陣
，其中N為本輪循環(huán)中圖像區(qū)域的數(shù)量；
[0018] 步驟2-2,約束傳播過(guò)程：圖像區(qū)域數(shù)據(jù)之間包括必須連接和不能連接兩種關(guān)系， 即表示圖像區(qū)域必須是同一組的或是必須不能在同一組，將所有的圖像區(qū)域連接關(guān)系YY = {Yij}nxn初始化為兩個(gè)約束集合衣f和仿Yu表示第i個(gè)圖像區(qū)域占/與第j個(gè)圖像區(qū)域皆之間的 連接關(guān)系，當(dāng)'
否則Yu = O,即（磚，6/)不屬 于上面任意一個(gè)約束集合；
[0019] 通過(guò)W下公式將已標(biāo)注的樣本之間的關(guān)系傳播得到未標(biāo)注圖像區(qū)域數(shù)據(jù)之間的 關(guān)系約束F*:
[0020]
[0021]
[0022]其中a是值域（〇，1)的參數(shù)，./；表示矩陣第i行第j列的數(shù)據(jù)，I為單位矩陣；
其中由特征相似度度量矩陣
得到矩陣H，D為對(duì)角矩陣， 其中對(duì)角元素(i，i)等于矩陣H第i行數(shù)據(jù)之和；
[002；3] 當(dāng)皆(/單0是第i個(gè)圖像區(qū)域咕的k最近鄰時(shí)
否則出j = 〇，Si康示 相似度度量矩陣M第i行、第j列的相似度數(shù)據(jù)，Sii表示相似度度量矩陣M第i行、第i列的相似 度數(shù)據(jù)，Sw表示相似度度量矩陣M第j行、第j列的相似度數(shù)據(jù)，然后計(jì)算H=化+hT)/2W保證 H是對(duì)稱矩陣；
[0024]步驟2-3,約束聚類:將步驟2-2中得到的關(guān)系約弟
用來(lái)調(diào)整特征相 似度度量矩陣M，得到約束相似適
，如下公式所示：
[0025]
，
[00%]其中出J在步驟2-2中計(jì)算得到，然后對(duì)約束調(diào)整后的相似度M進(jìn)行譜聚類，將圖像 區(qū)域聚類為NC個(gè)種類；
[0027]步驟2-4,顯著類別發(fā)現(xiàn):通過(guò)W下公式計(jì)算每個(gè)聚類簇C的平均類內(nèi)距：
[002引
[0029] 其中(/(咕,V)表示第i個(gè)圖像區(qū)域磚與第j個(gè)圖像區(qū)域皆6補(bǔ)/在譜聚類空間中的 距離，將平均類內(nèi)距最小的聚類簇(3巧^為最優(yōu)聚類簇，即本次循環(huán)中發(fā)現(xiàn)的顯著類別；
[0030] 步驟2-5,類別成員選擇：用戶根據(jù)步驟2-4得到的顯著類別對(duì)其中的類別成員做 選擇或剔除操作，根據(jù)用戶的操作得當(dāng)正樣本和負(fù)樣本：當(dāng)用戶認(rèn)同顯著類別中大多數(shù)圖 像區(qū)域?qū)儆谕活悾瑒t剔除不屬于運(yùn)類的個(gè)別樣本，并確認(rèn)提交類別，此時(shí)，負(fù)樣本為用戶 剔除的樣本，正樣本為顯著類別中剩余的樣本；
[0031] 當(dāng)用戶不認(rèn)同顯著類別中大多數(shù)的圖像區(qū)域?qū)儆谕活悾瑒t選擇屬于同一類的樣 本確認(rèn)提交，此時(shí)正樣本為用戶選擇的樣本，負(fù)樣本為顯著類別中剩余的樣本；
[0032] 正樣本在用戶確認(rèn)提交后，被標(biāo)注為用戶選定的一個(gè)標(biāo)簽，而后被送入已標(biāo)注樣 本集中，同時(shí)正樣本的成員關(guān)系被步驟2-3用作約束傳播的依據(jù)，負(fù)樣本和聚類結(jié)果中最優(yōu) 簇外的其他聚類簇樣本則被送回到訓(xùn)練數(shù)據(jù)集中，等待下一輪循環(huán)；
[0033] 步驟2-6，在線多核相似度學(xué)習(xí)：相似度度量學(xué)習(xí)的目標(biāo)是優(yōu)化步驟2-1中度量參 數(shù)矩陣W，使得在循環(huán)標(biāo)注的過(guò)程中，符合用戶意圖的樣本數(shù)據(jù)在度量空間上的距離更近， 樸素距離相比，學(xué)習(xí)得到的度量能使得聚類簇更大，純度更高，即用戶更易認(rèn)同顯著類別發(fā) 現(xiàn)的結(jié)果，使得標(biāo)注負(fù)擔(dān)降低，由于相似度度量模型需要在循環(huán)過(guò)程中迭代更新，使用 OASIS算法實(shí)現(xiàn)在線多核相似度度量學(xué)習(xí)；對(duì)于一個(gè)S元組(x，x+，xl，其中X表示任意一個(gè) 樣本，X+表示必須與X屬于同一類別的樣本，X頂IJ表示必須與X分屬不同類別的樣本，通過(guò) OASIS算法優(yōu)化度量參數(shù)矩陣W使得特征相似度滿足細(xì)^，^+)〉5^^，〇+1，即要求；元組約 束屬于同類的樣本之間的特征相似度，必須大于=元組約束分屬不同類別的樣本之間的相 似度加 l，Sw(x，x+)表示樣本x與樣本x+之間的特征相似度，Sw(x，0表示樣本x與樣本x^之間 的特征相似度，度量參數(shù)矩陣的更新方程如下：
[0034] wt=ft-i+TV，
[0035] 其申
，lw為轉(zhuǎn)移損失，t表示循環(huán)次數(shù)，Wt表示t 次循環(huán)后得到的度量參數(shù)矩陣，表示t-1次循環(huán)后得到的度量參數(shù)矩陣，Cp是平衡參數(shù)， 通常取值0.1，學(xué)習(xí)得到的度量參數(shù)矩陣W用于步驟2-1的特征相似度計(jì)算與更新中；步驟2- 6中，（x,x+,x-) =max(0, l-Sw(x,x+)+Sw(x,x-))，V = x(x+,x-)T。
[0036] 步驟2-7,循環(huán)標(biāo)注終止判斷:對(duì)進(jìn)入循環(huán)標(biāo)注過(guò)程的圖像進(jìn)行規(guī)模判斷，當(dāng)剩余 待標(biāo)注圖像區(qū)域集合中樣本數(shù)量小于聚類數(shù)N別寸，或是連續(xù)多次推送給用戶標(biāo)注的顯著類 別樣本數(shù)量過(guò)少，用戶標(biāo)注負(fù)擔(dān)過(guò)高，此時(shí)判定剩余的未標(biāo)注樣本已不足W發(fā)現(xiàn)新出顯著 類別送給用戶標(biāo)注，循環(huán)標(biāo)注過(guò)程終止，訓(xùn)練數(shù)據(jù)集(訓(xùn)練數(shù)據(jù)集中包含從樣本緩沖池中經(jīng) 過(guò)數(shù)據(jù)載入后進(jìn)入循環(huán)過(guò)程的數(shù)據(jù)）中的圖像區(qū)域在步驟1-1中被回收到樣本緩沖池中，等 待規(guī)模足夠后開啟下次循環(huán)標(biāo)注過(guò)程;否則，當(dāng)數(shù)據(jù)規(guī)模足夠，即大于闊值T，則轉(zhuǎn)入步驟2- Io
[0037]步驟2-7中，所述連續(xù)多次推送給用戶標(biāo)注的顯著類別樣本數(shù)量過(guò)少是指連續(xù)5次 推送給用戶標(biāo)注的顯著類別樣本數(shù)量少于或等于3。
[003引步驟3包括:在循環(huán)標(biāo)注過(guò)程結(jié)束后，回收未被標(biāo)注的樣本集合 即共有m個(gè)未被標(biāo)注的樣本到樣本緩沖池 Bp,也可W向樣本緩沖池 Bp放入增量圖像區(qū)域 {祐,:，運(yùn)祐…，坂n}即n個(gè)新樣本。
[0039] 有益效果:本發(fā)明具有W下優(yōu)點(diǎn)：首先，本發(fā)明可W漸進(jìn)地標(biāo)注圖像區(qū)域，不需要 一次性提交所有的標(biāo)注數(shù)據(jù)，且使用?？诘奶卣鹘M合來(lái)表征圖像區(qū)域。其次，本發(fā)明可W得 到滿足用戶意圖的多樣性的標(biāo)注結(jié)果，更符合圖像區(qū)域標(biāo)注的特點(diǎn)。最后，本發(fā)明采用成組 的標(biāo)注形式，標(biāo)注效率較高，且隨著用戶分標(biāo)注圖像的增加，本發(fā)明可W越來(lái)越準(zhǔn)確的得到 用戶的標(biāo)注意圖，減少用戶交互負(fù)擔(dān)。
【附圖說(shuō)明】
[0040] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做更進(jìn)一步的具體說(shuō)明，本發(fā)明的上述 和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。
[0041 ]圖1是本發(fā)明的處理流程示意圖。
[0042] 圖2為一幅抽樣藝術(shù)區(qū)域圖像。
[0043] 圖3a為用戶交互界面顯著類別成員選擇示例圖。
[0044] 圖3b為用戶交互界面顯著類別成員選擇后類別標(biāo)注示例圖。
【具體實(shí)施方式】
[0045] 如圖1所示，本發(fā)明公開一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法，具體包括W下 步驟：
[0046] 步驟1，數(shù)據(jù)準(zhǔn)備與特征提取:將需要進(jìn)入循環(huán)標(biāo)注的圖像區(qū)域集合即樣本集合送 入樣本緩沖池，并進(jìn)行特征提取；
[0047] 步驟2，循環(huán)標(biāo)注:對(duì)進(jìn)入循環(huán)標(biāo)注過(guò)程的圖像進(jìn)行規(guī)模判斷，規(guī)模足夠后，通過(guò)在 線相似度度量模型對(duì)提取的特征進(jìn)行相似度計(jì)算，使用約束傳播優(yōu)化的聚類算法對(duì)未標(biāo)注 圖像數(shù)據(jù)進(jìn)行聚類，選擇出顯著類別，即最聚類優(yōu)簇推送給用戶進(jìn)行標(biāo)注，并將標(biāo)注結(jié)果用 于約束傳播和相似度度量模型的學(xué)習(xí)更新，最終循環(huán)標(biāo)注得到用戶對(duì)輸入圖像區(qū)域的個(gè)性 化標(biāo)簽；
[004引步驟3，回收從循環(huán)標(biāo)注中返回的未標(biāo)注圖像數(shù)據(jù)。
[0049] 下面介紹各個(gè)步驟的具體流程：
[0050] 其中，步驟1包括W下步驟：
[0化1]步驟1-1，將初始化的圖像區(qū)域集合?[奸，與，(巧表示某個(gè)圖像區(qū)域，+為上 標(biāo)，表示b為區(qū)域圖像，C此處為下標(biāo)，表示該圖像區(qū)域在集合中的序列位置)送入樣本緩沖 池 Bp(下標(biāo)P表示集合B為樣本準(zhǔn)備的緩沖池），Bp包含當(dāng)前所有待標(biāo)注的圖像區(qū)域，當(dāng)樣本緩 沖池樣本數(shù)量I Bp I大于闊值T(闊值通常取200)，則將樣本緩沖池中樣本送入循環(huán)標(biāo)注過(guò) 程；
[0052] 步驟1-2,提取從樣本緩沖池中準(zhǔn)備載入循環(huán)標(biāo)注過(guò)程的所有樣本特征，由于一般 的圖像格式必須是矩形形狀，使用r〇i(region of interest)來(lái)選定需要提取特征的任意 形狀的圖像區(qū)域，運(yùn)里提取的特征包括文獻(xiàn)8 : Porebski ,A . ,N. Vandenbroucke , and D.Hamad. ('LBP histo-gram selection for supervised color texture classification /' Interna-tional Conference on Image Processing(ICIP), IEEE, pp. 3239-3243，2013.中所述由顏色直方圖特征（RGB/HSV histogram),冷暖色調(diào)特征 (warmcold)、位置上下文（location contexts)組成。
[0053] 步驟2包括W下步驟：
[0054] 步驟2-1，對(duì)步驟1-2中得到的樣本特征進(jìn)行相似度計(jì)算與更新:通過(guò)如下公式獲 得進(jìn)入循環(huán)標(biāo)注過(guò)程的圖像區(qū)域f與下標(biāo)i，j表示任意兩個(gè)圖像區(qū)域的序列位置)之間 的特征相似度Sjj:
[0化5]
[0化6]其中W表示度量參數(shù)矩陣，得到特征相似度距離矩陣^
其中N為 本輪循環(huán)中圖像區(qū)域的數(shù)量；
[0057]步驟2-2,約束傳播過(guò)程:樣本數(shù)據(jù)之間存在必須連接和不能連接，即表示樣本必 須是同一組的或是必須不能在同一組，將所有的樣本連接關(guān)系Y= {Yu}nxn(Yu為任意兩樣 本礦，皆之間的連接關(guān)系）初始化為兩個(gè)約束集合纖和島當(dāng)（
，當(dāng)
，否則Yu = 0，即（礦，鮮壞屬于上面任意一個(gè)約束集合； L0058J通過(guò)W下公式將已標(biāo)注的樣本之間的關(guān)系傳播得到未標(biāo)注圖像數(shù)據(jù)之間的關(guān)系 約束F*:
[0化9]
[0060]
[0061] 其中Cl是值域(〇，1)的參數(shù)，I為單位矩陣；癢中H由特征相似度度 量矩陣M二祝'似，6;)}化W得到，
[0062] 至
的k最近鄰時(shí)：
否則出尸0,位康示相似度度量 矩陣M第i行，第巧揃相似度數(shù)據(jù)，同理于Sii和站）
[0063] 然后計(jì)算H=化+HT)/2W保證H是對(duì)稱矩陣，D則是對(duì)角矩陣，其中對(duì)角元素 Q，i) 等于H第i行數(shù)據(jù)之和；
[0064] 本申請(qǐng)使用文獻(xiàn)9:Lu,Z. ,and Ip,H.H.S. , "Constrained Spectral Clustering via Exhaustive and Efficient Constraint Propagation.''Computer Vi-sion-ECCV, Springer Berlin Heide化erg,pp. 1-14,2010 .所述的利用k最近鄰圖的高效約束傳播算 法，得到關(guān)系約束；
[00化]步驟2-3,約束聚類:將步驟2-2中得到的約束
用來(lái)調(diào)整特征相似度 矩陣r式所示：
[0066]
[0067] 其中Hu在步驟2-2中計(jì)算得到，然后本申請(qǐng)使用文獻(xiàn)10: Von Luxburg U/'A tutorial on spectral clustering."Statistics and computing,2007,17(4):395-416. 中的譜聚類算法(spectral clustering)對(duì)約束調(diào)整后的相似度疫進(jìn)行聚類，將圖像區(qū)域 聚類為NCXnumber of clusters)個(gè)種類；
[0068] 步驟2-4,顯著類別發(fā)現(xiàn):聚類后，通過(guò)W下公式計(jì)算每個(gè)聚類簇C的平均類內(nèi)距：
[0069]
[0070] 其中.Zp/)表示樣本與樣本皆在譜聚類空間中的距離，將平均類內(nèi)距最小 的聚類簇(3巧^為最優(yōu)聚類簇，即本次循環(huán)中發(fā)現(xiàn)的顯著類別；
[0071] 步驟2-5,類別成員選擇：用戶根據(jù)步驟2-4得到的顯著類別對(duì)其中的類別成員做 選擇或剔除操作：當(dāng)用戶認(rèn)同顯著類別中大多數(shù)圖像區(qū)域?qū)儆谕活悾瑒t剔除不屬于運(yùn)類 的個(gè)別樣本，并確認(rèn)提交類別，此時(shí)，負(fù)樣本為用戶剔除的樣本，正樣本為顯著類別中剩余 的樣本；
[0072] 當(dāng)用戶不認(rèn)同顯著類別中大多數(shù)的圖像區(qū)域?qū)儆谕活悾瑒t選擇屬于同一類的樣 本確認(rèn)提交，此時(shí)正樣本為用戶選擇的樣本，負(fù)樣本為顯著類別中剩余的樣本；
[0073] 正樣本在用戶確認(rèn)提交后，被標(biāo)注為用戶選定的某個(gè)標(biāo)簽，而后被送入已標(biāo)注樣 本集中，同時(shí)正樣本的成員關(guān)系被步驟2-3用作約束傳播的依據(jù)，負(fù)樣本和聚類結(jié)果中最優(yōu) 簇外的其他聚類簇樣本則被送回到訓(xùn)練數(shù)據(jù)集中，等待下一輪循環(huán)；
[0074] 步驟2-6，在線多核相似度學(xué)習(xí)：相似度度量學(xué)習(xí)的目標(biāo)是優(yōu)化步驟2-1中度量參 數(shù)矩陣W，使得在循環(huán)標(biāo)注的過(guò)程中，符合用戶意圖的樣本數(shù)據(jù)在度量空間上的距離更近， 樸素距離相比，學(xué)習(xí)得到的度量能使得聚類簇更大，純度更高，即用戶更易認(rèn)同顯著類別發(fā) 現(xiàn)的結(jié)果，使得標(biāo)注負(fù)擔(dān)降低，由于相似度度量模型需要在循環(huán)過(guò)程中迭代更新，本申請(qǐng)使 用文南犬 11: Chechik,G. , Sharma ,V. ,Shalit,U. ,Ben 邑 io,S. , "Large scale online Iesrning of image simil曰rity through r曰nking.''The Journ曰I of M曰chine Lesrning Research I Ipp. 1109-1135，2010.中的OASIS算法實(shí)現(xiàn)在線多核相似度度量學(xué)習(xí)；對(duì)于一個(gè) S元組(x，x+，xl，其中X表示任意一個(gè)樣本，X+表示必須與X屬于同一類別的樣本，xlW表示 必須與X分屬不同類別的樣本，通過(guò)OASIS算法優(yōu)化度量參數(shù)矩陣W使得特征相似度滿足Sw (義，義+)乂1^，義-)+ 1，即要求=元組約束屬于同類的樣本之間的特征相似度，必須大于=元 組約束分屬不同類別的樣本之間的相似度加1，其更新方程如下：
[0075]
[0076] 其牛
Iw為轉(zhuǎn)移損失，t表示循環(huán)次數(shù)，
[0077] (x,x^,x^)=max(0,1-Sw(x,x^)+Sw(x,x^)),
[0078] Cp是平衡參數(shù)，V = x(x+，xlT，學(xué)習(xí)得到的度量參數(shù)矩陣W用于步驟2-1的特征相似 度計(jì)算與更新中；
[0079] 步驟2-7,循環(huán)標(biāo)注終止判斷:對(duì)進(jìn)入循環(huán)標(biāo)注過(guò)程的圖像進(jìn)行規(guī)模判斷，當(dāng)剩余 待標(biāo)注樣本集中樣本數(shù)量小于聚類數(shù)NC時(shí)，或是連續(xù)多次(通常設(shè)為5次)推送給用戶標(biāo)注 的顯著類別樣本數(shù)量過(guò)少(少于或等于3)，用戶標(biāo)注負(fù)擔(dān)過(guò)高，此時(shí)判定剩余的未標(biāo)注樣本 已不足W發(fā)現(xiàn)新出顯著類別送給用戶標(biāo)注，循環(huán)標(biāo)注過(guò)程終止，訓(xùn)練數(shù)據(jù)集中的圖像區(qū)域 在步驟1-1中被回收到樣本緩沖池中，等待規(guī)模足夠后開啟下次循環(huán)標(biāo)注過(guò)程;否則，當(dāng)數(shù) 據(jù)規(guī)模足夠(即大于闊值T)，則轉(zhuǎn)入步驟2-1。
[0080]本申請(qǐng)使用文獻(xiàn) 12:Galleguillos，C.，McFee，B. ,and Lanckriet，G.R.G.， ('Iterative category discovery via multiple kernel metric learning." Internation-al Journal of Computer Vision, Springer Berlin Heidelberg, Vol. 108.1-2，PP. : 115-132，2014.中的類別發(fā)現(xiàn)框架作為循環(huán)標(biāo)注流程框架。
[0081 ]實(shí)施例
[0082] 本實(shí)施例中，如圖2為一幅抽樣圖像，其中黑色框內(nèi)為待標(biāo)注的圖像目標(biāo)區(qū)域，圖 3a為用戶交互界面顯著類別成員選擇示例圖，左側(cè)布局為展示每次循環(huán)中推送給用戶的顯 著類別，用戶選定的圖像會(huì)有黑色邊框出現(xiàn)在圖像周圍，W顯示確認(rèn)效果，鼠標(biāo)浮動(dòng)在待選 圖像上方時(shí)會(huì)呈現(xiàn)放大效果，W便用戶細(xì)致觀察圖像細(xì)節(jié)，右側(cè)布局為類別標(biāo)簽頁(yè)，用戶點(diǎn) 擊灰色框即會(huì)生成出一個(gè)新的類別標(biāo)簽，圖3b為用戶交互界面顯著類別成員選擇后類別標(biāo) 注示例圖，即用戶在選定完顯著類別的成員后，選定右側(cè)的標(biāo)簽類別，然后使用正向 (positive)或反向（negative)提交標(biāo)注結(jié)果完成本次循環(huán)的標(biāo)注。
[0083] 具體實(shí)施過(guò)程如下：
[0084] 步驟一中，準(zhǔn)備待標(biāo)注的圖像區(qū)域樣本數(shù)據(jù)。將待標(biāo)注的圖像區(qū)域樣本放入指定 文件夾中，然后執(zhí)行特征提取過(guò)程，或是增量添加的圖像區(qū)域數(shù)據(jù)，一樣放入指定文件夾 中。
[0085] 步驟二中，在循環(huán)過(guò)程中，基于用戶的交互，完成對(duì)送入循環(huán)標(biāo)注過(guò)程的圖像區(qū)域 數(shù)據(jù)的標(biāo)注工作。首先對(duì)特征數(shù)據(jù)進(jìn)行相似度計(jì)算，然后根據(jù)類別約束對(duì)相似度進(jìn)行調(diào)整， 之后對(duì)調(diào)整完的距離度量進(jìn)行譜聚類，并推送顯著類別（最優(yōu)聚類簇)給用戶進(jìn)行標(biāo)注，如 圖3曰，當(dāng)用戶認(rèn)同顯著類別中大多數(shù)圖像區(qū)域?qū)儆谕活悾瑒t只需選定要剔除個(gè)別樣本，然 后選定交互界面的右側(cè)類別標(biāo)簽(選定后會(huì)有綠色邊框作為選定提示），使用界面左側(cè)上方 的negative提交按鈕反向提交標(biāo)注結(jié)果，此時(shí)，未被選定的圖像區(qū)域?qū)⒈环湃胗脩糁付ǖ?右側(cè)標(biāo)簽集內(nèi)；否則，當(dāng)用戶不認(rèn)同顯著類別中大多數(shù)的圖像屬于同一類，則選定屬于同一 類的樣本，然后選定交互界面的右側(cè)類別標(biāo)簽(選定后會(huì)有黑色邊框作為選定提示），使用 界面左側(cè)上方的positive提交按鈕正向提交標(biāo)注結(jié)果，此時(shí)，選定的圖像區(qū)域?qū)⒈环湃胗?戶指定的右側(cè)標(biāo)簽集內(nèi)。負(fù)樣本和聚類結(jié)果中最優(yōu)簇外的其他聚類簇樣本將被送回訓(xùn)練數(shù) 據(jù)集，正樣本先被用作約束傳播更新，然后進(jìn)入已標(biāo)注樣本集，接著被用作在線多核相似度 度量模型的訓(xùn)練更新。
[0086] 經(jīng)過(guò)一定次數(shù)的循環(huán)過(guò)后，剩余樣本不足W發(fā)現(xiàn)新的類別，此次循環(huán)標(biāo)注過(guò)程即 為結(jié)束。
[0087] 本發(fā)明提供了一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法，具體實(shí)現(xiàn)該技術(shù)方案的方 法和途徑很多，W上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技 術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可W做出若干改進(jìn)和潤(rùn)飾，運(yùn)些改進(jìn)和潤(rùn)飾 也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有技術(shù)加 W實(shí)現(xiàn)。
【主權(quán)項(xiàng)】
1. 一種數(shù)據(jù)驅(qū)動(dòng)的迭代式圖像在線標(biāo)注方法，其特征在于，包括以下步驟： 步驟1，數(shù)據(jù)準(zhǔn)備與特征提取:將需要進(jìn)入循環(huán)標(biāo)注的圖像區(qū)域集合即樣本集合送入樣 本緩沖池，并進(jìn)行特征提取； 步驟2，循環(huán)標(biāo)注:通過(guò)在線相似度度量模型對(duì)提取的特征進(jìn)行相似度計(jì)算，使用約束 傳播優(yōu)化的聚類算法對(duì)未標(biāo)注圖像區(qū)域數(shù)據(jù)進(jìn)行聚類，選擇出顯著類別，即最聚類優(yōu)簇推 送給用戶進(jìn)行標(biāo)注，并將標(biāo)注結(jié)果用于約束傳播和相似度度量模型的學(xué)習(xí)更新，最終循環(huán) 標(biāo)注得到用戶對(duì)輸入圖像區(qū)域的個(gè)性化標(biāo)簽； 步驟3,回收從循環(huán)標(biāo)注中返回的未標(biāo)注圖像區(qū)域數(shù)據(jù):在循環(huán)標(biāo)注過(guò)程結(jié)束后，回收 未被標(biāo)注的樣本集合到樣本緩沖池。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1包括以下步驟： 步驟卜1，將初始化的圖像區(qū)域集合即樣本集合·^為送入樣本緩沖池 BP，^表 示第c個(gè)圖像區(qū)域，下標(biāo)c表示該樣本圖像區(qū)域在集合中的序列位置，樣本緩沖池 Bp包含當(dāng) 前所有待標(biāo)注的圖像區(qū)域，當(dāng)樣本緩沖池中樣本數(shù)量I Bp I大于閾值T，則將樣本緩沖池中樣 本送入循環(huán)標(biāo)注過(guò)程； 步驟1-2，提取從樣本緩沖池中準(zhǔn)備載入循環(huán)標(biāo)注過(guò)程的所有樣本特征，包括顏色直方 圖特征、冷暖色調(diào)特征和位置上下文。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟2包括以下步驟： 步驟2-1，對(duì)步驟1-2中得到的樣本特征進(jìn)行相似度計(jì)算與更新:通過(guò)如下公式獲得進(jìn) 入循環(huán)標(biāo)注過(guò)程的第i個(gè)圖像區(qū)域 < 與第j個(gè)圖像區(qū)域￥之間的特征相似度&決+:其中W表示度量參數(shù)矩陣，i和j的取值范圍為1~c，然后得到特征相似度度量矩陣 M 其中N為本輪循環(huán)中圖像區(qū)域的數(shù)量； 步驟2-2,約束傳播過(guò)程：圖像區(qū)域數(shù)據(jù)之間包括必須連接和不能連接兩種關(guān)系，即表 示圖像區(qū)域必須是同一組的或是必須不能在同一組，將所有的圖像區(qū)域連接關(guān)系Y初始化 為兩個(gè)約束集合和^表示第i個(gè)圖像區(qū)域^與第j個(gè)圖像區(qū)域￥之間的 連接關(guān)系，當(dāng)?』/)￡3€時(shí)￥。= 1;當(dāng)(46/*")￡(?時(shí)￥。= -1;否則￥。= 〇,8口（61+<)不屬 于上面任意一個(gè)約束集合； 通過(guò)以下公式將已標(biāo)注的樣本之間的關(guān)系傳播得到未標(biāo)注圖像區(qū)域數(shù)據(jù)之間的關(guān)系 約束F*:其中α是值域（0, 1)的參數(shù)，/;表示矩陣第i行第j列的數(shù)據(jù)，I為單位矩陣； X = 其中由特征相似度度量矩陣M二供JOpU導(dǎo)到矩陣H，D為對(duì)角矩陣， 其中對(duì)角元素(i，i)等于矩陣H第i行數(shù)據(jù)之和； 當(dāng)矽(/羊i)是第i個(gè)圖像區(qū)域#的k最近鄰時(shí)，％ = <%/#函7,否則Hlj = OJlj表示相似 度度量矩陣M第i行、第j列的相似度數(shù)據(jù)，S11表示相似度度量矩陣M第i行、第i列的相似度數(shù) 據(jù)，表示相似度度量矩陣M第j行、第j列的相似度數(shù)據(jù)， 然后計(jì)算H= (H+HT)/2W= (W+WT)/2以保證Hff是對(duì)稱矩陣是對(duì)稱矩陣； 步驟2-3，約束聚類:將步驟2-2中得到的關(guān)系約束= [Zpivxiv用來(lái)調(diào)整特征相似度度 量矩陣M，得到約束相似度M = {5V決，如下公式所示：其中HljWlj在步驟2-2中計(jì)算得到，然后對(duì)約束調(diào)整后的相似度#進(jìn)行譜聚類，將圖像區(qū) 域聚類為NC個(gè)種類； 步驟2-4，顯著類別發(fā)現(xiàn):通過(guò)以下公式計(jì)算每個(gè)聚類簇c的平均類內(nèi)距：其中表示第i個(gè)圖像區(qū)域 < 與第j個(gè)圖像區(qū)域在譜聚類空間中的距離，將平 均類內(nèi)距最小的聚類簇f選為最優(yōu)聚類簇，即本次循環(huán)中發(fā)現(xiàn)的顯著類別； 步驟2-5,類別成員選擇：用戶根據(jù)步驟2-4得到的顯著類別對(duì)其中的類別成員做選擇 或剔除操作，根據(jù)用戶的操作得當(dāng)正樣本和負(fù)樣本，正樣本在用戶確認(rèn)提交后，被標(biāo)注為用 戶選定的一個(gè)標(biāo)簽，而后被送入已標(biāo)注樣本集中，同時(shí)正樣本的成員關(guān)系被步驟2-3用作約 束傳播的依據(jù)，負(fù)樣本和聚類結(jié)果中最優(yōu)簇外的其他聚類簇樣本則被送回到訓(xùn)練數(shù)據(jù)集 中，等待下一輪循環(huán)； 步驟2-6，在線多核相似度學(xué)習(xí)：對(duì)于一個(gè)三元組(X，X+，xl，其中X表示任意一個(gè)樣本，X +表示必須與X屬于同一類別的樣本，廠則表示必須與X分屬不同類別的樣本，通過(guò)OASIS算法 優(yōu)化度量參數(shù)矩陣W使得特征相似度滿足以&^+)>51&，廠)+ 1，即要求三元組約束屬于同 類的樣本之間的特征相似度，必須大于三元組約束分屬不同類別的樣本之間的相似度加1， Sw(x，x+)表示樣本X與樣本X+之間的特征相似度，Sw(x，x1表示樣本X與樣本f之間的特征相 似度，度量參數(shù)矩陣的更新方程如下： Wt=Wt-^iV, 其中τ = min(Cp, 丨I2Mw為轉(zhuǎn)移損失，t表示循環(huán)次數(shù)，Wt表示t次循 環(huán)后得到的度量參數(shù)矩陣，Wt^1表示t-Ι次循環(huán)后得到的度量參數(shù)矩陣，Cp是平衡參數(shù)，學(xué)習(xí) 得到的度量參數(shù)矩陣W用于步驟2-1的特征相似度計(jì)算與更新中； 步驟2-7，循環(huán)標(biāo)注終止判斷：對(duì)進(jìn)入循環(huán)標(biāo)注過(guò)程的圖像進(jìn)行規(guī)模判斷，當(dāng)剩余待標(biāo) 注圖像區(qū)域集合中樣本數(shù)量小于聚類數(shù)NC時(shí)，或是連續(xù)多次推送給用戶標(biāo)注的顯著類別樣 本數(shù)量過(guò)少，用戶標(biāo)注負(fù)擔(dān)過(guò)高，此時(shí)判定剩余的未標(biāo)注樣本已不足以發(fā)現(xiàn)新出顯著類別 送給用戶標(biāo)注，循環(huán)標(biāo)注過(guò)程終止，訓(xùn)練數(shù)據(jù)集中的圖像區(qū)域在步驟1-1中被回收到樣本緩 沖池中，等待規(guī)模足夠后開啟下次循環(huán)標(biāo)注過(guò)程;否則，當(dāng)數(shù)據(jù)規(guī)模足夠，即大于閾值T時(shí)， 則轉(zhuǎn)入步驟2-1。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟2-6中，（X，X+，xl = max(0，1-Sw(x，X+) + Sw(x，x-)) 〇5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟2-6中，V = x (x+，xlT，。
【文檔編號(hào)】G06F17/30GK106021406SQ201610317638
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月12日
【發(fā)明人】孫正興, 李博, 胡佳高, 楊崴
【申請(qǐng)人】南京大學(xué)