基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法
【專利摘要】本發(fā)明公開了基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，將新聞圖像分為多個圖像子集，隨后對新聞圖像中候選人名及候選人名出現(xiàn)次數(shù)進(jìn)行排序，進(jìn)行正反包及正反示例后，利用Max?ED方法和IMax?ED方法進(jìn)行人臉標(biāo)注。本發(fā)明針對新聞人臉圖像與多個人名的一對多關(guān)系(即人臉標(biāo)注)的優(yōu)化問題，本發(fā)明將ED和Iter?ED視頻人臉標(biāo)注方法引入新聞圖像人臉標(biāo)注領(lǐng)域，并改進(jìn)了正/反包分配方法，在降低虛假正包對標(biāo)注影響的基礎(chǔ)上，提出了基于改進(jìn)Max?ED和IMax?ED的人臉標(biāo)注新方法。
【專利說明】
基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體設(shè)及一種基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人 臉標(biāo)注的方法。
【背景技術(shù)】
[0002] 多示例學(xué)習(xí)（Multiple Instance Learning)是一種不同于監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí) 和強(qiáng)化學(xué)習(xí)的一種新的學(xué)習(xí)框架。在前面的=種學(xué)習(xí)框架中，一個示例就是一個樣本，即示 例和樣本是一一對應(yīng)，而在多示例學(xué)習(xí)中，多個示例組成一個樣本(即包），即示例和樣本是 多對一，運(yùn)使得W往的學(xué)習(xí)方法無法解決此類問題。多示例學(xué)習(xí)是在包的粒度對樣本進(jìn)行 標(biāo)注，每個包中包含多個示例，每個示例沒有標(biāo)簽。如果包中包含至少一個W上的正例，貝U 標(biāo)記該包為正包;相反，如果包中包含的示例均為反例，則標(biāo)記該包為反包。通過對訓(xùn)練包 的學(xué)習(xí)，希望得到的模型盡可能準(zhǔn)確地預(yù)測剩余包或示例的標(biāo)簽。
[0003] -般而言，新聞視頻一般可W劃分為一系列的新聞故事，每個故事包含同一個事 件的很多帖。同時，新聞視頻中的同一人臉圖像會持續(xù)出現(xiàn)在多帖圖像中，或多次出現(xiàn)在不 同帖圖像中，運(yùn)些都使得標(biāo)注包標(biāo)簽需要很少量的人工消耗。但是，在新聞圖像中，同一個 人的人臉圖像僅出現(xiàn)一次或者從未出現(xiàn)，并且沒有任何先驗(yàn)信息提示人名列表中的人名與 新聞圖像中的多個人臉圖像是如何一一對應(yīng)的。因而，標(biāo)注新聞圖像中的正包和反包需要 手工標(biāo)注，然而手工標(biāo)注過程是非常消耗勞力和時間的，而且無法適用于大規(guī)模數(shù)據(jù)。因 此，探索自動標(biāo)注新聞圖像正包和反包的方法成為研究熱點(diǎn)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，將最 大特有多樣性密度方法和迭代方法相結(jié)合，可W自動標(biāo)識正/反包及正例，進(jìn)而實(shí)現(xiàn)人臉標(biāo) 注。
[0005] 本發(fā)明所采用的技術(shù)方案是，基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法， 具體按照W下步驟實(shí)施：
[0006] 步驟1，將所有新聞圖像編號，依據(jù)編號從小到大將圖像均勻地分成數(shù)量相近的多 個圖像子集，隨后采用人臉檢測方法檢測每個圖像子集中的人臉圖像，并提取人臉特征；
[0007] 步驟2,利用層次采樣并行AP聚類算法并行地將步驟1所得人臉圖像集分配到聚類 中屯、；
[000引步驟3,找到步驟2聚類中屯、中每個人臉圖像相應(yīng)的新聞字幕，使用命名實(shí)體識別 方法檢測新聞字幕中的候選人名，手動合并同一個人的不同人名書寫方式；
[0009] 步驟4,統(tǒng)計步驟3檢測到的候選人名W及所有候選人名在整個新聞數(shù)據(jù)集上的出 現(xiàn)次數(shù)，依照降序進(jìn)行排序，隨后對候選人名進(jìn)行標(biāo)記；
[0010] 步驟5，利用Max-ED方法和IMax-ED方法進(jìn)行人臉標(biāo)注。
[0011] 本發(fā)明的特征還在在于，
[0012] 步驟I中，人臉檢測方法為主動形狀模型法。
[0013] 步驟1中，人臉特征為局部Gabor二值模式直方圖序列化Ocal Gabor Binary Pattern Histogram Sequence，LGBPHS)，具體提取特征過程為：（1)人臉圖像歸一化；（2)分 別使用多個不同方向、不同尺度的Gabor濾波器與歸一化圖像進(jìn)行卷積，取卷積結(jié)果的幅值 部分，即Gabor幅值圖譜(Gabor Ma即itude Pierres,GMP); (3化BP將每幅Gabor幅值圖譜 轉(zhuǎn)換為局部Gabor二值模式圖譜化ocal Gabor BinaryPattern,LGBP); (4)將每個局部 Gabor二值模式圖譜分成指定大小的非重疊矩形塊，并計算每塊的直方圖；（5)融合所有局 部Gabor二值模式圖譜的直方圖串接為一個直方圖序列，作為人臉圖像的特征描述。
[0014] 步驟2的具體步驟為：
[0015] 步驟2.1:計算每個新聞圖像子集中人臉圖像數(shù)據(jù)點(diǎn)的相似度，同時并行運(yùn)行AP聚 類，生成各自的聚類中如，#據(jù)占相化原計貸公式：
[0016] (1)
[0017] 其中，Simij是圖像;Uh和圖像jth的相似度，imageik/imagejk是圖像ith/jth的第kth個 特征，Nn?是人臉圖像集的總數(shù)目，K是特征維數(shù)；
[0018] 步驟2.2:融合每個數(shù)據(jù)子集的聚類中屯、，并隨機(jī)在每個聚類中挑選多個樣本，共 同形成一組新的數(shù)據(jù)，同樣依據(jù)公式(1)計算新數(shù)據(jù)所有點(diǎn)的相似度，再次使用AP聚類得到 最終的聚類中屯、；
[0019] 步驟2.3:對于人臉圖像，依照公式（1)計算其與所有聚類中屯、的相似度，將其劃歸 到相似度最大的聚類中屯、。
[0020] 步驟4中，具體標(biāo)記過程為：
[0021] 每一個人臉圖像對應(yīng)一個包，與人臉圖像對應(yīng)的人名列表為包中的示例，將出現(xiàn) 次數(shù)最多的候選人名標(biāo)記為Max-name，如果包中包含Max-name，則標(biāo)注包為正包，Max-name 為正示例，其余人名皆為反示例，反之，標(biāo)注包為反包，所有人名皆為反示例。
[0022] 步驟5中，人臉標(biāo)注的具體過程為：
[0023] 對于假設(shè)空間h=(ii，〇)中的正包和反包，其中，y是概念點(diǎn)的坐標(biāo)，0是不同特征的 權(quán)重，采用不同的方法將包標(biāo)簽的概率轉(zhuǎn)換為示例標(biāo)簽的概率：
[0024] 4^3亟1^1./(克拓1/入：^(^9、^管*完巧^^7^^|^1姑$態(tài).
[0025]
(2)
[0026] 其中，P(+IBi，h)是包Bi標(biāo)為正包的概率，Zi是歸一化參數(shù)，、二m-l(m是包Bi中的 示例數(shù)目），巧+1公是正示例Max-name標(biāo)記為Bijmax的概率，P(-|Bik，h)是其余示例Bik 為反示例的概率；
[0027] 同理.化據(jù)/A井管驚巧句為反包的概率；
[002引 (3)
[0029] 其中，Zi是歸一化參數(shù)，P(-|Bi，h)是包Bi標(biāo)為反包的概率，P(-|Bij，h)是示例扣功 反示例的概率；
[0030]依據(jù)概率和為I的條件，則依據(jù)公式(4)計算Zi: 卿]
W
[003^ 其中，Zi是歸一化參數(shù)，、二m-Um是包Bi中的示例數(shù)目），巧+1巧是正示例 Max-name標(biāo)記為勺概率，P(-1 Bik,h)是其余示例B化為反示例的概率，P(-1 Bij，h)是示例 BiJ為反示例的概率；
[0033] P(+|Bu，h)與每個示例和假設(shè)空間h的距離負(fù)相關(guān)，則計算公式如下： 陣]
(5)
[0035] P(- Bij，h) = l-P(+ Bu，h)
[0036] 其中，P(+I Bij，h)是示例Bu為正示例的概率，P(-I Bij，h)是示例Bu為反示例的概 率，y是概念點(diǎn)的坐標(biāo)，O是不同特征的權(quán)重。
[0037] 則根據(jù)Bayes理論，依據(jù)公式(6)計算假設(shè)空間hED:
[00；3 引 (6)
[0039]
[0040] 其中，hED是最優(yōu)假設(shè)空間，P(Ii I Bi，h)是包Bi標(biāo)簽的概率，1 i是包Bi的標(biāo)簽，P(+ I Bi， h)是包Bi為正包的概率，P(-I Bi，h)是包Bi為反包的概率。
[0041 ] 步驟5.2:依據(jù)Max-name原則，挑選每個正包中的正示例，并將運(yùn)些正示例作為初 始點(diǎn)，依據(jù)公式(6)通過梯度下降法求解最優(yōu)的假設(shè)空間hED;
[0042]步驟5.3:利用步驟5.2所得假設(shè)空間hED及公式(7)更新示例： 閨
(7)
[0044] 其中，p(+I Xik,h)指正包中示例X化的概率，yij是示例X化的標(biāo)簽；
[0045] 設(shè)置最大迭代參數(shù)，或者設(shè)置參數(shù)￡，0 = ]11+1〇,〇)-111〇,〇)，如果0>￡，1 = 1+1，重 復(fù)步驟5.1和5.2;反之0<6，116。= 11^(4,〇);上述條件循環(huán)，至最大迭代次數(shù)終止運(yùn)算，得最 優(yōu)假設(shè)空間hED;
[0046] 步驟5.4:利用最優(yōu)假設(shè)空間hED和公式(7)實(shí)現(xiàn)人臉標(biāo)注。
[0047] 本發(fā)明的有益效果是，針對新聞人臉圖像與多個人名的一對多關(guān)系（即人臉標(biāo)注） 的優(yōu)化問題，本發(fā)明將抓和I ter-邸視頻人臉標(biāo)注方法引入新聞圖像人臉標(biāo)注領(lǐng)域，并改進(jìn) 了正/反包分配方法，在降低虛假正包對標(biāo)注影響的基礎(chǔ)上，提出了基于改進(jìn)Max-ED和 IMax-邸的人臉標(biāo)注新方法。
【附圖說明】
[0048] 圖1為本發(fā)明基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法中層次采樣并行AP 聚類算法的流程圖；
[0049] 圖2為本發(fā)明基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法中IMax-ED方法框 圖。
【具體實(shí)施方式】
[0050] 下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明進(jìn)行詳細(xì)說明。
[0051] 本發(fā)明基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，針對新聞人臉圖像與多 個人名的一對多關(guān)系（即人臉標(biāo)注）的優(yōu)化問題，將ED和Iter-抓視頻人臉標(biāo)注方法引入新 聞圖像人臉標(biāo)注領(lǐng)域，并改進(jìn)了正/反包分配方法，在降低虛假正包對標(biāo)注影響的基礎(chǔ)上， 提出了基于改進(jìn)Max-邸和IMax-邸的人臉標(biāo)注新方法，包括示例生成、標(biāo)注正反包及正反示 例、Max-邸方法和IMax-邸方法和人臉標(biāo)注，具體按照W下步驟實(shí)施：
[0052] 步驟1，將所有新聞圖像編號，依據(jù)編號從小到大將圖像均勻地分成數(shù)量相近的多 個圖像子集，隨后采用主動形狀模型法檢測每個圖像子集中的人臉圖像，并提取人臉特征； 提取人臉特征具體步驟為：（1)人臉圖像歸一化；（2)分別使用多個不同方向、不同尺度的 Gabor濾波器與歸一化圖像進(jìn)行卷積，取卷積結(jié)果的幅值部分，即Gabor幅值圖譜（Gabor Ma即itude Pictures，GMP); (3化BP將每幅Gabor幅值圖譜轉(zhuǎn)換為局部Gabor二值模式圖譜 (Xocal Gabor Bina;ryF>atte;rn，LGBP); (4)將每個局部Gabor二值模式圖譜分成指定大小的 非重疊矩形塊，并計算每塊的直方圖；（5)融合所有局部Gabor二值模式圖譜的直方圖串接 為一個直方圖序列，作為人臉圖像的特征描述。
[0053] 步驟2,利用層次采樣并行AP聚類算法并行地將步驟1所得人臉圖像集分配到聚類 中屯、，其流程如圖1所示，具體步驟為：
[0054] 步驟2.1:計算每個新聞圖像子集中人臉圖像數(shù)據(jù)點(diǎn)的相似度，同時并行運(yùn)行AP聚 類，生成各自的聚類中屯、，數(shù)據(jù)點(diǎn)相似度計算公式：
[0化5] Cl)
[00?] 其中，Simij是圖像;Uh和圖像扣的相似度，imageik/imagejk是圖像ith/ jth的第kth個 特征，Nn?是人臉圖像集的總數(shù)目，K是特征維數(shù)；
[0057] 步驟2.2:融合每個數(shù)據(jù)子集的聚類中屯、，并隨機(jī)在每個聚類中挑選多個樣本，共 同形成一組新的數(shù)據(jù)，同樣依據(jù)公式(1)計算新數(shù)據(jù)所有點(diǎn)的相似度，再次使用AP聚類得到 最終的聚類中屯、；
[005引步驟2.3:對于人臉圖像，依照公式（1)計算其與所有聚類中屯、的相似度，將其劃歸 到相似度最大的聚類中屯、。
[0059] 步驟3,找到步驟2聚類中屯、中每個人臉圖像相應(yīng)的新聞字幕，使用命名實(shí)體識別 方法檢測新聞字幕中的候選人名，手動合并同一個人的不同人名書寫方式；
[0060] 步驟4,統(tǒng)計步驟3檢測到的候選人名W及所有候選人名在整個新聞數(shù)據(jù)集上的出 現(xiàn)次數(shù)，依照降序進(jìn)行排序，隨后對候選人名進(jìn)行標(biāo)記，具體過程為：多示例學(xué)習(xí)中的包是 指新聞圖像中檢測到的人臉圖像，包的標(biāo)簽是新聞字幕中檢測的人名列表。在每個包中，每 幅人臉圖像都有一個人名列表與之對應(yīng)，人名列表中的每個人名即包中的示例。針對包中 的人名，提取其特征信息。本發(fā)明使用的特征信息如下：（1)人名位置:人名在新聞字幕中出 現(xiàn)的位置。（2)人名相對位置:同一新聞字幕中，人名在人名列表中的位置，即人名與其他人 名的相對位置。（3)語句相對位置:人名所在語句在新聞字幕的所有語句的相對位置。（4)位 置描述:新聞字幕中描述人名的人臉圖像出現(xiàn)在新聞圖像中的位置描述，比如"左"，"中"， 。右'等。
[0061] 每一個人臉圖像對應(yīng)一個包，與人臉圖像對應(yīng)的人名列表為包中的示例，將出現(xiàn) 次數(shù)最多的候選人名標(biāo)記為Max-name，如果包中包含Max-name，則標(biāo)注包為正包，Max-name 為正示例，其余人名皆為反示例，反之，標(biāo)注包為反包，所有人名皆為反示例。
[0062] 步驟5,在e-MIL問題中，一個正包包含唯一的正示例，則該包被標(biāo)記為正包的概率 取決于包中一個示例生成正標(biāo)簽同時其他示例生成反標(biāo)簽的概率，利用Max-ED方法和 IMax-ED方法進(jìn)行人臉標(biāo)注:對于假設(shè)空間h = (Ji，O)中的正包和反包，其中，Ji是概念點(diǎn)的坐 標(biāo)，O是不同特征的權(quán)重，采用不同的方法將包標(biāo)簽的概率轉(zhuǎn)換為示例標(biāo)簽的概率：
[0063] 步驟5.1:對于正包，Max-name的標(biāo)簽為1，其余人名標(biāo)簽為0,對于反包，所有人名 標(biāo)簽為0,依據(jù)公式(2)計算標(biāo)記包為正包的概率：
[0064]
(2)
[0065] 其中，P(+I Bi, h)是包Bi標(biāo)為正包的概率，Zi是歸一化參數(shù)，Ai = IH-Um是包Bi中的 示例數(shù)目），巧+1啤W，句是正示例Max-name標(biāo)記為馬的概率，P(- I Bik,h)是其余示例Bik 為反示例的概率；
[0066] 同理，依據(jù)公式(3)計算標(biāo)記包為反包的概率：
[0067] (3)
[006引其中，Zi是歸一化參數(shù)，P(-|Bi，h)是包Bi標(biāo)為反包的概率，P(-|Bij，h)是示例扣功 反示例的概率；
[0069] 依據(jù)概率巧為1的條件.剛依據(jù)公式（4)計算Zi: W70]
(4)
[0071] 其中，Zi是歸一化參數(shù)，、=m-l(ni是包Bi中的示例數(shù)目），巧+|巧心、，句是正示例 Max-name標(biāo)記為4品。、的概率，P(-1 Bik，h)是其余示例B化為反示例的概率，P(-1 Bij，h)是示例 Bij為反示例的概率；
[0072] P(+|Bu，h)與每個示例和假設(shè)空間h的距離負(fù)相關(guān)，則計算公式如下：
[0073]
[0074] P(-|Bij,h) = l-P(+|Bij,h) (5)
[0075] 其中，P(+|Bu，h)是示例Bu為正示例的概率，P(-|Bu，h)是示例Bu為反示例的概 率，y是概念點(diǎn)的坐標(biāo)，O是不同特征的權(quán)重。
[0076] Ulll庶巧R。'…。舟A化巧/,V才計算假設(shè)空間hED;
[0077]
[007引 巧）
[0079] 其中，hED是最優(yōu)假設(shè)空間，P(li|Bi，h)是包Bi標(biāo)簽的概率，Ii是包Bi的標(biāo)簽，P(+|Bi， h)是包Bi為正包的概率，P(-I Bi，h)是包Bi為反包的概率。
[0080] 步驟5.2:由于光照條件、多種表情、多種姿態(tài)、部分遮擋等因素的影響，W及聚類 算法本身固有的缺陷，使得同一類的人臉圖像不能完全屬于某一個人。例如，當(dāng)奧己馬的人 名出現(xiàn)在新聞字幕中，而他的人臉圖像沒有同時出現(xiàn)在相應(yīng)的新聞圖像中，此時，如果該新 聞圖像中某個人臉圖像被聚類到奧己馬的人臉圖像類中，依據(jù)本發(fā)明標(biāo)識正包的原則，貝U 該包標(biāo)識為正包，事實(shí)上，該包應(yīng)該標(biāo)識為反包。在本發(fā)明中，該類包被稱為虛假正包。在虛 假正包中，依據(jù)原始孤算法的定義，P化IBi+)將非常小甚至為0。計算邸化)時，使用聯(lián)合概率 將極大的影響了Max-ED算法的性能。為了避免虛假正包的影響，本發(fā)明進(jìn)一步提出迭代 Max-ED(Iter曰tive Max Exclusive Density，IMax-ED)算法：
[0081 ]依據(jù)Max-name原則，挑選每個正包中的正示例，并將運(yùn)些正示例作為初始點(diǎn)，依據(jù) 公式(6)通過梯度下降法求解最優(yōu)的假設(shè)空間hED;
[0082] 步驟5.3:對于正包，Max-name的標(biāo)簽為1，其余人名標(biāo)簽為0,對于反包，所有人名
標(biāo)簽為。壬Il田擊趣G。醉媽化引巧巧巧k…巧/入才作、更新示@|:
[0083] (7)
[0084] 其中，p(+I Xik,h)指正包中示例X化的概率，yij是示例X化的標(biāo)簽；
[0085] 設(shè)置最大迭代參數(shù)，或者設(shè)置參數(shù)6，0 = 11^(4,〇)-111(4,〇)，如果0>6，* = *+1，重 復(fù)步驟5.1和5.2;反之0<6，116。= 11^(4,〇);上述條件循環(huán)，至最大迭代次數(shù)終止運(yùn)算，得最 優(yōu)假設(shè)空間hED;
[0086] 步驟5.4:利用最優(yōu)假設(shè)空間hED和公式(7)實(shí)現(xiàn)人臉標(biāo)注。
[0087] 實(shí)施例
[008引步驟I = FAN-Large數(shù)據(jù)集總共包含125479條新聞名人圖像，則圖像編號為巧U 125479,則編號1-1000為第一組圖像，依次編號1001-2000為第二組圖像，其他W此類推。貝U 整個新聞圖像集被劃分為126組新聞圖像子集，其中每個新聞圖像子集大約包含1000幅新 聞名人圖像。接下來，采用主動形狀模型(ASM,Active shape mode)方法定位圖像集中的人 臉特征點(diǎn)（眉毛、眼睛、鼻子、嘴己等），總共68個點(diǎn)。最后，提取特征：（1)人臉圖像統(tǒng)一歸一 化到80*60像素（左右外眼角像素統(tǒng)一歸一化到50個像素）；（2)分別使用40個不同方向、不 同尺度的Gabor濾波器與歸一化圖像進(jìn)行卷積，取卷積結(jié)果的幅值部分，即Gabor幅值圖譜 (Gabor Magnitude Pic1:ures，GMP); (3化BP將每幅Gabor幅值圖譜轉(zhuǎn)換為局部Gabor二值模 式圖譜(Xocal Gabor Bina;ryF*atte;rn，LGBP); (4)將每個局部Gabor二值模式圖譜分成9塊 區(qū)域的非重疊矩形塊，并計算每塊的直方圖；（5)融合所有局部Gabor二值模式圖譜的直方 圖串接為一個直方圖序列，得到3600維特征。
[0089] 步驟2: (1)針對步驟1得到的126組新聞圖像子集，根據(jù)公式（1)計算每個數(shù)據(jù)子集 內(nèi)數(shù)據(jù)點(diǎn)的相似度，同時并行運(yùn)行AP聚類，生成各自的聚類中屯、共360個。（2)融合每個數(shù)據(jù) 子集的聚類中屯、，并隨機(jī)在每個聚類中挑選10個樣本，共同形成一組新的數(shù)據(jù)，根據(jù)公式 (I)計算新數(shù)據(jù)所有點(diǎn)的相似度，再次使用AP聚類得到最終的聚類中屯、101個。（3)對于人臉 圖像，依據(jù)公式（1)計算其與所有聚類中屯、的相似度，將其劃歸到相似度最大的聚類中屯、 去。
[0090] 步驟3:找到步驟2聚類中屯、中每個人臉圖像對應(yīng)的新聞字幕。接下來，使用命名實(shí) 體識別方法檢測新聞字幕中的候選人名，并且手動合并同一個人的不同人名書寫方式。
[0091] 步驟4:統(tǒng)計步驟3檢測到的候選人名，計算所有候選人名在整個新聞數(shù)據(jù)集上的 出現(xiàn)次數(shù)，依照降序進(jìn)行排序。并將出現(xiàn)次數(shù)最多的候選人名標(biāo)記為Max-name,如果包中包 含Max-name，則標(biāo)注包為正包，Max-name為正示例，其余人名皆為反示例，反之，標(biāo)注包為反 包，所有人名皆為反示例。
[0092] 步驟5:利用Max-邸方法和IMax-邸方法進(jìn)行人臉標(biāo)注。人臉標(biāo)注的具體過程為：
[0093] Max-ED 方法：
[0094] 初始化示例標(biāo)簽:對于正包，Max-name的標(biāo)簽為1，其余人名標(biāo)簽為0，對于反包，所 有人名標(biāo)簽為0。
[0095] 步驟5.1:如果包中包含Max-name，則依據(jù)公式（2)計算標(biāo)記為正包的概率，相反， 則依據(jù)公式(3)計算標(biāo)記為反包的概率。
[0096] 步驟5.2:依據(jù)Max-name原則，挑選每個正包中的正示例，并將運(yùn)些正示例作為初 始點(diǎn)，依據(jù)公式(6)通過梯度下降法求解最優(yōu)的假設(shè)空間hED。
[0097] IMax-邸方法，流程如圖2所示：
[0098] 初始化示例標(biāo)簽:對于正包，Max-name的標(biāo)簽為1，其余人名標(biāo)簽為0。對于反包，所 有人名標(biāo)簽為0;
[0099] 步驟5.3:利用步驟5.2所得假設(shè)空間hED及公式(7)更新示例，設(shè)置最大迭代參數(shù)為 1000，或者設(shè)置參數(shù)￡ = 0.01，如果目>￡，1 = 1+1,重復(fù)步驟5.1和5.2;反之目<￡血。=11"1(11， O)。上述條件循環(huán)，至最大迭代次數(shù)終止運(yùn)算。最終得到最優(yōu)假設(shè)空間hED。
[0100] 步驟5.4:使用最優(yōu)假設(shè)空間hED和(7)實(shí)現(xiàn)人臉標(biāo)注。
[0101 ]本發(fā)明提出了基于改進(jìn)Max-抓和IMax-抓的人臉標(biāo)注新算法。針對手工標(biāo)注新聞 圖像中正負(fù)包，耗時耗力，本發(fā)明通過將邸和Iter-邸視頻人臉標(biāo)注算法引入新聞圖像人物 標(biāo)注領(lǐng)域，并改進(jìn)了正/反包分配方法，在降低虛假正包對標(biāo)注影響的基礎(chǔ)上，提出了改進(jìn) 的Max-抓和IMax-ED人臉標(biāo)注新算法。利用FAN-Large數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，新聞圖像人 臉的正確識別率提局了42.4%。
【主權(quán)項】
1. 基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在于，具體按照以下步驟 實(shí)施： 步驟1，將所有新聞圖像編號，依據(jù)編號從小到大將圖像均勻地分成數(shù)量相近的多個圖 像子集，隨后采用人臉檢測方法檢測每個圖像子集中的人臉圖像，并提取人臉特征； 步驟2,利用層次采樣并行AP聚類算法并行地將步驟1所得人臉圖像集分配到聚類中 心； 步驟3,找到步驟2聚類中心中每個人臉圖像相應(yīng)的新聞字幕，使用命名實(shí)體識別方法 檢測新聞字幕中的候選人名，手動合并同一個人的不同人名書寫方式； 步驟4,統(tǒng)計步驟3檢測到的候選人名以及所有候選人名在整個新聞數(shù)據(jù)集上的出現(xiàn)次 數(shù)，依照降序進(jìn)行排序，隨后對候選人名進(jìn)行標(biāo)記； 步驟5，利用Max-ED方法和IMax-ED方法進(jìn)彳丁人臉標(biāo)注。2. 根據(jù)權(quán)利要求1所述的基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在 于，步驟1中，人臉檢測方法為主動形狀模型法。3. 根據(jù)權(quán)利要求1所述的基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在 于，步驟1中，人臉特征為局部Gabor二值模式直方圖序列，具體提取特征步驟為:a.人臉圖 像歸一化;b.分別使用多個不同方向、不同尺度的Gabor濾波器與歸一化圖像進(jìn)行卷積，取 卷積結(jié)果的幅值部分，即Gabor幅值圖譜;c. LBP將每幅Gabor幅值圖譜轉(zhuǎn)換為局部Gabor二 值模式圖譜;d.將每個局部Gabor二值模式圖譜分成指定大小的非重疊矩形塊，并計算每塊 的直方圖；e.融合所有局部Gabor二值模式圖譜的直方圖串接為一個直方圖序列，作為人臉 圖像的特征描述。4. 根據(jù)權(quán)利要求1所述的基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在 于，步驟2的具體步驟為： 步驟2.1:計算每個新聞圖像子集中人臉圖像數(shù)據(jù)點(diǎn)的相似度，同時并行運(yùn)行AP聚類， 生成各自的聚類中心，數(shù)據(jù)點(diǎn)相似度計算公式： 一⑴ 其中，simij是圖像ith和圖像jth的相似度，imageik/imagejk是圖像ith/jth的第kth個特征， Nnum是人臉圖像集的總數(shù)目，K是特征維數(shù)； 步驟2.2:融合每個數(shù)據(jù)子集的聚類中心，并隨機(jī)在每個聚類中挑選多個樣本，共同形 成一組新的數(shù)據(jù)，同樣依據(jù)公式（1)計算新數(shù)據(jù)所有點(diǎn)的相似度，再次使用AP聚類得到最終 的聚類中心； 步驟2.3:對于人臉圖像，依照公式（1)計算其與所有聚類中心的相似度，將其劃歸到相 似度最大的聚類中心。5. 根據(jù)權(quán)利要求1所述的基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在 于，步驟4中，具體標(biāo)記過程為： 每一個人臉圖像對應(yīng)一個包，與人臉圖像對應(yīng)的人名列表為包中的示例，將出現(xiàn)次數(shù) 最多的候選人名標(biāo)記為Max-name，如果包中包含Max-name，則標(biāo)注包為正包，Max-name為正 示例，其余人名皆為反示例，反之，標(biāo)注包為反包，所有人名皆為反示例。6.根據(jù)權(quán)利要求1所述的基于多示例學(xué)習(xí)進(jìn)行新聞圖像中人臉標(biāo)注的方法，其特征在 于，步驟5中，人臉標(biāo)注的具體過程為： 對于假設(shè)空間h=(y，〇)中的正包和反包，其中，μ是概念點(diǎn)的坐標(biāo)，〇是不同特征的權(quán) 重，采用不同的方法將包標(biāo)簽的概率轉(zhuǎn)換為示例標(biāo)簽的概率： 步驟5.1:依據(jù)公式(2)計算標(biāo)記包為正包的概率：C2) 其中，P(+|Bi，h)是包Bi標(biāo)為正包的概率，Zi是歸一化參數(shù)，Ai = ni-l(m是包Bi中的示例 數(shù)目），八+1，屬是正示例Max-name標(biāo)記為爲(wèi).,_的概率，P(- | Blk，h)是其余示例Blk為反 示例的概率； 同理，依據(jù)公式(3)計算標(biāo)記包為反包的概率：(3) 其中，Zi是歸一化參數(shù)，p(-I Bi，h)是包Bi標(biāo)為反包的概率，p(-I Bij，h)是示例Bij為反示 例的概率； 依據(jù)概率和為1的條件，則依據(jù)公式(4)計算Zi:(4) 其中，Zi是歸一化參數(shù)，λ? = ΓΗ-1 (m是包Bi中的示例數(shù)目），I 肩是正示例Max- name標(biāo)記為化_的概率，P(-|Blk，h)是其余示例Blk為反示例的概率，Ρ(-|Β^，?!)是示例為 反示例的概率； P(+| ，h)與每個示例和假設(shè)空間h的距離負(fù)相關(guān)，則計算公式如下：P(-|Bij,h) = l-P(+|Bij,h) (5) 其中，P(+|B^，h)是示例By為正示例的概率，P(-|B^，h)是示例By為反示例的概率，μ是 概念點(diǎn)的坐標(biāo)，σ是不同特征的權(quán)重； 則根據(jù)Bayes理論，依據(jù)公式(6)計算假設(shè)空間hED:(6) 其中，hED是最優(yōu)假設(shè)空間，P (1 i | Bi，h)是包Bi標(biāo)簽的概率，1 i是包Bi的標(biāo)簽，P(+1 Bi，h)是 包Bi為正包的概率，P(-|Bi，h)是包Bi為反包的概率； 步驟5.2:依據(jù)Max-name原則，挑選每個正包中的正示例，并將這些正示例作為初始點(diǎn)， 依據(jù)公式(6)通過梯度下降法求解最優(yōu)的假設(shè)空間hED; 步驟5.3:利用步驟5.2所得假設(shè)空間hED及公式(7)更新示例： (7) 其中，p(+1 Xik，h)指正包中示例Xik的概率，yij是示例Xik的標(biāo)簽； 設(shè)置最大迭代參數(shù)，或者設(shè)置參數(shù)ε ,θιΜ+Ημ,σΡ?ιΥμ,σ)，如果θ>ε，t = t+l，重復(fù)步 驟5.1和5.2;反之θ < ε，hED = ht+1 (μ，σ);上述條件循環(huán)，至最大迭代次數(shù)終止運(yùn)算，得最優(yōu)假 設(shè)空間hED; 步驟5.4:利用最優(yōu)假設(shè)空間hED和公式(7)實(shí)現(xiàn)人臉標(biāo)注。
【文檔編號】G06K9/62GK105956563SQ201610298506
【公開日】2016年9月21日
【申請日】2016年5月6日
【發(fā)明人】蘇雪平, 李維
【申請人】西安工程大學(xué)