一種基于人臉的視頻標(biāo)注方法和視頻檢索方法
【專利摘要】本發(fā)明提供一種基于人臉的視頻標(biāo)注方法和視頻檢索方法，標(biāo)注方法包括：提取待標(biāo)注視頻中的人臉畫面及對應(yīng)的人臉特征，將人臉特征及其屬性信息合并后得到人臉元數(shù)據(jù)；對待標(biāo)注視頻文件中獲得的所有人臉特征進(jìn)行自動特征聚類，然后對特征類別進(jìn)行特征篩選和特征召回，得到特征類別集合P2和未分類特征集合Q2；對于P2中的各個元素，進(jìn)行所屬特征類別推薦并人工確認(rèn)，對于Q2中的各個元素，進(jìn)行未分類人臉特征推薦并人工確認(rèn)，對特征類別和未分類特征進(jìn)行姓名標(biāo)注，利用標(biāo)注后的特征類別與未分類人臉特征信息組成該視頻文件的視頻標(biāo)注文件。在視頻標(biāo)注過程中，將程序自動推薦與人工確認(rèn)結(jié)合起來，既保證了結(jié)果的準(zhǔn)確性，又提高了效率。
【專利說明】一種基于人臉的視頻標(biāo)注方法和視頻檢索方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻編目【技術(shù)領(lǐng)域】，具體涉及一種基于人臉的視頻標(biāo)注方法和視頻檢索方法。

【背景技術(shù)】
[0002]基于人臉的視頻標(biāo)注是指對視頻中包含的人臉進(jìn)行提取并標(biāo)注，將視頻中所有人臉標(biāo)注完成并整理成標(biāo)注文件，便于檢索和再利用。
[0003]現(xiàn)有的涉及基于人臉的視頻標(biāo)注方法的專利主要有基于人臉識別或人臉聚類的視頻編目方法，例如，申請?zhí)枮?01110453762.3的專利申請公開了一種基于人臉識別技術(shù)的自動編目方法，具體包括:接收人臉?biāo)夭膸?；接收多媒體文件；根據(jù)所述視頻文件獲取關(guān)鍵幀記錄及與之對應(yīng)的關(guān)鍵幀數(shù)據(jù)畫面；根據(jù)所述關(guān)鍵幀數(shù)據(jù)畫面獲取關(guān)鍵幀人臉畫面；根據(jù)所述關(guān)鍵幀人臉畫面查詢所述人臉?biāo)夭膸烊四槷嬅嫘畔?，獲取匹配人臉?biāo)夭奈谋拘畔?；根?jù)所述關(guān)鍵幀記錄對所述音頻文件進(jìn)行語言識別獲取關(guān)鍵幀編目文本；根據(jù)所述關(guān)鍵幀記錄在所述關(guān)鍵幀編目文本中合并所述人臉?biāo)夭奈谋拘畔ⅲ@取編目文件。該專利解決了無法通過視頻文件自動生成基于人臉的編目文件的問題，提高了基于人臉的視頻編目的自動化程度，節(jié)省了人力成本。
[0004]但是，在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)，上述專利申請至少具有以下不足:
[0005](I)需要提前建立人臉樣本庫:該方法需要提前建立并維護(hù)一個關(guān)鍵人物樣本庫，在人物樣本庫中預(yù)制感興趣人物的人臉樣本，借助該人臉樣本庫對視頻進(jìn)行人臉標(biāo)注；
(2)僅支持對關(guān)鍵人物進(jìn)行標(biāo)注:該方法只能識別樣本庫中的關(guān)鍵人物，導(dǎo)致其他大部分人物息丟失。


【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供一種基于人臉的視頻標(biāo)注方法和視頻檢索方法，用以解決上述問題。
[0007]本發(fā)明采用的技術(shù)方案如下:
[0008]本發(fā)明提供一種基于人臉的視頻標(biāo)注方法，包括以下步驟:
[0009]SI，當(dāng)需要對某一視頻文件進(jìn)行視頻標(biāo)注時，導(dǎo)入待標(biāo)注視頻文件；
[0010]S2，對所述待標(biāo)注視頻文件進(jìn)行鏡頭切分，得到視頻鏡頭序列；
[0011]S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關(guān)鍵幀，然后對所述關(guān)鍵幀進(jìn)行人臉檢測，獲得每個鏡頭中出現(xiàn)的各個人物的人臉圖片；其中，所述關(guān)鍵幀指視頻序列中具有代表性的視頻幀；
[0012]S4，對所述人臉圖片進(jìn)行預(yù)處理；
[0013]S5，對預(yù)處理后的人臉圖片進(jìn)行人臉特征提取，得到與每張人臉圖片唯一對應(yīng)的人臉特征；
[0014]S6，獲得每一個人臉特征的屬性信息，將人臉特征及其屬性信息合并后即得到原始的人臉元數(shù)據(jù)；其中，所述人臉特征的屬性信息包括:該人臉特征所屬的視頻文件的視頻ID、該人臉特征在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特征在所屬鏡頭中的視頻幀序號、該人臉特征在所屬視頻文件中出現(xiàn)時間、該人臉特征對應(yīng)的人臉圖片的保存路徑、該人臉特征為未分類狀態(tài)、該人臉特征所屬的特征類別ID為O ;其中，該人臉特征所屬的特征類別ID指:該人臉特征所屬的特征類別在特征類別庫中的標(biāo)識，初始態(tài)時，該人臉特征所屬的特征類別ID為O ;該人臉特征是否已分類具體包括兩種狀態(tài):人臉特征已分類狀態(tài)和人臉特征未分類狀態(tài)，初始態(tài)時，每一個人臉特征均為未分類狀態(tài)；
[0015]S7，將所述待標(biāo)注視頻文件中獲得的所有原始的人臉元數(shù)據(jù)存入預(yù)建立的人臉特征庫；
[0016]S8，將所述待標(biāo)注視頻文件中獲得的所有人臉特征進(jìn)行自動特征聚類，設(shè)共有N個人臉特征，將相似度超過第一閾值的若干個人臉特征聚為一個特征類別，由此得到由多個特征類別組成的特征類別集合Po ;將與其他任何一個人臉特征之間的相似度均低于第一閾值的人臉特征聚合在一起，形成未分類特征集合Qtl ；
[0017]S9，對S8形成的特征類別集合Ptl中的每一個特征類別進(jìn)行特征篩選，判斷每一個特征類別中是否存在分類錯誤的人臉特征，若存在，則將該分類錯誤的人臉特征從其所在的特征類別刪除，并將該分類錯誤的人臉特征添加到未分類特征集合Qo，由此得到篩選后的特征類別集合P1和未分類特征集合Q1 ;同時，在人臉特征庫中更新特征類別集合P1中所有人臉特征的屬性信息，將人臉特征從未分類狀態(tài)更新為已分類狀態(tài)；
[0018]S10，在得到特征類別集合P1后，對于特征類別集合P1中的每一個特征類別P1+進(jìn)行特征類別召回操作，召回漏掉的人臉特征，即:判斷人臉特征庫中是否存在與特征類別Pw相似度超過第二閾值的至少一個未分類的人臉特征i，如果有，則將得到的各個人臉特征i添加到推薦特征集合FeatureSet中；然后，人工判斷推薦特征集合FeatureSet中是否存在與特征類別Pw屬于同一個人的人臉特征，如果有，則將該人臉特征i添加到特征類別Pw中，同時將人臉特征庫中該人臉特征i的屬性由未分類狀態(tài)修改為已分類狀態(tài)，由此得到召回后的特征類別集合P2和未分類特征集合Q2 ;
[0019]S11，預(yù)建立有特征類別庫，該特征類別庫存儲其他多個視頻標(biāo)注得到的特征類別魚A P:? 口廣 3，
[0020]對于本次導(dǎo)入視頻形成的特征類別集合P2,每當(dāng)特征類別集合P2中的一個特征類別按S12中的方法進(jìn)行標(biāo)注后，即將標(biāo)注后的特征類別移入特征類別集合P4 ;初始時，特征類別集合P4為空；
[0021]對于特征類別集合P2，執(zhí)行S12 ;對于未分類特征集合Q2，執(zhí)行S13 ;
[0022]S12，對于特征類別集合P2中的任何一個元素，記為特征類別j，均執(zhí)行以下步驟:
[0023]S12.1，判斷特征類別集合P3和P4中是否存在與特征類別j相似度超過第三閾值的特征類別，如果存在，則執(zhí)行S12.2 ;如果不存在，則執(zhí)行S12.4 ；
[0024]S12.2，將與特征類別j相似度超過第三閾值的特征類別稱為推薦特征類別；然后將特征類別集合P3和P4中的所有推薦特征類別組成一個推薦類別集合S ;然后執(zhí)行S12.3 ；
[0025]S12.3，人工判斷推薦類別集合S中是否存在與特征類別j屬于同一個人的推薦特征類別；
[0026]如果存在，則人工選擇某個相應(yīng)的推薦特征類別Ctl,若Ctl屬于P4,則將特征類別j并入Ctl ;若Ctl屬于P3,則向特征類別j中增加以下標(biāo)記信息:與推薦特征類別Ctl屬于同一個人；如果Ctl對應(yīng)的姓名為“陌生人”，則執(zhí)行S12.4 ；
[0027]如果不存在，則不向特征類別j中增加標(biāo)記信息，然后執(zhí)行S12.4 ；
[0028]S12.4，對特征類別j進(jìn)行姓名標(biāo)注，若知道特征類別j對應(yīng)的人物姓名，則將特征類別j對應(yīng)的人物姓名標(biāo)注到特征類別j上，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合P4;
[0029]若不知道特征類別j對應(yīng)的人物姓名，則將特征類別j的人物姓名標(biāo)注為“陌生人”，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合P4 ；
[0030]S13，對于未分類特征集合Q2中的任何一個元素，記為未分類人臉特征k，均執(zhí)行以下步驟:
[0031]S13.1，判斷人臉特征庫中是否存在與未分類人臉特征k相似度超過第四閾值的未分類人臉特征，如果有，則將與未分類人臉特征k相似度超過第四閾值的未分類人臉特征稱為推薦未分類人臉特征；然后，將人臉特征庫中的所有推薦未分類人臉特征組成一個推薦未分類人臉特征集合f ;
[0032]S13.2，人工判斷推薦未分類人臉特征集合f中是否存在與未分類人臉特征k屬于同一個人的推薦未分類人臉特征，如果存在，將該推薦未分類人臉特征與未分類人臉特征k組成一個新特征類別，將該新特征類別加入到S8獲得的特征類別集合Ptl中，轉(zhuǎn)到S8重新執(zhí)行S8-S12 ;同時，將該推薦未分類人臉特征在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)，將該未分類人臉特征k在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)；
[0033]如果不存在，則判斷特征類別集合P3和P4中是否存在與未分類人臉特征k相似度超過第五閾值的特征類別，如果存在，則執(zhí)行S13.3 ;如果不存在，則執(zhí)行S13.4 ；
[0034]S13.3，將特征類別集合P3或P4中與未分類人臉特征k相似度超過第五閾值的特征類別組成一個推薦類別集合T ;然后人工判斷推薦類別集合T中是否存在與未分類人臉特征k屬于同一個人的推薦特征類別，如果不存在，則執(zhí)行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應(yīng)的特征類別C1，若C1屬于P4,則將未分類人臉特征k加入到C1,并將未分類人臉特征k標(biāo)記為已分類；若C1屬于P3,則向未分類人臉特征k中增加以下標(biāo)記信息:與特征類別C1屬于同一個人，并將未分類人臉特征k標(biāo)記為已分類；如果C1對應(yīng)的姓名為“陌生人”，則執(zhí)行S135 ；
[0035]S13.4，對未分類人臉特征k進(jìn)行姓名標(biāo)注，若知道人臉特征k對應(yīng)的人物姓名，則對應(yīng)的人物姓名標(biāo)注到未分類人臉特征k上；若不知道人臉特征k對應(yīng)的人物姓名，則將未分類人臉特征k的人物姓名標(biāo)注為“陌生人”；
[0036]S13.5，對特征類別C1進(jìn)行姓名標(biāo)注，若知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1對應(yīng)的人物姓名標(biāo)注到特征類別C1上，若不知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1的人物姓名標(biāo)注為“陌生人”；
[0037]S14，對于增加有標(biāo)記信息的特征類別或人臉特征，依標(biāo)記信息中記載的內(nèi)容，將相應(yīng)的特征類別或人臉特征合并到特征類別庫中對應(yīng)的特征類別中，并更新人臉特征庫中的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0038]對于未增加有標(biāo)記信息的特征類別，直接將其存儲到特征類別庫中，并更新人臉特征庫中相應(yīng)的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0039]由此形成新的特征類別庫；
[0040]另外，利用S12得到的多個已標(biāo)注姓名的特征類別與S13得到的多個已標(biāo)注姓名的未分類人臉特征信息組成該視頻文件的視頻標(biāo)注文件。
[0041]優(yōu)選的，S2中，所述鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
[0042]優(yōu)選的，S4中，對所述人臉圖片進(jìn)行預(yù)處理，具體指:
[0043]對所述人臉圖片進(jìn)行去重，所述去重指去除同一個鏡頭中同一個人重復(fù)的人臉圖片，并通過姿態(tài)判別技術(shù)判斷同一個人各張人臉圖片的姿態(tài)，保留最接近正臉的人臉圖片，并將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭；
[0044]然后，對去重后的人臉圖片進(jìn)行特征點定位、相似變換、光照處理和姿態(tài)矯正操作。
[0045]優(yōu)選的，S5中，所述人臉特征提取具體為:從預(yù)處理后的人臉圖片查找到最具有鑒別性的描述信息并將其轉(zhuǎn)化為一個向量，該向量即為提取到的人臉特征。
[0046]優(yōu)選的，S8具體為:
[0047]S8.1，建立特征類別集合，初始化特征類別數(shù)Nclass為0，特征類別集合為空；
[0048]S8.2，讀取一個未分類的人臉特征T (η)，如果特征類別數(shù)Nclass大于0，設(shè)特征類別數(shù)Nclass值為b,則b個特征類別記為Class (k), k e {I, 2，…，b};分別計算T (η)與每一個特征類別Class (k)之間的相似度S (n, k),由此得到b個相似度S (n, k);選擇與T (η)相似度最大的特征類別Class (k0)，對應(yīng)的相似度記為S (n, k0)；
[0049]S8.3，如果S(Akci)大于或等于閾值Th，則認(rèn)為人臉特征T(n)屬于特征類別Class (k0),將T (η)添加到Class (k0)中，并將T (η)標(biāo)記為已分類，轉(zhuǎn)到S8.6 ；
[0050]反之，如果S(Akci)小于閾值Th，則認(rèn)為人臉特征T (η)不屬于已有的特征類別，轉(zhuǎn)到 S8.4 ；
[0051]S8.4,遍歷其他未分類的人臉特征T (m),計算T (η)與T (m)之間的相似度S (n, m)；選擇與T (η)相似度最大的特征T (Hi0)，對應(yīng)的相似度記為S (n, m0)；
[0052]S8.5,如果S(n，mQ)大于或等于閾值Thl,則認(rèn)為人臉特征T (η)與T (mQ)屬于同一個人，創(chuàng)建一個新的特征類別Class (Nclass+1),將T (η)與T (m0)添加到Class (Nclass+1)中，并將Nclass增加I ;并將T(n)與T (Hici)標(biāo)記為已分類；
[0053]反之，如果S (n, k0)小于閾值Th，轉(zhuǎn)到S8.6 ；
[0054]S8.6，判斷是否還有未處理的人臉特征，如果有，則轉(zhuǎn)到S8.2，否則結(jié)束操作步驟；由此形成的多個特征類別即組成特征類別集合Ptl ;由此形成的多個未分類特征即組成未分類特征集合Q(|。
[0055]優(yōu)選的，S8.2中，
[0056]所述計算T(n)與每一個特征類別Class(k)之間的相似度S(n，k)具體包括以下步驟:
[0057]遍歷Class (k)中的N(k)個人臉特征TC(k, m), m e {1，2，…，N(k)}，分別計算人臉特征T(n)與人臉特征TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；
[0058]計算N(k)個相似度31^，111)的平均值Mt (k)，將平均值即為T (η)與Class(k)之間的相似度。
[0059]優(yōu)選的，S9中，通過人工檢查方式對每一個特征類別進(jìn)行特征篩選。
[0060]優(yōu)選的，SlO中，推薦特征集合FeatureSet通過以下方法獲得:
[0061]S10.1,新建推薦特征集合FeatureSet,初始化特征數(shù)NFeature為O,特征集合為空；將特征類別Pw記為特征類別Class (k)；
[0062]S10.2,讀取一個人臉特征庫中未分類的人臉特征T (η),計算T (η)與特征類別Class (k)的相似度 S (n, k)；
[0063]S10.3，gS(n，k)大于或等于閾值Th2，則認(rèn)為人臉特征T (η)與與特征類別Pw相似，將T (η)添加到FeatureSet中，并將NFeature加一；
[0064]S10.4，判斷是否還有未分類人臉特征，如果有，則轉(zhuǎn)到S10.2，否則轉(zhuǎn)到S10.5 ；
[0065]S10.5,對FeatureSet中的特征按相似度由大到小進(jìn)行排序,則得到最終的推薦特征集合FeatureSet。
[0066]本發(fā)明還提供一種視頻檢索方法，包括以下步驟:
[0067]S15，在通過權(quán)利要求1中的視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人物姓名的檢索請求后,遍歷所述特征類別庫,通過匹配人物姓名，得到已標(biāo)注有該人物姓名的特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成；
[0068]S16，分別以w個人臉特征作為檢索關(guān)鍵詞，查詢?nèi)四樚卣鲙欤玫脚c每個人臉特征對應(yīng)的人臉元數(shù)據(jù)；由此得到w個人臉元數(shù)據(jù)；
[0069]S17，分別分析w個人臉元數(shù)據(jù)，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應(yīng)的視頻文件中出現(xiàn)被檢索人物的時間。
[0070]優(yōu)選的，在S16之前，還包括:
[0071]在通過權(quán)利要求1中的視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人臉圖片的檢索請求后，對輸入的人臉圖片進(jìn)行人臉檢測以及人臉規(guī)范化處理，得到規(guī)范化后的人臉圖片；
[0072]從規(guī)范化后的人臉圖片中提取人臉特征F ；
[0073]遍歷人臉特征庫，分別計算人臉特征F與人臉特征庫中代表特征RF(k)的相似度sT (k)，選擇sT (k)的最大值sT CO對應(yīng)的人臉特征；Sst CO大于Th3，則獲取其所屬特征類別ID，否則認(rèn)為沒有檢索到對應(yīng)的視頻；
[0074]基于獲取到的特征類別ID查找特征類別庫，查找到特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成；然后執(zhí)行S16。
[0075]本發(fā)明的有益效果如下:
[0076]本發(fā)明提供的一種基于人臉的視頻標(biāo)注方法和視頻檢索方法，具有以下優(yōu)點:
[0077](I)不需要預(yù)制人臉樣本庫，可以對視頻中出現(xiàn)的各種人物進(jìn)行視頻標(biāo)注，擴(kuò)大的視頻標(biāo)注的范圍；
[0078](2)在視頻標(biāo)注過程中，將程序自動推薦與人工確認(rèn)結(jié)合起來，既保證了結(jié)果準(zhǔn)確性，又提聞了效率；
[0079](3)可高效的實現(xiàn)將不同視頻文件中的同一個人物的人臉特征聚為一個類別的效果，易于進(jìn)行基于人物姓名或人物圖片等的視頻檢索。

【專利附圖】

【附圖說明】
[0080]圖1為本發(fā)明提供的基于人臉的視頻標(biāo)注方法的流程示意圖。

【具體實施方式】
[0081]以下結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明:
[0082]如圖1所示，本發(fā)明提供一種基于人臉的視頻標(biāo)注方法，包括以下步驟:
[0083]SI，當(dāng)需要對某一視頻文件進(jìn)行視頻標(biāo)注時，導(dǎo)入待標(biāo)注視頻文件；
[0084]具體的，可獲取待標(biāo)注視頻文件的存儲路徑和文件名，并將以上信息存入視頻信息庫，通過查找視頻信息庫，導(dǎo)入待標(biāo)注視頻文件。其中，視頻信息庫指存儲各種不同視頻文件的數(shù)據(jù)庫。
[0085]S2，對所述待標(biāo)注視頻文件進(jìn)行鏡頭切分，得到視頻鏡頭序列；
[0086]具體的，鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
[0087]S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關(guān)鍵幀，然后對所述關(guān)鍵幀進(jìn)行人臉檢測，獲得每個鏡頭中出現(xiàn)的各個人物的人臉圖片；其中，所述關(guān)鍵幀指視頻序列中具有代表性的視頻幀；例如，如果一個鏡頭中出現(xiàn)3個不同的人物，則需要獲得每個人物在該鏡頭中的人臉圖片，并且，所獲得的每張人臉圖片只包含唯一的一個人物圖像。
[0088]本步驟中，人臉檢測采用人臉特征訓(xùn)練Adaboost分類器的方法，其中人臉特征可以采用Haar特征、LBP特征或HOG特征等其他人臉特征。
[0089]S4，對所述人臉圖片進(jìn)行預(yù)處理；
[0090]本步驟中，人臉圖片預(yù)處理方法根據(jù)實際需要靈活設(shè)定，包括但不限于以下方法:
[0091]對所述人臉圖片進(jìn)行去重，所述去重指去除同一個鏡頭中同一個人重復(fù)的人臉圖片，并通過姿態(tài)判別技術(shù)判斷同一個人各張人臉圖片的姿態(tài)，保留最接近正臉的人臉圖片，并將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭；
[0092]然后，對去重后的人臉圖片進(jìn)行特征點定位、相似變換、光照處理和姿態(tài)矯正等等操作。
[0093]S5，對預(yù)處理后的人臉圖片進(jìn)行人臉特征提取，得到與每張人臉圖片唯一對應(yīng)的人臉特征；
[0094]對人臉特征提取是指:從預(yù)處理后的人臉圖片查找到最具有鑒別性的描述信息并將其轉(zhuǎn)化為一個向量，該向量即為提取到的人臉特征。
[0095]所提取的人臉特征可以采用PCA+LDA特征、LBP特征、Gabor特征、LGBP特征、HSLGBP特征、LBP變種特征、Gabor變種特征或多特征結(jié)合；
[0096]S6，獲得每一個人臉特征的屬性信息，將人臉特征及其屬性信息合并后即得到原始的人臉元數(shù)據(jù)；其中，所述人臉特征的屬性信息包括:該人臉特征所屬的視頻文件的視頻ID、該人臉特征在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特征在所屬鏡頭中的視頻幀序號、該人臉特征在所屬視頻文件中出現(xiàn)時間、該人臉特征對應(yīng)的人臉圖片的保存路徑、該人臉特征為未分類狀態(tài)、該人臉特征所屬的特征類別ID為O ;其中，該人臉特征所屬的特征類別ID指:該人臉特征所屬的特征類別在特征類別庫中的標(biāo)識，初始態(tài)時，該人臉特征所屬的特征類別ID為O ;該人臉特征是否已分類具體包括兩種狀態(tài):人臉特征已分類狀態(tài)和人臉特征未分類狀態(tài)，初始態(tài)時，每一個人臉特征均為未分類狀態(tài)；
[0097]S7，將所述待標(biāo)注視頻文件中獲得的所有原始的人臉元數(shù)據(jù)存入預(yù)建立的人臉特征庫；
[0098]需要說明的是，本步驟中，當(dāng)將本次需要標(biāo)注的視頻文件所對應(yīng)的人臉元數(shù)據(jù)存入人臉特征庫中后，人臉特征庫中既存儲有本次視頻文件所對應(yīng)的人臉元數(shù)據(jù)；同時，人臉特征庫中還存儲有多個其他視頻文件所對應(yīng)的人臉元數(shù)據(jù)，其他視頻文件所對應(yīng)的人臉元數(shù)據(jù)為歷史數(shù)據(jù)。
[0099]S8，將所述待標(biāo)注視頻文件中獲得的所有人臉特征進(jìn)行自動特征聚類，設(shè)共有N個人臉特征，將相似度超過第一閾值的若干個人臉特征聚為一個特征類別，由此得到由多個特征類別組成的特征類別集合Po ;將與其他任何一個人臉特征之間的相似度均低于第一閾值的人臉特征聚合在一起，形成未分類特征集合Qtl ；
[0100]本步驟具體實現(xiàn)上，包括以下步驟:
[0101]S8.1，建立特征類別集合，初始化特征類別數(shù)Nclass為0，特征類別集合為空；
[0102]S8.2，讀取一個未分類的人臉特征T (η)，如果特征類別數(shù)Nclass大于0，設(shè)特征類別數(shù)Nclass值為b,則b個特征類別記為Class (k), k e {I, 2，…，b};分別計算T (η)與每一個特征類別Class (k)之間的相似度S (n, k),由此得到b個相似度S (n, k);選擇與T (η)相似度最大的特征類別Class (k0)，對應(yīng)的相似度記為S (n, k0)；
[0103]本步驟中，采用以下方法計算T(n)與每一個特征類別Class (k)之間的相似度
S(n, k):
[0104]遍歷Class (k)中的N(k)個人臉特征TC(k, m), m e {1，2，…，N(k)}，分別計算人臉特征T(n)與人臉特征TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；
[0105]計算N(k)個相似度31^1^，111)的平均值Mt (k)，將平均值即為T (η)與Class(k)之間的相似度。
[0106]S8.3，如果S(Akci)大于或等于閾值Th，則認(rèn)為人臉特征T(n)屬于特征類別Class (k0),將T (η)添加到Class (k0)中，并將T (η)標(biāo)記為已分類，轉(zhuǎn)到S8.6 ；
[0107]反之，如果S(Aktl)小于閾值Th，則認(rèn)為人臉特征T (η)不屬于已有的特征類別，轉(zhuǎn)到 S8.4 ；
[0108]S8.4,遍歷其他未分類的人臉特征T (m),計算T (η)與T (m)之間的相似度S (n, m)；選擇與T (η)相似度最大的特征T (Hi0)，對應(yīng)的相似度記為S (n, m0)；
[0109]S8.5,如果S(n，mQ)大于或等于閾值Thl,則認(rèn)為人臉特征T (η)與T (mQ)屬于同一個人，創(chuàng)建一個新的特征類別Class (Nclass+1),將T (η)與T (m0)添加到Class (Nclass+1)中，并將Nclass增加I ;并將T(n)與T (Hici)標(biāo)記為已分類；
[0110]反之，如果S(n，kQ)小于閾值Th，轉(zhuǎn)到S8.6 ;
[0111]S8.6，判斷是否還有未處理的人臉特征，如果有，則轉(zhuǎn)到S8.2，否則結(jié)束操作步驟；由此形成的多個特征類別即組成特征類別集合Ptl ;由此形成的多個未分類特征即組成未分類特征集合Qm
[0112]通過本步驟的自動特征聚類，以待標(biāo)注視頻文件中所有人臉特征作為聚類對象，可初步將待標(biāo)注視頻文件中屬于同一個人的人臉特征聚到一個相同的特征類別中；不屬于同一個人的人臉特征聚到不相同的特征類別中；如果存在某一個人臉特征與其他所有人臉特征均不近似，則該人臉特征即為未分類特征。
[0113]但是，現(xiàn)有技術(shù)中，自動特征聚類技術(shù)并不成熟，聚類結(jié)果可能存在誤差，為保證標(biāo)注的正確性，需要進(jìn)行后續(xù)步驟的特征篩選和特征類別召回等操作。
[0114]S9，對S8形成的特征類別集合Ptl中的每一個特征類別進(jìn)行特征篩選，判斷每一個特征類別中是否存在分類錯誤的人臉特征，若存在，則將該分類錯誤的人臉特征從其所在的特征類別刪除，并將該分類錯誤的人臉特征添加到未分類特征集合Qo，由此得到篩選后的特征類別集合P1和未分類特征集合Q1 ;同時，在人臉特征庫中更新特征類別集合P1中所有人臉特征的屬性信息，將人臉特征從未分類狀態(tài)更新為已分類狀態(tài)；
[0115]本步驟中，特征篩選可通過人工檢查方式進(jìn)行。例如，假設(shè)通過S8自動聚類后，將同一視頻文件A中的10張不同角度或表情的張三人臉特征以及I張李四人臉特征聚為一個特征類別U，則通過特征篩選，即將特征類別u中的李四人臉特征剔除。通過特征篩選，進(jìn)一步提高了同一特征類別中只包含屬于同一人物的人臉特征的機(jī)率。
[0116]S10,在得到特征類別集合P1后，對于特征類別集合P1中的每一個特征類別P1+進(jìn)行特征類別召回操作，召回漏掉的人臉特征，即:判斷人臉特征庫中是否存在與特征類別Pw相似度超過第二閾值的至少一個未分類的人臉特征i，如果有，則將得到的各個人臉特征i添加到推薦特征集合FeatureSet中；然后，人工判斷推薦特征集合FeatureSet中是否存在與特征類別Pw屬于同一個人的人臉特征，如果有，則將該人臉特征i添加到特征類別Pw中，同時將人臉特征庫中該人臉特征i的屬性由未分類狀態(tài)修改為已分類狀態(tài)，由此得到召回后的特征類別集合P2和未分類特征集合Q2 ;
[0117]本步驟中，推薦特征集合FeatureSet通過以下方法獲得:
[0118]S10.1,新建推薦特征集合FeatureSet,初始化特征數(shù)NFeature為O,特征集合為空；將特征類別Pw記為特征類別Class (k)；
[0119]S10.2,讀取一個人臉特征庫中未分類的人臉特征T(n),計算T(n)與特征類別Class (k)的相似度 S (n, k)；
[0120]S10.3，若S(n，k)大于或等于閾值Th2，則認(rèn)為人臉特征T (η)與與特征類別Pw相似，將T (η)添加到FeatureSet中，并將NFeature加一；
[0121]S10.4，判斷是否還有未分類人臉特征，如果有，則轉(zhuǎn)到S10.2，否則轉(zhuǎn)到S10.5 ；
[0122]S10.5，對FeatureSet中的特征按相似度由大到小進(jìn)行排序，則得到最終的推薦特征集合FeatureSet。
[0123]步驟S7中已介紹，人臉特征庫中即存儲有本次視頻文件所對應(yīng)的人臉元數(shù)據(jù)；同時，人臉特征庫中還存儲有多個其他視頻文件所對應(yīng)的人臉元數(shù)據(jù)。
[0124]由于人臉特征庫中存儲數(shù)量巨大的人臉特征，因此，首先通過程序自動進(jìn)行未分類的人臉特征推薦，對于本視頻中特征類別集合P1中的每一個特征類別，均進(jìn)行下述未分類的人臉特征推薦過程，即:對于特征類別集合P1中的特征類別Pw，從人臉特征庫中本次視頻文件以及其他視頻文件所涉及到的所有未分類的人臉特征中，推薦若干個與特征類別Pw非常相似的未分類的人臉特征，得到將所有未分類的人臉特征組成推薦特征集合；然后，再人工判斷推薦特征集合中是否存在與特征類別Pm屬于同一個人物的人臉特征，如果有，則將該人臉特征加入到特征類別P1+將程序自動推薦與人工判斷結(jié)合起來，既保證了結(jié)果準(zhǔn)確性，又提高了效率。
[0125]另外，本步驟中，以人臉特征庫中所有未分類人臉特征作為被推薦范圍，如果各種不同視頻文件中的未分類人臉特征中存在與本次視頻中的某一特征類別屬于同一人物的情況，則將該未分類人臉特征聚到該特征類別，擴(kuò)大了特征類別涉及到的人臉特征范圍，更方便進(jìn)行后續(xù)的視頻標(biāo)注或視頻檢索。
[0126]S11，預(yù)建立有特征類別庫，該特征類別庫存儲其他多個視頻標(biāo)注得到的特征類別集合P3,也就是說，特征類別集合P3中只存儲特征類別，不存儲未分類人臉特征；并且，特征類別集合P3中所存儲的特征類別為歷史數(shù)據(jù)，針對各種不同的視頻文件。
[0127]對于本次導(dǎo)入視頻形成的特征類別集合P2，每當(dāng)特征類別集合P2中的一個特征類別按S12中的方法進(jìn)行標(biāo)注后，即將標(biāo)注后的特征類別移入特征類別集合P4 ;初始時，特征類別集合P4為空；
[0128]對于特征類別集合P2，執(zhí)行S12 ;對于未分類特征集合Q2，執(zhí)行S13 ;
[0129]S12，對于特征類別集合P2中的任何一個元素，記為特征類別j，均執(zhí)行以下步驟:
[0130]S12.1，判斷特征類別集合P3和P4中是否存在與特征類別j相似度超過第三閾值的特征類別，如果存在，則執(zhí)行S12.2 ;如果不存在，則執(zhí)行S12.4 ；
[0131]將特征類別集合P3和P4統(tǒng)稱為已標(biāo)注過的特征類別MClass (m)，將特征類別j記為特征類別Class (k)，可采用以下方法計算特征類別Class (k)與標(biāo)注過的特征類別MClass (m)之間的相似度:
[0132]遍歷MClass (m)中的 MN(m)個人臉特征 TC (m, u), u e {1，2，…，MN(m)},遍歷Class (k)中的N(k)個人臉特征TC(k, v), v e {1，2，…，N(k)},分別計算人臉特征TC(m, u)和人臉特征TC(k，v)之間的相似度ST(m，k)；
[0133]計算所有相似度St (m, k)的平均值Mt (k)，將相似度Mt (k)作為MClass (m)與Class (k)之間的相似度。
[0134]S12.2，將與特征類別j相似度超過第三閾值的特征類別稱為推薦特征類別；然后將特征類別集合P3和P4中的所有推薦特征類別組成一個推薦類別集合S ;然后執(zhí)行S12.3 ；
[0135]S12.3，人工判斷推薦類別集合S中是否存在與特征類別j屬于同一個人的推薦特征類別；
[0136]如果存在，則人工選擇某個相應(yīng)的推薦特征類別Ctl，若Ctl屬于P4,則將特征類別j并入Ctl ;若Ctl屬于P3,則向特征類別j中增加以下標(biāo)記信息:與推薦特征類別Ctl屬于同一個人；如果Ctl對應(yīng)的姓名為“陌生人”，則執(zhí)行S12.4 ；
[0137]如果不存在，則不向特征類別j中增加標(biāo)記信息，然后執(zhí)行S12.4 ；
[0138]S12.4，對特征類別j進(jìn)行姓名標(biāo)注，若知道特征類別j對應(yīng)的人物姓名，則將特征類別j對應(yīng)的人物姓名標(biāo)注到特征類別j上，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合P4;
[0139]若不知道特征類別j對應(yīng)的人物姓名，則將特征類別j的人物姓名標(biāo)注為“陌生人”，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合P4 ；
[0140]本步驟中，仍然將程序自動推薦與人工確認(rèn)結(jié)合起來，既保證了結(jié)果準(zhǔn)確性，又提高了效率。
[0141]另外，本步驟中，以特征類別庫中所有特征類別以及本次視頻中已標(biāo)注特征類別為被推薦范圍，如果各種不同視頻文件中存在與本次視頻中的某一特征類別j屬于同一人物的情況，將各種不同視頻文件中與特征類別j屬于同一人物的特征類別記為Ctl，則對特征類別j進(jìn)行一定的標(biāo)記，后續(xù)入庫過程時，可依據(jù)標(biāo)記，方便的將特征類別j并入特征類別Ctl，從而實現(xiàn)將不同視頻文件中屬于同一人物的特征類別合并到一起的目的，方便后續(xù)視頻檢索。
[0142]S13，對于未分類特征集合Q2中的任何一個元素，記為未分類人臉特征k，均執(zhí)行以下步驟:
[0143]S13.1，判斷人臉特征庫中是否存在與未分類人臉特征k相似度超過第四閾值的未分類人臉特征，如果有，則將與未分類人臉特征k相似度超過第四閾值的未分類人臉特征稱為推薦未分類人臉特征；然后，將人臉特征庫中的所有推薦未分類人臉特征組成一個推薦未分類人臉特征集合f ;
[0144]S13.2，人工判斷推薦未分類人臉特征集合f中是否存在與未分類人臉特征k屬于同一個人的推薦未分類人臉特征，如果存在，將該推薦未分類人臉特征與未分類人臉特征k組成一個新特征類別，將該新特征類別加入到S8獲得的特征類別集合Ptl中，轉(zhuǎn)到S8重新執(zhí)行S8-S12 ;同時，將該推薦未分類人臉特征在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)，將該未分類人臉特征k在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)；
[0145]如果不存在，則判斷特征類別集合P3和P4中是否存在與未分類人臉特征k相似度超過第五閾值的特征類別，如果存在，則執(zhí)行S13.3 ;如果不存在，則執(zhí)行S13.4 ；
[0146]S13.3，將特征類別集合P3或P4中與未分類人臉特征k相似度超過第五閾值的特征類別組成一個推薦類別集合T ;然后人工判斷推薦類別集合T中是否存在與未分類人臉特征k屬于同一個人的推薦特征類別，如果不存在，則執(zhí)行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應(yīng)的特征類別C1，若C1屬于P4,則將未分類人臉特征k加入到C1,并將未分類人臉特征k標(biāo)記為已分類；若C1屬于P3,則向未分類人臉特征k中增加以下標(biāo)記信息:與特征類別C1屬于同一個人，并將未分類人臉特征k標(biāo)記為已分類；如果C1對應(yīng)的姓名為“陌生人”，則執(zhí)行S13.5 ；
[0147]S13.4，對未分類人臉特征k進(jìn)行姓名標(biāo)注，若知道人臉特征k對應(yīng)的人物姓名，則對應(yīng)的人物姓名標(biāo)注到未分類人臉特征k上；若不知道人臉特征k對應(yīng)的人物姓名，則將未分類人臉特征k的人物姓名標(biāo)注為“陌生人”；
[0148]S13.5，對特征類別C1進(jìn)行姓名標(biāo)注，若知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1對應(yīng)的人物姓名標(biāo)注到特征類別C1上，若不知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1的人物姓名標(biāo)注為“陌生人”；
[0149]本步驟中，仍然將程序自動推薦與人工確認(rèn)結(jié)合起來，既保證了結(jié)果準(zhǔn)確性，又提高了效率。
[0150]S14，對于增加有標(biāo)記信息的特征類別或人臉特征，依標(biāo)記信息中記載的內(nèi)容，將相應(yīng)的特征類別或人臉特征合并到特征類別庫中對應(yīng)的特征類別中，并更新人臉特征庫中的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0151]對于未增加有標(biāo)記信息的特征類別，直接將其存儲到特征類別庫中，并更新人臉特征庫中相應(yīng)的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ；
[0152]由此形成新的特征類別庫；
[0153]另外，利用S12得到的多個已標(biāo)注姓名的特征類別與S13得到的多個已標(biāo)注姓名的未分類人臉特征信息組成該視頻文件的視頻標(biāo)注文件。
[0154]本發(fā)明還提供一種視頻檢索方法，包括以下步驟:
[0155]S15，在通過上述視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人物姓名的檢索請求后，遍歷所述特征類別庫，通過匹配人物姓名，得到已標(biāo)注有該人物姓名的特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成；
[0156]S16，分別以w個人臉特征作為檢索關(guān)鍵詞，查詢?nèi)四樚卣鲙?，得到與每個人臉特征對應(yīng)的人臉元數(shù)據(jù)；由此得到w個人臉元數(shù)據(jù)；
[0157]S17，分別分析w個人臉元數(shù)據(jù)，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應(yīng)的視頻文件中出現(xiàn)被檢索人物的時間。
[0158]另外，在S16之前，還包括:
[0159]在通過視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人臉圖片的檢索請求后，對輸入的人臉圖片進(jìn)行人臉檢測以及人臉規(guī)范化處理，得到規(guī)范化后的人臉圖片；
[0160]從規(guī)范化后的人臉圖片中提取人臉特征F ；
[0161]遍歷人臉特征庫，分別計算人臉特征F與人臉特征庫中代表特征RF(k)的相似度sT (k)，選擇sT (k)的最大值sT CO對應(yīng)的人臉特征；Sst CO大于Th3，則獲取其所屬特征類別ID，否則認(rèn)為沒有檢索到對應(yīng)的視頻；
[0162]基于獲取到的特征類別ID查找特征類別庫，查找到特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成；然后執(zhí)行S16。
[0163]綜上所述，本發(fā)明提供的基于人臉的視頻標(biāo)注方法和視頻檢索方法，可以用于對視頻進(jìn)行人臉標(biāo)注并在大量視頻中檢索感興趣的視頻片斷，具有以下優(yōu)點:
[0164](I)不需要預(yù)制人臉樣本庫，可以對視頻中出現(xiàn)的各種人物進(jìn)行視頻標(biāo)注，擴(kuò)大的視頻標(biāo)注的范圍；
[0165](2)在視頻標(biāo)注過程中，將程序自動推薦與人工確認(rèn)結(jié)合起來，既保證了結(jié)果準(zhǔn)確性，又提聞了效率；
[0166](3)可高效的實現(xiàn)將不同視頻文件中的同一個人物的人臉特征聚為一個類別的效果，易于進(jìn)行基于人物姓名或人物圖片等的視頻檢索。
[0167]以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1.一種基于人臉的視頻標(biāo)注方法，其特征在于，包括以下步驟: SI，當(dāng)需要對某一視頻文件進(jìn)行視頻標(biāo)注時，導(dǎo)入待標(biāo)注視頻文件； S2，對所述待標(biāo)注視頻文件進(jìn)行鏡頭切分，得到視頻鏡頭序列； S3，對所述視頻鏡頭序列中的每個視頻鏡頭提取若干個關(guān)鍵幀，然后對所述關(guān)鍵幀進(jìn)行人臉檢測，獲得每個鏡頭中出現(xiàn)的各個人物的人臉圖片；其中，所述關(guān)鍵幀指視頻序列中具有代表性的視頻幀； S4，對所述人臉圖片進(jìn)行預(yù)處理； S5，對預(yù)處理后的人臉圖片進(jìn)行人臉特征提取，得到與每張人臉圖片唯一對應(yīng)的人臉特征； S6，獲得每一個人臉特征的屬性信息，將人臉特征及其屬性信息合并后即得到原始的人臉元數(shù)據(jù)；其中，所述人臉特征的屬性信息包括:該人臉特征所屬的視頻文件的視頻ID、該人臉特征在所述視頻文件中所屬鏡頭的鏡頭序號、該人臉特征在所屬鏡頭中的視頻幀序號、該人臉特征在所屬視頻文件中出現(xiàn)時間、該人臉特征對應(yīng)的人臉圖片的保存路徑、該人臉特征為未分類狀態(tài)、該人臉特征所屬的特征類別ID為O ;其中，該人臉特征所屬的特征類別ID指:該人臉特征所屬的特征類別在特征類別庫中的標(biāo)識，初始態(tài)時，該人臉特征所屬的特征類別ID為O ;該人臉特征是否已分類具體包括兩種狀態(tài):人臉特征已分類狀態(tài)和人臉特征未分類狀態(tài)，初始態(tài)時，每一個人臉特征均為未分類狀態(tài)； S7，將所述待標(biāo)注視頻文件中獲得的所有原始的人臉元數(shù)據(jù)存入預(yù)建立的人臉特征庫； S8，將所述待標(biāo)注視頻文件中獲得的所有人臉特征進(jìn)行自動特征聚類，設(shè)共有N個人臉特征，將相似度超過第一閾值的若干個人臉特征聚為一個特征類別，由此得到由多個特征類別組成的特征類別集合Ptl ;將與其他任何一個人臉特征之間的相似度均低于第一閾值的人臉特征聚合在一起，形成未分類特征集合Qci ； S9，對S8形成的特征類別集合Ptl中的每一個特征類別進(jìn)行特征篩選，判斷每一個特征類別中是否存在分類錯誤的人臉特征，若存在，則將該分類錯誤的人臉特征從其所在的特征類別刪除，并將該分類錯誤的人臉特征添加到未分類特征集合Qo，由此得到篩選后的特征類別集合P1和未分類特征集合Q1 ;同時，在人臉特征庫中更新特征類別集合P1中所有人臉特征的屬性信息，將人臉特征從未分類狀態(tài)更新為已分類狀態(tài)； S10，在得到特征類別集合P1后，對于特征類別集合P1中的每一個特征類別Pm，進(jìn)行特征類別召回操作，召回漏掉的人臉特征，即:判斷人臉特征庫中是否存在與特征類別Pm相似度超過第二閾值的至少一個未分類的人臉特征i，如果有，則將得到的各個人臉特征i添加到推薦特征集合FeatureSet中；然后，人工判斷推薦特征集合FeatureSet中是否存在與特征類別Pm屬于同一個人的人臉特征，如果有，則將該人臉特征i添加到特征類別Pm中，同時將人臉特征庫中該人臉特征i的屬性由未分類狀態(tài)修改為已分類狀態(tài)，由此得到召回后的特征類別集合P2和未分類特征集合Q2 ; S11，預(yù)建立有特征類別庫，該特征類別庫存儲其他多個視頻標(biāo)注得到的特征類別集合P3， 對于本次導(dǎo)入視頻形成的特征類別集合P2,每當(dāng)特征類別集合P2中的一個特征類別按S12中的方法進(jìn)行標(biāo)注后，即將標(biāo)注后的特征類別移入特征類別集合P4 ;初始時，特征類別集合P4為空； 對于特征類別集合P2，執(zhí)行S12 ;對于未分類特征集合Q2，執(zhí)行S13 ； S12，對于特征類別集合P2中的任何一個元素，記為特征類別j，均執(zhí)行以下步驟: S12.1，判斷特征類別集合P3和P4中是否存在與特征類別j相似度超過第三閾值的特征類別，如果存在，則執(zhí)行S12.2 ;如果不存在，則執(zhí)行S12.4 ； S12.2，將與特征類別j相似度超過第三閾值的特征類別稱為推薦特征類別；然后將特征類別集合P3和P4中的所有推薦特征類別組成一個推薦類別集合S ;然后執(zhí)行S12.3 ；S12.3，人工判斷推薦類別集合S中是否存在與特征類別j屬于同一個人的推薦特征類別； 如果存在，則人工選擇某個相應(yīng)的推薦特征類別Ctl,若Ctl屬于P4,則將特征類別j并入C0 ;若Ctl屬于P3，則向特征類別j中增加以下標(biāo)記信息:與推薦特征類別Ctl屬于同一個人；如果Ctl對應(yīng)的姓名為“陌生人”，則執(zhí)行S12.4 ； 如果不存在，則不向特征類別j中增加標(biāo)記信息，然后執(zhí)行S12.4 ； 512.4，對特征類別j進(jìn)行姓名標(biāo)注，若知道特征類別j對應(yīng)的人物姓名，則將特征類別j對應(yīng)的人物姓名標(biāo)注到特征類別j上，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合P4; 若不知道特征類別j對應(yīng)的人物姓名，則將特征類別j的人物姓名標(biāo)注為“陌生人”，并將特征類別j標(biāo)記為已標(biāo)注；然后，將特征類別j存入特征類別集合； S13，對于未分類特征集合Q2中的任何一個元素，記為未分類人臉特征k，均執(zhí)行以下步驟: 513.1，判斷人臉特征庫中是否存在與未分類人臉特征k相似度超過第四閾值的未分類人臉特征，如果有，則將與未分類人臉特征k相似度超過第四閾值的未分類人臉特征稱為推薦未分類人臉特征；然后，將人臉特征庫中的所有推薦未分類人臉特征組成一個推薦未分類人臉特征集合f ； S13.2，人工判斷推薦未分類人臉特征集合f中是否存在與未分類人臉特征k屬于同一個人的推薦未分類人臉特征，如果存在，將該推薦未分類人臉特征與未分類人臉特征k組成一個新特征類別，將該新特征類別加入到S8獲得的特征類別集合Ptl中，轉(zhuǎn)到S8重新執(zhí)行S8-S12 ;同時，將該推薦未分類人臉特征在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)，將該未分類人臉特征k在人臉數(shù)據(jù)庫中的狀態(tài)更新為已分類狀態(tài)； 如果不存在，則判斷特征類別集合P3和P4中是否存在與未分類人臉特征k相似度超過第五閾值的特征類別，如果存在，則執(zhí)行S13.3 ;如果不存在，則執(zhí)行S13.4 ； S13.3，將特征類別集合P3或P4中與未分類人臉特征k相似度超過第五閾值的特征類別組成一個推薦類別集合T ;然后人工判斷推薦類別集合T中是否存在與未分類人臉特征k屬于同一個人的推薦特征類別，如果不存在，則執(zhí)行S13.4 ;如果存在，則人工從推薦類別集合T中選擇某個相應(yīng)的特征類別C1，若C1屬于P4,則將未分類人臉特征k加入到C1,并將未分類人臉特征k標(biāo)記為已分類；若C1屬于P3,則向未分類人臉特征k中增加以下標(biāo)記信息:與特征類別C1屬于同一個人，并將未分類人臉特征k標(biāo)記為已分類；如果C1對應(yīng)的姓名為“陌生人”，則執(zhí)行S13.5; S13.4，對未分類人臉特征k進(jìn)行姓名標(biāo)注，若知道人臉特征k對應(yīng)的人物姓名，則對應(yīng)的人物姓名標(biāo)注到未分類人臉特征k上；若不知道人臉特征k對應(yīng)的人物姓名，則將未分類人臉特征k的人物姓名標(biāo)注為“陌生人”; S13.5，對特征類別C1進(jìn)行姓名標(biāo)注，若知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1對應(yīng)的人物姓名標(biāo)注到特征類別C1上，若不知道特征類別C1對應(yīng)的人物姓名，則將特征類別C1的人物姓名標(biāo)注為“陌生人”； S14，對于增加有標(biāo)記信息的特征類別或人臉特征，依標(biāo)記信息中記載的內(nèi)容，將相應(yīng)的特征類別或人臉特征合并到特征類別庫中對應(yīng)的特征類別中，并更新人臉特征庫中的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ； 對于未增加有標(biāo)記信息的特征類別，直接將其存儲到特征類別庫中，并更新人臉特征庫中相應(yīng)的人臉特征屬性，包括人物姓名、是否已分類、所屬類別ID ； 由此形成新的特征類別庫； 另外，利用S12得到的多個已標(biāo)注姓名的特征類別與S13得到的多個已標(biāo)注姓名的未分類人臉特征信息組成該視頻文件的視頻標(biāo)注文件。
2.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，S2中，所述鏡頭切分包括針對鏡頭突變的鏡頭切分和針對鏡頭漸變的鏡頭切分。
3.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，S4中，對所述人臉圖片進(jìn)行預(yù)處理，具體指: 對所述人臉圖片進(jìn)行去重，所述去重指去除同一個鏡頭中同一個人重復(fù)的人臉圖片，并通過姿態(tài)判別技術(shù)判斷同一個人各張人臉圖片的姿態(tài)，保留最接近正臉的人臉圖片，并將該人臉圖片存入人臉圖片庫；其中，所述正臉指人臉正面面對鏡頭； 然后，對去重后的人臉圖片進(jìn)行特征點定位、相似變換、光照處理和姿態(tài)矯正操作。
4.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，S5中，所述人臉特征提取具體為:從預(yù)處理后的人臉圖片查找到最具有鑒別性的描述信息并將其轉(zhuǎn)化為一個向量，該向量即為提取到的人臉特征。
5.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，S8具體為: S8.1，建立特征類別集合，初始化特征類別數(shù)Nclass為O，特征類別集合為空； S8.2，讀取一個未分類的人臉特征T (η)，如果特征類別數(shù)Nclass大于O，設(shè)特征類別數(shù)Nclass值為b,則b個特征類別記為Class (k), k e {I, 2,…，b};分別計算T (η)與每一個特征類別Class (k)之間的相似度S(n，k)，由此得到b個相似度S(n，k);選擇與T(n)相似度最大的特征類別Class CO，對應(yīng)的相似度記為S(n，k0)； S8.3，如果S(Akci)大于或等于閾值Th，則認(rèn)為人臉特征T(n)屬于特征類別Class (k0),將T (η)添加到Class (k0)中，并將T (η)標(biāo)記為已分類，轉(zhuǎn)到S8.6 ； 反之，如果S(^ktl)小于閾值Th，則認(rèn)為人臉特征Τ(η)不屬于已有的特征類別，轉(zhuǎn)到S8.4 ； S8.4,遍歷其他未分類的人臉特征T (m),計算T (η)與T (m)之間的相似度S (n, m);選擇與T (η)相似度最大的特征T (Hi0)，對應(yīng)的相似度記為S (n, m0)； S8.5，如果大于或等于閾值Thl，則認(rèn)為人臉特征T (η)與T (Iiici)屬于同一個人，創(chuàng)建一個新的特征類別Class(Nclass+l),將Τ(η)與T0?)添加到Class (Nclass+Ι)中，并將Nclass增加I ;并將T (η)與T (m0)標(biāo)記為已分類； 反之，如果S (n, k0)小于閾值Th，轉(zhuǎn)到S8.6 ； S8.6，判斷是否還有未處理的人臉特征，如果有，則轉(zhuǎn)到S8.2，否則結(jié)束操作步驟；由此形成的多個特征類別即組成特征類別集合Ptl;由此形成的多個未分類特征即組成未分類特征集合Qm
6.根據(jù)權(quán)利要求5所述的基于人臉的視頻標(biāo)注方法，其特征在于，S8.2中， 所述計算T(n)與每一個特征類別Class (k)之間的相似度S(n，k)具體包括以下步驟:遍歷Class (k)中的N(k)個人臉特征TC(k, m), m e {1，2，…，N(k)},分別計算人臉特征T(n)與人臉特征TC(k，m)之間的相似度ST(k，m)，由此得到N(k)個相似度^!^)；計算N(k)個相似度&0^!11)的平均值Mt (k)，將平均值即為T (η)與Class (k)之間的相似度。
7.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，S9中，通過人工檢查方式對每一個特征類別進(jìn)行特征篩選。
8.根據(jù)權(quán)利要求1所述的基于人臉的視頻標(biāo)注方法，其特征在于，SlO中，推薦特征集合FeatureSet通過以下方法獲得: S10.1,新建推薦特征集合FeatureSet,初始化特征數(shù)NFeature為O,特征集合為空；將特征類別Pm記為特征類別Class (k)； S10.2,讀取一個人臉特征庫中未分類的人臉特征T (η),計算T (η)與特征類別Class (k)的相似度 S (n, k)； S10.3，若S (n，k)大于或等于閾值Th2，則認(rèn)為人臉特征T (η)與與特征類別Pw相似，將 T (η)添加到 FeatureSet 中，并將 NFeature 加一； S10.4，判斷是否還有未分類人臉特征，如果有，則轉(zhuǎn)到S10.2，否則轉(zhuǎn)到S10.5 ； S10.5,對FeatureSet中的特征按相似度由大到小進(jìn)行排序,則得到最終的推薦特征集合 FeatureSet。
9.一種視頻檢索方法，其特征在于，包括以下步驟: S15，在通過權(quán)利要求1中的視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人物姓名的檢索請求后,遍歷所述特征類別庫,通過匹配人物姓名，得到已標(biāo)注有該人物姓名的特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成； S16，分別以w個人臉特征作為檢索關(guān)鍵詞，查詢?nèi)四樚卣鲙?，得到與每個人臉特征對應(yīng)的人臉元數(shù)據(jù)；由此得到w個人臉元數(shù)據(jù)； S17，分別分析w個人臉元數(shù)據(jù)，得到與被檢索的人物姓名相匹配的至少一個視頻ID以及在該視頻ID對應(yīng)的視頻文件中出現(xiàn)被檢索人物的時間。
10.根據(jù)權(quán)利要求9所述的視頻檢索方法，其特征在于，在S16之前，還包括: 在通過權(quán)利要求1中的視頻標(biāo)注方法得到特征類別庫之后，當(dāng)接收到檢索某一人臉圖片的檢索請求后，對輸入的人臉圖片進(jìn)行人臉檢測以及人臉規(guī)范化處理，得到規(guī)范化后的人臉圖片； 從規(guī)范化后的人臉圖片中提取人臉特征F ； 遍歷人臉特征庫，分別計算人臉特征F與人臉特征庫中代表特征RF(k)的相似度St (k)，選擇St (k)的最大值St CO對應(yīng)的人臉特征；SSt CO大于Th3，則獲取其所屬特征類別ID，否則認(rèn)為沒有檢索到對應(yīng)的視頻； 基于獲取到的特征類別ID查找特征類別庫，查找到特定特征類別；設(shè)所述特定特征類別由w個人臉特征組成；然后執(zhí)行S16。
【文檔編號】G06F17/30GK104133875SQ201410356120
【公開日】2014年11月5日 申請日期:2014年7月24日 優(yōu)先權(quán)日:2014年7月24日
【發(fā)明者】段勝業(yè), 唐小軍, 孫劍 申請人:北京中視廣信科技有限公司