多級并行關鍵幀云提取方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種多級并行關鍵幀云提取方法及系統(tǒng)。所述關鍵幀云提取系統(tǒng)包括：視頻輸入模塊，被構造為提取關鍵幀的視頻輸入接口；視頻鏡頭分割模塊，被構造為對輸入的視頻進行鏡頭分割，以便進行關鍵幀提取并行處理；多級并行關鍵幀云處理模塊，被構造為對視頻鏡頭通過多級并行策略，通過并行提取幀特征向量、并行聚類操作，生成各鏡頭關鍵幀組；關鍵幀輸出模塊，被構造為對各鏡頭所生成的關鍵幀組進行組合，最后輸出整個視頻的關鍵幀組。本發(fā)明的多級并行關鍵幀云提取方法及系統(tǒng)對處理大規(guī)模關鍵幀提取時具有較高的效率，同時，具有很好的可擴展性及穩(wěn)定性，能夠滿足大規(guī)模關鍵幀提取的需求。
【專利說明】多級并行關鍵幀云提取方法及系統(tǒng)

【技術領域】
[0001]本發(fā)明涉及關鍵幀云提取技術，更具體地講，涉及一種多級并行關鍵幀云提取方法及多級并行關鍵幀云提取系統(tǒng)。

【背景技術】
[0002]視頻關鍵巾貞指能代表鏡頭中的最重要的、有代表性的一幅或多幅圖像。關鍵巾貞的提取能大大減少視頻數(shù)據(jù)的處理量，受到研究者的廣泛關注。
[0003]云計算能夠無縫擴展到大規(guī)模的集群，且能夠容忍部分節(jié)點的錯誤碼，甚至很大部分節(jié)點發(fā)生失效也不會影響程序的正確運行，因此云計算具有較好的可擴展性及穩(wěn)定性。
[0004]現(xiàn)有的關鍵幀提取的主要方法包括:基于鏡頭邊界的方法、基于運動分析提取關鍵幀、基于圖像信息提取關鍵幀、基于聚類提取關鍵幀等。大部分研究主要集中在視頻關鍵幀的提取準確度方面，但視頻關鍵幀的提取涉及許多數(shù)字運算，具視頻幀數(shù)量多，串行視頻關鍵幀抽取會耗時長，且單機處理能力有限，故有必要研究一種多級并行關鍵幀云提取方法和云提取系統(tǒng)。


【發(fā)明內(nèi)容】

[0005]為了解決上述現(xiàn)有技術存在的問題，本發(fā)明的目的在于提供一種多級并行關鍵幀云提取系統(tǒng)，其中，所述多級并行關鍵幀云提取系統(tǒng)包括:視頻輸入模塊，被構造為提取關鍵幀的視頻輸入接口 ；視頻鏡頭分割模塊，被構造為對輸入的視頻進行鏡頭分割，以便進行關鍵幀提取并行處理；多級并行關鍵幀云處理模塊，被構造為對視頻鏡頭通過多級并行策略，通過并行提取幀特征向量、并行聚類操作，生成各鏡頭關鍵幀組；關鍵幀輸出模塊，被構造為對各鏡頭所生成的關鍵幀組進行組合，最后輸出整個視頻的關鍵幀組。
[0006]本發(fā)明的另一目的還在于提供一種多級并行關鍵幀云提取方法，其中，所述多級并行關鍵幀云提取方法包括:接受需提取關鍵幀的視頻；對所述視頻進行鏡頭分割；對所述鏡頭進行多級并行關鍵幀云提取操作；對所提取的鏡頭關鍵幀組進行組合，輸出最終視頻關鍵巾貞組。
[0007]進一步地，所述多級并行關鍵幀云提取操作包含并行提取視頻幀特征向量、根據(jù)視頻幀特征向量并行聚類操作。
[0008]進一步地，所述鏡頭關鍵幀組組合，包含最終聚類產(chǎn)生視頻最終關鍵幀。
[0009]進一步地,所述視頻特征向量聚類操作可為k-means聚類、模糊C均值聚類或其他適合并行處理的圖像特征聚類算法。
[0010]本發(fā)明的多級并行關鍵巾貞$■提取方法及Z?提取系統(tǒng)能大大提聞關鍵巾貞提取效率，同時具有很好的可擴展性及穩(wěn)定性。

【專利附圖】

【附圖說明】
[0011]圖1是根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取系統(tǒng)示意圖。
[0012]圖2是根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取調(diào)度方法的流程圖。
[0013]圖3是根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取某實例操作圖。

【具體實施方式】
[0014]現(xiàn)在對本發(fā)明的實施例進行詳細的描述，其示例表示在附圖中，其中，相同的標號始終表示相同部件。下面通過參照附圖對實施例進行描述以解釋本發(fā)明。在附圖中，為了清晰起見，可以夸大層和區(qū)域的厚度。在下面的描述中，為了避免公知結構和/或功能的不必要的詳細描述所導致的本發(fā)明構思的混淆，可省略公知結構和/或功能的不必要的詳細描述。
[0015]圖1是根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取系統(tǒng)示意圖。
[0016]參照圖1，根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取系統(tǒng)包括:視頻輸入模塊10，被構造為提取關鍵幀的視頻輸入接口 ；視頻鏡頭分割模塊20，被構造為對輸入的視頻進行鏡頭分割，以便進行關鍵幀提取并行處理；多級并行關鍵幀云處理模塊30，被構造為對視頻鏡頭通過多級并行策略，通過并行提取幀特征向量、并行聚類操作，生成各鏡頭關鍵幀組；關鍵幀輸出模塊40，被構造為對各鏡頭所生成的關鍵幀組進行組合，最后輸出整個視頻的關鍵幀組。
[0017]此外，多級并行關鍵幀云提取操作包含并行提取視頻幀特征向量、根據(jù)視頻幀特征向量并行聚類操作。
[0018]所述視頻特征向量聚類操作可為k-means聚類、模糊C均值聚類或其他適合并行處理的圖像特征聚類算法。
[0019]相對應地，本發(fā)明還提供了一種多級并行關鍵幀云提取方法，具體請參照圖2，其是根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取方法的流程圖。
[0020]參照圖2，根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取方法包括:S1、接受需進行關鍵幀抽取的視頻；S2、對視頻進行視頻鏡頭分割；S3、對鏡頭多級并行提取視頻關鍵幀；S4、對鏡頭關鍵幀組進行組合輸出。
[0021]在本實施例中，視頻鏡頭分割后，可并行提取視頻幀特征向量，之后可并行進行視頻特征向量聚類操作，聚類可為k-means聚類、模糊C均值聚類或其他適合并行處理的圖像特征聚類算法。下面將以并行提取視頻幀向量處理及并行進行k-means聚類提取關鍵幀為例來對本發(fā)明進行說明。其中，K-means算法是很典型的基于距離的聚類算法，采用距離作為相似性的評價指標，即認為兩個對象的距離越近，其相似度就越大。而，模糊C-均值聚類算法fuzzy c-means algorithm (FCMA)作為無監(jiān)督機器學習的主要技術之一,是用模糊理論對重要數(shù)據(jù)分析和建模的方法，建立了樣本類屬的不確定性描述，能比較客觀地反映現(xiàn)實世界。
[0022]具體而言，參照圖3，假如經(jīng)過S1、S2步驟后，視頻已分割成k個鏡頭(k彡1，k e Z)。S3被構造為如下步驟:
S31:一級鏡頭map操作，此操作實現(xiàn)將分割的鏡頭分布到一級云計算平臺節(jié)點中，此處所述的節(jié)點為雙重角色，具體為:在第一級云平臺中為Datanode及TaskTasker角色,在第二級云計算平臺節(jié)點中為Namenode及Jobtracker角色。S301操作中，map函數(shù)構造輸入數(shù)據(jù)記錄的〈key, value)為〈鏡頭ID,視頻鏡頭位置 >,函數(shù)操作為:將鏡頭拷貝至第一級云計算平臺節(jié)點中，以便進行第二級的map操作。
[0023]S32:對分發(fā)到節(jié)點上的鏡頭作第二級map操作預處理。將鏡頭分割成一組視頻幀圖像。鏡頭I包含視頻幀數(shù)N1、鏡頭2包含視頻幀數(shù)N2、鏡頭K包含視頻幀數(shù)Nk。NpN2、...Nk指各鏡頭NpN2、…、Nk實際所包含的視頻幀數(shù)(％、N2、…Nk彡1，N1^N2,…NkeZ)。
[0024]S33:對各鏡頭并行進行第二級map操作。所述第二級map操作，在于將各幀分發(fā)到下一級云計算平臺Tasktracker節(jié)點中，并行提取視頻巾貞特征向量。所述S33操作中，map函數(shù)構造輸入數(shù)據(jù)記錄的〈key, value)為〈巾貞ID,巾貞圖像位置 >,函數(shù)操作為對視頻中貞進行特征向量提取，輸出結果〈key, value)對的形式為〈巾貞ID,巾貞特征向量>。
[0025]S34:對S33操作所得到的結果進行第三級map操作。所述S34操作，在于對S33生成的〈幀ID，幀特征向量 > 記錄組并行進行云聚類操作。具體可描述為:完成每個數(shù)據(jù)幀到初始幀聚類中心的距離計算，并重新標記其屬于的新聚類類別，其輸入為S33所生成的〈巾貞ID,巾貞特征向量 > 所有記錄和上一輪迭代(或初始聚類)的聚類中心。每個map函數(shù)都讀入聚類中心描述文件，map函數(shù)對輸入的每個記錄點計算其最近的類中心，并做新類別的標記。Map函數(shù)輸入數(shù)據(jù)記錄的〈key, value)為〈巾貞ID,巾貞特征向量 > ;輸出中間結果〈key, value〉的形式為〈巾貞所屬類別，巾貞特征向量>。
[0026]上述鏡頭1、鏡頭2、…、鏡頭k的初始聚類中心個數(shù)被描述為叫、m2、"Smk (m^
m2、…、mk彡I, m2、…、mk e Z)其值根據(jù)各鏡頭數(shù)據(jù)巾貞總數(shù)及一定的規(guī)則確定,在一定程度上，In1^m2,…、mk也代表各鏡頭將產(chǎn)生的關鍵幀數(shù)。
[0027]上述初始聚類中心被構造為:根據(jù)叫、1112、…、mk的值，分別從鏡頭1、鏡頭2、…、鏡頭k中隨機抽取叫、m2、…、mk個征特征向量作為鏡頭1、鏡頭2、…、鏡頭k的初始聚類中心。
[0028]上述數(shù)據(jù)幀到聚類中心的距離計算，可以描述為歐式距離、馬氏距離等。
[0029]S34被構造的map函數(shù)可以描述為:
void map(Object key, Text value, Context context)
{
計算幀到各聚類中心的距離；
比較上述距離；
將幀歸結到距離最近的那個距類中心所屬的類；
將〈幀所屬類別，幀特征向量 > 寫入中間文件；
}
上述map階段會進行shuffle操作，完成中間計算結果的分組排序。
[0030]S35:根據(jù)S34的輸出，更新聚類中心,供下一輪map-reduce使用。所述S35操作，輸入數(shù)據(jù)〈key，value)對的形式為〈聚類類別ID，{記錄屬性向量集}>;所有key相同的記錄(即相同聚類中心類別ID的記錄)將送給一個reduce任務。S35操作被描述為:累加key相同的點的個數(shù)和各記錄分量的和，求各分量的均值，得到新的聚類中心。S35操作輸出結果〈key，value)對的形式為〈聚類類別ID，均值向量>。S35操作過程可描述為:
Void reduce(Text key,Iterable<Text> values, Context context)
{
for (對于key相同的所有記錄)
{
求每個屬性的均值；
}
將〈聚類類別ID，均值向量〉寫入結果文件；
}
S36:迭代過程。S36步驟可描述為:對S34的輸出結果，判斷該聚類是否已收斂。具體可描述為:比較上一輪map-reduce得到的聚類中心與本輪map-reduce聚類中心的距離。若距離小于給定閥值，則算法結束。否之，則將本輪的聚類中心替換上一輪的聚類中心，并啟動新一輪的map-reduce操作。
[0031]S4:對鏡頭關鍵巾貞組進行組合輸出。對S3步聚的最終各鏡頭視頻關鍵巾貞組進行組合輸出視頻關鍵幀。
[0032]綜上所述，根據(jù)本發(fā)明的實施例的多級并行關鍵幀云提取方法及云提取系統(tǒng)，具有多級并行操作的特點，能大大提高關鍵幀提取效率。同時，系統(tǒng)基于云計算平臺，故具有較好的可擴展性和穩(wěn)定性。
[0033]盡管已經(jīng)參照其示例性實施例具體顯示和描述了本發(fā)明，但是本領域的技術人員應該理解，在不脫離權利要求所限定的本發(fā)明的精神和范圍的情況下，可以對其進行形式和細節(jié)上的各種改變。
【權利要求】
1.一種多級并行關鍵幀云提取系統(tǒng)，其特征在于，其包括: 視頻輸入模塊，被構造為提取關鍵幀的視頻輸入接口 ； 視頻鏡頭分割模塊，被構造為對輸入的視頻進行鏡頭分割，以便進行關鍵幀提取并行處理； 多級并行關鍵幀云處理模塊，被構造為對視頻鏡頭通過多級并行策略，通過并行提取幀特征向量、并行聚類操作，生成鏡頭關鍵幀組； 關鍵幀輸出模塊，被構造為對鏡頭所生成的關鍵幀組進行組合，最后輸出整個視頻的關鍵巾貞組。
2.根據(jù)權利要求1所述的多級并行關鍵幀云提取系統(tǒng)，其特征在于，多級并行關鍵幀云處理模塊進行并行提取視頻幀特征向量、根據(jù)視頻幀特征向量并行聚類操作。
3.根據(jù)權利要求2所述的多級并行關鍵幀云提取系統(tǒng)，其特征在于，所述多級并行關鍵幀云處理模塊中的視頻特征向量聚類操作可為k-means聚類、模糊C均值聚類或其他適合并行處理的圖像特征聚類算法。
4.一種多級并行關鍵幀云提取方法，其特征在于，所述多級并行關鍵幀云提取方法包括如下步驟: 51.接受需進行關鍵幀抽取的視頻； 52.對視頻進行視頻鏡頭分割； 53.對鏡頭多級并行提取視頻關鍵幀； 54.對鏡頭關鍵幀組進行組合輸出。
5.根據(jù)權利要求4所述的多級并行關鍵幀云提取方法，其特征在于，所述步驟s3包含并行提取視頻幀特征向量操作，并根據(jù)視頻幀特征向量并行聚類操作。
6.根據(jù)權利要求5所述的多級并行關鍵幀云提取方法，其特征在于，所述視頻特征向量聚類操作為k-means聚類或模糊C均值聚類或其他適合并行處理的圖像特征聚類算法中的一種或多種。
【文檔編號】G06T7/00GK104463864SQ201410731007
【公開日】2015年3月25日 申請日期:2014年12月5日 優(yōu)先權日:2014年12月5日
【發(fā)明者】朱定局 申請人:華南師范大學