一種主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法
【專利摘要】本發(fā)明公開了一種主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法。該方法首先對視頻圖像幀提取視覺特征表達(dá)，接著對由所有視頻圖像幀特征所構(gòu)成的特征矩陣X做PCA降維處理，得到圖像低維特征表達(dá)Y，然后對Y中每一條特征曲線搜索曲線局部極值點(diǎn)，將曲線局部極值點(diǎn)所在的幀的圖像低維特征表達(dá)加入到候選關(guān)鍵幀低維特征集合T中，最后對候選關(guān)鍵幀低維特征集合做K均值聚類，將距離聚類中心最近的候選關(guān)鍵幀低維特征所對應(yīng)的原始視頻序列圖像幀作為最終視頻關(guān)鍵幀返回，從而實現(xiàn)對視頻關(guān)鍵幀的提取。本方法具有計算量小，簡單易于實現(xiàn)的特點(diǎn)，能夠有效地抵抗視頻圖像序列中存在的物體運(yùn)動、顏色和光照等變化的影響。
【專利說明】一種主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法
【技術(shù)領(lǐng)域】
本發(fā)明涉及視頻關(guān)鍵幀提取技術(shù)，數(shù)據(jù)降維技術(shù)和聚類技術(shù)，尤其涉及采用聚類技術(shù)進(jìn)行視頻關(guān)鍵幀提前的方法。
【背景技術(shù)】
隨著網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，視頻數(shù)據(jù)日益呈現(xiàn)出爆炸式增長。對這些視頻數(shù)據(jù)進(jìn)行有效的管理和索引，就需要采用高效的視頻鏡頭檢測算法和視頻關(guān)鍵幀提取算法。本發(fā)明所涉及的是視頻關(guān)鍵幀提取技術(shù)，因此在下面對相關(guān)的視頻關(guān)鍵幀提取技術(shù)進(jìn)行簡要回顧。
關(guān)鍵幀是指視頻鏡頭中最重要、最具有代表性的圖像幀，它包含了鏡頭所要表達(dá)的絕大多數(shù)語義信息。對視頻提取關(guān)鍵幀，一方面可以便于用戶對視頻進(jìn)行快速的瀏覽，另一方面將原先對整段視頻進(jìn)行處理的算法(如視頻的識別，目標(biāo)檢測等)，可以轉(zhuǎn)化到對視頻關(guān)鍵幀上進(jìn)行相應(yīng)的處理，從而提高算法的效率。
典型的視頻關(guān)鍵幀提取算法，大致上可以劃分為如下五類:
第一類方法是基于視頻關(guān)鍵鏡頭邊界提取關(guān)鍵幀。通常，這類方法將鏡頭的首幀和尾幀作為鏡頭的關(guān)鍵幀。相對而言，這類方法簡單易行，關(guān)鍵幀數(shù)目確定，但是實際應(yīng)用效果并不穩(wěn)定。此外，這類方法依賴于鏡頭邊界檢測，實際上后者本身也是一個比較難處理的問題。
第二類方法是用計算相鄰幀之間的距離來提取關(guān)鍵幀。比較典型的是使用曲線簡化的方法。這類方法較為靈活，但是容易出現(xiàn)漏檢的情況，所提取的關(guān)鍵幀也容易包含相似幀。
第三類方法是基于視頻運(yùn)動檢測和分析的方法。比如Wolf采用光流法來分析視頻中鏡頭。這類方法所需要的計算量比較大，算法效率并不高，但是所提取的關(guān)鍵幀比較符合視頻運(yùn)動信息。
第四類方法是采用各種聚類方法。這類方法是對視頻按照其視覺特征進(jìn)行聚類，然后將每類的聚類中心幀，作為視頻的關(guān)鍵幀。這類方法所提取的關(guān)鍵幀數(shù)目確定，存在的不足之處在于只有當(dāng)視頻幀之間存在比較明顯的聚類特性的時候，同時聚類數(shù)目與真實的數(shù)據(jù)聚類分布比較一致的時候，算法效果比較好。否則，由于聚類算法本身所存在的限制，導(dǎo)致無法準(zhǔn)確提取出關(guān)鍵幀。
第五類方法是采用最優(yōu)化問題求解的思路。這類方法通常是將視頻關(guān)鍵幀提取問題轉(zhuǎn)化為等價的最優(yōu)化問題，然后采用特定的優(yōu)化求解算法來優(yōu)化相應(yīng)的數(shù)學(xué)模型，最后根據(jù)優(yōu)化的結(jié)果來提取視頻的關(guān)鍵幀。
本發(fā)明所提出的方法屬于第四類方法，通過將視頻圖像提取多種視覺特征表達(dá)，直接對圖像特征矩陣做PCA出來，克服視頻訓(xùn)練中存在的物體運(yùn)動、顏色和光照等變化所帶來的影響，接著通過對主成分特征曲線做曲線分析，搜索曲線局部極值點(diǎn)，得到候選的關(guān)鍵幀低維特征集合，最后在候選關(guān)鍵幀低維特征集合上做K均值聚類，將距離聚類中心最近的候選關(guān)鍵幀低維特征所對應(yīng)的原始視頻序列中的圖像幀作為最終視頻關(guān)鍵幀返回，從而實現(xiàn)對視頻關(guān)鍵巾貞的提取。

【發(fā)明內(nèi)容】

本發(fā)明的目的是克服現(xiàn)有視頻關(guān)鍵幀提取算法的不足，提供一種主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法。
主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法包括如下步驟:
1)對于一段包含η幀視頻圖像的視頻序列，提取視頻序列中所有圖像上的SIFT，HOG,GIST和PHOI四種圖像視覺特征，并將這四種圖像視覺特征依次拼接起來，得到視頻序列圖像幀特征所構(gòu)成的特征矩陣X = [X1, X2,, xn] e Rdxn，其中d為圖像視覺特征的維度；
2)對特征矩陣X做PCA降維處理:先將特征矩陣X中每列減去均值向量χ= ，即
尤=Z-f.1:得到f，接著對χ;/做特征值分解，保留前m個最大的特征值所對應(yīng)的特
征向量，將這m個特征向量組成低維特征投影矩陣W= [V1, V2,, Vffl] e Rdx'最后得到圖像低維特征表達(dá)Y = W1X = Ly1, J2,..., yn] e RmXn，其中yi為視頻序列第i巾貞所對應(yīng)的低維特征表達(dá)；
3)將圖像低維特征表達(dá)Y按行看成是m條隨時序變化的主成分特征曲線，對每一條主成分特征曲線進(jìn)行分析,搜索特征曲線局部極值點(diǎn)，將特征曲線局部極值點(diǎn)所對應(yīng)的視頻圖像幀的低維特征表達(dá)加入到候選關(guān)鍵幀低維特征集合T中，得到候選關(guān)鍵幀低維特征集T = IyiIyi e set (Y) Λ Yi是特征曲線局部極值點(diǎn)所對應(yīng)的視頻巾貞的低維特征表達(dá)}，其中set (Y) = {y” y2,..., yj是Y所對應(yīng)的集合表示；
4)對候選關(guān)鍵幀低維特征集合T做K均值聚類，得到P個聚類中，將距離聚類中心最近的P個候選關(guān)鍵幀低維特征所對應(yīng)的原始視頻序列中的圖像幀作為最終視頻關(guān)鍵幀返回，從而實現(xiàn)對視頻關(guān)鍵巾貞的提取。
本方法具有計算量小，簡單易于實現(xiàn)的特點(diǎn)，能夠有效的抵抗視頻圖像序列中存在的物體運(yùn)動、顏色和光照等變化的影響，可以實現(xiàn)快速視頻圖像關(guān)鍵幀提取功能。
【專利附圖】

【附圖說明】
圖1是一段自然風(fēng)景視頻的關(guān)鍵幀提取結(jié)果圖；
圖2是一段太極運(yùn)動視頻的關(guān)鍵幀提取結(jié)果圖；
圖3是一段新聞報道視頻的關(guān)鍵幀提取結(jié)果圖；
圖4是一段日常行為視頻的關(guān)鍵幀提取結(jié)果圖。
【具體實施方式】
主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法包括如下步驟:
I)對于一段包含η幀視頻圖像的視頻序列，提取視頻序列中所有圖像上的SIFT[1]，HOG[2], GIST[3]和PHOI [4]四種圖像視覺特征，并將這四種圖像視覺特征依次拼接起來，得到視頻序列圖像幀特征所構(gòu)成的特征矩陣X = [X1, x2), xn] e Rdxn，其中d為圖像視覺特征的維度；2)對特征矩陣X做PCA降維處理:先將特征矩陣X中每列減去均值向量χ= ΣΙ^，即
X = M π-?ζ,得到f，接著對_.ν ν'做特征值分解，保留前m個最大的特征值所對應(yīng)的特征
向量，將這m個特征向量組成低維特征投影矩陣W= [V1, V2, , Vffl] e Rdx'最后得到圖像低維特征表達(dá)
【權(quán)利要求】
1.一種主成分特征曲線分析的快速視頻關(guān)鍵幀提取方法，其特征在于包括如下步驟: 1)對于一段包含η幀視頻圖像的視頻序列，提取視頻序列中所有圖像上的SIFT，HOG,GIST和PHOI四種圖像視覺特征，并將這四種圖像視覺特征依次拼接起來，得到視頻序列圖像幀特征所構(gòu)成的特征矩陣X = [X1, X2,, xn] e Rdxn，其中d為圖像視覺特征的維度； 2)對特征矩陣X做PCA降維處理:先將特征矩陣X中每列減去均值向量
【文檔編號】G06T7/00GK103942778SQ201410106838
【公開日】2014年7月23日 申請日期:2014年3月20日 優(yōu)先權(quán)日:2014年3月20日
【發(fā)明者】陳晉音, 黃堅 申請人:杭州禧頌科技有限公司