專利名稱：一種利用標(biāo)志檢測(cè)進(jìn)行電視節(jié)目內(nèi)部自動(dòng)分割的方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理和模式識(shí)別技術(shù)領(lǐng)域，具體涉及一種利用標(biāo)志檢測(cè)進(jìn)行電視 節(jié)目內(nèi)部自動(dòng)分割的方法。
背景技術(shù)：
目前，廣播電視每天都在產(chǎn)生海量的視頻，并且給出了電子節(jié)目菜單。隨著網(wǎng)絡(luò)電 視和數(shù)字電視的廣泛普及，為了提供更佳的觀賞感受，許多電視節(jié)目嘗試通過內(nèi)部段落分 割，給出節(jié)目內(nèi)部收視指導(dǎo)。同時(shí)，節(jié)目的內(nèi)部分割也是進(jìn)一步內(nèi)容分析與檢索的前提。面 對(duì)海量的視頻，人工標(biāo)注分割已經(jīng)不能滿足時(shí)效要求，機(jī)器完成的自動(dòng)分割成為迫切需求。 視頻結(jié)構(gòu)化分析是指對(duì)視頻流進(jìn)行鏡頭分割、關(guān)鍵幀提取和場(chǎng)景分割等處理，從而得到視 頻的結(jié)構(gòu)化信息。場(chǎng)景分割主要集中在場(chǎng)景聚類，重復(fù)視頻檢測(cè)，鏡頭相似度比對(duì)等方法 上，往往比較復(fù)雜。當(dāng)前，越來越多的電視節(jié)目在使用臺(tái)標(biāo)或節(jié)目自有標(biāo)志時(shí)十分注意知 識(shí)產(chǎn)權(quán)在節(jié)目內(nèi)部的非自有產(chǎn)權(quán)的視頻段落，如廣告，引用的電影片段等，將不會(huì)加載這 些標(biāo)志；而使用標(biāo)志的視頻段落通常是片頭片尾，訪談部分，或其他由本節(jié)目自己錄制的片 段。標(biāo)志在時(shí)間序列上的不連續(xù)性使得電視節(jié)目具有很強(qiáng)的結(jié)構(gòu)性，為電視節(jié)目的內(nèi)部分 割提供了依據(jù)。

發(fā)明內(nèi)容
針對(duì)電視節(jié)目，其臺(tái)標(biāo)或節(jié)目標(biāo)志，下面統(tǒng)稱為標(biāo)志，具有時(shí)間上的不連續(xù)性，本 發(fā)明提供一種對(duì)此種電視節(jié)目內(nèi)部自動(dòng)分割方法，達(dá)到準(zhǔn)確快速的分割效果。本發(fā)明所述的電視節(jié)目內(nèi)部自動(dòng)分割方法的主要步驟如下步驟一，利用一種現(xiàn)有鏡頭分割技術(shù)對(duì)電視節(jié)目視頻進(jìn)行鏡頭分割，獲得時(shí)間連 續(xù)的鏡頭序列信息；步驟二，對(duì)每個(gè)鏡頭按時(shí)間平均方式取5幀關(guān)鍵幀，并提取所有關(guān)鍵幀中標(biāo)志所 在位置的矩形區(qū)域的子圖；步驟三，提取訓(xùn)練集所有子圖的圖像特征向量，含有標(biāo)志的子圖為正樣本，不含標(biāo) 志的子圖為負(fù)樣本，訓(xùn)練得到用于標(biāo)志檢測(cè)的SVM分類器；步驟四，將待分割的本節(jié)目視頻，經(jīng)過步驟一和步驟二得到所有子圖，提取與步驟 三相同的圖像特征向量，利用步驟三中得到的SVM分類器進(jìn)行分類，得到子圖的分類結(jié)果；步驟五，標(biāo)記鏡頭標(biāo)志屬性，如果一個(gè)鏡頭中至少有3幀子圖被判定為存在標(biāo)志， 則標(biāo)記這一鏡頭為標(biāo)志鏡頭，否則標(biāo)記為非標(biāo)志鏡頭；步驟六，節(jié)目視頻內(nèi)部分割，將視頻中具有不同標(biāo)志屬性的相鄰鏡頭的邊界作為 分割點(diǎn)，把視頻分割成段落。


圖1是本發(fā)明所述的電視節(jié)目結(jié)構(gòu)示例圖。
圖2是本發(fā)明所述方法的基本流程圖。
具體實(shí)施例方式如圖2流程圖所示，本發(fā)明所述方法包含兩個(gè)階段離線訓(xùn)練分類器與在線處理 待分割視頻。兩個(gè)階段共同的步驟是鏡頭分割，提取5幀關(guān)鍵幀及其標(biāo)志區(qū)域子圖。以下 為方法具體實(shí)施方式
。(1)鏡頭分割步驟是利用現(xiàn)有的一種鏡頭分割算法，如基于直方圖、基于運(yùn)動(dòng)以及 針對(duì)壓縮視頻的算法，將電視節(jié)目視頻切分成時(shí)間連續(xù)的鏡頭序列。(2)將每一個(gè)鏡頭按時(shí)間平均分成6段，取相鄰段的5幀圖像作為關(guān)鍵幀；針對(duì)此 電視節(jié)目，對(duì)已知的標(biāo)志確定其所在的矩形區(qū)域，此矩形恰好將標(biāo)志完全包圍，矩形坐標(biāo)為 (X，y，w, h)，其中X，y分別為矩形左上角點(diǎn)的橫縱坐標(biāo)，w, h分別為矩形的寬和高；對(duì)所有 關(guān)鍵幀提取此矩形，稱為子圖。(3)提取所有子圖的三種圖像特征向量HSV空間顏色直方圖，邊緣梯度直方圖， 基于詞袋模型的SIFT特征點(diǎn)直方圖；然后將三種特征連接，形成最后的圖像特征向量。具 體特征提取方法如下1.顏色直方圖提取對(duì)子圖提取HSV空間顏色統(tǒng)計(jì)直方圖，其中H空間分為8個(gè)區(qū)間，S空間分為3個(gè) 區(qū)間，V空間分為3個(gè)空間，將直方圖歸一化，形成72維的特征向量；2.邊緣梯度直方圖提取對(duì)子圖提取邊緣梯度直方圖，每5度為一個(gè)區(qū)間，累加各個(gè)區(qū)間范圍內(nèi)的梯度，將 直方圖歸一化，形成72維的特征向量；3.基于詞袋模型的SIFT特征點(diǎn)直方圖提取提取所有子圖SIFT特征向量；使用K均值聚類算法對(duì)訓(xùn)練集數(shù)據(jù)的SIFT特征向 量聚類，得到64個(gè)聚類中心，作為詞袋模型的碼本；將每個(gè)子圖的所有SIFT特征向量投影 到碼本，形成64維的直方圖并做歸一化，得到特征向量；4.將以上三種特征向量串連，形成最后的208維的特征向量。(4)離線訓(xùn)練用于標(biāo)志檢測(cè)的SVM分類器，將訓(xùn)練集的正負(fù)樣本的圖像特征向量 輸入SVM工具進(jìn)行訓(xùn)練，此處，正負(fù)集樣本數(shù)目均大于1000，SVM選擇基于卡方距離的核函 數(shù)。(5)對(duì)待分割視頻的子圖提取與步驟⑶相同的圖像特征向量，共208維；其中， 形成SIFT的直方圖特征向量的需要的碼本是步驟(3)中使用的碼本，由訓(xùn)練集經(jīng)K均值方 法聚類得到。(6)利用步驟(4)得到的SVM分類器對(duì)步驟(5)得到的特征向量進(jìn)行分類，分類結(jié) 果標(biāo)定各個(gè)子圖是否存在標(biāo)志。(7)由步驟(6)結(jié)果檢查每個(gè)鏡頭中含有標(biāo)志的關(guān)鍵幀數(shù)目，如果大于等于3，則 標(biāo)記此鏡頭為標(biāo)志鏡頭，否則標(biāo)記此鏡頭為非標(biāo)志鏡頭。(8)逐鏡頭檢查待分割視頻的鏡頭標(biāo)記，如果相鄰兩個(gè)鏡頭標(biāo)記不同，則將這兩個(gè) 鏡頭的邊界作為一個(gè)分割點(diǎn)，直到順序檢查完所有相鄰鏡頭，最后此節(jié)目視頻內(nèi)部分割完 成。
權(quán)利要求
1. 一種利用標(biāo)志檢測(cè)進(jìn)行電視節(jié)目內(nèi)部自動(dòng)分割的方法，其特征在于包括如下步驟 步驟一，利用鏡頭分割技術(shù)對(duì)電視節(jié)目視頻進(jìn)行鏡頭分割，獲得時(shí)間連續(xù)的鏡頭序列 fn息；步驟二，對(duì)每個(gè)鏡頭按時(shí)間平均方式取5幀關(guān)鍵幀，并提取所有關(guān)鍵幀中標(biāo)志所在位 置的矩形區(qū)域的子圖；步驟三，提取訓(xùn)練集所有子圖的圖像特征向量，含有標(biāo)志的子圖為正樣本，不含標(biāo)志的 子圖為負(fù)樣本，訓(xùn)練得到用于標(biāo)志檢測(cè)的SVM分類器；步驟四，將待分割的本節(jié)目視頻，經(jīng)過步驟一和步驟二得到所有子圖，提取與步驟三相 同的圖像特征向量，利用步驟三中得到的SVM分類器進(jìn)行分類，得到子圖的分類結(jié)果；步驟五，標(biāo)記鏡頭標(biāo)志屬性，如果一個(gè)鏡頭中至少有3幀子圖被判定為存在標(biāo)志，則標(biāo) 記這一鏡頭為標(biāo)志鏡頭，否則標(biāo)記為非標(biāo)志鏡頭；步驟六，節(jié)目視頻內(nèi)部分割，將視頻中具有不同標(biāo)志屬性的相鄰鏡頭邊界作為分割點(diǎn)， 把視頻分割成段落。其中，所述步驟二具體包括步驟1，將每一個(gè)鏡頭按時(shí)間平均分成6段，取相鄰段的5幀圖像作為關(guān)鍵幀； 步驟2，針對(duì)此電視節(jié)目，對(duì)已知的標(biāo)志確定其所在的矩形區(qū)域，此矩形恰好將標(biāo)志完 全包圍，矩形坐標(biāo)為(X，1，w, h)，其中X，y分別為矩形左上角點(diǎn)的橫縱坐標(biāo)，w, h分別為矩 形的寬和高；步驟3，對(duì)所有關(guān)鍵幀提取此矩形，稱為子圖。 其中，所述步驟三具體包括步驟1，對(duì)子圖提取HSV空間顏色統(tǒng)計(jì)直方圖，其中H空間分為8個(gè)區(qū)間，S空間分為3 個(gè)區(qū)間，V空間分為3個(gè)空間，將直方圖歸一化，形成72維的特征向量；步驟2，對(duì)子圖提取邊緣梯度直方圖，每5度為一個(gè)區(qū)間，累加各個(gè)區(qū)間范圍內(nèi)的梯度， 將直方圖歸一化，形成72維的特征向量；步驟3，提取所有子圖SIFT特征向量，使用K均值聚類算法對(duì)訓(xùn)練集數(shù)據(jù)的SIFT特征 向量聚類，得到64個(gè)聚類中心，作為碼本，將每個(gè)子圖的所有SIFT特征向量投影到碼本，形 成64維的直方圖并做歸一化，得到特征向量；步驟4，將以上三種特征向量串連，形成最后的208維的特征向量； 步驟5，離線訓(xùn)練用于標(biāo)志檢測(cè)的SVM分類器，將訓(xùn)練集的正負(fù)樣本的特征向量輸入 SVM工具進(jìn)行訓(xùn)練，此處，訓(xùn)練中正負(fù)集樣本數(shù)目均大于1000，SVM選擇基于卡方距離的核 函數(shù)。
全文摘要
本發(fā)明涉及圖像處理和模式識(shí)別技術(shù)領(lǐng)域，提出了一種利用標(biāo)志檢測(cè)進(jìn)行電視節(jié)目內(nèi)部自動(dòng)分割的方法。目前，電視節(jié)目的內(nèi)部分割具有迫切需求；節(jié)目中標(biāo)志的時(shí)間不連續(xù)性使得節(jié)目具有良好的結(jié)構(gòu)性。本發(fā)明所述方法主要包括以下步驟(1)對(duì)節(jié)目視頻分割鏡頭，在每個(gè)鏡頭關(guān)鍵幀上提取標(biāo)志所在區(qū)域的子圖；(2)提取子圖的特征向量，利用針對(duì)此標(biāo)志檢測(cè)的SVM分類器進(jìn)行分類；(3)統(tǒng)計(jì)分類結(jié)果，標(biāo)定每個(gè)鏡頭的標(biāo)志屬性；(4)在相鄰鏡頭的標(biāo)志屬性切變點(diǎn)分割視頻。本發(fā)明在標(biāo)志檢測(cè)過程中，只對(duì)關(guān)鍵幀做處理，從而提高了方法的效率；另外，本發(fā)明的應(yīng)用對(duì)象是節(jié)目中標(biāo)志具有不連續(xù)性的電視節(jié)目，對(duì)節(jié)目內(nèi)容類型無要求，增強(qiáng)了方法應(yīng)用的普適性。
文檔編號(hào)H04N5/262GK102098449SQ20101057407
公開日2011年6月15日 申請(qǐng)日期2010年12月6日 優(yōu)先權(quán)日2010年12月6日
發(fā)明者肖國銳, 董遠(yuǎn) 申請(qǐng)人:北京郵電大學(xué)