一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法
【專利摘要】本發(fā)明是一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，包括以下步驟：針對已有文本字幕的視頻文件，構(gòu)建索引；得到按照Sms劃分的視頻的基礎(chǔ)音頻特征序列Z序列：Z1Z2Z3Z4Z5...Zn和積分和序列,T序列：T1T2T3T4...Tn-9；每個(gè)字幕對應(yīng)一個(gè)Z序列片段對視頻字幕的檢索，在視頻索引庫里對于每一個(gè)視頻，取出它的T序列，設(shè)為序列A：A1A2A3...An，片段Seg的T序列，設(shè)為序列B：B1B2B3...Bm，計(jì)算序列A和序列B最佳匹配，并計(jì)算最佳匹配的歐式距離，查找得到距離最小的視頻V，作為匹配得到的視頻；對匹配得到的視頻里的每個(gè)字幕，進(jìn)行反匹配尋找最佳匹配，實(shí)現(xiàn)字幕匹配。本發(fā)明基于音頻數(shù)據(jù)來建立索引，提供一個(gè)針對格式不同視頻的一種字幕索引機(jī)制及字幕檢測方法，高效而且準(zhǔn)確。
【專利說明】-種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)軟件【技術(shù)領(lǐng)域】，尤指一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法。

【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)上的視頻多種多樣，相同內(nèi)容的視頻，可能編碼格式不一樣，可能碼率不一 樣，可能分辨率不一樣，可能一個(gè)視頻是另一個(gè)視頻的片段。本專利提供一個(gè)針對格式不同 視頻的一種字幕索引機(jī)制及字幕檢測方法。在這種情況下，很難高效并且準(zhǔn)備的進(jìn)行視頻 字幕的索引，實(shí)現(xiàn)字幕的匹配。


【發(fā)明內(nèi)容】

[0003] 為解決上述問題，本發(fā)明提供一種基于音頻數(shù)據(jù)來建立索引的互聯(lián)網(wǎng)視頻的字幕 匹配與檢索方法。
[0004] 本發(fā)明是一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，包括以下步驟： 步驟一、針對已有文本字幕的視頻文件，構(gòu)建索引； (1) 對視頻的音頻數(shù)據(jù)進(jìn)行分析，如果視頻有多個(gè)聲道，則將多聲道數(shù)據(jù)合并為1聲 道； (2) 將音頻數(shù)據(jù)采樣率歸一化； (3) 對音頻數(shù)據(jù)進(jìn)行分幀； (4) 對于每一巾貞，計(jì)算過零率，得到按照S ms劃分的視頻的基礎(chǔ)音頻特征序列Z序列： . . Zn; (5) 對于每一個(gè)視頻，除了保存基礎(chǔ)音頻特征序列外，還保存一個(gè)時(shí)間窗口為1000ms 的積分和序列，T序列：TJ2T3T4. · · Tn_9，其中，Τη = Ζη+Ζη+1+· · · +Zn+9 ;每個(gè)字幕對應(yīng)一個(gè) Z序列片段； 步驟二：視頻字幕的檢索 (1) 對于互聯(lián)網(wǎng)上的視頻I，按照上述步驟一中（1)、（2)步驟進(jìn)行音頻數(shù)據(jù)的歸一化處 理； (2) 通過端點(diǎn)檢測算法，區(qū)分出人聲和非人聲； (3) 對視頻I，在其中取出人聲密集的片段Seg，片段Seg的長度為10-30秒； (4) 按照上述步驟一的方法，計(jì)算出片段Seg的基礎(chǔ)音頻特征序列Z序列和積分和序列 T序列； (5) 在視頻索引庫里對于每一個(gè)視頻，取出它的T序列，設(shè)為序列A :AiA2A3. . . An，片段 Seg的T序列，設(shè)為序列B ABA. . . Bm，計(jì)算序列A和序列B最佳匹配，并計(jì)算最佳匹配的歐 式距離，計(jì)算方法如下： i、 從序列A的頭部取出和序列B同樣長度的數(shù)據(jù)：AiA2A3. . . ，計(jì)算該數(shù)據(jù)與序列B : ΒΛΒγ · · :的歐式距離； ii、 將子序列偏移k，即序列A1+kA2+kA3+k. . . Am+k，計(jì)算與序列Β的歐式距離； iih將子序列偏移2k，即序列A1+2kA2+2kA 3+2k. . . Am+2k，計(jì)算與序列B的歐式距離； iv、 如此，直到掃描完全部序列； v、 找出匹配歐式距離最短的子序列A1+jkA2+jkA3+jk. . . Am+jk，進(jìn)行更細(xì)致的掃描，也找出序 列集合 A1+jk+dA2+jk+dA3+j k+d...Am+jk+d，其中-m/2〈= d〈= m/2 里，與序列 BBABy.Bm 歐式距 離最短的序列，作為最佳匹配序列；最佳匹配序列與序列B的距離為片段Seg與視頻的距 離； (6) 查找得到距離最小的視頻V，作為匹配得到的視頻； (7) 對匹配得到的視頻里的每個(gè)字幕，進(jìn)行反匹配，計(jì)算出輸入視頻的積分序列，作為A 序列，按照步驟二（5)的流程，以每個(gè)字幕對應(yīng)的Z序列片段為B序列，尋找最佳匹配，實(shí)現(xiàn) 字幕匹配。
[0005] 步驟一（2)中采樣率歸一化為16bit，8,000 Hz。
[0006] 步驟一（3)對音頻數(shù)據(jù)進(jìn)行分幀，按照幀長L ms，幀移S ms進(jìn)行分幀。
[0007] 步驟一（4)中取 S 為 10 ms。
[0008] 本發(fā)明的有益技術(shù)效果在于：本發(fā)明基于音頻數(shù)據(jù)來建立索引，通過音頻特征序 列的構(gòu)建(積分和序列)、基于積分和序列查找最有匹配視頻的方法及基于積分和序列進(jìn)行 字幕匹配的方法，提供一個(gè)針對格式不同視頻的一種字幕索引機(jī)制及字幕檢測方法，高效 而且準(zhǔn)確。

【具體實(shí)施方式】
[0009] 下面結(jié)合實(shí)施例，對本發(fā)明的【具體實(shí)施方式】作進(jìn)一步詳細(xì)描述。
[0010] 本發(fā)明是一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，包括以下步驟： 步驟一、針對已有文本字幕的視頻文件，構(gòu)建索引； (1)對視頻的音頻數(shù)據(jù)進(jìn)行分析，如果視頻有多個(gè)聲道，則將多聲道數(shù)據(jù)合并為1聲 道。
[0011] (2)將音頻數(shù)據(jù)采樣率歸一化，采樣率歸一化為16bit，8, 000 Hz，也可以是其他采 樣率。
[0012] (3)對音頻數(shù)據(jù)進(jìn)行分幀，按照幀長L ms，幀移S ms進(jìn)行分幀。
[0013] (4)對于每一幀，計(jì)算過零率，得到按照S ms劃分的視頻的基礎(chǔ)音頻特征序列Z 序列：ΖΑΖΑΖρ,.Ζη,取 S 為 10 ms。
[0014] (5)對于每一個(gè)視頻，除了保存基礎(chǔ)音頻特征序列外，還保存一個(gè)時(shí)間窗口為 1000ms的積分和序列，T序列：TJ 2T3T4. · · Tn_9，其中，Τη = Ζη+Ζη+1+· · · +Zn+9 ;每個(gè)字幕對 應(yīng)一個(gè)Z序列片段。
[0015] 步驟二：視頻字幕的檢索 (1)對于互聯(lián)網(wǎng)上的視頻I，按照上述步驟一中（1)、（2)步驟進(jìn)行音頻數(shù)據(jù)的歸一化處 理。
[0016] (2)通過端點(diǎn)檢測算法，區(qū)分出人聲和非人聲。
[0017] (3)對視頻I，在其中取出人聲密集的片段Seg，片段Seg的長度為10-30秒。
[0018] (4)按照上述步驟一的方法，計(jì)算出片段Seg的基礎(chǔ)音頻特征序列Z序列和積分和 序列T序列。
[0019] (5)在視頻索引庫里對于每一個(gè)視頻，取出它的Τ序列，設(shè)為序列A AAA. . .Αη， 片段Seg的Τ序列，設(shè)為序列Β ΑΒΑ . . Bm，計(jì)算序列Α和序列Β最佳匹配，并計(jì)算最佳匹 配的歐式距離，計(jì)算方法如下： i、 從序列Α的頭部取出和序列Β同樣長度的數(shù)據(jù)：AiA2A3. . . ，計(jì)算該數(shù)據(jù)與序列Β : ΒΛΒγ · · :的歐式距離； ii、 將子序列偏移k，即序列A1+kA2+kA3+k. . . Am+k，計(jì)算與序列Β的歐式距離； iih將子序列偏移2k，即序列A1+2kA2+2kA3+2k. . . Am+2k，計(jì)算與序列B的歐式距離； iv、如此，直到掃描完全部序列； V、找出匹配歐式距離最短的子序列A1+jkA2+jkA3+jk. . . Α^，進(jìn)行更細(xì)致的掃描，也找出序 列集合 A1+jk+dA2+jk+dA3+j k+d...Am+jk+d，其中-m/2〈= d〈= m/2 里，與序列 BBABy.Bm 歐式距 離最短的序列，作為最佳匹配序列；最佳匹配序列與序列B的距離為片段Seg與視頻的距 離； (6)查找得到距離最小的視頻V，作為匹配得到的視頻。
[0020] (7)對匹配得到的視頻里的每個(gè)字幕，進(jìn)行反匹配，計(jì)算出輸入視頻的積分序列， 作為A序列，按照步驟二（5)的流程，以每個(gè)字幕對應(yīng)的Z序列片段為B序列，尋找最佳匹 配，實(shí)現(xiàn)字幕匹配。
【權(quán)利要求】
1. 一種互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，其特征在于，包括以下步驟： 步驟一、針對已有文本字幕的視頻文件，構(gòu)建索引； (1) 對視頻的音頻數(shù)據(jù)進(jìn)行分析，如果視頻有多個(gè)聲道，則將多聲道數(shù)據(jù)合并為1聲 道； (2) 將音頻數(shù)據(jù)采樣率歸一化； (3) 對音頻數(shù)據(jù)進(jìn)行分幀； (4) 對于每一巾貞，計(jì)算過零率，得到按照S ms劃分的視頻的基礎(chǔ)音頻特征序列Z序列： . . Zn; (5) 對于每一個(gè)視頻，除了保存基礎(chǔ)音頻特征序列外，還保存一個(gè)時(shí)間窗口為1000ms 的積分和序列，T序列：TJ2T3T4. · · Tn_9，其中，Τη = Ζη+Ζη+1+· · · +Zn+9 ;每個(gè)字幕對應(yīng)一個(gè) Z序列片段； 步驟二：視頻字幕的檢索 (1) 對于互聯(lián)網(wǎng)上的視頻I，按照上述步驟一中（1)、（2)步驟進(jìn)行音頻數(shù)據(jù)的歸一化處 理； (2) 通過端點(diǎn)檢測算法，區(qū)分出人聲和非人聲； (3) 對視頻I，在其中取出人聲密集的片段Seg，片段Seg的長度為10-30秒； (4) 按照上述步驟一的方法，計(jì)算出片段Seg的基礎(chǔ)音頻特征序列Z序列和積分和序列 T序列； (5) 在視頻索引庫里對于每一個(gè)視頻，取出它的T序列，設(shè)為序列A :AiA2A3. . . An，片段 Seg的T序列，設(shè)為序列B ABA. . . Bm，計(jì)算序列A和序列B最佳匹配，并計(jì)算最佳匹配的歐 式距離，計(jì)算方法如下：
1. 從序列A的頭部取出和序列B同樣長度的數(shù)據(jù)：AiA2A3. . . ，計(jì)算該數(shù)據(jù)與序列B : ΒΛΒγ · · :的歐式距離； ?、將子序列偏移k，即序列A1+kA2+kA3+k. . . Am+k，計(jì)算與序列Β的歐式距離； 、將子序列偏移2k，即序列A1+2kA2+2kA3+2k. . . Am+2k，計(jì)算與序列B的歐式距離； iv、 如此，直到掃描完全部序列； v、 找出匹配歐式距離最短的子序列A1+jkA2+jkA3+jk. . . Am+jk，進(jìn)行更細(xì)致的掃描，也找出 序列集合其中-m/2〈= d〈= m/2里，與序列ΒΒΛΒ^.Β^歐式 距離最短的序列，作為最佳匹配序列；最佳匹配序列與序列Β的距離為片段Seg與視頻的距 離； (6) 查找得到距離最小的視頻V，作為匹配得到的視頻； (7) 對匹配得到的視頻里的每個(gè)字幕，進(jìn)行反匹配，計(jì)算出輸入視頻的積分序列，作為A 序列，按照步驟二（5)的流程，以每個(gè)字幕對應(yīng)的Z序列片段為B序列，尋找最佳匹配，實(shí)現(xiàn) 字幕匹配。
2. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，其特征在于，步驟一（2) 中采樣率歸一化為16bit，8,000 Hz。
3. 根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，其特征在于，步驟一（3) 對音頻數(shù)據(jù)進(jìn)行分幀，按照幀長L ms，幀移S ms進(jìn)行分幀。
4.根據(jù)權(quán)利要求1所述的互聯(lián)網(wǎng)視頻的字幕匹配與檢索方法，其特征在于，步驟一（4) 中取S為10 ms。
【文檔編號(hào)】H04N21/254GK104156478SQ201410423582
【公開日】2014年11月19日 申請日期:2014年8月26日 優(yōu)先權(quán)日:2014年8月26日
【發(fā)明者】程國艮, 袁翔宇, 王宇晨 申請人:中譯語通科技（北京）有限公司