一種網(wǎng)絡(luò)視頻的摘要信息提取方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種網(wǎng)絡(luò)視頻的摘要信息提取方法及系統(tǒng)。所述方法包括：獲取視頻文件；確定視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；否則，將所述第一圖像與所述第二圖像歸類為不同場景；對于每一個場景，提取摘要視頻幀。采用本發(fā)明的方法或系統(tǒng)，可以提高對于網(wǎng)絡(luò)視頻的摘要信息的提取效率，進(jìn)而使用戶可以快速了解視頻內(nèi)容。
【專利說明】一種網(wǎng)絡(luò)視頻的摘要信息提取方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理領(lǐng)域，特別是涉及一種網(wǎng)絡(luò)視頻的摘要信息提取方法及系統(tǒng)。

【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，越來越多的用戶習(xí)慣于觀看網(wǎng)絡(luò)視頻。所謂網(wǎng)絡(luò)視頻，是指存儲在網(wǎng)絡(luò)中的服務(wù)器，并且可以由用戶點播進(jìn)行在線觀看的視頻。
[0003]網(wǎng)絡(luò)視頻的數(shù)量日益龐大，通常情況下，用戶是無法觀看完網(wǎng)絡(luò)中的全部網(wǎng)絡(luò)視頻的。用戶常常需要從大量的網(wǎng)絡(luò)視頻中選擇需要觀看的視頻。
[0004]現(xiàn)有技術(shù)中，為了便于用戶快速了解視頻內(nèi)容，采用摘要信息提取方法對網(wǎng)絡(luò)視頻中的關(guān)鍵幀進(jìn)行提取，然后提示給用戶。該方法主要是根據(jù)視頻中是否具有鏡頭切換來實現(xiàn)的。具體的，當(dāng)視頻中發(fā)生鏡頭切換時，則從切換前的內(nèi)容與切換后的內(nèi)容中各選取出一些關(guān)鍵幀，作為該視頻的摘要信息。
[0005]但是，當(dāng)視頻中發(fā)生鏡頭切換時，并不一定意味著前后兩部分內(nèi)容所對應(yīng)的視頻情節(jié)發(fā)生了較大改變。例如，當(dāng)兩個人物相互交談時，鏡頭先對準(zhǔn)人物甲，再對準(zhǔn)人物乙，就會被確定發(fā)送了鏡頭切換，但此時兩部分內(nèi)容對應(yīng)的視頻情節(jié)并未發(fā)生較大改變。
[0006]綜上所述，現(xiàn)有技術(shù)中的摘要信息提取方法，由于主要根據(jù)鏡頭是否發(fā)生切換來確定網(wǎng)絡(luò)視頻中的關(guān)鍵幀，因此提取效率較低，進(jìn)而導(dǎo)致用戶無法快速了解視頻內(nèi)容。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供一種網(wǎng)絡(luò)視頻的摘要信息提取方法及系統(tǒng)，能夠根據(jù)網(wǎng)絡(luò)視頻中的場景變化提取網(wǎng)絡(luò)視頻中的關(guān)鍵幀，提高對于網(wǎng)絡(luò)視頻的摘要信息的提取效率，進(jìn)而使用戶可以快速了解視頻內(nèi)容。
[0008]為實現(xiàn)上述目的，本發(fā)明提供了如下方案:
[0009]一種網(wǎng)絡(luò)視頻的摘要信息提取方法，包括:
[0010]獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系；
[0011]確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；
[0012]確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；
[0013]確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；
[0014]判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；
[0015]如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；
[0016]否則，將所述第一圖像與所述第二圖像歸類為不同場景；
[0017]對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
[0018]可選的，所述確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置，具體包括:
[0019]采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果；
[0020]當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割;
[0021]當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果；
[0022]當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割;
[0023]當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割。
[0024]可選的，所述提取摘要視頻幀，具體包括:
[0025]識別場景中的關(guān)鍵幀；
[0026]確定所述關(guān)鍵幀中包含的特定特征；
[0027]根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵幀包含的信息量；
[0028]依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
[0029]可選的，所述提取摘要視頻幀之后，還包括:
[0030]按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序；
[0031]基于排序后的所述摘要視頻幀，生成摘要視頻；
[0032]建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
[0033]可選的，所述建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系，具體包括:
[0034]將所述摘要視頻插入所述視頻文件的起始位置。
[0035]一種網(wǎng)絡(luò)視頻的摘要信息提取系統(tǒng)，包括:
[0036]視頻文件獲取單元，用于獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系；
[0037]第一位置確定單元，用于確定所述圖像信息對應(yīng)的圖像中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；
[0038]第一音頻確定單元，用于確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；
[0039]第二音頻確定單元，用于確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；
[0040]音頻連續(xù)性判斷單元，用于判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；
[0041]第一歸類單元，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為是時，將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；
[0042]第二歸類單元，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為否時，將所述第一圖像與所述第二圖像歸類為不同場景；
[0043]摘要視頻幀提取單元，用于對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
[0044]可選的，所述第一位置確定單元，具體包括:
[0045]第一判斷子單元，用于采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果；
[0046]第一確定子單元，用于當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割；
[0047]第二判斷子單元，用于當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果；
[0048]第二確定子單元，用于當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割；
[0049]第三確定子單元，用于當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割。
[0050]可選的，所述摘要視頻幀提取單元，具體包括:
[0051]關(guān)鍵幀識別子單元，用于識別場景中的關(guān)鍵幀；
[0052]特定特征確定子單元，用于確定所述關(guān)鍵幀中包含的特定特征；
[0053]信息量確定子單元，用于根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵幀包含的信息量；
[0054]關(guān)鍵幀提取子單元，用于依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
[0055]可選的，還包括:
[0056]摘要視頻幀排序單元，用于在提取摘要視頻幀之后，按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序；
[0057]摘要視頻生成單元，用于基于排序后的所述摘要視頻幀，生成摘要視頻；
[0058]關(guān)聯(lián)關(guān)系建立單元，用于建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
[0059]可選的，所述關(guān)聯(lián)關(guān)系建立單元，具體包括:
[0060]摘要視頻插入子單元，用于將所述摘要視頻插入所述視頻文件的起始位置。
[0061]根據(jù)本發(fā)明提供的具體實施例，本發(fā)明公開了以下技術(shù)效果:
[0062]本發(fā)明實施例中的方法及裝置，通過確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；否則，將所述第一圖像與所述第二圖像歸類為不同場景；再對于每一個場景，提取摘要視頻幀；能夠根據(jù)網(wǎng)絡(luò)視頻中的場景變化提取網(wǎng)絡(luò)視頻中的關(guān)鍵幀，提高對于網(wǎng)絡(luò)視頻的摘要信息的提取效率，進(jìn)而使用戶可以快速了解視頻內(nèi)容。

【專利附圖】

【附圖說明】
[0063]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0064]圖1為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取方法實施例1的流程圖；
[0065]圖2為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取方法實施例2的流程圖；
[0066]圖3為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取系統(tǒng)實施例的結(jié)構(gòu)圖。

【具體實施方式】
[0067]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。
[0068]為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進(jìn)一步詳細(xì)的說明。
[0069]圖1為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取方法實施例1的流程圖。如圖1所示，該方法可以包括:
[0070]步驟101:獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系；
[0071]所述視頻文件可以是用于在網(wǎng)絡(luò)中的服務(wù)器中存儲，供網(wǎng)絡(luò)用戶進(jìn)行點播的視頻文件。例如，所述視頻文件的類型可以是電影，電視劇或者用戶自行拍攝的視頻等等。
[0072]需要說明的是，本發(fā)明實施例中的視頻文件，除了包括圖像信息，還包括音頻信息。所述音頻信息可以是視頻文件中的背景音樂，也可以是視頻文件中人物之間的談話，或者可以是視頻文件中的其它物體發(fā)出的聲音。
[0073]所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系，是指視頻文件中的圖像與音頻在正常情況下是同步的。例如，在視頻文件的第一分鐘出現(xiàn)了某種聲音，則在后續(xù)播放過程中，當(dāng)該視頻文件播放到第一分鐘時，都會出現(xiàn)該種聲音。
[0074]步驟102:確定所述圖像信息對應(yīng)的圖像中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；
[0075]可以通過對視頻文件中的圖像進(jìn)行特征比對，來判斷是否發(fā)生了鏡頭分割。通常，鏡頭分割前后的圖像，在特征上具有明顯的不同。
[0076]當(dāng)確定出發(fā)生鏡頭分割的圖像內(nèi)容后，可以獲取該圖像內(nèi)容在視頻文件的時間軸上所處的位置。該位置可以表述發(fā)生鏡頭分割的時間。
[0077]步驟103:確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；
[0078]所述預(yù)設(shè)時間段可以根據(jù)實際需要進(jìn)行設(shè)置。例如，可以將所述預(yù)設(shè)時間段設(shè)置為5秒、10秒、20秒等等。
[0079]步驟104:確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；
[0080]本步驟中的預(yù)設(shè)時間段，可以與步驟103中的預(yù)設(shè)時間段的長度相同，也可以不同。
[0081]步驟105:判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果是，執(zhí)行步驟106 ;否則，執(zhí)行步驟107 ；
[0082]所述連續(xù)性是指所述第一音頻與所述第二音頻在音量大小，音調(diào)高低等方面是連續(xù)的，或者所述第一音頻與所述第二音頻都是談話音，或者所述第一音頻與所述第二音頻都包含同樣的背景音樂等等。如果具有連續(xù)性，則通?？梢员硎舅龅谝灰纛l與所述第二音頻是屬于同一段音樂或者同一段對話的。由于視頻文件中的圖像與音頻之間具有對應(yīng)關(guān)系，所以據(jù)此也可以確定所述第一音頻對應(yīng)的圖像與所述第二音頻對應(yīng)的圖像是屬于同一場景的。
[0083]在視頻文件中，一個情節(jié)通常在一個場景中展開。本實施例中，以場景為單位對視頻文件進(jìn)行劃分，可以使得對于視頻文件的劃分更為恰當(dāng)，更能夠提取出最能代表該視頻的摘要視頻幀。
[0084]所述判斷所述第一音頻與所述第二音頻是否具有連續(xù)性，可以是對所述第一音頻與所述第二音頻是否具有連續(xù)性進(jìn)行分析時，可以提取所述第一音頻與所述第二音頻構(gòu)成的音頻段整體，檢測所述音頻段整體在所述第一位置處是否連續(xù)。具體可以采用以下方式:
[0085]判斷發(fā)生鏡頭分割的所述第一位置是否存在靜音段；
[0086]如果不存在靜音段，則判定所述第一音頻與所述第二音頻具有連續(xù)性；
[0087]如果存在靜音段，則提取所述第一音頻的第一 Mel頻率倒譜系數(shù)(MFCC)特征；
[0088]提取所述第二音頻的第二 Mel頻率倒譜系數(shù)特征；
[0089]將所述第一 Mel頻率倒譜系數(shù)特征與所述第二 Mel頻率倒譜系數(shù)特征進(jìn)行特征比對，得到比對結(jié)果；
[0090]當(dāng)所述比對結(jié)果表示所述第一Mel頻率倒譜系數(shù)特征與所述第二Mel頻率倒譜系數(shù)特征相同或相近時，確定所述第一音頻與所述第二音頻具有連續(xù)性；
[0091]當(dāng)所述比對結(jié)果表示所述第一Mel頻率倒譜系數(shù)特征與所述第二Mel頻率倒譜系數(shù)特征不相近時，確定所述第一音頻與所述第二音頻不具有連續(xù)性。
[0092]其中，Mel頻率是基于人耳聽覺特性提出來的，它與Hz頻率成非線性對應(yīng)關(guān)系。Mel頻率倒譜系數(shù)特征則是利用它們之間的這種關(guān)系，計算得到的Hz頻譜特征。
[0093]步驟106:將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；
[0094]步驟107:將所述第一圖像與所述第二圖像歸類為不同場景；
[0095]步驟108:對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
[0096]現(xiàn)有技術(shù)中，對于摘要視頻幀的提取通常是以分割后的鏡頭為單位進(jìn)行的。假設(shè)以分割后的鏡頭為單位提取摘要視頻幀時，每個鏡頭內(nèi)可以提取的視頻幀的數(shù)目上限為10個，總共劃分出100個鏡頭，則可以提取的視頻幀的總數(shù)目最大是1000個。而采用本實施例中的方法，可以將100個鏡頭中的部分鏡頭劃分至同一場景中，假設(shè)劃分為50個場景，每個場景內(nèi)可以提取的視頻幀的數(shù)目上限也為10個，則可以提取的視頻幀的總數(shù)目最大是500個。可見，采用本實施例的摘要信息提取方法，可以精簡需要提取的視頻幀的數(shù)目。
[0097]綜上所述，本實施例中，通過確定視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；否則，將所述第一圖像與所述第二圖像歸類為不同場景；再對于每一個場景，提取摘要視頻幀；能夠根據(jù)網(wǎng)絡(luò)視頻中的場景變化提取網(wǎng)絡(luò)視頻中的關(guān)鍵幀，提高對于網(wǎng)絡(luò)視頻的摘要信息的提取效率，進(jìn)而使用戶可以快速了解視頻內(nèi)容。
[0098]圖2為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取方法實施例2的流程圖。如圖2所示，該方法可以包括:
[0099]步驟201:獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系；
[0100]步驟202:采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果；
[0101]所述分塊直方圖匹配算法，是指將待分析的相鄰的兩幀圖像中的每幅圖像劃分成多個塊狀區(qū)域；對不同圖像中相應(yīng)位置處的塊狀區(qū)域分別進(jìn)行直方圖匹配；根據(jù)匹配結(jié)果判斷兩巾貞圖像是否相同。
[0102]分塊直方圖匹配算法，主要是對相鄰的兩幀圖像進(jìn)行分析，判斷相鄰的兩幀圖像是否發(fā)生了明顯變化，因此適用于對鏡頭切換產(chǎn)生的鏡頭分割進(jìn)行識別。但是，當(dāng)視頻圖像中的鏡頭切換過程采用了漸變效果時，由于漸變過程中，圖像的整體灰度、顏色是逐漸發(fā)生變化的，相鄰兩幀圖像之間的變化并不明顯，采用分塊直方圖匹配算法時，無法判定發(fā)生了鏡頭分割。為避免上述情況發(fā)生，本實施例中，當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的圖像中相鄰的兩幀圖像是否相同。
[0103]特征點匹配算法，主要是根據(jù)圖像中的圖形特征進(jìn)行匹配，因此不會受到漸變鏡頭中圖像的灰度和顏色變化所帶來的影響。具體可以采用尺度不變特征轉(zhuǎn)換(Scale-1nvariant feature transform, SIFT)提取方法提取圖像中的特征。當(dāng)然，還可以采用其他特征點匹配算法，此處不做贅述。
[0104]如果經(jīng)過特征點匹配算法進(jìn)行匹配后，判定兩幀圖像存在較大差異，則可以確定相鄰的兩幀圖像發(fā)生了鏡頭分割。上述方式可以提高對于鏡頭分割的判定準(zhǔn)確率。
[0105]步驟203:當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果；
[0106]步驟204:當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割;
[0107]步驟205:當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割；
[0108]步驟206:當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割，將所述兩部分圖像在所述時間軸上的交界位置確定為所述第一位置。
[0109]步驟207:確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；
[0110]步驟208:確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；
[0111]步驟209:判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果是，執(zhí)行步驟210，否則，執(zhí)行步驟211 ；
[0112]步驟210:將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；
[0113]步驟211:將所述第一圖像與所述第二圖像歸類為不同場景；
[0114]步驟212:對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
[0115]綜上所述，本實施例中，通過采用分塊直方圖匹配算法和特征點匹配算法相結(jié)合的判斷方式，可以提高對于鏡頭分割的判定準(zhǔn)確率。
[0116]實際應(yīng)用中，所述提取摘要視頻幀，具體可以包括以下步驟:
[0117]識別場景中的關(guān)鍵幀；
[0118]確定所述關(guān)鍵幀中包含的特定特征；
[0119]根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵幀包含的信息量；
[0120]依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
[0121]其中，所述特定特征可以是各種類型的特征。例如，所述特定特征可以是特定的人臉，也可以是表示所述關(guān)鍵幀中具有打斗信息的特征。當(dāng)某個關(guān)鍵幀中包括主要演員的人臉信息時，或者包括打斗信息時，可以認(rèn)為該關(guān)鍵幀中包含的特定特征具有比較大的權(quán)重。某個特定特征在場景中的持續(xù)時間越長，可以提升包含該特定特征的關(guān)鍵幀的信息量。最終，可以將包含的特定特征的權(quán)重較大的關(guān)鍵幀，以及包含持續(xù)時間較長的特定特征的關(guān)鍵幀，判定為具有較多的信息量。
[0122]采用上述方式，可以在場景中包含的關(guān)鍵幀較多時，進(jìn)一步提取出信息量較多的關(guān)鍵巾貞，從而進(jìn)一步提聞對于網(wǎng)絡(luò)視頻的摘要/[目息的提取效率。
[0123]還需要說明的是，所述提取摘要視頻幀之后，還可以包括以下步驟:
[0124]按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序；
[0125]基于排序后的所述摘要視頻幀，生成摘要視頻；
[0126]建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
[0127]通過上述步驟，可以生成基于所述摘要視頻幀的摘要視頻。用戶可以通過觀看該摘要視頻，快速了解對應(yīng)的視頻文件的內(nèi)容。
[0128]其中，所述建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系，具體可以包括:
[0129]將所述摘要視頻插入所述視頻文件的起始位置。
[0130]將所述摘要視頻插入所述視頻文件的起始位置后，用戶在點播所述視頻文件時，可以首先觀看到關(guān)于所述視頻文件的摘要視頻，方便用戶快速了解對應(yīng)的視頻文件的內(nèi)容。
[0131]本發(fā)明還公開了一種網(wǎng)絡(luò)視頻的摘要信息提取系統(tǒng)。
[0132]圖3為本發(fā)明的網(wǎng)絡(luò)視頻的摘要信息提取系統(tǒng)實施例的結(jié)構(gòu)圖。如圖3所示，該系統(tǒng)可以包括:
[0133]視頻文件獲取單元301，用于獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系；
[0134]第一位置確定單元302，用于確定所述圖像信息對應(yīng)的圖像中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；
[0135]第一音頻確定單元303，用于確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；
[0136]第二音頻確定單元304，用于確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；
[0137]音頻連續(xù)性判斷單元305，用于判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；
[0138]第一歸類單元306，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為是時，將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；
[0139]第二歸類單元307，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為否時，將所述第一圖像與所述第二圖像歸類為不同場景；
[0140]摘要視頻幀提取單元308，用于對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
[0141]綜上所述，本實施例中，通過確定視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置；確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻；確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻；判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景；否則，將所述第一圖像與所述第二圖像歸類為不同場景；再對于每一個場景，提取摘要視頻幀；能夠根據(jù)網(wǎng)絡(luò)視頻中的場景變化提取網(wǎng)絡(luò)視頻中的關(guān)鍵幀，提高對于網(wǎng)絡(luò)視頻的摘要信息的提取效率，進(jìn)而使用戶可以快速了解視頻內(nèi)容。
[0142]實際應(yīng)用中，所述第一位置確定單元302，具體可以包括:
[0143]第一判斷子單元，用于采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果；
[0144]第一確定子單元，用于當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割；
[0145]第二判斷子單元，用于當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果；
[0146]第二確定子單元，用于當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割；
[0147]第三確定子單元，用于當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割。
[0148]實際應(yīng)用中，所述摘要視頻幀提取單元308，具體可以包括:
[0149]關(guān)鍵幀識別子單元，用于識別場景中的關(guān)鍵幀；
[0150]特定特征確定子單元，用于確定所述關(guān)鍵幀中包含的特定特征；
[0151]信息量確定子單元，用于根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵幀包含的信息量；
[0152]關(guān)鍵幀提取子單元，用于依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
[0153]實際應(yīng)用中，還可以包括:
[0154]摘要視頻幀排序單元，用于在提取摘要視頻幀之后，按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序；
[0155]摘要視頻生成單元，用于基于排序后的所述摘要視頻幀，生成摘要視頻；
[0156]關(guān)聯(lián)關(guān)系建立單元，用于建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
[0157]實際應(yīng)用中，所述關(guān)聯(lián)關(guān)系建立單元，具體可以包括:
[0158]摘要視頻插入子單元，用于將所述摘要視頻插入所述視頻文件的起始位置。
[0159]本說明書中各個實施例采用遞進(jìn)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。
[0160]本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進(jìn)行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處。綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【權(quán)利要求】
1.一種網(wǎng)絡(luò)視頻的摘要信息提取方法，其特征在于，包括: 獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系； 確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置； 確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻； 確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻； 判斷所述第一音頻與所述第二音頻是否具有連續(xù)性； 如果具有連續(xù)性，則將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景； 否則，將所述第一圖像與所述第二圖像歸類為不同場景； 對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置，具體包括: 采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果； 當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割；當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果； 當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割； 當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取摘要視頻幀，具體包括: 識別場景中的關(guān)鍵幀； 確定所述關(guān)鍵幀中包含的特定特征； 根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵中貞包含的信息量； 依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取摘要視頻幀之后，還包括: 按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序； 基于排序后的所述摘要視頻幀，生成摘要視頻； 建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系，具體包括: 將所述摘要視頻插入所述視頻文件的起始位置。
6.一種網(wǎng)絡(luò)視頻的摘要信息提取系統(tǒng)，其特征在于，包括: 視頻文件獲取單元，用于獲取視頻文件；所述視頻文件包括圖像信息和音頻信息，所述圖像信息與所述音頻信息在所述視頻文件的時間軸上具有對應(yīng)關(guān)系； 第一位置確定單元，用于確定所述圖像信息對應(yīng)的視頻中發(fā)生鏡頭分割的片段在所述時間軸上所處的第一位置； 第一音頻確定單元，用于確定所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一音頻； 第二音頻確定單元，用于確定所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二音頻； 音頻連續(xù)性判斷單元，用于判斷所述第一音頻與所述第二音頻是否具有連續(xù)性；第一歸類單元，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為是時，將所述第一位置之前預(yù)設(shè)時間段內(nèi)的第一圖像與所述第一位置之后預(yù)設(shè)時間段內(nèi)的第二圖像歸類為同一場景； 第二歸類單元，用于當(dāng)所述音頻連續(xù)性判斷單元的判斷結(jié)果為否時，將所述第一圖像與所述第二圖像歸類為不同場景； 摘要視頻幀提取單元，用于對于每一個場景，提取摘要視頻幀；其中，對于每一個場景，提取的摘要視頻幀的數(shù)目小于或等于第一數(shù)值，所述第一數(shù)值為以分割后的鏡頭為單位進(jìn)行摘要視頻幀提取時，對每個鏡頭提取的摘要視頻幀的數(shù)目的上限值。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述第一位置確定單元，具體包括: 第一判斷子單元，用于采用分塊直方圖匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第一判斷結(jié)果； 第一確定子單元，用于當(dāng)所述第一判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割； 第二判斷子單元，用于當(dāng)所述第一判斷結(jié)果表示相同時，則采用特征點匹配算法判斷所述圖像信息對應(yīng)的視頻中相鄰的兩幀圖像是否相同，得到第二判斷結(jié)果； 第二確定子單元，用于當(dāng)所述第二判斷結(jié)果表示相同時，則確定所述相鄰的兩幀圖像之間未發(fā)生鏡頭分割； 第三確定子單元，用于當(dāng)所述第二判斷結(jié)果表示不同時，則確定所述相鄰的兩幀圖像之間發(fā)生了鏡頭分割。
8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述摘要視頻幀提取單元，具體包括: 關(guān)鍵幀識別子單元，用于識別場景中的關(guān)鍵幀； 特定特征確定子單元，用于確定所述關(guān)鍵幀中包含的特定特征； 信息量確定子單元，用于根據(jù)所述特定特征的預(yù)設(shè)權(quán)重以及所述特定特征在場景中的持續(xù)時間，確定所述關(guān)鍵幀包含的信息量； 關(guān)鍵幀提取子單元，用于依據(jù)信息量由大到小的順序，提取前η個關(guān)鍵幀，η為預(yù)先設(shè)置的自然數(shù)。
9.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，還包括: 摘要視頻幀排序單元，用于在提取摘要視頻幀之后，按照所述摘要視頻幀在所述時間軸上的時間先后順序進(jìn)行排序； 摘要視頻生成單元，用于基于排序后的所述摘要視頻幀，生成摘要視頻； 關(guān)聯(lián)關(guān)系建立單元，用于建立所述摘要視頻與所述視頻文件之間的關(guān)聯(lián)關(guān)系。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述關(guān)聯(lián)關(guān)系建立單元，具體包括: 摘要視頻插入子單元，用于將所述摘要視頻插入所述視頻文件的起始位置。
【文檔編號】H04N21/44GK104320670SQ201410652579
【公開日】2015年1月28日 申請日期:2014年11月17日 優(yōu)先權(quán)日:2014年11月17日
【發(fā)明者】鄭慧, 郎芬玲, 顧威威, 萬定銳, 楊雪慧 申請人:東方網(wǎng)力科技股份有限公司