視頻處理方法及裝置制造方法
【專利摘要】本發(fā)明實施例公開了一種視頻處理方法及裝置，涉及數(shù)字視頻【技術領域】，所述方法包括：從視頻中抽取至少兩個目標視頻幀；按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。本發(fā)明適用于視頻簡介的提取。
【專利說明】視頻處理方法及裝置
【技術領域】
[0001]本發(fā)明涉及數(shù)字視頻【技術領域】，特別涉及一種視頻處理方法及裝置。
【背景技術】
[0002]隨著網(wǎng)絡帶寬的提高以及各種視頻資源的增加，用戶越來越傾向在網(wǎng)上下載觀看視頻，比如電影或者電視劇等。觀看網(wǎng)絡下載的視頻不像電視節(jié)目那樣受到時間上的限制，下載完成后可以在任意時間去觀看。在下載視頻之前，用戶往往是通過一些簡單的文字介紹去了解所下載的視頻內(nèi)容，甚至相當一部分視頻連簡單的文字介紹都沒有，需要用戶下載完成后，通過播放才能了解視頻的內(nèi)容。對于比較簡短的視頻，用戶可以直接觀看了解視頻內(nèi)容，不需要視頻簡介。但是對于那些較長的視頻，例如電影視頻，用戶需要耗費一個或幾個小時才能對視頻內(nèi)容有比較全面的了解，如果此視頻并不是用戶想要觀看的視頻，那么觀看視頻的這一段時間對用戶而言就完全浪費了。
[0003]為了能夠方便用戶了解視頻內(nèi)容，一些專業(yè)人士為一些視頻制作了視頻簡介片頭，能夠通過幾分鐘的片頭視頻使用戶對整個視頻內(nèi)容有一個全面的了解。
[0004]現(xiàn)有技術中至少存在如下問題:人工合成視頻需要這些專業(yè)人士去觀看視頻并從中提取視頻片段，這種耗費人工較大的片頭制作方法成本較高，制作效率低，并不能推廣到所有的視頻。

【發(fā)明內(nèi)容】

[0005]提供一種視頻處理方法及裝置，能夠解決視頻簡介片頭的制作成本較高的問題，以較低的成本實現(xiàn)視頻簡介片頭的制作。
[0006]第一方面，提供一種視頻處理方法，包括:
[0007]從視頻中抽取至少兩個目標視頻幀；
[0008]按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。
[0009]第二方面，提供一種視頻處理裝置，包括:
[0010]抽取單元，用于從視頻中抽取至少兩個目標視頻幀；
[0011]組織單元，用于按照所述抽取單元抽取的所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。
[0012]與現(xiàn)有技術需要通過人工進行視頻片頭的合成相比，本發(fā)明實施例中從視頻中抽取至少兩個目標視頻幀；按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流，形成所述視頻的片頭。能夠自動對視頻進行處理，將視頻中包含主要人物的目標視頻幀抽取出來，進而獲得視頻的劇情，將這些目標視頻幀組織成視頻簡介的片頭。解決了現(xiàn)有技術中視頻簡介片頭制作耗費人工大，制作成本高的問題。以較低的成本和較高的效率制作視頻簡介片頭?！緦＠綀D】

【附圖說明】
[0013]為了更清楚地說明本發(fā)明實施例中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。
[0014]圖1為本發(fā)明一實施例提供的方法流程圖；
[0015]圖2為本發(fā)明又一實施例提供的方法流程圖；
[0016]圖3、圖4為本發(fā)明又一實施例提供的裝置結構示意圖。
【具體實施方式】
[0017]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。
[0018]為使本發(fā)明技術方案的優(yōu)點更加清楚，下面結合附圖和實施例對本發(fā)明作詳細說明。
[0019]本發(fā)明一實施例提供一種視頻處理方法，如圖1所示，所述方法包括:
[0020]101、從視頻中抽取至少兩個目標視頻幀。
[0021]具體的，所述從視頻中抽取至少兩個目標視頻幀包括:將所述視頻分割為至少兩個分段；從每個所述分段中抽取目標視頻幀。
[0022]其中，分割的方法可以包括但不限于以下方式，按照固定時間長度分割或者按照固定的段數(shù)進行平均分割。例如，將一部時長Iio分鐘的電影進行分割，規(guī)定將電影分成5段，則每一段的長度為22分鐘；或者，規(guī)定按照20分鐘的時間長度進行分割，則將該電影分割成6段,最后一段時長為10分鐘，以一段對待。
[0023]進一步的，在對視頻分段之后，在執(zhí)行步驟102之前，所述方法還包括:使用人臉識別統(tǒng)計所述分段中的人物出現(xiàn)次數(shù)；根據(jù)所述人物出現(xiàn)次數(shù)確定所述視頻中的主要人物和次要人物，例如，人臉出現(xiàn)次數(shù)最多的人物為主要人物或I號人物，其余的為次要人物，再細化可以根據(jù)出現(xiàn)次數(shù)分為2號人物和3號人物等；將所述分段中所述主要人物連續(xù)出現(xiàn)幀數(shù)最多的子分段確定為所述分段的關鍵段；將所述關鍵段中次要人數(shù)出現(xiàn)的數(shù)量大于等于N的視頻幀確定為關鍵視頻幀，其中N根據(jù)所述視頻中的次要人物總數(shù)確定。
[0024]其中，所述目標視頻幀為包含主要人物的視頻幀。例如，所述從分割后的所述分段中抽取目標視頻幀包括:獲取關鍵視頻幀，所述視頻關鍵幀為包含主要人物和次要人物的視頻幀；以所述視頻的時間軸為基準分別向所述關鍵視頻幀的兩側每隔預設幀數(shù)或時間長度抽取預設數(shù)量的視頻幀，作為所述目標視頻幀。可以理解的是，對視頻進行的分段越多，從各段抽取的目標視頻幀在情節(jié)上的關聯(lián)度越大。
[0025]其中，所述獲取關鍵視頻幀包括:使用人臉識別統(tǒng)計所述視頻中的同一人物出現(xiàn)次數(shù)；根據(jù)所述同一人物出現(xiàn)次數(shù)確定所述視頻中的主要人物和次要人物；將所述分段中所述主要人物連續(xù)出現(xiàn)幀數(shù)最多的子分段確定為所述分段的關鍵段；將所述關鍵段中次要人數(shù)出現(xiàn)的數(shù)量大于等于N的視頻幀或位于所述關鍵段中間位置的視頻幀確定為關鍵視頻幀，其中N根據(jù)所述視頻中的次要人物總數(shù)確定。
[0026]102、按照目標視頻幀在視頻中播放的時間順序，將目標視頻幀組織成視頻流。
[0027]進一步的，在所述按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流之后，所述方法還包括:將所述視頻的片頭與所述視頻合并為新的視頻文件，所述視頻文件的播放順序依次為所述視頻的片頭、所述視頻。
[0028]可選的，所述方法還包括:從所有的所述關鍵視頻幀中選出任一幀或符合預設條件的任一幀作為所述視頻流的縮略圖，其中M根據(jù)所述視頻中的次要人物總數(shù)確定。其中，所述符合預設條件的任一幀包括:包含次要人物數(shù)量大于等于M的關鍵視頻幀；或者位于該視頻的特定時間點或時間段內(nèi)的關鍵視頻幀。例如，用戶通過瀏覽發(fā)現(xiàn)位于3’17’’的視頻幀畫面感非常好，便可以將這該幀作為所述視頻流的縮略圖。
[0029]與現(xiàn)有技術需要通過人工進行視頻片頭的合成相比，本發(fā)明實施例中從視頻中抽取至少兩個目標視頻幀；按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流，形成所述視頻的片頭。能夠自動對視頻進行處理，將視頻中包含主要人物的目標視頻幀抽取出來，進而獲得視頻的劇情，將這些目標視頻幀組織成視頻簡介的片頭。解決了現(xiàn)有技術中視頻簡介片頭制作耗費人工大，制作成本高的問題。以較低的成本和較高的效率制作視頻簡介片頭。
[0030]本發(fā)明又一實施例提供一種視頻處理方法，對視頻進行處理，提取視頻中的主要人物的視頻幀，將提取的視頻幀組織成視頻流，生成該視頻內(nèi)容的簡介片頭，如圖2所示，所述方法包括:
[0031]201、選取視頻文件。
[0032]其中，選取視頻文件的設備可以為PC或者手機等能夠通過軟件進行視頻處理的終端設備。
[0033]202、對選取的視頻文件進行分段處理。
[0034]其中，分割的方法可以包括但不限于以下方式，按照固定時間長度分割或者按照固定的段數(shù)進行平均分割。例如，將一部時長Iio分鐘的電影進行分割，規(guī)定將電影分成5段，則每一段的長度為22分鐘；或者，規(guī)定按照20分鐘的時間長度進行分割，則將該電影分割成6段,最后一段時長為10分鐘，以一段對待。
[0035]203、使用人臉識別技術對每個分段中的每一個視頻幀進行檢測，得到包含人臉的
矩形子圖像。
[0036]例如，人臉識別技術能夠?qū)σ曨l幀中出現(xiàn)的人臉進行定位，在人臉部分用矩形的框鎖定人臉位置，本步驟中對所有識別到的矩形框內(nèi)的人臉的圖像進行收集并存儲。
[0037]204、使用人臉識別技術將所有矩形子圖像進行分類，每一類矩形子圖像對應一個人物。
[0038]例如，通過人臉識別能夠?qū)γ恳粋€矩形子圖像內(nèi)部的人臉進行識別和歸類，把屬于同一個人的人臉整理到一個類別內(nèi)，這樣能夠準確的得到視頻中每個人物的人臉出現(xiàn)的次數(shù)。
[0039]205、根據(jù)每一類矩形子圖像的數(shù)目確定主要人物和次要人物。
[0040]例如，人臉出現(xiàn)次數(shù)最多的人物為主要人物或I號人物，其余的為次要人物，再細化可以根據(jù)出現(xiàn)次數(shù)分為2號人物和3號人物等。[0041]206、在每一個視頻分段中，選出主要人物出現(xiàn)次數(shù)最多的視頻幀序列集。
[0042]需要說明的是，該視頻幀序列集包含的是多個連續(xù)的視頻幀，每一個視頻幀中至少包含主要人物，也可以包含次要人物。因為該視頻的主要人物在連續(xù)的多個視頻幀中一直出現(xiàn)，所以該視頻幀序列集在很大程度上能夠表達出此視頻分段的主要劇情。此外，視頻分段中可能出現(xiàn)多個符合上述要求的視頻幀序列集，為了使最后形成的視頻簡介片頭盡量簡短，我們可以只選取包含幀數(shù)最多的視頻幀序列集；可選的，為了保證視頻簡介片頭的內(nèi)容能夠覆蓋到大部分的劇情，我們也可以選取多個視頻幀序列集。
[0043]進一步的，通過以下例子對上述選取視頻幀序列集的過程進行詳細說明。例如，假設該視頻的幀率為每秒30幀，以一個10分鐘的分段為例，該分段中共包括30X60X10=18000巾貞，第I至第1000幀為第一個連續(xù)包含主要人物的序列幀集(每幀中均包括I號人物)、2000至2500為第二個連續(xù)包含主要人物的序列幀集，……，10000至12000幀為第m個連續(xù)包含主要人物的序列幀集，17500至18000幀為該虛擬分段最后一個連續(xù)包含主要人物的序列幀集。若第m個連續(xù)序列幀包含的幀數(shù)目最大，則為該分段的關鍵段。通常這類包含主要人物的最大連續(xù)視頻幀可以在某種程度上反映該分段視頻的主要劇情。
[0044]207、在每一個分段的選出的視頻幀序列集中確定關鍵視頻幀。
[0045]其中，關鍵視頻幀由以下條件確定:一、關鍵視頻幀中包含主要人物；二、關鍵視頻幀中包含的次要人物數(shù)量要大于等于一個閾值，或者關鍵視頻幀位于關鍵段的中間位置。其中，閾值由步驟205中所確定的次要人物數(shù)量確定，例如，閾值可以為次要人物數(shù)量的最大值；或者，閾值為每一個視頻幀序列集中的單個視頻幀中出現(xiàn)的次要人物數(shù)量的最大值。
[0046]208、根據(jù)關鍵視頻幀提取視頻幀序列，并將視頻幀序列按照播放時間順序排列，合成視頻簡介片頭。
`[0047]例如，以關鍵視頻幀為基準，在時間軸上向該幀的前后兩側每隔N幀抽取一定數(shù)量的視頻幀，將抽取出的視頻幀按照其在時間軸上的位置排列。其中，N的大小決定了最終合成的視頻簡介片頭的播放效果和時間長度，N取值越大，則合成的視頻簡介片頭的播放時間越短，畫面連續(xù)性越差；N取值越小，則合成的視頻簡介片頭的播放時間越長，畫面連續(xù)性越好。
[0048]優(yōu)選的，N的取值一般為2-3最佳，既能保證視頻簡介片頭畫面的連續(xù)性又使其時間長度不致過長。
[0049]需要說明的是，在抽取視頻幀時，抽取的范圍不應超過該關鍵視頻幀所在的視頻分段的范圍。
[0050]209、按照優(yōu)先播放視頻流的原則將視頻流和原視頻合成新的視頻。
[0051]需要說明的是，在合成視頻簡介片頭之后，需要將簡介片頭放到原視頻的前面，并將二者合并為一個視頻，這樣當用戶觀看視頻時就可以先看到視頻簡介的內(nèi)容，為用戶提供參考。
[0052]可選的，還可以根據(jù)視頻關鍵幀提取縮略圖，縮略圖即是將多個視頻關鍵幀中的一幀圖像作為整個視頻的視頻海報，為用戶提供一個直觀的內(nèi)容，使用戶通過圖片先對視頻有一個大致的了解。例如，由于每個視頻關鍵幀中都包括主要人物，所以可以挑選次要人物較多的視頻關鍵幀作為縮略圖；或者，位于該視頻的特定時間點或時間段內(nèi)的關鍵視頻幀。
[0053]與現(xiàn)有技術需要通過人工進行視頻片頭的合成相比，本發(fā)明實施例中首先選取視頻文件，對選取的視頻文件進行分段處理；使用人臉識別技術對每個分段中的每一個視頻幀進行檢測，得到包含人臉的矩形子圖像；根據(jù)每一類矩形子圖像的數(shù)目確定主要人物和次要人物；選出主要人物出現(xiàn)次數(shù)最多的視頻幀序列集；在每一個分段的選出的視頻幀序列集中確定關鍵視頻巾貞；根據(jù)關鍵視頻巾貞提取視頻巾貞序列，并將視頻巾貞序列按照播放時間順序排列，合成視頻簡介片頭；按照優(yōu)先播放視頻流的原則將視頻流和原視頻合成新的視頻。能夠自動對視頻進行處理，將視頻中包含主要人物的視頻幀抽取出來，進而獲得視頻的劇情，將這些目標視頻幀組織成視頻簡介的片頭。解決了現(xiàn)有技術中視頻簡介片頭制作耗費人工大，制作成本高的問題。以較低的成本和較高的效率制作視頻簡介片頭。
[0054]本發(fā)明又一實施例提供一種視頻處理裝置30，如圖3所示，所述裝置30包括:
[0055]抽取單元31，用于從視頻中抽取至少兩個目標視頻幀；
[0056]組織單元32，用于按照所述抽取單元31抽取的所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。
[0057]進一步的,如圖4所示,所述裝置30還包括:
[0058]分割單元33，用于將所述視頻分割為至少兩個分段；
[0059]所述抽取單元31還用于從每個所述分段中抽取目標視頻幀。
[0060]進一步的,如圖4所示,所述抽取單元31包括:
[0061]關鍵幀獲取單元311，用于獲取關鍵視頻幀；
[0062]目標視頻幀獲取單元312，用于以所述視頻的時間軸為基準分別向所述關鍵視頻幀的兩側每隔預設幀數(shù)或時間長度抽取預設數(shù)量的視頻幀，作為所述目標視頻幀。
[0063]進一步的,如圖4所示,所述關鍵巾貞獲取單元311具體用于:
[0064]使用人臉識別統(tǒng)計所述視頻中的同一人物出現(xiàn)次數(shù)；
[0065]根據(jù)所述同一人物出現(xiàn)次數(shù)確定所述視頻中的主要人物和次要人物；
[0066]將所述分段中所述主要人物連續(xù)出現(xiàn)幀數(shù)最多的子分段確定為所述分段的關鍵段；
[0067]將所述關鍵段中次要人數(shù)出現(xiàn)的數(shù)量大于等于N的視頻幀或位于所述關鍵段中間位置的視頻幀確定為關鍵視頻幀，其中N根據(jù)所述視頻中的次要人物總數(shù)確定。
[0068]進一步的,如圖4所示,所述裝置30還包括:
[0069]合并單元34，用于將所述視頻的片頭與所述視頻合并為新的視頻文件，所述視頻文件的播放順序依次為所述視頻的片頭、所述視頻。
[0070]進一步的,如圖4所示,所述裝置30還包括:
[0071]選擇單元35，用于從所有的所述關鍵視頻幀中選出任一幀或符合預設條件的任一幀作為所述視頻流的縮略圖，其中M根據(jù)所述視頻中的次要人物總數(shù)確定。
[0072]與現(xiàn)有技術需要通過人工進行視頻片頭的合成相比，本發(fā)明實施例中首先將視頻分割為至少兩個分段；然后從分割后的所述至少兩個分段的每個分段中抽取目標視頻幀；最后按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。能夠自動對視頻進行處理，將視頻中包含主要人物的目標視頻幀抽取出來，進而獲得視頻的劇情，將這些目標視頻幀組織成視頻簡介的片頭。解決了現(xiàn)有技術中視頻簡介片頭制作耗費人工大，制作成本高的問題。以較低的成本和較高的效率制作視頻簡介片頭。
[0073]本發(fā)明實施例提供的視頻處理裝置可以實現(xiàn)上述提供的方法實施例，具體功能實現(xiàn)請參見方法實施例中的說明，在此不再贅述。本發(fā)明實施例提供的視頻處理方法及裝置可以適用于視頻簡介的提取，但不僅限于此。
[0074]本領域普通技術人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory, ROM)或隨機存儲記憶體(Random AccessMemory, RAM)等。
[0075]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本【技術領域】的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應該以權利要求的保護范圍為準。
【權利要求】
1.一種視頻處理方法，其特征在于，包括:從視頻中抽取至少兩個目標視頻幀；按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。
2.根據(jù)權利要求1所述的方法，其特征在于，所述從視頻中抽取至少兩個目標視頻幀包括:將所述視頻分割為至少兩個分段；從每個所述分段中抽取目標視頻幀。
3.根據(jù)權利要求2所述的方法，其特征在于，所述從每個所述分段中抽取目標視頻幀包括:獲取關鍵視頻巾貞； 以所述視頻的時間軸為基準分別向所述關鍵視頻幀的兩側每隔預設幀數(shù)或時間長度抽取預設數(shù)量的視頻幀，作為所述目標視頻幀。
4.根據(jù)權利要求3所述的方法，其特征在于，所述獲取關鍵視頻幀包括:使用人臉識別統(tǒng)計所述視頻中的同一人物出現(xiàn)次數(shù)；根據(jù)所述同一人物出現(xiàn)次數(shù)確定所述視頻中的主要人物和次要人物；將所述分段中所述主要人物連續(xù)出現(xiàn)幀數(shù)最多的子分段確定為所述分段的關鍵段；將所述關鍵段中次要人數(shù)出現(xiàn)的數(shù)量大于等于N的視頻幀或位于所述關鍵段中間位置的視頻幀確定為關鍵視頻幀，其中N根據(jù)所述視頻中的次要人物總數(shù)確定。
5.根據(jù)權利要求2-4任一項所述的方法，其特征在于，在所述按照所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流之后，所述方法還包括:將所述視頻的片頭與所述視頻合并為新的視頻文件，所述視頻文件的播放順序依次為所述視頻的片頭、所述視頻。
6.根據(jù)權利要求3或4所述的方法，其特征在于，所述方法還包括:從所有的所述關鍵視頻幀中選出任一幀或符合預設條件的任一幀作為所述視頻流的縮略圖。
7.一種視頻處理裝置，其特征在于，包括:抽取單元，用于從視頻中抽取至少兩個目標視頻幀；組織單元，用于按照所述抽取單元抽取的所述目標視頻幀在所述視頻中播放的時間順序，將所述目標視頻幀組織成視頻流。
8.根據(jù)權利要求7所述的裝置，其特征在于，所述裝置還包括:分割單元，用于將所述視頻分割為至少兩個分段；所述抽取單元還用于從每個所述分段中抽取目標視頻幀。
9.根據(jù)權利要求8所述的裝置，其特征在于，所述抽取單元包括:關鍵幀獲取單元，用于獲取關鍵視頻幀；目標視頻幀獲取單元，用于以所述視頻的時間軸為基準分別向所述關鍵視頻幀的兩側每隔預設幀數(shù)或時間長度抽取預設數(shù)量的視頻幀，作為所述目標視頻幀。
10.根據(jù)權利要求9所述的裝置，其特征在于，所述關鍵幀獲取單元具體用于:使用人臉識別統(tǒng)計所述視頻中的同一人物出現(xiàn)次數(shù)；根據(jù)所述同一人物出現(xiàn)次數(shù)確定所述視頻中的主要人物和次要人物；將所述分段中所述主要人物連續(xù)出現(xiàn)幀數(shù)最多的子分段確定為所述分段的關鍵段；將所述關鍵段中次要人數(shù)出現(xiàn)的數(shù)量大于等于N的視頻幀或位于所述關鍵段中間位置的視頻幀確定為關鍵視頻幀，其中N根據(jù)所述視頻中的次要人物總數(shù)確定。
11.根據(jù)權利要求8-10任一項所述的裝置，其特征在于，所述裝置還包括:合并單元，用于將所述視頻的片頭與所述視頻合并為新的視頻文件，所述視頻文件的播放順序依次為所述視頻的片頭、所述視頻。
12.根據(jù)權利要求9或10所述的裝置，其特征在于，所述裝置還包括:選擇單元，用于從所有的所述關鍵視頻幀中選出任一幀或符合預設條件的任一幀作為所述視頻 流的縮略圖。
【文檔編號】H04N21/845GK103442252SQ201310367258
【公開日】2013年12月11日 申請日期:2013年8月21日 優(yōu)先權日:2013年8月21日
【發(fā)明者】胡小朋, 曹堅 申請人:宇龍計算機通信科技(深圳)有限公司