專利名稱：視頻處理方法
技術(shù)領(lǐng)域：
本發(fā)明公開一種視頻處理方法，尤其涉及一種在嵌入式電子產(chǎn)品上所應(yīng)用的視頻 編碼及編輯方法。
背景技術(shù)：
現(xiàn)在可用來進(jìn)行視頻的錄制的可攜式電子產(chǎn)品在市面上越來越多，而這些可攜式 電子產(chǎn)品對于所錄制下來的視頻串流(Video Stream)也具有各式各樣的需求。然而，在這 些使用可攜式電子產(chǎn)品所錄制下來的視頻串流中，亦包含有許多不必要的內(nèi)容，且這些累 積下來的不必要內(nèi)容也會造成可攜式電子產(chǎn)品在存儲空間及對外進(jìn)行傳輸上的負(fù)擔(dān)。目前 市面上可見的嵌入式電子產(chǎn)品在錄制視頻串流時，并沒有提供給使用者對于所錄制的視頻 串流進(jìn)行再次編輯的其他衍生需求，使得使用者必須對整個錄制完畢的視頻串流先行進(jìn)行 解碼后，才能夠根據(jù)自身的需求來瀏覽并編輯被解碼的視頻串流。除此以外，由于使用者必 須先行將被錄制下來的視頻串流進(jìn)行完整的解碼才能夠進(jìn)行瀏覽與相關(guān)編輯，因此嵌入式 電子產(chǎn)品除了需要提供額外的暫存空間給被解碼的視頻串流以外，在中央處理器(Central ProcessingUnit, CPU)的處理要求上也會大增。一般嵌入式電子產(chǎn)品所錄制的視頻串流包含許多連續(xù)排列的視頻幀(Frame)，以 作為對視頻串流進(jìn)行編碼或解碼時的基本單位。具體來說，這些視頻幀包含非預(yù)測視頻幀 (Non-predictive Frame)及預(yù)測視頻幀(PredictiveFrame)兩種；預(yù)測視頻幀需要參考到 其他鄰近的視頻幀來進(jìn)行編碼，而非預(yù)測視頻幀則僅需被參考其自己本身來進(jìn)行編碼。在 一般嵌入式電子產(chǎn)品進(jìn)行視頻串流的錄制，且當(dāng)場景產(chǎn)生較大幅度的變化時，視頻幀之間 并不會加注特別的記號以標(biāo)示場景的轉(zhuǎn)換；此點(diǎn)對于較需要根據(jù)場景轉(zhuǎn)換來決定如何編輯 視頻串流的使用者來說，相當(dāng)?shù)夭环奖?。除此以外，在對錄制下來的視頻串流進(jìn)行解碼以 前，使用者完全無法通過瀏覽方式掌握視頻串流中較為具體的場景發(fā)生變換的時間，或是 無法單獨(dú)掌握對這些場景所形成的片段掌握其時間長度或編輯。

發(fā)明內(nèi)容
本發(fā)明公開一種視頻處理方法。該方法包含分析一第一視頻串流，以產(chǎn)生多個連 續(xù)的視頻片段；在該多個視頻片段的每一視頻片段的起始處加入一第一內(nèi)視頻幀(Intra Frame)；及在該多個視頻片段的每一視頻片段中，每隔一定數(shù)量的視頻幀，插入一第二內(nèi)視 頻幀。該多個視頻片段的每一視頻片段代表該視頻串流中不同的場景。


圖1為在本發(fā)明中將嵌入式電子產(chǎn)品所錄制的視頻串流中，在代表不同場景的視 頻片段間插入內(nèi)視頻幀的簡略示意圖。圖2為在本發(fā)明的方法中，以一定數(shù)量間隔插入視頻幀的簡略示意圖。圖3為本發(fā)明所公開的視頻處理方法的流程圖。
主要元件符號說明100、200101、102、103、104、10023、10026、100291001、1002、100310021、10022、10024、10025、10027、10028302、304、306、308、310、312、314
預(yù)測視頻幀 步驟
視頻串流 內(nèi)視頻幀 視頻片段
具體實(shí)施例方式為了解決一般嵌入式電子產(chǎn)品在錄制視頻串流時因?yàn)槭艿礁鞣N限制而讓使用者 無法順利進(jìn)行編輯的問題，本發(fā)明公開一種視頻處理方法，使得嵌入式電子產(chǎn)品的使用者 可以免去繁復(fù)的重新編碼與解碼過程，而可以任意編輯其所錄制下來的視頻串流。在本發(fā)明所公開的方法中，首先要作的工作是將錄制下來的視頻串流根據(jù)不同的 場景切割成不同的視頻片段。在此假設(shè)一段被錄制下來的視頻串流包含一段騎腳踏車的場 景、一段看海的場景、以及一段坐火車的場景，以舉例說明視頻串流中不同場景的定義。在 該段騎腳踏車的場景中，畫面會因?yàn)殓R頭集中在腳踏車上而使得整段場景中畫面包含的像 素組合不會出現(xiàn)明顯的變化；同理，在該段看海或坐火車的場景中，整段場景中的畫面會因 為鏡頭集中在海面或火車上的布景而不會產(chǎn)生明顯的變化。在本發(fā)明中，使用者使用嵌入 式電子產(chǎn)品進(jìn)行視頻串流的錄制時，便可以自行在場景發(fā)生變換時以簡單的指令自行加入 特定的標(biāo)簽，或是由嵌入式電子產(chǎn)品本身對畫面進(jìn)行檢測，當(dāng)檢測到較劇烈的畫面改變時 即在視頻串流中加入上述的特定標(biāo)簽。簡言之，一般的視頻串流可以藉此視為數(shù)種不同場景的視頻片段所形成的集合， 但是一般的嵌入式電子產(chǎn)品并沒有配備根據(jù)這些場景切割出這些視頻片段的功能；而在本 發(fā)明中，這些視頻片段在被錄制下來的視頻串流中被實(shí)體切割出來。舉例來說，當(dāng)一段被錄 制下來的視頻串流中包含拍攝兩輛不同車子的二個視頻片段時，根據(jù)本發(fā)明的方法，將這 二個視頻片段中間以加入內(nèi)視頻幀(Intra Frame)的方式隔開，而實(shí)體的在該視頻串流中 切割并定義出該二個視頻片段，其中內(nèi)視頻幀為一種非預(yù)測視頻幀，亦即內(nèi)視頻幀的編碼 或解碼完全不需要參考鄰近時間點(diǎn)的其他視頻幀。請參閱圖1，其為在本發(fā)明中將嵌入式電 子產(chǎn)品所錄制的視頻串流中，在代表不同場景的視頻片段間插入內(nèi)視頻幀的簡略示意圖。 如圖1所示，一視頻串流100假設(shè)由一般的嵌入式電子產(chǎn)品所錄制，因此視頻串流100包含
的多個未被實(shí)體切割的視頻片段1001、1002.....1003。而視頻串流200假設(shè)由根據(jù)本發(fā)
明的方法所實(shí)作的嵌入式電子產(chǎn)品所錄制，且視頻串流200等效于將視頻串流100所包含 的多個視頻片段1001、1002、· · · ,1003以被加入的多個內(nèi)視頻幀101、102、103、. . ·、104所 切割開來。如此一來，嵌入式電子產(chǎn)品的使用者可以經(jīng)由被加入的內(nèi)視頻幀輕易地找出視 頻串流200中所包含的各個視頻片段，并進(jìn)而即時掌握該各個視頻片段的時間長度、順序、 內(nèi)容等信息。之前曾經(jīng)提及，在一般的視頻串流中，包含有預(yù)測視頻幀及非預(yù)測視頻幀，其中內(nèi) 視頻幀即為一種預(yù)測視頻幀。在本發(fā)明所公開的方法中，為了使使用者在對被切割出來的 多個視頻片段進(jìn)行編輯時，可以迅速且確實(shí)地找到每一個視頻片段的開頭，是將使用者在 編輯視頻串流時可以自由瀏覽(亦即一般瀏覽視頻串流時所進(jìn)行的隨機(jī)瀏覽)的視頻幀設(shè)定為內(nèi)視頻幀，換句話說不允許瀏覽視頻串流中包含的其他非預(yù)測視頻幀；由圖1的敘述 可知，每一個視頻片段的起始視頻幀必為一內(nèi)視頻幀，因此可以一定程度確保使用者可以 迅速地鎖定欲編輯的視頻片段的起始處以瀏覽。除此以外，一般的視頻串流的視頻幀組成中，在一定間隔的視頻幀中固定放入一 非預(yù)測視頻幀，以維護(hù)視頻串流的播放品質(zhì)。在本發(fā)明所公開的方法中，是在每一視頻片段 中一定數(shù)量間隔的視頻幀中插入一內(nèi)視頻幀，以確保每一視頻片段的播放品質(zhì)。請參閱圖 2，其為在本發(fā)明的方法中，以一定數(shù)量間隔插入視頻幀的簡略示意圖。圖2以圖1中出現(xiàn)過 的視頻片段1002進(jìn)行簡單的舉例。在圖2中，視頻片段至少包含多個視頻幀10021、10022、 10023、10024、10025、10026、10027、10028、10029 等，其中視頻幀 10023、10026、10029 為內(nèi) 視頻幀，而視頻幀10021、10022、10024、10025、10027、10028為預(yù)測視頻幀。在視頻片段 1002中，內(nèi)視頻幀10023、10026、10029以每二個預(yù)測視頻幀為固定間隔，在視頻串流200被 錄制的同時就已被插入于視頻片段1002中。當(dāng)沒有使用固定間隔插入內(nèi)視頻幀的做法時，視頻片段的編碼中難免累積的細(xì)微 誤差變得相當(dāng)明顯；而使用固定間隔插入內(nèi)視頻幀可以在對視頻片段進(jìn)行編碼的過程中， 及時地消除所累積的誤差。除此以外，由于預(yù)測視頻幀與非預(yù)測視頻幀在編碼上的特性，使 得預(yù)測視頻幀對于不同時間內(nèi)的其他視頻幀具有一定程度的依存性，且誤差也會隨著這種 依存性逐漸地累積；而非預(yù)測視頻幀因?yàn)椴恍枰獏⒖计渌麜r間的視頻幀進(jìn)行編碼，因此不 會累積到其他時間的視頻幀所產(chǎn)生或累積的誤差，雖然非預(yù)測視頻幀在編碼上的計(jì)算量及 復(fù)雜度較預(yù)測視頻幀來得高，但是相較于預(yù)測視頻幀更能在編碼上較能夠維持其品質(zhì)及正 確性，因此本發(fā)明在視頻串流所包含的每一視頻片段的一定間隔內(nèi)插入內(nèi)視頻幀的做法可 以確保各視頻片段的瀏覽品質(zhì)。請注意，圖2所示本發(fā)明的方法中在視頻片段中固定間隔插入內(nèi)視頻幀的示意圖 僅為本發(fā)明的一實(shí)施例，且使用不同長度的固定間隔所衍生出的其他實(shí)施例仍應(yīng)視為本發(fā) 明的范圍。通過圖1所示將各個視頻片段以插入內(nèi)視頻幀加以區(qū)隔的方式，可以替使用者保 留相當(dāng)大且方便的視頻片段編輯空間。舉例來說，根據(jù)本發(fā)明的方法，可以通過搜尋內(nèi)視頻 幀來迅速找到各視頻片段中所包含的起始內(nèi)視頻幀，并將各視頻片段以顯示其開頭畫面的 方式來給予使用者找尋各視頻片段的索引，使得使用者可以迅速地挑選其欲編輯的視頻片 段來進(jìn)行瀏覽或編輯，而較一般嵌入式電子產(chǎn)品需將整個視頻串流加以編碼后方可給予使 用者編輯空間的做法來得更為迅速且減少編碼的計(jì)算量。然而即使本發(fā)明的方法中已給予 了使用者針對個別視頻片段進(jìn)行編輯的空間，但本發(fā)明的方法也可另外提供直接給予使用 者針對視頻串流整體進(jìn)行編輯的空間，且通過上述在各視頻片段的開頭插入的內(nèi)視頻幀， 仍可以讓使用本發(fā)明所公開的方法的嵌入式電子產(chǎn)品節(jié)省下大量的計(jì)算量。根據(jù)本發(fā)明的方法，對視頻串流中包含的每一視頻片段進(jìn)行編碼時，常需要根據(jù) 某些因素來刪除每一視頻片段中部分的視頻幀，這些因素包含嵌入式電子產(chǎn)品本身在視頻 輸出上的考量，例如每一視頻片段所包含的該多個視頻幀的色彩組成、畫面變化程度、或與 鄰近視頻幀的差異程度等等。根據(jù)本發(fā)明的方法實(shí)作決定視頻片段在編碼時需刪除的視頻 幀時，替每一視頻片段所包含的每一視頻幀決定其優(yōu)先權(quán)，其中該優(yōu)先權(quán)的決定與上述所 提及視頻幀的色彩組成、畫面變化程度、或與鄰近視頻幀的差異程度等有關(guān)。除此以外，一般視頻串流的編碼方式也會應(yīng)用一壓縮比例來完成對視頻串流的壓縮編碼；同理，在本發(fā) 明所公開的方法中，也可以根據(jù)一壓縮比例來決定每一視頻片段中將被刪除的視頻幀。在 本發(fā)明的方法中，亦開放了讓使用者自行決定刪除某些視頻片段所包含的某些視頻幀的功 能，使用者只需要通過圖1及圖2所公開的方式找到欲編輯的視頻片段后，發(fā)出簡單的指令 決定欲刪除的視頻幀即可。當(dāng)對各視頻片段所做的編輯或視頻幀刪除程序完成后，便可立 即重新進(jìn)行編碼以更新視頻串流中所包含的各視頻片段，并進(jìn)而完成對視頻串流的編碼。請注意，在本發(fā)明所公開的方法中，除了上述在編輯及視頻幀刪除程序完成后才 對視頻片段進(jìn)行編碼以完成對視頻串流編碼的方式以外，也可以同時完成視頻片段編輯與 編碼，并進(jìn)而對視頻串流進(jìn)行編碼；具體來說，意即在對單一視頻片段完成編輯與編碼之 后，即時地再接收使用者或嵌入式電子產(chǎn)品所發(fā)出的編輯指令，并對應(yīng)地立即產(chǎn)生更新的 視頻片段。如此一來，使用者在編輯視頻串流中的視頻片段時，可以被滿足所見即所得的需 求。本發(fā)明的方法可以用于所有的MPEG視頻編碼標(biāo)準(zhǔn)、ITU視頻編碼標(biāo)準(zhǔn)、或是其他 各種私有的視頻編碼標(biāo)準(zhǔn)，因此將本發(fā)明的方法應(yīng)用于上述所列舉的視頻編碼標(biāo)準(zhǔn)，并未 構(gòu)成脫離本發(fā)明的范圍的事實(shí)。請參閱圖3，其為本發(fā)明所公開的視頻處理方法的流程圖，其為根據(jù)上述與圖1、 圖2、及其他敘述相關(guān)的總結(jié)。如圖3所示，本發(fā)明所公開的視頻處理方法包含步驟302 分析一第一視頻串流，以產(chǎn)生多個連續(xù)的視頻片段，其中該多個視頻片 段的每一視頻片段代表該視頻串流中不同的場景；步驟304 在該多個視頻片段的每一視頻片段的起始處加入一第一內(nèi)視頻幀；步驟306 在該多個視頻片段的每一視頻片段中，每隔一定數(shù)量的視頻幀，插入一 第二內(nèi)視頻幀；步驟308 根據(jù)該多個視頻片段的一被選定的視頻片段所包含的一第一內(nèi)視頻 幀，編輯該被選定的視頻片段；步驟310 根據(jù)該每一視頻幀的優(yōu)先權(quán)、使用者所發(fā)出的一指令、或一壓縮比例， 刪除全部或部分視頻片段所包含的多個視頻幀的部分視頻幀；步驟312 對已被刪除部分視頻幀及未被刪除視頻幀的所有視頻片段進(jìn)行編碼， 以產(chǎn)生一第二視頻串流；及步驟314 根據(jù)對該第二視頻串流中所包含的全部或部分視頻片段所包含的多個 視頻幀所進(jìn)行的更新，同步更新該第二視頻串流。圖3所示的步驟僅代表本發(fā)明的一優(yōu)選實(shí)施例，但并不能用來限制本發(fā)明的范 圍，且將圖3所示的步驟的合理組合與順序排列所產(chǎn)生的其他實(shí)施例亦應(yīng)視為本發(fā)明的范圍。本發(fā)明公開一種視頻處理方法，通過在對視頻串流進(jìn)行錄制時，在代表不同場景 的視頻片段開頭插入內(nèi)視頻幀以用來輔助辨識各視頻片段，并使嵌入式電子產(chǎn)品可以快速 地在被錄制的視頻串流中找到各視頻片段。如此一來，當(dāng)嵌入式電子產(chǎn)品或其使用者需要 快速地找到欲編輯的至少一個視頻片段時，不需要如先前技術(shù)般先行對整個視頻串流進(jìn)行 編碼，而只要通過每一視頻片段的起始處被插入的內(nèi)視頻幀辨識出所需的視頻片段，再針 對該視頻片段進(jìn)行編輯及對應(yīng)的編碼即可；因?yàn)樵诰庉嫾跋嚓P(guān)的編碼時，只需要針對所需
6要的特定視頻片段進(jìn)行，而非針對整個視頻串流處理，因此可以節(jié)省下嵌入式電子產(chǎn)品大 量的計(jì)算量。除此以外，通過內(nèi)視頻幀所掌握的所有視頻片段，使用者可以掌握視頻串流中 所有視頻片段的時間長度、順序、內(nèi)容等信息，而且也可以針對特定的視頻片段進(jìn)行包含刪 除視頻幀等更新，被編輯的視頻片段也可在被編輯完成后立即在視頻串流中被編碼，而無 須等待整個視頻串流被編輯后才被編碼。本發(fā)明所公開的方法可應(yīng)用于MPEG、ITU、或是其 他私用的視頻標(biāo)準(zhǔn)的編碼方式，且應(yīng)用本發(fā)明所公開的方法的嵌入式電子產(chǎn)品包含手機(jī)、 數(shù)字相機(jī)、或可攜式的影音播放裝置等。 以上所述僅為本發(fā)明的優(yōu)選實(shí)施例，凡依本發(fā)明權(quán)利要求書所做的均等變化與修 飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
權(quán)利要求
一種視頻處理方法，包含分析一第一視頻串流，以產(chǎn)生多個連續(xù)的視頻片段，其中該多個視頻片段的每一視頻片段代表該視頻串流中不同的場景；在該多個視頻片段的每一視頻片段的起始處加入一第一內(nèi)視頻幀；及在該多個視頻片段的每一視頻片段中，每隔一定數(shù)量的視頻幀，插入一第二內(nèi)視頻幀。
2.如權(quán)利要求1所述的方法，還包含根據(jù)該多個視頻片段的每一視頻片段所包含的該第一內(nèi)視頻幀，編輯該第一視頻串流。
3.如權(quán)利要求2所述的方法，其中根據(jù)該多個視頻片段的每一視頻片段所包含的該第 一內(nèi)視頻幀，編輯該第一視頻串流包含根據(jù)該每一視頻片段所包含的該第一內(nèi)視頻幀，顯示該每一視頻片段。
4.如權(quán)利要求1所述的方法，還包含根據(jù)該多個視頻片段的一被選定的視頻片段所包含的一第一內(nèi)視頻幀，編輯該被選定 的視頻片段。
5.如權(quán)利要求1所述的方法，其中該多個視頻片段的每一視頻片段包含多個連續(xù)的視 頻幀。
6.如權(quán)利要求5所述的方法，還包含根據(jù)該每一視頻片段所包含的該多個視頻幀的色彩組成、畫面變化程度、或與鄰近視 頻幀的差異程度，決定該多個視頻幀的每一視頻幀的一優(yōu)先權(quán)；根據(jù)該每一視頻幀的該優(yōu)先權(quán)，刪除全部或部分視頻片段所包含的多個視頻幀的部分 視頻幀；及對已被刪除部分視頻幀及未被刪除視頻幀的所有視頻片段進(jìn)行編碼，以產(chǎn)生一第二視頻串流。
7.如權(quán)利要求5所述的方法，還包含根據(jù)使用者所發(fā)出的一指令，刪除該多個視頻片段的部分視頻片段中所包含的該多個 視頻幀的部分視頻幀；及對已被刪除部分視頻幀及未被刪除視頻幀的所有視頻片段進(jìn)行編碼，以產(chǎn)生一第二視頻串流。
8.如權(quán)利要求5所述的方法，還包含根據(jù)一壓縮比例，刪除該每一視頻片段中所包含的該多個視頻幀的部分視頻幀；及 對已被刪除部分視頻幀及未被刪除視頻幀的所有視頻片段進(jìn)行編碼，以產(chǎn)生一第二視頻串流。
9.如權(quán)利要求5所述的方法，還包含刪除該多個視頻片段中全部或部分視頻片段所包含的多個視頻幀的部分視頻幀，并 對已被刪除部分視頻幀及未被刪除視頻幀的所有視頻片段進(jìn)行編碼，以產(chǎn)生一第二視頻串 流；及根據(jù)對該第二視頻串流中所包含的全部或部分視頻片段所包含的多個視頻幀所進(jìn)行 的更新，同步更新該第二視頻串流。
全文摘要
視頻處理方法。通過在對視頻串流進(jìn)行錄制時，在代表不同場景的視頻片段開頭插入內(nèi)視頻幀以用來輔助辨識各視頻片段，使得嵌入式電子產(chǎn)品可以快速地在被錄制的視頻串流中找到各視頻片段。如此一來，只需要針對欲編輯的視頻片段進(jìn)行編輯及對應(yīng)的編碼即可，并可節(jié)省嵌入式電子產(chǎn)品大量的計(jì)算量。除此以外，通過內(nèi)視頻幀所掌握的所有視頻片段，使用者可以掌握視頻串流中所有視頻片段的時間長度、順序、內(nèi)容等信息。被編輯的視頻片段也可在被編輯完成后立即在視頻串流中被編碼，而無須等待整個視頻串流被編輯后才被編碼。
文檔編號H04N7/32GK101931773SQ200910150318
公開日2010年12月29日 申請日期2009年6月23日 優(yōu)先權(quán)日2009年6月23日
發(fā)明者曹建根, 王聰修, 鄧暉 申請人:虹軟(杭州)多媒體信息技術(shù)有限公司