一種異常數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)視頻流處理技術(shù)領(lǐng)域，尤其涉及一種基于分段視頻流的異常數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的飛速發(fā)展，基于網(wǎng)絡(luò)的視頻傳輸流量也越來越大。在網(wǎng)絡(luò)視頻流處理領(lǐng)域的實(shí)際運(yùn)用中，由于分段下載、UDP協(xié)議的特性，數(shù)據(jù)傳輸過程中的丟包、數(shù)據(jù)突變等，使得亂序、不完整的視頻流存在。而在處理這些分段傳輸?shù)漠惓Ｒ曨l流時(shí)，如解碼時(shí)常用的方法是，將不能正常解碼的異常流直接丟棄，該異常流是指視頻解碼系統(tǒng)不能正常解碼的視頻流，其中也包括由于解碼系統(tǒng)自身原因不能解碼的偽異常流。
[0003]在處理海量分段視頻流時(shí)，由于針對某路會話出現(xiàn)異常的分段位置隨機(jī)，又由于出現(xiàn)異常是個(gè)后知后覺的過程，因此常用的分段視頻流的異常數(shù)據(jù)處理方法是將所有會話的視頻片段全部完整保存，然后根據(jù)異常視頻會話ID去查詢已保存的異常流，以實(shí)現(xiàn)線下復(fù)現(xiàn)曾經(jīng)出現(xiàn)的異常現(xiàn)象。
[0004]現(xiàn)有技術(shù)不足在于:一方面，由于異常流或是異?，F(xiàn)象隨著現(xiàn)有視頻處理系統(tǒng)的不斷完善，屬于小概率事件，而捕獲異常流或是異常現(xiàn)象常用的解決方法為存儲海量分段視頻流數(shù)據(jù)，因此，對主機(jī)存儲空間要求較高;另一方面，捕獲異常流后，由于線上應(yīng)用場景發(fā)生變化，僅僅依靠在線下將異常流作為輸入送至視頻處理系統(tǒng)進(jìn)行重新處理很難復(fù)現(xiàn)異常現(xiàn)象，即便復(fù)現(xiàn)異常現(xiàn)象也很難保證和之前丟棄的異?，F(xiàn)象完全一致，無法定位造成異?，F(xiàn)象的真正原因。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提出了一種異常數(shù)據(jù)處理方法及裝置，以解決現(xiàn)有技術(shù)中分段視頻流的異常數(shù)據(jù)處理方法，對主機(jī)存儲空間要求較高，以及異?，F(xiàn)象無法保證復(fù)現(xiàn)一致性和無法定位原因的技術(shù)問題。
[0006]在一個(gè)方面，本發(fā)明實(shí)施例提供了一種異常數(shù)據(jù)處理方法，其特征在于，包括如下步驟:
[0007]對會話的分段視頻流進(jìn)行線下解碼監(jiān)測，判斷當(dāng)前分段視頻流是否存在解碼異?，F(xiàn)象；
[0008]若所述當(dāng)前分段視頻流存在解碼異?，F(xiàn)象，則獲取線上包含所述當(dāng)前分段視頻流中解碼異?，F(xiàn)象所處位置的異常上下文信息；
[0009]根據(jù)獲取到的異常上下文信息復(fù)現(xiàn)線上所述當(dāng)前分段視頻流中的異常視頻流。
[0010]在另一個(gè)方面，本發(fā)明實(shí)施例提供了一種異常數(shù)據(jù)處理裝置，其特征在于，包括:
[0011]線下監(jiān)測模塊，用于對會話的分段視頻流進(jìn)行線下解碼監(jiān)測，判斷當(dāng)前分段視頻流是否存在解碼異?，F(xiàn)象；
[0012]線下獲取模塊，用于若所述當(dāng)前分段視頻流存在解碼異?，F(xiàn)象，則獲取線上包含所述當(dāng)前分段視頻流中解碼異?，F(xiàn)象所處位置的異常上下文信息；
[0013]線下復(fù)現(xiàn)模塊，用于根據(jù)獲取到的異常上下文信息復(fù)現(xiàn)線上所述當(dāng)前分段視頻流中的異常視頻流。
[0014]有益效果如下:
[0015]本發(fā)明實(shí)施例所提供的異常數(shù)據(jù)處理方法及裝置，通過線下識別、捕獲篩選后的異常數(shù)據(jù)，并進(jìn)行分析和統(tǒng)計(jì)，結(jié)合線上實(shí)時(shí)獲取指定異常會話數(shù)據(jù)和異常會話上下文信息的方式，減少了異常數(shù)據(jù)存儲的空間開銷，同時(shí)提高了針對異常數(shù)據(jù)復(fù)現(xiàn)和分析的準(zhǔn)確性，從而實(shí)現(xiàn)了對視頻處理系統(tǒng)自身容錯(cuò)性的完善。
【附圖說明】
[0016]下面將參照附圖描述本發(fā)明的具體實(shí)施例，其中:
[0017]圖1示出了本發(fā)明實(shí)施例中異常數(shù)據(jù)處理方法的流程示意圖；
[0018]圖2示出了本發(fā)明實(shí)施例中線上異常數(shù)據(jù)處理方法的流程示意圖；
[0019]圖3示出了本發(fā)明實(shí)施例中異常數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020]為了使本發(fā)明的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對本發(fā)明的示例性實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說明，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是所有實(shí)施例的窮舉。并且在不沖突的情況下，本說明中的實(shí)施例及實(shí)施例中的特征可以互相結(jié)合。
[0021 ]發(fā)明人在發(fā)明過程中注意到:
[0022]由于現(xiàn)有技術(shù)中對小概率事件的異常流或是異常現(xiàn)象的捕獲需要占用較大的主機(jī)存儲空間，以及線下復(fù)現(xiàn)異常現(xiàn)象具有一定的局限性，即無法保證異?，F(xiàn)象復(fù)現(xiàn)一致性和無法定位造成異?，F(xiàn)象的根本原因。發(fā)明人想到通過對異常視頻流進(jìn)行分析，最大限度的完善視頻處理系統(tǒng)自身的容錯(cuò)性。
[0023]要實(shí)現(xiàn)最大限度的完善視頻處理系統(tǒng)自身的容錯(cuò)性，需要考慮以下兩方面:
[0024](I)為了減少異常數(shù)據(jù)存儲的空間開銷，通過重建會話上下文的方式，僅保存出現(xiàn)異?，F(xiàn)象的當(dāng)前分段和該會話的第一個(gè)分段的視頻流異常數(shù)據(jù)；
[0025](2)利用一種分段視頻流異常數(shù)據(jù)線上和線下相結(jié)合的處理架構(gòu)，最大限度的還原出現(xiàn)異?，F(xiàn)象時(shí)的相關(guān)上下文信息，從而提高針對異常數(shù)據(jù)復(fù)現(xiàn)和分析的準(zhǔn)確性，實(shí)現(xiàn)視頻處理系統(tǒng)的進(jìn)一步完善。
[0026]基于此，本發(fā)明實(shí)施例提出了一種異常數(shù)據(jù)處理方法及裝置，下面進(jìn)行說明。
[0027]圖1示出了本發(fā)明實(shí)施例中異常數(shù)據(jù)處理方法的流程示意圖，如圖所示，包括:
[0028]步驟101、對會話的分段視頻流進(jìn)行線下解碼監(jiān)測，判斷當(dāng)前分段視頻流是否存在解碼異?，F(xiàn)象。
[0029]實(shí)施中，所述的對會話的分段視頻流進(jìn)行線下解碼監(jiān)測包括:
[0030]管理工具加載線上預(yù)存的異常上下文信息；
[0031]根據(jù)所述異常上下文信息，解碼所述異常上下文信息對應(yīng)的分段視頻流，并實(shí)時(shí)監(jiān)測解碼過程。
[0032]具體實(shí)施中，不對獲取線上異常上下文信息的具體方法進(jìn)行限定，包括但不限于:當(dāng)線上識別出當(dāng)前分段視頻流出現(xiàn)解碼異常現(xiàn)象退出解碼后，關(guān)閉視頻處理系統(tǒng)的保活機(jī)制，使系統(tǒng)保持解碼異?，F(xiàn)象，以便線下確認(rèn)異常復(fù)現(xiàn)和后續(xù)分析;打開視頻處理系統(tǒng)的處理流程記錄機(jī)制，管理工具將線上獲取到的異常上下文信息加載到視頻處理系統(tǒng)，并利用視頻處理系統(tǒng)對該異常上下文信息對應(yīng)的分段視頻流進(jìn)行解碼。同時(shí)，在解碼各分段視頻流時(shí)，增加類似時(shí)間戳的路徑標(biāo)記，記錄解碼出現(xiàn)異?，F(xiàn)象時(shí)的程序處理流程，即管理工具通過對線上捕獲到的異常數(shù)據(jù)流所在的各分段視頻流的解碼情況進(jìn)行實(shí)時(shí)監(jiān)控，能夠利用該路徑標(biāo)記定位解碼異常現(xiàn)象所處位置。其中，線上獲取到的異常上下文信息是指針對各分段視頻流后續(xù)分段視頻解碼所需的視頻頭信息和出現(xiàn)異常時(shí)核心數(shù)據(jù)結(jié)構(gòu)的關(guān)鍵數(shù)據(jù)?目息O
[0033]實(shí)施中，所述的線上預(yù)存異常上下文信息的步驟包括:
[0034]獲取會話的第一分段視頻流，重建所述會話上下文并保存所述第一分段視頻流；
[0035]解碼所述第一分段數(shù)據(jù)流，并識別所述第一分段數(shù)據(jù)流是否存在異常視頻流；
[0036]若存在異常視頻流，則根據(jù)所述異常視頻流類型生成相應(yīng)的異常上下文信息:
[0037]若不存在異常視頻流，則獲取下一分段視頻流，重建所述會話上下文并解碼所述下一分段數(shù)據(jù)流。
[0038]具體實(shí)施中，不對獲取會話的第一分段視頻流(或第一個(gè)數(shù)據(jù)分段)的具體方法進(jìn)行限定，包括但不限于:當(dāng)接收到會話的第一分段視頻流后，保存第一分段視頻流，找到第一分段視頻流的上下文信息，并重建上下文信息，重建的上下文信息至少包括解碼所需的視頻頭信息和核心數(shù)據(jù)結(jié)構(gòu)的關(guān)鍵數(shù)據(jù)信息，并用于解碼后續(xù)亂序分段視頻流。
[0039]實(shí)施中，根據(jù)所述異常視頻流類型生成相應(yīng)的異常上下文信息的步驟包括:
[0040]若所述異常視頻流為解碼失敗，正常退出，則輸出包含錯(cuò)誤碼信息的異常上下文信息；
[0041 ]若所述異常視頻流為解碼失敗，發(fā)生段錯(cuò)誤或死循環(huán)，則