一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法
【專利摘要】本發(fā)明公開了一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法，該方法包括：根據(jù)負載均衡調(diào)度策略，將單頻道視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)向各DSP模塊轉(zhuǎn)發(fā)；DSP模塊獲取視頻數(shù)據(jù)的關(guān)鍵幀圖像序列和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列；DSP模塊利用改進的SIFT算法和TOM算法提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，得到視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的特征向量序列，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)，若同步的視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列的相似度大于預(yù)設(shè)的相似度閾值，則內(nèi)容相同。本發(fā)明數(shù)據(jù)處理具有實時性，容量大、體積小、功耗低、人工成本低的特點。用以解決視頻處理不能滿足實時性、大容量、小體積、低功耗要求的問題。
【專利說明】一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻檢測【技術(shù)領(lǐng)域】，特別是涉及一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)和通信技術(shù)的發(fā)展，視頻應(yīng)用已經(jīng)被推廣到各個領(lǐng)域，其制作與傳播亦無技術(shù)門檻，造成視頻容量激增、內(nèi)容泛濫。同時，作為文化和意識形態(tài)傳播媒介，視頻惡意攻擊事件頻發(fā)，對視頻監(jiān)管技術(shù)的要求進一步提高。在諸多的監(jiān)管與檢測方法中，視頻內(nèi)容監(jiān)管可以對視頻進行深度檢測，是視頻監(jiān)管領(lǐng)域中最為徹底的監(jiān)管手段。
[0003]然而，視頻內(nèi)容監(jiān)管的實現(xiàn)面臨許多問題，主要原因有二:
[0004]其一、視頻有嚴格的時基要求，這就要求視頻處理器具有較高的實時處理能力，能夠嚴格按照視頻的時基進行同步處理。但是，基于x86架構(gòu)服務(wù)器的視頻內(nèi)容分析很難滿足實時性要求。
[0005]其二、視頻具有數(shù)據(jù)量大的特征，在海量視頻數(shù)據(jù)時代，現(xiàn)有技術(shù)的視頻內(nèi)容分析設(shè)備很難滿足對大量視頻數(shù)據(jù)的內(nèi)容分析。如何在同等監(jiān)管容量情況下減小龐大的內(nèi)容分析設(shè)備體積，從而研制出大容量、小體積、低功耗的視頻內(nèi)容分析設(shè)備，也是基于內(nèi)容的視頻分析方法要解決的問題。
[0006]鑒于以上兩個主要問題的存在，視頻內(nèi)容分析的研究尚停留在理論水平和試驗階段。

【發(fā)明內(nèi)容】

[0007]本發(fā)明要解決的技術(shù)問題是利用多指令流多數(shù)據(jù)流(MMD)處理結(jié)構(gòu)和松耦合存儲結(jié)構(gòu)并行處理大規(guī)模視頻數(shù)據(jù)，降低視頻算法的時間復(fù)雜度。同時采用多路碼流負載均衡調(diào)度策略與并行視頻處理算法相結(jié)合的方式保證視頻內(nèi)容分析的實時性要求，并且將多路多核DSP應(yīng)用于實時視頻內(nèi)容分析比對中。用以解決現(xiàn)有技術(shù)的視頻內(nèi)容分析設(shè)備不能滿足實時性、大容量、小體積、低功耗要求的問題。
[0008]為解決上述技術(shù)問題，本發(fā)明提供一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法，該方法包括以下步驟:接收網(wǎng)絡(luò)傳輸?shù)亩囝l道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)；根據(jù)多頻道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)攜帶的頻道信息解復(fù)用為單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，并根據(jù)負載均衡調(diào)度策略向各個數(shù)字信號處理器模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)；每個數(shù)字信號處理器模塊解碼接收到的視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)，并獲取視頻碼流數(shù)據(jù)中的視頻數(shù)據(jù)的關(guān)鍵幀圖像序列和標準視頻碼流數(shù)據(jù)中的標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列；所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，以得到視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列；基于所述數(shù)字信號處理器模塊提取的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)；在同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，計算視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列的相似度；若所述相似度大于預(yù)設(shè)的相似度閾值，則視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容相同；若所述相似度小于或等于預(yù)設(shè)的相似度閾值，則視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容不相同。
[0009]其中，負載均衡調(diào)度策略向各個數(shù)字信號處理器模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，包括:預(yù)先設(shè)置各個數(shù)字信號處理器模塊的優(yōu)先級，為狀態(tài)參數(shù)為空閑的且優(yōu)先級最高的數(shù)字信號處理器模塊轉(zhuǎn)發(fā)所述單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)；其中數(shù)字信號處理器模塊處理的數(shù)據(jù)量小于預(yù)定值時狀態(tài)參數(shù)為空閑。
[0010]其中，所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，包括:在所述關(guān)鍵幀圖像序列中讀取一幀圖像數(shù)據(jù)，作為當前圖像數(shù)據(jù)；從空域上，采用改進的單尺寸SIFT算法提取所述當前圖像數(shù)據(jù)中的特征點并計算特征點的特征向量；其中，所述改進的單尺寸SIFT算法是指在提取特征點時僅進行單尺寸DoG圖像數(shù)據(jù)的多尺度處理；將所述當前圖像數(shù)據(jù)分為左上、右上、左下、右下4個區(qū)域；在時域上，從所述圖像序列中讀取當前圖像數(shù)據(jù)的前3幀圖像數(shù)據(jù)，并獲得所述前3幀圖像數(shù)據(jù)的特征點的特征向量；計算所述當前圖像數(shù)據(jù)和所述前3幀圖像數(shù)據(jù)在所述4個區(qū)域中對應(yīng)的每個區(qū)域的特征向量分別在8個方向的特征向量均值，以得到所述當前圖像數(shù)據(jù)的特征向量。
[0011]其中，所述數(shù)字信號處理器模塊利用改進的單尺寸SIFT算法和TOM算法，提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，以得到視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列，包括:視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成視頻數(shù)據(jù)的特征向量序列；標準視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成標準視頻數(shù)據(jù)的特征向量序列。
[0012]其中，基于所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)，包括:在關(guān)鍵幀圖像序列中讀取一幀圖像數(shù)據(jù)，并計算該圖像數(shù)據(jù)的特征點和特征點的特征向量；在所述圖像數(shù)據(jù)中劃定預(yù)定范圍的同步區(qū)域；將所述同步區(qū)域劃分為4個部分，在每個部分中分別計算8個預(yù)定方向上的特征向量的均值，作為所述圖像數(shù)據(jù)的同步區(qū)域特征向量，以利用同步區(qū)域特征向量確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)。
[0013]其中，基于所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)，包括:由視頻數(shù)據(jù)包含的圖像數(shù)據(jù)的同步區(qū)域特征向量形成視頻數(shù)據(jù)同步區(qū)域特征向量序列；選取標準視頻數(shù)據(jù)包含的一幀或多幀圖像數(shù)據(jù)的同步區(qū)域特征向量形成標準視頻數(shù)據(jù)同步區(qū)域特征向量序列，以作為同步窗口 ；將所述同步窗口在所述視頻數(shù)據(jù)同步區(qū)域特征向量序列上滑動，以在視頻數(shù)據(jù)同步區(qū)域特征向量序列中查找與所述同步窗口相同的部分；若查找到與所述同步窗口相同的部分則所述視頻數(shù)據(jù)與所述標準視頻數(shù)據(jù)同步。
[0014]其中，將所述同步窗口在所述視頻數(shù)據(jù)同步區(qū)域特征向量序列上滑動，以在視頻數(shù)據(jù)同步區(qū)域特征向量序列中查找與同步窗口相同的部分，包括:當查找與所述同步窗口相同的部分的時間超過預(yù)定時間后，則輸出報警信息，以進行報警。
[0015]其中，在同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，計算視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列的相似度，還包括:若所述相似度小于或等于預(yù)設(shè)的相似度閾值，則輸出報警信息，以進行報警。
[0016]本發(fā)明有益效果如下:
[0017]本發(fā)明利用多指令流多數(shù)據(jù)流(MMD)處理結(jié)構(gòu)和松耦合存儲結(jié)構(gòu)并行處理大規(guī)模視頻數(shù)據(jù)，降低視頻算法的時間復(fù)雜度。同時采用多路碼流負載均衡調(diào)度策略與并行視頻處理算法相結(jié)合的方式保證視頻內(nèi)容分析的實時性要求，并且將多路多核DSP應(yīng)用于實時視頻內(nèi)容分析比對中，來提高視頻內(nèi)容分析設(shè)備的處理能力，使處理具有實時性，進而使視頻內(nèi)容分析設(shè)備容量大、體積小、功耗低。本發(fā)明可以降低人工成本，提高人工效率。
【專利附圖】

【附圖說明】
[0018]圖1是根據(jù)本發(fā)明一實施例的DSP媒體處理板卡硬件結(jié)構(gòu)示意圖；
[0019]圖2是根據(jù)本發(fā)明一實施例的基于數(shù)字信號處理器的視頻內(nèi)容比對方法的示意圖；
[0020]圖3是根據(jù)本發(fā)明一實施例的基于數(shù)字信號處理器的視頻內(nèi)容比對方法的流程圖；
[0021]圖4是根據(jù)本發(fā)明一實施例的接收與調(diào)度步驟示意圖；
[0022]圖5是根據(jù)本發(fā)明一實施例的特征提取過程示意圖；以及
[0023]圖6是根據(jù)本發(fā)明一實施例的同步步驟示意圖。
【具體實施方式】
[0024]為了解決在現(xiàn)有技術(shù)的視頻內(nèi)容分析中，由于視頻處理算法的應(yīng)用、處理器的處理能力以及硬件集成度規(guī)模等限制，視頻內(nèi)容分析設(shè)備不能滿足實時性、大容量、小體積、低功耗要求的問題，本發(fā)明提供了一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法。以下結(jié)合附圖對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不限定本發(fā)明。
[0025]本發(fā)明基于多路高速并行數(shù)字信號處理器(DigitalSignalProcessing, DSP),采用適用于并行結(jié)構(gòu)的基于內(nèi)容特征提取的分析比對技術(shù)，并從系統(tǒng)、算法、優(yōu)化等多個方面保證視頻內(nèi)容比對的準確度和實時性，以實現(xiàn)對多路視頻內(nèi)容的自動實時監(jiān)管。
[0026]其中，數(shù)字信號處理器可以是硬件的媒體處理板卡，如圖1所示，圖1是根據(jù)本發(fā)明一實施例的DSP媒體處理板卡硬件結(jié)構(gòu)示意圖。
[0027]該板卡可以包括光交換模塊、控制管理模塊、以太網(wǎng)交換模塊、中斷模塊、數(shù)據(jù)交換模塊、存儲模塊以及一個或多個DSP模塊(圖1中指示意性的示出兩個DSP模塊)。其中，光交換模塊和以太網(wǎng)交換模塊可以用于通過光交換接口和以太網(wǎng)接口接收視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)并轉(zhuǎn)發(fā)給相應(yīng)的DSP模塊，以保證數(shù)據(jù)的高吞度率。控制管理模塊是板卡的中心控制與管理單元，可以用于調(diào)度光交換模塊和以太網(wǎng)交換模塊的視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)進入相應(yīng)的DSP模塊，并將調(diào)度信息存儲于存儲模塊中。中斷模塊可以用于暫停DSP模塊正在執(zhí)行的任務(wù)。數(shù)據(jù)交換模塊可以用于將控制管理模塊生成的調(diào)度信息注入到DSP模塊，以使DSP模塊執(zhí)行相應(yīng)的任務(wù)，并且DSP模塊通過數(shù)據(jù)交換模塊將報警信息傳輸?shù)娇刂乒芾砟K。
[0028]一個或多個DSP模塊是核心功能單元，可以用于對視頻碼流數(shù)據(jù)進行基于標準視頻碼流數(shù)據(jù)的視頻內(nèi)容的分析與比對。進一步地，在每個DSP模塊中還包括DSP狀態(tài)監(jiān)視器(圖1中未示出)，該DSP狀態(tài)監(jiān)視器可以監(jiān)視DSP模塊的狀態(tài)參數(shù)，生成狀態(tài)參數(shù)并通過數(shù)據(jù)交換模塊反饋給控制管理模塊。
[0029]其中視頻碼流數(shù)據(jù)可以是視頻，如某一視頻APP (Application,應(yīng)用)播放的電視節(jié)目。標準視頻碼流數(shù)據(jù)可以是來自預(yù)設(shè)網(wǎng)絡(luò)地址的視頻，如中國網(wǎng)絡(luò)電視臺播放的電視節(jié)目。在視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)中攜帶頻道信息，這樣可以將APP播放的電視節(jié)目和中國網(wǎng)絡(luò)電視臺播放的電視節(jié)目進行視頻內(nèi)容對比，以對APP播放的視頻進行監(jiān)控，防止發(fā)生惡意視頻攻擊的情況發(fā)生。
[0030]圖2是根據(jù)本發(fā)明一實施例的基于數(shù)字信號處理器的視頻內(nèi)容比對方法的示意圖。在接收與調(diào)度步驟中，控制管理模塊從光交換接口或以太網(wǎng)接口接收實時多路視頻碼流數(shù)據(jù)，對該多路視頻碼流數(shù)據(jù)解復(fù)用，并根據(jù)視頻碼流數(shù)據(jù)的頻道信息，如:CCTV1，CCTV2，將視頻碼流數(shù)據(jù)分離為一個或多個單頻道視頻碼流數(shù)據(jù)。同理，可以解復(fù)用出一個或多個單頻道標準視頻碼流數(shù)據(jù)。控制管理模塊可以利用負載均衡調(diào)度策略進行調(diào)度，以向相應(yīng)的DSP模塊發(fā)送單頻道視頻數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)。狀態(tài)監(jiān)視與反饋步驟是指DSP模塊中的DSP狀態(tài)監(jiān)視器向控制管理模塊反饋DSP模塊的當前狀態(tài)參數(shù)，如:DSP模塊忙、閑等狀態(tài)，該參數(shù)可以為負載均衡調(diào)度策略提供參考。在每個DSP模塊中，針對該DSP模塊接收到的單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)分別經(jīng)過預(yù)處理(步驟S320)、特征提取(步驟S330)、同步(步驟S340)和特征比對(步驟S350)，進而分析出視頻碼流數(shù)據(jù)與標準視頻碼流數(shù)據(jù)的內(nèi)容是否相符。若存在不符合之處即可以輸出報警信息，以實施報警。
[0031]以下結(jié)合圖3-圖6對圖2中的內(nèi)容和涉及的步驟進行詳細說明。
[0032]圖3是根據(jù)本發(fā)明一實施例的基于數(shù)字信號處理器的視頻內(nèi)容比對方法的流程圖。
[0033]步驟S310為接收與調(diào)度步驟，在該步驟中，板卡接收網(wǎng)絡(luò)傳輸?shù)亩囝l道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)，根據(jù)多頻道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)攜帶的頻道信息，解復(fù)用為一個或多個單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，并根據(jù)負載均衡調(diào)度策略向各DSP模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)。
[0034]負載均衡調(diào)度策略是指根據(jù)接收到的視頻碼流數(shù)據(jù)中的頻道信息和各DSP狀態(tài)監(jiān)視器反饋的狀態(tài)參數(shù)，使各個DSP模塊的處理量均等。進一步地，DSP模塊處理的數(shù)據(jù)量小于預(yù)定值時，其狀態(tài)參數(shù)為空閑；否則其狀態(tài)參數(shù)為忙；預(yù)先設(shè)置各個DSP模塊的優(yōu)先級；具體而言，可以為每個DSP預(yù)設(shè)編號，每個編號表示一個優(yōu)先等級。轉(zhuǎn)發(fā)數(shù)據(jù)時，為狀態(tài)參數(shù)為空閑的且優(yōu)先級最高的DSP模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，即:在狀態(tài)參數(shù)為空閑的各個DSP模塊中，由編號優(yōu)先級最高的DSP模塊處理數(shù)據(jù)，從而實現(xiàn)各個DSP模塊的負載均衡。
[0035]參考圖4所示的本發(fā)明一實施例的接收與調(diào)度步驟示意圖?？刂乒芾砟K負責接收與調(diào)度步驟，該控制管理模塊可以包括網(wǎng)絡(luò)接收緩存、通道分離器、任務(wù)調(diào)度器、DSP狀態(tài)收集器、DSP控制器。具體而言，DSP模塊中的DSP狀態(tài)監(jiān)視器負責向控制管理模塊反饋DPS模塊的狀態(tài)參數(shù)，以協(xié)助控制管理模塊完成對視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的調(diào)度。具體而言，可以將從網(wǎng)絡(luò)接收多頻道視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)放入網(wǎng)絡(luò)接收緩存。由通道分離器負責對網(wǎng)絡(luò)接收緩存中的多頻道視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)分別分離為單頻道視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)。DSP狀態(tài)收集器向DSP狀態(tài)監(jiān)視器請求一個或多個DSP模塊任務(wù)執(zhí)行的狀態(tài)參數(shù)。DSP狀態(tài)監(jiān)視器向DSP狀態(tài)收集器反饋DSP模塊的狀態(tài)參數(shù)。其中，DSP模塊的狀態(tài)參數(shù)可以包括DSP模塊空閑、忙碌等狀態(tài)參數(shù)。DSP狀態(tài)收集器將DSP模塊的狀態(tài)參數(shù)傳遞到任務(wù)調(diào)度器。任務(wù)調(diào)度器根據(jù)負載均衡調(diào)度策略產(chǎn)生調(diào)度信息，并將該調(diào)度信息發(fā)送到DSP控制器，控制DSP模塊的操作任務(wù)，如接收標準視頻碼流數(shù)據(jù)并進行處理。
[0036]在該步驟中，控制管理模塊可以去除視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)中因適應(yīng)傳輸而打包的冗余信息，如:目的網(wǎng)絡(luò)地址、源網(wǎng)絡(luò)地址等信息，進而得到視頻碼流數(shù)據(jù)中的視頻數(shù)據(jù)和標準視頻碼流數(shù)據(jù)中的標準視頻數(shù)據(jù)，僅將視頻數(shù)據(jù)和標準視頻數(shù)據(jù)按照負載均衡調(diào)度策略轉(zhuǎn)發(fā)給相應(yīng)的DSP模塊。
[0037]每個DSP模塊可以并行處理三路視頻碼流數(shù)據(jù)和/或標準視頻碼流數(shù)據(jù)。本發(fā)明為了將視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)進行內(nèi)容比對，可以使每個DSP模塊并行處理兩路視頻碼流數(shù)據(jù)和一路標準視頻碼流數(shù)據(jù)，如圖2所示。
[0038]以下步驟S320-步驟S350均在DSP模塊中進行。
[0039]步驟S320為預(yù)處理步驟，每個數(shù)字信號處理器模塊解碼接收到的視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)，并獲取視頻碼流數(shù)據(jù)中視頻數(shù)據(jù)的關(guān)鍵幀圖像序列，以及標準視頻碼流數(shù)據(jù)中的標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列。該步驟可以降低要處理的數(shù)據(jù)量。
[0040]在視頻數(shù)據(jù)和標準視頻數(shù)據(jù)包含的幀圖像中，可以包含關(guān)鍵幀和非關(guān)鍵幀的幀信息，根據(jù)幀圖像中的幀信息可以過濾出視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像，并刪除非關(guān)鍵幀圖像。進一步地，可以由視頻數(shù)據(jù)中的關(guān)鍵幀圖像形成視頻數(shù)據(jù)的圖像序列，由標準視頻數(shù)據(jù)中的關(guān)鍵幀圖像組成標準視頻數(shù)據(jù)的圖像序列。
[0041]一般而言，在視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，每24幀圖像中僅包含2幀關(guān)鍵幀圖像。因此，在大量的視頻中，使用關(guān)鍵幀的灰度圖像可以有效的降低數(shù)據(jù)處理的數(shù)據(jù)量，提高處
理效率。
[0042]在一個實施例中，將關(guān)鍵幀圖像轉(zhuǎn)換為灰度圖像，僅利用關(guān)鍵幀的灰度圖像來進行后續(xù)的處理，更近一步地的降低了數(shù)據(jù)量，提高了處理效率。
[0043]步驟S330為特征提取步驟,利用改進的單尺寸SIFT (Scale-1nvariant featuretransform,尺度不變特征轉(zhuǎn)換)算法和 TOM(Topic&Occurrence-oriented Merging)算法，提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的特征，以得到視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列。其中，該特征可以包括特征點和特征點的特征向量。
[0044]為了適應(yīng)基于視頻內(nèi)容的實時比對要求。本發(fā)明采用改進的單尺寸SIFT算法與TOM算法相結(jié)合的方式提取特征來彌補特征向量降維處理對特征區(qū)分度的影響。
[0045]其中，改進的單尺寸SIFT算法是指在提取特征點時僅進行單尺寸DoG(Difference of Gaussian)圖像數(shù)據(jù)的多尺度處理,不進行多尺寸(或稱多階)圖像數(shù)據(jù)的處理，即無亞采樣過程；以保證在特征點相對穩(wěn)定的情況下，提高實時性。其次，由于特征提取算法需要對旋轉(zhuǎn)敏感，所以沒有主方向、輔方向的概念，所有圖像僅在指定方向上計算特征向量。[0046]TOM算法是同時利用視頻的空域特征和時域特征的特征提取算法?？沼蛱卣魇侵敢钥臻g為參考量的特征。時域特征是指以時間為參考量的特征。
[0047]該特征提取步驟如圖5所示的根據(jù)本發(fā)明一實施例的特征提取過程示意圖。利用TOM算法，在關(guān)鍵幀的圖像序列中讀取一幀圖像數(shù)據(jù)，從空域上，采用改進的單尺寸SIFT算法提取圖像數(shù)據(jù)中的特征點，計算特征點的特征向量。將圖像數(shù)據(jù)分為左上、右上、左下、右下4個區(qū)域。計算每個區(qū)域內(nèi)的特征點在8個預(yù)定的不同方向上的特征向量均值，從而可以得到該幀圖像數(shù)據(jù)的空域的32維特征向量(8個方向*4個區(qū)域)。在時域上，從圖像序列中讀取當前圖像數(shù)據(jù)的前3幀圖像數(shù)據(jù)，并獲取該3幀圖像數(shù)據(jù)的特征向量。計算4個圖像數(shù)據(jù)對應(yīng)區(qū)域的特征向量分別在8個方向的特征向量均值，例如:左上區(qū)域?qū)?yīng)左上區(qū)域。至此得到該幀圖像時域和空域相結(jié)合的幀圖像特征向量。
[0048]視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成視頻數(shù)據(jù)的特征向量序列。標準視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成標準視頻數(shù)據(jù)的特征向量序列。
[0049]采用該方式提取特征，對視頻碼流數(shù)據(jù)的重編碼不敏感，而對視頻幀的時序(視頻幀的先后順序)、時長(某段視頻的持續(xù)時間)、內(nèi)容(包括圖像的亮度、色度、局部)的變化較為敏感，這樣則可以有效的比對出視頻內(nèi)容的變化。
[0050]并且，利用改進的單尺寸SIFT算法和TOM算法相結(jié)合方式來提取特征用時可達ms級，提聞了實時性。
[0051]步驟S340為同步步驟，基于所述DSP模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)。
[0052]在提取每幀圖像數(shù)據(jù)的特征后即可以進入同步步驟，使獲得視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列與同步步驟并行的進行，以提高內(nèi)容比對的處理效率。
[0053]為了考慮實時性問題，并減少運算量，將每幀圖像的中間部位作為同步比對區(qū)間。具體而言，在圖像數(shù)據(jù)中找到特征點并計算出每個特征點的特征向量，在圖像數(shù)據(jù)中劃定預(yù)定范圍的同步區(qū)域，在該同步區(qū)域內(nèi)采用與特征提取步驟S330相似的方式，利用改進的單尺寸SIFT算法和TOM算法,計算同步區(qū)域內(nèi)的特征向量。
[0054]圖6是根據(jù)本發(fā)明一實施例的同步步驟示意圖。在關(guān)鍵幀的圖像序列中讀取一幀圖像數(shù)據(jù)，找到該圖像數(shù)據(jù)的特征點和特征點的特征向量，在該圖像數(shù)據(jù)中劃定預(yù)定范圍的同步區(qū)域，將同步區(qū)域劃分為4個部分，在每個部分中分別計算8個預(yù)定方向上的特征向量的均值，作為圖像數(shù)據(jù)的同步區(qū)域特征向量，以利用同步區(qū)域特征向量確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)。
[0055]由視頻數(shù)據(jù)包含的圖像數(shù)據(jù)的同步區(qū)域特征向量形成視頻數(shù)據(jù)同步區(qū)域特征向量序列。
[0056]選取標準視頻數(shù)據(jù)包含的一幀或多幀圖像數(shù)據(jù)的同步區(qū)域特征向量形成標準視頻數(shù)據(jù)同步區(qū)域特征向量序列，以作為同步窗口。例如，選取時域上連續(xù)的4幀圖像數(shù)據(jù)的特征向量形成同步窗口。
[0057]將同步窗口在視頻數(shù)據(jù)同步區(qū)域特征向量序列上滑動，在視頻數(shù)據(jù)同步區(qū)域特征向量序列中查找與同步窗口相同的部分。若查找到相同的部分則認為視頻數(shù)據(jù)與標準視頻數(shù)據(jù)同步，可以執(zhí)行步驟S350。若不存在相同的部分則利用同步窗口繼續(xù)查找相同的部分。當查找與同步窗口相同的部分的時間超過預(yù)定時間后，則可以輸出報警信息，以進行報警，待查找到相同部分后，輸入停止報警信息。
[0058]步驟S350為特征比對步驟，在同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，計算視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的相似度。
[0059]當視頻數(shù)據(jù)和標準視頻數(shù)據(jù)同步時，則可以將視頻數(shù)據(jù)中的關(guān)鍵幀圖像組成視頻數(shù)據(jù)的圖像序列和標準視頻數(shù)據(jù)中的關(guān)鍵幀圖像組成標準視頻數(shù)據(jù)的圖像序列進行相似度比較，以獲得相似度。當該相似度大于預(yù)設(shè)的相似度閾值時，則視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的相同，即視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容相同。當該相似度小于或等于預(yù)設(shè)的相似度閾值時，則視頻數(shù)據(jù)和標準視頻數(shù)據(jù)不相同，即視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容不相同。當視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)不相同時，則輸出報警信息，以進行報
目O
[0060]進一步地，該相似度的計算采用位置敏感哈希算法(LSH, Locality SensitiveHash)。應(yīng)當理解，本發(fā)明所采用的相似度算法不限于此。
[0061]本發(fā)明基于多指令流多數(shù)據(jù)流(MIMD,MultiplelnstructionStreamMultipleDataStream)處理結(jié)構(gòu)和松耦合存儲結(jié)構(gòu)的多路并行DSP模塊。其中，MIMD處理結(jié)構(gòu)是指結(jié)合DSP模塊的功能由陣列式DSP模塊構(gòu)成的結(jié)構(gòu)。松耦合存儲結(jié)構(gòu)是指多個DSP模塊中的每個DSP模塊都有單獨使用的存儲空間。這種結(jié)構(gòu)特點可以在各自的視頻數(shù)據(jù)流上執(zhí)行各自的指令流，進而可以實現(xiàn)對多路視頻流的處理。
[0062]本發(fā)明采用適于該并行結(jié)構(gòu)的視頻內(nèi)容特征的自動分析比對算法，配合控制管理模塊及其調(diào)度策略，實現(xiàn)單個模塊對60路標清和20路高清實時視頻碼流的全時段自動監(jiān)管(單設(shè)備容量可達180路標清和60路高清)，減少視頻監(jiān)管領(lǐng)域因惡意攻擊頻發(fā)而監(jiān)管手段落后造成的監(jiān)管事故，降低人工監(jiān)管成本，從而在提高監(jiān)管效率的情況下降低監(jiān)管成本。本發(fā)明將視頻處理理論與硬件設(shè)備相結(jié)合形成實物，可監(jiān)管關(guān)鍵網(wǎng)站、網(wǎng)關(guān)、網(wǎng)絡(luò)節(jié)點和基于IP網(wǎng)絡(luò)的電視播發(fā)系統(tǒng)的實時視頻碼流，為有全時段、大容量及實時視頻監(jiān)管要求的領(lǐng)域提供了解決方案。
[0063]本發(fā)明除在算法上降低時間復(fù)雜度和空間復(fù)雜度，并使之適用于并行處理結(jié)構(gòu)夕卜，還采用實時調(diào)度策略、流水線與分治法相結(jié)合，充分利用硬件并行處理能力，從而達到對大容量視頻數(shù)據(jù)處理和實時分析的目的。
[0064]本發(fā)明基于多路高速并行DSP，采用適用于并行結(jié)構(gòu)的基于內(nèi)容特征提取分析比對技術(shù)，并從系統(tǒng)、算法、優(yōu)化等多個步驟保證比對的準確度和實時性，將視頻內(nèi)容分析方法從理論層面提升到應(yīng)用高度，實現(xiàn)對多路視頻內(nèi)容的自動實時監(jiān)管。
[0065]盡管為示例目的，已經(jīng)公開了本發(fā)明的優(yōu)選實施例，本領(lǐng)域的技術(shù)人員將意識到各種改進、增加和取代也是可能的，因此，本發(fā)明的范圍應(yīng)當不限于上述實施例。
【權(quán)利要求】
1.一種基于數(shù)字信號處理器的視頻內(nèi)容比對方法，其特征在于，所述方法包括以下步驟: 接收網(wǎng)絡(luò)傳輸?shù)亩囝l道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)； 根據(jù)多頻道視頻碼流數(shù)據(jù)和多頻道標準視頻碼流數(shù)據(jù)攜帶的頻道信息，解復(fù)用為單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，并根據(jù)負載均衡調(diào)度策略向各個數(shù)字信號處理器模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)； 每個數(shù)字信號處理器模塊解碼接收到的視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)，獲取視頻碼流數(shù)據(jù)中的視頻數(shù)據(jù)的關(guān)鍵幀圖像序列，以及標準視頻碼流數(shù)據(jù)中的標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列； 所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，以得到視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列； 基于所述數(shù)字信號處理器模塊提取的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)； 在同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，計算視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列的相似度； 若所述相似度大于預(yù)設(shè)的相似度閾值，則視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容相同； 若所述相似度小于或等于預(yù)設(shè)的相似度閾值，則視頻碼流數(shù)據(jù)和標準視頻碼流數(shù)據(jù)的內(nèi)容不相同。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)負載均衡調(diào)度策略向各個數(shù)字信號處理器模塊轉(zhuǎn)發(fā)單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)，包括: 預(yù)先設(shè)置各個數(shù)字信號處理器模塊的優(yōu)先級，為狀態(tài)參數(shù)為空閑的且優(yōu)先級最高的數(shù)字信號處理器模塊轉(zhuǎn)發(fā)所述單頻道視頻碼流數(shù)據(jù)和單頻道標準視頻碼流數(shù)據(jù)；其中數(shù)字信號處理器模塊處理的數(shù)據(jù)量小于預(yù)定值時狀態(tài)參數(shù)為空閑。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，包括: 在所述關(guān)鍵幀圖像序列中讀取一幀圖像數(shù)據(jù)，作為當前圖像數(shù)據(jù)； 從空域上，采用改進的單尺寸SIFT算法提取所述當前圖像數(shù)據(jù)中的特征點并計算特征點的特征向量；其中，所述改進的單尺寸SIFT算法是指在提取特征點時僅進行單尺寸DoG圖像數(shù)據(jù)的多尺寸處理； 將所述當前圖像數(shù)據(jù)分為左上、右上、左下、右下4個區(qū)域； 在時域上，從所述圖像序列中讀取當前圖像數(shù)據(jù)的前3幀圖像數(shù)據(jù)，并獲得所述前3幀圖像數(shù)據(jù)的特征點的特征向量； 計算所述當前圖像數(shù)據(jù)和所述前3幀圖像數(shù)據(jù)在所述4個區(qū)域中對應(yīng)的每個區(qū)域的特征向量分別在8個方向的特征向量均值，以得到所述當前圖像數(shù)據(jù)的特征向量。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，以得到視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列，包括: 視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成視頻數(shù)據(jù)的特征向量序列； 標準視頻數(shù)據(jù)的圖像序列中的一幀或多幀圖像數(shù)據(jù)的特征向量形成標準視頻數(shù)據(jù)的特征向量序列。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)，包括: 在關(guān)鍵幀圖像序列中讀取一幀圖像數(shù)據(jù)，并計算該圖像數(shù)據(jù)的特征點和特征點的特征向量; 在所述圖像數(shù)據(jù)中劃定預(yù)定范圍的同步區(qū)域； 將所述同步區(qū)域劃分為4個部分，在每個部分中分別計算8個預(yù)定方向上的特征向量的均值，作為所述圖像數(shù)據(jù)的同步區(qū)域特征向量，以利用同步區(qū)域特征向量確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，基于所述數(shù)字信號處理器模塊提取視頻數(shù)據(jù)和標準視頻數(shù)據(jù)的關(guān)鍵幀圖像序列的特征，確定同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)，包括: 由視頻數(shù)據(jù)包含的圖像數(shù)據(jù)的同步區(qū)域特征向量形成視頻數(shù)據(jù)同步區(qū)域特征向量序列； 選取標準視頻數(shù)據(jù)包含的一幀或多幀圖像數(shù)據(jù)的同步區(qū)域特征向量形成標準視頻數(shù)據(jù)同步區(qū)域特征向量序列，以作為同步窗口 ； 將所述同步窗口在所述視頻數(shù)據(jù)同步區(qū)域特征向量序列上滑動，以在視頻數(shù)據(jù)同步區(qū)域特征向量序列中查找與所述同步窗口相同的部分； 若查找到與所述同步窗口相同的部分則所述視頻數(shù)據(jù)與所述標準視頻數(shù)據(jù)同步。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，將所述同步窗口在所述視頻數(shù)據(jù)同步區(qū)域特征向量序列上滑動，以在視頻數(shù)據(jù)同步區(qū)域特征向量序列中查找與同步窗口相同的部分，包括: 當查找與所述同步窗口相同的部分的時間超過預(yù)定時間后，則輸出報警信息，以進行報警。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在同步的視頻數(shù)據(jù)和標準視頻數(shù)據(jù)中，計算視頻數(shù)據(jù)的特征向量序列和標準視頻數(shù)據(jù)的特征向量序列的相似度，還包括:若所述相似度小于或等于預(yù)設(shè)的相似度閾值，則輸出報警信息，以進行報警。
【文檔編號】H04N21/44GK103686345SQ201310701259
【公開日】2014年3月26日 申請日期:2013年12月18日 優(yōu)先權(quán)日:2013年12月18日
【發(fā)明者】黨靜雅, 韓暋, 賈凡, 龔飛, 王宗超, 張麗君, 伊然, 熊永革, 賈偉, 蘭波 申請人:北京航天測控技術(shù)有限公司