本發(fā)明涉及廣告監(jiān)控領(lǐng)域，具體而言，涉及一種視頻廣告檢測方法、裝置及設備。

背景技術(shù)：

在各種體育賽事、綜藝節(jié)目以及影視劇等視頻資源中，越來越多的廣告被播放。不同的人群對視頻廣告系統(tǒng)的具體需求不同。一方面，廣告投放商希望在視頻播出后能盡快獲取所廣告在視頻中的曝光信息，如曝光時長、曝光位置、占畫面的比例等，來確定廣告投放的收益，并根據(jù)不同形式、不同位置的廣告投放方式在視頻中曝光的統(tǒng)計信息，來確定廣告商標的精準投放，以獲取最大投入-收益比。另一方面，對于普通的視頻觀看群眾，希望能夠盡可能地跳過廣告而不影響觀看正常的視頻內(nèi)容；而對于相關(guān)的政府廣告監(jiān)測機構(gòu)，需要對廣告的內(nèi)容、頻率和時長等進行監(jiān)管，及時監(jiān)測出違規(guī)違法的廣告信息。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種視頻廣告檢測方法、裝置及設備，以改善上述問題。

為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

第一方面，一種視頻廣告檢測方法，所述視頻廣告檢測方法包括：

獲取視頻資源；

將所述視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)；

對所述圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告；

對所述音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告；

將所述圖像廣告和所述音頻廣告進行統(tǒng)計，得到廣告曝光信息。

進一步地，所述圖像數(shù)據(jù)包括視頻中對應的圖像，所述對所述圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告的步驟，包括：

獲取每一所述圖像對應的第一廣告標識；

獲取所述第一廣告標識對應在所述圖像的位置。

進一步地，所述對所述圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告的步驟，還包括：

將每一幀所述圖像對應第一廣告標識以外的背景進行虛化。

進一步地，所述對所述音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告的步驟，包括：

獲取所述音頻數(shù)據(jù)中出現(xiàn)第二廣告標識；

獲取所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間。

進一步地，所述對所述音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告的步驟，還包括：

對所述音頻數(shù)據(jù)中所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理。

進一步地，所述將所述圖像廣告和所述音頻廣告進行統(tǒng)計，生成廣告曝光數(shù)據(jù)的步驟，包括：

將虛化后的所述圖像數(shù)據(jù)以及模糊處理后的所述音頻數(shù)據(jù)進行組合；

生成廣告曝光視頻。

一種視頻廣告檢測裝置，所述視頻廣告檢測裝置包括：

視頻獲取模塊，用于獲取視頻資源；

視頻分割模塊，用于將所述視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)；

圖像檢測模塊，用于對所述圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告；

音頻檢測模塊，用于對所述音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告；

統(tǒng)計分析模塊，用于將所述圖像廣告和所述音頻廣告進行統(tǒng)計，得到廣告曝光信息。

進一步地，所述圖像檢測模塊包括：

第一廣告標識獲取單元，用于獲取每一所述圖像對應的第一廣告標識；

第一廣告標識位置獲取單元，用于獲取所述第一廣告標識對應在所述圖像的位置；

第一廣告標識背景虛化單元，用于將每一幀所述圖像對應第一廣告標識以外的背景進行虛化。

進一步地，所述音頻檢測模塊包括：

第二廣告標識獲取單元，獲取所述音頻數(shù)據(jù)中出現(xiàn)第二廣告標識；

第二廣告標識位置獲取單元，獲取所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間；

第二廣告標識背景虛化單元，對所述音頻數(shù)據(jù)中所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理。

一種視頻廣告檢測設備，所述視頻廣告檢測設備包括：

存儲器；

處理器；以及

視頻廣告檢測裝置，所述視頻廣告檢測裝置存儲于所述存儲器中并包括一個或多個由所述處理器執(zhí)行的軟件功能模組，視頻廣告檢測裝置包括：

視頻獲取模塊，用于獲取視頻資源；

視頻分割模塊，用于將所述視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)；

圖像檢測模塊，用于對所述圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告，所述圖像數(shù)據(jù)包括圖像；

第一廣告標識獲取單元，用于獲取每一所述圖像對應的第一廣告標識；

第一廣告標識位置獲取單元，用于獲取所述第一廣告標識對應在所述圖像的位置；

第一廣告標識背景虛化單元，用于將每一幀所述圖像對應第一廣告標識以外的背景進行虛化；

音頻檢測模塊，用于對所述音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告；

第二廣告標識獲取單元，獲取所述音頻數(shù)據(jù)中出現(xiàn)第二廣告標識；

第二廣告標識位置獲取單元，獲取所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間；

第二廣告標識背景虛化單元，對所述音頻數(shù)據(jù)中所述第二廣告標識出現(xiàn)的起始時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理；

統(tǒng)計分析模塊，用于將所述圖像廣告和所述音頻廣告進行統(tǒng)計，生成廣告曝光數(shù)據(jù)。

本發(fā)明提供了一種視頻廣告檢測方法、裝置及設備，該方法應用于該裝置，該設備包括該裝置，該方法包括：獲取視頻資源；將視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)；對圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告；對音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告；將圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息。通過將檢測視頻資源的圖像信息及音頻信息對應的圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息，以便于快速獲得視頻資源內(nèi)的廣告內(nèi)容。

為使本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本發(fā)明的某些實施例，因此不應被看作是對范圍的限定，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。

圖1為本發(fā)明實施例提供的視頻廣告檢測設備與多個視頻圖像采集裝置的交互的示意圖；

圖2為本發(fā)明實施例提供的視頻廣告檢測設備的方框示意圖；

圖3-圖5，為本發(fā)明實施例提供的視頻廣告檢測裝置的功能模塊示意圖；

圖6-圖7為本發(fā)明實施例提供的視頻廣告檢測方法應用于視頻廣告檢測設備的流程圖。

圖標：100-視頻廣告檢測設備；110-視頻廣告檢測裝置；112-視頻獲取模塊；113-視頻分割模塊；114-圖像檢測模塊；1141-第一廣告標識獲取單元；1142-第一廣告標識位置獲取單元；1143-第一廣告標識背景虛化單元；115-音頻檢測模塊；1151-第二廣告標識獲取單元；1152-第二廣告標識位置獲取單元；1153-第二廣告標識背景虛化單元；116-統(tǒng)計分析模塊；120-存儲器；130-處理器；140-通信單元；200-視頻圖像采集裝置；300-網(wǎng)絡。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發(fā)明實施例的組件可以以各種不同的配置來布置和設計。

因此，以下對在附圖中提供的本發(fā)明的實施例的詳細描述并非旨在限制要求保護的本發(fā)明的范圍，而是僅僅表示本發(fā)明的選定實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨后的附圖中不需要對其進行進一步定義和解釋。

請參閱圖1，為本發(fā)明實施例提供的視頻廣告檢測設備100與多個視頻圖像采集裝置200的交互的示意圖。視頻廣告檢測設備100可通過網(wǎng)絡300與多個視頻圖像采集裝置200進行通信，以實現(xiàn)視頻廣告檢測設備100與多個視頻圖像采集裝置200之間的數(shù)據(jù)通信或交互。

請參閱圖2，為本發(fā)明實施例提供的視頻廣告檢測設備100的方框示意圖。視頻廣告檢測設備100包括視頻廣告檢測裝置110、存儲器120、處理器130和通信單元140。存儲器120、處理器130以及通信單元140各元件相互之間直接或間接地電性連接，以實現(xiàn)數(shù)據(jù)的傳輸或交互。例如，這些元件相互之間可通過一條或多條通訊總線或信號線實現(xiàn)電性連接。視頻廣告檢測裝置110包括至少一個可以軟件或固件(firmware)的形式存儲于存儲器120中或固化在視頻廣告檢測設備100的操作系統(tǒng)(operatingsystem，os)中的軟件功能模塊。處理器130用于執(zhí)行存儲器120中存儲的可執(zhí)行模塊，例如視頻廣告檢測裝置110所包括的軟件功能模塊及計算機程序等。

其中，所述存儲器120可以是，但不限于，隨機存取存儲器(randomaccessmemory，ram)，只讀存儲器(readonlymemory，rom)，可編程只讀存儲器(programmableread-onlymemory，prom)，可擦除只讀存儲器(erasableprogrammableread-onlymemory，eprom)，電可擦除只讀存儲器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存儲器120用于存儲程序，處理器130在接收到執(zhí)行指令后，執(zhí)行所述程序。通信單元140用于通過網(wǎng)絡300建立視頻廣告檢測設備100與多個視頻圖像采集裝置200之間的通信連接，并用于通過網(wǎng)絡300收發(fā)數(shù)據(jù)。

請參閱圖3，為本發(fā)明實施例提供的視頻廣告檢測裝置110的功能模塊示意圖。視頻廣告檢測裝置110包括：視頻獲取模塊112、視頻分割模塊113、圖像檢測模塊114、音頻檢測模塊115及統(tǒng)計分析模塊116。

其中，

視頻獲取模塊112，用于獲取視頻資源。

本實施例中，視屏獲取模塊用于獲取視頻圖像采集裝置200采集的視頻資源。該獲取的方式可以使通過web方式上傳的視頻文件，通過網(wǎng)絡300寬帶連接的網(wǎng)絡監(jiān)控攝像頭、電視直播信號源等?？梢郧宄氖?，該視頻圖像采集裝置200可以為電腦，對播放的視頻進行采集，并將采集到的視頻資源發(fā)送到視頻廣告檢測設備100，以便于視頻獲取模塊112獲取采集到的該視頻資源。

視頻分割模塊113，用于將視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)。

本實施例中，視頻分割模塊113用于將視屏獲取模塊獲取的視頻資源進行分流，得到圖像數(shù)據(jù)和音頻數(shù)據(jù)。具體實施時，視頻分割模塊113對來自視頻獲取模塊112的視頻資源進行分流，得到圖像數(shù)據(jù)和音頻流?？梢郧宄氖牵鶕?jù)不同類型的視頻資源進行分流，所生成的圖像的幀數(shù)可以是視頻資源全部的幀，也可以是視頻資源中間隔獲取的幀；所生成的音頻數(shù)據(jù)可以為該視頻資源中全部的音頻數(shù)據(jù)。

圖像檢測模塊114，用于對圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告。

本實施例中，圖像檢測模塊114通過基于深度學習的目標檢測技術(shù)對圖像數(shù)據(jù)進行廣告檢測，檢測到每一幀圖像中出現(xiàn)的廣告標識，該廣告標識可以為商標、廣告頁和彈窗等。記錄每個廣告標識出現(xiàn)的時間點及其在圖像整幅畫面中的位置坐標。

進一步地，將每一幀圖像對應的廣告標識進行檢測，找到每一幀廣告標識的位置。將該圖像除廣告標識以外的背景進行虛化。得到只含有該廣告標識的圖像。

具體實施時，上述實現(xiàn)廣告標識檢測的過程中所采用的技術(shù)及具體的實施步驟主要有：

圖像檢測模塊114中采用的是現(xiàn)有的基于深度學習的目標檢測技術(shù)--fasterrcnn，詳細步驟包括：

獲取所有廣告標識的訓練樣本集合，并為每一類廣告標識賦予標簽，標簽為整數(shù)數(shù)字，如0-n，n種廣告標識對應n個數(shù)字。

基于深度學習框架caffe，結(jié)合獲取的訓練樣本集合，搭建fasterrcnn網(wǎng)絡模型，該網(wǎng)絡模型包括：區(qū)域生成、特征提取、候選區(qū)域、窗口分類和位置精修。

搭建的fasterrcnn網(wǎng)絡模型，得到訓練好的廣告標識檢測模型文件；

對于輸入的一張圖像，利用訓練好的廣告標識檢測模型對圖像進行廣告標識檢測，獲得每一個標識在圖像中的位置坐標，該位置可以以顯示的像素為單位。

音頻檢測模塊115，用于對音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告。

本實施例中，檢測音頻數(shù)據(jù)中出現(xiàn)的音頻廣告及該音頻廣告出現(xiàn)的時間和結(jié)束的時間。

進一步地，將音頻數(shù)據(jù)中音頻廣告出現(xiàn)的時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理。以得到只有該聲音廣告的音頻數(shù)據(jù)。

統(tǒng)計分析模塊116，用于將圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息。

將虛化后的所述圖像數(shù)據(jù)以及模糊處理后的所述音頻數(shù)據(jù)進行組合，生成曝光信息，該曝光信息包括曝光時長、曝光位置、占畫面的比例等?？梢郧宄厥?，為了使曝光信息更加的直觀可視化，可根據(jù)曝光信息生成對應的廣告曝光視頻。

該曝光視頻中只有圖像廣告標識和音頻廣告標識，最后獲取的視頻更加直觀的將廣告展現(xiàn)在視頻中。以便于廣告投放商在視頻播出后盡快獲取廣告在視頻中的曝光信息，如曝光時長、曝光位置、占畫面的比例等，來確定廣告投放的收益，并根據(jù)不同形式、不同位置的廣告投放方式在視頻中曝光的統(tǒng)計信息，來確定廣告商標的精準投放，以獲取最大投入-收益比。而對于相關(guān)的政府廣告監(jiān)測機構(gòu)，需要對廣告的內(nèi)容、頻率和時長等進行監(jiān)管，及時監(jiān)測出違規(guī)違法的廣告信息。

請參閱圖4，為本發(fā)明實施例提供的視頻廣告檢測裝置110的功能模塊示意圖。圖像檢測模塊114包括第一廣告標識獲取單元1141、第一廣告標識位置獲取單元1142及第一廣告標識背景虛化單元1143。

第一廣告標識獲取單元1141，用于獲取每一圖像對應的第一廣告標識。

本實施例中，將視頻資源中每一圖像進行處理，以得到每一圖像中對應的廣告標識。

第一廣告標識位置獲取單元1142，用于獲取第一廣告標識對應在圖像的位置。

本實施例中，獲取每一廣告標識在對應圖像中的位置，屏占比，并將邊緣進行銳化處理。

第一廣告標識背景虛化單元1143，用于將每一幀圖像對應第一廣告標識以外的背景進行虛化。

本實施例中，將每一幀圖像對應的廣告標識以外的內(nèi)容，也就是背景進行虛化，以加強廣告標識的顯示效果。

請參閱圖5，為本發(fā)明實施例提供的視頻廣告檢測裝置110的功能模塊示意圖。音頻檢測模塊115包括第二廣告標識獲取單元1151、第二廣告標識位置獲取單元1152及第二廣告標識背景虛化單元1153。

第二廣告標識獲取單元1151，獲取音頻數(shù)據(jù)中出現(xiàn)第二廣告標識。

本實施例中，第二廣告標識獲取單元1151用于獲取音頻流中對應的廣告語，例如：##工司贊助，##工司為您報時等廣告語。

第二廣告標識位置獲取單元1152，獲取第二廣告標識出現(xiàn)的起始時間與結(jié)束時間。

本實施例中，獲取廣告語出現(xiàn)的時間及結(jié)束的時間，以及找到開始時間對應的圖像及結(jié)束時對應的圖像。

第二廣告標識背景虛化單元1153，對音頻數(shù)據(jù)中第二廣告標識出現(xiàn)的起始時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理。

本實施例中，第二廣告標識背景虛化單元1153用于將廣告標識以外的聲音進行虛化處理，以得到只含有廣告語的音頻數(shù)據(jù)。

請參閱圖6，為本發(fā)明實施例提供的視頻廣告檢測方法應用于視頻廣告檢測設備100的流程圖。所述方法包括以下步驟：

步驟s101，獲取視頻資源。

可以理解地，通過視頻獲取模塊112可以執(zhí)行步驟s101。

步驟s102，將視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)。

可以理解地，通過視頻分割模塊113可以執(zhí)行步驟s102。

步驟s103，對圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告。

可以理解地，通過圖像檢測模塊114可以執(zhí)行步驟s103。

步驟s104，對音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告。

可以理解地，通過音頻檢測模塊115可以執(zhí)行步驟s104。

步驟s105，將圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息。

可以理解地，通過統(tǒng)計分析模塊116可以執(zhí)行步驟s105。

請參閱圖7，為本發(fā)明實施例提供的視頻廣告檢測方法應用于視頻廣告檢測設備100的流程圖。

步驟s103，包括：

步驟s1031，獲取每一圖像對應的第一廣告標識。

可以理解地，通過第一廣告標識獲取單元1141可以執(zhí)行步驟s1031。

步驟s1032，獲取第一廣告標識對應在圖像的位置。

可以理解地，通過第一廣告標識位置獲取單元1142可以執(zhí)行步驟s1032。

步驟s1033，將每一幀圖像對應第一廣告標識以外的背景進行虛化。

可以理解地，通過第一廣告標識背景虛化單元1143可以執(zhí)行步驟s1033。

步驟s104，包括：

步驟s1041，獲取音頻數(shù)據(jù)中出現(xiàn)第二廣告標識。

可以理解地，通過第二廣告標識獲取單元1151可以執(zhí)行步驟s1041。

步驟s1042，獲取第二廣告標識出現(xiàn)的起始時間與結(jié)束時間。

可以理解地，通過第二廣告標識位置獲取單元1152可以執(zhí)行步驟s1042。

步驟s1043，對音頻數(shù)據(jù)中第二廣告標識出現(xiàn)的起始時間與結(jié)束時間以外的聲音數(shù)據(jù)進行模糊處理。

可以理解地，通過第二廣告標識背景虛化單元1153可以執(zhí)行步驟s1042。

步驟s105，可以理解地，步驟s1051-步驟s1051可以通過統(tǒng)計分析模塊116執(zhí)行，所述步驟s105包括：

步驟s1051，將虛化后的圖像數(shù)據(jù)以及模糊處理后的音頻數(shù)據(jù)進行組合。

步驟s1052，生成廣告曝光視頻。

綜上所述，本發(fā)明提供了一種視頻廣告檢測方法、裝置及設備。該方法應用于該裝置，該設備包括該裝置，該方法包括：獲取視頻資源；將視頻資源進行分流，生成對應的圖像數(shù)據(jù)和音頻數(shù)據(jù)；對圖像數(shù)據(jù)進行廣告檢測，得到圖像廣告；對音頻數(shù)據(jù)進行廣告檢測，得到音頻廣告；將圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息。通過將檢測視頻資源的圖像信息及音頻信息對應的圖像廣告和音頻廣告進行統(tǒng)計，得到廣告曝光信息，以便于快速獲得視頻資源內(nèi)的廣告內(nèi)容。

在本申請所提供的實施例中，應該理解到，所揭露的裝置和方法，也可以通過其它的方式實現(xiàn)。以上所描述的裝置實施例僅僅是示意性的，例如，附圖中的流程圖和框圖顯示了根據(jù)本發(fā)明的多個實施例的裝置、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構(gòu)、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或代碼的一部分，所述模塊、程序段或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意，在有些作為替換的實現(xiàn)方式中，方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如，兩個連續(xù)的方框?qū)嶋H上可以基本并行地執(zhí)行，它們有時也可以按相反的順序執(zhí)行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執(zhí)行規(guī)定的功能或動作的專用的基于硬件的系統(tǒng)來實現(xiàn)，或者可以用專用硬件與計算機指令的組合來實現(xiàn)。

以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。