本說明書涉及視頻風險檢測，尤其涉及一種視頻內(nèi)容風險檢測方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)：

1、隨著直播業(yè)務以及實時視頻流業(yè)務的快速發(fā)展，由于直播視頻以及實時視頻流的復雜性和實時性要求，在內(nèi)容審核和風險控制技術(shù)方面提出了更高的挑戰(zhàn)。傳統(tǒng)的內(nèi)容檢測系統(tǒng)一般基于單一模態(tài)數(shù)據(jù)進行風險識別，如通過截幀圖像、音頻切片或者關(guān)鍵詞分析進行風險識別。然而，由于直播內(nèi)容中信息表現(xiàn)形式的多樣性和風險因素的復雜性，僅依賴單一模態(tài)檢測難以準確識別潛在風險信息，常常會因信息密度不足而出現(xiàn)漏判或誤判的情況。

2、目前，相關(guān)技術(shù)中采用通過多模態(tài)數(shù)據(jù)的檢測方式提升風險識別能力，然而該技術(shù)方案由于采用多模態(tài)數(shù)據(jù)進行風險識別，數(shù)據(jù)復雜度較高，導致多模態(tài)數(shù)據(jù)之間可能存在重復數(shù)據(jù)，導致大量的重復計算，浪費計算資源，同時從風險發(fā)生到被檢測出的時間跨度較長，風險檢出效率較低。

技術(shù)實現(xiàn)思路

1、在說明書實施例的第一方面，提供一種視頻內(nèi)容風險檢測方法，該方法能夠降低風險識別的數(shù)據(jù)復雜度，減少重復計算量，節(jié)省計算資源，縮短從風險發(fā)生到被檢測出的時間跨度，提升風險檢出效率，所述方法包括：

2、獲取實時視頻流數(shù)據(jù)，并提取所述實時視頻流數(shù)據(jù)對應的多模態(tài)檢測數(shù)據(jù)，所述多模態(tài)檢測數(shù)據(jù)包括第一信息密度數(shù)據(jù)和第二信息密度數(shù)據(jù)，且所述第二信息密度數(shù)據(jù)的信息密度大于所述第一信息密度數(shù)據(jù)；

3、對所述第一信息密度數(shù)據(jù)進行檢測，確定風險檢測結(jié)果；

4、將所述第一信息密度數(shù)據(jù)和所述風險檢測結(jié)果融合到所述第二信息密度數(shù)據(jù)中，并對融合后的第二信息密度數(shù)據(jù)進行內(nèi)容決策，得到所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果。

5、進一步地，在一些實施方式中，在將所述第一信息密度數(shù)據(jù)和所述風險檢測結(jié)果融合到所述第二信息密度數(shù)據(jù)之前，所述方法還包括：按照輸出順序?qū)⒏魉龅谝恍畔⒚芏葦?shù)據(jù)對應的風險檢測結(jié)果依次輸入到所述內(nèi)容決策系統(tǒng)中，得到各所述第一信息密度數(shù)據(jù)對應的初步風險決策結(jié)果；若確定任一所述初步風險決策結(jié)果的內(nèi)容風險等級大于或者等于內(nèi)容風險等級閾值，則將所述初步風險決策結(jié)果直接作為所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果；若確定各所述初步風險決策結(jié)果的內(nèi)容風險等級均小于所述內(nèi)容風險等級閾值，則將所述第一信息密度數(shù)據(jù)和所述風險檢測結(jié)果融合到所述第二信息密度數(shù)據(jù)。

6、進一步地，在一些實施方式中，所述對融合后的第二信息密度數(shù)據(jù)進行內(nèi)容決策，得到所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果，包括：將所述融合后的第二信息密度數(shù)據(jù)輸入到內(nèi)容決策系統(tǒng)中，以使所述內(nèi)容決策系統(tǒng)基于所述第一信息密度數(shù)據(jù)對應的風險檢測結(jié)果對第二信息密度數(shù)據(jù)進行內(nèi)容決策，得到所述融合后的第二信息密度數(shù)據(jù)的中間風險決策結(jié)果；根據(jù)各所述初步風險決策結(jié)果和所述中間風險決策結(jié)果，確定所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果。

7、進一步地，在一些實施方式中，所述根據(jù)各所述初步風險決策結(jié)果和所述中間風險決策結(jié)果，確定所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果，包括：獲取所述第一信息密度數(shù)據(jù)和所述第二信息密度數(shù)據(jù)對應的多模態(tài)風險檢測權(quán)重；根據(jù)所述多模態(tài)風險檢測權(quán)重對所述初步風險決策結(jié)果和所述中間風險決策結(jié)果進行融合，確定所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果。

8、進一步地，在一些實施方式中，所述獲取所述第一信息密度數(shù)據(jù)和所述第二信息密度數(shù)據(jù)對應的多模態(tài)風險檢測權(quán)重，包括：獲取所述第一信息密度數(shù)據(jù)和所述第二信息密度數(shù)據(jù)對應的初始風險檢測權(quán)重；根據(jù)所述實時視頻流數(shù)據(jù)關(guān)聯(lián)的歷史時刻的內(nèi)容風險決策結(jié)果，對所述初始風險檢測權(quán)重更新，得到多模態(tài)風險檢測權(quán)重，以使更新得到的所述多模態(tài)風險檢測權(quán)重適配所述實時視頻流數(shù)據(jù)的視頻內(nèi)容。

9、進一步地，在一些實施方式中，所述提取所述實時視頻流數(shù)據(jù)對應的多模態(tài)檢測數(shù)據(jù)，包括：獲取預設(shè)的檢測提取時間，所述檢測提取時間包括第一提取時長和第二提取時長，所述第二提取時長大于所述第一提取時長；通過所述第一提取時長并結(jié)合所述實時視頻流數(shù)據(jù)的時間戳信息，提取得到所述第一信息密度數(shù)據(jù)；通過所述第二提取時長并結(jié)合所述實時視頻流數(shù)據(jù)的時間戳信息，提取得到所述第二信息密度數(shù)據(jù)。

10、進一步地，在一些實施方式中，所述第一提取時長包括視頻截幀間隔和音頻切片提取時長；所述通過所述第一提取時長并結(jié)合所述實時視頻流數(shù)據(jù)的時間戳信息，提取得到所述第一信息密度數(shù)據(jù)，包括：基于所述視頻截幀間隔對所述實時視頻流數(shù)據(jù)進行幀提取處理，得到截幀圖像，并根據(jù)所述實時視頻流數(shù)據(jù)的時間戳信息確定所述截幀圖像對應的時間戳信息；基于所述音頻切片提取時長對所述實時視頻流數(shù)據(jù)進行音頻提取，得到音頻切片數(shù)據(jù)，并根據(jù)所述實時視頻流數(shù)據(jù)的時間戳信息確定所述音頻切片數(shù)據(jù)對應的時間戳信息；對所述音頻切片數(shù)據(jù)進行語音識別，確定語音識別文本數(shù)據(jù)，并根據(jù)所述音頻切片數(shù)據(jù)對應的時間戳信息確定所述語音識別文本數(shù)據(jù)對應的時間戳信息；將所述截幀圖像、所述音頻切片數(shù)據(jù)、所述語音識別文本數(shù)據(jù)以及所對應的時間戳信息作為所述第一信息密度數(shù)據(jù)。

11、進一步地，在一些實施方式中，所述第二提取時長包括視頻切片提取時長；所述通過所述第二提取時長并結(jié)合所述實時視頻流數(shù)據(jù)的時間戳信息，提取得到所述第二信息密度數(shù)據(jù)，包括：基于所述視頻切片提取時長對所述實時視頻流數(shù)據(jù)進行視頻提取，得到視頻切片數(shù)據(jù)，并根據(jù)所述實時視頻流數(shù)據(jù)的時間戳信息確定所述視頻切片數(shù)據(jù)對應的絕對開始時間戳和絕對結(jié)束時間戳。

12、進一步地，在一些實施方式中，所述第一信息密度數(shù)據(jù)至少包括截幀圖像、音頻切片數(shù)據(jù)和語音識別文本數(shù)據(jù)；所述對所述第一信息密度數(shù)據(jù)進行檢測，確定風險檢測結(jié)果，包括：對所述截幀圖像進行特征分析，得到截幀圖像特征，并通過所述截幀圖像特征確定截幀檢測結(jié)果；對所述音頻切片數(shù)據(jù)進行音頻分析，得到音律內(nèi)容特征，并通過所述音律內(nèi)容特征確定音頻檢測結(jié)果；對所述語音識別文本數(shù)據(jù)進行內(nèi)容分析，得到關(guān)鍵詞特征，并通過所述關(guān)鍵詞特征確定文本檢測結(jié)果；將所述截幀檢測結(jié)果、所述音頻檢測結(jié)果和所述文本檢測結(jié)果存儲為所述第一信息密度數(shù)據(jù)對應的風險檢測結(jié)果。

13、進一步地，在一些實施方式中，所述將所述第一信息密度數(shù)據(jù)和所述風險檢測結(jié)果融合到所述第二信息密度數(shù)據(jù)中，包括：獲取所述第二信息密度數(shù)據(jù)對應的絕對開始時間戳和絕對結(jié)束時間戳；基于所述絕對開始時間戳和所述絕對結(jié)束時間戳匹配對應時間戳范圍內(nèi)的第一信息密度數(shù)據(jù)；根據(jù)匹配到的第一信息密度數(shù)據(jù)對應的時間戳信息，將所述匹配到的第一信息密度數(shù)據(jù)以及所對應的風險檢測結(jié)果整合為所述第二信息密度數(shù)據(jù)關(guān)聯(lián)的檢測信息，得到融合后的第二信息密度數(shù)據(jù)。

14、在說明書實施例的第二方面，還提出了一種視頻內(nèi)容風險檢測裝置，包括：

15、多模態(tài)檢測數(shù)據(jù)提取模塊，用于獲取實時視頻流數(shù)據(jù)，并提取所述實時視頻流數(shù)據(jù)對應的多模態(tài)檢測數(shù)據(jù)，所述多模態(tài)檢測數(shù)據(jù)包括第一信息密度數(shù)據(jù)和第二信息密度數(shù)據(jù)，且所述第二信息密度數(shù)據(jù)的信息密度大于所述第一信息密度數(shù)據(jù)；

16、風險檢測模塊，用于對所述第一信息密度數(shù)據(jù)進行檢測，確定風險檢測結(jié)果；

17、內(nèi)容風險決策模塊，用于將所述第一信息密度數(shù)據(jù)和所述風險檢測結(jié)果融合到所述第二信息密度數(shù)據(jù)中，并對融合后的第二信息密度數(shù)據(jù)進行內(nèi)容決策，得到所述實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果。

18、本說明書實施例的第三方面，還提供一種計算機程序產(chǎn)品，計算機程序產(chǎn)品存儲有至少一條指令，至少一條指令適于由處理器加載并執(zhí)行第一方面中的方法步驟。

19、本說明書實施例的第四方面，還提供一種存儲介質(zhì)，存儲介質(zhì)存儲有計算機程序，計算機程序適于由處理器加載并執(zhí)行第一方面中的方法的步驟。

20、本說明書實施例的第五方面，還提供一種電子設(shè)備，包括：處理器和存儲器；其中，存儲器存儲有計算機程序，計算機程序適于由處理器加載并執(zhí)行第一方面中的方法的步驟。

21、在本說明書實施例中，通過提取實時視頻流數(shù)據(jù)對應的多模態(tài)檢測數(shù)據(jù)，并按照信息密度將多模態(tài)檢測數(shù)據(jù)分為第一信息密度數(shù)據(jù)和第二信息密度數(shù)據(jù)，且第二信息密度數(shù)據(jù)的信息密度大于第一信息密度數(shù)據(jù)；對第一信息密度數(shù)據(jù)進行檢測，確定風險檢測結(jié)果，并將第一信息密度數(shù)據(jù)和風險檢測結(jié)果融合到第二信息密度數(shù)據(jù)中，并對融合后的第二信息密度數(shù)據(jù)進行內(nèi)容決策，得到實時視頻流數(shù)據(jù)對應的內(nèi)容風險決策結(jié)果。一方面，通過信息密度將多模態(tài)檢測數(shù)據(jù)分層次處理，并將第一信息密度數(shù)據(jù)的先行風險決策處理，可以實現(xiàn)對實時視頻流數(shù)據(jù)中風險內(nèi)容的快速發(fā)現(xiàn)，避免高信息密度數(shù)據(jù)較大的計算壓力，減少整體檢測過程中的計算復雜度，縮短從風險發(fā)生到被檢測出的時間跨度，提升風險檢出效率，從而提高對實時視頻流數(shù)據(jù)中風險內(nèi)容的響應速度，保證網(wǎng)絡(luò)數(shù)據(jù)安全性；另一方面，在先行風險決策處理得到第一信息密度數(shù)據(jù)的風險檢測結(jié)果之后，將第一信息密度數(shù)據(jù)的風險檢測結(jié)果與第二信息密度數(shù)據(jù)融合，此時若第二信息密度數(shù)據(jù)中存在重復的模態(tài)數(shù)據(jù)，可以直接將第一信息密度數(shù)據(jù)的風險檢測結(jié)果作為重復數(shù)據(jù)的風險檢測結(jié)果，避免對重復數(shù)據(jù)進行風險決策而導致的大量重復計算，節(jié)省計算資源，同時提升第二信息密度數(shù)據(jù)的風險決策效率，在保證風險檢出結(jié)果準確性和穩(wěn)定性的同時，進一步提升風險檢出效率。