本申請涉及內(nèi)容審核，特別涉及一種內(nèi)容審核方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、傳統(tǒng)條件下視頻內(nèi)容審核以人工審查為主，而人工審查需要逐一查看視頻每一幀，效率低下，無法滿足媒體審核的及時性。另一方面，人工審查依賴于審核人的主觀意識，對于部分擦邊視頻會做出不同的決定。目前媒體審核的趨勢是使用機器學習模型識別視頻內(nèi)容中的審核問題，已有大量服務(wù)商對外推出基于機器學習模型構(gòu)建的內(nèi)容審查平臺，這些基于機器學習模型構(gòu)建的內(nèi)容審核平臺能夠提高審核效率。

2、在實際應(yīng)用時，內(nèi)容審核平臺的審核策略通常會隨著時間、場景、審核對象和播放對象等因素變化而變化。特別是，針對一些特定的節(jié)日、活動等特定的時間節(jié)點或事件節(jié)點，通常需要針對性的增加相對應(yīng)的審核事項。一旦過了這些時間節(jié)點或事件節(jié)點，又需要撤銷相應(yīng)的審核事項。但是，常規(guī)的內(nèi)容審核平臺如果需要增加或調(diào)整審核策略，通常需要對機器學習模型進行強化學習，使得機器學習模型能夠識別相應(yīng)的審核事項，靈活性和時效性較差，無法滿足靈活調(diào)整審核策略的需求。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請實施例提出了一種內(nèi)容審核方法、系統(tǒng)及電子設(shè)備，使其能夠靈活調(diào)整審核策略，且審核結(jié)果的準確性較高。

2、本申請第一方面提供了一種內(nèi)容審核方法，包括：

3、獲取待審核內(nèi)容；

4、調(diào)取與所述待審核內(nèi)容相匹配的審核策略集，所述審核策略集包括一個或多個審核事項，以及針對所述審核事項設(shè)置的審核策略，每個所述審核策略均具有相對應(yīng)的審核模型；

5、基于各個所述審核策略利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，獲取審核結(jié)果。

6、在一些實施例中，所述獲取待審核內(nèi)容，包括：

7、獲取待審核文件；

8、根據(jù)數(shù)據(jù)類型，從所述待審核文件中提取一個或多個待審核內(nèi)容。

9、在一些實施例中，所述審核事項具有多個相關(guān)聯(lián)的數(shù)據(jù)審核策略，且每個所述數(shù)據(jù)審核策略具有一一對應(yīng)的數(shù)據(jù)審核模型；

10、基于各個所述審核策略利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，獲取審核結(jié)果，包括：

11、基于各個所述數(shù)據(jù)審核策略，利用相對應(yīng)的所述數(shù)據(jù)審核模型，審核相應(yīng)數(shù)據(jù)類型的待審核內(nèi)容，獲取所述審核結(jié)果。

12、在一些實施例中，所述審核策略集包括審核策略樹，所述審核事項形成所述審核策略樹的二層結(jié)點，所述數(shù)據(jù)審核策略形成作為所述二層結(jié)點的子結(jié)點的葉子結(jié)點；

13、基于各個所述數(shù)據(jù)審核策略，利用相對應(yīng)的所述數(shù)據(jù)審核模型，審核相應(yīng)數(shù)據(jù)類型的待審核內(nèi)容，獲取所述審核結(jié)果，包括：

14、遍歷各個所述葉子結(jié)點的數(shù)據(jù)審核策略，并利用相對應(yīng)的所述數(shù)據(jù)審核模型，審核相應(yīng)數(shù)據(jù)類型的待審核內(nèi)容，獲取所述審核結(jié)果。

15、在一些實施例中，獲取審核結(jié)果，包括：

16、獲取各個所述數(shù)據(jù)審核模型輸出的與所述葉子結(jié)點一一對應(yīng)的審核對象識別結(jié)果；

17、基于所述數(shù)據(jù)審核策略和所述對象識別結(jié)果，確定各個所述二層結(jié)點的審核事項的事項評分；

18、基于各個所述二層結(jié)點的事項評分，確定與所述審核策略樹的根節(jié)點相對應(yīng)的審核結(jié)果。

19、在一些實施例中，所述待審核內(nèi)容包括圖像數(shù)據(jù)，所述審核模型包括特征提取網(wǎng)絡(luò)和對象識別網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)包括依次設(shè)置的多個卷積層；所述利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，包括：

20、通過首端處的所述卷積層對所述圖像數(shù)據(jù)進行卷積處理輸出特征矩陣，并通過首端處的所述卷積層之后各個所述卷積層對前一卷積層輸出的特征矩陣進行卷積處理輸出特征矩陣；

21、將末端處的所述卷積層輸出的特征矩陣，作為該卷積層提取的特征信息；

22、將末端處的卷積層之前的各個卷積層輸出的特征矩陣，與后一卷積層提取的特征信息疊加，作為各個所述卷積層提取的特征信息；

23、將所述特征提取網(wǎng)絡(luò)的各個卷積層提取的特征信息均輸入到所述對象識別網(wǎng)絡(luò)，通過所述對象識別網(wǎng)絡(luò)輸出對象識別結(jié)果。

24、在一些實施例中，所述獲取待審核內(nèi)容，包括：

25、獲取待審核文件、用于描述所述待審核文件的元數(shù)據(jù)，以及用于標識所述待審核文件的標識信息；其中，所述元數(shù)據(jù)至少包括所述待審核文件的地址信息；

26、基于所述待審核文件的優(yōu)先級，將各個所述待審核文件的標識信息添加至消息隊列；

27、基于所述消息隊列中標識信息，依次獲取各個所述待審核文件的地址信息，并基于所述地址信息調(diào)取相應(yīng)的待審核文件；

28、根據(jù)數(shù)據(jù)類型，從所述待審核文件中提取一個或多個所述待審核內(nèi)容。

29、在一些實施例中，所述根據(jù)數(shù)據(jù)類型，從所述待審核文件中提取一個或多個所述待審核內(nèi)容，包括：

30、從所述待審核文件中提取文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)和/或視頻數(shù)據(jù)；

31、在所述待審核文件中包含音頻數(shù)據(jù)的情況下，基于所述音頻數(shù)據(jù)獲取相對應(yīng)的文本數(shù)據(jù)；

32、在所述待審核文件中包含視頻數(shù)據(jù)的情況下，獲取所述視頻數(shù)據(jù)的一幀或多幀圖像數(shù)據(jù)。

33、本申請第二方面提供了一種內(nèi)容審核系統(tǒng)，包括：

34、獲取模塊，用于獲取待審核內(nèi)容；

35、調(diào)取模塊，用于調(diào)取與所述待審核內(nèi)容相匹配的審核策略集，所述審核策略集包括一個或多個審核事項，以及針對所述審核事項設(shè)置的審核策略，每個所述審核策略均具有相對應(yīng)的審核模型；

36、審核模塊，用于基于各個所述審核策略利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，獲取審核結(jié)果。

37、本申請第三方面提供了一種電子設(shè)備，至少包括存儲器、處理器，所述存儲器上存儲有計算機程序，所述處理器在執(zhí)行所述存儲器上的計算機程序時實現(xiàn)如上所述方法。

38、本申請實施例的內(nèi)容審核方法，獲取待審核內(nèi)容，以及與所述審核內(nèi)容相匹配的審核策略集，基于各個所述審核策略利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，獲取審核結(jié)果。由于各個審核事項具有相對應(yīng)的審核策略，以及相對應(yīng)的審核模型，所以可根據(jù)實際需要靈活配置審核策略集所包含的審核事項和審核策略。而且由于各個審核模型所針對的審核事項較少，不僅訓練時間較短，且檢測結(jié)果的準確性較高。

技術(shù)特征：

1.一種內(nèi)容審核方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待審核內(nèi)容，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述審核事項具有多個相關(guān)聯(lián)的數(shù)據(jù)審核策略，且每個所述數(shù)據(jù)審核策略具有一一對應(yīng)的數(shù)據(jù)審核模型；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述審核策略集包括審核策略樹，所述審核事項形成所述審核策略樹的二層結(jié)點，所述數(shù)據(jù)審核策略形成作為所述二層結(jié)點的子結(jié)點的葉子結(jié)點；

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，獲取審核結(jié)果，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待審核內(nèi)容包括圖像數(shù)據(jù)，所述審核模型包括特征提取網(wǎng)絡(luò)和對象識別網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)包括依次設(shè)置的多個卷積層；所述利用相對應(yīng)的所述審核模型審核所述待審核內(nèi)容，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述特征提取網(wǎng)絡(luò)包括依次設(shè)置的第一卷積層、第二卷積層、第三卷積層、第四卷積層和第五卷積層；

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待審核內(nèi)容，包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)數(shù)據(jù)類型，從所述待審核文件中提取一個或多個所述待審核內(nèi)容，包括：

10.一種內(nèi)容審核系統(tǒng)，其特征在于，包括：

11.一種電子設(shè)備，至少包括存儲器、處理器，所述存儲器上存儲有計算機程序，其特征在于，所述處理器在執(zhí)行所述存儲器上的計算機程序時實現(xiàn)權(quán)利要求1至9中任一項所述方法。

技術(shù)總結(jié)
本申請實施例提供了一種內(nèi)容審核方法、系統(tǒng)及電子設(shè)備，該方法包括：獲取待審核內(nèi)容；調(diào)取與待審核內(nèi)容相匹配的審核策略集，審核策略集包括一個或多個審核事項，以及針對審核事項設(shè)置的審核策略，每個審核策略均具有相對應(yīng)的審核模型；基于各個審核策略利用相對應(yīng)的審核模型審核待審核內(nèi)容，獲取審核結(jié)果。由于各個審核事項具有相對應(yīng)的審核策略，以及相對應(yīng)的審核模型，所以可根據(jù)實際需要靈活配置審核策略集所包含的審核事項和審核策略。而且由于各個審核模型所針對的審核事項較少，不僅訓練時間較短，且檢測結(jié)果的準確性較高。

技術(shù)研發(fā)人員：王莉,馮鴻博,高偉光,畢岳峰
受保護的技術(shù)使用者：京東方科技集團股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/2