本發(fā)明涉及通信技術(shù)領(lǐng)域，特別是涉及一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法及裝置。

背景技術(shù)：

目前隨著科技的飛速發(fā)展，直播平臺(tái)的數(shù)量也在飛速上漲，網(wǎng)絡(luò)直播平臺(tái)用戶數(shù)量已達(dá)到一個(gè)龐大的數(shù)據(jù)。在線直播的門(mén)檻非常低，只需要一臺(tái)電腦和一個(gè)賬號(hào)即可進(jìn)行直播。由于直播內(nèi)容千變?nèi)f化并且無(wú)法提前審核，可能會(huì)出現(xiàn)色情，暴恐，政治敏感等違規(guī)直播內(nèi)容，因此對(duì)直播內(nèi)容進(jìn)行實(shí)時(shí)審核顯得尤為重要。

現(xiàn)有的視頻內(nèi)容的審核技術(shù)都是在視頻上傳前的離線審核，使用的過(guò)濾技術(shù)更多是依靠用戶的舉報(bào)，或者傳統(tǒng)的圖案檢測(cè)等方式。傳統(tǒng)的圖像檢測(cè)方式是從視頻中提取關(guān)鍵幀的內(nèi)容來(lái)決定視頻內(nèi)容是否違規(guī)，這個(gè)方法只利用了視頻幀的靜態(tài)信息，沒(méi)有利用幀間的動(dòng)態(tài)信息，并且實(shí)時(shí)性差。而直播內(nèi)容一個(gè)重要的特點(diǎn)是主播和觀眾的互動(dòng)，因此觀眾的行為也可以作為判斷直播內(nèi)容是否違規(guī)的判斷依據(jù)。但是現(xiàn)有技術(shù)中，對(duì)直播內(nèi)容的審核卻忽略了觀眾行為這一判斷依據(jù)，造成審核結(jié)果的不精準(zhǔn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法及裝置，以解決由于現(xiàn)有技術(shù)中針對(duì)直播審核只采用靜態(tài)的審核方式，因此造成對(duì)審核直播內(nèi)容過(guò)程中準(zhǔn)確性和實(shí)時(shí)性低等問(wèn)題。

為了解決上述問(wèn)題，本發(fā)明公開(kāi)了一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法，所述方法包括：實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)；從所述直播數(shù)據(jù)以及所述觀眾數(shù)據(jù)中提取特征數(shù)據(jù)；分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，輸出判斷結(jié)果。

優(yōu)選地，所述安全等級(jí)包括：第一安全等級(jí)、第二安全等級(jí)以及第三安全等級(jí)，所述第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，輸出判斷結(jié)果的步驟包括：當(dāng)判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第一特征差值，其中，各分類(lèi)器以級(jí)聯(lián)的方式連接；將所述第一特征差值發(fā)送至所述下一級(jí)分類(lèi)器，由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果；當(dāng)判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第二特征差值；由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果。

優(yōu)選地，在實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)的步驟之前，所述方法還包括：依據(jù)公式min∑l(f(xi),yi)+αt對(duì)分類(lèi)器進(jìn)行訓(xùn)練；其中，f(xi)表示整體的決策函數(shù)，α表示為超參數(shù)，t表示樣本平均提取特征時(shí)間，yi為標(biāo)記樣本。

優(yōu)選地，所述當(dāng)判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第一特征差值的步驟包括：通過(guò)feature(c2)-feature(c1)計(jì)算得到下一第一特征差值；其中，所述feature(c2)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(c1)為將第二特征數(shù)據(jù)集輸入所述第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集中的數(shù)據(jù)。

優(yōu)選地，所述將所述第一特征差值發(fā)送至所述下一級(jí)分類(lèi)器，由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播是否屬于第一安全等級(jí)并輸出結(jié)果的步驟，包括：下一級(jí)分類(lèi)器獲取所述第一特征差值，將所述第一特征差值與第二預(yù)設(shè)閾值進(jìn)行比較；當(dāng)所述第一特征差值大于所述第二預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；當(dāng)?shù)谝惶卣鞑钪敌∮诨蛘叩扔诘诙A(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

優(yōu)選地，所述當(dāng)判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，計(jì)算第二特征差值的步驟包括：通過(guò)計(jì)算得到第二特征差值；其中，所述feature(ci+1)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(ck)為將第二特征數(shù)據(jù)集輸入第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集。

優(yōu)選地，所述由下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果的步驟，包括：下一級(jí)分類(lèi)器獲取所述第二特征差值，將所述第二特征差值與第三預(yù)設(shè)閾值進(jìn)行比較；當(dāng)所述第二特征差值大于所述第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；當(dāng)所述第二特征值小于或者等于所述第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

為了解決上述問(wèn)題，本發(fā)明還公開(kāi)了一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置所述裝置包括：實(shí)時(shí)接收模塊，用于實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)；提取模塊，用于從所述直播數(shù)據(jù)以及所述觀眾數(shù)據(jù)中提取特征數(shù)據(jù)；計(jì)算模塊，用于分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；輸出結(jié)果模塊，用于第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，輸出判斷結(jié)果。

優(yōu)選地，所述輸出結(jié)果模塊包括：第一計(jì)算子模塊，用于當(dāng)判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第一特征差值，其中所述安全等級(jí)包括：第一安全等級(jí)、第二安全等級(jí)以及第三安全等級(jí)，且各分類(lèi)器以級(jí)聯(lián)的方式連接；第一判斷子模塊，用于將所述第一特征差值發(fā)送至所述下一級(jí)分類(lèi)器，由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果；第二計(jì)算子模塊，用于當(dāng)判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第二特征差值；第二判斷子模塊，用于由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果。

優(yōu)選地，所述裝置還包括：訓(xùn)練模塊，用于在所述實(shí)時(shí)接收模塊實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)之前，依據(jù)公式min∑l(f(xi),yi)+αt對(duì)分類(lèi)器進(jìn)行訓(xùn)練；其中，f(xi)表示整體的決策函數(shù)，α表示為超參數(shù)，t表示樣本平均提取特征時(shí)間，yi為標(biāo)記樣本

優(yōu)選地，所述計(jì)算模塊具體用于：通過(guò)feature(c2)-feature(c1)計(jì)算得到下一第一特征差值；其中，所述feature(c2)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(c1)將第二特征數(shù)據(jù)集輸入所述第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集中的數(shù)據(jù)。

優(yōu)選地，所述第一判斷子模塊包括：第一比較單元，用于下一級(jí)分類(lèi)器獲取所述第一特征差值，將所述第一特征差值與第二預(yù)設(shè)閾值進(jìn)行比較；第一輸出單元，用于當(dāng)所述第一特征差值大于所述第二預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；第二輸出單元，用于當(dāng)?shù)谝惶卣鞑钪敌∮诨蛘叩扔诘诙A(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

優(yōu)選地，所述第二計(jì)算子模塊具體用于：通過(guò)計(jì)算得到第二特征差值；其中，所述feature(ci+1)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(ck)為將第二特征數(shù)據(jù)集輸入第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集。

優(yōu)選地，所述第二判斷模子塊包括：第二比較單元，用于下一級(jí)分類(lèi)器獲取所述第二特征差值，將所述第二特征差值與第三預(yù)設(shè)閾值進(jìn)行比較；第三輸出單元，用于當(dāng)所述第二特征差值大于所述第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；第四輸出單元，用于當(dāng)所述第二特征值小于或者等于第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方案，通過(guò)實(shí)時(shí)監(jiān)測(cè)，將直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取特征數(shù)據(jù)，第一分類(lèi)器獲取任意一個(gè)分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果，使得管理人員可以依據(jù)判斷結(jié)果進(jìn)行后續(xù)的工作?？梢?jiàn)，通過(guò)本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方案，可以實(shí)時(shí)結(jié)合視頻，音頻以及觀眾行為等多種特征對(duì)直播內(nèi)容進(jìn)行各種檢測(cè)，能夠提升檢測(cè)的實(shí)時(shí)性，不僅如此，在檢測(cè)時(shí)通過(guò)多個(gè)分類(lèi)器的級(jí)聯(lián)的形式確定最終的檢測(cè)結(jié)果，不僅能夠減少運(yùn)算開(kāi)銷(xiāo)，還能夠提升檢測(cè)結(jié)果的準(zhǔn)確性。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例一的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法的步驟流程圖；

圖2是本發(fā)明實(shí)施例二的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法的步驟流程圖；

圖3是本發(fā)明實(shí)施例三的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置的結(jié)構(gòu)框圖；

圖4是本發(fā)明實(shí)施例四的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。

實(shí)施例一

參照?qǐng)D1，示出了本發(fā)明實(shí)施例一的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法的步驟流程圖。

本發(fā)明實(shí)施例提供的實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法包括以下步驟：

步驟101:實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)。

實(shí)時(shí)接收直播過(guò)程的視頻、音頻以及觀眾行為的三個(gè)流數(shù)據(jù)。

例如：在直播過(guò)程中主播直播的視頻內(nèi)容以及直播的音頻內(nèi)容，以及主播直播過(guò)程中由于有觀眾觀看，會(huì)在直播過(guò)程中與主播互動(dòng)的觀眾行為的流數(shù)據(jù)，將接收的流數(shù)據(jù)進(jìn)行解析，生成可以識(shí)別的視頻幀序列和音頻幀，同時(shí)解析相應(yīng)的觀眾行為數(shù)據(jù)成為評(píng)論數(shù)據(jù)、送禮行為等的直播數(shù)據(jù)以及觀眾數(shù)據(jù)作為觀眾流數(shù)據(jù)。

步驟102:從直播數(shù)據(jù)以及觀眾數(shù)據(jù)中提取特征數(shù)據(jù)。

將接收的直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取出特征數(shù)據(jù)。

其中，特征數(shù)據(jù)包括基于圖像的特征，例如：肌膚特征、sift(scale-invariantfeaturetransform，尺度不變特征變換)特征、紋理特征；基于時(shí)域空間的特征，包括：光流特征、運(yùn)動(dòng)向量特征、周期性特征等?；谝纛l的特征包括：靜默時(shí)間特征、頻域能量特征、mfcc(melfrequencycepstrumcoefficient，語(yǔ)音特征)特征等；以及基于用戶行為的特征，包括：用戶聊天信息特征、用戶送禮行為特征以及用戶增長(zhǎng)速度特征等。

步驟103:分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值。

當(dāng)?shù)谝环诸?lèi)器獲取到任一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)時(shí)，對(duì)獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出對(duì)應(yīng)的分?jǐn)?shù)值。

需要說(shuō)明的是，分?jǐn)?shù)值為特征數(shù)據(jù)對(duì)應(yīng)的違規(guī)概率。

步驟104:第一分類(lèi)器獲取任意一個(gè)分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，輸出判斷結(jié)果。

由于不同的特征的提取時(shí)間不同，比如觀眾送禮的頻率計(jì)算非?？?，基于音頻或者圖像的一些特征需要進(jìn)行額外的頻域變換，耗時(shí)較多。而視頻幀間的特征例如光流特征等計(jì)算時(shí)間更長(zhǎng)，因此才用級(jí)聯(lián)的分類(lèi)器模型，級(jí)聯(lián)的分類(lèi)器依次所使用的特征會(huì)越來(lái)越多，越來(lái)越復(fù)雜。

具體地，安全等級(jí)包括：第一安全等級(jí)、第二安全等級(jí)以及第三安全等級(jí)。

其中，第一安全等級(jí)表示為直播內(nèi)容不存在違規(guī)內(nèi)容，第二安全等級(jí)表示直播內(nèi)容可能存在一部分違規(guī)內(nèi)容，第三安全等級(jí)表示直播內(nèi)容存在違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)器的第一預(yù)設(shè)閾值設(shè)定為0.8時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值為0.9時(shí)，則表示當(dāng)前的安全等級(jí)為第一安全等級(jí)，即為當(dāng)前直播內(nèi)容為安全內(nèi)容，不存在違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)起的第一預(yù)設(shè)閾值設(shè)定為1時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值也為1時(shí)，則表示當(dāng)前的安全等級(jí)為第三安全等級(jí)，即為當(dāng)前直播內(nèi)容為違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)起的第一預(yù)設(shè)閾值設(shè)定為0.8時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值為0.6時(shí)，則表示當(dāng)前的安全等級(jí)為第二安全等級(jí)，即當(dāng)前直播內(nèi)容可能存在0.2的違規(guī)內(nèi)容。

本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法，通過(guò)實(shí)時(shí)監(jiān)測(cè)，將直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取特征數(shù)據(jù)，分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；使用第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果使得管理人員可以依據(jù)判斷結(jié)果進(jìn)行后續(xù)的工作。可見(jiàn)，通過(guò)本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法，可以實(shí)時(shí)結(jié)合視頻，音頻以及觀眾行為等多種特征對(duì)直播內(nèi)容進(jìn)行各種檢測(cè)，能夠提升檢測(cè)的實(shí)時(shí)性，不僅如此，在檢測(cè)時(shí)通過(guò)多個(gè)分類(lèi)器的級(jí)聯(lián)的形式確定最終的檢測(cè)結(jié)果，不僅能夠減少運(yùn)算開(kāi)銷(xiāo)，還能夠提升檢測(cè)結(jié)果的準(zhǔn)確性。

實(shí)施例二

參照?qǐng)D2，示出了本發(fā)明實(shí)施例二的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法的步驟流程圖。

本發(fā)明實(shí)施例提供的實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法包括以下內(nèi)容：

步驟201:依據(jù)公式min∑l(f(xi),yi)+αt對(duì)分類(lèi)器進(jìn)行訓(xùn)練。

其中，f(xi)表示整體的決策函數(shù)，αt表示分類(lèi)器函數(shù)，yi為標(biāo)記樣本。

級(jí)聯(lián)分類(lèi)器的訓(xùn)練是離線計(jì)算的，為了兼顧計(jì)算的效率以及檢測(cè)的準(zhǔn)確率，在設(shè)定目標(biāo)函數(shù)時(shí)同時(shí)考慮準(zhǔn)確率和計(jì)算時(shí)間。

使用min∑l(f(xi),yi)+αt對(duì)分類(lèi)器進(jìn)行訓(xùn)練，其中f(xi)表示整體的決策函數(shù)，α表示為超參數(shù)，t表示樣本平均提取特征時(shí)間，yi為標(biāo)記樣本，用所有樣本的特征計(jì)算時(shí)間總和除以樣本數(shù)得到，由于只有部分樣本需要計(jì)算所有的特征，因此平均計(jì)算時(shí)間小于等于計(jì)算所有特征的時(shí)間t1+t2+…+tn。α為超參數(shù)，用來(lái)控制準(zhǔn)確率和耗時(shí)之間的平衡。訓(xùn)練過(guò)程如下：

a)設(shè)特征共有n個(gè)，將其任意排序。訓(xùn)練n個(gè)分類(lèi)器，ci利用了1～i個(gè)特征進(jìn)行訓(xùn)練。b)調(diào)整各個(gè)分類(lèi)器的閾值p，最小化在當(dāng)前特征順序下的目標(biāo)函數(shù)。

c)改變特征順序，重復(fù)a)，b)兩步，選擇目標(biāo)函數(shù)最小的特征順序及相應(yīng)的預(yù)設(shè)閾值。

步驟202:實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)。

實(shí)時(shí)接收直播過(guò)程的視頻、音頻以及觀眾行為的三個(gè)流數(shù)據(jù)。

例如：在直播過(guò)程中主播直播的視頻內(nèi)容以及直播的音頻內(nèi)容，以及主播直播過(guò)程中由于有觀眾觀看，會(huì)在直播過(guò)程中與主播互動(dòng)的觀眾行為的流數(shù)據(jù)，將接收的流數(shù)據(jù)進(jìn)行解析，生成可以識(shí)別視頻幀序列和音頻幀，同時(shí)解析相應(yīng)的觀眾行為數(shù)據(jù)成為評(píng)論數(shù)據(jù)、送禮行為等的直播數(shù)據(jù)以及觀眾數(shù)據(jù)。

步驟203:從直播數(shù)據(jù)以及觀眾數(shù)據(jù)中提取特征數(shù)據(jù)。

將接收的直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取出特征數(shù)據(jù)。

其中特征數(shù)據(jù)包括基于圖像的特征，例如：肌膚特征、sift(scale-invariantfeaturetransform，尺度不變特征變換)特征、紋理特征；基于時(shí)域空間的特征，包括：光流特征、運(yùn)動(dòng)向量特征、周期特征等；基于音頻的特征包括：靜默時(shí)間特征、頻域能量特征、mfcc(melfrequencycepstrumcoefficient，語(yǔ)音特征)；基于用戶行為的特征，包括：用戶聊天信息特征、用戶送禮行為特征以及用戶增長(zhǎng)速度特征等。

步驟204:分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值。

當(dāng)?shù)谝环诸?lèi)器獲取到任一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)時(shí)，對(duì)獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出對(duì)應(yīng)的分?jǐn)?shù)值。

步驟205:第一分類(lèi)器獲取任意一個(gè)分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)。

由于不同的特征的提取時(shí)間不同，比如觀眾送禮的頻率計(jì)算非?？?，基于音頻或者圖像的一些特征需要進(jìn)行額外的頻域變換，耗時(shí)較多。而視頻幀間的特征例如光流特征等計(jì)算時(shí)間更長(zhǎng)，因此才用級(jí)聯(lián)的分類(lèi)器模型，級(jí)聯(lián)的分類(lèi)器依次所使用的特征會(huì)越來(lái)越多，越來(lái)越復(fù)雜。

具體地，安全等級(jí)包括：第一安全等級(jí)、第二安全等級(jí)以及第三安全等級(jí)。

其中第一安全等級(jí)表示為直播內(nèi)容不存在違規(guī)內(nèi)容，第二安全等級(jí)表示直播內(nèi)容可能存在一部分違規(guī)內(nèi)容，第三安全等級(jí)表示直播內(nèi)容存在違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)起的第一預(yù)設(shè)閾值設(shè)定為0.8時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值為0.9時(shí)，則表示當(dāng)前的安全等級(jí)為第一安全等級(jí)，即為當(dāng)前直播內(nèi)容為安全內(nèi)容，不存在違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)起的第一預(yù)設(shè)閾值設(shè)定為1時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值也為1時(shí)，則表示當(dāng)前的安全等級(jí)為第三安全等級(jí)，即為當(dāng)前直播內(nèi)容為違規(guī)內(nèi)容。

當(dāng)管理者將第一分類(lèi)起的第一預(yù)設(shè)閾值設(shè)定為0.8時(shí)，第一分類(lèi)器獲取的某一特征數(shù)據(jù)或者某一類(lèi)特征數(shù)據(jù)計(jì)算出的分?jǐn)?shù)值為0.6時(shí)，則表示當(dāng)前的安全等級(jí)為第二安全等級(jí)，即當(dāng)前直播內(nèi)容可能存在0.2的違規(guī)內(nèi)容。

步驟206:當(dāng)判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，通過(guò)feature(c2)-feature(c1)計(jì)算得到下一第一特征差值。

其中，feature(c2)為將第一特征數(shù)據(jù)集輸入下一級(jí)分類(lèi)器計(jì)算得到的特征值，feature(c1)為將第二特征數(shù)據(jù)集輸入第一分類(lèi)器計(jì)算得到的特征值，第一特征數(shù)據(jù)集包含第二特征數(shù)據(jù)集中的數(shù)據(jù)。

例如：步驟203中提取的特征數(shù)據(jù)包括a、b以及c，第二特征數(shù)據(jù)集則可包括a，第一特征數(shù)據(jù)集包括a的同時(shí)還包括b、c中的至少一個(gè)。

步驟207:下一級(jí)分類(lèi)器獲取第一特征差值，將第一特征差值與第二預(yù)設(shè)閾值進(jìn)行比較。

步驟208:當(dāng)?shù)谝惶卣鞑钪荡笥诘诙A(yù)設(shè)閾值時(shí)，則確定直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果。

步驟209:當(dāng)?shù)谝惶卣鞑钪敌∮诨蛘叩扔诘诙A(yù)設(shè)閾值時(shí)，則確定直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

當(dāng)?shù)谝环诸?lèi)器判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，計(jì)算第一特征差值，并將第一特征差值發(fā)送至下一分類(lèi)器判斷直播內(nèi)容是否屬于第一安全等級(jí)，若判斷直播內(nèi)容不存在違規(guī)內(nèi)容，則表示當(dāng)前直播內(nèi)容為正常內(nèi)容，并將結(jié)果輸出，以供管理人員進(jìn)行后續(xù)工作，若判斷直播內(nèi)容存在違規(guī)內(nèi)容，則表示當(dāng)前直播內(nèi)容存在違規(guī)內(nèi)容，同樣將判斷結(jié)果輸出。

步驟210:當(dāng)判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，通過(guò)計(jì)算得到第二特征差值；

其中，feature(ci+1)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，為將第二特征數(shù)據(jù)集輸入第一分類(lèi)器計(jì)算得到的特征值，第一特征數(shù)據(jù)集包含第二特征數(shù)據(jù)集。

步驟211:下一級(jí)分類(lèi)器獲取第二特征差值，將第二特征差值與第三預(yù)設(shè)閾值進(jìn)行比較。

步驟212：當(dāng)?shù)诙卣鞑钪荡笥诘谌A(yù)設(shè)閾值時(shí)，則確定直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果。

步驟213：當(dāng)?shù)诙卣髦敌∮诨蛘叩扔诘谌A(yù)設(shè)閾值時(shí)，則確定直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

當(dāng)?shù)谝环诸?lèi)器判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，由于第一分類(lèi)器獲取的特征數(shù)據(jù)只是一種特征數(shù)據(jù)或者一類(lèi)特征數(shù)據(jù)，為了防止第一分類(lèi)器誤判，計(jì)算當(dāng)前分類(lèi)器即第一分類(lèi)器的第二特征差值，由下一集分類(lèi)器依據(jù)第二特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)，并輸出結(jié)果。

若判斷直播內(nèi)容不存在違規(guī)內(nèi)容，則表示當(dāng)前直播內(nèi)容為正常內(nèi)容，并將結(jié)果輸出，以供管理人員進(jìn)行后續(xù)工作，若判斷直播內(nèi)容存在違規(guī)內(nèi)容，則表示當(dāng)前直播內(nèi)容存在違規(guī)內(nèi)容，同樣將判斷結(jié)果輸出。

將判斷結(jié)果輸出至審核反饋模塊，以方便管理人員對(duì)直播內(nèi)容的實(shí)時(shí)監(jiān)測(cè)。

本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法，通過(guò)實(shí)時(shí)監(jiān)測(cè)，將直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取特征數(shù)據(jù)，分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；使用第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果使得管理人員可以依據(jù)判斷結(jié)果進(jìn)行后續(xù)的工作。可見(jiàn)，通過(guò)本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法，可以實(shí)時(shí)結(jié)合視頻，音頻以及觀眾行為等多種特征對(duì)直播內(nèi)容進(jìn)行各種檢測(cè)，能夠提升檢測(cè)的實(shí)時(shí)性，不僅如此，在檢測(cè)時(shí)通過(guò)多個(gè)分類(lèi)器的級(jí)聯(lián)的形式確定最終的檢測(cè)結(jié)果，不僅能夠減少運(yùn)算開(kāi)銷(xiāo)，還能夠提升檢測(cè)結(jié)果的準(zhǔn)確性。

實(shí)施例三

參照?qǐng)D3示出，本發(fā)明實(shí)施例三的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置。

本發(fā)明實(shí)施例提供的實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置包括：實(shí)時(shí)接收模塊301，用于實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)；提取模塊302，用于從所述直播數(shù)據(jù)以及所述觀眾數(shù)據(jù)中提取特征數(shù)據(jù)；計(jì)算模塊303，用于分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；輸出結(jié)果模塊304，用于第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，輸出判斷結(jié)果。

本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置，通過(guò)實(shí)時(shí)監(jiān)測(cè)，將直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取特征數(shù)據(jù)，分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；使用第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果。使得管理人員可以依據(jù)判斷結(jié)果進(jìn)行后續(xù)的工作?？梢?jiàn)，通過(guò)本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置，可以實(shí)時(shí)結(jié)合視頻，音頻以及觀眾行為等多種特征對(duì)直播內(nèi)容進(jìn)行各種檢測(cè)，能夠提升檢測(cè)的實(shí)時(shí)性，不僅如此，在檢測(cè)時(shí)通過(guò)多個(gè)分類(lèi)器的級(jí)聯(lián)的形式確定最終的檢測(cè)結(jié)果，不僅能夠減少運(yùn)算開(kāi)銷(xiāo)，還能夠提升檢測(cè)結(jié)果的準(zhǔn)確性。

實(shí)施例四

參照?qǐng)D4示出，本發(fā)明實(shí)施例四的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置。

本發(fā)明實(shí)施例提供的實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置包括：實(shí)時(shí)接收模塊401，用于實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)；提取模塊402，用于從所述直播數(shù)據(jù)以及所述觀眾數(shù)據(jù)中提取特征數(shù)據(jù)；第一計(jì)算模塊403，用于分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；輸出結(jié)果模塊404，用于第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果。

優(yōu)選地，所述輸出結(jié)果模塊404包括：第一計(jì)算子模塊4041，用于當(dāng)判斷結(jié)果為直播內(nèi)容屬于第二安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第一特征差值，其中所述安全等級(jí)包括：第一安全等級(jí)、第二安全等級(jí)以及第三安全等級(jí)，且各分類(lèi)器以級(jí)聯(lián)的方式連接；第一判斷子模塊4042，用于將所述第一特征差值發(fā)送至所述下一級(jí)分類(lèi)器，由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果；第二計(jì)算子模塊4043，用于當(dāng)判斷結(jié)果為直播內(nèi)容屬于第三安全等級(jí)時(shí)，計(jì)算當(dāng)前分類(lèi)器與下一級(jí)分類(lèi)器的第二特征差值；第二判斷子模塊4044，用于由所述下一級(jí)分類(lèi)器依據(jù)所述特征差值判斷直播內(nèi)容是否屬于第一安全等級(jí)并輸出結(jié)果。

優(yōu)選地，所述裝置還包括：訓(xùn)練模塊405，用于在所述實(shí)時(shí)接收模塊實(shí)時(shí)接收并解析直播流數(shù)據(jù)以及觀眾流數(shù)據(jù)，得到直播數(shù)據(jù)以及觀眾數(shù)據(jù)之前，依據(jù)公式min∑l(f(xi),yi)+αt對(duì)分類(lèi)器進(jìn)行訓(xùn)練；其中，f(xi)表示整體的決策函數(shù)，α表示為超參數(shù)，t表示樣本平均提取特征時(shí)間，yi為標(biāo)記樣本。

優(yōu)選地，所述計(jì)算模塊403具體用于：通過(guò)feature(c2)-feature(c1)計(jì)算下一得到第一特征差值；其中，所述feature(c2)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(c1)為將第二特征數(shù)據(jù)集輸入所述第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集。

優(yōu)選地，其特征在于，所述第一判斷子模塊4042包括：第一比較單元40421，用于下一級(jí)分類(lèi)器獲取所述第一特征差值，將所述第一特征差值與第二預(yù)設(shè)閾值進(jìn)行比較；第一輸出單元40422，用于當(dāng)?shù)谝惶卣鞑钪荡笥谒龅诙A(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；第二輸出單元40423，用于當(dāng)?shù)谝惶卣鞑钪敌∮诨蛘叩扔诘诙A(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

優(yōu)選地，所述第二計(jì)算子模塊4043具體用于：通過(guò)計(jì)算得到第二特征差值；其中，所述feature(ci+1)為將第一特征數(shù)據(jù)集輸入所述下一級(jí)分類(lèi)器計(jì)算得到的特征值，所述feature(ck)為將第二特征數(shù)據(jù)集輸入第一分類(lèi)器計(jì)算得到的特征值，所述第一特征數(shù)據(jù)集包含所述第二特征數(shù)據(jù)集。

優(yōu)選地，所述第二判斷子模塊4044包括：第二比較單元40441用于下一級(jí)分類(lèi)器獲取所述第二特征差值，將所述第二特征差值與第三預(yù)設(shè)閾值進(jìn)行比較；第三輸出單元40442，用于當(dāng)所述第二特征差值大于所述第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第三安全等級(jí)，并輸出結(jié)果；第四輸出單元40443，用于當(dāng)所述第二特征值小于或者等于第三預(yù)設(shè)閾值時(shí)，則確定所述直播內(nèi)容屬于第一安全等級(jí)，并輸出結(jié)果。

本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置，通過(guò)實(shí)時(shí)監(jiān)測(cè)，將直播數(shù)據(jù)以及觀眾數(shù)據(jù)提取特征數(shù)據(jù)，分別計(jì)算各特征數(shù)據(jù)對(duì)應(yīng)的分?jǐn)?shù)值；使用第一分類(lèi)器獲取任意一個(gè)所述分?jǐn)?shù)值與第一預(yù)設(shè)閾值進(jìn)行比較，判斷直播內(nèi)容的安全等級(jí)，并輸出判斷結(jié)果，使得管理人員可以依據(jù)判斷結(jié)果進(jìn)行后續(xù)的工作?？梢?jiàn)，通過(guò)本發(fā)明實(shí)施例提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的裝置，可以實(shí)時(shí)結(jié)合視頻，音頻以及觀眾行為等多種特征對(duì)直播內(nèi)容進(jìn)行各種檢測(cè)，能夠提升檢測(cè)的實(shí)時(shí)性，不僅如此，在檢測(cè)時(shí)通過(guò)多個(gè)分類(lèi)器的級(jí)聯(lián)的形式確定最終的檢測(cè)結(jié)果，不僅能夠減少運(yùn)算開(kāi)銷(xiāo)，還能夠提升檢測(cè)結(jié)果的準(zhǔn)確性。

本說(shuō)明書(shū)中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。對(duì)于系統(tǒng)實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

以上對(duì)本發(fā)明所提供的一種實(shí)時(shí)監(jiān)測(cè)直播內(nèi)容的方法及裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。