視頻鑒別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種視頻鑒別方法，包括：對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù)據(jù)增廣；將預(yù)處理后的多幅圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行類型鑒別訓(xùn)練，根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型；獲取待鑒別圖像；利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述多幅待鑒別圖像進(jìn)行鑒別。本發(fā)明還提供一種視頻鑒別系統(tǒng)。本發(fā)明通過增廣的鑒別訓(xùn)練，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的模型的泛化能力；通過將視頻處理成圖像，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鑒別，提高了視頻鑒別的準(zhǔn)確率和速度。
【專利說明】
視頻鑒別方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明實(shí)施例涉及信息安全技術(shù)領(lǐng)域，尤其涉及一種視頻鑒別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 隨著計(jì)算機(jī)硬件及互聯(lián)網(wǎng)大數(shù)據(jù)的快速發(fā)展，互聯(lián)網(wǎng)中視頻數(shù)量呈現(xiàn)出爆炸式增 長(zhǎng)的態(tài)勢(shì)。這其中存在著大量冗余、重復(fù)、侵犯知識(shí)產(chǎn)權(quán)、血腥、暴力、恐怖或淫穢等非法視 頻內(nèi)容。
[0003] 目前，人們可以利用計(jì)算機(jī)替代人類完成一些視覺識(shí)別任務(wù)。例如人們可以利用 計(jì)算機(jī)完成監(jiān)控系統(tǒng)的智能監(jiān)視，還可以利用計(jì)算機(jī)完成視頻內(nèi)容的識(shí)別與審核等。通常， 利用計(jì)算機(jī)替代人類完成視頻鑒別和審核需要?jiǎng)?chuàng)建復(fù)雜的計(jì)算模型，進(jìn)行大批量數(shù)據(jù)的運(yùn) 算。由于創(chuàng)建的計(jì)算模型不佳和運(yùn)算誤差累積，這會(huì)導(dǎo)致計(jì)算機(jī)識(shí)別錯(cuò)誤或者識(shí)別緩慢的 情況出現(xiàn)，無(wú)法滿足人們對(duì)精確度和及時(shí)性的要求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例提供一種視頻鑒別方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中識(shí)別準(zhǔn)確度 低，容錯(cuò)能力和泛化能力差等問題。
[0005] 本發(fā)明實(shí)施例提供一種視頻鑒別方法，該方法包括：
[0006] 對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù)據(jù)增廣；
[0007] 將預(yù)處理后的多幅圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行類型鑒別訓(xùn)練， 根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型；
[0008] 獲取多幅待鑒別圖像；
[0009] 利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述多幅待鑒別圖像進(jìn)行鑒別。
[0010] 本發(fā)明實(shí)施例提供一種視頻鑒別系統(tǒng)，該系統(tǒng)包括：
[0011] 圖像預(yù)處理單元，用于對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括 數(shù)據(jù)增廣；
[0012] 圖像鑒別訓(xùn)練單元，用于將預(yù)處理后的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型 進(jìn)行類型鑒別訓(xùn)練，根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型；
[0013] 待鑒別圖像獲取單元，用于獲取多幅待鑒別圖像；
[0014] 圖像鑒別單元，用于利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述多幅待 鑒別圖像進(jìn)行鑒別。
[0015] 由于卷積神經(jīng)網(wǎng)絡(luò)存在自己學(xué)習(xí)的功能，隨著其泛化能力的增強(qiáng)，利用深層次的 神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)的識(shí)別與分類的精度也會(huì)隨之不斷的增強(qiáng)，因此，本發(fā)明將卷神經(jīng)網(wǎng)絡(luò) 作為識(shí)別的主要工具，通過增廣的圖像鑒別訓(xùn)練，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的模型的泛化能力。 相比于傳統(tǒng)的復(fù)雜的計(jì)算識(shí)別模型來(lái)說，卷積神經(jīng)網(wǎng)絡(luò)及其模型運(yùn)用起來(lái)更加簡(jiǎn)單高效。 同時(shí)通過利用上述優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鑒別，提高了視頻鑒別的準(zhǔn)確率和速度。
【附圖說明】
[0016] 為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用 的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng) 域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附 圖。
[0017] 圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻鑒別方法流程圖；
[0018] 圖2為根據(jù)本發(fā)明一個(gè)實(shí)施例的獲取多幅待鑒別圖像流程圖；
[0019] 圖3(a)為根據(jù)本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)增廣過程中圖像旋轉(zhuǎn)45度、裁剪和放大處 理的不意圖；
[0020] 圖3(b)為根據(jù)本發(fā)明一個(gè)實(shí)施例的將一幅圖像增廣為八幅圖像的示意圖；
[0021] 圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的生成低亮度圖像的流程圖；
[0022] 圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的獲取多幅待鑒別圖像的流程圖；
[0023] 圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的視頻鑒別系統(tǒng)結(jié)構(gòu)示意圖；
[0024] 圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的待鑒別圖像生成單元的結(jié)構(gòu)圖。 具體實(shí)施例
[0025]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0026] 如圖1所示，視頻鑒別方法可以包括如下步驟：
[0027] 步驟11:對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù)據(jù)增廣；
[0028]步驟12:將預(yù)處理后的多幅圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行類型鑒 別訓(xùn)練，根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型；
[0029] 步驟13:獲取多幅待鑒別圖像，其中，待鑒別圖像的幅數(shù)可以按實(shí)際情況確定為一 幅或者多幅；
[0030] 步驟14:利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述待鑒別圖像進(jìn)行鑒 別。
[0031] 本實(shí)施例可以用于鑒別冗余、重復(fù)、侵犯知識(shí)產(chǎn)權(quán)、血腥、暴力、恐怖或淫穢等非法 視頻內(nèi)容。
[0032]由于卷積神經(jīng)網(wǎng)絡(luò)存在自己學(xué)習(xí)的功能，隨著其泛化能力的增強(qiáng)，利用深層次的 神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)的識(shí)別與分類的精度也會(huì)隨之不斷的增強(qiáng)，因此，本發(fā)明將卷神經(jīng)網(wǎng)絡(luò) 作為識(shí)別的主要工具，通過增廣的圖像鑒別訓(xùn)練，增強(qiáng)了卷積神經(jīng)網(wǎng)絡(luò)的模型的泛化能力。 相比于傳統(tǒng)的復(fù)雜的計(jì)算識(shí)別模型來(lái)說，卷積神經(jīng)網(wǎng)絡(luò)及其模型運(yùn)用起來(lái)更加簡(jiǎn)單高效。 同時(shí)通過利用上述優(yōu)化后的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鑒別，提高了視頻鑒別的準(zhǔn)確率和速度。
[0033] 如圖2所示，獲取待鑒別圖像(即圖1中步驟13)可以包括：
[0034] 步驟131:提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀；
[0035] 步驟132:將所述第一數(shù)量(例如Xl)與設(shè)定的閾值(例如Y)進(jìn)行比較，確定第二數(shù) 量(例如X2)的關(guān)鍵圖像幀；
[0036]步驟133:對(duì)所述第二數(shù)量的關(guān)鍵圖像幀進(jìn)行解碼，生成一系列圖像；
[0037]步驟134:基于所述一系列圖像進(jìn)行歸一化處理以生成多幅待鑒別圖像。
[0038] 為了使卷積神經(jīng)網(wǎng)絡(luò)能夠應(yīng)對(duì)視頻的鑒別任務(wù)，本發(fā)明實(shí)施例通過提取視頻的一 定數(shù)量的關(guān)鍵圖像幀，并對(duì)關(guān)鍵圖像幀的數(shù)量設(shè)定閾值，滿足條件的視頻圖像幀才進(jìn)行解 碼和后續(xù)的鑒別。本發(fā)明實(shí)施例在保證了圖像幀質(zhì)量(關(guān)鍵幀）的前提下，減少圖像幀的數(shù) 量，降低的數(shù)據(jù)運(yùn)算量，減少了數(shù)據(jù)運(yùn)算時(shí)間，降低了處理器的運(yùn)算負(fù)荷，使得硬件成本較 低的配置也能承擔(dān)視頻鑒別的任務(wù)。
[0039] 在一些實(shí)施例中，視頻鑒別方法可以包括：
[0040] 步驟11'：獲取待鑒別圖像；
[0041]步驟12'：將預(yù)處理后的圖像批量輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行鑒別， 并根據(jù)鑒別結(jié)果更新鑒別模型；
[0042] 步驟13'：利用更新后的鑒別模型進(jìn)行下一輪待鑒別視頻的鑒別。
[0043] 在一些實(shí)施例中，獲取待鑒別圖像(步驟11'）可以包括：
[0044] 步驟111' ：提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀；
[0045] 步驟112'：將所述第一數(shù)量與設(shè)定的閾值進(jìn)行比較，確定第二數(shù)量的關(guān)鍵圖像幀；
[0046] 步驟113'：對(duì)所述第二數(shù)量的關(guān)鍵圖像幀進(jìn)行解碼，生成一系列圖像；
[0047]步驟114'：對(duì)所述一系列圖像進(jìn)行預(yù)處理，所述預(yù)處理包括數(shù)據(jù)增廣和逐圖像均 值消減。
[0048]由此，本實(shí)施例可以增強(qiáng)鑒別模型的不斷的自我學(xué)習(xí)、自我更新，可以進(jìn)一步提高 后期的鑒別準(zhǔn)確度。
[0049] 為了提高卷積神經(jīng)網(wǎng)絡(luò)中鑒別模型的泛化能力，對(duì)鑒別模型進(jìn)行訓(xùn)練，從而增加 圖片識(shí)別的精度，本實(shí)施例對(duì)圖片進(jìn)行了有效的數(shù)據(jù)增廣。數(shù)據(jù)增廣例如包括旋轉(zhuǎn)、隨機(jī)裁 剪、縮放或顏色抖動(dòng)等。其中，
【申請(qǐng)人】發(fā)現(xiàn)，等角度旋轉(zhuǎn)相比于水平及垂直方向上的翻轉(zhuǎn)而 言，泛化能力和準(zhǔn)確性更強(qiáng)。
[0050] 為了能夠形象的體現(xiàn)圖像的方向且說理簡(jiǎn)單，下面在圖3(a)和圖3(b)中以豎直向 上的箭頭的圖像1為例，具體說明對(duì)該圖像進(jìn)行數(shù)據(jù)增廣的實(shí)現(xiàn)方式。
[0051] 如圖3(a)所示，首先將圖像1(其尺寸與顯示頻的尺寸相匹配)順時(shí)針旋轉(zhuǎn)45度得 到圖像a。顯然，圖像a的尺寸與顯示屏不再匹配。為了將圖像a的尺寸統(tǒng)一為與顯示屏相匹 配的尺寸，且最大限度的保護(hù)信息的完整性，本實(shí)施例在圖像a中裁剪出圖像b，然后，再將 圖像b放大為圖像2。
[0052]由此，本實(shí)施例通過旋轉(zhuǎn)、裁剪和放大處理，將圖像1增廣為圖像2,且有效的保存 了有效信息(通常屏幕中間的信息是有效信息，例如豎直向上的箭頭）。
[0053]同理，如圖3(b)所示，將圖2順時(shí)針旋轉(zhuǎn)45度，再通過上述的裁剪和放大處理后，可 以將圖像1增廣為圖像3。當(dāng)然也可以直接將圖像1順時(shí)針旋轉(zhuǎn)90度后，再通過裁剪和放大處 理，將圖像1增廣為圖像3。
[0054]本實(shí)施例使用等角度旋轉(zhuǎn)、裁剪和縮放的方式，對(duì)原始關(guān)鍵圖像(圖像1)逆時(shí)針或 者順時(shí)針每次旋轉(zhuǎn)45度，在完成一周360度的旋轉(zhuǎn)處理后，可以分別得到圖像2、圖像3、圖像 4、圖像5、圖像6、圖像7和圖像8。此時(shí)，一張?jiān)紙D像，就可以變成了八張圖像，大幅度增加 了圖像的數(shù)據(jù)量，增強(qiáng)了模型的泛化能力，進(jìn)而提高了卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的準(zhǔn)確度。
[0055] 本實(shí)施例可以對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，以增強(qiáng)其泛化能力和魯棒性。再利 用訓(xùn)練之后的模型對(duì)圖像進(jìn)行批量識(shí)別，可以提高視頻鑒別的準(zhǔn)確率，并能加快了視頻鑒 別速度。
[0056] 在本實(shí)施例中，對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練可以采用數(shù)據(jù)增廣的方式(該數(shù)據(jù) 增廣的操作也可以在訓(xùn)練之前完成）。數(shù)據(jù)增廣方式可以包括等角度旋轉(zhuǎn)、裁剪和縮放等。 [0057]其中，為了進(jìn)一步提高卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的泛化能力，可以通過減小旋轉(zhuǎn)角 度來(lái)增加增廣的數(shù)據(jù)量。例如，將角度由45度調(diào)整為10度，這樣一張?jiān)紙D像，之前只能增 廣為8幅圖像，而現(xiàn)在卻能增廣為36幅圖像，這樣可以增加數(shù)據(jù)量，提高卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練 模型的泛化能力，進(jìn)而會(huì)提高后期圖像識(shí)別的精度，但是這樣做會(huì)增加數(shù)據(jù)運(yùn)算量，導(dǎo)致訓(xùn) 練的時(shí)間增長(zhǎng)。
[0058]同理，可以通過增大旋轉(zhuǎn)角度來(lái)減少增廣的數(shù)據(jù)量。例如，將角度由45度調(diào)整為90 度，這樣一張?jiān)紙D像，之前可以增廣為8幅圖像，而現(xiàn)在卻只能增廣為4幅圖像，雖然訓(xùn)練 的速度會(huì)有所提高，但這會(huì)影響卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型的泛化能力，進(jìn)而會(huì)影響后期視頻 鑒別的準(zhǔn)確度。
[0059]由此，經(jīng)過大量的試驗(yàn)數(shù)據(jù)證明，旋轉(zhuǎn)的角度為45度時(shí)，訓(xùn)練的時(shí)間和視頻鑒別的 精度會(huì)達(dá)到相對(duì)平衡的優(yōu)化效果。
[0060] 圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的生成低亮度圖像的流程圖。數(shù)據(jù)增廣還包括圖像 亮度處理，本實(shí)施例中，針對(duì)需要鑒別視頻中是否包含色情內(nèi)容的要求，可以在訓(xùn)練樣本 (即已知類型的圖像，例如針對(duì)色情內(nèi)容，訓(xùn)練樣本就是色情圖片）中，人為增加一些亮度較 低的樣本圖像（由于關(guān)于色情的視頻內(nèi)容通常在昏暗的環(huán)境下，所以圖像的亮度較低）。亮 度較低的樣本圖像是由現(xiàn)有樣本的副本通過降低圖像的亮度處理生成的。如圖4所示，圖像 亮度處理包括：
[0061] 步驟41:獲取多幅圖像的每幅圖像像素的灰度值ga(i)，（i = l、2、3"_n)。
[0062] 例如，10幅圖像通過45度等角度旋轉(zhuǎn)后可以形成80幅圖像。統(tǒng)計(jì)第1至80幅圖像的 灰度值ga(l)、ga(2)......ga(80)。
[0063] 步驟42:根據(jù)多幅圖像的每幅圖像像素的灰度值，確定多幅圖像的灰度均值ga。
[0064] 步驟43:將所述各個(gè)灰度值分別與所述灰度均值進(jìn)行比較，當(dāng)存在某一灰度值大 于所述灰度均值時(shí)，針對(duì)所述某一灰度值所對(duì)應(yīng)的圖像，生成亮度較低的圖像副本。
[0065]具體的，確定所有圖像(例如80幅)的灰度均值ga的計(jì)算公式可以如下： 1 λ-1·
[0066] 辟.=-S '0. .299 * 左；+ '0. 587 * 巧 + 0· 11.4 * 為 η ?=ο '
[0067] 其中，η是樣本圖像總數(shù)，Ri、Gi、Bi分別為當(dāng)前樣本圖像r、g、b分量值。其中Ri、Gi、 Bi為二維矩陣，其大小分別對(duì)應(yīng)圖像的長(zhǎng)和寬。需要分別對(duì)矩陣的每個(gè)元素進(jìn)行處理，即對(duì) 圖像的每個(gè)像素點(diǎn)進(jìn)行處理。
[0068] 在本實(shí)施例中，圖像變換公式如下所示：
[0069]
[0070] 經(jīng)過上述處理后，增加了與亮度較高的圖像樣本對(duì)應(yīng)的亮度低的樣本，一方面豐 富了樣本總數(shù)，另一方面也增加了卷積神經(jīng)網(wǎng)絡(luò)最終模型的泛化能力和魯棒性，提高了后 期的視頻鑒別的準(zhǔn)確度。
[0071] 當(dāng)然，上述方法還可以根據(jù)所有圖像像素點(diǎn)的灰度值來(lái)先統(tǒng)計(jì)所有圖像的灰度均 值，然后再計(jì)算各個(gè)圖像的灰度均值，也可以達(dá)到本發(fā)明的目的，只是，運(yùn)算時(shí)間比上述方 式要長(zhǎng)。
[0072]在一些實(shí)施例中，預(yù)處理還包括:逐圖像均值消減(例如對(duì)圖像的R、G和B的數(shù)值進(jìn) 行消減)或者利用顏色抖動(dòng)(color jitter)的方法對(duì)圖像做進(jìn)一步預(yù)處理。這樣做便于數(shù) 據(jù)加工和處理(可以是歸一化數(shù)據(jù)處理方式），加快視頻鑒別的速度。
[0073] 如圖5所示，本實(shí)施例的提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀的步驟(即圖 2中步驟131)可以包括如下步驟：
[0074] 步驟1311:提取待鑒別視頻的多幅圖像幀。
[0075]步驟1312:從多幅圖像幀中篩選出第一數(shù)量的關(guān)鍵圖像幀。
[0076]本實(shí)施例中的視頻是由一系列圖像幀組成。如果視頻幀率為25f ps，那么每秒鐘的 視頻就有25張圖片。如果視頻時(shí)長(zhǎng)很長(zhǎng)，那么該視頻包含的圖像幀的數(shù)量就會(huì)非常巨大。本 實(shí)施例通過從提取的待鑒別視頻的多幅圖像幀中篩選出第一數(shù)量的關(guān)鍵圖像幀（包含完 整、清晰的圖像信息），使得篩選出的關(guān)鍵圖像幀不僅能夠很好的適用于檢測(cè)任務(wù)，提高檢 測(cè)準(zhǔn)確度，減少檢測(cè)時(shí)間，而且便于后續(xù)的圖像鑒別處理。
[0077]具體的，在一些實(shí)施例中，為了控制關(guān)鍵幀數(shù)量，防止一些全I(xiàn)幀(MPEG編碼中的內(nèi) 部編碼幀，代表一個(gè)完整的畫面)的視頻含有過多的關(guān)鍵幀影響檢測(cè)速度，本實(shí)施例限制了 最大關(guān)鍵幀數(shù)量。為了提高視頻鑒別的精度和減少鑒別的時(shí)間，本發(fā)明實(shí)施例參考大量的 實(shí)驗(yàn)數(shù)據(jù)(例如鑒別速度和鑒別時(shí)間），閾值Y優(yōu)選為5000。
[0078] 具體的，如果本實(shí)施例中的Xl取值1000時(shí)，此時(shí)Xl < Y，說明Xl沒有超出閾值范圍， 那么，X2的值也取1000，此時(shí)，可以對(duì)提取的待鑒別視頻中的1000張的關(guān)鍵圖像幀進(jìn)行全部 解碼。
[0079] 如果X1取值為20000時(shí)，此時(shí)XI >Y時(shí)，說明X1已經(jīng)超出閾值范圍，這會(huì)影響視頻審 核的速度。因此，確定X2為Xl的N分之一，以使所述第二數(shù)量小于或者等于所述閾值，其中，N 為大于或者等于二的整數(shù)。N在具體取值時(shí)，可以按運(yùn)算的精度或者時(shí)間要求，進(jìn)行自定義。 例如，N取10時(shí)，只需要對(duì)待鑒別視頻中的20000張的關(guān)鍵圖像幀中的2000張圖像幀進(jìn)行解 碼。
[0080]由此，本實(shí)施例通過設(shè)定閾值，對(duì)需要解碼的關(guān)鍵圖像幀進(jìn)行數(shù)量控制，在盡量多 的提取樣本(關(guān)鍵圖像幀）的前提下，防止因樣本數(shù)量增多帶來(lái)的鑒別速度下降的問題。當(dāng) 然，如果硬件配置較高，處理器運(yùn)算速度較快時(shí)，可以將閾值設(shè)置得足夠大，以提高視頻鑒 別準(zhǔn)確度。
[0081 ]在一些實(shí)施例中，歸一化處理包括對(duì)所述一系列圖像進(jìn)行逐圖像均值消減。
[0082] 在一些實(shí)施例中，可以通過將解碼的圖像進(jìn)行緩存，然后對(duì)批量的圖像進(jìn)行并行 檢測(cè)，來(lái)提高了視頻檢測(cè)的速度。
[0083] 具體的，在進(jìn)行批量檢測(cè)時(shí)，首先提取視頻一定數(shù)量(batch_size)的關(guān)鍵幀、之后 將這批關(guān)鍵幀送入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行檢測(cè)。在檢測(cè)的同時(shí)，多線程并行地準(zhǔn)備下一批 關(guān)鍵幀，這樣可以大幅度節(jié)省時(shí)間。此外，當(dāng)最后一批關(guān)鍵幀數(shù)量不足時(shí)（即最后一批關(guān)鍵 幀數(shù)量小于batch_si Ze時(shí)），不足的部分可以用純黑色圖像補(bǔ)齊。
[0084] 如圖6所示，視頻鑒別系統(tǒng)可以包括：圖像預(yù)處理單元、圖像鑒別訓(xùn)練單元、待鑒別 圖像獲取單元和圖像鑒別單元。其中：
[0085]圖像預(yù)處理單元用于對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù) 據(jù)增廣。
[0086]圖像鑒別訓(xùn)練單元用于將預(yù)處理后的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型 進(jìn)行類型鑒別訓(xùn)練，根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型。
[0087] 待鑒別圖像獲取單元用于獲取多幅待鑒別圖像。
[0088] 圖像鑒別單元用于利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述多幅待 鑒別圖像進(jìn)行鑒別。
[0089] 在一些實(shí)施例中，所述待鑒別圖像獲取單元可以包括:關(guān)鍵圖像幀提取模塊、關(guān)鍵 圖像幀確定模塊、圖像解碼模塊和待鑒別圖像生成模塊。其中：
[0090] 關(guān)鍵圖像幀提取模塊用于提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀。
[0091] 關(guān)鍵圖像幀確定模塊用于將所述第一數(shù)量與設(shè)定的閾值進(jìn)行比較，確定第二數(shù)量 的關(guān)鍵圖像幀。
[0092] 圖像解碼模塊用于對(duì)所述第二數(shù)量的關(guān)鍵圖像幀進(jìn)行解碼，生成一系列圖像。 [0093]待鑒別圖像生成模塊用于基于所述一系列圖像進(jìn)行歸一化處理以生成待鑒別圖 像。
[0094]在一些實(shí)施例中，所述數(shù)據(jù)增廣至少包括:等角度旋轉(zhuǎn)，較佳的，所述等角度為45 度。
[0095]在一些實(shí)施例中，所述數(shù)據(jù)增廣還包括圖像亮度處理，所述圖像亮度處理包括：
[0096] 獲取所述多幅圖像的每幅圖像像素的灰度值；
[0097] 根據(jù)所述多幅圖像的每幅圖像像素的灰度值，確定所述多幅圖像的灰度均值；
[0098] 將所述各個(gè)灰度值分別與所述灰度均值進(jìn)行比較，當(dāng)存在某一灰度值大于所述灰 度均值時(shí)，針對(duì)所述某一灰度值所對(duì)應(yīng)的圖像，生成亮度較低的圖像副本。
[0099]在一些實(shí)施例中，所述預(yù)處理還包括逐圖像均值消減。
[0100] 在一些實(shí)施例中，關(guān)鍵圖像幀提取單元用于提取待鑒別視頻的多幅圖像幀；以及 從所述多幅圖像幀中篩選出第一數(shù)量的關(guān)鍵圖像幀。
[0101] 在一些實(shí)施例中，關(guān)鍵圖像幀確定單元用于：
[0102] 當(dāng)所述比較模塊判定所述第一數(shù)量小于或者等于設(shè)定的閾值時(shí)，所述確定模塊確 定第二數(shù)量為第一數(shù)量;以及
[0103] 當(dāng)所述比較模塊判定所述第一數(shù)量大于設(shè)定的閾值時(shí)，所述確定模塊確定第二數(shù) 量為第一數(shù)量的N分之一，以使所述第二數(shù)量小于或者等于所述閾值，其中，N為大于或者等 于二的整數(shù)。
[0104] 在一些實(shí)施例中，歸一化處理包括逐圖像均值消減。
[0105] 由于上述實(shí)施例的視頻鑒別系統(tǒng)與視頻鑒別方法的功能相對(duì)應(yīng)，在此，不再贅述 視頻鑒別系統(tǒng)與視頻鑒別方法相關(guān)的內(nèi)容。本發(fā)明實(shí)施例中可以通過硬件處理器 (hardware processor)來(lái)實(shí)現(xiàn)相關(guān)功能模塊。
[0106] 以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可 以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單 元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其 中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性 的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0107]通過以上的實(shí)施例的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施例可借助 軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技 術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算 機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用 以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或 者實(shí)施例的某些部分所述的方法。
[0108]最后應(yīng)說明的是：以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管 參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可 以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換； 而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和 范圍。
【主權(quán)項(xiàng)】
1. 一種視頻鑒別方法，包括： 對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù)據(jù)增廣； 將預(yù)處理后的多幅圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行類型鑒別訓(xùn)練，根據(jù) 類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型； 獲取待鑒別圖像； 利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述待鑒別圖像進(jìn)行鑒別。2. 根據(jù)權(quán)利要求1所述的方法，其中，所述數(shù)據(jù)增廣至少包括:等角度旋轉(zhuǎn)。3. 根據(jù)權(quán)利要求2所述的方法，其中，所述等角度為45度。4. 根據(jù)權(quán)利要求2所述的方法，其中，所述數(shù)據(jù)增廣還包括圖像亮度處理，所述圖像亮 度處理包括： 獲取所述多幅圖像的每幅圖像像素的灰度值； 根據(jù)所述多幅圖像的每幅圖像像素的灰度值，確定所述多幅圖像的灰度均值； 將所述各個(gè)灰度值分別與所述灰度均值進(jìn)行比較，當(dāng)存在某一灰度值大于所述灰度均 值時(shí)，針對(duì)所述某一灰度值所對(duì)應(yīng)的圖像，生成亮度較低的圖像副本。5. 根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)處理還包括:逐圖像均值消減。6. 根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的方法，其中，所述獲取多幅待鑒別圖像包括： 提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀； 將所述第一數(shù)量與設(shè)定的閾值進(jìn)行比較，確定第二數(shù)量的關(guān)鍵圖像幀； 對(duì)所述第二數(shù)量的關(guān)鍵圖像幀進(jìn)行解碼，生成一系列圖像； 基于所述一系列圖像進(jìn)行歸一化處理以生成多幅待鑒別圖像。7. 根據(jù)權(quán)利要求6所述的方法，其中，所述提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀 包括： 提取待鑒別視頻的多幅圖像幀； 從所述多幅圖像幀中篩選出第一數(shù)量的關(guān)鍵圖像幀。8. 根據(jù)權(quán)利要求6所述的方法，其中，所述將所述第一數(shù)量與設(shè)定的閾值進(jìn)行比較，確 定第二數(shù)量的關(guān)鍵圖像幀包括： 當(dāng)所述第一數(shù)量小于或者等于設(shè)定的閾值時(shí)，確定第二數(shù)量為第一數(shù)量； 當(dāng)所述第一數(shù)量大于設(shè)定的閾值時(shí)，確定第二數(shù)量為第一數(shù)量的N分之一，以使所述第 二數(shù)量小于或者等于所述閾值，其中，N為大于或者等于二的整數(shù)。9. 根據(jù)權(quán)利要求6所述的方法，其中，所述歸一化處理包括:逐圖像均值消減。10. -種視頻鑒別系統(tǒng)，包括： 圖像預(yù)處理單元，用于對(duì)已知類型的多幅圖像進(jìn)行預(yù)處理，所述預(yù)處理至少包括數(shù)據(jù) 增廣； 圖像鑒別訓(xùn)練單元，用于將預(yù)處理后的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中利用鑒別模型進(jìn)行 類型鑒別訓(xùn)練，根據(jù)類型鑒別結(jié)果和所述已知類型優(yōu)化所述鑒別模型； 待鑒別圖像獲取單元，用于獲取待鑒別圖像； 圖像鑒別單元，用于利用所述卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化后的鑒別模型對(duì)所述待鑒別圖像 進(jìn)行鑒別。11. 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述數(shù)據(jù)增廣至少包括:等角度旋轉(zhuǎn)。12. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述等角度為45度。13. 根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述數(shù)據(jù)增廣還包括圖像亮度處理，所述圖像 亮度處理包括： 獲取所述多幅圖像的每幅圖像像素的灰度值； 根據(jù)所述多幅圖像的每幅圖像像素的灰度值，確定所述多幅圖像的灰度均值； 將所述各個(gè)灰度值分別與所述灰度均值進(jìn)行比較，當(dāng)存在某一灰度值大于所述灰度均 值時(shí)，針對(duì)所述某一灰度值所對(duì)應(yīng)的圖像，生成亮度較低的圖像副本。14. 根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述預(yù)處理還包括:逐圖像均值消減。15. 根據(jù)權(quán)利要求10-14中任一項(xiàng)所述的系統(tǒng)，其中，所述待鑒別圖像獲取單元包括： 關(guān)鍵圖像幀提取模塊，用于提取待鑒別視頻中的第一數(shù)量的關(guān)鍵圖像幀； 關(guān)鍵圖像幀確定模塊，用于將所述第一數(shù)量與設(shè)定的閾值進(jìn)行比較，確定第二數(shù)量的 關(guān)鍵圖像幀； 圖像解碼模塊，用于對(duì)所述第二數(shù)量的關(guān)鍵圖像幀進(jìn)行解碼，生成一系列圖像； 待鑒別圖像生成模塊，用于基于所述一系列圖像進(jìn)行歸一化處理以生成待鑒別圖像。16. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述關(guān)鍵圖像幀提取單元用于： 提取待鑒別視頻的多幅圖像幀；以及 從所述多幅圖像幀中篩選出第一數(shù)量的關(guān)鍵圖像幀。17. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述關(guān)鍵圖像幀確定單元用于： 當(dāng)所述比較模塊判定所述第一數(shù)量小于或者等于設(shè)定的閾值時(shí)，所述確定模塊確定第 二數(shù)量為第一數(shù)量;以及 當(dāng)所述第一數(shù)量大于設(shè)定的閾值時(shí)，確定第二數(shù)量為第一數(shù)量的N分之一，以使所述第 二數(shù)量小于或者等于所述閾值，其中，N為大于或者等于二的整數(shù)。18. 根據(jù)權(quán)利要求15所述的系統(tǒng)，其中，所述歸一化處理包括:逐圖像均值消減。
【文檔編號(hào)】G06K9/00GK105844238SQ201610168258
【公開日】2016年8月10日
【申請(qǐng)日】2016年3月23日
【發(fā)明人】劉陽(yáng), 白茂生, 魏偉, 李興玉
【申請(qǐng)人】樂視云計(jì)算有限公司