本發(fā)明屬于視頻隱私保護(hù)技術(shù)領(lǐng)域，尤其涉及一種基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法。

背景技術(shù)：

近年來(lái)，隨著個(gè)人隱私的安全需求不斷提升，使公共監(jiān)控系統(tǒng)中個(gè)人隱私保護(hù)得到了廣泛關(guān)注。監(jiān)控系統(tǒng)首先要滿足維護(hù)所轄區(qū)域安全的需求，但是，針對(duì)安裝在有固定人員的區(qū)域如社區(qū)的監(jiān)控系統(tǒng)，在維護(hù)安全的同時(shí)也泄露了基本沒(méi)有安全威脅的社區(qū)內(nèi)部人員的隱私信息。所以，在保證監(jiān)控系統(tǒng)的安全職能的同時(shí)不泄露社區(qū)內(nèi)部人員隱私信息是目前研究的熱點(diǎn)問(wèn)題。視頻隱私保護(hù)技術(shù)以其較高的學(xué)術(shù)價(jià)值和巨大的應(yīng)用潛力，得到了學(xué)者的廣大關(guān)注。

綜上所述，現(xiàn)有技術(shù)存在的問(wèn)題是：社區(qū)內(nèi)的安全監(jiān)控與用戶隱私保護(hù)偏離較為嚴(yán)重，基本上是以犧牲用戶隱私為代價(jià)來(lái)保證監(jiān)控體系的正常運(yùn)轉(zhuǎn)，在當(dāng)前用戶安全意識(shí)不斷提升、隱私保護(hù)需要不斷增長(zhǎng)的情況下，現(xiàn)有的不人性化的監(jiān)控體系無(wú)法讓用戶放心滿意。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法。

本發(fā)明是這樣實(shí)現(xiàn)的，一種基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法，所述基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法包括以下步驟：

步驟一，根據(jù)實(shí)時(shí)監(jiān)控錄像建立和更新背景模型，運(yùn)用新背景模型分割出前景目標(biāo)區(qū)域；

步驟二，基于前景目標(biāo)區(qū)域進(jìn)行行人檢測(cè)與人臉識(shí)別，通過(guò)卡爾曼濾波器預(yù)測(cè)跟蹤目標(biāo)的狀態(tài)，使用kuhn-munkres算法進(jìn)行上一幀圖像中的預(yù)測(cè)目標(biāo)與當(dāng)前幀中的檢測(cè)目標(biāo)之間的目標(biāo)關(guān)聯(lián)，實(shí)現(xiàn)社區(qū)監(jiān)控視頻中社區(qū)內(nèi)部人員與社區(qū)外來(lái)人員的持續(xù)跟蹤與身份識(shí)別；

步驟三，利用信息隱藏對(duì)社區(qū)內(nèi)部人員的視頻信息進(jìn)行保護(hù)。

進(jìn)一步，所述步驟一中采用vibe算法進(jìn)行背景建模，提取前景區(qū)域，vibe算法包括：背景模型的初始化、前景檢測(cè)過(guò)程、背景模型的更新。

進(jìn)一步，所述步驟二中行人檢測(cè)包括：提取訓(xùn)練圖片的方向梯度直方圖作為圖片特征，使用優(yōu)化的支持向量機(jī)訓(xùn)練算法序列最小最優(yōu)化算法訓(xùn)練的行人檢測(cè)分類(lèi)器，使用分類(lèi)器在前景區(qū)域檢測(cè)行人；

人臉檢測(cè)使用luxandfacesdk的人臉檢測(cè)api在行人區(qū)域檢測(cè)人臉。

人臉識(shí)別使用luxandfacesdk的人臉識(shí)別api識(shí)別用戶身份，確定是否是被保護(hù)對(duì)象，如果是受保護(hù)對(duì)象則為其分配受保護(hù)的id，否則分配普通id；

特征提取將原rgb圖像轉(zhuǎn)換為hsv圖像，建立hsv區(qū)域邊緣直方圖作為目標(biāo)特征。

進(jìn)一步，所述步驟二中卡爾曼濾波目標(biāo)對(duì)象的狀態(tài)向量為，橫向位移x、縱向位移y、橫向速度vx和縱向速度vy；每一個(gè)跟蹤目標(biāo)對(duì)象都關(guān)聯(lián)了一個(gè)卡爾曼濾波器，當(dāng)目標(biāo)第一次出現(xiàn)時(shí)，以狀態(tài)向量和狀態(tài)轉(zhuǎn)移矩陣初始化卡爾曼濾波器，當(dāng)目標(biāo)不是第一次出現(xiàn)時(shí)，則使用已初始化的濾波器預(yù)測(cè)該目標(biāo)的下一個(gè)狀態(tài)。

進(jìn)一步，所述步驟二中持續(xù)跟蹤采用多目標(biāo)關(guān)聯(lián)，具體包括：

(1)對(duì)于檢測(cè)目標(biāo)集合d和跟蹤目標(biāo)集合t，兩個(gè)集合的相似度矩陣a，aij表示集合t中第i個(gè)跟蹤目標(biāo)ti與集合d中第j個(gè)檢測(cè)目標(biāo)dj的相似度，計(jì)算ti與dj的曼哈頓距離dmanhattan(i,j)和重疊比例dratiooverlap(i,j)初步去掉不可能匹配的關(guān)系,即如果dmanhattan(i,j)大于閾值或者dratiooverlap(i,j)小于閾值，則對(duì)應(yīng)的aij為無(wú)窮大；

(2)相似度aij由目標(biāo)ti的特征向量feature_i和與目標(biāo)dj的特征向量feature_j之間的巴氏距離dbhattacharyya(feature_i，feature_j)來(lái)量化：

其中，變量k和s均遍歷直方圖的所有子區(qū)間，feature_i(k)表示跟蹤目標(biāo)i的第k個(gè)直方圖子區(qū)間的像素?cái)?shù)量，feature_j(k)表示檢測(cè)目標(biāo)j的第k個(gè)直方圖子區(qū)間的像素?cái)?shù)量。

(3)相似度矩陣a，運(yùn)用匈牙利算法和kuhn-munkres算法實(shí)現(xiàn)集合t與集合d之間目標(biāo)的最優(yōu)匹配。

進(jìn)一步，所述步驟三中信息隱藏方法包括：

跟蹤目標(biāo)的id受保護(hù)，采用可逆的圖像置亂方法加擴(kuò)散函數(shù)保護(hù)該目標(biāo)區(qū)域，目標(biāo)區(qū)域以矩形指定；圖像置亂采用arnold變換，秘鑰為改變換迭代的次數(shù)k，和分別表示像素點(diǎn)變換前和變換后的橫坐標(biāo)和縱坐標(biāo)：

再輔以擴(kuò)散函數(shù)：

a′(i，j)為變換后的像素值，a(i，j)為變換前的像素值。

進(jìn)一步，所述步驟三進(jìn)一步包括：

(1)更新跟蹤目標(biāo)集合t，如果t中的跟蹤目標(biāo)i匹配成功，則使用與之相匹配的檢測(cè)目標(biāo)的hsv區(qū)域邊緣直方圖特征和狀態(tài)更新跟蹤目標(biāo)i，如果未匹配成功且連續(xù)失敗達(dá)到一定幀數(shù)則視為目標(biāo)丟失，并告知臨近攝像頭相關(guān)信息；如果檢測(cè)目標(biāo)集合d中檢測(cè)目標(biāo)j未匹配成功，則視為新目標(biāo)并添加到集合t，同時(shí)為其分配generalid；

(2)更新卡爾曼濾波器，使用與跟蹤目標(biāo)i關(guān)聯(lián)的檢測(cè)目標(biāo)j的狀態(tài)來(lái)更新跟蹤目標(biāo)i的卡爾曼濾波器，以作下一幀狀態(tài)預(yù)測(cè)。

本發(fā)明的另一目的在于提供一種應(yīng)用所述基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法的公共監(jiān)控系統(tǒng)。

本發(fā)明的優(yōu)點(diǎn)及積極效果為：現(xiàn)有的隱私保護(hù)方法大多針對(duì)前景隱私信息如運(yùn)動(dòng)目標(biāo)進(jìn)行保護(hù)，持續(xù)地準(zhǔn)確定位隱私區(qū)域是隱私保護(hù)的一個(gè)關(guān)鍵基礎(chǔ)步驟，這直接關(guān)系到最終的隱私保護(hù)效果，尤其是在同一視頻內(nèi)存在多個(gè)運(yùn)動(dòng)目標(biāo)的情況，諸如光流法、camshift、能量最小化等方法在跟蹤運(yùn)動(dòng)目標(biāo)時(shí)效果并不是很好，主要是對(duì)目標(biāo)的遮擋和丟失等情況處理不夠完善，本發(fā)明利用區(qū)域邊緣直方圖特征，相比于現(xiàn)有方法，引入了目標(biāo)特征的空間信息，增強(qiáng)了特征的表達(dá)能力，以目標(biāo)再識(shí)別應(yīng)對(duì)目標(biāo)丟失的情況，對(duì)于目標(biāo)的遮擋，使用卡爾曼濾波器預(yù)測(cè)目標(biāo)狀態(tài)，很好的解決了目標(biāo)遮擋的問(wèn)題，完成了目標(biāo)的持續(xù)跟蹤，在隱私信息的精確定位基礎(chǔ)上，結(jié)合圖像置亂技術(shù)與擴(kuò)散函數(shù)，實(shí)現(xiàn)隱私區(qū)域信息隱藏，在保護(hù)隱私的同時(shí)也保證了監(jiān)控的正常運(yùn)轉(zhuǎn)，達(dá)到了很好隱私保護(hù)效果。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例提供的基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法流程圖。

圖2是本發(fā)明實(shí)施例提供的基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法實(shí)現(xiàn)流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

下面結(jié)合附圖對(duì)本發(fā)明的應(yīng)用原理作詳細(xì)的描述。

如圖1所示，本發(fā)明實(shí)施例提供的基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法包括以下步驟：

s101：根據(jù)實(shí)時(shí)監(jiān)控錄像建立和更新背景模型，運(yùn)用該模型分割出前景目標(biāo)區(qū)域；

s102：基于前景目標(biāo)區(qū)域進(jìn)行行人檢測(cè)與人臉識(shí)別，通過(guò)卡爾曼濾波器預(yù)測(cè)跟蹤目標(biāo)的狀態(tài)，使用kuhn-munkres算法進(jìn)行上一幀圖像中的預(yù)測(cè)目標(biāo)與當(dāng)前幀中的檢測(cè)目標(biāo)之間的目標(biāo)關(guān)聯(lián)；

s103：利用信息隱藏技術(shù)對(duì)社區(qū)內(nèi)部人員的視頻信息進(jìn)行保護(hù)。

本發(fā)明實(shí)施例提供的基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法具體包括以下步驟：

1、特定環(huán)境下行人檢測(cè)分類(lèi)器的訓(xùn)練過(guò)程

(1)建立訓(xùn)練數(shù)據(jù)集：

根據(jù)社區(qū)以往的監(jiān)控視頻，截取2000張行人圖片和1000張背景圖片(即社區(qū)環(huán)境中不包括行人的圖片)。

(2)訓(xùn)練行人檢測(cè)分類(lèi)器：

使用訓(xùn)練集圖片提取hog(方向梯度直方圖)特征，然后使用支持向量機(jī)訓(xùn)練社區(qū)環(huán)境下的行人檢測(cè)分類(lèi)器classfier。

2.有隱私保護(hù)需求的用戶進(jìn)行注冊(cè)。

由社區(qū)內(nèi)用戶自愿提供自己的人臉圖像，并建立社區(qū)內(nèi)部人員的人臉數(shù)據(jù)庫(kù)，在社區(qū)入口處使用人臉識(shí)別技術(shù)確定跟蹤目標(biāo)身份，以確認(rèn)目標(biāo)是否需要受隱私保護(hù)。

3.多攝像頭多目標(biāo)實(shí)時(shí)跟蹤

(1)前景目標(biāo)提?。?/p>

本發(fā)明通過(guò)vibe算法快速建立背景模型，從視頻圖像中提取前景區(qū)域，通過(guò)形態(tài)學(xué)操作，進(jìn)一步去除噪聲干擾。

(2)檢測(cè)行人目標(biāo)：

在分割出的前景區(qū)域運(yùn)用訓(xùn)練好的行人檢測(cè)分類(lèi)器去除非行人的移動(dòng)目標(biāo)，提取出潛在的需要隱私保護(hù)的行人對(duì)象。

(3)單攝像頭下多行人目標(biāo)跟蹤：包含跟蹤目標(biāo)集合t(已經(jīng)處于被跟蹤狀態(tài)的目標(biāo)對(duì)象)和檢測(cè)目標(biāo)集合d(在當(dāng)前幀檢測(cè)出來(lái)的未知身份的目標(biāo)對(duì)象)。

(3a)預(yù)測(cè)已跟蹤目標(biāo)的運(yùn)動(dòng)狀態(tài)

針對(duì)t中每一個(gè)目標(biāo)，如第i個(gè)已跟蹤目標(biāo)ti，建立一個(gè)卡爾曼濾波器，在進(jìn)行t、d之間的目標(biāo)關(guān)聯(lián)之前，使用ti對(duì)應(yīng)的卡爾曼濾波器預(yù)測(cè)其下一個(gè)狀態(tài)(橫向位移x、縱向位移y、橫向速度vx和縱向速度vy)。

(3b)提取當(dāng)前幀可能的行人目標(biāo)：

使用前景提取、行人檢測(cè)方法獲取潛在跟蹤目標(biāo)，即檢測(cè)目標(biāo)，并加入集合d，在下一幀到來(lái)之前需要清空集合d。

(3c)圖像特征提取：

對(duì)每一個(gè)跟蹤目標(biāo)ti建立一個(gè)特征庫(kù)，該特征庫(kù)中保存該目標(biāo)近段時(shí)間具有一定差異的多個(gè)特征向量，這里的特征定義為hsv顏色空間中區(qū)域邊緣直方圖特征；對(duì)于當(dāng)前幀的檢測(cè)目標(biāo)dj，則直接提取區(qū)域邊緣直方圖特征。

(3d)多目標(biāo)關(guān)聯(lián)：

確定集合t中的跟蹤目標(biāo)和集合d中的檢測(cè)目標(biāo)之間的對(duì)應(yīng)關(guān)系，首先使用曼哈頓距離m和重疊比例overlap初步過(guò)濾跟蹤目標(biāo)區(qū)域和檢測(cè)目標(biāo)區(qū)域的匹配關(guān)系，然后使用hsv區(qū)域邊緣直方圖特征建立兩個(gè)目標(biāo)集合之間的相似度矩陣，使用匈牙利算法和kuhn-munkres算法實(shí)現(xiàn)跟蹤目標(biāo)ti和檢測(cè)目標(biāo)dj之間的最優(yōu)匹配，t中未匹配目標(biāo)視為目標(biāo)消失，d中未匹配目標(biāo)視為新目標(biāo)。

(3e)更新：

使用匹配結(jié)果更新卡爾曼濾波器，使用已匹配的檢測(cè)目標(biāo)特征更新對(duì)應(yīng)跟蹤目標(biāo)的特征庫(kù)。

(4)目標(biāo)再識(shí)別：

對(duì)于每一個(gè)新出現(xiàn)的目標(biāo)，仍然提取hsv區(qū)域邊緣直方圖特征，通過(guò)與之前出現(xiàn)過(guò)的目標(biāo)的特征庫(kù)中的每一個(gè)特征向量對(duì)比巴氏距離，若比對(duì)成功則分配原先的id，否則視為新目標(biāo)。

(5)多攝像頭協(xié)同跟蹤

在監(jiān)控系統(tǒng)中個(gè)攝像頭組織成網(wǎng)絡(luò)，使用圖結(jié)構(gòu)存儲(chǔ)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，每個(gè)攝像頭由一個(gè)線程負(fù)責(zé)數(shù)據(jù)處理，當(dāng)目標(biāo)在一個(gè)攝像頭i視角內(nèi)消失時(shí)，通知臨近攝像頭j，攝像頭j視角內(nèi)的新目標(biāo)再識(shí)別時(shí)首先比對(duì)攝像頭i中消失的目標(biāo)特征。每個(gè)攝像頭對(duì)應(yīng)一個(gè)線程，線程1負(fù)責(zé)社區(qū)入口處的保護(hù)目標(biāo)的身份確認(rèn)，其余線程負(fù)責(zé)各自視角內(nèi)的多目標(biāo)跟蹤和隱私保護(hù)。

下面結(jié)合附圖對(duì)本發(fā)明的應(yīng)用原理作進(jìn)一步的描述。

如圖2所示，本發(fā)明實(shí)施例提供的基于監(jiān)控視頻多目標(biāo)跟蹤和人臉識(shí)別的隱私保護(hù)方法包括以下步驟：

步驟1，前景提取。

采用vibe算法進(jìn)行背景建模，提取前景區(qū)域，vibe算法主要包含三個(gè)步驟：背景模型的初始化、前景檢測(cè)過(guò)程、背景模型的更新。

步驟2，行人檢測(cè)。

提取訓(xùn)練圖片的方向梯度直方圖作為圖片特征，使用優(yōu)化的支持向量機(jī)訓(xùn)練算法smo(序列最小最優(yōu)化算法)訓(xùn)練的行人檢測(cè)分類(lèi)器，最后使用該分類(lèi)器在前景區(qū)域檢測(cè)行人。

步驟3，人臉檢測(cè)。

使用luxandfacesdk的人臉檢測(cè)api在行人區(qū)域檢測(cè)人臉。

步驟4，人臉識(shí)別。

使用luxandfacesdk的人臉識(shí)別api識(shí)別用戶身份，確定是否是被保護(hù)對(duì)象，如果是受保護(hù)對(duì)象則為其分配受保護(hù)的id(protecetdid)，否則分配普通id(generalid)。

步驟5，特征提取。

5.1邊緣像素

這里需要用到邊緣像素的概念，將像素取值范圍[0，255]平均分成32個(gè)子區(qū)間，即[0,7]、[8,15]、[16,23]、……、[248,255]，如果某像素的四鄰域中至少有一個(gè)像素的取值與該像素的值不在同一個(gè)子區(qū)間，則該像素為邊緣像素。

5.2特征生成

將原rgb圖像轉(zhuǎn)換為hsv圖像，首先將各像素映射到對(duì)應(yīng)的子區(qū)間，然后判斷是否為邊緣像素，并以此建立基于邊緣像素的積分圖，最后通過(guò)積分圖計(jì)算每個(gè)子區(qū)間的邊緣像素?cái)?shù)量，歸一化結(jié)果即為區(qū)域邊緣直方圖特征。

步驟6，卡爾曼濾波。

定義目標(biāo)對(duì)象的狀態(tài)向量為(橫向位移x、縱向位移y、橫向速度vx和縱向速度vy)。每一個(gè)跟蹤目標(biāo)對(duì)象都關(guān)聯(lián)了一個(gè)卡爾曼濾波器，當(dāng)目標(biāo)第一次出現(xiàn)時(shí)，以該狀態(tài)向量和狀態(tài)轉(zhuǎn)移矩陣初始化卡爾曼濾波器，當(dāng)目標(biāo)不是第一次出現(xiàn)時(shí)(已經(jīng)加入集合t)，則使用已初始化的濾波器預(yù)測(cè)該目標(biāo)的下一個(gè)狀態(tài)。

步驟7，多目標(biāo)關(guān)聯(lián)。

7.1初步過(guò)濾

對(duì)于檢測(cè)目標(biāo)集合d和跟蹤目標(biāo)集合t，兩個(gè)集合的相似度矩陣a(aij表示集合t中第i個(gè)跟蹤目標(biāo)ti與集合d中第j個(gè)檢測(cè)目標(biāo)dj的相似度)，在計(jì)算a之前，需要先篩選一下，計(jì)算ti與dj的曼哈頓距離dmanhattan(i,j)和重疊比例dratiooverlap(i,j)初步去掉不可能匹配的關(guān)系,即如果dmanhattan(i,j)大于閾值或者dratiooverlap(i,j)小于閾值，則對(duì)應(yīng)的aij為無(wú)窮大。

7.2計(jì)算相似度矩陣a

相似度aij由目標(biāo)ti的特征向量feature_i和與目標(biāo)dj的特征向量feature_j之間的巴氏距離dbhattacharyya(feature_j)來(lái)量化：

其中，變量k和s均遍歷直方圖的所有子區(qū)間，feature_i(k)表示跟蹤目標(biāo)i的第k個(gè)直方圖子區(qū)間的像素?cái)?shù)量，feature_j(k)表示檢測(cè)目標(biāo)j的第k個(gè)直方圖子區(qū)間的像素?cái)?shù)量。

7.3針對(duì)相似度矩陣a，運(yùn)用匈牙利算法和kuhn-munkres算法實(shí)現(xiàn)集合t與集合d之間目標(biāo)的最優(yōu)匹配。

步驟8，隱私保護(hù)

如果跟蹤目標(biāo)的id是受保護(hù)的，則采用可逆的圖像置亂方法加擴(kuò)散函數(shù)保護(hù)該目標(biāo)區(qū)域，該區(qū)域以矩形指定。

圖像置亂采用arnold變換，秘鑰為改變換迭代的次數(shù)k，和分別表示像素點(diǎn)變換前和變換后的橫坐標(biāo)和縱坐標(biāo)：

但是該變換并不會(huì)改變普通的顏色直方圖特征，出于安全考慮，所以再輔以擴(kuò)散函數(shù)：

a′(i，j)為變換后的像素值，a(i，j)為變換前的像素值，i、j分別為像素所在行列值,m為當(dāng)前顏色通道的最大取值范圍。

步驟9，更新

9.1更新跟蹤目標(biāo)集合t，如果t中的跟蹤目標(biāo)i匹配成功，則使用與之相匹配的檢測(cè)目標(biāo)的hsv區(qū)域邊緣直方圖特征和狀態(tài)更新跟蹤目標(biāo)i，如果未匹配成功且連續(xù)失敗達(dá)到一定幀數(shù)則視為目標(biāo)丟失，并告知臨近攝像頭相關(guān)信息；如果檢測(cè)目標(biāo)集合d中檢測(cè)目標(biāo)j未匹配成功，則視為新目標(biāo)并添加到集合t，同時(shí)為其分配generalid。

9.2更新卡爾曼濾波器，使用與跟蹤目標(biāo)i關(guān)聯(lián)的檢測(cè)目標(biāo)j的狀態(tài)來(lái)更新跟蹤目標(biāo)i的卡爾曼濾波器，以作下一幀狀態(tài)預(yù)測(cè)。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。