本發(fā)明屬于視頻隱私保護(hù)
技術(shù)領(lǐng)域：
，尤其涉及一種基于表情融合的視頻隱私保護(hù)方法。
背景技術(shù)：
：近年來，互聯(lián)網(wǎng)的快速發(fā)展和各類視頻應(yīng)用的日益普及，使視頻個(gè)人隱私保護(hù)得到了廣泛關(guān)注。在保證視頻應(yīng)用的同時(shí)不泄露隱私信息是目前研究的熱點(diǎn)問題。視頻隱私保護(hù)技術(shù)以其較高的學(xué)術(shù)價(jià)值和巨大的應(yīng)用潛力，得到了學(xué)者的廣大關(guān)注，傳統(tǒng)直接對(duì)整張人臉進(jìn)行融合的方法通過對(duì)人臉圖像運(yùn)用圖像融合方法，將人臉圖像與不包含重要信息的另一人臉圖像進(jìn)行融合，使需要保護(hù)的人臉圖像逐漸轉(zhuǎn)換為另一幅圖像，從而保護(hù)了人臉圖像中的重要信息。傳統(tǒng)的直接對(duì)人臉進(jìn)行融合的方法能保證重要信息不被泄漏，但在融合的過程中人臉圖像中原有的表情會(huì)發(fā)生變化。本發(fā)明提出的方法則解決了這一問題，通過與具有相同表情的圖像進(jìn)行融合，既保護(hù)了人臉信息又保證了人臉表情不發(fā)生變化。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的在于提供一種基于表情融合的視頻隱私保護(hù)方法，旨在解決傳統(tǒng)的直接對(duì)人臉進(jìn)行融合的方法能保證重要信息不被泄漏，但在融合的過程中人臉圖像中原有的表情會(huì)發(fā)生變化的問題。本發(fā)明是這樣實(shí)現(xiàn)的，一種在視頻直播中基于表情融合的視頻隱私保護(hù)方法，所述基于表情融合的視頻隱私保護(hù)方法，在視頻直播中對(duì)人臉表情進(jìn)行檢測(cè)和識(shí)別，并根據(jù)識(shí)別結(jié)果與表情庫中具有相同表情的圖像進(jìn)行融合。經(jīng)過本方法融合之后的人臉的表情沒有發(fā)生變化，且融合后的人臉為原人臉與表情庫人臉的結(jié)合，從而在保證表情不變的情況下對(duì)視頻直播中的人臉隱私信息進(jìn)行了保護(hù)。進(jìn)一步，所述人臉圖像進(jìn)行融合的方法包括：步驟一，目標(biāo)圖像和源圖像的選擇，選擇包含需要被保護(hù)的面部表情的圖像為目標(biāo)圖像，同時(shí)選擇表情庫中與目標(biāo)圖像具有相同表情的圖像為源圖像；步驟二，選擇包含人臉表情的部分作為感興趣區(qū)域；步驟三，圖像校準(zhǔn)；步驟四，通過選擇適當(dāng)?shù)臋?quán)值對(duì)源圖像和目標(biāo)圖像R中像素點(diǎn)大小進(jìn)行加權(quán)求和，從而將兩幅圖像進(jìn)行融合。進(jìn)一步，所述圖像校準(zhǔn)具體包括：第一步，定位特征點(diǎn)，分別在目標(biāo)圖像和源圖像中手動(dòng)的選取人臉區(qū)域比較重要的特征點(diǎn)，如眼睛、鼻子和嘴巴部位，并標(biāo)記出來；第二步，仿射變換，設(shè)和分別為源圖像S和目標(biāo)圖像R中第k個(gè)相對(duì)應(yīng)的特征點(diǎn)，則該仿射變換用下式表示：A*,b*=argminA,bΣk||yk-(Axk+b)||2]]>對(duì)源圖像中的所有像素點(diǎn)都進(jìn)行該仿射變換，則經(jīng)過變換的源圖像可表示為，并且中的第k個(gè)特征點(diǎn)可表示為x‘k＝A*xk+b*；第三步，圖像重建：先將源圖像分成k個(gè)大小同為w×w的塊，每個(gè)像素?fù)碛?個(gè)通道，即3個(gè)顏色通道L*a*b和2個(gè)梯度通道，梯度通道橫向梯度與縱向梯度；對(duì)源圖像S生成全分辨率尺度空間金字塔；遍歷源圖像中所有像素點(diǎn)q，坐標(biāo)為i，j的像素點(diǎn)A，找到覆蓋像素點(diǎn)A的w×w個(gè)目標(biāo)塊，則每個(gè)塊的左上角坐標(biāo)為(i′,j′)，其中i′∈{i,…,i-w+1},j′∈{j,…,j-w+1}；采用最近鄰算法在Spyr中找到w×w個(gè)目標(biāo)塊所對(duì)應(yīng)的最匹配塊P，在最匹配塊中找到對(duì)應(yīng)點(diǎn)A的像素點(diǎn)，并在5個(gè)通道上加權(quán)求平均，完成對(duì)點(diǎn)A的更新，S‾(i′,j′,c)←S‾(i′,j′,c)+P(i′-i,j′-j,c)w2;]]>第四步，像素替換：替換重建后得到的圖像的特征點(diǎn)附近的像素點(diǎn)；權(quán)值為隨的增加線性減??；當(dāng)x＝y(tǒng)k時(shí)，而當(dāng)時(shí)‖x-yk‖>θ，其中，采用權(quán)值通過下式替換每個(gè)yk附近的像素點(diǎn)：第五步，泊松圖像編輯：對(duì)源圖像進(jìn)行泊松圖像編輯，完成最后的校準(zhǔn)：其中，I為圖像像素個(gè)數(shù)，D為在5個(gè)通道上像素點(diǎn)的距離平方和，為一個(gè)參數(shù)。所述步驟四進(jìn)一步包括：具有如下性質(zhì)：其中ρ為一個(gè)參數(shù)；則得到每一點(diǎn)的權(quán)值β(x)：Y為感性趣區(qū)域的特征點(diǎn)子集融合后的圖像P中每個(gè)像素點(diǎn)的值表示為：P(x)=β(x)R(x)+{1-β(x)}S^(x).]]>本發(fā)明提供的基于表情融合的視頻隱私保護(hù)方法，在保證表情不變的情況下，通過與表情庫中具有相同表情的人臉圖像進(jìn)行融合，由于源圖像的表情與目標(biāo)圖像一致，通過定位特征點(diǎn)，在經(jīng)過仿射變換和重建以及像素替換、泊松圖像編輯等一系列校準(zhǔn)后，源圖像的特征點(diǎn)與目標(biāo)圖像已經(jīng)相當(dāng)接近，此時(shí)再進(jìn)行特征融合，得到的目標(biāo)圖像不僅是兩幅圖像的結(jié)合，而且重要特征點(diǎn)的信息即表情特征基本沒有改變，從而在隱私保護(hù)的前提下保留了原人臉的表情信息。與以往直接對(duì)整張人臉進(jìn)行融合的方法不同，通過與表情庫中具有相同表情的圖像進(jìn)行融合，得到的融合后圖像不僅為原人臉與表情庫人臉的結(jié)合，且融合后的人臉的表情沒有發(fā)生變化，因此本方法既保護(hù)了人臉的隱私信息又保護(hù)了人臉原有的表情。附圖說明圖1是本發(fā)明實(shí)施例提供的基于表情融合的視頻隱私保護(hù)方法流程圖。圖2是本發(fā)明實(shí)施例提供的實(shí)施例1的流程圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。下面結(jié)合附圖對(duì)本發(fā)明的應(yīng)用原理作詳細(xì)的描述。最近網(wǎng)絡(luò)上的視頻直播已經(jīng)成為網(wǎng)絡(luò)達(dá)人的熱門娛樂方式，眾多網(wǎng)紅通過社交軟件進(jìn)行視頻直播與網(wǎng)友分享生活趣事，而在視頻直播中除網(wǎng)紅以外，其他人的身份信息是需要被保護(hù)不允許獲取的，同時(shí)保護(hù)后的目標(biāo)需要保持表情不變來保證直播的流暢性及完整性，因此在該情況下可運(yùn)用本發(fā)明的方法。如圖1所示，本發(fā)明實(shí)施例的基于表情融合的視頻隱私保護(hù)方法包括以下步驟：S101：建立表情數(shù)據(jù)庫，在視頻直播中通過攝像頭等攝影工具獲取人臉圖像，對(duì)獲取的圖像進(jìn)行一系列的預(yù)處理，改善圖像質(zhì)量，抑制外界干擾，盡量保留有用信息；S102：把點(diǎn)陣轉(zhuǎn)化成更高級(jí)的圖像表述比如紋理、顏色、形狀或空間結(jié)構(gòu)等，并提取出能很好表征表情變化的特征，在提取出的特征中選擇最重要的特征，并對(duì)圖像數(shù)據(jù)進(jìn)一步降維；S103：選擇合適的分類器對(duì)表情特征進(jìn)行分類，最終通過與表情庫中的7種表情投票判決完成對(duì)表情特征的分類；S104：選擇視頻直播中包含需要保護(hù)的面部區(qū)域的圖像為目標(biāo)圖像，選擇表情庫中與目標(biāo)圖像具有同一表情的圖像作為源圖像；在目標(biāo)圖像和相應(yīng)的源圖像中選擇需要保護(hù)即融合的區(qū)域，本發(fā)明選擇包含人臉表情的區(qū)域?yàn)楦信d趣區(qū)域；S105：在目標(biāo)圖像和源圖像中定位特征點(diǎn)，一般選取人臉的五官如鼻子、眼鏡、嘴巴等部位為特征點(diǎn)；分別在目標(biāo)圖像和源圖像中找到特征點(diǎn)在感興趣區(qū)域中的坐標(biāo)，通過找到目標(biāo)圖像和源圖像中對(duì)應(yīng)特征點(diǎn)之間的關(guān)系，得到一個(gè)線性變換，將該線性變換應(yīng)用到源圖像感興趣區(qū)域中的所有像素點(diǎn)，從而完成對(duì)源圖像的調(diào)整；S106：在完成仿射變換后得到的源圖像只是初步的接近于目標(biāo)圖像，通過在源圖像中遍歷搜索與投票，找到與目標(biāo)圖像中對(duì)應(yīng)點(diǎn)更接近的像素點(diǎn)；將重建后的圖像特征點(diǎn)周圍像素點(diǎn)進(jìn)行替換，使替換后的圖像更接近與目標(biāo)圖像；通過泊松方程，完成對(duì)源圖像的校準(zhǔn)，得到最接近與目標(biāo)圖像的源圖像；S107：通過選擇相應(yīng)的權(quán)值，對(duì)源圖像和目標(biāo)圖像中對(duì)應(yīng)像素點(diǎn)的值進(jìn)行加權(quán)求和，從而完成整個(gè)融合過程。下面結(jié)合具體實(shí)施例對(duì)本發(fā)明的應(yīng)用原理作進(jìn)一步的描述。實(shí)施例1：參照附圖2，本發(fā)明實(shí)施例的具體步驟如下：1.人臉表情識(shí)別過程步驟1，表情庫的建立：采用包含10個(gè)女性7種不同表情的213幅圖像的JAFFE日本成年女性人臉表情數(shù)據(jù)庫進(jìn)行表情識(shí)別，每種表情各2～4幅圖像，均為256×256的8位灰度圖像。步驟2，圖像獲取：在視頻直播中通過攝像頭或其他設(shè)備獲得連續(xù)的靜態(tài)圖像序列。步驟3，圖像預(yù)處理：對(duì)人臉圖像進(jìn)行亞采樣和灰度均衡化處理。通過亞采樣，將圖像中不相關(guān)的區(qū)域去除，只保留能夠反映表情變化如眼睛、嘴角及眉毛等面部區(qū)域。然后對(duì)圖像進(jìn)行直方圖均衡化處理，經(jīng)過均衡化后，圖像的細(xì)節(jié)更加清晰，直方圖各灰度等級(jí)的分布更平均。步驟4，特征提?。罕景l(fā)明采用PCA進(jìn)行特征提取。通過對(duì)訓(xùn)練樣本進(jìn)行主成份分析得到表征表情子空間的一組正交基，對(duì)正交基進(jìn)行取舍降維，最終得到一個(gè)特征子空間。設(shè)圖像為一個(gè)N維的矢量x，將特征歸一化，對(duì)每一維數(shù)據(jù)減去該維的均值，減去均值后得到矩陣B：計(jì)算矩陣B的協(xié)方差矩陣C：計(jì)算協(xié)方差矩陣C的特征值與特征向量，將特征值按從大到小的順序排列，對(duì)應(yīng)的特征向量也按此順序排列。選取前k個(gè)特征值對(duì)應(yīng)的特征向量構(gòu)成一個(gè)子空間，該空間就是表征人臉表情的特征子空間。步驟5，特征選擇。本發(fā)明采用Adaboost分類器對(duì)圖像特征進(jìn)行選擇，挑選出最重要的特征。訓(xùn)練樣本中包含7個(gè)類別，即S1、S2……、S7，分別選取其中的兩類Sa、Sb(a＝1，……，6；b＝2，……，7)，同時(shí)令Sa類為正樣本，Sb為負(fù)樣本。特征向量與樣本標(biāo)記構(gòu)成樣本子集(x1,y1)，……，(xn,yn)，yi取1或0分別表示正樣本和負(fù)樣本，n為Sa、Sb樣本總數(shù)。對(duì)樣本權(quán)值初始化w1,i=1/2m,yi=01/2k,yi=1]]>k與m分別為正負(fù)樣本的總數(shù)。對(duì)權(quán)值歸一化，Wt,i←wt,iΣj=1nwt,l]]>對(duì)特征向量中每個(gè)特征fj設(shè)置分類器，其中min(fj)≤θj≤max(fj)，pj為1或-1。找到所有分類器中加權(quán)誤差εt最小的分類器ht，選擇ht對(duì)應(yīng)的特征ft。對(duì)所有樣本，令ft＝0。εj＝∑iwi|hj(xj)-yj|對(duì)權(quán)值進(jìn)行更新，其中βt＝εt/1-εt，正確分類樣本時(shí)ej＝0，ej＝1。重復(fù)上述過程，直到所有對(duì)所有特征完成選擇。步驟6，特征分類。本發(fā)明采用SVM分類算法對(duì)特征進(jìn)行分類。令訓(xùn)練樣本集為(xi,yi)，xi為特征向量，yi為分類標(biāo)簽，yi取-1或1。設(shè)w和b分別為最優(yōu)分類界面的權(quán)向量與偏置，因此搜索最優(yōu)分類界面的過程如下：minw,b,ϵ12w·w+cΣi=1nϵi]]>其中，ε≥0為松弛變量，c為大于0的指定常數(shù)。找到最優(yōu)分類界面后選擇多項(xiàng)式形式的內(nèi)積核函數(shù)對(duì)樣本分類。每次選擇樣本空間中的兩類作為一個(gè)分類器，將其中一類選擇為正樣本，另一類作為負(fù)樣本。對(duì)測(cè)試樣本進(jìn)行分類，通過將樣本輸入到所有的分類器中，對(duì)每個(gè)分類器的分類結(jié)果進(jìn)行投票判決，得票數(shù)最多的類別就是樣本最終的分類結(jié)果。若出現(xiàn)類別投票數(shù)相同的情況，則根據(jù)最近鄰原則找到測(cè)試樣本與這些類別的訓(xùn)練樣本間的最小距離，該距離所對(duì)應(yīng)的類別即為最終的分類類別。2.表情融合過程：步驟1，目標(biāo)圖像和源圖像的選擇：完成人臉表情識(shí)別后，選擇包含需要被保護(hù)的面部表情的圖像為目標(biāo)圖像，同時(shí)選擇表情庫中與目標(biāo)圖像具有相同表情的圖像為源圖像。步驟2，感興趣區(qū)域選擇：圖像中并不是所有的信息都是需要融合的信息，選擇包含人臉表情的部分作為感興趣區(qū)域。步驟3，圖像校準(zhǔn)：第一步，定位特征點(diǎn)，分別在目標(biāo)圖像和源圖像中手動(dòng)的選取人臉區(qū)域比較重要的特征點(diǎn)，如眼睛、鼻子和嘴巴等部位，并標(biāo)記出來。第二步，仿射變換，設(shè)xk和yk分別為源圖像S和目標(biāo)圖像R中第k個(gè)相對(duì)應(yīng)的特征點(diǎn)，則該仿射變換可以用下式表示：A*,b*=argminA,bΣk||yk-(Axk+b)||2]]>對(duì)源圖像中的所有像素點(diǎn)都進(jìn)行該仿射變換，則經(jīng)過變換的源圖像可表示為S′，并且S′中的第k個(gè)特征點(diǎn)可表示為x‘k＝A*xk+b*。第三步，圖像重建：先將源圖像S′分成k個(gè)大小同為w×w的塊，每個(gè)像素?fù)碛?個(gè)通道，即3個(gè)顏色通道L*a*b和2個(gè)梯度通道(橫向梯度與縱向梯度)；對(duì)源圖像S生成全分辨率尺度空間金字塔Spyr；遍歷源圖像S′中所有像素點(diǎn)q，以坐標(biāo)為i，j的像素點(diǎn)A為例?？梢哉业礁采w像素點(diǎn)A的w×w個(gè)目標(biāo)塊Qi′,j′，則每個(gè)塊的左上角坐標(biāo)為(i′,j′)，其中i′∈{i,…,i-w+1},j′∈{j,…,j-w+1}；采用最近鄰算法在Spyr中找到w×w個(gè)目標(biāo)塊所對(duì)應(yīng)的最匹配塊P，在這些最匹配塊中找到對(duì)應(yīng)點(diǎn)A的像素點(diǎn)，并在5個(gè)通道上加權(quán)求平均，完成對(duì)點(diǎn)A的更新。S‾(i′,j′,c)←S‾(i′,j′,c)+P(i′-i,j′-j,c)w2]]>第四步，像素替換：替換重建后得到的圖像的特征點(diǎn)附近的像素點(diǎn)。權(quán)值為隨的增加線性減??；當(dāng)x＝y(tǒng)k時(shí)，而當(dāng)時(shí)‖x-yk‖>θ，其中，采用權(quán)值通過下式替換每個(gè)yk附近的像素點(diǎn)：第五步，泊松圖像編輯：對(duì)源圖像進(jìn)行泊松圖像編輯，完成最后的校準(zhǔn)：其中，I為圖像像素個(gè)數(shù)，D為在5個(gè)通道上像素點(diǎn)的距離平方和，為一個(gè)參數(shù)。所述步驟四進(jìn)一步包括：具有如下性質(zhì)；其中ρ為一個(gè)參數(shù)；則得到每一點(diǎn)的權(quán)值β(x)：Y為感性趣區(qū)域的特征點(diǎn)子集融合后的圖像P中每個(gè)像素點(diǎn)的值表示為：P(x)=β(x)R(x)+{1-β(x)}S^(x).]]>以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3