欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)與流程

文檔序號(hào):12888107閱讀:206來(lái)源:國(guó)知局
圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)與流程

本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域,具體涉及一種圖像處理方法、裝置、

電子設(shè)備及存儲(chǔ)介質(zhì)。



背景技術(shù):

隨著網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的發(fā)展,人臉交換逐漸成為人們社交娛樂的新熱點(diǎn),多種具備換臉功能的應(yīng)用被開發(fā)出來(lái),為人們的娛樂生活帶來(lái)了樂趣。

現(xiàn)有技術(shù),往往通過對(duì)靜態(tài)圖像中人臉區(qū)域進(jìn)行人臉識(shí)別,然后對(duì)原始圖像的人臉區(qū)域進(jìn)行摳圖,并擺放到目標(biāo)圖像中,再進(jìn)行人臉融合或自然化等處理將圖像變得自然,實(shí)現(xiàn)對(duì)人臉的交換。然而,由于交換后的圖像與原圖像中的臉部特征具有一定差異,導(dǎo)致圖像效果不佳。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明實(shí)施例提供一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),用于解決圖像處理人臉交換時(shí),具有圖像效果不佳的問題。

本發(fā)明實(shí)施例第一方面提供一種圖像處理方法,包括:

獲取輸入圖像中的第一人臉圖像;

提取所述第一人臉圖像的人臉特征;

根據(jù)所述人臉特征確定所述第一人臉圖像的表征向量;

根據(jù)所述表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像;

根據(jù)所述目標(biāo)人臉圖像對(duì)所述第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。結(jié)合本發(fā)明實(shí)施例第一方面,在本發(fā)明實(shí)施例第一方面的第一種可能的實(shí)現(xiàn)方式中,所述表征向量包含n個(gè)維度,所述n為大于1的整數(shù);所述根據(jù)所述人臉特征確定所述第一人臉圖像的表征向量,包括:

估算所述人臉特征得到所述n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,得到m個(gè)表征概率值,所述m大于或等于所述n;

對(duì)所述m個(gè)表征概率值進(jìn)行加權(quán)處理,得到所述表征向量。

結(jié)合本發(fā)明實(shí)施例第一方面的第一種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第一方面的第二種可能的實(shí)現(xiàn)方式中,所述估算所述人臉特征得到所述n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,包括:

將所述人臉特征與目標(biāo)維度的特征參數(shù)進(jìn)行匹配,得到多個(gè)匹配值,所述目標(biāo)維度為所述表征向量中的任一維度;

將所述多個(gè)匹配值中大于或等于預(yù)設(shè)閾值的匹配值作為所述目標(biāo)維度對(duì)應(yīng)的表征概率值。

結(jié)合本發(fā)明實(shí)施例第一方面、第一方面的第一種可能的實(shí)現(xiàn)方式或第一方面的第二種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第一方面的第三種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述目標(biāo)人臉圖像對(duì)所述第一人臉圖像進(jìn)行換臉處理,得到輸出圖像,包括:

將所述目標(biāo)人臉圖像中的第二人臉圖像進(jìn)行預(yù)處理,得到第三人臉圖像;

將所述第三人臉圖像的人臉特征替換為所述第一人臉圖像的人臉特征,得到第四人臉圖像;

通過損失函數(shù)修正所述第四人臉圖像,得到第五人臉圖像;

將所述第五人臉圖像與所述目標(biāo)人臉圖像中除了所述第二人臉圖像之外的圖像進(jìn)行貼合,得到所述輸出圖像。

結(jié)合本發(fā)明實(shí)施例第一方面的第三種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第一方面的第四種可能的實(shí)現(xiàn)方式中,所述預(yù)處理至少包括臉部對(duì)齊處理;在所述得到第四人臉圖像之后,所述方法還包括:

將所述第四人臉圖像進(jìn)行反臉部對(duì)齊處理,得到第六人臉圖像;

通過所述損失函數(shù)修正所述第六人臉圖像,得到所述第五人臉圖像。

本發(fā)明實(shí)施例第二方面提供一種圖像處理裝置,包括:

獲取單元,用于獲取輸入圖像中的第一人臉圖像;

提取單元,用于提取所述第一人臉圖像的人臉特征;

第一確定單元,根據(jù)所述人臉特征確定所述第一人臉圖像的表征向量;

第二確定單元,用于根據(jù)所述表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像;

換臉單元,用于根據(jù)所述目標(biāo)人臉圖像對(duì)所述第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。

結(jié)合本發(fā)明實(shí)施例第二方面,在本發(fā)明實(shí)施例第二方面的第一種可能的實(shí)現(xiàn)方式中,所述表征向量包含n個(gè)維度,所述n為大于1的整數(shù);所述裝置還包括:

估算單元,用于估算所述人臉特征得到所述n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,得到m個(gè)表征概率值,所述m大于或等于所述n,由第一確定單元對(duì)所述m個(gè)表征概率值進(jìn)行加權(quán)處理,得到所述表征向量。

結(jié)合本發(fā)明實(shí)施例第二方面的第一種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第二方面的第二種可能的實(shí)現(xiàn)方式中,所述估算單元具體用于將所述人臉特征與目標(biāo)維度的特征參數(shù)進(jìn)行匹配,得到多個(gè)匹配值,所述目標(biāo)維度為所述表征向量中的任一維度;將所述多個(gè)匹配值中大于或等于預(yù)設(shè)閾值的匹配值作為所述目標(biāo)維度對(duì)應(yīng)的表征概率值。

結(jié)合本發(fā)明實(shí)施例第二方面、第二方面的第一種可能的實(shí)現(xiàn)方式或第二方面的第二種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第二方面的第三種可能的實(shí)現(xiàn)方式中,所述換臉單元包括:

預(yù)處理單元,用于將所述目標(biāo)人臉圖像中的第二人臉圖像進(jìn)行預(yù)處理,得到第三人臉圖像;

替換單元,用于將所述第三人臉圖像的人臉特征替換為所述第一人臉圖像的人臉特征,得到第四人臉圖像;

修正單元,用于通過損失函數(shù)修正所述第四人臉圖像,得到第五人臉圖像;

貼合單元,用于將所述第五人臉圖像與所述目標(biāo)人臉圖像中除了所述第二人臉之外的圖像進(jìn)行貼合,得到所述輸出圖像。

結(jié)合本發(fā)明實(shí)施例第二方面的第三種可能的實(shí)現(xiàn)方式,在本發(fā)明實(shí)施例第二方面的第四種可能的實(shí)現(xiàn)方式中,所述預(yù)處理至少包括臉部對(duì)齊處理;

所述換臉單元還包括:

反對(duì)齊單元,用于將所述第四人臉圖像進(jìn)行反臉部對(duì)齊處理,得到第六人臉圖像,并由所述貼合單元通過損失函數(shù)修正所述第六人臉圖像,得到所述第五人臉圖像。

本發(fā)明實(shí)施例第三方面提供了一種電子設(shè)備,包括:殼體、處理器、存儲(chǔ)器、電路板和電源電路,其中,電路板安置在殼體圍成的空間內(nèi)部,處理器和存儲(chǔ)器設(shè)置在電路板上;電源電路,用于為電子設(shè)備的各個(gè)電路或器件供電;存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼;處理器通過讀取存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,以用于執(zhí)行本發(fā)明實(shí)施例第一方面提供的一種圖像處理方法。

本發(fā)明實(shí)施例第四方面提供了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其中,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明實(shí)施例第一方面提供的一種圖像處理方法。

本發(fā)明實(shí)施例第五方面提供了一種應(yīng)用程序,其中,該應(yīng)用程序用于在運(yùn)行時(shí)執(zhí)行本發(fā)明實(shí)施例第一方面提供的一種圖像處理方法。

本發(fā)明實(shí)施例中,獲取輸入圖像中的第一人臉圖像,提取第一人臉圖像的人臉特征,根據(jù)人臉特征確定第一人臉圖像的表征向量,根據(jù)表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像,根據(jù)目標(biāo)人臉圖像對(duì)第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。由于根據(jù)人臉特征獲取的表征向量確定目標(biāo)人臉圖像,則目標(biāo)人臉圖像是在預(yù)設(shè)人臉圖像庫(kù)中與第一人臉圖像最匹配的人臉圖像,從而提高了換臉后的圖像效果,增強(qiáng)了趣味性,且不需手動(dòng)選擇目標(biāo)人臉圖像,提高了操作的便利性。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例提供的一種圖像處理方法的流程圖;

圖2是本發(fā)明實(shí)施例提供的一種圖像處理方法的場(chǎng)景圖;

圖3是本發(fā)明實(shí)施例提供的一種圖像換臉的示意圖;

圖4是本發(fā)明實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)圖;

圖4a是本發(fā)明實(shí)施例提供的一種換臉單元的結(jié)構(gòu)圖;

圖5是本發(fā)明實(shí)施例提供的一種電子設(shè)備的結(jié)構(gòu)圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明的說(shuō)明書和權(quán)利要求書及附圖中的術(shù)語(yǔ)“第一”、“第二”和“第三”等是用于區(qū)別不同對(duì)象,而不是用于描述特定順序。此外,術(shù)語(yǔ)“包括”和“具有”以及它們?nèi)魏巫冃危鈭D在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒有限定于已列出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對(duì)于這些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。

在本文中提及“實(shí)施例”意味著,結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性可以包含在本發(fā)明的至少一個(gè)實(shí)施例中。在說(shuō)明書中的各個(gè)位置出現(xiàn)該短語(yǔ)并不一定均是指相同的實(shí)施例,也不是與其它實(shí)施例互斥的獨(dú)立的或備選的實(shí)施例。本領(lǐng)域技術(shù)人員顯式地和隱式地理解的是,本文所描述的實(shí)施例可以與其它實(shí)施例相結(jié)合。

本發(fā)明實(shí)施例所描述的電子設(shè)備可以包括智能手機(jī)(如android手機(jī))、平板電腦、掌上電腦、筆記本電腦、移動(dòng)互聯(lián)網(wǎng)設(shè)備(mid,mobileinternetdevices)或穿戴式設(shè)備等電子設(shè)備,上述設(shè)備僅是舉例,而非窮舉,包含但不限于上述電子設(shè)備。

本發(fā)明實(shí)施例提供一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì),用于解決圖像處理人臉交換時(shí),具有圖像效果不佳的問題。以下分別進(jìn)行詳細(xì)說(shuō)明。

請(qǐng)參閱圖1,圖1是本發(fā)明實(shí)施例提供的一種圖像處理方法的流程圖,該圖像處理方法可以包括以下步驟。

101、獲取輸入圖像中的第一人臉圖像。

本發(fā)明實(shí)施例基于人臉交換的場(chǎng)景,當(dāng)輸入圖像中的包含第一人臉圖像時(shí),執(zhí)行步驟102,否則結(jié)束,或者向用戶發(fā)送重新上傳輸入圖像的指令。

本實(shí)施例中,可采用hog(histogramoforientedgradient,方向梯度直方圖)、lbp(localbinarypattern,局部二值模式)、gabor小波變換、類哈爾(haar-like)等特征提取算法進(jìn)行人臉識(shí)別,對(duì)于具體的特征提取算法不作限定。

可選的,提取輸入圖像的特征值,根據(jù)特征值對(duì)輸入圖像進(jìn)行積分處理得到積分圖像;采用自適應(yīng)增強(qiáng)算法區(qū)分積分圖像中的人臉和非人臉的強(qiáng)分類器;采用瀑布型級(jí)聯(lián)分類器將人臉的強(qiáng)分類器級(jí)聯(lián)起來(lái),得到人臉圖像;判斷得到的人臉圖像是否為第一人臉圖像,若是,則確定獲取輸入圖像中的第一人臉圖像,執(zhí)行步驟102。采用本方法,在多種尺度下用相同的時(shí)間計(jì)算不同的特征,可迅速淘汰大量待檢測(cè)區(qū)域,降低了平均檢測(cè)開銷,從而提高人臉識(shí)別的效率。

需要說(shuō)明的是,輸入圖像可以上傳在服務(wù)器端,也可導(dǎo)入本地端。其中,將輸入圖像上傳至服務(wù)器端,打破了本地存儲(chǔ)的圖像庫(kù)的局限性,擴(kuò)大了預(yù)設(shè)人臉圖像庫(kù)中的人臉圖像的數(shù)量,利于提高換臉圖像的準(zhǔn)確性。

本實(shí)施例中,以第一人臉圖像為例,當(dāng)輸入圖像中包含多個(gè)人臉圖像時(shí),如,第二人臉圖像和第三人臉圖像等等,可依照本發(fā)明實(shí)施例的方法依序處理即可。

102、提取第一人臉圖像的人臉特征。

本發(fā)明實(shí)施例中,提取第一人臉圖像的人臉特征可采用人臉識(shí)別的深度學(xué)習(xí)框架,對(duì)于人臉圖像的部份提取不同的尺度特征,經(jīng)過類神經(jīng)網(wǎng)絡(luò)的分類器加以分類,最后得到各種不同的人臉圖像的特征,這些特征包括性別、情緒、五官狀態(tài)、與其他圖像中的人臉圖像的相似程度等。

103、根據(jù)人臉特征確定第一人臉圖像的表征向量。

本發(fā)明實(shí)施例中,表征向量包括表情特征、性別特征和五官特征等多個(gè)維度。以表征向量中的目標(biāo)維度為例,目標(biāo)維度為表征向量中的任一維度??蛇x的,將人臉特征與目標(biāo)維度的特征參數(shù)進(jìn)行匹配,得到多個(gè)匹配值;將多個(gè)匹配值中大于或等于預(yù)設(shè)閾值的匹配值作為目標(biāo)維度對(duì)應(yīng)的表征概率值。

其中,對(duì)于表征概率值的具體形式不作限定,可為百分?jǐn)?shù)或者小數(shù)。也就是說(shuō),分別將第一人臉圖像的人臉特征與每個(gè)維度的特征參數(shù)進(jìn)行匹配得到多個(gè)匹配值,選取每個(gè)維度中大于或等于預(yù)設(shè)閾值的匹配值作為該維度對(duì)應(yīng)的表征概率值,且以概率的方式來(lái)描述人臉特征,從而提高人臉特征描述的準(zhǔn)確率。

舉例來(lái)說(shuō),假設(shè)預(yù)設(shè)閾值為10%,表征向量包括表情特征、性別特征和五官特征。如圖2所示的綠巨人洛克的圖像中,獲取洛克的人臉特征,將洛克的人臉特征分別與表情特征、性別特征和五官特征中的特征參數(shù)進(jìn)行匹配,特征參數(shù)如生氣、高興、難過、男性、女性、雙眼皮、高鼻梁、沒有佩戴眼鏡、方臉等等。得到80%的生氣表情特征、5%的難過表情特征、98%的男性性別特征、2%的女性性別特征、70%的方臉五官特征,沒有眼鏡的概率為100%,由于預(yù)設(shè)閾值為10%,則洛克的表征向量為{生氣80%,男性98%,方臉70%,沒有眼鏡100%}。

再舉一個(gè)例來(lái)說(shuō),輸入圖像中識(shí)別出一張稍微難過的人臉圖像,獲得“難過”和“困惑”兩種表情特征,其中難過的表征概率值為80%,困惑的表征概率值為20%,則通過表征概率值來(lái)描述人臉特征包括了所以可能的表情信息,從而提高人臉特征描述的準(zhǔn)確率。

可選的,估算人臉特征得到n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,得到m個(gè)表征概率值;對(duì)m個(gè)表征概率值進(jìn)行加權(quán)處理,得到表征向量。其中,m大于或等于n。也就是說(shuō),綜合考慮各種不同的人臉特征,做出最適配的決策,從而提高判斷人臉表情的準(zhǔn)確性。

舉例來(lái)說(shuō),表情特征為開心的概率為60%,但動(dòng)作特征為微笑的概率有80%,則可以提高開心表情特征的權(quán)重,將開心表情特征的表征概率值加權(quán)得到80%?;蛘呶骞偬卣髦斜砬樘卣鳛槔淇岬母怕蕿?0%,帶太陽(yáng)眼鏡的概率為75%,并且有留山羊胡80%的機(jī)率值,則可提高冷酷表情特征的權(quán)重,將冷酷表情特征的表征概率值加權(quán)得到80%。

104、根據(jù)表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像。

在本實(shí)施例中,預(yù)設(shè)人臉圖像庫(kù)包括多種類型的人臉圖像,根據(jù)表征向量可從預(yù)設(shè)人臉圖像庫(kù)中選擇至少一個(gè)目標(biāo)人臉圖像。當(dāng)確定多個(gè)目標(biāo)人臉圖像時(shí),可接收用戶發(fā)送的指定換臉圖像指令,從而確定最終轉(zhuǎn)換的目標(biāo)人臉圖像,也可全部進(jìn)行轉(zhuǎn)換后供用戶選擇。

可選的,將輸入圖像經(jīng)過類神經(jīng)網(wǎng)絡(luò)訓(xùn)練的圖像生成網(wǎng)絡(luò),圖像生成網(wǎng)絡(luò)根據(jù)輸入圖像的表征向量和預(yù)設(shè)人臉圖像庫(kù)輸出目標(biāo)人臉圖像。

105、根據(jù)目標(biāo)人臉圖像對(duì)第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。

在本實(shí)施例中,將目標(biāo)人臉圖像中的第二人臉的人臉特征替換為輸入圖像中的第一人臉圖像的人臉特征得到輸出圖像。也就是說(shuō),輸出圖像與目標(biāo)人臉圖像區(qū)別在于人臉圖像。

舉例來(lái)說(shuō),如圖2所示的圖像處理方法的場(chǎng)景示意圖,輸入圖像中的第一人臉圖像為特普朗的圖像,獲取特普朗的圖像的人臉特征,確定特普朗的圖像的人臉特征的表征向量{生氣80%,男性98%,方臉70%,沒有眼鏡100%},假設(shè)預(yù)設(shè)人臉圖像庫(kù)中包括綠巨人洛克、女超人和葉問,則經(jīng)過表征向量與預(yù)設(shè)人臉圖像庫(kù)中的人臉圖像的表征向量確定目標(biāo)人臉圖像為洛克,將特普朗的圖像與洛克的圖像進(jìn)行換臉處理,可看出輸出圖像中洛克的臉換成了特普朗的臉。

可選的,將目標(biāo)人臉圖像中的第二人臉圖像進(jìn)行預(yù)處理,得到第三人臉圖像;將第三人臉圖像的人臉特征替換為第一人臉圖像的人臉特征,得到第四人臉圖像;通過損失函數(shù)修正第四人臉圖像,得到第五人臉圖像;將第五人臉圖像與目標(biāo)人臉圖像中除了第二人臉圖像之外的圖像進(jìn)行貼合,得到輸出圖像。

其中,預(yù)處理可以是對(duì)臉部對(duì)齊處理、圖像增強(qiáng)和歸一化等工作。對(duì)第二人臉圖像進(jìn)行臉部對(duì)齊處理,可得到人臉位置端正的人臉圖像,對(duì)轉(zhuǎn)換后的第二人臉圖像進(jìn)行反對(duì)齊處理,可得到與目標(biāo)人臉圖像對(duì)應(yīng)的圖像中的第二人臉圖像的人臉位置一致的人臉圖像,從而增強(qiáng)了圖像效果。圖像增強(qiáng)是為了改善人臉圖像的質(zhì)量,不僅在視覺上更加清晰圖像,而且使圖像更利于計(jì)算機(jī)的處理與識(shí)別;歸一化工作的目標(biāo)是取得尺寸一致,灰度取值范圍相同的標(biāo)準(zhǔn)化人臉圖像,從而進(jìn)一步提高圖像效果。

當(dāng)預(yù)處理為臉部對(duì)齊處理時(shí),為了保證輸出圖像與目標(biāo)人臉圖像中人臉方向一致,還需將第四人臉圖像進(jìn)行反臉部對(duì)齊處理??蛇x的,將第四人臉圖像進(jìn)行反臉部對(duì)齊處理,得到第六人臉圖像;通過損失函數(shù)修正第六人臉圖像,得到第五人臉圖像,從而提高圖像效果。

其中,損失函數(shù)為經(jīng)過類神經(jīng)網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)圖像,用來(lái)修正換臉處理后的圖像損耗,從而提高圖像效果。

需要說(shuō)明的是,替換后的第二人臉圖像沒有清除第二人臉圖像的人臉特征,也就是說(shuō),轉(zhuǎn)換后的第二人臉圖像融合了第一人臉圖像的人臉特征和第二人臉圖像特征。

舉例來(lái)說(shuō),如圖3所示的圖像換臉的示意圖,第三人臉圖像是將目標(biāo)人臉圖像的第二人臉圖像進(jìn)行臉部對(duì)齊處理得到的,第四人臉圖像是將第三人臉圖像的人臉特征替換為輸入圖像的第一人臉圖像的人臉特征得到的,第六人臉圖像是將第四人臉圖像進(jìn)行反臉部對(duì)齊處理,通過損失函數(shù)修正第六人臉圖像得到第五人臉圖像,可提高圖像效果,再將第五人臉圖像與目標(biāo)人臉圖像中除了第二人臉圖像之外的圖像進(jìn)行貼合得到輸出圖像,從而提高了換臉后的圖像效果,增強(qiáng)了趣味性。

在圖1所描述的圖像處理方法中,根據(jù)人臉特征獲取的表征向量確定目標(biāo)人臉圖像,則目標(biāo)人臉圖像是在預(yù)設(shè)人臉圖像庫(kù)中與第一人臉圖像最匹配的人臉圖像,從而提高了換臉后的圖像效果,增強(qiáng)了趣味性,且不需手動(dòng)選擇目標(biāo)人臉圖像,提高了操作的便利性。

請(qǐng)參閱圖4,圖4是本發(fā)明實(shí)施例提供的一種圖像處理裝置的結(jié)構(gòu)圖,該圖像處理裝置400可以包括:

獲取單元401,用于獲取輸入圖像中的第一人臉圖像。

提取單元402,用于提取第一人臉圖像的人臉特征。

第一確定單元403,用于根據(jù)人臉特征確定第一人臉圖像的表征向量。

第二確定單元404,用于根據(jù)表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像。

換臉單元405,用于根據(jù)目標(biāo)人臉圖像對(duì)第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。

在圖4所描述的圖像處理裝置中,根據(jù)人臉特征獲取的表征向量確定目標(biāo)人臉圖像,則目標(biāo)人臉圖像是在預(yù)設(shè)人臉圖像庫(kù)中與第一人臉圖像最匹配的人臉圖像,從而提高了換臉后的圖像效果,增強(qiáng)了趣味性,且不需手動(dòng)選擇目標(biāo)人臉圖像,提高了操作的便利性。

可選的,表征向量包含n個(gè)維度,n為大于1的整數(shù);裝置400還包括:

估算單元406,用于估算人臉特征得到n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,得到m個(gè)表征概率值,由第一確定單元403對(duì)m個(gè)表征概率值進(jìn)行加權(quán)處理,得到表征向量。

其中,m大于或等于n。也就是說(shuō),綜合考慮各種不同的人臉特征,做出最適配的決策,從而提高判斷人臉表情的準(zhǔn)確性。

可選的,估算單元406具體用于將人臉特征與目標(biāo)維度的特征參數(shù)進(jìn)行匹配,得到多個(gè)匹配值,目標(biāo)維度為表征向量中的任一維度;將多個(gè)匹配值中大于或等于預(yù)設(shè)閾值的匹配值作為目標(biāo)維度對(duì)應(yīng)的表征概率值。

其中,對(duì)于表征概率值的具體形式不作限定,可為百分?jǐn)?shù)或者小數(shù)。也就是說(shuō),分別將第一人臉圖像的人臉特征與每個(gè)維度的特征參數(shù)進(jìn)行匹配得到多個(gè)匹配值,選取每個(gè)維度中大于或等于預(yù)設(shè)閾值的匹配值作為該維度對(duì)應(yīng)的表征概率值,且以概率的方式來(lái)描述人臉特征,從而提高人臉特征描述的準(zhǔn)確率。

可選的,如圖4a所示,換臉單元405包括:

預(yù)處理單元415,用于將目標(biāo)人臉圖像中的第二人臉圖像進(jìn)行預(yù)處理,得到第三人臉圖像;

替換單元425,用于將第三人臉圖像的人臉特征替換為第一人臉圖像的人臉特征,得到第四人臉圖像;

修正單元435,用于通過損失函數(shù)修正第四人臉圖像,得到第五人臉圖像;

貼合單元445,用于將第五人臉圖像與目標(biāo)人臉圖像中除了第二人臉之外的圖像進(jìn)行貼合,得到輸出圖像。

其中,預(yù)處理可以是對(duì)臉部對(duì)齊處理、圖像增強(qiáng)和歸一化等工作。對(duì)第二人臉圖像進(jìn)行臉部對(duì)齊處理,可得到人臉位置端正的人臉圖像,對(duì)轉(zhuǎn)換后的第二人臉圖像進(jìn)行反對(duì)齊處理,可得到與目標(biāo)人臉圖像對(duì)應(yīng)的圖像中的第二人臉圖像的人臉位置一致的人臉圖像,從而增強(qiáng)了圖像效果。圖像增強(qiáng)是為了改善人臉圖像的質(zhì)量,不僅在視覺上更加清晰圖像,而且使圖像更利于計(jì)算機(jī)的處理與識(shí)別;歸一化工作的目標(biāo)是取得尺寸一致,灰度取值范圍相同的標(biāo)準(zhǔn)化人臉圖像,從而進(jìn)一步提高圖像效果。

其中,損失函數(shù)為經(jīng)過類神經(jīng)網(wǎng)絡(luò)訓(xùn)練的網(wǎng)絡(luò)圖像,用來(lái)修正換臉處理后的圖像損耗,從而提高圖像效果。

可選的,預(yù)處理至少包括臉部對(duì)齊處理;如圖4a所示,換臉單元405還包括:

反對(duì)齊單元455,用于將第四人臉圖像進(jìn)行反臉部對(duì)齊處理,得到第六人臉圖像,并由貼合單元445通過損失函數(shù)修正第六人臉圖像,得到第五人臉圖像。

當(dāng)預(yù)處理為臉部對(duì)齊處理時(shí),還需將第四人臉圖像進(jìn)行反臉部對(duì)齊處理,從而保證輸出圖像與目標(biāo)人臉圖像中人臉方向一致,提高圖像效果。

請(qǐng)參閱圖5,圖5是本發(fā)明實(shí)施例公開的一種電子設(shè)備。其中,電子設(shè)備可以為手機(jī)、平板電腦等。如圖5所示,該電子設(shè)備可以包括殼體501、處理器502、存儲(chǔ)器503、電路板504和電源電路505,其中,電路板504安置在殼體圍成的空間內(nèi)部,處理器502和存儲(chǔ)器503設(shè)置在電路板504上;電源電路505,用于為電子設(shè)備的各個(gè)電路或器件供電;存儲(chǔ)器503用于存儲(chǔ)可執(zhí)行程序代碼;處理器502通過讀取存儲(chǔ)器503中存儲(chǔ)的可執(zhí)行程序代碼來(lái)運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序,以用于執(zhí)行以下步驟:

獲取輸入圖像中的第一人臉圖像;

提取第一人臉圖像的人臉特征;

根據(jù)人臉特征確定第一人臉圖像的表征向量;

根據(jù)表征向量從預(yù)設(shè)人臉圖像庫(kù)中確定目標(biāo)人臉圖像;

根據(jù)目標(biāo)人臉圖像對(duì)第一人臉圖像進(jìn)行換臉處理,得到輸出圖像。

作為一種可能的實(shí)施方式,表征向量包含n個(gè)維度,n為大于1的整數(shù);在根據(jù)人臉特征確定第一人臉圖像的表征向量方面,處理器502具體用于執(zhí)行以下操作:

估算人臉特征得到n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值,得到m個(gè)表征概率值,m大于或等于n;

對(duì)m個(gè)表征概率值進(jìn)行加權(quán)處理,得到表征向量。

作為一種可能的實(shí)施方式,在估算人臉特征得到n個(gè)維度中每一維度對(duì)應(yīng)的至少1個(gè)表征概率值方面,處理器502具體用于執(zhí)行以下操作:

將人臉特征與目標(biāo)維度的特征參數(shù)進(jìn)行匹配,得到多個(gè)匹配值,目標(biāo)維度為表征向量中的任一維度;

將多個(gè)匹配值中大于或等于預(yù)設(shè)閾值的匹配值作為目標(biāo)維度對(duì)應(yīng)的表征概率值。

作為一種可能的實(shí)施方式,在根據(jù)目標(biāo)人臉圖像對(duì)第一人臉圖像進(jìn)行換臉處理,得到輸出圖像方面,處理器502具體用于執(zhí)行以下操作:

將目標(biāo)人臉圖像中的第二人臉圖像進(jìn)行預(yù)處理,得到第三人臉圖像;

將第三人臉圖像的人臉特征替換為第一人臉圖像的人臉特征,得到第四人臉圖像;

通過損失函數(shù)修正第四人臉圖像,得到第五人臉圖像;

將第五人臉圖像與目標(biāo)人臉圖像中除了第二人臉圖像之外的圖像進(jìn)行貼合,得到輸出圖像。

作為一種可能的實(shí)施方式,預(yù)處理至少包括臉部對(duì)齊處理;在得到第四人臉圖像之后,處理器502還用于執(zhí)行以下操作:

將第四人臉圖像進(jìn)行反臉部對(duì)齊處理,得到第六人臉圖像;

通過損失函數(shù)修正第六人臉圖像,得到第五人臉圖像。

在圖5所描述的電子設(shè)備中,根據(jù)人臉特征獲取的表征向量確定目標(biāo)人臉圖像,則目標(biāo)人臉圖像是在預(yù)設(shè)人臉圖像庫(kù)中與第一人臉圖像最匹配的人臉圖像,從而提高了換臉后的圖像效果,增強(qiáng)了趣味性,且不需手動(dòng)選擇目標(biāo)人臉圖像,提高了操作的便利性。

在一個(gè)實(shí)施例中提供了一種非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其中,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)實(shí)施例一的圖像處理方法。

在一個(gè)實(shí)施例中提供了一種應(yīng)用程序,該應(yīng)用程序用于在運(yùn)行時(shí)執(zhí)行實(shí)施例一的圖像處理方法。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng),裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,模塊或單元的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機(jī)械或其它的形式。

作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上??梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。

另外,在本申請(qǐng)各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中,也可以是各個(gè)單元單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能單元的形式實(shí)現(xiàn)。

集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:u盤、移動(dòng)硬盤、只讀存儲(chǔ)器(readonlymemory;以下簡(jiǎn)稱:rom)、隨機(jī)存取存儲(chǔ)器(randomaccessmemory;以下簡(jiǎn)稱:ram)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

以上,僅為本申請(qǐng)的具體實(shí)施方式,但本申請(qǐng)的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本申請(qǐng)揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵蓋在本申請(qǐng)的保護(hù)范圍之內(nèi)。因此,本申請(qǐng)的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。

當(dāng)前第1頁(yè)1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
济南市| 广安市| 酉阳| 卢湾区| 溧阳市| 卫辉市| 西林县| 正阳县| 竹山县| 彭州市| 白朗县| 宁强县| 泾川县| 余姚市| 武鸣县| 肇州县| 常宁市| 炎陵县| 公主岭市| 澎湖县| 玛纳斯县| 北京市| 汉源县| 石柱| 邯郸县| 香河县| 永川市| 晋中市| 苏尼特左旗| 清远市| 驻马店市| 永康市| 宜兰县| 南宁市| 娄烦县| 尖扎县| 双辽市| 岐山县| 靖边县| 门源| 孙吴县|