本發(fā)明涉及視頻編解碼領(lǐng)域,特別涉及一種人臉特征點(diǎn)的編解碼方法、設(shè)備及系統(tǒng)。
背景技術(shù):
近年來(lái),隨著視頻行業(yè)及智能手機(jī)的高速發(fā)展,例如facetime、tango等的應(yīng)用使多媒體通信在移動(dòng)終端上普及,通過(guò)視頻通話實(shí)現(xiàn)與他人之間的交互將會(huì)越來(lái)越普及。但是視頻電話使得多媒體數(shù)據(jù)急劇增長(zhǎng),并且在傳輸過(guò)程中占用大量帶寬,所以需要能夠一種降低視頻通話過(guò)程中的數(shù)據(jù)量,減少碼流對(duì)傳輸帶寬的占用的編解碼方法。
現(xiàn)有技術(shù)中,為了提高對(duì)視頻幀中人臉的壓縮效率,有研究人員針對(duì)人臉視頻的特征,提出了一系列基于模型的視頻編碼方法。這類(lèi)方法通過(guò)對(duì)人臉建模,實(shí)現(xiàn)對(duì)視頻中人臉的參數(shù)化表征,使得在傳輸視頻時(shí)只需要傳輸模型的一些參數(shù)就可以在接收端利用人臉模型重建出目標(biāo)。與一般通用視頻編碼方法相比,這種方法通過(guò)利用模型的先驗(yàn)信息降低了視頻傳輸數(shù)據(jù)量,節(jié)省了帶寬資源。
但是,使用這種壓縮方法壓縮得出的模型參數(shù)向量在時(shí)域變化緩慢,視頻中前后幀的人臉模型參數(shù)仍然具有很大的冗余度和壓縮空間,仍不能滿足用戶對(duì)視頻通話降低數(shù)據(jù)量以及減少碼流對(duì)傳輸帶寬的占用的要求。
技術(shù)實(shí)現(xiàn)要素:
為了降低人臉特征點(diǎn)編解碼的空間冗余,降低視頻編碼數(shù)據(jù),提高編碼效 率,本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法、設(shè)備及系統(tǒng)。所述技術(shù)方案如下:
第一方面,提供了一種人臉特征點(diǎn)的編解碼方法,所述方法包括:
發(fā)送方獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
所述發(fā)送方對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
所述發(fā)送方將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方;
所述接收方解碼所述編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值;以及
所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
結(jié)合第一方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值包括:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
結(jié)合第一方面,在第三種可能的實(shí)現(xiàn)方式中,所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉包括:
所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
第二方面,提供了一種人臉特征點(diǎn)的編碼方法,所述方法包括:
獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他設(shè)備。
結(jié)合第二方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值包括:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
第三方面,提供了一種人臉特征點(diǎn)的解碼方法,所述方法包括:
接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
結(jié)合第三方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第三方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉包括:
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
第四方面,提供了一種電子設(shè)備,所述設(shè)備包括:
特征點(diǎn)信息獲取模塊,用于獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
差值計(jì)算模塊,用于計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
編碼模塊,用于對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
發(fā)送模塊,用于發(fā)送編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值。
結(jié)合第四方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述差值計(jì)算模塊具體用于:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
第五方面,提供了一種電子設(shè)備,所述設(shè)備包括:
接收模塊,用于接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼模塊,用于解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
人臉生成模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
結(jié)合第五方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第五方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述人臉生成模塊包括:
預(yù)測(cè)子模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
人臉生成子模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
第六方面,提供了一種電子設(shè)備,所述電子設(shè)備包括顯示屏、攝像頭、發(fā)送/接收模塊、存儲(chǔ)器以及與所述顯示屏、所述攝像頭、所述發(fā)送/接收模塊、所述存儲(chǔ)器連接的處理器,其中,所述存儲(chǔ)器用于存儲(chǔ)一組程序代碼,所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他設(shè)備。
結(jié)合第六方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第六方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
第七方面,提供了一種電子設(shè)備,所述電子設(shè)備包括顯示屏、攝像頭、發(fā)送/接收模塊、存儲(chǔ)器以及與所述顯示屏、所述攝像頭、所述發(fā)送/接收模塊、所述存儲(chǔ)器連接的處理器,其中,所述存儲(chǔ)器用于存儲(chǔ)一組程序代碼,所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
結(jié)合第七方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第七方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述處理器調(diào)用所述存儲(chǔ)器所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
第八方面,提供了一種人臉特征點(diǎn)的編解碼系統(tǒng),所述系統(tǒng)包括第一電子設(shè)備和第二電子設(shè)備,其中,
所述第一電子設(shè)備包括:
特征點(diǎn)信息獲取模塊,用于獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
差值計(jì)算模塊,用于計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
編碼模塊,用于對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
發(fā)送模塊,用于發(fā)送編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值;
所述第二電子設(shè)備包括:
接收模塊,用于接收編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼模塊,用于解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
人臉生成模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
結(jié)合第八方面,在第一種可能的實(shí)現(xiàn)方式中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
結(jié)合第八方面的第一種可能的實(shí)現(xiàn)方式,在第二種可能的實(shí)現(xiàn)方式中,所述差值計(jì)算模塊具體用于:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
結(jié)合第八方面,在第三種可能的實(shí)現(xiàn)方式中,人臉生成模塊包括:
預(yù)測(cè)子模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
人臉生成子模塊,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法、設(shè)備及系統(tǒng)。所述方法通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率;另外,通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn)。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本發(fā)明 的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例提供的一種人臉特征點(diǎn)的編解碼方法流程圖;
圖2是本發(fā)明實(shí)施例提供的一種人臉特征點(diǎn)的編解碼方法流程圖;
圖2(a)是本發(fā)明實(shí)施例提供的一種獲取的人臉特征點(diǎn)的示意圖;
圖3是本發(fā)明實(shí)施例提供的一種人臉特征點(diǎn)的編解碼方法流程圖;
圖4是本發(fā)明實(shí)施例提供的一種人臉特征點(diǎn)的編解碼方法流程圖;
圖5是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖;
圖6是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖;
圖7是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖;
圖8是本發(fā)明實(shí)施例提供的一種電子設(shè)備結(jié)構(gòu)示意圖;
圖9是本發(fā)明實(shí)施例提供的一種人臉特征點(diǎn)的編解碼系統(tǒng)示意圖。
具體實(shí)施方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
實(shí)施例一
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法,參照?qǐng)D1所示,所述方法包括:
101、發(fā)送方獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息。
其中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
102、計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的 差值,所述半部分人臉包括人臉的左半部分或右半部分。
具體的,計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
103、所述發(fā)送方對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼。
104、所述發(fā)送方將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方。
105、所述接收方解碼所述編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值。
106、所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
具體的,所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率;另外,通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征 點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn)。
實(shí)施例二
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法,參照?qǐng)D2所示,所述方法包括:
201、發(fā)送方獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息。
其中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
所述方法包括發(fā)送方電子設(shè)備。
整個(gè)人臉可以包括整個(gè)人臉的輪廓、眉毛、眼睛、鼻子及嘴巴,也可以是包括整個(gè)人臉的輪廓、眼睛及嘴巴,還可以是整個(gè)人臉的輪廓、眼睛、鼻子及嘴巴,還可以是眼睛及嘴巴,還可以是眼睛、鼻子及嘴巴,所述整個(gè)人臉還可以是其他,本發(fā)明實(shí)施例對(duì)具體的人臉不加以限定;所述人臉可以是當(dāng)前視頻幀中通過(guò)攝像頭等獲取的用戶的真實(shí)的人臉,也可以是用戶將真實(shí)的人臉表情映射到其他物體或卡通人物上的人臉,并通過(guò)所述其他物體或卡通人物的人臉進(jìn)行視頻的人臉。
具體的,發(fā)送方電子設(shè)備通過(guò)自身的或運(yùn)行的應(yīng)用程序的檢測(cè)模塊檢測(cè)當(dāng)前即時(shí)當(dāng)前視頻幀中的人臉,根據(jù)檢測(cè)的人臉獲取能夠用于描述整個(gè)人臉的多個(gè)特征點(diǎn)信息;比如,獲取當(dāng)前即時(shí)視頻中用于描述整個(gè)人臉的外圍輪廓、眉毛、眼睛、鼻子及嘴巴的97個(gè)特征點(diǎn)信息。
所述特征點(diǎn)信息包括的信息內(nèi)容包括特征點(diǎn)的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)。
202、計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值。
所述半部分人臉包括人臉的左半部分或右半部分。
獲取所述左半部分或右半部分人臉的特征點(diǎn)信息,以及另外半部分人臉的特征點(diǎn)信息,所述左半部分或右半部分人臉的特征點(diǎn)信息用于描述所述左半部分或右半部分人臉,即以鼻子中線為界,獲取描述所述左側(cè)半部分人臉輪廓、左側(cè)眉毛、左眼、左側(cè)鼻子,左側(cè)嘴巴中的至少一個(gè)的特征點(diǎn)信息,及獲取描述右側(cè)半部分人臉輪廓、右側(cè)眉毛、右眼、右側(cè)鼻子、右側(cè)嘴巴中的至少一個(gè)的特征點(diǎn)信息。
具體的,計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
若所述半部分人臉為左半部分人臉,則計(jì)算所述左半部分人臉的每個(gè)特征點(diǎn)信息與右半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值;
若所述半部分人臉為右半部分人臉,則計(jì)算所述右半部分人臉的每個(gè)特征點(diǎn)信息與左半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值;
若所述特征點(diǎn)信息包括特征點(diǎn)的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè),則分別計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)與另外半部分人臉的對(duì)應(yīng)的特征點(diǎn)的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)的差值。
因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí)通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,避免了不能準(zhǔn)確的生成對(duì)應(yīng)的人臉的問(wèn)題。
203、所述發(fā)送方對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼。
具體的,所述發(fā)送方對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值的中包含的特征點(diǎn)坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)的數(shù)據(jù)進(jìn)行壓縮編碼,本發(fā)明實(shí)施例對(duì)具體的編碼方式不加以限定,其中,可以通過(guò)編碼器進(jìn)行編碼。
通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率。
204、所述發(fā)送方將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方。
接收方包括接收方電子設(shè)備。
具體的,根據(jù)編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值所占用的帶寬大小,分配碼流,發(fā)送至接收方電子設(shè)備。
通過(guò)將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率。
205、所述接收方解碼所述編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值。
具體的,所述接收方電子設(shè)備可以通過(guò)解碼器對(duì)編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行解碼,獲取具體的所述半部分人臉的特征點(diǎn)信息及所述差值的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)的數(shù)據(jù)。
206、所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息。
具體的,獲取解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,將所述半部分人臉的每個(gè)特征點(diǎn)信息中的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)的數(shù)據(jù)和對(duì)應(yīng)的差值的坐標(biāo)、光照參數(shù)、灰度值、亮度值及像素值中的一個(gè)或多個(gè)的數(shù)據(jù)分別進(jìn)行相加,獲取另外半部分人臉的特征點(diǎn)信息。
207、所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
具體的,所述接收方電子設(shè)備根據(jù)解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的另外半部分人臉的特征點(diǎn)信息,獲取整個(gè)人臉的特征點(diǎn)信息,根據(jù)整個(gè)人臉的特征點(diǎn)信息生成對(duì)應(yīng)的人臉。
需要說(shuō)明的是,步驟206是步驟207是實(shí)現(xiàn)所述接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉的過(guò)程,除了上述方式之外,還可以通過(guò)其他方式實(shí)現(xiàn)所述過(guò)程,本發(fā)明實(shí)施例對(duì)具體的方式不加以限定。
通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn)。
為了進(jìn)一步說(shuō)明本發(fā)明實(shí)施例所述編碼過(guò)程,下面通過(guò)具體的示例對(duì)所述編碼過(guò)程進(jìn)行說(shuō)明,參照?qǐng)D2(a)所示,為獲取的當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息,即獲取用于描述人臉輪廓、眉毛、眼睛、鼻子及嘴巴的特征點(diǎn)信息,其中,以人臉輪廓上側(cè)中點(diǎn)編號(hào)35、鼻子中線編號(hào)為50-53及64、嘴唇中線編號(hào)為4-5、13及19、以及人臉輪廓下側(cè)中點(diǎn)編號(hào)32,共11個(gè)特征點(diǎn)為左右臉的中線;則獲取的左半部分人臉的輪廓編號(hào)為35-40及25-32,眉毛編號(hào)為42-46,左眼編號(hào)為54-63及48-49,鼻子編號(hào)為50-53、47、64-65,嘴巴編號(hào)為20-24、13、19、8-12及4-5,需要說(shuō)明的是,將中線的人臉特征點(diǎn)包括在需要編碼的一側(cè)人臉中,此處為左半部分人臉;剩余的為用于描述右半部分人臉的除去中線之外的特征點(diǎn);則計(jì)算左半部分人臉的每個(gè)特征點(diǎn)信息與右半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值,比如計(jì)算左半部分人臉的輪廓特征點(diǎn)36對(duì)應(yīng)的為右半部分人臉的輪廓特征點(diǎn)75、左側(cè)眉毛的特征點(diǎn)46對(duì)應(yīng)的為右側(cè)人臉的眉毛的特征點(diǎn)83、左眼的特征點(diǎn)54對(duì)應(yīng)的為右眼的特征點(diǎn)87、左側(cè)鼻子的特征點(diǎn)47對(duì)應(yīng)的為右側(cè)鼻子的特征點(diǎn)84、左側(cè)嘴唇特征點(diǎn)22對(duì)應(yīng)的為右側(cè) 嘴唇特征點(diǎn)16;則將所述左半部分人臉的每個(gè)特征點(diǎn)信息和所述差值進(jìn)行編碼,即為每個(gè)特征點(diǎn)分配編碼存儲(chǔ)空間,比如在實(shí)際編碼中對(duì)一個(gè)特征點(diǎn)信息進(jìn)行編碼需要32bit或64bit大小的存儲(chǔ)空間,為所述每個(gè)差值分配編碼存儲(chǔ)空間,比如實(shí)際編碼中對(duì)一個(gè)差值進(jìn)行編碼需要8bit或16bit大小的存儲(chǔ)空間;這樣,一個(gè)差值編碼所占的存儲(chǔ)空間比一個(gè)特征點(diǎn)編碼所占的存儲(chǔ)空間小24bit或48bit,參照?qǐng)D中所示,右半部分人臉除去中線之外有41個(gè)特征點(diǎn),則對(duì)41個(gè)差值進(jìn)行編碼所占的存儲(chǔ)空間遠(yuǎn)遠(yuǎn)小于對(duì)右半部分人臉除去中線的特征點(diǎn)之外的41個(gè)特征點(diǎn)進(jìn)行編碼所占的存儲(chǔ)空間;還可以是獲取右半部分人臉,計(jì)算右半部分人臉與左半部分人臉的差值,對(duì)右半部分人臉的每個(gè)特征點(diǎn)和每個(gè)差值進(jìn)行編碼,本發(fā)明實(shí)施例對(duì)此不加以限定。
需要說(shuō)明的是,此處對(duì)于獲取的人臉特征點(diǎn)只是示例性的,還可以是其他數(shù)目或位置的特征點(diǎn),本發(fā)明實(shí)施例對(duì)此不加以限定。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼方法,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率;另外,通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視 頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn)。
實(shí)施例三
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編碼方法,參照?qǐng)D3所示,所述方法包括:
301、獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息。
其中,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
具體的,所述步驟與實(shí)施例二中的步驟201步驟類(lèi)似,此處不再加以贅述,其中,獲取當(dāng)前視頻幀中的整個(gè)人臉的特征點(diǎn)信息的主體可以是發(fā)送方電子設(shè)備,也可以是接收方電子設(shè)備,還可以是其他進(jìn)行電子設(shè)備,本發(fā)明實(shí)施例對(duì)此不加以限定。
302、計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值。
所述半部分人臉包括人臉的左半部分或右半部分。
具體的,所述步驟與實(shí)施例二中的步驟202類(lèi)似,此處不再加以贅述。
其中計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值的步驟與實(shí)施例二中步驟202中的該步驟相同。
303、對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼。
具體的,所述步驟與實(shí)施例二中的步驟203類(lèi)似,此處不再加以贅述。
304、將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他設(shè)備。
具體的,所述步驟與實(shí)施例二中的步驟204類(lèi)似,此處不再加以贅述。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編碼方法,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息 進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他電子設(shè)備,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率。
實(shí)施例四
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的解碼方法,參照?qǐng)D4所示,所述方法包括:
401、接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值。
所述半部分人臉包括人臉的左半部分或右半部分。
具體的,通過(guò)電子設(shè)備或應(yīng)用程序的接收模塊接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值。
402、解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值。
具體的,所述步驟與實(shí)施例二中的步驟205類(lèi)似,此處不再加以贅述。
403、根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
具體的,通過(guò)以下過(guò)程實(shí)現(xiàn)所述過(guò)程:
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息。
具體的,所述過(guò)程與實(shí)施例二中的步驟206類(lèi)似,此處不再加以贅述。
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
具體的,所述過(guò)程與實(shí)施例二中的步驟207類(lèi)似,此處不再加以贅述。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的解碼方法,因?yàn)橥ㄟ^(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述半 部分人臉的特征點(diǎn)信息和所述差值能夠準(zhǔn)確預(yù)測(cè)預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn);另外,因?yàn)榻獯a的是編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,其數(shù)據(jù)量較少,所以降低了解碼的時(shí)間耗費(fèi),提高了解碼效率。
實(shí)施例五
本發(fā)明實(shí)施例提供了一種電子設(shè)備5,參照?qǐng)D5所示,所述設(shè)備包括:
特征點(diǎn)信息獲取模塊51,用于獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
差值計(jì)算模塊52,用于計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
編碼模塊53,用于對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
發(fā)送模塊54,用于發(fā)送編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值。
可選的,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
可選的,所述差值計(jì)算模塊52具體用于:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
本發(fā)明實(shí)施例提供了一種電子設(shè)備,所述電子設(shè)備通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半 部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他電子設(shè)備,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率。
實(shí)施例六
本發(fā)明實(shí)施例提供了一種電子設(shè)備6,參照?qǐng)D6所示,所述設(shè)備包括:
接收模塊61,用于接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼模塊62,用于解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
人臉生成模塊63,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
可選的,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
可選的,所述人臉生成模塊63包括:
預(yù)測(cè)子模塊631,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
人臉生成子模塊632,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
本發(fā)明實(shí)施例提供了一種電子設(shè)備,因?yàn)橥ㄟ^(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得所述電子設(shè)備通過(guò)所述半部分人臉的特征點(diǎn)信息和所述差值能夠準(zhǔn)確預(yù)測(cè)預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn);另外,因?yàn)榻獯a的是編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,其數(shù)據(jù)量較少,所以降低了解碼的時(shí)間耗費(fèi),提高了解碼效率。
實(shí)施例七
本發(fā)明實(shí)施例提供了一種電子設(shè)備7,參照?qǐng)D7所示,所述設(shè)備包括顯示屏71、攝像頭72、發(fā)送/接收模塊73、存儲(chǔ)器74以及與所述顯示屏71、所述攝像頭72、所述發(fā)送/接收模塊73、所述存儲(chǔ)器74連接的處理器75,其中,所述存儲(chǔ)器74用于存儲(chǔ)一組程序代碼,所述處理器75調(diào)用所述存儲(chǔ)器74所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他設(shè)備。
可選的,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
可選的,所述處理器75調(diào)用所述存儲(chǔ)器74所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
本發(fā)明實(shí)施例提供了一種電子設(shè)備,所述電子設(shè)備通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至其他電子設(shè)備,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率。
實(shí)施例八
本發(fā)明實(shí)施例提供了一種電子設(shè)備,參照?qǐng)D8所示,電子設(shè)備包括顯示屏81、發(fā)送/接收模塊82、存儲(chǔ)器83以及與所述顯示屏81、所述發(fā)送/接收模塊82、所述存儲(chǔ)器83連接的處理器84,其中,所述存儲(chǔ)器83用于存儲(chǔ)一組程序代碼,所述處理器84調(diào)用所述存儲(chǔ)器83所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
接收其他設(shè)備發(fā)送的編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
可選的,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
可選的,所述處理器84調(diào)用所述存儲(chǔ)器83所存儲(chǔ)的程序代碼用于執(zhí)行以下操作:
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
本發(fā)明實(shí)施例提供了一種電子設(shè)備,因?yàn)橥ㄟ^(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得所述電子設(shè)備通過(guò)所述半部分人臉的特征點(diǎn)信息和所述差值能夠準(zhǔn)確預(yù)測(cè)預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn);另外,因?yàn)榻獯a的是編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,其數(shù)據(jù)量較少,所以降低了解碼的時(shí)間耗費(fèi),提高了解碼效率。
實(shí)施例九
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼系統(tǒng),參照?qǐng)D9所示,所述系統(tǒng)包括第一電子設(shè)備91和第二電子設(shè)備92,其中,
所述第一電子設(shè)備91包括:
特征點(diǎn)信息獲取模塊911,用于獲取當(dāng)前視頻幀中整個(gè)人臉的特征點(diǎn)信息;
差值計(jì)算模塊912,用于計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,所述半部分人臉包括人臉的左半部分或右半部分;
編碼模塊913,用于對(duì)所述半部分人臉的特征點(diǎn)信息及所述差值進(jìn)行編碼;
發(fā)送模塊914,用于發(fā)送編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值;
所述第二電子設(shè)備92包括:
接收模塊921,用于接收編碼后的半部分人臉的特征點(diǎn)信息及差值,所述半部分人臉包括人臉的左半部分或右半部分;
解碼模塊922,用于解碼所述編碼后的半部分人臉的特征點(diǎn)信息及差值;以及
人臉生成模塊923,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,生成對(duì)應(yīng)的人臉。
可選的,所述特征點(diǎn)信息用于描述所述人臉的輪廓、眉毛、眼睛、鼻子及嘴巴中的至少一個(gè)。
可選的,所述差值計(jì)算模塊912具體用于:
計(jì)算所述半部分人臉的每個(gè)特征點(diǎn)信息與另外半部分人臉的對(duì)應(yīng)特征點(diǎn)信息之間的差值。
可選的,人臉生成模塊923包括:
預(yù)測(cè)子模塊9231,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息以及所述差值,預(yù)測(cè)所述另外半部分人臉的特征點(diǎn)信息;
人臉生成子模塊9232,用于根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信 息,以及預(yù)測(cè)的所述另外半部分人臉的特征點(diǎn)信息,生成所述對(duì)應(yīng)的人臉。
本發(fā)明實(shí)施例提供了一種人臉特征點(diǎn)的編解碼系統(tǒng),所述系統(tǒng)通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,降低了人臉特征點(diǎn)編解碼的空間冗余,降低了視頻編碼數(shù)據(jù),提高了編碼效率,減少了傳輸過(guò)程中了對(duì)帶寬的占用;另外,通過(guò)對(duì)半部分人臉的特征點(diǎn)信息及差值進(jìn)行編碼,相較于對(duì)整個(gè)人臉的特征點(diǎn)信息進(jìn)行編碼來(lái)說(shuō),對(duì)半部分人臉進(jìn)行編碼降低了對(duì)當(dāng)前視頻幀中人臉特征點(diǎn)進(jìn)行編碼的空間冗余和編碼長(zhǎng)度,從而降低了視頻編碼數(shù)據(jù),提高了編碼效率,同時(shí)因?yàn)椴钪档臄?shù)據(jù)量相較于半部分人臉完整的特征點(diǎn)信息而言,數(shù)據(jù)值較小,從而進(jìn)一步減少了編碼的數(shù)據(jù)量,提高了編碼效率;同時(shí),將編碼后的所述半部分人臉的特征點(diǎn)信息及所述差值發(fā)送至接收方,因?yàn)榫幋a的數(shù)據(jù)量較少,從而編碼后的碼流對(duì)帶寬的占用較少,從而提高了傳輸效率;另外,通過(guò)計(jì)算半部分人臉的特征點(diǎn)信息與另外半部分人臉的特征點(diǎn)信息之間的差值,使得通過(guò)所述差值和所述半部分人臉的特征點(diǎn)信息能夠準(zhǔn)確預(yù)測(cè)另外半部分人臉的特征點(diǎn)信息,從而使得接收方根據(jù)所述解碼后的所述半部分人臉的特征點(diǎn)信息及所述差值,準(zhǔn)確的生成對(duì)應(yīng)的人臉,避免了生成的人臉失真問(wèn)題,保證了當(dāng)前視頻幀畫(huà)面的質(zhì)量,提高了用戶體驗(yàn)。
上述所有可選技術(shù)方案,可以采用任意結(jié)合形成本發(fā)明的可選實(shí)施例,在此不再一一贅述。
需要說(shuō)明的是:上述實(shí)施例提供的電子設(shè)備在執(zhí)行人臉特征點(diǎn)的編解碼方法時(shí),僅以上述各功能模塊的劃分進(jìn)行舉例說(shuō)明,實(shí)際應(yīng)用中,可以根據(jù)需要而將上述功能分配由不同的功能模塊完成,即將設(shè)備的內(nèi)部結(jié)構(gòu)劃分成不同的功能模塊,以完成以上描述的全部或者部分功能。另外,上述實(shí)施例提供的電子設(shè)備與人臉特征點(diǎn)的編解碼方法實(shí)施例屬于同一構(gòu)思,其具體實(shí)現(xiàn)過(guò)程詳見(jiàn)方法實(shí)施例,這里不再贅述。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例的全部或部分步驟可以通過(guò)硬件來(lái)完成,也可以通過(guò)程序來(lái)指令相關(guān)的硬件完成,所述的程序可以存儲(chǔ)于 一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤(pán)或光盤(pán)等。
以上所述僅為本發(fā)明的較佳實(shí)施例,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。