本發(fā)明總體上涉及數(shù)字圖像處理。更特別地,本發(fā)明涉及用于提供多人個性化視頻的方法和系統(tǒng)。
背景技術(shù):
1、諸如貼紙和表情符號等共享媒體已經(jīng)成為消息傳遞應用程序(本文也稱為即時消息軟件(messenger))中的標準選項。目前,一些即時消息軟件向用戶提供了通過通信聊天來向其他用戶生成和發(fā)送圖像和短視頻的選項。某些現(xiàn)有的即時消息軟件允許用戶在傳輸之前修改短視頻。然而,現(xiàn)有即時消息軟件提供的對短視頻的修改僅限于可視化效果、濾鏡和文本。當前即時消息軟件的用戶不能進行復雜的編輯,例如將視頻中的一個面部替換為另外一個面部。當前的即時消息軟件不提供這種復雜的視頻編輯,這種復雜的視頻編輯需要使用并了解復雜的第三方視頻編輯軟件。
技術(shù)實現(xiàn)思路
1、提供該部分以引入簡化形式的技術(shù)方案,將在下面的具體實施方式部分中進一步描述該技術(shù)方案。本
技術(shù)實現(xiàn)要素:
并非用于確定要求保護的主題的關(guān)鍵特征或基本特征,也并非用于幫助確定要求保護的主題的范圍。
2、根據(jù)本發(fā)明的一個實施例,公開了一種用于提供多人個性化視頻的方法。所述方法可以開始于通過計算設(shè)備啟用計算設(shè)備的用戶與至少一個另外的計算設(shè)備的至少一個另外的用戶之間的通信聊天。該方法還可以包括通過計算設(shè)備接收用戶從存儲在計算設(shè)備中的一個或多個個性化視頻中選擇視頻。所述視頻可以包括至少一個幀,該至少一個幀具有至少一個目標面部和至少一個另外的目標面部。所述方法可以繼續(xù)通過計算設(shè)備接收源面部的圖像和另外的源面部的另外的圖像。在示例性實施例中,可以接收源面部的圖像,將其作為用戶從存儲在計算設(shè)備的存儲器中的一組圖像中選擇的預生成圖像。該預生成圖像可以被分割成包括源面部的部分和背景。在另一個示例性實施例中,可以通過計算設(shè)備的相機采集新圖像并將新圖像分割成包括源面部的部分和背景,來接收源面部的圖像。此外,可以接收使用源面部的圖像以在至少一個另外的計算設(shè)備上生成另外的個性化視頻的用戶許可。在接收到用戶許可時,可以將源面部的圖像和用戶許可的指示發(fā)送到至少一個另外的計算設(shè)備。
3、在一個示例性實施例中,可以接收另外的源面部的另外的圖像,將其作為用戶從存儲在計算設(shè)備的存儲器中的一組圖像中選擇的預生成圖像。預生成圖像可以被分割成包括另外的源面部的部分和背景??梢詮闹辽僖粋€另外的計算設(shè)備接收另外的源面部的另外的圖像。
4、所述方法還可以包括修改源面部的圖像以生成修改的源面部的圖像,以及修改另外的源面部的另外的圖像以生成修改的另外的源面部的圖像。修改的源面部可以采用目標面部的面部表情。類似地,修改的另外的源面部可以采用至少一個另外的目標面部的面部表情。然后,該方法可以繼續(xù)在視頻的至少一個幀中用修改的源面部的圖像替換目標面部,并用修改的另外的源面部替換至少另外的面部以生成個性化視頻。個性化視頻可以通過通信聊天發(fā)送給至少一個另外的用戶。在修改另外的源面部的另外的圖像之前,可以確定至少一個另外的用戶已經(jīng)提供了使用另外的源面部的另外的圖像來生成個性化視頻的許可。
5、所述方法還可以包括:在修改源面部的圖像之前,基于至少一個幀中的目標面部來確定與參數(shù)化面部模型相關(guān)聯(lián)的目標面部表情參數(shù)。該至少一個幀可以包括元數(shù)據(jù),諸如目標面部表情參數(shù)。在這種情況下,修改源面部的圖像還可以包括基于源面部的圖像來確定與參數(shù)化面部模型相關(guān)聯(lián)的源參數(shù),這些參數(shù)包括源面部表情參數(shù)、源面部身份參數(shù)以及源面部紋理參數(shù)?;趨?shù)化面部模型和目標面部表情參數(shù)、源面部身份參數(shù)和源面部紋理參數(shù),可以合成修改的源面部圖像。
6、所述方法還可以包括:在修改另外的源面部的另外的圖像之前,基于至少一個幀中的另外的目標面部來確定與參數(shù)化面部模型相關(guān)聯(lián)的目標面部表情參數(shù)。在這種情況下,修改另外的源面部的另外的圖像可以包括:基于另外的源面部的另外的圖像,確定與參數(shù)化面部模型相關(guān)聯(lián)的源參數(shù),該源參數(shù)包括源面部表情參數(shù)、源面部身份參數(shù)和源面部紋理參數(shù)。基于參數(shù)化面部模型和目標面部表情參數(shù)、源面部身份參數(shù)和源面部紋理參數(shù),可以合成修改的另外的源面部的另外的圖像。
7、根據(jù)一個示例性實施例,公開了一種用于提供多人個性化視頻的系統(tǒng)。所述系統(tǒng)可以包括至少一個處理器和存儲器,該存儲器存儲處理器可執(zhí)行代碼。在執(zhí)行所述處理器可執(zhí)行代碼時,至少一個處理器可以被配置為通過計算設(shè)備啟用計算設(shè)備的用戶與至少一個另外的計算設(shè)備的至少一個另外的用戶之間的通信聊天。至少一個處理器還可以被配置為通過計算設(shè)備接收用于從存儲在計算設(shè)備中的一個或多個個性化視頻中選擇的視頻。視頻可以包括至少一個幀,該至少一個幀具有至少一個目標面部和至少一個另外的目標面部。至少一個處理器還可以被配置為通過計算設(shè)備接收源面部的圖像和另外的源面部的另外的圖像。具體地,可以接收源面部的圖像,將其作為用戶從存儲在計算設(shè)備的存儲器中的一組圖像中選擇的預生成圖像。預生成圖像可以被分割成包括源面部的部分和背景。在另外的示例性實施例中,可以通過計算設(shè)備的相機采集新圖像并將新圖像分割成包括源面部的部分和背景,來接收源面部的圖像。此外,可以接收使用源面部的圖像在至少一個另外的計算設(shè)備上生成另外的個性化視頻的用戶許可。在接收到用戶許可時,可以將源面部的圖像和用戶許可的指示發(fā)送到至少一個另外的計算設(shè)備。可以接收另外的源面部的另外的圖像,將其作為用戶從存儲在計算設(shè)備的存儲器中的一組圖像中選擇的預生成圖像。預生成圖像可以被分割成包括另外的源面部的部分和背景。可以從至少一個另外的計算設(shè)備接收另外的源面部的另外的圖像。
8、在接收到源面部的圖像和另外的源面部的另外的圖像時,至少一個處理器可以修改源面部的圖像以生成修改的源面部的圖像,以及修改另外的源面部的另外的圖像以生成修改的另外的源面部的圖像。修改的源面部可以采用目標面部的面部表情。修改的另外的源面部可以采用至少一個另外的目標面部的面部表情。至少一個處理器還可以被配置為在視頻的至少一個幀中將目標面部替換為修改的源面部的圖像,將至少一個另外的面部替換為修改的另外的源面部,以生成個性化視頻。個性化視頻可以通過通信聊天發(fā)送給至少一個另外的用戶。
9、在一些示例性實施例中,在修改另外的源面部的另外的圖像之前,至少一個處理器可以確定至少一個另外的用戶已經(jīng)提供了使用另外的源面部的另外的圖像來生成個性化視頻的許可。
10、在一個示例性實施例中,在修改源面部的圖像之前,至少一個處理器可以基于至少一個幀中的目標面部來確定與參數(shù)化面部模型相關(guān)聯(lián)的目標面部表情參數(shù)。該至少一個幀可以包括元數(shù)據(jù),諸如目標面部表情參數(shù)。源面部的圖像可以修改如下。首先,可以基于源面部的圖像來確定與參數(shù)化面部模型相關(guān)聯(lián)的源參數(shù)。源參數(shù)可以包括源面部表情參數(shù)、源面部身份參數(shù)和源面部紋理參數(shù)。然后,可以基于參數(shù)化面部模型和目標面部表情參數(shù)、源面部身份參數(shù)和源面部紋理參數(shù)來合成修改的源面部的圖像。
11、根據(jù)本發(fā)明的另一方面,提供了一種用于提供多人個性化視頻的方法,該方法包括:通過計算設(shè)備啟用計算設(shè)備的用戶與至少一個另外的計算設(shè)備的至少一個另外的用戶之間的通信聊天;通過計算設(shè)備接收用戶從存儲在計算設(shè)備中的一個或多個個性化視頻中選擇的視頻,其中,視頻包括至少一個幀,至少一個幀包括元數(shù)據(jù),元數(shù)據(jù)包括第一位置、第一面部表情參數(shù)、第二位置以及第二面部表情參數(shù);通過計算設(shè)備接收源面部的圖像和另外的源面部的另外的圖像;通過計算設(shè)備修改源面部的圖像以生成修改的源面部的圖像,其中,修改的源面部采用根據(jù)第一面部表情參數(shù)的第一面部表情;通過計算設(shè)備修改另外的源面部的另外的圖像以生成修改的另外的源面部的圖像,其中,修改的另外的源面部采用根據(jù)第二面部表情參數(shù)的第二面部表情;通過計算設(shè)備在視頻的至少一個幀中,將修改的源面部的圖像插入第一位置,將修改的另外的源面部的圖像插入第二位置,以生成個性化視頻;以及通過計算設(shè)備經(jīng)由通信聊天向至少一個另外的用戶發(fā)送個性化視頻。
12、根據(jù)本發(fā)明的另一方面,提供了一種用于提供多人個性化視頻的系統(tǒng),該系統(tǒng)包括至少一個處理器和存儲器,存儲器存儲處理器可執(zhí)行代碼,其中,至少一個處理器被配置為在執(zhí)行處理器可執(zhí)行代碼時實現(xiàn)以下操作:通過計算設(shè)備啟用計算設(shè)備的用戶與至少一個另外的計算設(shè)備的至少一個另外的用戶之間的通信聊天;通過計算設(shè)備接收用戶從存儲在計算設(shè)備中的一個或多個個性化視頻中選擇的視頻,其中,視頻包括至少一個幀,至少一個幀包括元數(shù)據(jù),元數(shù)據(jù)包括第一位置、第一面部表情參數(shù)、第二位置以及第二面部表情參數(shù);通過計算設(shè)備接收源面部的圖像和另外的源面部的另外的圖像;通過計算設(shè)備修改源面部的圖像以生成修改的源面部的圖像,其中,修改的源面部采用根據(jù)第一面部表情參數(shù)的第一面部表情;通過計算設(shè)備修改另外的源面部的另外的圖像以生成修改的另外的源面部的圖像,其中,修改的另外的源面部采用根據(jù)第二面部表情參數(shù)的第二面部表情;通過計算設(shè)備在視頻的至少一個幀中,將修改的源面部的圖像插入第一位置,將修改的另外的源面部的圖像插入第二位置,以生成個性化視頻;以及通過計算設(shè)備經(jīng)由通信聊天向至少一個另外的用戶發(fā)送個性化視頻。
13、根據(jù)本發(fā)明的又一個方面,提供了一種非暫時性處理器可讀介質(zhì),其存儲有處理器可讀指令。當處理器執(zhí)行處理器可讀指令時,這些處理器可讀指令使處理器實施上述用于提供多人個性化視頻的方法。
14、實例的另外的目的、優(yōu)點和新穎特征將部分地在以下描述中進行闡述,并且部分地在知悉以下描述和附圖之后對于本領(lǐng)域技術(shù)人員將變得顯而易見,或者可以通過實例的制作或操作來獲悉??梢酝ㄟ^所附權(quán)利要求中特別指出的方法、手段及組合,來實現(xiàn)并獲得這些技術(shù)方案的目的和優(yōu)點。