本公開涉及數(shù)據(jù)處理，具體而言，涉及一種頭部動(dòng)畫的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、頭部動(dòng)畫生成的目標(biāo)，是對(duì)于任意一段輸入語(yǔ)音，合成一段連貫的自然的頭部動(dòng)畫。頭部動(dòng)畫生成技術(shù)可廣泛應(yīng)用于虛擬人生成、新聞播報(bào)、短視頻創(chuàng)作、遠(yuǎn)程會(huì)議等領(lǐng)域，利用人工智能降低這些任務(wù)的人力成本。

2、在頭部動(dòng)畫生成中，為了滿足各種不同的人設(shè),生成合適的頭部動(dòng)畫風(fēng)格對(duì)用戶的體驗(yàn)至關(guān)重要。頭部動(dòng)畫的風(fēng)格信息通常提取于一段具有特定頭部動(dòng)畫風(fēng)格的說話人視頻或動(dòng)畫，而音頻信息來自于輸入語(yǔ)音。隨著深度學(xué)習(xí)方法在計(jì)算機(jī)視覺各個(gè)領(lǐng)域取得巨大進(jìn)展，使用頭動(dòng)風(fēng)格信息和音頻信息驅(qū)動(dòng)的風(fēng)格化頭部動(dòng)畫合成開始取得一些進(jìn)展。現(xiàn)有方法主要使用傳統(tǒng)的語(yǔ)音特征如mfcc，fbank等作為音頻信息的表示，然后簡(jiǎn)單地使用連接算子，將頭部動(dòng)畫風(fēng)格信息向量和音頻信息向量連結(jié)起來，輸入后續(xù)生成網(wǎng)絡(luò)，如lstm，gru等，以期望合成特定風(fēng)格的頭部動(dòng)畫。

3、但是這樣的處理方式得到的頭部動(dòng)畫的表現(xiàn)不夠合理和自然，前后幀之間存在過渡的不夠自然的問題。

技術(shù)實(shí)現(xiàn)思路

1、本公開的目的在于，針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種頭部動(dòng)畫的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中頭部動(dòng)畫的表現(xiàn)不夠合理和自然，前后幀之間存在過渡的不夠自然的問題。

2、為實(shí)現(xiàn)上述目的，本公開實(shí)施例采用的技術(shù)方案如下：

3、第一方面，本公開一實(shí)施例提供了一種頭部動(dòng)畫的生成方法，所述方法包括：

4、獲取預(yù)設(shè)音頻對(duì)應(yīng)的語(yǔ)音特征序列；

5、從所述語(yǔ)音特征序列中獲取當(dāng)前幀語(yǔ)音特征；

6、根據(jù)所述當(dāng)前幀語(yǔ)音特征、前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、預(yù)設(shè)頭部風(fēng)格特征以及預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征；

7、根據(jù)所述語(yǔ)音特征序列中每一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，生成所述語(yǔ)音特征序列對(duì)應(yīng)的頭部動(dòng)畫。

8、第二方面，本公開另一實(shí)施例提供了一種頭部動(dòng)畫的生成裝置，所述裝置包括：獲取模塊、確定模塊和生成模塊，其中：

9、所述獲取模塊，用于獲取預(yù)設(shè)音頻對(duì)應(yīng)的語(yǔ)音特征序列；從所述語(yǔ)音特征序列中獲取當(dāng)前幀語(yǔ)音特征；

10、所述確定模塊，用于根據(jù)所述當(dāng)前幀語(yǔ)音特征、前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、預(yù)設(shè)頭部風(fēng)格特征以及預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征；

11、所述生成模塊，用于根據(jù)所述語(yǔ)音特征序列中每一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，生成所述語(yǔ)音特征序列對(duì)應(yīng)的頭部動(dòng)畫。

12、第三方面，本公開另一實(shí)施例提供了一種頭部動(dòng)畫的生成設(shè)備，包括：處理器、存儲(chǔ)介質(zhì)和總線，所述存儲(chǔ)介質(zhì)存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)頭部動(dòng)畫的生成設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)介質(zhì)之間通過總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如上述第一方面任一所述方法的步驟。

13、第四方面，本公開另一實(shí)施例提供了一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如上述第一方面任一所述方法的步驟。

14、本公開的有益效果是：采用本公開提供的頭部動(dòng)畫的生成方法，由于在生成頭部姿態(tài)特征時(shí)，不但考慮了當(dāng)前幀語(yǔ)音特征，并且還考慮了前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、以及預(yù)設(shè)頭部風(fēng)格特征和預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，通過這樣的方式確定的頭部姿態(tài)特征，每一幀頭部姿態(tài)特征由于參考了前一幀頭部姿態(tài)特征，以及預(yù)設(shè)歷史事件內(nèi)的多個(gè)歷史記憶特征，其參考的特征信息很多，并且還融合了預(yù)設(shè)頭部風(fēng)格特征，使得頭部姿態(tài)特征均為基于預(yù)設(shè)頭部風(fēng)格特征生成的，因此這樣的方式生成的頭部姿態(tài)特征的表現(xiàn)性更強(qiáng)，使得后續(xù)生成的頭部動(dòng)畫的表現(xiàn)更豐富。

技術(shù)特征：

1.一種頭部動(dòng)畫的生成方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述語(yǔ)音特征序列中每一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，生成所述語(yǔ)音特征序列對(duì)應(yīng)的頭部動(dòng)畫，包括：

3.如權(quán)利要求1所述的方法，其特征在于，所述多個(gè)歷史記憶特征作為多個(gè)特征元素，存放在歷史記憶特征序列中；所述根據(jù)所述當(dāng)前幀語(yǔ)音特征、前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、預(yù)設(shè)頭部風(fēng)格特征以及預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，包括：

4.如權(quán)利要求1所述的方法，其特征在于，所述獲取預(yù)設(shè)音頻對(duì)應(yīng)的語(yǔ)音特征序列，包括：

5.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述調(diào)整后的目標(biāo)歷史記憶特征序列中最后一個(gè)特征元素，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，包括：

6.如權(quán)利要求3所述的方法，其特征在于，所述歷史記憶特征序列的長(zhǎng)度為預(yù)設(shè)值，所述將所述記憶特征作為最后一個(gè)特征元素，拼接至所述歷史記憶特征序列中，得到新的歷史記憶特征序列之后，所述方法還包括：

7.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述當(dāng)前幀語(yǔ)音特征、前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、預(yù)設(shè)頭部風(fēng)格特征以及預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征之前，所述方法還包括：

8.如權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述新的歷史記憶特征序列進(jìn)行調(diào)整，得到調(diào)整后的目標(biāo)歷史記憶特征序列，包括：

9.一種頭部動(dòng)畫的生成裝置，其特征在于，所述裝置包括：獲取模塊、確定模塊和生成模塊，其中：

10.一種頭部動(dòng)畫的生成設(shè)備，其特征在于，所述設(shè)備包括：處理器、存儲(chǔ)介質(zhì)和總線，所述存儲(chǔ)介質(zhì)存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)所述頭部動(dòng)畫的生成設(shè)備運(yùn)行時(shí)，所述處理器與所述存儲(chǔ)介質(zhì)之間通過總線通信，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行上述權(quán)利要求1-8任一項(xiàng)所述的方法。

11.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行上述權(quán)利要求1-8任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本公開提供一種頭部動(dòng)畫的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域。該方法包括：獲取預(yù)設(shè)音頻對(duì)應(yīng)的語(yǔ)音特征序列；從所述語(yǔ)音特征序列中獲取當(dāng)前幀語(yǔ)音特征；根據(jù)所述當(dāng)前幀語(yǔ)音特征、前一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征、預(yù)設(shè)頭部動(dòng)畫的風(fēng)格特征以及預(yù)設(shè)歷史時(shí)間內(nèi)的多個(gè)歷史記憶特征，確定所述當(dāng)前幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征；根據(jù)所述語(yǔ)音特征序列中每一幀語(yǔ)音特征對(duì)應(yīng)的頭部姿態(tài)特征，生成所述語(yǔ)音特征序列對(duì)應(yīng)的頭部動(dòng)畫。相對(duì)于現(xiàn)有技術(shù)，避免了頭部動(dòng)畫的表現(xiàn)不夠合理和自然，前后幀之間存在過渡的不夠自然的問題。

技術(shù)研發(fā)人員：王蘇振,丁彧,呂唐杰,范長(zhǎng)杰,胡志鵬
受保護(hù)的技術(shù)使用者：網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9