本發(fā)明涉及人像視頻，具體涉及一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法、裝置。

背景技術(shù)：

1、當前市面上常用的大模型生成任務(wù)圖像的方案，不夠真實，并且感與吸引力，不總是能符合使用要求；具體的，其生成的人物形象在細節(jié)處理上可能不夠精細，難以達到大眾普遍認可的高顏值標準，服裝和化妝效果也可能缺乏多樣性和真實感。同時，視頻/照片拍攝的角度與人物動作單一，

2、大多數(shù)生成的視頻采用固定的拍攝角度，缺乏變化，且難以實現(xiàn)真實的鏡頭移動效果，如推拉、搖晃等；并且人物妝容、服飾單一，情感表現(xiàn)、動作、背景、光效單一。生成的背景的真實感與動態(tài)變化，由于摳圖換背景的方法得到的背景通常比較虛假，融合度不高。還存在版權(quán)與隱私的問題，這是因為經(jīng)常使用網(wǎng)上公開視頻的緣故，可能存在肖像權(quán)和隱私權(quán)的風險；改變視頻中人物表情、動作等方法生成的作品可能因相似度過高而存在原創(chuàng)性問題。最后，這種方案在實際使用時，還存在技術(shù)實現(xiàn)難度大，成本高的問題。

3、具體的，現(xiàn)有的人像視頻生成方案比較多的使用人工篩選和人工經(jīng)驗總結(jié)的工作量，效率低；其更依賴人工的經(jīng)驗，有局限性。

4、有鑒于此，提出本申請。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法、裝置，能至少部分的改善上述問題。

2、為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其包括：

4、獲取用戶提供的個人照片，分別構(gòu)建優(yōu)質(zhì)單人口播視頻庫、優(yōu)質(zhì)口播人物形象特征庫和多樣化人物形象庫，優(yōu)化人像的生成；

5、從預(yù)設(shè)的口播視頻庫中進行提取處理，并將提取到的帶有人物的圖片和文案信息輸入至多模態(tài)大模型中進行總結(jié)，生成口播視頻；

6、當判斷到生成的口播視頻存在異常問題時，對所述口播視頻進行異常問題優(yōu)化處理。

7、本發(fā)明還提供了一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化裝置，其包括：

8、多樣化人像優(yōu)化單元，用于獲取用戶提供的個人照片，分別構(gòu)建優(yōu)質(zhì)單人口播視頻庫、優(yōu)質(zhì)口播人物形象特征庫和多樣化人物形象庫，優(yōu)化人像的生成；

9、口播視頻優(yōu)化單元，用于從預(yù)設(shè)的口播視頻庫中進行提取處理，并將提取到的帶有人物的圖片和文案信息輸入至多模態(tài)大模型中進行總結(jié)，生成口播視頻；

10、異常問題優(yōu)化單元，用于當判斷到生成的口播視頻存在異常問題時，對所述口播視頻進行異常問題優(yōu)化處理。

11、綜上，所述口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法與業(yè)務(wù)結(jié)合，批量生成符合業(yè)務(wù)要求的視頻，同時對生成的多樣化人像和口播視頻進行優(yōu)化，降低了全流程手動拍攝、制作的時間成本和經(jīng)濟成本。

技術(shù)特征：

1.一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，獲取用戶提供的個人照片，分別構(gòu)建優(yōu)質(zhì)單人口播視頻庫、優(yōu)質(zhì)口播人物形象特征庫和多樣化人物形象庫，優(yōu)化人像的生成，具體為：

3.根據(jù)權(quán)利要求2所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，使用多模態(tài)大模型與圖像生成模型進行多次交互，對提示詞prompt進行調(diào)優(yōu)，生成人物形象圖片，具體為：

4.根據(jù)權(quán)利要求1所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，對每個人物進行預(yù)處理，生成不同風格的形象，具體為：

5.根據(jù)權(quán)利要求4所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，采用多模態(tài)大模型對添加變量后的prompt進行篩選處理，篩選出成功率最高的prompt，具體為：

6.根據(jù)權(quán)利要求5所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，調(diào)用多模態(tài)大模型根據(jù)所述高質(zhì)量人像要求進行判斷，判斷當前的人像圖片是否符合所述高質(zhì)量人像要求，具體為：

7.根據(jù)權(quán)利要求2所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，從預(yù)設(shè)的口播視頻庫中進行提取處理，并將提取到的帶有人物的圖片和文案信息輸入至多模態(tài)大模型中進行總結(jié)，生成口播視頻，具體為：

8.根據(jù)權(quán)利要求1所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，當判斷到生成的口播視頻存在異常問題時，對所述口播視頻進行異常問題優(yōu)化處理，具體為：

9.根據(jù)權(quán)利要求1所述的一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法，其特征在于，當判斷到生成的口播視頻存在異常問題時，對所述口播視頻進行異常問題優(yōu)化處理，具體為：

10.一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化裝置，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種口播視頻的多樣性優(yōu)化和自動化優(yōu)化方法、裝置，包括：獲取用戶提供的個人照片，調(diào)用預(yù)訓練好的人像生成模型對個人照片進行預(yù)處理，生成多樣化人像，并對多樣化人像進行優(yōu)化；從預(yù)設(shè)的口播視頻庫中進行提取處理，并將提取到的帶有人物的圖片和文案信息輸入至多模態(tài)大模型中進行總結(jié)，生成口播視頻；當判斷到生成的口播視頻存在異常問題時，對口播視頻進行異常問題優(yōu)化處理。旨在解決現(xiàn)有的人像視頻生成方案比較多的使用人工篩選和人工經(jīng)驗總結(jié)的工作量，效率低；其更依賴人工的經(jīng)驗，有局限性的問題。

技術(shù)研發(fā)人員：鄒輝,談世云,楊書欽
受保護的技術(shù)使用者：廈門蟬鏡科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6