本發(fā)明屬于云游戲，具體涉及一種基于多模態(tài)模型的云游戲虛擬人對(duì)話(huà)方法及系統(tǒng)。

背景技術(shù)：

1、隨著云計(jì)算技術(shù)的快速發(fā)展，云游戲作為一種能夠在線運(yùn)行、避免端側(cè)運(yùn)行的流式交互系統(tǒng)，越來(lái)越受到用戶(hù)的青睞。云游戲的特點(diǎn)在于通過(guò)云端服務(wù)器處理復(fù)雜的運(yùn)算和渲染，將結(jié)果以流的形式傳輸?shù)接脩?hù)設(shè)備上，從而降低了邊端設(shè)備的算力要求。

2、然而，現(xiàn)有的云游戲系統(tǒng)在與用戶(hù)進(jìn)行交互時(shí)，在渲染和多模態(tài)輸出方面常常存在以下問(wèn)題：1、渲染與多模態(tài)輸出不一致，比如圖像、聲音、文字等不同模態(tài)的信息無(wú)法協(xié)調(diào)一致，影響了用戶(hù)的游戲體驗(yàn)；2、現(xiàn)有系統(tǒng)無(wú)法高效地處理來(lái)自用戶(hù)的圖像、聲音、文字輸入，影響多模態(tài)輸出的質(zhì)量；3、云游戲渲染與多模態(tài)輸出分離，難以實(shí)現(xiàn)高效的實(shí)時(shí)交互。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)以上問(wèn)題，本發(fā)明提出了一種基于多模態(tài)模型的云游戲虛擬人對(duì)話(huà)方法及系統(tǒng)，不僅提升了云游戲的多模態(tài)交互效果，還實(shí)現(xiàn)了系統(tǒng)的高效部署和運(yùn)行，為云游戲的進(jìn)一步發(fā)展提供了有力支持。為解決以上技術(shù)問(wèn)題，本發(fā)明所采用的技術(shù)方案如下：

2、一種基于多模態(tài)模型的云游戲虛擬人對(duì)話(huà)系統(tǒng)，包括如下步驟：

3、s1，收集云游戲執(zhí)行任務(wù)時(shí)的多模態(tài)數(shù)據(jù)，構(gòu)建多模態(tài)樣本數(shù)據(jù)集；

4、s2，利用多模態(tài)編碼器獲取多模態(tài)樣本數(shù)據(jù)集中所有數(shù)據(jù)對(duì)應(yīng)的嵌入向量，基于嵌入向量和預(yù)設(shè)標(biāo)記符更新多模態(tài)樣本數(shù)據(jù)集，利用更新后的多模態(tài)樣本數(shù)據(jù)集對(duì)大語(yǔ)言模型進(jìn)行訓(xùn)練得到游戲響應(yīng)推理模型；

5、s3，采集當(dāng)前游戲任務(wù)下所涉及的實(shí)時(shí)多模態(tài)數(shù)據(jù)，收集游戲任務(wù)對(duì)應(yīng)的實(shí)時(shí)知識(shí)庫(kù)，利用預(yù)訓(xùn)練的synctod模型、實(shí)時(shí)多模態(tài)數(shù)據(jù)和實(shí)時(shí)知識(shí)庫(kù)獲取實(shí)時(shí)任務(wù)提示集；

6、s4，利用相似度計(jì)算方法計(jì)算歷史任務(wù)響應(yīng)數(shù)據(jù)的歷史任務(wù)提示集和實(shí)時(shí)任務(wù)提示集之間的相似度，從歷史任務(wù)響應(yīng)數(shù)據(jù)中選取出相似度較高的前μ個(gè)樣本；

7、s5，基于步驟s3得到的實(shí)時(shí)任務(wù)提示集和步驟s4選取出的樣本對(duì)步驟s2得到的游戲響應(yīng)推理模型輸出的響應(yīng)進(jìn)行優(yōu)化，將優(yōu)化后的響應(yīng)回傳用戶(hù)。

8、所述步驟s2包括如下步驟：

9、s2.1，利用mammothmoda模型的高分辨率輸入模塊(glhr)對(duì)多模態(tài)樣本數(shù)據(jù)集中的圖像數(shù)據(jù)進(jìn)行處理獲取圖像融合向量；

10、s2.2，構(gòu)建模態(tài)投影器，所述模態(tài)投影器包括依次連接的第一線性層、激活函數(shù)層、第一dropout層、第二線性層和第二dropout層；

11、s2.3，將步驟s2.1得到的圖像融合向量和多模態(tài)樣本數(shù)據(jù)集中的聲音數(shù)據(jù)輸入多模態(tài)編碼器進(jìn)行編碼，編碼后的向量輸入模態(tài)投影器獲取對(duì)應(yīng)的嵌入向量，基于多模態(tài)樣本數(shù)據(jù)集中的文字?jǐn)?shù)據(jù)獲取對(duì)應(yīng)的嵌入向量；

12、s2.4，基于預(yù)設(shè)標(biāo)記符和步驟s2.3得到的嵌入向量對(duì)步驟s1得到的多模態(tài)樣本數(shù)據(jù)集進(jìn)行更新；

13、s2.5，利用步驟s2.4得到的更新后的多模態(tài)樣本數(shù)據(jù)集對(duì)大語(yǔ)言模型進(jìn)行訓(xùn)練得到游戲響應(yīng)推理模型。

14、所述圖像融合向量的獲取方法如下：

15、a，調(diào)整多模態(tài)樣本數(shù)據(jù)集中圖像數(shù)據(jù)的圖像大小，使得每幀圖像的尺寸為336的整數(shù)倍；

16、b，將每幀圖像劃分為336*336的圖像塊；

17、c，對(duì)步驟a調(diào)整后的每幀圖像分別進(jìn)行下采樣得到336*336的全局圖像，將全局圖像的圖像向量與步驟b中得到的對(duì)應(yīng)幀的圖像塊向量進(jìn)行拼接得到圖像融合向量。

18、所述步驟s3包括如下步驟：

19、s3.1，獲取當(dāng)前游戲任務(wù)對(duì)話(huà)時(shí)的實(shí)時(shí)多模態(tài)數(shù)據(jù)，按照步驟s1和步驟s2的方法對(duì)實(shí)時(shí)多模態(tài)數(shù)據(jù)進(jìn)行處理獲取實(shí)時(shí)多模態(tài)數(shù)據(jù)集；

20、s3.2，按照步驟s2.1-s2.4的方法對(duì)實(shí)時(shí)多模態(tài)數(shù)據(jù)集進(jìn)行更新，同時(shí)基于實(shí)時(shí)多模態(tài)數(shù)據(jù)集收集當(dāng)前游戲任務(wù)所對(duì)應(yīng)的實(shí)時(shí)知識(shí)庫(kù)；

21、s3.3，利用synctod模型所包含的實(shí)體預(yù)測(cè)模型、關(guān)閉預(yù)測(cè)模型、響應(yīng)預(yù)測(cè)模型獲取實(shí)時(shí)多模態(tài)數(shù)據(jù)集所對(duì)應(yīng)的實(shí)時(shí)任務(wù)提示集。

22、所述步驟s4包括如下步驟：

23、s4.1，將步驟s3得到的實(shí)時(shí)多模態(tài)數(shù)據(jù)和對(duì)應(yīng)的實(shí)時(shí)知識(shí)庫(kù)進(jìn)行拼接得到操作表示向量；

24、s4.2，按照步驟s4.1的方法獲取歷史任務(wù)響應(yīng)數(shù)據(jù)d中每個(gè)樣本的操作表示向量，利用最大內(nèi)積搜索算法選取出與步驟s4.1得到的操作表示向量相似性較高的前k個(gè)樣本；

25、s4.3，將步驟s4.2得到的前k個(gè)樣本輸入synctod模型得到歷史任務(wù)提示集，計(jì)算歷史任務(wù)提示集和實(shí)時(shí)任務(wù)提示集之間的相似度，選取出相似度較高的前μ個(gè)樣本，且μ<k。

26、所述相似度的計(jì)算公式為：

27、

28、式中，hm表示第m個(gè)樣本的歷史任務(wù)提示集，dcm表示第m個(gè)樣本的關(guān)閉預(yù)測(cè)，etm表示第m個(gè)樣本的實(shí)體類(lèi)型，表示歷史任務(wù)提示集hm和實(shí)時(shí)任務(wù)提示集之間的相似度，1為指示函數(shù)，j為jaccard相似度。

29、一種基于多模態(tài)模型的云游戲虛擬人對(duì)話(huà)系統(tǒng)，包括：

30、數(shù)據(jù)收集模塊：用于基于玩家使用云游戲時(shí)的多模態(tài)數(shù)據(jù)構(gòu)建多模態(tài)樣本數(shù)據(jù)集；

31、模型構(gòu)建模塊：用于基于數(shù)據(jù)收集模塊得到的多模態(tài)樣本數(shù)據(jù)集和預(yù)設(shè)的多模態(tài)編碼器獲取對(duì)應(yīng)的嵌入向量，基于嵌入向量和預(yù)設(shè)標(biāo)記符對(duì)多模態(tài)樣本數(shù)據(jù)集進(jìn)行更新，并利用更新后的多模態(tài)樣本數(shù)據(jù)集對(duì)大語(yǔ)言模型進(jìn)行訓(xùn)練得到游戲響應(yīng)推理模型；

32、實(shí)時(shí)任務(wù)信息收集模塊：用于采集當(dāng)前游戲任務(wù)下的實(shí)時(shí)多模態(tài)數(shù)據(jù)，收集游戲任務(wù)對(duì)應(yīng)的實(shí)時(shí)知識(shí)庫(kù)，利用預(yù)訓(xùn)練的synctod模型、實(shí)時(shí)多模態(tài)數(shù)據(jù)和實(shí)時(shí)知識(shí)庫(kù)獲取實(shí)時(shí)任務(wù)提示集；

33、樣本選擇模塊：用于基于預(yù)訓(xùn)練的synctod模型獲取歷史任務(wù)響應(yīng)數(shù)據(jù)所對(duì)應(yīng)的歷史任務(wù)提示集，利用相似度計(jì)算方法計(jì)算歷史任務(wù)提示集和實(shí)時(shí)任務(wù)提示集之間的相似度，從歷史任務(wù)響應(yīng)數(shù)據(jù)中選取出相似度較高的前μ個(gè)樣本；

34、響應(yīng)優(yōu)化模塊：用于基于樣本選擇模塊選取出的樣本、實(shí)時(shí)任務(wù)信息收集模塊得到的實(shí)時(shí)任務(wù)提示集和模型構(gòu)建模塊的游戲響應(yīng)推理模型對(duì)響應(yīng)進(jìn)行優(yōu)化，并將優(yōu)化后的響應(yīng)回傳用戶(hù)。

35、本發(fā)明的有益效果：

36、1.將mammothmoda多模態(tài)大模型與s3系統(tǒng)框架相結(jié)合，利用情境學(xué)習(xí)與提示機(jī)制synctod，實(shí)現(xiàn)了高質(zhì)量的基于圖像、語(yǔ)音、文字等多模態(tài)信息的統(tǒng)一處理，提升了云游戲系統(tǒng)的輸出一致性和多模態(tài)交互效果，解決了現(xiàn)有系統(tǒng)中多模態(tài)輸出不一致的問(wèn)題，最終提升了用戶(hù)的沉浸式體驗(yàn)；

37、2.引入synctod小輔助模型提供提示，通過(guò)提示機(jī)制選擇最佳的上下文提示，提升了系統(tǒng)在不同情境下的應(yīng)對(duì)能力，提高了多模態(tài)輸出的輸出質(zhì)量和連貫性；

38、3.主要應(yīng)用于云游戲npc和虛擬人領(lǐng)域，通過(guò)邊緣部署的方式，可以利用云端l20等顯卡的硬件支持，實(shí)現(xiàn)實(shí)時(shí)的圖像、聲音、文字等交互，確保了虛擬人對(duì)話(huà)系統(tǒng)的高效運(yùn)行，實(shí)現(xiàn)虛擬人對(duì)話(huà)系統(tǒng)的業(yè)務(wù)落地，滿(mǎn)足云游戲虛擬人的業(yè)務(wù)需求。