本申請(qǐng)涉及數(shù)字人交互，尤其涉及一種服務(wù)器、顯示設(shè)備及數(shù)字人交互方法。

背景技術(shù)：

1、數(shù)字人是指由計(jì)算機(jī)程序和算法生成的虛擬人物，可以模擬人類的語(yǔ)言、行為、情感等特征，具有高度的智能化和交互性。

2、數(shù)字人主要以語(yǔ)音驅(qū)動(dòng)為主，即在接收到用戶輸入的語(yǔ)音后，將語(yǔ)音發(fā)送至服務(wù)器，由服務(wù)器完成語(yǔ)音識(shí)別、語(yǔ)義理解、播報(bào)文本確定、數(shù)字人動(dòng)作生成等步驟后，發(fā)給顯示設(shè)備播放。但是服務(wù)器在驅(qū)動(dòng)數(shù)字人的過程中無(wú)法感知到顯示設(shè)備的頁(yè)面信息，在交互過程中數(shù)字人無(wú)法與顯示設(shè)備頁(yè)面產(chǎn)生聯(lián)動(dòng)性。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)一些實(shí)施例提供了一種服務(wù)器、顯示設(shè)備及數(shù)字人交互方法，根據(jù)顯示設(shè)備用戶界面中與用戶意圖相關(guān)控件的標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，使得在交互過程中數(shù)字人的動(dòng)作與顯示設(shè)備用戶界面產(chǎn)生聯(lián)動(dòng)性，提高數(shù)字人交互動(dòng)作流暢性。

2、第一方面，本申請(qǐng)一些實(shí)施例中提供一種服務(wù)器，包括：

3、通信模塊，被配置為與顯示設(shè)備建立通信連接；

4、處理模塊，被配置為：

5、根據(jù)所述顯示設(shè)備發(fā)送的用戶輸入信息確定用戶意圖，以及，接收所述顯示設(shè)備發(fā)送的用戶界面數(shù)據(jù)；

6、將所述用戶界面數(shù)據(jù)中與所述用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，所述標(biāo)簽數(shù)據(jù)包括控件信息；

7、基于所述標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀；

8、將所述數(shù)字人序列幀發(fā)送至所述顯示設(shè)備，以使所述顯示設(shè)備顯示所述數(shù)字人序列幀對(duì)應(yīng)的圖像。

9、在一些實(shí)施例中，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)后，還被配置為：

10、基于所述標(biāo)簽數(shù)據(jù)中的位置信息，以及，數(shù)字人與所述目標(biāo)控件的預(yù)設(shè)相對(duì)位置信息確定數(shù)字人展示位置；

11、將所述數(shù)字人展示位置發(fā)送至所述顯示設(shè)備，以使所述顯示設(shè)備在所述數(shù)字人展示位置顯示數(shù)字人序列幀對(duì)應(yīng)的圖像。

12、在一些實(shí)施例中，所述處理模塊執(zhí)行基于所述標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，被進(jìn)一步配置為：

13、基于所述標(biāo)簽數(shù)據(jù)中的控件類型確定所述目標(biāo)控件對(duì)應(yīng)的肢體動(dòng)作序列；

14、基于所述肢體動(dòng)作序列生成數(shù)字人序列幀。

15、在一些實(shí)施例中，在根據(jù)顯示設(shè)備發(fā)送的用戶輸入信息確定用戶意圖后，所述處理模塊，還被配置為：

16、基于所述用戶意圖確定播報(bào)文本，并基于所述播報(bào)文本確定嘴部動(dòng)作序列；

17、所述控制器執(zhí)行基于所述肢體動(dòng)作序列生成數(shù)字人序列幀，被進(jìn)一步配置為：

18、基于所述肢體動(dòng)作序列和所述嘴部動(dòng)作序列生成數(shù)字人序列幀。

19、在一些實(shí)施例中，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

20、獲取所述目標(biāo)控件的數(shù)量；

21、在所述目標(biāo)控件為一個(gè)時(shí)，獲取所述目標(biāo)控件的位置信息及識(shí)別所述目標(biāo)控件的控件類型；

22、將所述位置信息和所述控件類型確定為所述標(biāo)簽數(shù)據(jù)。

23、在一些實(shí)施例中，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

24、在所述目標(biāo)控件為多個(gè)且多個(gè)所述目標(biāo)控件為相同控件類型時(shí)，獲取所述目標(biāo)控件的位置信息并根據(jù)所述位置信息確定顯示順序；

25、將所述位置信息、所述控件類型和所述顯示順序確定為所述標(biāo)簽數(shù)據(jù)，所述顯示順序用于確定所述目標(biāo)控件對(duì)應(yīng)肢體動(dòng)作序列的執(zhí)行順序。

26、在一些實(shí)施例中，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

27、在所述目標(biāo)控件為多個(gè)且多個(gè)所述目標(biāo)控件為不同控件類型時(shí)，獲取所述目標(biāo)控件的位置信息，以及確定所述目標(biāo)控件對(duì)應(yīng)的意圖順序；

28、將所述位置信息、所述控件類型和所述意圖順序確定為所述標(biāo)簽數(shù)據(jù)，所述意圖順序用于確定所述目標(biāo)控件對(duì)應(yīng)肢體動(dòng)作序列的執(zhí)行順序。

29、第二方面，本申請(qǐng)一些實(shí)施例中提供一種顯示設(shè)備，包括：

30、顯示器，被配置為顯示用戶界面；

31、通信裝置，被配置為與服務(wù)器建立通信連接；

32、控制器，與所述顯示器耦接，且被配置為：

33、接收用戶輸入信息；

34、將所述用戶輸入信息發(fā)送至服務(wù)器；

35、接收所述服務(wù)器基于所述用戶輸入信息下發(fā)的用戶意圖；

36、將用戶界面中與所述用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，所述標(biāo)簽數(shù)據(jù)包括控件信息；

37、將所述標(biāo)簽數(shù)據(jù)發(fā)送至所述服務(wù)器；

38、接收所述服務(wù)器基于所述標(biāo)簽數(shù)據(jù)下發(fā)的數(shù)字人序列幀；

39、控制所述顯示器顯示所述數(shù)字人序列幀對(duì)應(yīng)的圖像。

40、第三方面，本申請(qǐng)一些實(shí)施例中提供一種數(shù)字人交互方法，應(yīng)用于服務(wù)器，包括：

41、根據(jù)顯示設(shè)備發(fā)送的用戶輸入信息確定用戶意圖，以及，接收所述顯示設(shè)備發(fā)送的用戶界面數(shù)據(jù)；

42、將所述用戶界面數(shù)據(jù)中與所述用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，所述標(biāo)簽數(shù)據(jù)包括控件信息；

43、基于所述標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀；

44、將所述數(shù)字人序列幀發(fā)送至所述顯示設(shè)備，以使所述顯示設(shè)備顯示所述數(shù)字人序列幀對(duì)應(yīng)的圖像。

45、第四方面，本申請(qǐng)一些實(shí)施例中提供一種數(shù)字人交互方法，應(yīng)用于顯示設(shè)備，包括：

46、接收用戶輸入信息；

47、將所述用戶輸入信息發(fā)送至服務(wù)器；

48、接收所述服務(wù)器基于所述用戶輸入信息下發(fā)的用戶意圖；

49、將所述顯示設(shè)備的用戶界面中與所述用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，所述標(biāo)簽數(shù)據(jù)包括控件信息；

50、將所述標(biāo)簽數(shù)據(jù)發(fā)送至所述服務(wù)器；

51、接收所述服務(wù)器基于所述標(biāo)簽數(shù)據(jù)下發(fā)的數(shù)字人序列幀；

52、控制所述顯示器顯示所述數(shù)字人序列幀對(duì)應(yīng)的圖像。

53、本申請(qǐng)的一些實(shí)施例提供一種服務(wù)器、顯示設(shè)備及數(shù)字人交互方法。在接收到顯示設(shè)備發(fā)送的用戶輸入信息后，根據(jù)用戶輸入信息確定用戶意圖，以及，接收顯示設(shè)備發(fā)送的用戶界面數(shù)據(jù)。將用戶界面數(shù)據(jù)中與用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定目標(biāo)控件的標(biāo)簽數(shù)據(jù)。其中，標(biāo)簽數(shù)據(jù)包括控件信息。然后基于標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，并將數(shù)字人序列幀發(fā)送至顯示設(shè)備。顯示設(shè)備在接收到數(shù)字人序列幀后顯示其對(duì)應(yīng)的圖像。根據(jù)顯示設(shè)備用戶界面中與用戶意圖相關(guān)控件的標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，使得在交互過程中數(shù)字人的動(dòng)作與顯示設(shè)備用戶界面產(chǎn)生聯(lián)動(dòng)性，提高數(shù)字人交互動(dòng)作流暢性。

技術(shù)特征：

1.一種服務(wù)器，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的服務(wù)器，其特征在于，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)后，還被配置為：

3.根據(jù)權(quán)利要求1所述的服務(wù)器，其特征在于，所述處理模塊執(zhí)行基于所述標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，被進(jìn)一步配置為：

4.根據(jù)權(quán)利要求3所述的服務(wù)器，其特征在于，在根據(jù)顯示設(shè)備發(fā)送的用戶輸入信息確定用戶意圖后，所述處理模塊，還被配置為：

5.根據(jù)權(quán)利要求1所述的服務(wù)器，其特征在于，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

6.根據(jù)權(quán)利要求5所述的服務(wù)器，其特征在于，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

7.根據(jù)權(quán)利要求5所述的服務(wù)器，其特征在于，所述處理模塊執(zhí)行確定所述目標(biāo)控件的標(biāo)簽數(shù)據(jù)，被進(jìn)一步配置為：

8.一種顯示設(shè)備，其特征在于，包括：

9.一種數(shù)字人交互方法，應(yīng)用于服務(wù)器，其特征在于，包括：

10.一種數(shù)字人交互方法，應(yīng)用于顯示設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本申請(qǐng)一些實(shí)施例示出一種服務(wù)器、顯示設(shè)備及數(shù)字人交互方法，所述方法包括：根據(jù)顯示設(shè)備發(fā)送的用戶輸入信息確定用戶意圖，以及，接收顯示設(shè)備發(fā)送的用戶界面數(shù)據(jù)；將用戶界面數(shù)據(jù)中與用戶意圖相關(guān)的控件確定為目標(biāo)控件，并確定目標(biāo)控件的標(biāo)簽數(shù)據(jù)，其中，標(biāo)簽數(shù)據(jù)包括控件信息；基于標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀；將數(shù)字人序列幀發(fā)送至顯示設(shè)備，以使顯示設(shè)備顯示所述數(shù)字人序列幀對(duì)應(yīng)的圖像。根據(jù)顯示設(shè)備用戶界面中與用戶意圖相關(guān)控件的標(biāo)簽數(shù)據(jù)確定數(shù)字人序列幀，使得在交互過程中數(shù)字人的動(dòng)作與顯示設(shè)備用戶界面產(chǎn)生聯(lián)動(dòng)性，提高數(shù)字人交互動(dòng)作的流暢性。

技術(shù)研發(fā)人員：王旭升,張大釗
受保護(hù)的技術(shù)使用者：海信視像科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23