本公開涉及到全息投影領(lǐng)域，尤其涉及全息投影方法、全息投影系統(tǒng)及存儲介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，音箱已經(jīng)作為日常生活的語音助手，幫助控制智能家居和進(jìn)行一些簡單的語音交互。當(dāng)音箱的語音交互功能只能支持基礎(chǔ)性的交互，在不控制音箱執(zhí)行功能性操作，只進(jìn)行基于的語音交流時(shí)，音箱只能進(jìn)行機(jī)械性的答復(fù)，無法給予用戶伴侶感。并且由于音箱只能進(jìn)行語音方面的交流，無法給予用戶視覺反饋，影像交互過程中的沉浸感。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本公開提供一種全息投影方法、全息投影系統(tǒng)及存儲介質(zhì)。

2、根據(jù)本公開實(shí)施例的第一方面，提供一種全息投影方法，包括：響應(yīng)于語音交互設(shè)備接收到語音交互信息，生成所述語音交互信息的語音回復(fù)信息；生成控制指令，并將所述控制指令發(fā)送至顯示終端，由所述顯示終端生成視覺回復(fù)信息，所述視覺回復(fù)信息包括數(shù)字虛擬形象的肢體動作和表情，所述數(shù)字虛擬形象通過全息圖像展示；響應(yīng)于接收到所述顯示終端發(fā)出的反饋信息，播放所述語音回復(fù)信息，所述反饋信息用于表征已生成并展示所述視覺回復(fù)信息。

3、一種實(shí)施方式中，所述生成所述語音交互信息的語音回復(fù)信息，包括：基于gpt模型，提取所述語音交互信息的語義信息，并生成包括所述語義信息的語音回復(fù)信息，所述語義信息包括文本回復(fù)信息以及語義情感信息；所述gpt模型為基于預(yù)訓(xùn)練模型預(yù)先訓(xùn)練得到。

4、一種實(shí)施方式中，所述生成控制指令，包括：基于所述語音交互設(shè)備和所述顯示終端間的udp協(xié)議，將文本回復(fù)信息轉(zhuǎn)化為所述控制指令。

5、一種實(shí)施方式中，所述方法還包括：響應(yīng)于接收到所述顯示終端發(fā)出的主動交互指令，播放預(yù)先設(shè)置的主動交互語言信息。

6、根據(jù)本公開實(shí)施例的第二方面，提供一種全息投影方法，包括：響應(yīng)于顯示終端接收到語音交互設(shè)備發(fā)送的控制指令，基于所述控制指令生成視覺回復(fù)信息，所述視覺回復(fù)信息包括數(shù)字虛擬形象的肢體動作和表情，所述數(shù)字虛擬形象通過全息圖像展示；向所述語音交互設(shè)備發(fā)送反饋信息，播放所述視覺回復(fù)信息。

7、一種實(shí)施方式中，所述數(shù)字虛擬形象以應(yīng)用程序包的形式安裝在所述顯示終端中。

8、一種實(shí)施方式中，所述視覺回復(fù)信息包括所述數(shù)字虛擬形象的口型，所述方法還包括：響應(yīng)于所述語音交互設(shè)備播放語音回復(fù)信息，同步獲取所述語音回復(fù)信息包含的音頻信息；基于所述音頻信息，實(shí)時(shí)調(diào)整所述數(shù)字虛擬形象的口型。

9、一種實(shí)施方式中，所述顯示終端連接有投影框架，所述數(shù)字虛擬形象由所述顯示終端投影在所述投影框架上，所述投影框架包括視覺檢測裝置，所述方法還包括：響應(yīng)于用戶面向所述投影框架，生成主動交互指令，并將所述主動交互指令發(fā)送至所述語音交互設(shè)備，所述主動交互指令用于控制所述顯示終端和語音播放設(shè)備同步包括主動交互視覺信息和主動交互語音信息；響應(yīng)于所述主動交互指令發(fā)送至所述語音交互設(shè)備，播放預(yù)先設(shè)置的所述主動交互視覺信息。

10、根據(jù)本公開實(shí)施例的第三方面，提供一種語音交互設(shè)備，包括：生成單元，用于響應(yīng)于語音交互設(shè)備接收到語音交互信息，生成所述語音交互信息的語音回復(fù)信息；第一處理單元，用于生成控制指令，并將所述控制指令發(fā)送至顯示終端，由所述顯示終端生成視覺回復(fù)信息，所述視覺回復(fù)信息包括數(shù)字虛擬形象的肢體動作和表情，所述數(shù)字虛擬形象通過全息圖像展示；第一播放單元，用于響應(yīng)于接收到所述顯示終端發(fā)出的反饋信息，播放所述語音回復(fù)信息，所述反饋信息用于表征已生成并展示所述視覺回復(fù)信息。

11、一種實(shí)施方式中，所述生成單元采用如下方式生成所述語音交互信息的語音回復(fù)信息：基于gpt模型，提取所述語音交互信息的語義信息，并生成包括所述語義信息的語音回復(fù)信息，所述語義信息包括文本回復(fù)信息以及語義情感信息；所述gpt模型為基于預(yù)訓(xùn)練模型預(yù)先訓(xùn)練得到。

12、一種實(shí)施方式中，所述第一處理單元采用如下方式生成控制指令：基于所述語音交互設(shè)備和所述顯示終端間的udp協(xié)議，將文本回復(fù)信息轉(zhuǎn)化為所述控制指令。

13、一種實(shí)施方式中，所述第一處理單元還用于：響應(yīng)于接收到所述顯示終端發(fā)出的主動交互指令，播放預(yù)先設(shè)置的主動交互語言信息。

14、根據(jù)本公開實(shí)施例的第四方面，提供一種顯示終端，包括：第二處理單元，用于響應(yīng)于顯示終端接收到語音交互設(shè)備發(fā)送的控制指令，基于所述控制指令生成視覺回復(fù)信息，所述視覺回復(fù)信息包括數(shù)字虛擬形象的肢體動作和表情，所述數(shù)字虛擬形象通過全息圖像展示；第二播放單元，用于向所述語音交互設(shè)備發(fā)送反饋信息，播放所述視覺回復(fù)信息。

15、一種實(shí)施方式中，所述數(shù)字虛擬形象以應(yīng)用程序包的形式安裝在所述顯示終端中。

16、一種實(shí)施方式中，所述視覺回復(fù)信息包括所述數(shù)字虛擬形象的口型，所述第二處理單元還用于：響應(yīng)于所述語音交互設(shè)備播放語音回復(fù)信息，同步獲取所述語音回復(fù)信息包含的音頻信息；基于所述音頻信息，實(shí)時(shí)調(diào)整所述數(shù)字虛擬形象的口型。

17、一種實(shí)施方式中，所述顯示終端連接有投影框架，所述數(shù)字虛擬形象由所述顯示終端投影在所述投影框架上，所述投影框架包括視覺檢測裝置，所述第二處理單元還用于：響應(yīng)于用戶面向所述投影框架，生成主動交互指令，并將所述主動交互指令發(fā)送至所述語音交互設(shè)備，所述主動交互指令用于控制所述顯示終端和語音播放設(shè)備同步包括主動交互視覺信息和主動交互語音信息；響應(yīng)于所述主動交互指令發(fā)送至所述語音交互設(shè)備，播放預(yù)先設(shè)置的所述主動交互視覺信息。

18、根據(jù)本公開實(shí)施例的第五方面，提供一種全息投影系統(tǒng)，包括如第一方面或者第一方面任意一種實(shí)施方式所述的語音交互設(shè)備和第二方面或者第二方面任意一種實(shí)施方式所述的顯示終端。

19、根據(jù)本公開實(shí)施例的第六方面，提供一種語音交互設(shè)備，包括：處理器：用于存儲處理器可執(zhí)行指令的存儲器；其中，所述處理器被配置為：執(zhí)行第一方面或者第一方面任意一種實(shí)施方式所述的全息投影方法。

20、根據(jù)本公開實(shí)施例的第七方面，提供一種顯示終端，包括：處理器：用于存儲處理器可執(zhí)行指令的存儲器；其中，所述處理器被配置為：執(zhí)行第二方面或者第二方面任意一種實(shí)施方式中所述的全息投影方法。

21、根據(jù)本公開實(shí)施例的第八方面，提供一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有指令，當(dāng)所述存儲介質(zhì)中的指令由處理器執(zhí)行時(shí)，使得處理器能夠執(zhí)行第一方面或者第一方面任意一種實(shí)施方式所述的全息投影方法。

22、根據(jù)本公開實(shí)施例的第九方面，提供一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有指令，當(dāng)所述存儲介質(zhì)中的指令由處理器執(zhí)行時(shí)，使得處理器能夠執(zhí)行第二方面或者第二方面任意一種實(shí)施方式所述的全息投影方法。

23、本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：基于語音交互設(shè)備和顯示終端實(shí)現(xiàn)基于視覺信息和聽覺信息的智能交互。通過本公開，降低了基于用戶發(fā)出的交互信息，同步反饋視覺信息和語音信息的成本。

24、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。