本發(fā)明主要涉及計算機，尤其涉及一種主題劇場的虛擬場景交互方法及相關(guān)裝置。

背景技術(shù)：

1、隨著科技的發(fā)展，主題劇場也不斷引入新的科技元素，其中，將混合現(xiàn)實技術(shù)引入至主題劇場中進行虛擬場景的交互是運用的較為廣泛的一種方式。目前對于主題劇場的虛擬場景交互中，主要是采集用戶在體驗虛擬場景中的動作圖像序列以識別其動作姿態(tài)，但卻缺乏對于圖像序列的重疊度分析，缺乏重疊度分析會使用戶的相關(guān)人體部位的定位不準確，進而導致所檢測的人體部位的關(guān)鍵點的準確度不高。同時由于用戶所進行的可能是高速動作，僅依靠圖像識別可能會使最終識別出的用戶行為動作與用戶實際情況產(chǎn)生較大的偏差，導致最終所匹配的虛擬場景中的交互操作不符合用戶的實際需求。在虛擬場景交互中，通常會采集用戶的語音信息，匹配對應的應答語音，以實現(xiàn)虛擬場景中的語音交互，而目前對于應答語音的匹配精度仍存在不足，應答語音的匹配精度不足會降低用戶的虛擬場景交互體驗，從而使主題劇場的虛擬場景交互未能達到預期效果。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種主題劇場的虛擬場景交互方法及相關(guān)裝置，提高了用戶的虛擬場景交互體驗，使主題劇場的虛擬場景交互達到更為理想的效果。

2、為了解決上述技術(shù)問題，本發(fā)明提供了一種主題劇場的虛擬場景交互方法，應用于mr顯示設備、傳感器組合和云服務器，所述云服務器分別與所述mr顯示設備和傳感器組合建立通信連接；所述方法包括：

3、基于傳感器組合采集用戶在體驗虛擬場景時的動作圖像序列、肌電信號和語音信息，并將所述動作圖像序列、肌電信號和語音信息傳輸至云服務器中，所述云服務器對所述動作圖像序列、肌電信號和語音信息進行預處理，獲得預處理后的動作圖像序列、肌電信號和語音信息；

4、基于預處理后的動作圖像序列結(jié)合重疊度分析進行關(guān)鍵點檢測，獲得目標關(guān)鍵點；

5、基于所述目標關(guān)鍵點利用動作姿態(tài)庫進行動作識別，獲得用戶的初始動作姿態(tài)；

6、基于預處理后的肌電信號對所述初始動作姿態(tài)進行修正，獲得修正動作姿態(tài)；

7、對預處理后的語音信息進行語義識別，獲得對應的語義信息，并基于所述語義信息進行反饋信息推理，獲得反饋應答信息，將所述反饋應答信息轉(zhuǎn)換為反饋應答語音；

8、獲取與所述修正動作姿態(tài)和反饋應答語音所對應的虛擬場景中的交互操作，將與所述交互操作對應的虛擬場景畫面在mr顯示設備中進行顯示，并將所述反饋應答語音傳輸至mr顯示設備內(nèi)置的耳機進行播放。

9、可選的，所述對所述動作圖像序列、肌電信號和語音信息進行預處理，獲得預處理后的動作圖像序列、肌電信號和語音信息，包括：

10、對所述動作圖像序列、肌電信號和語音信息進行降噪處理，獲得降噪處理后的動作圖像序列、肌電信號和語音信息；

11、對降噪處理后的動作圖像序列進行圖像增強處理，獲得預處理后的動作圖像序列；

12、對降噪處理后的肌電信號進行去混迭處理，獲得預處理后的肌電信號；

13、對降噪處理后的語音信息進行預加重和分割處理，獲得預處理后的語音信息。

14、可選的，所述基于預處理后的動作圖像序列結(jié)合重疊度分析進行關(guān)鍵點檢測，獲得目標關(guān)鍵點，包括：

15、對預處理后的動作圖像序列中每個動作圖像進行人體部位識別，獲得每個動作圖像所對應的人體部位；

16、計算每個動作圖像所對應的人體部位之間的重疊度，將重疊度最大的人體部位作為目標人體部位；

17、基于關(guān)鍵點預測矩陣對所述目標人體部位進行關(guān)鍵點檢測，獲得目標關(guān)鍵點。

18、可選的，所述基于所述目標關(guān)鍵點利用動作姿態(tài)庫進行動作識別，獲得用戶的初始動作姿態(tài)，包括：

19、基于所述目標關(guān)鍵點獲取方向向量，并基于所述方向向量進行骨骼關(guān)鍵點連接，獲得骨骼關(guān)鍵點向量矩陣；

20、基于所述骨骼關(guān)鍵點向量矩陣獲取骨骼姿態(tài)信息，將所述骨骼姿態(tài)信息進行信息擴充，獲得擴充骨骼姿態(tài)信息；

21、基于所述擴充骨骼姿態(tài)信息提取動作特征，基于所述動作特征在動作姿態(tài)庫中進行相似度匹配，獲得相似度匹配結(jié)果，并基于所述相似度匹配結(jié)果確定用戶的初始動作姿態(tài)。

22、可選的，所述基于預處理后的肌電信號對所述初始動作姿態(tài)進行修正，獲得修正動作姿態(tài)，包括：

23、基于預處理后的肌電信號計算平均肌電值，并基于所述平均肌電值計算肌收縮率；

24、基于預處理后的肌電信號利用滑動窗口確定有效表面肌電信號，并基于所述有效表面肌電信號對所述初始動作姿態(tài)進行調(diào)整，獲得調(diào)整后的初始動作姿態(tài)；

25、基于所述肌收縮率對調(diào)整后的初始動作姿態(tài)進行修正，獲得修正動作姿態(tài)。

26、可選的，所述對預處理后的語音信息進行語義識別，獲得對應的語義信息，包括：

27、將預處理后的語音信息進行轉(zhuǎn)換為自然語言文本信息；

28、基于語義切分模型對所述自然語言文本信息進行識別，獲得對應的語義切分點；

29、基于所述語義切分點對所述自然語言文本信息進行文本切分處理，獲得自然語言文本分段；

30、基于特征詞集對所述自然語言文本分段進行特征詞提取處理，獲得目標特征詞，并基于所述目標特征詞確定所述自然語言文本分段的領域分組；

31、基于所述自然語言文本分段的領域分組進行語義識別，獲得對應的語義信息。

32、可選的，所述基于所述語義信息進行反饋信息推理，獲得反饋應答信息，將所述反饋應答信息轉(zhuǎn)換為反饋應答語音，包括：

33、構(gòu)建三元組，基于知識表征結(jié)構(gòu)利用所述三元組構(gòu)建知識圖三元組；

34、基于所述知識圖三元組利用預設目標函數(shù)構(gòu)建三元知識圖；

35、對所述語義信息進行語義特征映射，獲得語義特征向量；

36、基于所述三元知識圖利用所述語義特征向量進行反饋信息推理，獲得反饋應答消息；

37、基于語音合成方法將所述反饋應答消息轉(zhuǎn)換為反饋應答語音。

38、另外，本發(fā)明還提供了一種主題劇場的虛擬場景交互裝置，應用于mr顯示設備、傳感器組合和云服務器，所述云服務器分別與所述mr顯示設備和傳感器組合建立通信連接；所述裝置包括：

39、數(shù)據(jù)獲取和預處理模塊：用于基于傳感器組合采集用戶在體驗虛擬場景時的動作圖像序列、肌電信號和語音信息，并將所述動作圖像序列、肌電信號和語音信息傳輸至云服務器中，所述云服務器對所述動作圖像序列、肌電信號和語音信息進行預處理，獲得預處理后的動作圖像序列、肌電信號和語音信息；

40、關(guān)鍵點檢測模塊：用于基于預處理后的動作圖像序列結(jié)合重疊度分析進行關(guān)鍵點檢測，獲得目標關(guān)鍵點；

41、動作姿態(tài)識別模塊：用于基于所述目標關(guān)鍵點利用動作姿態(tài)庫進行動作識別，獲得用戶的初始動作姿態(tài)；

42、動作姿態(tài)修正模塊：用于基于預處理后的肌電信號對所述初始動作姿態(tài)進行修正，獲得修正動作姿態(tài)；

43、反饋應答模塊：用于對預處理后的語音信息進行語義識別，獲得對應的語義信息，并基于所述語義信息進行反饋信息推理，獲得反饋應答信息，將所述反饋應答信息轉(zhuǎn)換為反饋應答語音；

44、交互操作模塊：用于獲取與所述修正動作姿態(tài)和反饋應答語音所對應的虛擬場景中的交互操作，將與所述交互操作對應的虛擬場景畫面在mr顯示設備中進行顯示，并將所述反饋應答語音傳輸至mr顯示設備內(nèi)置的耳機進行播放。

45、另外，本發(fā)明還提供了一種主題劇場的虛擬場景交互系統(tǒng)，所述系統(tǒng)包括mr顯示設備、傳感器組合和云服務器，所述云服務器分別與所述mr顯示設備和傳感器組合建立通信連接，所述系統(tǒng)被配置為用于執(zhí)行上述的主題劇場的虛擬場景交互方法。

46、另外，本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機指令，當所述計算機指令在電子設備上運行時，使得所述電子設備執(zhí)行上述的主題劇場的虛擬場景交互方法。

47、在本發(fā)明實施例中，基于預處理后的動作圖像序列結(jié)合重疊度分析進行關(guān)鍵點檢測，獲得目標關(guān)鍵點，能夠更準確地定位用戶的相關(guān)人體部位，提高關(guān)鍵點檢測的可靠性?；谟赡繕岁P(guān)鍵點生成的擴充骨骼姿態(tài)信息利用動作姿態(tài)庫進行動作識別，提高動作姿態(tài)識別的精度，同時避免了骨骼姿態(tài)信息的不全面?；陬A處理后的肌電信號對所述初始動作姿態(tài)進行修正，避免了僅使用圖像數(shù)據(jù)進行動作姿態(tài)識別的單一性，極大地降低了所獲得的用戶動作姿態(tài)與用戶實際行為動作的偏差。對預處理后的語音信息利用語義切分點和領域分組進行語義識別，獲得對應的語義信息，提高了語義識別的準確性，能夠更好地理解用戶的意圖，并基于語義信息利用三元知識圖進行反饋信息推理，使所得到的反饋應答信息更為可靠，能夠給予用戶更為滿意的虛擬場景中的語音交互體驗。使最終所獲取的虛擬場景的交互操作更符合用戶的實際需求，提高用戶的虛擬場景交互體驗，使主題劇場的虛擬場景交互達到更為理想的效果。