本發(fā)明涉及智能機器人領域，尤其涉及一種應用于智能機器人的投影交互方法及系統(tǒng)。

背景技術：

隨著科學技術的不斷發(fā)展，信息技術、計算機技術以及人工智能技術的引入，機器人的研究已經逐步走出工業(yè)領域，逐漸擴展到了醫(yī)療、保健、家庭、娛樂以及服務行業(yè)等領域。而人們對于機器人的要求也從簡單重復的機械動作提升為具有擬人問答、自主性及與其他機器人進行交互的智能機器人，人機交互也就成為決定智能機器人發(fā)展的重要因素，因此，提高智能機器人的人機交互能力，提升智能機器人的智能性，成為目前亟需解決的重要問題。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題之一是需要提供一種使機器人在投影過程中能夠與用戶進行多模態(tài)交互、提高機器人的智能性和類人性的解決方案。

為了解決上述技術問題，本申請的實施例首先提供了一種應用于智能機器人的投影交互方法，所述方法包括：在進行投影輸出的過程中，判斷是否有設定事件觸發(fā)，若有設定事件觸發(fā)，則暫停投影輸出；接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)；根據(jù)對所述多模態(tài)輸入數(shù)據(jù)進行解析的解析結果，輸出與之對應的投影數(shù)據(jù)。

優(yōu)選地，所述設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或投影輸出時間達到特定交互時間點；所述來自用戶的多模態(tài)輸入數(shù)據(jù)包括用戶主動輸出的多模態(tài)輸入數(shù)據(jù)和響應多模態(tài)輸出數(shù)據(jù)的多模態(tài)輸入數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)為機器人在所述特定交互時間點向用戶發(fā)出的數(shù)據(jù)。

優(yōu)選地，通過投影應用程序的方式來實現(xiàn)所述投影交互方法，根據(jù)解析結果獲取用戶意圖，判斷投影應用程序中是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)，若存在，則投影輸出所述投影數(shù)據(jù)，否則，則將所述用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。

優(yōu)選地，該方法還包括：通過投影應用程序判斷是否對所述反饋數(shù)據(jù)進行投影輸出。

優(yōu)選地，在投影輸出所述投影數(shù)據(jù)的同時還輸出與該投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)。

本申請實施例還提供了一種應用于智能機器人的投影交互系統(tǒng)，所述系統(tǒng)包括：投影輸出控制模塊，其在進行投影輸出的過程中，判斷是否有設定事件觸發(fā)，若有設定事件觸發(fā)，則暫停投影輸出；用戶數(shù)據(jù)接收模塊，其接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)；投影數(shù)據(jù)輸出模塊，其根據(jù)對所述多模態(tài)輸入數(shù)據(jù)進行解析的解析結果，輸出與之對應的投影數(shù)據(jù)。

優(yōu)選地，所述設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或投影輸出時間達到特定交互時間點；所述來自用戶的多模態(tài)輸入數(shù)據(jù)包括用戶主動輸出的多模態(tài)輸入數(shù)據(jù)和響應多模態(tài)輸出數(shù)據(jù)的多模態(tài)輸入數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)為機器人在所述特定交互時間點向用戶發(fā)出的數(shù)據(jù)。

優(yōu)選地，所述投影數(shù)據(jù)輸出模塊，其進一步根據(jù)解析結果獲取用戶意圖，判斷是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)，若存在，則投影輸出所述投影數(shù)據(jù)，否則，則將所述用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。

優(yōu)選地，所述投影數(shù)據(jù)輸出模塊，其進一步判斷是否對所述反饋數(shù)據(jù)進行投影輸出。

優(yōu)選地，所述投影數(shù)據(jù)輸出模塊，其進一步在投影輸出所述投影數(shù)據(jù)的同時還輸出與該投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)。

與現(xiàn)有技術相比，上述方案中的一個或多個實施例可以具有如下優(yōu)點或有益效果：

本發(fā)明的實施例提供了一種應用于智能機器人的投影交互方法，在進行投影輸出的過程中，通過設定事件觸發(fā)時刻暫停投影輸出，然后接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)，最后根據(jù)解析結果輸出與之對應的投影數(shù)據(jù)，使機器人在投影過程中能夠與用戶進行多模態(tài)交互，提高機器人的智能性和類人性，從而更好地實現(xiàn)教學、游戲效果等。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明的技術方案而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權利要求書以及附圖中所特別指出的結構和/或流程來實現(xiàn)和獲得。

附圖說明

附圖用來提供對本申請的技術方案或現(xiàn)有技術的進一步理解，并且構成說明書的一部分。其中，表達本申請實施例的附圖與本申請的實施例一起用于解釋本申請的技術方案，但并不構成對本申請技術方案的限制。

圖1為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例一的流程示意圖。

圖2為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例二的流程示意圖。

圖3為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例三的流程示意圖。

圖4為涉及本發(fā)明的應用于智能機器人的投影交互裝置400的示例四的結構框圖。

具體實施方式

以下將結合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應用技術手段來解決技術問題，并達成相應技術效果的實現(xiàn)過程能充分理解并據(jù)以實施。本申請實施例以及實施例中的各個特征，在不相沖突前提下可以相互結合，所形成的技術方案均在本發(fā)明的保護范圍之內。

另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

在現(xiàn)有技術中，現(xiàn)有的投影設備在進行投影的過程中，多數(shù)都是將圖像數(shù)據(jù)或視頻數(shù)據(jù)投影在投影屏幕(例如，地面或墻)上，在某些情況下，輸出投影的同時還播放配備的聲音或背景音樂，從而供用戶靜態(tài)地觀看。然而，在該投影過程中，尤其是利用投影設備來進行教學活動，由于觀看者一般為知識水平較低的小朋友，在學習的過程中往往會產生各種各樣的問題，因此，在無人指點和交互的情況下長時間觀看投影容易引起用戶的反感，導致教學活動所帶來的效果甚微。因此，本發(fā)明實施例提供一種能夠提高機器人智能性和擬人性，進而使機器人在投影過程中能夠與用戶進行多模態(tài)交互的解決方案。

本發(fā)明實施例的應用于智能機器人的投影交互方法能夠使機器人在進行投影輸出的過程中與用戶進行交互，提高機器人智能性和類人性。具體來說，例如，在機器人通過投影來進行教學的過程中，在特定事件觸發(fā)時，比如，投影輸出時間達到特定交互時間點時，機器人會如同老師一樣適時地主動暫停投影輸出，并詢問小朋友對剛才所講的內容是否理解，機器人通過視覺能力獲取小朋友搖頭或點頭的信息，也可以通過語音方式獲取小朋友發(fā)出的是或否的語音信息，從而決定是否重新播放之前的投影或者繼續(xù)播放。另外，在投影輸出的過程中，機器人還對用戶進行監(jiān)測，若監(jiān)測到用戶主動輸出多模態(tài)輸入數(shù)據(jù)的設定事件時，例如，在給小朋友講古詩時，小朋友突然打斷問道“曲項是什么意思”，由于監(jiān)測到用戶的語音數(shù)據(jù)，因此機器人暫停投影輸出，對用戶的多模態(tài)輸入數(shù)據(jù)進行解析，并根據(jù)解析結果輸出與之對應的投影數(shù)據(jù)。

在具體實現(xiàn)方式上，為了降低開發(fā)成本和人力物力，可以采用應用程序(APP)的方式來實現(xiàn)投影交互方法，后可以稱為“投影應用程序”。

需要說明的是，在輸出與解析結果對應的投影數(shù)據(jù)時，先判斷是否存在與解析結果中的用戶意圖對應的預先定義的投影數(shù)據(jù)，若存在，則將該投影數(shù)據(jù)輸出。而若不存在預先定義的投影數(shù)據(jù)時，將用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。云端服務器可以認為是機器人的云端大腦，通過機器人將本地無法處理的任務或信息發(fā)送給云端服務器處理，能夠幫助機器人實現(xiàn)復雜的任務且能減輕機器人本地CPU的處理負擔。在機器人獲取了來自云端的反饋數(shù)據(jù)之后，判斷是否對該反饋數(shù)據(jù)進行投影輸出。云端的反饋數(shù)據(jù)可以是待投影的投影數(shù)據(jù)或者投影數(shù)據(jù)和投影數(shù)據(jù)匹配的語音數(shù)據(jù)的組合數(shù)據(jù)，當然，反饋數(shù)據(jù)還可以是針對處理結果的結果數(shù)據(jù)等。

另外，機器人在進行投影輸出的同時還可以輸出與投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)、例如使機器人執(zhí)行某種肢體動作的機械控制指令、使機器人實現(xiàn)面部表情狀態(tài)的表情控制指令，能夠在某些實際應用場景中模仿人的表情和動作，提高用戶使用機器人的程度和粘度。

實施例一

圖1為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例一的流程示意圖，該實施例的方法主要包括以下步驟。

在步驟S110中，智能機器人根據(jù)設定的投影數(shù)據(jù)進行投影輸出。

本實施例的智能機器人具備投影功能，在進行投影之前可以從外部設備獲取待投影數(shù)據(jù)，也可以根據(jù)用戶的控制指令從自身的存儲器中選擇待投影數(shù)據(jù)。在機器人的存儲器中存儲有大量的投影數(shù)據(jù)，這些數(shù)據(jù)可以是圖像數(shù)據(jù)也可以是視頻數(shù)據(jù)。在對設定的待投影數(shù)據(jù)(例如，圖像數(shù)據(jù)或視頻數(shù)據(jù))進行投影時，首先對待投影數(shù)據(jù)進行解碼，將待投影數(shù)據(jù)轉化成對應的投影信息，然后對解碼后的投影信息進行投影。

在步驟S120中，在投影輸出過程中，判斷是否有設定事件觸發(fā)，若判斷有設定事件觸發(fā)，則暫停投影輸出，其中，設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或達到特定交互時間點。

在該步驟中，機器人一方面進行投影輸出，另一方面在投影過程中會監(jiān)測各種請求事件，如定時器的請求事件、信號量的請求事件等。本實施例為了實現(xiàn)機器人在投影過程中能夠與用戶進行交互，定義了設定事件來觸發(fā)暫停投影輸出的操作。在采用應用程序來實現(xiàn)本發(fā)明實施例的情況下，應用程序都包含一個消息循環(huán)，該消息循環(huán)持續(xù)反復監(jiān)測消息隊列，查看是否有設定事件消息，這些設定事件消息包括計時器到達、監(jiān)測到用戶發(fā)出的多模態(tài)輸入數(shù)據(jù)等。事實上，這些事件先被機器人操作系統(tǒng)接收到，當機器人操作系統(tǒng)接收到這些事件后，會產生一些相應的描述事件的消息，并將這些消息發(fā)到該應用程序。應用程序接到這些消息后，查詢消息映射表，調用其相應的消息響應函數(shù)，完成暫停投影輸出的操作。

需要說明的是，設定事件中的計時器到達是指達到特定交互時間點，該特定交互時間點可以設置為與投影內容中設定內容播放結束后的時間點一致，這樣對于在教學應用場景中，機器人在該時間點到達后暫停播放投影并向用戶發(fā)出多模態(tài)輸出數(shù)據(jù)來問詢用戶對之前播放內容的理解，能夠更好地實現(xiàn)教學效果。另一方面，在投影播放的過程中，機器人的圖像采集設備和聲音采集設備實時或間隔設定時間段來采集用戶的信息，若采集到用戶發(fā)出的多模態(tài)輸入數(shù)據(jù)時，則認為設定事件被觸發(fā)，暫停投影播放。例如，在機器人通過投影輸出的方式給小朋友講解古詩時，小朋友在教學的過程中，突然打斷問道：“曲項是什么意思”，機器人通過聲音采集設備采集到該信息后，則認定觸發(fā)了設定事件，暫停播放投影，并記錄當前投影播放的內容。

在步驟S130中，接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)。來自用戶的多模態(tài)輸入數(shù)據(jù)包括用戶主動輸出的多模態(tài)輸入數(shù)據(jù)和響應多模態(tài)輸出數(shù)據(jù)的多模態(tài)輸入數(shù)據(jù)，多模態(tài)輸出數(shù)據(jù)為機器人在所述特定交互時間點向用戶發(fā)出的數(shù)據(jù)。

需要說明的是，若機器人在設定時間點到達后暫停投影播放，則機器人會主動向用戶發(fā)出多模態(tài)輸出數(shù)據(jù)，該多模態(tài)輸出數(shù)據(jù)主要是語音數(shù)據(jù)，多是用來詢問用戶對之前所展示的投影內容的理解之類問詢內容，例如“小朋友，剛才講的內容理解了嗎？”。用戶則會響應該多模態(tài)輸出數(shù)據(jù)產生多模態(tài)輸入數(shù)據(jù)，例如，發(fā)出“理解了”、“不理解”、“XXX還不清楚”等語音信息，或者，做出“搖頭”、“點頭”的動作。

在接收到來自用戶的多模態(tài)輸入數(shù)據(jù)后，對該數(shù)據(jù)進行解析。具體解析結果可以包括識別多模態(tài)輸入數(shù)據(jù)的數(shù)據(jù)特征和/或多模態(tài)輸入數(shù)據(jù)所表征的任務信息等信息。針對不同的多模態(tài)輸入數(shù)據(jù)，解析處理的復雜程度和過程完全不同。如獲取的信息為聲音信息，則機器人將該多模態(tài)數(shù)據(jù)提交到本地的ASR引擎或云端服務器的ASR引擎或本地和云端服務器混合的ASR和VPR(聲紋識別，Voiceprint Recognition)引擎。這些引擎采用ASR技術將語音數(shù)據(jù)轉換成文本信息。具體先對多模態(tài)輸入數(shù)據(jù)進行例如去噪之類的預處理，然后將預處理后的語音信息進行語音識別的綜合分析，生成與語音信息對應的文本信息。進一步來說，在識別過程中可以根據(jù)語音識別的模型，將預先存儲的語音模板與輸入的語音信號的特征進行比較，根據(jù)一定的搜索和匹配策略，找出一系列最優(yōu)的與輸入語音匹配的模板。然后根據(jù)此模板的定義，通過查表就可以給出識別結果。若獲取的信息為圖像數(shù)據(jù)，則基于該二維圖像通過動作分析技術來解析得到人體姿態(tài)。

在步驟S140中，根據(jù)對多模態(tài)輸入數(shù)據(jù)進行解析的解析結果，輸出與之對應的投影數(shù)據(jù)。

在解析得到用戶對機器人輸出的多模態(tài)輸出數(shù)據(jù)所響應的解析結果后，機器人查詢解析結果與投影數(shù)據(jù)的映射列表輸出對應的投影數(shù)據(jù)，例如，在用戶的解析結果是“不理解”，則機器人重新輸出在特定交互時間點之前的內容，或者輸出比該內容講解更詳細的內容給用戶。若在用戶的解析結果是“理解”的情況下，機器人則繼續(xù)播放設定的投影。

容易理解，在輸出與解析結果對應的投影數(shù)據(jù)后，由于之前設定的投影數(shù)據(jù)還未全部輸出，因此機器人根據(jù)暫停投影時記錄的投影內容為開始點繼續(xù)播放投影，完成本次投影輸出。

綜上，本發(fā)明實施例能夠使機器人在投影過程中能夠與用戶進行多模態(tài)交互，提高機器人的智能性和類人性，從而更好地實現(xiàn)教學、游戲效果等。

實施例二

圖2為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例二的流程示意圖，該實施例的方法主要包括以下步驟，其中，將與實施例一相似的步驟以相同的標號標注，且不再贅述其具體內容，僅對區(qū)別步驟進行具體描述。

在步驟S110中，智能機器人根據(jù)設定的投影數(shù)據(jù)進行投影輸出。

在步驟S120中，在投影輸出過程中，判斷是否有設定事件觸發(fā)，若判斷有設定事件觸發(fā)，則暫停投影輸出，其中，設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或投影輸出時間達到特定交互時間點。

在步驟S130中，接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)。

在步驟S210中，根據(jù)解析結果獲取用戶意圖。

如上步驟S130中通過對多模態(tài)數(shù)據(jù)進行分析得到的信息一般只是與語音信息對應的文本信息或者是與用戶動作對應的人體姿態(tài)信息，但這些信息隱含表達的用戶意圖具體是什么，還需要進行進一步的篩選和匹配后機器人才能夠了解。以語音信息為例，通過語音識別得到的分析結果是“曲項是什么意思”，機器人解析得到上述內容后將其中的重點信息例如“曲項”、“什么意思”提取出來，以這些信息為指引從預設的用戶意圖數(shù)據(jù)庫中篩選出匹配的用戶意圖，例如根據(jù)解析結果“曲項是什么意思”獲取“解釋曲項的含義”等用戶意圖。

在步驟S220中，判斷是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)。若存在與用戶意圖對應的預先定義的投影數(shù)據(jù)，則執(zhí)行步驟S230，否則執(zhí)行步驟S240。

預先在機器人本地存儲器中存儲了用戶意圖和預先設定的投影數(shù)據(jù)相互關聯(lián)數(shù)據(jù)庫，通過查詢該數(shù)據(jù)庫，可以找到與用戶意圖對應的投影數(shù)據(jù)。例如，與“解釋曲項的含義”的用戶意圖對應的投影數(shù)據(jù)是包含一個彎彎的鵝脖子的圖像數(shù)據(jù)。若通過應用程序來實現(xiàn)本發(fā)明實施例，則判斷投影應用程序中是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)。

在步驟S230中，投影輸出投影數(shù)據(jù)，輸出結束后返回步驟S110。

在查詢到與用戶意圖對應的投影數(shù)據(jù)后，對該投影數(shù)據(jù)進行輸出。為了保證之前輸出的投影數(shù)據(jù)的完整性，以暫停投影輸出的時間點時記錄的投影內容為開始點繼續(xù)播放未輸出的投影。

在步驟S240中，將用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。

在查詢機器人本地存儲的數(shù)據(jù)庫來獲取投影數(shù)據(jù)時，由于機器人內部存儲器硬件設備和CPU處理能力上的限制，很可能沒有存儲與用戶意圖對應的預先定義的投影數(shù)據(jù)，但是為了更好地與用戶進行交互，在沒有查詢到對應的投影數(shù)據(jù)時，則將用戶意圖發(fā)送給云端服務器，由云端服務器進行處理。

云端服務器根據(jù)用戶意圖進行處理，查詢與用戶意圖對應的內容，該內容可以包括投影數(shù)據(jù)、投影數(shù)據(jù)+語音數(shù)據(jù)的組合、其他形式的反饋數(shù)據(jù)。

在步驟S250中，判斷是否對反饋數(shù)據(jù)進行投影輸出。若判斷結果為是，則執(zhí)行步驟S230，否則，返回繼續(xù)執(zhí)行步驟S110。

機器人接收來自云端服務器的反饋數(shù)據(jù)，判斷該反饋數(shù)據(jù)是否包括可以投影輸出的投影數(shù)據(jù)，若包括投影數(shù)據(jù)，則執(zhí)行步驟S230根據(jù)反饋數(shù)據(jù)進行投影輸出，否則，根據(jù)暫停投影時記錄的投影內容為開始點繼續(xù)播放投影，完成本次投影輸出。若通過應用程序來實現(xiàn)本發(fā)明實施例，則通過投影應用程序判斷是否對反饋數(shù)據(jù)進行投影輸出。

實施例三

圖3為涉及本發(fā)明的應用于智能機器人的投影交互方法的示例三的流程示意圖，該實施例的方法主要包括以下步驟，其中，將與實施例一和實施例二相似的步驟以相同的標號標注，且不再贅述其具體內容，僅對區(qū)別步驟進行具體描述。

在步驟S110中，智能機器人根據(jù)設定的投影數(shù)據(jù)進行投影輸出。

在步驟S120中，在投影輸出過程中，判斷是否有設定事件觸發(fā)，若判斷有設定事件觸發(fā)，則暫停投影輸出，其中，設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或投影輸出時間達到特定交互時間點。

在步驟S130中，接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)。

在步驟S210中，根據(jù)解析結果獲取用戶意圖。

在步驟S220中，判斷是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)。若存在與用戶意圖對應的預先定義的投影數(shù)據(jù)，則執(zhí)行步驟S310，否則執(zhí)行步驟S240。

在步驟S310中，進一步判斷是否存在與該投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)，若判斷結果為存在與該投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)，則執(zhí)行步驟S320，否則執(zhí)行步驟S230。

需要說明的是，其他多模態(tài)數(shù)據(jù)，例如可以是使機器人執(zhí)行某種肢體動作的機械控制指令、使機器人實現(xiàn)面部表情狀態(tài)的表情控制指令，能夠在某些實際應用場景中模仿人的表情和動作。在本例中，機器人的存儲器除了關聯(lián)存儲有用戶意圖和預先定義的投影數(shù)據(jù)以外，還存儲了投影數(shù)據(jù)和多模態(tài)數(shù)據(jù)相關聯(lián)的數(shù)據(jù)庫。通過查詢該數(shù)據(jù)庫，判斷是否存在與預先定義的投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)。例如，“解釋曲項的含義”的用戶意圖對應了“一個彎彎的鵝脖子”的投影數(shù)據(jù)，該投影數(shù)據(jù)對應著對“曲項”進行解釋的語音數(shù)據(jù)：“曲項”二字形容鵝向天高歌之態(tài)，是指鵝彎彎的脖子。

在步驟S320中，投影輸出投影數(shù)據(jù)，并輸出其他多模態(tài)數(shù)據(jù)，輸出結束后返回步驟S110。

在投影輸出投影數(shù)據(jù)的同時或者之后輸出其他多模態(tài)數(shù)據(jù)，其他多模態(tài)數(shù)據(jù)的輸出時間不進行限定。這樣，能夠進一步對投影數(shù)據(jù)進行解釋說明，幫助用戶理解投影內容。若多模態(tài)數(shù)據(jù)為語音數(shù)據(jù)，則通過語音輸出設備執(zhí)行操作，若多模態(tài)數(shù)據(jù)為機械控制指令，則機器人相應的機械結構根據(jù)指令來執(zhí)行。

在步驟S230中，投影輸出投影數(shù)據(jù)，輸出結束后返回步驟S110。

在步驟S240中，將用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。

在步驟S250中，判斷是否對反饋數(shù)據(jù)進行投影輸出。若判斷結果為是，則執(zhí)行步驟S230，否則，返回繼續(xù)執(zhí)行步驟S110。

實施例四

圖4為本申請實施例的應用于智能機器人的投影交互系統(tǒng)400的結構框圖。如圖4所示，本申請實施例的投影交互系統(tǒng)400主要包括：投影輸出控制模塊410、用戶數(shù)據(jù)接收模塊420以及投影數(shù)據(jù)輸出模塊430。

投影輸出控制模塊410，其在進行投影輸出的過程中，判斷是否有設定事件觸發(fā)，若有，則暫停投影輸出，所述設定事件包括監(jiān)測到用戶輸出的多模態(tài)輸入數(shù)據(jù)或投影輸出時間達到特定交互時間點。

用戶數(shù)據(jù)接收模塊420，其接收并解析來自用戶的多模態(tài)輸入數(shù)據(jù)，所述來自用戶的多模態(tài)輸入數(shù)據(jù)包括用戶主動輸出的多模態(tài)輸入數(shù)據(jù)和響應多模態(tài)輸出數(shù)據(jù)的多模態(tài)輸入數(shù)據(jù)，所述多模態(tài)輸出數(shù)據(jù)為機器人在所述特定交互時間點向用戶發(fā)出的數(shù)據(jù)。

投影數(shù)據(jù)輸出模塊430，其根據(jù)對所述多模態(tài)輸入數(shù)據(jù)進行解析的解析結果，輸出與之對應的投影數(shù)據(jù)。所述投影數(shù)據(jù)輸出模塊430，其進一步根據(jù)解析結果獲取用戶意圖，判斷是否存在與用戶意圖對應的預先定義的投影數(shù)據(jù)，若存在，則投影輸出所述投影數(shù)據(jù)，否則，則將所述用戶意圖發(fā)送給云端服務器，接收通過云端服務器分析后的反饋數(shù)據(jù)。所述投影數(shù)據(jù)輸出模塊430，其進一步判斷是否對所述反饋數(shù)據(jù)進行投影輸出，另外，在投影輸出所述投影數(shù)據(jù)的同時還輸出與該投影數(shù)據(jù)對應的其他多模態(tài)數(shù)據(jù)。

通過合理設置，本實施例的投影交互系統(tǒng)400可以執(zhí)行實施例一、實施例二和實施例三的各個步驟，此處不再贅述。

由于本發(fā)明的方法描述的是在計算機系統(tǒng)中實現(xiàn)的。該計算機系統(tǒng)例如可以設置在機器人的控制核心處理器中。例如，本文所述的方法可以實現(xiàn)為能以控制邏輯來執(zhí)行的軟件，其由機器人操作系統(tǒng)中的CPU來執(zhí)行。本文所述的功能可以實現(xiàn)為存儲在非暫時性有形計算機可讀介質中的程序指令集合。當以這種方式實現(xiàn)時，該計算機程序包括一組指令，當該組指令由計算機運行時其促使計算機執(zhí)行能實施上述功能的方法?？删幊踢壿嬁梢詴簳r或永久地安裝在非暫時性有形計算機可讀介質中，例如只讀存儲器芯片、計算機存儲器、磁盤或其他存儲介質。除了以軟件來實現(xiàn)之外，本文所述的邏輯可利用分立部件、集成電路、與可編程邏輯設備(諸如，現(xiàn)場可編程門陣列(FPGA)或微處理器)結合使用的可編程邏輯，或者包括它們任意組合的任何其他設備來體現(xiàn)。所有此類實施例旨在落入本發(fā)明的范圍之內。

應該理解的是，本發(fā)明所公開的實施例不限于這里所公開的特定結構、處理步驟或材料，而應當延伸到相關領域的普通技術人員所理解的這些特征的等同替代。還應當理解的是，在此使用的術語僅用于描述特定實施例的目的，而并不意味著限制。

說明書中提到的“一個實施例”或“實施例”意指結合實施例描述的特定特征、結構或特性包括在本發(fā)明的至少一個實施例中。因此，說明書通篇各個地方出現(xiàn)的短語“一個實施例”或“實施例”并不一定均指同一個實施例。

雖然本發(fā)明所公開的實施方式如上，但所述的內容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術領域內的技術人員，在不脫離本發(fā)明所公開的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化，但本發(fā)明的專利保護范圍，仍須以所附的權利要求書所界定的范圍為準。