本發(fā)明涉及機(jī)器人技術(shù)領(lǐng)域，具體地說(shuō)，涉及一種面向智能機(jī)器人的人機(jī)交互方法及裝置。

背景技術(shù)：

隨著科學(xué)技術(shù)的不斷發(fā)展，信息技術(shù)、計(jì)算機(jī)技術(shù)以及人工智能技術(shù)的引入，機(jī)器人的研究已經(jīng)逐步走出工業(yè)領(lǐng)域，逐漸擴(kuò)展到了醫(yī)療、保健、家庭、娛樂(lè)以及服務(wù)行業(yè)等領(lǐng)域。而人們對(duì)于機(jī)器人的要求也從簡(jiǎn)單重復(fù)的機(jī)械動(dòng)作提升為具有擬人問(wèn)答、自主性及與其他設(shè)備進(jìn)行交互的智能機(jī)器人，應(yīng)對(duì)盡可能多的場(chǎng)景就成為決定智能機(jī)器人發(fā)展的重要因素。

技術(shù)實(shí)現(xiàn)要素：

為解決上述問(wèn)題，本發(fā)明提供了一種面向智能機(jī)器人的人機(jī)交互方法，其包括：

數(shù)據(jù)獲取步驟，獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)；

異常狀態(tài)指示信息生成步驟，根據(jù)所述多模態(tài)數(shù)據(jù)判斷所述兒童用戶的當(dāng)前狀態(tài)，其中，如果所述兒童用戶存在異常，則生成異常狀態(tài)指示信息；

輸出信息生成步驟，根據(jù)所述異常狀態(tài)指示信息而接收到的監(jiān)護(hù)人反饋信息生成相應(yīng)的多模態(tài)輸出信息并輸出。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，在所述異常狀態(tài)指示信息生成步驟中，

根據(jù)所述多模態(tài)數(shù)據(jù)生成所述兒童用戶的當(dāng)前狀態(tài)特征信息；

將所述當(dāng)前狀態(tài)特征信息與預(yù)設(shè)正常狀態(tài)特征信息或預(yù)設(shè)異常狀態(tài)特征信息進(jìn)行匹配，根據(jù)匹配結(jié)果判斷所述兒童用戶是否存在異常。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，在所述輸出信息生成步驟中，

將所述異常狀態(tài)指示信息發(fā)送至所述兒童用戶對(duì)應(yīng)的監(jiān)護(hù)人客戶端，并接收所述監(jiān)護(hù)人客戶端響應(yīng)所述異常狀態(tài)指示信息而發(fā)送的所述監(jiān)護(hù)人反饋信息；或，

根據(jù)所述異常狀態(tài)指示信息生成相應(yīng)的多模態(tài)指示信息，并獲取監(jiān)護(hù)人根據(jù)所述多模態(tài)指示信息而輸入的監(jiān)護(hù)人反饋信息。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述異常狀態(tài)指示信息包括：兒童用戶異常特征、解析結(jié)論信息和候選處理建議，在所述輸出信息生成步驟中，根據(jù)所述監(jiān)護(hù)人反饋信息判斷監(jiān)護(hù)人是否同意按照所述候選處理建議進(jìn)行處理，其中，

如果所述監(jiān)護(hù)人同意按照所述候選處理建議進(jìn)行處理，則根據(jù)所述候選處理建議生成相應(yīng)的多模態(tài)輸出信息；

如果所述監(jiān)護(hù)人不同意按照所述候選處理建議進(jìn)行處理，則進(jìn)一步獲取所述監(jiān)護(hù)人反饋的補(bǔ)充處理意見(jiàn)并根據(jù)所述補(bǔ)充處理意見(jiàn)來(lái)生成相應(yīng)的多模態(tài)輸出信息。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，在所述輸出信息生成步驟中，利用預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)，根據(jù)所述多模態(tài)數(shù)據(jù)生成所述候選處理建議，所述方法還包括：

自學(xué)習(xí)數(shù)據(jù)庫(kù)更新步驟，如果所述監(jiān)護(hù)人不同意按照所述候選處理建議進(jìn)行處理，則根據(jù)所述監(jiān)護(hù)人反饋的補(bǔ)充處理意見(jiàn)對(duì)所述預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新。

本發(fā)明還提供了一種面向智能機(jī)器人的人機(jī)交互裝置，其包括：

數(shù)據(jù)獲取模塊，其用于獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)；

異常狀態(tài)指示信息生成模塊，其用于根據(jù)所述多模態(tài)數(shù)據(jù)判斷所述兒童用戶的當(dāng)前狀態(tài)，其中，如果所述兒童用戶存在異常，則生成異常狀態(tài)指示信息；

輸出信息生成模塊，其用于根據(jù)因應(yīng)所述異常狀態(tài)指示信息而接收到的監(jiān)護(hù)人反饋信息生成相應(yīng)的多模態(tài)輸出信息并輸出。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述異常狀態(tài)指示信息生成模塊配置為根據(jù)所述多模態(tài)數(shù)據(jù)生成所述兒童用戶的當(dāng)前狀態(tài)特征信息，并將所述當(dāng)前狀態(tài)特征信息與預(yù)設(shè)正常狀態(tài)特征信息或預(yù)設(shè)異常狀態(tài)特征信息進(jìn)行匹配，根據(jù)匹配結(jié)果判斷所述兒童用戶是否存在異常。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述輸出信息生成模塊配置為：

將所述異常狀態(tài)指示信息發(fā)送至所述兒童用戶對(duì)應(yīng)的監(jiān)護(hù)人客戶端，并接收所述監(jiān)護(hù)人客戶端響應(yīng)所述異常狀態(tài)指示信息而發(fā)送的所述監(jiān)護(hù)人反饋信息；或，

根據(jù)所述異常狀態(tài)指示信息生成相應(yīng)的多模態(tài)指示信息，并獲取監(jiān)護(hù)人根據(jù)所述多模態(tài)指示信息而輸入的監(jiān)護(hù)人反饋信息。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述異常狀態(tài)指示信息包括：兒童用戶異常特征、解析結(jié)論信息和候選處理建議，所述輸出信息生成模塊配置為根據(jù)所述監(jiān)護(hù)人反饋信息判斷監(jiān)護(hù)人是否同意按照所述候選處理建議進(jìn)行處理，其中，

如果所述監(jiān)護(hù)人同意按照所述候選處理建議進(jìn)行處理，所述輸出信息生成模塊則根據(jù)所述候選處理建議生成相應(yīng)的多模態(tài)輸出信息；

如果所述監(jiān)護(hù)人不同意按照所述候選處理建議進(jìn)行處理，所述輸出信息生成模塊則進(jìn)一步獲取所述監(jiān)護(hù)人反饋的補(bǔ)充處理意見(jiàn)來(lái)生成相應(yīng)的多模態(tài)輸出信息。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述輸出信息生成模塊配置為利用預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)，根據(jù)所述多模態(tài)數(shù)據(jù)生成所述候選處理建議，所述裝置還包括：

自學(xué)習(xí)數(shù)據(jù)庫(kù)更新模塊，其用于在所述監(jiān)護(hù)人不同意按照所述候選處理建議進(jìn)行處理時(shí)，根據(jù)所述監(jiān)護(hù)人反饋的補(bǔ)充處理意見(jiàn)對(duì)所述預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新。

本發(fā)明所提供的面向智能機(jī)器人的人機(jī)交互方法能夠幫助兒童監(jiān)護(hù)人對(duì)兒童進(jìn)行更加全面、有效的監(jiān)護(hù)，這樣監(jiān)護(hù)人也就不需要長(zhǎng)時(shí)間地處于兒童的身旁來(lái)對(duì)其進(jìn)行看護(hù)，從而使得監(jiān)護(hù)人對(duì)兒童的看護(hù)過(guò)程更加省心、高效，進(jìn)而提高了智能機(jī)器人的用戶體驗(yàn)以及產(chǎn)品競(jìng)爭(zhēng)力。

同時(shí)，本方法還能夠通過(guò)用戶反饋的數(shù)據(jù)來(lái)對(duì)自身的自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新，這樣也就解決了兒童監(jiān)護(hù)領(lǐng)域數(shù)據(jù)匱乏的問(wèn)題，這樣有助于進(jìn)一步提高智能機(jī)器人的智能性和可靠性。

本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見(jiàn)，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過(guò)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要的附圖做簡(jiǎn)單的介紹：

圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖；

圖2是根據(jù)本發(fā)明另一個(gè)實(shí)施例的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖；

圖3是根據(jù)本發(fā)明再一個(gè)實(shí)施例的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖；

圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的面向智能機(jī)器人的人機(jī)交互裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。需要說(shuō)明的是，只要不構(gòu)成沖突，本發(fā)明中的各個(gè)實(shí)施例以及各實(shí)施例中的各個(gè)特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。

同時(shí)，在以下說(shuō)明中，出于解釋的目的而闡述了許多具體細(xì)節(jié)，以提供對(duì)本發(fā)明實(shí)施例的徹底理解。然而，對(duì)本領(lǐng)域的技術(shù)人員來(lái)說(shuō)顯而易見(jiàn)的是，本發(fā)明可以不用這里的具體細(xì)節(jié)或者所描述的特定方式來(lái)實(shí)施。

另外，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

隨著智能機(jī)器人技術(shù)的發(fā)展，智能機(jī)器人的機(jī)器視覺(jué)得到了長(zhǎng)足的發(fā)展，因此這也就使得家長(zhǎng)可以通過(guò)智能機(jī)器人所拍攝的圖像來(lái)對(duì)嬰兒進(jìn)行監(jiān)視。然而，現(xiàn)有的智能機(jī)器人的這種嬰兒監(jiān)視功能較為單一，其只能夠?qū)雰旱南嚓P(guān)圖像進(jìn)行拍攝并將拍攝到的圖像傳輸至相應(yīng)的顯示器來(lái)由嬰兒的家長(zhǎng)進(jìn)行觀看。對(duì)于這種情況，嬰兒的家長(zhǎng)也就需要長(zhǎng)時(shí)間地觀看顯示器才能夠保證嬰兒不會(huì)處于某些危險(xiǎn)的狀態(tài)(例如攀爬嬰兒床的欄桿等)，這顯然不利于減輕家長(zhǎng)的負(fù)擔(dān)。

針對(duì)現(xiàn)有技術(shù)中所存在的上述問(wèn)題，本發(fā)明提供了一種新的面向智能機(jī)器人的人機(jī)交互方法，該方法能夠幫助兒童監(jiān)護(hù)人對(duì)兒童進(jìn)行更加全面、有效的監(jiān)護(hù)，這樣監(jiān)護(hù)人也就不需要長(zhǎng)時(shí)間地處于兒童的身旁來(lái)對(duì)其進(jìn)行看護(hù)。

為了更加清楚地闡述本發(fā)明所提供的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)原理、實(shí)現(xiàn)過(guò)程以及優(yōu)點(diǎn)，以下分別結(jié)合不同的實(shí)施例來(lái)對(duì)本發(fā)明所提供的人機(jī)交互方法作進(jìn)一步地說(shuō)明。

實(shí)施例一：

圖1輸出了本實(shí)施例所提供的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖。

如圖1所示，本實(shí)施例所提供的人機(jī)交互方法首先在步驟s101中獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)。需要指出的是，本實(shí)施例中，根據(jù)實(shí)際情況，該方法在步驟s101中所獲取到的關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)可以包含一種或多種不同形式的信息，本發(fā)明不限于此。例如，如果兒童用戶正在哭泣，那么該方法在步驟s101中所獲取到的關(guān)于該兒童用戶的多模態(tài)數(shù)據(jù)中也就可以包含兒童用戶的圖像數(shù)據(jù)和音頻數(shù)據(jù)。

當(dāng)?shù)玫缴鲜鲫P(guān)于兒童用戶的多模態(tài)數(shù)據(jù)后，該方法會(huì)在步驟s102中根據(jù)上述多模態(tài)數(shù)據(jù)確定該兒童用戶的當(dāng)前狀態(tài)，并在步驟s103中進(jìn)一步判斷該兒童用戶是否存在異常，即該兒童用戶的當(dāng)前狀態(tài)是否為異常狀態(tài)。

例如，當(dāng)兒童用戶正在哭泣，那么該方法也就可以通過(guò)該兒童用戶的面部圖像數(shù)據(jù)判斷出該用戶的當(dāng)前面部表情識(shí)別為哭泣表情，或是通過(guò)該兒童用戶的音頻數(shù)據(jù)判斷出該用戶當(dāng)前處于哭泣狀態(tài)，而哭泣狀態(tài)顯然不應(yīng)當(dāng)是一種正常狀態(tài)，因此該方法也就可以在步驟s103判斷出此時(shí)該兒童用戶處于異常狀態(tài)。

當(dāng)然，在本發(fā)明的其他實(shí)施例中，該方法可以根據(jù)步驟s101中所獲取到的多模態(tài)數(shù)據(jù)的不同而采用不同的方法來(lái)判斷兒童用戶是否存在異常，本發(fā)明不限于此。

此外，該方法在步驟s102中還可以通過(guò)與兒童用戶進(jìn)行交互確認(rèn)來(lái)判斷兒童用戶的當(dāng)前狀態(tài)。例如，如果該方法獲取到兒童用戶面部皺眉并且用手摸了摸自己的肚子的圖像數(shù)據(jù)，結(jié)合當(dāng)前時(shí)間點(diǎn)為晚上6點(diǎn)，該方法也就可以向兒童用戶輸入諸如“你是不是餓了呀”的語(yǔ)音信息，如果兒童用戶反饋了諸如“嗯，我好餓”的語(yǔ)音信息，那么該方法也就可以判斷出此時(shí)該兒童用戶處于饑餓狀態(tài)。

如圖1所示，本實(shí)施例中，如果兒童用戶存在異常，該方法則會(huì)在步驟s104中生成相應(yīng)的異常狀態(tài)指示信息。兒童的監(jiān)護(hù)人(例如家長(zhǎng))在得到上述異常狀態(tài)指示信息后，也就知道了需要進(jìn)行響應(yīng)，從而針對(duì)上述異常狀態(tài)指示信息來(lái)向智能機(jī)器人輸入相應(yīng)的反饋信息(即輸入監(jiān)護(hù)人反饋信息)，這樣該方法也就會(huì)在步驟s105中獲取到監(jiān)護(hù)人所輸入的上述監(jiān)護(hù)人反饋信息。

在得到監(jiān)護(hù)人反饋信息后，該方法也就可以在步驟s106中根據(jù)步驟s105所獲取到的監(jiān)護(hù)人反饋信息來(lái)生成相應(yīng)的多模態(tài)輸出信息，并將該多模態(tài)輸出信息反饋給兒童用戶，以使得兒童用戶由異常狀態(tài)轉(zhuǎn)為正常狀態(tài)。

例如，當(dāng)監(jiān)護(hù)人通過(guò)智能機(jī)器人所發(fā)送的異常狀態(tài)指示信息知曉到兒童用戶處饑餓狀態(tài)時(shí)，其可以向智能機(jī)器人輸入“媽媽馬上就到家了”的反饋信息，而此時(shí)該方法根據(jù)監(jiān)護(hù)人所輸入的上述反饋信息向兒童用戶輸出諸如“再堅(jiān)持一會(huì)兒，媽媽就能到家做飯啦”的語(yǔ)音信息，從而實(shí)現(xiàn)對(duì)兒童用戶的安撫。

實(shí)施例二：

圖2輸出了本實(shí)施例所提供的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖。

如圖2所示，本實(shí)施例所提供的人機(jī)交互方法首先在步驟s201中獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)。需要指出的是，本實(shí)施例中，上述步驟s201的實(shí)現(xiàn)原理以及實(shí)現(xiàn)過(guò)程與上述實(shí)施例一中步驟s101所闡述的內(nèi)容類似，故在此不再對(duì)步驟s201的相關(guān)內(nèi)容進(jìn)行贅述。

在得到兒童用戶的多模態(tài)數(shù)據(jù)后，該方法會(huì)在步驟s202中根據(jù)上述多模態(tài)數(shù)據(jù)生成該兒童用戶的當(dāng)前狀態(tài)特征信息，并在步驟s203中判斷步驟s202中所提取出的當(dāng)前狀態(tài)特征信息與預(yù)設(shè)正常狀態(tài)特征信息是否匹配。其中，如果步驟s202中所提取出的兒童用戶的當(dāng)前狀態(tài)特征信息能夠與某些預(yù)設(shè)正常狀態(tài)特征信息相匹配，那么該方法也就可以判斷出該兒童用戶不存在異常；相反，如果不存在與上述當(dāng)前狀態(tài)信息匹配的預(yù)設(shè)正常狀態(tài)特征信息，那么該方法也就可以判斷出該兒童用戶存在異常。

例如，如果該方法通過(guò)對(duì)步驟s201中所獲取到的多模態(tài)數(shù)據(jù)中的圖像數(shù)據(jù)進(jìn)行分析，得到了兒童用戶的當(dāng)前狀態(tài)特征信息為“閉眼、平躺、四肢不動(dòng)”，那么該方法在步驟s203中也就可以將兒童用戶的上述狀態(tài)特征信息與睡眠狀態(tài)相對(duì)應(yīng)的預(yù)設(shè)正常狀態(tài)特征信息匹配成功，這樣該方法也就可以判斷出此時(shí)該兒童用戶處于睡眠狀態(tài)。

需要指出的是，在本發(fā)明的其他實(shí)施例中，該方法在步驟s203中還可以將步驟s202中所得到的兒童用戶的當(dāng)前狀態(tài)特征信息與預(yù)設(shè)異常狀態(tài)特征信息進(jìn)行匹配，以此來(lái)判斷該兒童用戶是否處于異常狀態(tài)，本發(fā)明不限于此。

例如，如果該方法通過(guò)對(duì)步驟s201中所獲取到的多模態(tài)數(shù)據(jù)中的圖像數(shù)據(jù)進(jìn)行分析，得到了兒童用戶的當(dāng)前狀態(tài)特征信息為“皺眉、平躺、四肢晃動(dòng)”，那么該方法在步驟s203中也就可以將兒童用戶的上述狀態(tài)特征信息與諸如“睡醒”相對(duì)應(yīng)的預(yù)設(shè)異常狀態(tài)特征信息匹配成功，這樣該方法也就可以判斷出此時(shí)該兒童用戶處于異常狀態(tài)。

如圖2所示，本實(shí)施例中，如果兒童用戶的當(dāng)前狀態(tài)特征信息無(wú)法與預(yù)設(shè)正常狀態(tài)特征信息匹配成功(即該兒童用戶處于異常狀態(tài))，那么該方法也就會(huì)在步驟s204中生成異常狀態(tài)指示信息，并在步驟s205中將該異常狀態(tài)指示信息發(fā)送至該兒童用戶所對(duì)應(yīng)的監(jiān)護(hù)人客戶端(例如該兒童用戶的父母所使用的移動(dòng)設(shè)備，通過(guò)客戶端可與所述智能機(jī)器人等)。

監(jiān)護(hù)人可以通過(guò)監(jiān)護(hù)人客戶端所顯示的異常狀態(tài)指示信息了解到兒童用戶當(dāng)前的異常狀態(tài)，并根據(jù)該異常狀態(tài)指示信息來(lái)通過(guò)監(jiān)護(hù)人客戶端向智能機(jī)器人發(fā)送相應(yīng)的反饋信息(即監(jiān)護(hù)人反饋信息)，這樣該方法也就可以在步驟s206中接收到監(jiān)護(hù)人客戶端響應(yīng)異常狀態(tài)指示信息而發(fā)送的監(jiān)護(hù)人反饋信息。

如圖2所示，本實(shí)施例中，該方法在得到上述監(jiān)護(hù)人反饋信息后，會(huì)在步驟s207中根據(jù)該監(jiān)護(hù)人反饋信息生成相應(yīng)的多模態(tài)輸出信息并輸出給兒童用戶，以實(shí)現(xiàn)對(duì)兒童用戶的安撫。

例如，當(dāng)該方法檢測(cè)到兒童用戶哭泣的時(shí)候，該方法在步驟s204中可以生成相應(yīng)的哭泣狀態(tài)指示信息并將該哭泣狀態(tài)信息發(fā)送至兒童父母所使用的手機(jī)上進(jìn)行信息同步(不局限于生成的文字、語(yǔ)音數(shù)據(jù)，也可以是圖像流)，兒童父母通過(guò)手機(jī)也就可以知道孩子在哭泣，那么其可以通過(guò)向智能機(jī)器人輸入諸如“播放音樂(lè)”等語(yǔ)音信息來(lái)控制智能機(jī)器人播放輕柔的音樂(lè)，以實(shí)現(xiàn)安撫兒童用戶的效果。

需要指出的是，在本發(fā)明的其他實(shí)施例中，如果兒童用戶的監(jiān)護(hù)人處于智能智能機(jī)器人的面前(例如智能機(jī)器人在發(fā)現(xiàn)兒童房?jī)?nèi)的兒童用戶在哭泣時(shí)移動(dòng)到位于廚房?jī)?nèi)的家長(zhǎng)面前)，那么此時(shí)該方法也就可以直接根據(jù)上述異常狀態(tài)指示信息生成相應(yīng)的多模態(tài)指示信息，并獲取監(jiān)護(hù)人根據(jù)上述多模態(tài)指示信息而輸入的監(jiān)護(hù)人反饋信息。

例如，如果該方法判斷出兒童房?jī)?nèi)的兒童用戶在哭泣，那么該方法也就可以生成相應(yīng)的異常狀態(tài)指示信息，并根據(jù)該異常狀態(tài)指示信息控制智能機(jī)器人移動(dòng)到位于廚房?jī)?nèi)的家長(zhǎng)面前并輸出“哎呀，寶寶在哭鬧呢”的語(yǔ)音指示信息，而家長(zhǎng)可以直接向智能機(jī)器人輸入諸如“先給他播放一下?lián)u籃曲，我馬上就過(guò)去”的語(yǔ)音反饋信息。

實(shí)施例三：

圖3輸出了本實(shí)施例所提供的面向智能機(jī)器人的人機(jī)交互方法的實(shí)現(xiàn)流程示意圖。

如圖3所示，本實(shí)施例所提供的人機(jī)交互方法首先在步驟s301中獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)。在得到關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)后，該方法會(huì)在步驟s302中根據(jù)步驟s301中所獲取到的多模態(tài)數(shù)據(jù)生成該兒童用戶的當(dāng)前狀態(tài)特征信息，并在步驟s303中判斷該兒童用戶的當(dāng)前狀態(tài)特征信息與預(yù)設(shè)正常狀態(tài)特征信息是否匹配。

其中，如果如果步驟s202中所提取出的兒童用戶的當(dāng)前狀態(tài)特征信息能夠與某些預(yù)設(shè)正常狀態(tài)特征信息相匹配，那么該方法也就可以判斷出該兒童用戶不存在異常；相反，如果不存在與上述當(dāng)前狀態(tài)信息匹配的預(yù)設(shè)正常狀態(tài)特征信息，那么該方法也就可以判斷出該兒童用戶存在異常。

如果兒童用戶存在異常，那么該方法則會(huì)在步驟s304中生成相應(yīng)的異常狀態(tài)指示信息，并在步驟s305中將該異常狀態(tài)指示信息發(fā)送至兒童用戶所對(duì)應(yīng)的監(jiān)護(hù)人客戶端。該方法會(huì)在步驟s306中接收監(jiān)護(hù)人客戶端相應(yīng)上述異常狀態(tài)指示信息而發(fā)送來(lái)的監(jiān)護(hù)人反饋信息。

需要指出的是，本實(shí)施例中，上述步驟s301至步驟s306的具體實(shí)現(xiàn)原理以及實(shí)現(xiàn)過(guò)程與上述實(shí)施例二中步驟s201至步驟s206所闡述的內(nèi)容類似，故在此不再對(duì)步驟s301至步驟s306的相關(guān)內(nèi)容進(jìn)行贅述。

本實(shí)施例中，該方法在步驟s304中所生成的異常狀態(tài)指示信息優(yōu)選地包括：兒童用戶異常特征、解析結(jié)論信息以及候選處理建議。當(dāng)然，在本發(fā)明的其他實(shí)施例中，該方法所生成的異常狀態(tài)指示信息中還可以包含其他合理信息，本發(fā)明不限于此。本實(shí)施例中，該方法優(yōu)選地利用預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)，來(lái)根據(jù)獲取到的關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)生成上述候選處理建議。

該方法在步驟s305中將上述異常狀態(tài)指示信息發(fā)送至監(jiān)護(hù)人客戶端后，該兒童用戶的監(jiān)護(hù)人也就可以通過(guò)監(jiān)護(hù)人客戶端了解到上述異常狀態(tài)指示信息。而針對(duì)該方法所生成的候選處理建議，監(jiān)護(hù)人可以反饋表征同意或不同意的信息。這樣該方法也就會(huì)在步驟s306中獲取到監(jiān)護(hù)人客戶端響應(yīng)異常狀態(tài)指示信息而發(fā)送的監(jiān)護(hù)人反饋信息，并在步驟s307中根據(jù)步驟s306中所獲取到的監(jiān)護(hù)人反饋信息來(lái)判斷監(jiān)護(hù)人是否同意按照候選處理建議進(jìn)行處理。

其中，如果該方法檢測(cè)到監(jiān)護(hù)人同意按照候選處理建議進(jìn)行處理，那么該方法也就會(huì)在步驟s308中根據(jù)步驟s304中所生成的候選處理建議來(lái)生成相應(yīng)的多模態(tài)輸出信息。

而如果該方法檢測(cè)到監(jiān)護(hù)人不同意按照候選處理建議進(jìn)行處理，那么該方法則會(huì)在步驟s309中獲取監(jiān)護(hù)人反饋的補(bǔ)充處理意見(jiàn)，并根據(jù)該補(bǔ)充處理意見(jiàn)來(lái)生成相應(yīng)的多模態(tài)反饋信息并輸出。

例如，如果兒童用戶處于哭泣狀態(tài)，那么該方法在步驟s304中所生成的異常狀態(tài)指示信息中所包含的異常特征可以是兒童用戶的面部圖像，解析結(jié)論可以是哭泣，而候選處理建議則可以是播放輕柔音樂(lè)。

該兒童用戶的父母通過(guò)自身所使用的手機(jī)或是其他智能設(shè)備能夠獲取到上述異常狀態(tài)指示信息，如果其同意播放輕柔音樂(lè)這一候選處理建議，那么該方法則會(huì)向兒童用戶播放輕柔音樂(lè)以對(duì)其進(jìn)行安撫。而如果該兒童用戶的父母不同意播放輕柔音樂(lè)這一候選處理建議，那么其可以通過(guò)自身所使用的智能設(shè)備向智能機(jī)器人輸入諸如“播放媽媽哄孩子睡覺(jué)的錄音”的補(bǔ)充處理意見(jiàn)，這樣該方法也就可以根據(jù)上述補(bǔ)充處理意見(jiàn)來(lái)播放事先準(zhǔn)備好的相關(guān)錄音。

為了更好地對(duì)兒童用戶進(jìn)行監(jiān)護(hù)，本實(shí)施例所提供的方法還具有數(shù)據(jù)庫(kù)更新功能。如圖3所示，如果監(jiān)護(hù)人不同意按照候選處理意見(jiàn)來(lái)進(jìn)行處理并反饋了相應(yīng)的補(bǔ)充處理意見(jiàn)，那么該方法則會(huì)在步驟s310中根據(jù)監(jiān)護(hù)人所反饋的補(bǔ)充處理意見(jiàn)來(lái)對(duì)預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新，這樣該方法在后續(xù)交互過(guò)程中也就可以將監(jiān)護(hù)人所反饋的補(bǔ)充處理意見(jiàn)來(lái)作為候選處理建議輸出給監(jiān)護(hù)人。

本發(fā)明所提供的用于智能機(jī)器人的人機(jī)交互方法能夠幫助兒童監(jiān)護(hù)人對(duì)兒童進(jìn)行更加全面、有效的監(jiān)護(hù)，這樣監(jiān)護(hù)人也就不需要長(zhǎng)時(shí)間地處于兒童的身旁來(lái)對(duì)其進(jìn)行看護(hù)，從而使得監(jiān)護(hù)人對(duì)兒童的看護(hù)過(guò)程更加省心、高效，進(jìn)而提高了智能機(jī)器人的用戶體驗(yàn)以及產(chǎn)品競(jìng)爭(zhēng)力。

同時(shí)，本方法還能夠通過(guò)用戶反饋的數(shù)據(jù)來(lái)對(duì)自身的自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新，這樣也就解決了兒童監(jiān)護(hù)領(lǐng)域數(shù)據(jù)匱乏的問(wèn)題，這樣有助于進(jìn)一步提高智能機(jī)器人的智能性和可靠性。

本發(fā)明還提供了一種面向智能機(jī)器人的人機(jī)交互裝置，其中，圖4示出了本實(shí)施例中該人機(jī)交互裝置的結(jié)構(gòu)示意圖。

如圖4所示，本實(shí)施例所提供的人機(jī)交互裝置優(yōu)選地包括：數(shù)據(jù)獲取模塊401、異常狀態(tài)指示信息生成模塊402、輸出信息生成模塊403以及自學(xué)習(xí)數(shù)據(jù)庫(kù)更新模塊404。

其中，數(shù)據(jù)獲取模塊401用于獲取關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)。本實(shí)施例中，根據(jù)實(shí)際情況，數(shù)據(jù)獲取模塊401所獲取到的關(guān)于兒童的多模態(tài)數(shù)據(jù)可以包含一種或多種不同形式的信息，本發(fā)明不限于此。

數(shù)據(jù)獲取模塊401與異常狀態(tài)指示信息生成模塊402連接，其會(huì)將自身獲取到的關(guān)于兒童用戶的多模態(tài)數(shù)據(jù)傳輸至異常狀態(tài)指示信息生成模塊402。異常狀態(tài)指示信息生成模塊402能夠根據(jù)上述多模態(tài)數(shù)據(jù)判斷該兒童用戶的當(dāng)前狀態(tài)，其中，如果該兒童用戶存在異常，那么異常狀態(tài)指示信息生成模塊402則會(huì)生成相應(yīng)的異常狀態(tài)指示信息。

異常狀態(tài)指示信息生成模塊402在生成異常狀態(tài)指示信息后，會(huì)將該異常狀態(tài)指示信息發(fā)送至與之連接的監(jiān)護(hù)人客戶端或是直接輸出給監(jiān)護(hù)人。同時(shí)，輸出信息生成模塊403則會(huì)獲取監(jiān)護(hù)人客戶端相應(yīng)上述異常狀態(tài)指示信息而發(fā)送來(lái)的監(jiān)護(hù)人反饋信息或是監(jiān)護(hù)人直接輸入的監(jiān)護(hù)人反饋信息。在獲取到監(jiān)護(hù)人反饋信息后，輸出信息生成模塊403則根據(jù)上述監(jiān)護(hù)人反饋信息生成相應(yīng)的多模態(tài)輸出信息并將該信息輸出給兒童用戶，從而實(shí)現(xiàn)對(duì)兒童用戶的安撫。

本實(shí)施例中，數(shù)據(jù)獲取模塊401、異常狀態(tài)指示信息生成模塊402以及輸出信息生成模塊403實(shí)現(xiàn)其各自功能的具體原理以及過(guò)程與上述實(shí)施例三中步驟s301至步驟s309所闡述的內(nèi)容相同，故在此不再對(duì)數(shù)據(jù)獲取模塊401、異常狀態(tài)指示信息生成模塊402以及輸出信息生成模塊403的相關(guān)內(nèi)容進(jìn)行贅述。

需要指出的是，在本發(fā)明的不同實(shí)施例中，數(shù)據(jù)獲取模塊401、異常狀態(tài)指示信息生成模塊402以及輸出信息生成模塊403實(shí)現(xiàn)其各自功能的具體原理以及過(guò)程還可以與上述實(shí)施例一中步驟s101至步驟s106所闡述的內(nèi)容相同，或是與上述實(shí)施例二中步驟s201至步驟s207所闡述的內(nèi)容相同，抑或是采用其他合理的方式來(lái)實(shí)現(xiàn)，本發(fā)明不限于此。

本實(shí)施例中，如果監(jiān)護(hù)人不同意按照該方法所生成的候選處理建議來(lái)生成多模態(tài)輸出信息，那么自學(xué)習(xí)數(shù)據(jù)庫(kù)更新模塊404則會(huì)根據(jù)監(jiān)護(hù)人所反饋的補(bǔ)充處理意見(jiàn)來(lái)對(duì)預(yù)設(shè)自學(xué)習(xí)數(shù)據(jù)庫(kù)進(jìn)行更新。

需要指出的是，本實(shí)施例中，自學(xué)習(xí)數(shù)據(jù)庫(kù)更新模塊404實(shí)現(xiàn)其自身功能的具體原理以及過(guò)程與上述實(shí)施例三中步驟s310所闡述的內(nèi)容類似，故在此不再對(duì)自學(xué)習(xí)數(shù)據(jù)庫(kù)更新模塊404的相關(guān)內(nèi)容進(jìn)行贅述。

應(yīng)該理解的是，本發(fā)明所公開(kāi)的實(shí)施例不限于這里所公開(kāi)的特定結(jié)構(gòu)或處理步驟，而應(yīng)當(dāng)延伸到相關(guān)領(lǐng)域的普通技術(shù)人員所理解的這些特征的等同替代。還應(yīng)當(dāng)理解的是，在此使用的術(shù)語(yǔ)僅用于描述特定實(shí)施例的目的，而并不意味著限制。

說(shuō)明書中提到的“一個(gè)實(shí)施例”或“實(shí)施例”意指結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，說(shuō)明書通篇各個(gè)地方出現(xiàn)的短語(yǔ)“一個(gè)實(shí)施例”或“實(shí)施例”并不一定均指同一個(gè)實(shí)施例。

雖然上述示例用于說(shuō)明本發(fā)明在一個(gè)或多個(gè)應(yīng)用中的原理，但對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，在不背離本發(fā)明的原理和思想的情況下，明顯可以在形式上、用法及實(shí)施的細(xì)節(jié)上作各種修改而不用付出創(chuàng)造性勞動(dòng)。因此，本發(fā)明由所附的權(quán)利要求書來(lái)限定。