基于智能終端的人機(jī)交互方法和系統(tǒng)的制作方法
【專利摘要】一種基于智能終端的人機(jī)交互方法，包括：識(shí)別參考物體；識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果；所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息；獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息；根據(jù)所述位置信息確定用戶的意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。上述基于智能終端的人機(jī)交互方法，會(huì)對(duì)目標(biāo)物體進(jìn)行識(shí)別并輸出識(shí)別結(jié)果，還會(huì)根據(jù)目標(biāo)物體相對(duì)于參考物體的位置信息獲取用戶意圖，并根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。交互過程中用戶只需要將目標(biāo)物體放入相應(yīng)位置即可，操作簡便，用戶體驗(yàn)感較好。本發(fā)明還涉及一種基于智能終端的人機(jī)交互系統(tǒng)。
【專利說明】
基于智能終端的人機(jī)交互方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及智能終端控制技術(shù)領(lǐng)域，特別是涉及一種基于智能終端的人機(jī)交互方法和系統(tǒng)。【背景技術(shù)】
[0002]隨著智能終端技術(shù)的迅速發(fā)展，智能終端如智能電視、計(jì)算機(jī)以及平板電腦等的應(yīng)用也越來越廣泛，智能終端上集成的功能也越來越多。傳統(tǒng)的智能終端需要用戶通過遙控器、智能終端上的物理按鍵或者觸控鍵來進(jìn)行操作，操作較為麻煩且不便于實(shí)現(xiàn)智能終端與用戶之間的交互。
【發(fā)明內(nèi)容】

[0003]基于此，有必要提供一種操作簡便的基于智能終端的人機(jī)交互方法和系統(tǒng)。
[0004]—種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體;識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息;獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息;根據(jù)所述位置信息確定用戶的意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。
[0005]在其中一個(gè)實(shí)施例中，所述識(shí)別參考物體的步驟之前還包括采集目標(biāo)區(qū)域內(nèi)的視頻圖像的步驟;所述識(shí)別參考物體的步驟為在所述視頻圖像中識(shí)別參考物體;所述識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果的步驟為在所述視頻圖像中識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果。
[0006]在其中一個(gè)實(shí)施例中，所述識(shí)別參考物體的步驟之后、所述識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果的步驟之前還包括，根據(jù)所述參考物體將所述視頻圖像劃分為多個(gè)代表不同相對(duì)位置信息的識(shí)別區(qū)域的步驟;所述識(shí)別區(qū)域?yàn)橛糜谧R(shí)別目標(biāo)物體的區(qū)域;所述識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果的步驟為在所述識(shí)別區(qū)域中識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息的步驟包括，獲取所述目標(biāo)物體所在的識(shí)別區(qū)域的相對(duì)位置信息。
[0007]在其中一個(gè)實(shí)施例中，所述識(shí)別目標(biāo)物體的步驟包括:獲取視頻圖像內(nèi)的物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小中的至少一種參數(shù);判斷所述物體的特征參數(shù)是否滿足預(yù)設(shè)條件;若是，則將所述物體識(shí)別為目標(biāo)物體。
[0008]在其中一個(gè)實(shí)施例中，所述根據(jù)所述位置信息確定用戶的意圖的步驟之前還包括存儲(chǔ)用戶意圖對(duì)應(yīng)表的步驟;所述用戶意圖對(duì)應(yīng)表用于存儲(chǔ)位置信息以及與所述位置信息對(duì)應(yīng)的用戶意圖；所述根據(jù)所述位置信息確定用戶意圖的步驟包括根據(jù)所述位置信息從所述用戶意圖對(duì)應(yīng)表中獲取對(duì)應(yīng)的用戶意圖；所述根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶的步驟之后還包括存儲(chǔ)處理結(jié)果形成歷史操作記錄的步驟。
[0009]—種基于智能終端的人機(jī)交互系統(tǒng)，包括:識(shí)別模塊，用于識(shí)別參考物體;所述識(shí)別模塊，還用于識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息；獲取模塊，用于獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息；意圖確定模塊，用于根據(jù)所述位置信息確定用戶的意圖；以及處理模塊，用于根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。
[0010]在其中一個(gè)實(shí)施例中，還包括視頻圖像采集模塊，用于采集目標(biāo)區(qū)域內(nèi)的視頻圖像;所述識(shí)別模塊用于在所述視頻圖像中識(shí)別參考物體，以及識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果。
[0011]在其中一個(gè)實(shí)施例中，還包括區(qū)域劃分模塊;所述區(qū)域劃分模塊用于將視頻圖像劃分為多個(gè)代表不同相對(duì)位置信息的識(shí)別區(qū)域;所述識(shí)別模塊用于識(shí)別所述識(shí)別區(qū)域內(nèi)的目標(biāo)物體并輸出識(shí)別結(jié)果;所述獲取模塊用于獲取所述目標(biāo)物體所在的識(shí)別區(qū)域的相對(duì)位置信息。
[0012]在其中一個(gè)實(shí)施例中，所述識(shí)別模塊包括:獲取單元，用于獲取視頻圖像內(nèi)的物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小中的至少一種參數(shù);判斷單元，用于判斷所述特征參數(shù)是否滿足預(yù)設(shè)條件;所述判斷單元在所述特征參數(shù)滿足預(yù)設(shè)條件時(shí)將所述物體判斷為目標(biāo)物體；以及識(shí)別單元，用于在所述判斷單元判斷出所述物體為目標(biāo)物體后，對(duì)目標(biāo)物體進(jìn)行識(shí)別。
[0013]在其中一個(gè)實(shí)施例中，還包括存儲(chǔ)模塊;所述存儲(chǔ)模塊用于存儲(chǔ)用戶意圖對(duì)應(yīng)表； 所述用戶意圖對(duì)應(yīng)表用于存儲(chǔ)位置信息以及與所述位置信息對(duì)應(yīng)的用戶意圖；所述獲取模塊用于根據(jù)所述位置信息從存儲(chǔ)模塊中獲取與所述位置信息對(duì)應(yīng)的用戶意圖；所述存儲(chǔ)模塊還用于存儲(chǔ)處理結(jié)果形成歷史操作記錄。
[0014]—種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體;識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息;獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息;根據(jù)所述位置信息獲取對(duì)應(yīng)的用戶意圖；根據(jù)所述用戶意圖獲取對(duì)應(yīng)的比對(duì)數(shù)據(jù)庫;將所述識(shí)別結(jié)果在所述比對(duì)數(shù)據(jù)庫中進(jìn)行比對(duì)獲取相應(yīng)的數(shù)據(jù)信息；以及根據(jù)所述用戶意圖對(duì)所述數(shù)據(jù)信息進(jìn)行處理后輸出給用戶。
[0015]—種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息;獲取所述目標(biāo)物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小中的至少一種參數(shù);根據(jù)所述特征參數(shù)確定用戶的意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。
[0016]—種基于智能終端的人機(jī)交互方法，包括:對(duì)目標(biāo)區(qū)域圖像進(jìn)行識(shí)別并輸出識(shí)別結(jié)果;根據(jù)目標(biāo)區(qū)域的位置信息確定對(duì)應(yīng)的用戶意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理并輸出給用戶。
[0017]上述基于智能終端的人機(jī)交互方法和系統(tǒng)，會(huì)對(duì)目標(biāo)物體進(jìn)行識(shí)別并輸出識(shí)別結(jié)果。同時(shí)，還會(huì)根據(jù)目標(biāo)物體相對(duì)于參考物體的位置信息獲取用戶意圖，并根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶，從而實(shí)現(xiàn)良好的人機(jī)交互功能，并且交互過程中用戶只需要將目標(biāo)物體放入相應(yīng)位置即可，操作簡便，用戶體驗(yàn)感較好。【附圖說明】
[0018]圖1為一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖；[〇〇19] 圖2為圖1中S120的流程圖；
[0020]圖3為另一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖；
[0021]圖4為一實(shí)施例中的基于智能終端的人機(jī)交互系統(tǒng)的方框圖；
[0022]圖5為又一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖；[〇〇23]圖6為再一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖?！揪唧w實(shí)施方式】[〇〇24]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0025]—實(shí)施例中的基于智能終端的人機(jī)交互方法用于實(shí)現(xiàn)智能終端與用戶之間的交互過程。該方法可以由智能終端單獨(dú)實(shí)現(xiàn)，可以由包括智能終端和遠(yuǎn)程服務(wù)器的系統(tǒng)來實(shí)現(xiàn)。智能終端可以包括智能電視、計(jì)算機(jī)、平板電腦以及機(jī)器人等具有語音以及視頻播放等功能的電子設(shè)備。圖1為一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖，該人機(jī)交互方法包括以下步驟。[〇〇26] S110,識(shí)別參考物體。
[0027]參考物體作為識(shí)別的基準(zhǔn)，可以預(yù)先設(shè)定。參考物體可以為用戶的預(yù)設(shè)部位，如手部、頭部、胸部等。預(yù)設(shè)部位也還可以更細(xì)化的設(shè)定為眼部、鼻部、耳部、嘴部以及頭發(fā)等。參考物體可以由用戶進(jìn)行設(shè)定，且可以在設(shè)定后進(jìn)行相應(yīng)的修改。在本實(shí)施例中，參考物體為用戶的臉部。因此通過攝像頭采集視頻信號(hào)，得到Y(jié)UV視頻。讀取視頻中的每幀圖像。在獲取到的圖像上進(jìn)行人臉檢測，從而識(shí)別出人臉并記錄人臉的位置信息，實(shí)現(xiàn)參考物體的識(shí)別。 在一實(shí)施例中，為防止誤檢的情況發(fā)生，會(huì)結(jié)合多幀視頻幀來判斷是否存在真正的人臉。如果連續(xù)N幀視頻幀中至少有連續(xù)M幀都檢測到了人臉，則判斷此視頻幀序列中出現(xiàn)了人臉， 得到人臉的位置信息?？梢岳迷赮通道視頻幀上基于Haar特征和級(jí)聯(lián)式Adaboost分類器進(jìn)行人臉檢測，以得到人臉位置信息。在一實(shí)施例中，N為5，M為3。在其他的實(shí)施例中，N和M 的取值可以根據(jù)需要進(jìn)行調(diào)整，并不限于本實(shí)施例中的數(shù)值。參考物體可以不參考人體，而采用視頻取景框。[〇〇28]S120,識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果。[〇〇29]在采集到視頻圖像內(nèi)識(shí)別目標(biāo)物體。在本實(shí)施例中，采集圖像視頻后，先識(shí)別參考物體，然后根據(jù)預(yù)設(shè)的相對(duì)于參考物體劃分的區(qū)域位置信息確定目標(biāo)識(shí)別區(qū)域，然后對(duì)目標(biāo)識(shí)別區(qū)域內(nèi)的圖像進(jìn)行識(shí)別，以識(shí)別目標(biāo)物體的詳細(xì)信息。在其他的實(shí)施例中，當(dāng)參考物體為視頻取景框時(shí)，也可以按照預(yù)設(shè)視頻取景框中目標(biāo)物體相對(duì)位置信息，直接在視頻圖像中識(shí)別目標(biāo)物體。在其他的實(shí)施例中，也可以直接根據(jù)物體的特征參數(shù)如運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和/或大小來對(duì)視頻圖像進(jìn)行目標(biāo)物體識(shí)別。目標(biāo)物體包括實(shí)物以及記載有可見圖文信息的物體(如卡片)。當(dāng)目標(biāo)物體為卡片時(shí)，可見圖文信息包括文字信息和圖案信息。文字信息可以包括漢字詞匯、唐詩宋詞、兒歌、視頻節(jié)目名稱、電視頻道等信息。圖案信息可以為二維碼、電視臺(tái)標(biāo)、其他具有通用含義的標(biāo)識(shí)以及圖像等。因此，當(dāng)目標(biāo)物體為實(shí)物時(shí)，則輸出對(duì)該實(shí)物的識(shí)別結(jié)果。當(dāng)目標(biāo)物體為卡片時(shí)，則輸出該卡片上記載的可見圖文信息。在一實(shí)施例中，該識(shí)別結(jié)果還包括目標(biāo)物體的位置信息。目標(biāo)物體的位置是根據(jù)預(yù)先設(shè)定的相對(duì)于參考物體的一個(gè)相對(duì)位置信息。
[0030]圖2為一實(shí)施例中識(shí)別目標(biāo)物體的具體流程圖，該過程包括以下子步驟。[〇〇31]S210,根據(jù)參考物體將視頻圖像劃分為多個(gè)代表不同相對(duì)位置信息的識(shí)別區(qū)域。[〇〇32]識(shí)別區(qū)域?yàn)橛糜谧R(shí)別目標(biāo)物體的區(qū)域。系統(tǒng)會(huì)對(duì)目標(biāo)區(qū)域圖像自動(dòng)進(jìn)行識(shí)別。當(dāng)物體放入識(shí)別區(qū)域內(nèi)系統(tǒng)會(huì)對(duì)該區(qū)域內(nèi)的物體進(jìn)行識(shí)別，以識(shí)別出目標(biāo)物體。例如，在視頻圖像中識(shí)別到參考物體為人臉時(shí)，可以將人臉周圍的區(qū)域進(jìn)行劃分，形成多個(gè)代表不同相對(duì)位置的識(shí)別區(qū)域。例如，在臉部四周預(yù)先設(shè)置上、下、左和右四個(gè)目標(biāo)識(shí)別區(qū)域，或者在耳朵附近設(shè)置識(shí)別區(qū)域、在嘴巴附近設(shè)置識(shí)別區(qū)域等。每個(gè)識(shí)別區(qū)域相對(duì)于參考物體的位置信息確定可知。參考物體附件的識(shí)別區(qū)域可以預(yù)設(shè)一個(gè)或者多個(gè)。當(dāng)參考物體為視頻取景框時(shí)，將視頻取景框劃分為多個(gè)代表不同相對(duì)位置的識(shí)別區(qū)域。視頻取景框的識(shí)別區(qū)域劃分可以預(yù)先設(shè)置，即當(dāng)參考物體為視頻取景框時(shí)，S210可以在執(zhí)行S110之前執(zhí)行。
[0033]S220，獲取視頻圖像內(nèi)的物體的特征參數(shù)。
[0034]物體的特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小中的至少一種參數(shù)。在本實(shí)施例中，物體的特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小。物體的運(yùn)動(dòng)速度的獲取方法如下:將視頻圖像中的每幀圖像中物體的位置和當(dāng)前幀的序號(hào)記錄下來。根據(jù)系統(tǒng)的幀率得到處理每幀圖像的時(shí)間，接著利用之前記錄下來的位置信息和圖像幀的序號(hào)，就可以計(jì)算出識(shí)別區(qū)域內(nèi)物體的運(yùn)動(dòng)速度。[〇〇35]S230,判斷視頻區(qū)域內(nèi)的物體的特征參數(shù)是否滿足預(yù)設(shè)條件。[〇〇36]當(dāng)特征參數(shù)滿足預(yù)設(shè)條件時(shí)則執(zhí)行S240,否則執(zhí)行S250。預(yù)設(shè)條件可以包括相應(yīng)參數(shù)的取值范圍。系統(tǒng)會(huì)預(yù)先存儲(chǔ)目標(biāo)物體的特征參數(shù)的預(yù)設(shè)條件。[〇〇37]S240,將該物體識(shí)別為目標(biāo)物體并輸出識(shí)別結(jié)果。[〇〇38]將特征參數(shù)滿足預(yù)設(shè)條件的物體識(shí)別為目標(biāo)物體，并對(duì)其進(jìn)行識(shí)別輸出識(shí)別結(jié)果。在一實(shí)施例中，系統(tǒng)還會(huì)存儲(chǔ)有目標(biāo)物體對(duì)比庫，從而直接根據(jù)識(shí)別到的目標(biāo)物體與目標(biāo)對(duì)比庫中進(jìn)行對(duì)比，從而識(shí)別出目標(biāo)物體信息。例如，參考物體可以不參考人體，而采用視頻取景框。因此當(dāng)智能終端檢測到視頻接入時(shí)，系統(tǒng)在視頻取景框的特定部分設(shè)置目標(biāo)區(qū)域，系統(tǒng)對(duì)每幀圖像中目標(biāo)區(qū)域截圖，用此截圖跟目標(biāo)物體比對(duì)庫進(jìn)行比對(duì)，從而識(shí)別出目標(biāo)物體信息。通過對(duì)物體的特征參數(shù)進(jìn)行限定來識(shí)別目標(biāo)物體，可以避免系統(tǒng)將視頻圖像內(nèi)的非目標(biāo)物體識(shí)別為目標(biāo)物體的概率，有效降低誤操作率，提高用戶的體驗(yàn)感。[〇〇39]S250,不執(zhí)行任何操作。[〇〇4〇]當(dāng)沒有識(shí)別到目標(biāo)物體時(shí)，不對(duì)判斷結(jié)果執(zhí)行任何操作。[0041 ]S130，獲取目標(biāo)物體相對(duì)于參考物體的位置信息。
[0042]獲取目標(biāo)物體所在的目標(biāo)識(shí)別區(qū)域相對(duì)于參考物體的位置信息。如前所述，該目標(biāo)識(shí)別區(qū)域相對(duì)于參考物體的位置信息預(yù)先已經(jīng)設(shè)定好，因此在識(shí)別到目標(biāo)物體之后即可確定出目標(biāo)物體相對(duì)于參考物體的位置信息。
[0043]當(dāng)目標(biāo)物體同時(shí)介于兩個(gè)識(shí)別區(qū)域時(shí)，則需要獲取用戶的歷史操作記錄，從而根據(jù)用戶的歷史操作記錄分析出用戶的個(gè)人喜好，并根據(jù)分析結(jié)果確定目標(biāo)位置的位置信息?？梢岳斫猓谀繕?biāo)物體同時(shí)介于兩個(gè)識(shí)別區(qū)域時(shí)，也可以發(fā)出提示信息，以提示用戶重新正確放置目標(biāo)物體。
[0044]S140，根據(jù)該位置信息確定用戶的意圖。
[0045]當(dāng)目標(biāo)物體相對(duì)于參考物體處于不同位置時(shí)，其可以表示不同的意圖。例如，當(dāng)參考物體為臉部時(shí)，用戶將目標(biāo)物體放置在嘴部附近，則可以確定用戶想要查詢涉及目標(biāo)物體的食譜的相關(guān)信息(如視頻信息、圖片信息等)。在本實(shí)施例中，系統(tǒng)中會(huì)預(yù)先存儲(chǔ)有用戶意圖對(duì)應(yīng)表。用戶意圖對(duì)應(yīng)表中存儲(chǔ)有位置信息以及與位置信息對(duì)應(yīng)的用戶意圖。例如，當(dāng)參考物體為臉部時(shí)，可以定義臉部下方對(duì)應(yīng)的意圖為播放音樂，左側(cè)為播放視頻、右側(cè)則為搜索相關(guān)內(nèi)容以及上方為電視節(jié)目切換等。還可以定義當(dāng)參考物體位于嘴部附近時(shí)，定義用戶意圖為查看菜譜視頻信息，當(dāng)參考物體位于眼部附近時(shí)，則也可以定義用戶意圖為播放視頻(如觀看電影等)，放在耳朵附近則可以定義為播放音樂，也即點(diǎn)歌。因此，根據(jù)獲取到的位置信息就可以確定用戶想要發(fā)出什么指令，也即獲取到用戶的意圖。在一實(shí)施例中， 還可以根據(jù)目標(biāo)物體的特征參數(shù)獲取用戶意圖。此時(shí)，用戶意圖對(duì)應(yīng)表中會(huì)存儲(chǔ)特征參數(shù)以及與特征參數(shù)對(duì)應(yīng)的用戶意圖。比如，當(dāng)目標(biāo)物體的速度達(dá)到一定條件時(shí)，認(rèn)為用戶有播放視頻的意圖。
[0046]S150,根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。
[0047]根據(jù)獲取到的用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行相應(yīng)的處理。例如，當(dāng)根據(jù)位置信息確認(rèn)出用戶想要播放視頻時(shí)，則播放與識(shí)別結(jié)果相關(guān)的視頻信息。播放的視頻信息可以從遠(yuǎn)程服務(wù)器上獲取，也可以從本地存儲(chǔ)器中獲取。當(dāng)存在多個(gè)相關(guān)視頻時(shí)，則顯示視頻列表，以供用戶進(jìn)行選擇播放。在一實(shí)施例中，系統(tǒng)還會(huì)存儲(chǔ)處理結(jié)果，并將處理結(jié)果與用戶信息一一對(duì)應(yīng)存儲(chǔ)，以形成歷史操作記錄。形成的歷史操作記錄可以供系統(tǒng)作為參考，從而在目標(biāo)物體介于兩個(gè)子區(qū)域之間時(shí)，由系統(tǒng)根據(jù)歷史操作記錄分析用戶的習(xí)慣和偏好，從而進(jìn)行相應(yīng)處理。[〇〇48]上述基于智能終端的人機(jī)交互方法，會(huì)對(duì)目標(biāo)物體進(jìn)行識(shí)別并輸出識(shí)別結(jié)果。同時(shí)，還會(huì)根據(jù)目標(biāo)物體相對(duì)于參考物體的位置信息獲取用戶意圖，并根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶，從而實(shí)現(xiàn)良好的人機(jī)交互功能，并且交互過程中用戶只需要將目標(biāo)物體放入相應(yīng)位置即可，操作簡便，用戶體驗(yàn)感較好。
[0049]下面結(jié)合一具體實(shí)施例來進(jìn)行說明。在本實(shí)施例中，參考物體為臉部。用戶意圖對(duì)應(yīng)表中，目標(biāo)物體位于臉部下方時(shí)對(duì)應(yīng)的用戶意圖為文字識(shí)別，目標(biāo)物體位于臉部左側(cè)時(shí)對(duì)應(yīng)的用戶意圖為視頻播放，目標(biāo)物體位于臉部的右側(cè)時(shí)對(duì)應(yīng)的用戶意圖為搜索，目標(biāo)物體位于臉部的上方時(shí)對(duì)應(yīng)的用戶意圖為講故事。因此，采集目標(biāo)區(qū)域內(nèi)的視頻圖像，并在視頻圖像中識(shí)別參考物體，并在識(shí)別區(qū)域內(nèi)識(shí)別出目標(biāo)物體。當(dāng)目標(biāo)物體為卡片時(shí)且卡片上記載的為文字信息時(shí)，則識(shí)別卡片上的文字信息并獲取卡片相對(duì)于臉部的位置信息。當(dāng)卡片位于臉部的下方時(shí)，則可以確定用戶想進(jìn)行文字識(shí)別，則對(duì)卡片上的文字進(jìn)行識(shí)別并播放識(shí)別結(jié)果，識(shí)別結(jié)果包括卡片上記載的文字的語音、來源以及含義等，還可以包括構(gòu)詞造句、書寫筆畫、對(duì)應(yīng)的英文等內(nèi)容。當(dāng)卡片上記載的為圖案信息時(shí)，則可以將該圖案信息轉(zhuǎn)換為文字信息，展示相應(yīng)的文字的語音、來源等信息。例如，當(dāng)卡片上記載的是蘋果圖案時(shí)， 系統(tǒng)會(huì)將其識(shí)別結(jié)果轉(zhuǎn)換為文字信息“蘋果”，從而輸出與“蘋果”相關(guān)的文字識(shí)別結(jié)果。當(dāng)卡片位于臉部左側(cè)時(shí)，則可以確定用戶想播放視頻，則根據(jù)識(shí)別結(jié)果播放與識(shí)別結(jié)果匹配的視頻。例如，當(dāng)卡片上的文字為某一唐詩時(shí)，則播放該唐詩的教學(xué)視頻。播放視頻類型可以根據(jù)用戶預(yù)先定義。當(dāng)用戶主要用于學(xué)習(xí)時(shí)，則可以將播放視頻預(yù)先定義為教學(xué)視頻，則系統(tǒng)在根據(jù)識(shí)別結(jié)果進(jìn)行處理時(shí)，僅播放相關(guān)的教學(xué)視頻。
[0050]圖3為另一實(shí)施例中的基于智能終端的人機(jī)交互方法的流程圖，該方法包括以下步驟:
[0051]S310,對(duì)目標(biāo)區(qū)域圖像進(jìn)行識(shí)別并輸出識(shí)別結(jié)果。[〇〇52]系統(tǒng)設(shè)置有預(yù)設(shè)取景框，作為參考物體。并且預(yù)設(shè)取景框中設(shè)置有一個(gè)或者多個(gè)目標(biāo)區(qū)域。每個(gè)目標(biāo)區(qū)域在預(yù)設(shè)取景框中的位置信息以及代表的用戶意圖確定已知。對(duì)預(yù)設(shè)取景框中的目標(biāo)區(qū)域圖像進(jìn)行識(shí)別以輸出識(shí)別結(jié)果。[〇〇53]S320,根據(jù)目標(biāo)區(qū)域的位置信息確定對(duì)應(yīng)的用戶意圖。[〇〇54]S330,根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理并輸出給用戶。
[0055]上述人機(jī)交互方法尤其適用于智能家居環(huán)境以及教學(xué)領(lǐng)域中。并且，上述人機(jī)交互方法的操作簡便，無需涉及復(fù)雜的操作程序，即便是兒童也能夠獨(dú)立與智能終端進(jìn)行人機(jī)交互，從而有助于輔助兒童的學(xué)習(xí)。[〇〇56]本發(fā)明實(shí)施例還提供了一種基于智能終端的人機(jī)交互系統(tǒng)，該人機(jī)交互系統(tǒng)的結(jié)構(gòu)框圖如圖4所示。參見圖4,該人機(jī)交互系統(tǒng)包括識(shí)別模塊10、獲取模塊20、意圖確定模塊 30以及處理模塊40。
[0057]識(shí)別模塊10用于識(shí)別參考物體，還用于識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果。識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息。獲取模塊20用于獲取目標(biāo)物體相對(duì)于參考物體的位置信息。意圖確定模塊30用于根據(jù)位置信息確定用戶的意圖。處理模塊40用于根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。[〇〇58]在本實(shí)施例中，上述人機(jī)交互系統(tǒng)還包括視頻圖像采集模塊50,用于采集目標(biāo)區(qū)域內(nèi)的視頻圖像。識(shí)別模塊10用于在采集到的視頻圖像中識(shí)別參考物體以及目標(biāo)物體。具體地，識(shí)別模塊10包括獲取單元、判斷單元和識(shí)別單元。獲取單元，用于獲取視頻圖像內(nèi)的物體的特征參數(shù)。特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏色、形狀和大小中的至少一種參數(shù)。判斷單元用于判斷所述特征參數(shù)是否滿足預(yù)設(shè)條件。判斷單元在特征參數(shù)滿足預(yù)設(shè)條件時(shí)將該物體判斷為目標(biāo)物體。識(shí)別單元用于在判斷單元判斷出物體為目標(biāo)物體后，對(duì)目標(biāo)物體進(jìn)行識(shí)別。
[0059]在本實(shí)施例中，上述人機(jī)交互系統(tǒng)還包括存儲(chǔ)模塊60。存儲(chǔ)模塊60用于存儲(chǔ)用戶意圖對(duì)應(yīng)表。用戶意圖對(duì)應(yīng)表用于存儲(chǔ)相位置信息以及與位置信息對(duì)應(yīng)的用戶意圖。存儲(chǔ)模塊50也可以設(shè)置于智能終端內(nèi)，也可以設(shè)置在遠(yuǎn)程服務(wù)器上。在一實(shí)施例中，存儲(chǔ)模塊50 還用于存儲(chǔ)輸出給用戶的處理結(jié)果，以形成該用戶的歷史操作記錄。
[0060]上述基于智能終端的人機(jī)交互系統(tǒng)，會(huì)對(duì)目標(biāo)物體進(jìn)行識(shí)別并輸出識(shí)別結(jié)果。同時(shí)，還會(huì)根據(jù)目標(biāo)物體相對(duì)于參考物體的位置信息獲取用戶意圖，并根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶，從而實(shí)現(xiàn)良好的人機(jī)交互功能，并且交互過程中用戶只需要將目標(biāo)物體放入相應(yīng)位置即可，操作簡便，用戶體驗(yàn)感較好。
[0061]本發(fā)明實(shí)施例還提供了一種智能終端，其包括智能終端本體，還包括前述任一實(shí)施例中的人機(jī)交互系統(tǒng)。
[0062]本發(fā)明還提供一種基于智能終端的人機(jī)交互方法，該方法包括以下步驟，如圖5所不。[〇〇63]S410,識(shí)別參考物體。
[0064]S420,識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果。
[0065]別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可見圖文信息中的至少一種信息。[〇〇66]S430，獲取目標(biāo)物體相對(duì)于參考物體的位置信息[〇〇67]S440,根據(jù)位置信息獲取對(duì)應(yīng)的用戶意圖；[〇〇68]S450，根據(jù)用戶意圖獲取對(duì)應(yīng)的比對(duì)數(shù)據(jù)庫。。
[0069]在本實(shí)施例中，不同的位置信息對(duì)應(yīng)有不同的對(duì)比數(shù)據(jù)庫。不同的對(duì)比數(shù)據(jù)庫中存儲(chǔ)與不同類型的數(shù)據(jù)資源，以表示不同的用戶意圖。例如，當(dāng)位于參考物體左側(cè)時(shí)，對(duì)應(yīng)的對(duì)比數(shù)據(jù)庫中存儲(chǔ)的資源可以僅包括視頻資源，而右側(cè)對(duì)應(yīng)的對(duì)比數(shù)據(jù)庫中則可以僅包括歌曲等音頻資源。對(duì)比數(shù)據(jù)庫內(nèi)存儲(chǔ)的數(shù)據(jù)資源類型可以根據(jù)用戶習(xí)慣進(jìn)行設(shè)定。
[0070]S460,將識(shí)別結(jié)果在比對(duì)數(shù)據(jù)庫中進(jìn)行比對(duì)獲取相應(yīng)的數(shù)據(jù)信息。
[0071]在識(shí)別結(jié)果在對(duì)比數(shù)據(jù)庫中進(jìn)行比對(duì)，從而獲取到匹配的數(shù)據(jù)信息。例如，獲取到的對(duì)比數(shù)據(jù)庫為視頻數(shù)據(jù)庫，則根據(jù)識(shí)別結(jié)果在對(duì)比數(shù)據(jù)庫中尋找到匹配的視頻資料。 [〇〇72]S470,根據(jù)用戶意圖對(duì)數(shù)據(jù)信息進(jìn)行處理后輸出給用戶。[〇〇73]例如，當(dāng)獲取到是為視頻資料時(shí)，播放該視頻資料；當(dāng)獲取到的是音頻資料時(shí)，則播放該音頻資料，從而完成與用戶的交互過程。圖6為另一實(shí)施例中的人機(jī)交互方法的流程圖，該方法包括以下步驟:[〇〇74]S610,采集視頻圖像。[〇〇75]S620，獲取視頻圖像內(nèi)的物體的特征參數(shù)。
[0076]S630,將特征參數(shù)滿足預(yù)設(shè)條件的物體判斷為目標(biāo)物體，并截取目標(biāo)物體圖像。[〇〇77]S640，對(duì)目標(biāo)物體進(jìn)行識(shí)別。[〇〇78]S650,根據(jù)識(shí)別到的目標(biāo)物體的特征參數(shù)確定對(duì)應(yīng)的用戶意圖.[〇〇79]S660,根據(jù)用戶意圖對(duì)識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。
[0080]以上所述實(shí)施例的各技術(shù)特征可以進(jìn)行任意的組合，為使描述簡潔，未對(duì)上述實(shí)施例中的各個(gè)技術(shù)特征所有可能的組合都進(jìn)行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。
[0081]以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體；識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可 見圖文信息中的至少一種信息；獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息；根據(jù)所述位置信息確定用戶的意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識(shí)別參考物體的步驟之前還包括采集 目標(biāo)區(qū)域內(nèi)的視頻圖像的步驟；所述識(shí)別參考物體的步驟為在所述視頻圖像中識(shí)別參考物體；所述識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果的步驟為在所述視頻圖像中識(shí)別目標(biāo)物體并輸出 識(shí)別結(jié)果。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述識(shí)別參考物體的步驟之后、所述識(shí)別 目標(biāo)物體并輸出識(shí)別結(jié)果的步驟之前還包括，根據(jù)所述參考物體將所述視頻圖像劃分為多 個(gè)代表不同相對(duì)位置信息的識(shí)別區(qū)域的步驟;所述識(shí)別區(qū)域?yàn)橛糜谧R(shí)別目標(biāo)物體的區(qū)域；所述識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果的步驟為在所述識(shí)別區(qū)域中識(shí)別目標(biāo)物體并輸出 識(shí)別結(jié)果；所述獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息的步驟包括，獲取所述目標(biāo)物 體所在的識(shí)別區(qū)域的相對(duì)位置信息。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述識(shí)別目標(biāo)物體的步驟包括:獲取視頻圖像內(nèi)的物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī) 律、顏色、形狀和大小中的至少一種參數(shù)；判斷所述物體的特征參數(shù)是否滿足預(yù)設(shè)條件；若是，則將所述物體識(shí)別為目標(biāo)物體。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述位置信息確定用戶的意圖的 步驟之前還包括存儲(chǔ)用戶意圖對(duì)應(yīng)表的步驟;所述用戶意圖對(duì)應(yīng)表用于存儲(chǔ)位置信息以及 與所述位置信息對(duì)應(yīng)的用戶意圖；所述根據(jù)所述位置信息確定用戶意圖的步驟包括根據(jù)所述位置信息從所述用戶意圖 對(duì)應(yīng)表中獲取對(duì)應(yīng)的用戶意圖；所述根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶的步驟之后還包括存 儲(chǔ)處理結(jié)果形成歷史操作記錄的步驟。6.—種基于智能終端的人機(jī)交互系統(tǒng)，其特征在于，包括:識(shí)別模塊，用于識(shí)別參考物體；所述識(shí)別模塊，還用于識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信 息和目標(biāo)物體記載的可見圖文信息中的至少一種信息；獲取模塊，用于獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息；意圖確定模塊，用于根據(jù)所述位置信息確定用戶的意圖；以及 處理模塊，用于根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。7.根據(jù)權(quán)利要求6所述的人機(jī)交互系統(tǒng)，其特征在于，還包括視頻圖像采集模塊，用于采集目標(biāo)區(qū)域內(nèi)的視頻圖像;所述識(shí)別模塊用于在所述視頻圖像中識(shí)別參考物體，以及識(shí) 別目標(biāo)物體并輸出識(shí)別結(jié)果。8.根據(jù)權(quán)利要求7所述的人機(jī)交互系統(tǒng)，其特征在于，還包括區(qū)域劃分模塊;所述區(qū)域 劃分模塊用于將視頻圖像劃分為多個(gè)代表不同相對(duì)位置信息的識(shí)別區(qū)域;所述識(shí)別模塊用 于識(shí)別所述識(shí)別區(qū)域內(nèi)的目標(biāo)物體并輸出識(shí)別結(jié)果;所述獲取模塊用于獲取所述目標(biāo)物體 所在的識(shí)別區(qū)域的相對(duì)位置信息。9.根據(jù)權(quán)利要求7所述的人機(jī)交互系統(tǒng)，其特征在于，所述識(shí)別模塊包括:獲取單元，用 于獲取視頻圖像內(nèi)的物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、 顏色、形狀和大小中的至少一種參數(shù)；判斷單元，用于判斷所述特征參數(shù)是否滿足預(yù)設(shè)條件;所述判斷單元在所述特征參數(shù) 滿足預(yù)設(shè)條件時(shí)將所述物體判斷為目標(biāo)物體;以及識(shí)別單元，用于在所述判斷單元判斷出所述物體為目標(biāo)物體后，對(duì)目標(biāo)物體進(jìn)行識(shí)別。10.根據(jù)權(quán)利要求7所述的人機(jī)交互系統(tǒng)，其特征在于，還包括存儲(chǔ)模塊;所述存儲(chǔ)模塊 用于存儲(chǔ)用戶意圖對(duì)應(yīng)表;所述用戶意圖對(duì)應(yīng)表用于存儲(chǔ)位置信息以及與所述位置信息對(duì) 應(yīng)的用戶意圖；所述獲取模塊用于根據(jù)所述位置信息從存儲(chǔ)模塊中獲取與所述位置信息對(duì) 應(yīng)的用戶意圖；所述存儲(chǔ)模塊還用于存儲(chǔ)處理結(jié)果形成歷史操作記錄。11.一種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體；識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可 見圖文信息中的至少一種信息；獲取所述目標(biāo)物體相對(duì)于所述參考物體的位置信息；根據(jù)所述位置信息獲取對(duì)應(yīng)的用戶意圖；根據(jù)所述用戶意圖獲取對(duì)應(yīng)的比對(duì)數(shù)據(jù)庫；將所述識(shí)別結(jié)果在所述比對(duì)數(shù)據(jù)庫中進(jìn)行比對(duì)獲取相應(yīng)的數(shù)據(jù)信息；以及 根據(jù)所述用戶意圖對(duì)所述數(shù)據(jù)信息進(jìn)行處理后輸出給用戶。12.—種基于智能終端的人機(jī)交互方法，包括:識(shí)別參考物體識(shí)別目標(biāo)物體并輸出識(shí)別結(jié)果;所述識(shí)別結(jié)果包括目標(biāo)物體信息和目標(biāo)物體記載的可 見圖文信息中的至少一種信息；獲取所述目標(biāo)物體的特征參數(shù);所述特征參數(shù)包括物體的運(yùn)動(dòng)速度、速度變化規(guī)律、顏 色、形狀和大小中的至少一種參數(shù)；根據(jù)所述特征參數(shù)確定用戶的意圖；以及根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理后輸出給用戶。13.—種基于智能終端的人機(jī)交互方法，包括:對(duì)目標(biāo)區(qū)域圖像進(jìn)行識(shí)別并輸出識(shí)別結(jié)果；根據(jù)目標(biāo)區(qū)域的位置信息確定對(duì)應(yīng)的用戶意圖；以及 根據(jù)所述用戶意圖對(duì)所述識(shí)別結(jié)果進(jìn)行處理并輸出給用戶。
【文檔編號(hào)】G06F3/01GK106020448SQ201610300527
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月6日
【發(fā)明人】劉國華
【申請(qǐng)人】深圳市國華識(shí)別科技開發(fā)有限公司