本發(fā)明涉及數(shù)據(jù)處理，具體為一種雙模數(shù)據(jù)處理的智能人機交互方法及系統(tǒng)。

背景技術(shù)：

1、雙模數(shù)據(jù)處理指的是在人機交互過程中，同時處理來自兩種不同模態(tài)的數(shù)據(jù)，如語音和文本、手勢和圖像等，智能人機交互指的是通過計算機實現(xiàn)人和計算機之間的直接交互，現(xiàn)階段隨著智能人機交互的發(fā)展，雙模數(shù)據(jù)處理的智能人機交互方法及系統(tǒng)得到了迅速的發(fā)展和應(yīng)用。

2、經(jīng)檢索，公開號“cn114661248a”的中國發(fā)明專利，公開了“數(shù)據(jù)處理方法及裝置”，該申請通過檢測到目標(biāo)檢查點創(chuàng)建完成的情況下，即可根據(jù)檢查點標(biāo)識在目標(biāo)內(nèi)存中讀取到目標(biāo)檢查點關(guān)聯(lián)的數(shù)據(jù)處理狀態(tài)，之后通過將數(shù)據(jù)處理狀態(tài)和數(shù)據(jù)處理任務(wù)對應(yīng)的任務(wù)標(biāo)識，寫入目標(biāo)存儲空間，實現(xiàn)通過存儲空間對數(shù)據(jù)處理狀態(tài)持久化存儲。

3、公開號“cn117784937a”的中國發(fā)明專利，公開了“一種基于多模態(tài)特征的智能人機交互系統(tǒng)及方法”，該申請通過語音識別和圖像識別的方式將生物特征轉(zhuǎn)化為文字信息，從而在提供智能服務(wù)的同時，有效地保護了用戶隱私。

4、由于雙模數(shù)據(jù)處理的智能人機交互在運行時，需要對兩種不同的數(shù)據(jù)進(jìn)行分析，因此在實際識別時，上述公開的方法以及相類似的方法在運行時，并沒有設(shè)置優(yōu)先級，使得雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)在處理多任務(wù)交互數(shù)據(jù)時，極大程度的會出現(xiàn)同時處理的場景，一定程度的增大了數(shù)據(jù)處理的壓力，還容易出現(xiàn)處理瓶頸，從而導(dǎo)致處理速度下降。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種雙模數(shù)據(jù)處理的智能人機交互方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、第一方面，為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種雙模數(shù)據(jù)處理的智能人機交互方法，應(yīng)用于雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)，所述雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)包括若干個用于識別用戶行為數(shù)據(jù)的采集節(jié)點，若干個采集節(jié)點組成識別區(qū)域，識別區(qū)域用于獲取用戶行為數(shù)據(jù)，所述雙模數(shù)據(jù)處理的智能人機交互方法包括：

3、獲取識別區(qū)域內(nèi)用于采集用戶行為數(shù)據(jù)的有效區(qū)域；

4、基于用戶行為數(shù)據(jù)類型，劃分為第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)；

5、構(gòu)建優(yōu)先處理隊列，優(yōu)先處理隊列作用于第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)，基于第一用戶行為數(shù)據(jù)和第二用戶數(shù)據(jù)在所述有效區(qū)域內(nèi)識別等級，賦予優(yōu)先權(quán)限，并輸出第一優(yōu)先數(shù)據(jù)和第二優(yōu)先數(shù)據(jù)；

6、構(gòu)建歸納模型，歸納模型用于讀取第一優(yōu)選數(shù)據(jù)，并在歷史用戶行為數(shù)據(jù)內(nèi)檢測和第一優(yōu)選數(shù)據(jù)種類相關(guān)聯(lián)的第二用戶行為數(shù)據(jù)，最終整合輸出成作用于所述雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)的交互數(shù)據(jù)。

7、作為本技術(shù)方案進(jìn)一步優(yōu)選的，有效區(qū)域的獲取方法包括：

8、人為設(shè)定相鄰兩個所述采集節(jié)點的距離為定值，在所述識別區(qū)域內(nèi)獲取收集到用戶行為數(shù)據(jù)的第一采集節(jié)點，以第一采集節(jié)點為基準(zhǔn)，檢索識別區(qū)域內(nèi)除去第一采集節(jié)點外的所有采集節(jié)點，當(dāng)檢索到有采集節(jié)點未獲取用戶行為數(shù)據(jù)時，將未獲取用戶行為數(shù)據(jù)的采集節(jié)點標(biāo)記為第二采集節(jié)點，所述第二采集節(jié)點設(shè)置有兩個，確定第一采集節(jié)點分別和兩個第二采集節(jié)點之間采集節(jié)點的數(shù)量；

9、設(shè)置分類確定方法，分類確定方法基于第一采集節(jié)點所處所述識別區(qū)域的位置，來通過所述采集節(jié)點數(shù)量以及所述定值獲取有效區(qū)域的范圍。

10、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述分類確定方法包括：

11、當(dāng)?shù)谝徊杉?jié)點在所述識別區(qū)域內(nèi)中點位置時，獲取兩倍所述采集節(jié)點數(shù)量和定值的乘積，并確定有效區(qū)域的范圍。

12、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述分類確定方法包括：

13、當(dāng)?shù)谝徊杉?jié)點不在所述識別區(qū)域的中點位置時，獲取第三采集節(jié)點，第三采集節(jié)點介于第一采集節(jié)點和第二采集節(jié)點之間，且第三采集節(jié)點和第一采集節(jié)點之間設(shè)置有至少一個所述采集節(jié)點，所述第三采集節(jié)點設(shè)置有兩個；

14、分別獲取兩個第三采集節(jié)點與第一采集節(jié)點以及第二采集節(jié)點之間的采集節(jié)點數(shù)量，并確定有效區(qū)域的范圍。

15、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述優(yōu)先處理隊列包括：

16、獲取用戶在所述識別區(qū)域內(nèi)能夠被觸發(fā)識別的用戶行為數(shù)據(jù)，并將用戶行為數(shù)據(jù)關(guān)聯(lián)時間軸形成評判基準(zhǔn)數(shù)據(jù)；

17、獲取實時用戶行為數(shù)據(jù)；

18、構(gòu)建比對方法，比對方法基于實時用戶行為數(shù)據(jù)和評判基準(zhǔn)數(shù)據(jù)，輸出第一優(yōu)先數(shù)據(jù)和第二優(yōu)先數(shù)據(jù)。

19、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述比對方法包括：

20、構(gòu)建基于時間的用戶行為數(shù)據(jù)類型坐標(biāo)軸；

21、分別向所述用戶行為數(shù)據(jù)類型坐標(biāo)軸內(nèi)輸入評判基準(zhǔn)數(shù)據(jù)和實時用戶行為數(shù)據(jù)；

22、并形成判別基準(zhǔn)曲線和實時用戶行為曲線；

23、比對判別基準(zhǔn)曲線和實時用戶行為曲線內(nèi)基于所述用戶行為數(shù)據(jù)類型的弧點斜率，提取實時用戶行為曲線內(nèi)弧點斜率大于或等于判別基準(zhǔn)曲線弧點斜率的弧點類型，賦予高優(yōu)先權(quán)限，并依次輸出第一優(yōu)先數(shù)據(jù)和第二優(yōu)先數(shù)據(jù)。

24、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述歸納模型包括：

25、獲取歷史用戶行為數(shù)據(jù)，基于第一優(yōu)先數(shù)據(jù)的種類，在歷史用戶行為數(shù)據(jù)內(nèi)檢索和所述第一優(yōu)先數(shù)據(jù)的種類相匹配的用戶行為數(shù)據(jù)排列，讀取第二優(yōu)先數(shù)據(jù)的種類，并在用戶行為數(shù)據(jù)排列內(nèi)檢索相匹配的第二用戶行為數(shù)據(jù)；

26、將第二優(yōu)先數(shù)據(jù)的數(shù)值覆蓋第二用戶行為數(shù)據(jù)并結(jié)合第一優(yōu)先數(shù)據(jù)形成作用于所述雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)的交互數(shù)據(jù)。

27、作為本技術(shù)方案進(jìn)一步優(yōu)選的，所述用戶行為數(shù)據(jù)包括：肢體動作數(shù)據(jù)、語音數(shù)據(jù)以及面部圖像數(shù)據(jù)，所述用戶行為數(shù)據(jù)類型包括：肢體、語音以及面部，所述第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)為肢體動作數(shù)據(jù)、語音數(shù)據(jù)以及面部圖像數(shù)據(jù)中的任意一種或兩種的組合，所述第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)不包含重復(fù)的所述用戶行為數(shù)據(jù)類型。

28、第二方面，為完善上述一種雙模數(shù)據(jù)處理的智能人機交互方法，本發(fā)明提供了一種雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)，需說明的是本發(fā)明公開的一種雙模數(shù)據(jù)處理的智能人機交互系統(tǒng)使用了上述一種雙模數(shù)據(jù)處理的智能人機交互方法，并包括：

29、識別區(qū)域模塊，包括若干個用于識別用戶行為數(shù)據(jù)的采集節(jié)點，用于獲取識別區(qū)域內(nèi)用于采集用戶行為數(shù)據(jù)的有效區(qū)域；

30、數(shù)據(jù)預(yù)處理模塊，用于對采集到的原始數(shù)據(jù)進(jìn)行初步處理，包括數(shù)據(jù)清洗、去噪以及格式轉(zhuǎn)換，以及識別并劃分第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)；

31、優(yōu)先級處理模塊，用于根據(jù)預(yù)設(shè)的優(yōu)先級處理規(guī)則，構(gòu)建優(yōu)先處理隊列，對第一用戶行為數(shù)據(jù)和第二用戶行為數(shù)據(jù)進(jìn)行優(yōu)先級排序，以及通過比對實時用戶行為數(shù)據(jù)與評判基準(zhǔn)數(shù)據(jù)，基于數(shù)據(jù)類型的弧點斜率，賦予不同數(shù)據(jù)以不同的優(yōu)先權(quán)限；

32、數(shù)據(jù)歸納與整合模塊，用于取第一優(yōu)先數(shù)據(jù)，并在歷史用戶行為數(shù)據(jù)中尋找與之相關(guān)聯(lián)的第二用戶行為數(shù)據(jù)，以及對找到的第二用戶行為數(shù)據(jù)進(jìn)行數(shù)值覆蓋和整合，結(jié)合第一優(yōu)先數(shù)據(jù)，生成最終作用于系統(tǒng)的交互數(shù)據(jù)；

33、交互執(zhí)行與反饋模塊，用于根據(jù)生成的交互數(shù)據(jù)，執(zhí)行相應(yīng)的操作或指令，如響應(yīng)用戶的語音、肢體以及面部指令。

34、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

35、該雙模數(shù)據(jù)處理的智能人機交互方法及系統(tǒng)，通過將用戶行為數(shù)據(jù)分類成兩種不同類型行為數(shù)據(jù)，并構(gòu)建以達(dá)到行為數(shù)據(jù)標(biāo)準(zhǔn)賦予優(yōu)先權(quán)限的優(yōu)先處理隊列，使得在處理兩種不同類型的行為數(shù)據(jù)時，能通過先分析處理優(yōu)先權(quán)限高的行為數(shù)據(jù)，并基于優(yōu)先權(quán)限高的行為數(shù)據(jù)在歷史用戶行為數(shù)據(jù)內(nèi)檢索和優(yōu)先權(quán)限高的行為數(shù)據(jù)相聯(lián)動的第二用戶行為數(shù)據(jù)，使得在交互處理數(shù)據(jù)時，能夠通過一種數(shù)據(jù)類型來快速的獲取另一種相關(guān)聯(lián)的數(shù)據(jù)，一定程度的保障了處理速度。