一種松耦合人機(jī)交互系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，特別涉及一種松耦合人機(jī)交互系統(tǒng)及方法。
【背景技術(shù)】
[0002]目前，為了實(shí)現(xiàn)更復(fù)雜的交互，人機(jī)交互系統(tǒng)上面集成了越來越多的工作節(jié)點(diǎn)。通常這些工作節(jié)點(diǎn)會(huì)有其狀態(tài)和產(chǎn)生的數(shù)據(jù)發(fā)送到中心控制單元，再由中心控制單元分析整個(gè)系統(tǒng)的運(yùn)行狀態(tài)，并向各個(gè)工作節(jié)點(diǎn)發(fā)送控制指令。
[0003]但，隨著工作節(jié)點(diǎn)的增加，在上述的工作模式下，系統(tǒng)的整體運(yùn)行狀態(tài)和速度將會(huì)變得難以估計(jì)，系統(tǒng)的復(fù)雜程度和負(fù)擔(dān)勢(shì)必也因工作節(jié)點(diǎn)的增加而急劇增加。

【發(fā)明內(nèi)容】

[0004]為了解決【背景技術(shù)】中存在的技術(shù)問題，本發(fā)明提出了一種松耦合人機(jī)交互系統(tǒng)及方法，采用分布式架構(gòu)，打破了傳統(tǒng)人機(jī)交互中各工作節(jié)點(diǎn)需要通過中心控制節(jié)點(diǎn)緊耦合工作的模式。
[0005]本發(fā)明第一方面提供一種松耦合人機(jī)交互系統(tǒng)，包括總線網(wǎng)絡(luò)和連入總線網(wǎng)絡(luò)的至少一個(gè)工作節(jié)點(diǎn)，每一所述工作節(jié)點(diǎn)均包括控制單元、任務(wù)執(zhí)行單元和數(shù)據(jù)傳輸單元。
[0006]所述控制單元與任務(wù)執(zhí)行單元連接，用于根據(jù)用戶意圖指令任務(wù)執(zhí)行單元執(zhí)行任務(wù)。
[0007]所述任務(wù)執(zhí)行單元與控制單元和數(shù)據(jù)傳輸單元連接，用于將自身工作節(jié)點(diǎn)在運(yùn)行過程中產(chǎn)生的命令、消息和數(shù)據(jù)封裝為命令流、消息流和數(shù)據(jù)流，并根據(jù)控制單元的指令訂閱和接收其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流。
[0008]所述數(shù)據(jù)傳輸單元與總線網(wǎng)絡(luò)和任務(wù)執(zhí)行單元連接，用于將其自身工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流傳輸至總線網(wǎng)絡(luò)，并根據(jù)任務(wù)執(zhí)行單元的指令將從總線網(wǎng)絡(luò)上訂閱的其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流傳輸給任務(wù)執(zhí)行單元。
[0009]所述總線網(wǎng)絡(luò)用于承載各工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流。
[0010]進(jìn)一步地，每一所述工作單元中還包括狀態(tài)檢查單元，所述狀態(tài)檢查單元與控制單元和數(shù)據(jù)傳輸單元連接，用于綜合數(shù)據(jù)傳輸單元和控制單元的狀態(tài)得到其自身工作節(jié)點(diǎn)應(yīng)該處于的狀態(tài)。
[0011]各個(gè)工作節(jié)點(diǎn)為人機(jī)交互任務(wù)中承擔(dān)輸入、輸出、感知、數(shù)據(jù)處理、任務(wù)調(diào)度、資源提供中的一種或多種功能的節(jié)點(diǎn)。
[0012]具體地，工作節(jié)點(diǎn)包括麥克風(fēng)節(jié)點(diǎn)、揚(yáng)聲器節(jié)點(diǎn)、語音合成器節(jié)點(diǎn)、攝像頭節(jié)點(diǎn)、VAD節(jié)點(diǎn)、喚醒節(jié)點(diǎn)、語音識(shí)別節(jié)點(diǎn)、語音理解節(jié)點(diǎn)和外部資源提取節(jié)點(diǎn)中的一種或幾種。
[0013]進(jìn)一步地，所述松耦合人機(jī)交互系統(tǒng)還包括對(duì)話管理節(jié)點(diǎn)，用于使用統(tǒng)計(jì)或規(guī)則的方式，解析用戶輸入，確定用戶意圖，并產(chǎn)生用于交互的回復(fù)信息。
[0014]進(jìn)一步地，所述松耦合人機(jī)交互系統(tǒng)還包括任務(wù)調(diào)度節(jié)點(diǎn)，用于需要整合多工作節(jié)點(diǎn)產(chǎn)生的數(shù)據(jù)、命令和消息時(shí)，進(jìn)行統(tǒng)一的控制邏輯設(shè)計(jì)并對(duì)任務(wù)進(jìn)行調(diào)度。
[0015]進(jìn)一步地，各工作節(jié)點(diǎn)經(jīng)由數(shù)據(jù)傳輸單元傳輸?shù)拿盍?、消息流和?shù)據(jù)流帶有時(shí)間戳。
[0016]進(jìn)一步地，所述狀態(tài)檢查單元具有智能時(shí)序判斷模塊，用于對(duì)其接受的命令流、消息流和數(shù)據(jù)流進(jìn)行同步和時(shí)序判斷。
[0017]本發(fā)明第二方面提供一種松耦合人機(jī)交互方法，包括如下步驟:
[0018]S101、將各工作節(jié)點(diǎn)在與運(yùn)行過程中產(chǎn)生的命令、消息和數(shù)據(jù)分別封裝為命令流、消息流和數(shù)據(jù)流；并將命令流、消息流和數(shù)據(jù)流連入總線網(wǎng)絡(luò)；
[0019]S102、各工作節(jié)點(diǎn)按需訂閱自身和/或其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流的信息；
[0020]S103、對(duì)各工作節(jié)點(diǎn)基于自身狀態(tài)和訂閱的命令流、消息流和數(shù)據(jù)流狀態(tài)進(jìn)行控制邏輯設(shè)計(jì)。
[0021]進(jìn)一步地，所述一種人機(jī)交互方法還包括，使用統(tǒng)計(jì)或規(guī)則的方式，解析用戶輸入，確定用戶意圖，指導(dǎo)各工作節(jié)點(diǎn)應(yīng)訂閱何種命令流、消息流或數(shù)據(jù)流，并產(chǎn)生用于交互的回復(fù)信息。
[0022]基于上述技術(shù)方案的公開，本發(fā)明提供的所述松耦合人機(jī)交互系統(tǒng)及方法通過總線網(wǎng)絡(luò)來完成數(shù)據(jù)信息的傳遞和控制，屬于松耦合的分布式架構(gòu)，打破了傳統(tǒng)人機(jī)交互中各工作節(jié)點(diǎn)需要通過中心控制節(jié)點(diǎn)緊耦合工作的模式；且人機(jī)交互系統(tǒng)各個(gè)工作節(jié)點(diǎn)之間的關(guān)系可以由每個(gè)工作節(jié)點(diǎn)觀察到的部分狀態(tài)決定，這樣工作節(jié)點(diǎn)的新增、更改或配置就僅需對(duì)工作節(jié)點(diǎn)相關(guān)邏輯進(jìn)行編程，減少了整個(gè)系統(tǒng)的復(fù)雜度，節(jié)點(diǎn)間耦合度更低；并且基于定制的邏輯處理可以免除系統(tǒng)的中央控制節(jié)點(diǎn)的限制，進(jìn)一步提高系統(tǒng)的反應(yīng)速度。
【附圖說明】
[0023]圖1為本發(fā)明提出的一種松耦合人機(jī)交互系統(tǒng)的結(jié)構(gòu)框圖；
[0024]圖2為實(shí)施例一提出的一種松耦合人機(jī)交互方法的流程圖。
【具體實(shí)施方式】
[0025]下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳述。
[0026]請(qǐng)參閱圖1，本實(shí)施例提供一種松耦合人機(jī)交互系統(tǒng)，包括總線網(wǎng)絡(luò)I和連入總線網(wǎng)絡(luò)的多個(gè)工作節(jié)點(diǎn)2以及對(duì)話管理節(jié)點(diǎn)3和任務(wù)調(diào)度節(jié)點(diǎn)4。
[0027]所述對(duì)話管理節(jié)點(diǎn)3用于使用統(tǒng)計(jì)或規(guī)則的方式，解析用戶輸入，確定用戶意圖，并產(chǎn)生用于交互的回復(fù)信息。
[0028]所述任務(wù)調(diào)度節(jié)點(diǎn)4用于需要整合多工作節(jié)點(diǎn)產(chǎn)生的數(shù)據(jù)、命令和消息時(shí)，進(jìn)行統(tǒng)一的控制邏輯設(shè)計(jì)并對(duì)任務(wù)進(jìn)行調(diào)度。
[0029]每一所述工作節(jié)點(diǎn)2均包括控制單元21、任務(wù)執(zhí)行單元22、數(shù)據(jù)傳輸單元23和狀態(tài)檢查單元24。
[0030]所述控制單元21與任務(wù)執(zhí)行單元22連接，用于根據(jù)用戶意圖指令任務(wù)執(zhí)行單元22執(zhí)行任務(wù)；所述任務(wù)執(zhí)行單元22與控制單元21和數(shù)據(jù)傳輸單元23連接，用于將自身工作節(jié)點(diǎn)在運(yùn)行過程中產(chǎn)生的命令、消息和數(shù)據(jù)封裝為命令流、消息流和數(shù)據(jù)流，并根據(jù)控制單元21的指令訂閱和接收其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流；所述數(shù)據(jù)傳輸單元23與總線網(wǎng)絡(luò)I和任務(wù)執(zhí)行單元22連接，用于將其自身工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流傳輸至總線網(wǎng)絡(luò)1，并根據(jù)任務(wù)執(zhí)行單元22的指令將從總線網(wǎng)絡(luò)I上訂閱的其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流傳輸給任務(wù)執(zhí)行單元22 ;所述總線網(wǎng)絡(luò)I用于承載各工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流；所述狀態(tài)檢查單元24與控制單元21和數(shù)據(jù)傳輸單元23連接，用于綜合數(shù)據(jù)傳輸單元23和控制單元21的狀態(tài)得到其自身工作節(jié)點(diǎn)應(yīng)該處于的狀態(tài)。
[0031]各個(gè)工作節(jié)點(diǎn)為人機(jī)交互任務(wù)中承擔(dān)輸入、輸出、感知、數(shù)據(jù)處理、任務(wù)調(diào)度、資源提供中的一種或多種功能的節(jié)點(diǎn)。具體地，工作節(jié)點(diǎn)包括麥克風(fēng)節(jié)點(diǎn)、揚(yáng)聲器節(jié)點(diǎn)、語音合成器節(jié)點(diǎn)、攝像頭節(jié)點(diǎn)、VAD節(jié)點(diǎn)、喚醒節(jié)點(diǎn)、語音識(shí)別節(jié)點(diǎn)、語音理解節(jié)點(diǎn)和外部資源提取節(jié)點(diǎn)中的一種或幾種。
[0032]各工作節(jié)點(diǎn)經(jīng)由數(shù)據(jù)傳輸單元傳輸?shù)拿盍?、消息流和?shù)據(jù)流帶有時(shí)間戳。
[0033]所述狀態(tài)檢查單元24具有智能時(shí)序判斷模塊，用于對(duì)其接受的命令流、消息流和數(shù)據(jù)流進(jìn)行同步和時(shí)序判斷。
[0034]工作時(shí)，首先將各工作節(jié)點(diǎn)在與運(yùn)行過程中產(chǎn)生的命令、消息和數(shù)據(jù)分別封裝為命令流、消息流和數(shù)據(jù)流；并將命令流、消息流和數(shù)據(jù)流連入總線網(wǎng)絡(luò)I ;
[0035]使用統(tǒng)計(jì)或規(guī)則的方式，解析用戶輸入，確定用戶意圖，指導(dǎo)各工作節(jié)點(diǎn)應(yīng)訂閱何種命令流、消息流或數(shù)據(jù)流，并產(chǎn)生用于交互的回復(fù)信息；
[0036]各工作節(jié)點(diǎn)按需訂閱自身和/或其他工作節(jié)點(diǎn)的命令流、消息流和數(shù)據(jù)流的信息;
[0037]對(duì)各工作節(jié)點(diǎn)基于自身狀態(tài)和訂閱的命令流、消息流和數(shù)據(jù)流狀態(tài)進(jìn)行控制邏輯設(shè)計(jì)。
[0038]實(shí)施例一
[0039]請(qǐng)參閱圖2。
[0040]SlOl:將人機(jī)交互系統(tǒng)的各工作節(jié)點(diǎn)在運(yùn)行過程中產(chǎn)生的命令、消息和數(shù)據(jù)分別封裝為命令流、消息流和數(shù)據(jù)流，將命令流、消息流和數(shù)據(jù)流連入總線網(wǎng)絡(luò)。
[0041]在步驟SlOl中，人機(jī)交互系統(tǒng)包括麥克風(fēng)工作節(jié)點(diǎn)1101、VAD工作節(jié)點(diǎn)1102、語音識(shí)別和對(duì)話文本生成工作節(jié)點(diǎn)1103、語音合成工作節(jié)點(diǎn)1104、揚(yáng)聲器工作節(jié)點(diǎn)1105。
[0042]命令流包括停止錄音1111、開始生成合成音1112、開始播放合成音1113等命令。
[0043]消息流包括麥克風(fēng)開始錄制1121、麥克風(fēng)錄制結(jié)束1122、揚(yáng)聲器播放開始1123、揚(yáng)聲器播放結(jié)束1124、語音合成開始1125、語音合成結(jié)束1126、對(duì)話文本生成完畢1127等消息。
[0044]數(shù)據(jù)流包含麥克風(fēng)錄制音頻1131、揚(yáng)聲器需要播放的音頻1132、語音合成的文本1133等數(shù)據(jù)。
[0045]S102:為人機(jī)交互系統(tǒng)的各節(jié)點(diǎn)按需訂閱命令流、消息流和數(shù)據(jù)流消息。
[0046]在步驟S102中，
[0047]麥克風(fēng)工作節(jié)點(diǎn)1101訂閱停止錄音1111命令、揚(yáng)聲器播放結(jié)束1124消息。
[0048]VAD工作節(jié)點(diǎn)1102訂閱麥克風(fēng)開始錄制1121消息、麥克風(fēng)錄制音頻1131數(shù)據(jù)。
[0049]語音識(shí)別和對(duì)話文本生成工作節(jié)點(diǎn)1105定制麥克風(fēng)開始錄制1121消息、麥克風(fēng)錄制結(jié)束1122消息、麥克風(fēng)錄制音頻1131數(shù)據(jù)。
[0050]語音合成工作節(jié)點(diǎn)1104訂閱開始生成合成音1112命令、語音合成的文本1133數(shù)據(jù)。
[0051]揚(yáng)聲器工作節(jié)點(diǎn)1103訂閱開始播放合成音1113命令、揚(yáng)聲器需要播放的音頻1132數(shù)據(jù)。
[0052]S103:對(duì)各節(jié)點(diǎn)基于自身狀態(tài)和訂閱的命令流、消息流和數(shù)據(jù)流狀態(tài)進(jìn)行控制邏輯設(shè)計(jì)。
[0053]在步驟S103中，設(shè)計(jì)各節(jié)點(diǎn)邏輯如下:
[0054]麥克風(fēng)工作節(jié)點(diǎn)1101在系統(tǒng)開啟或者接收到揚(yáng)聲器播放結(jié)束1124消息后開始錄音，并生成麥克風(fēng)錄制音頻1131數(shù)據(jù)，發(fā)出麥克風(fēng)開始錄制1121消息。
[0055]麥克風(fēng)工作節(jié)點(diǎn)接收到停止錄音1111命令后停止錄音，發(fā)出麥克風(fēng)錄制結(jié)束1122消息。
[0056]VAD工作節(jié)點(diǎn)1102