一種面向服務機器人的人機交互系統的制作方法
【專利摘要】本發(fā)明公開了一種面向服務機器人人機交互系統。該系統能夠安裝于通用的移動平臺，包括但并不限于如平板電腦等智能終端。其特征是將家庭服務機器人系統劃分為“執(zhí)行與感知層-信息中心層-應用資源層”三層云架構，并通過定義每個設備的“消息文件”、“話題類型”來將每個設備封裝為服務供應商，并在信息中心層維護設備列表、話題隊列、消息隊列等資源列表，從而將機器人等設備作為云服務提供給用戶。同時又可利用云端資源如語音云、圖像云來實現語音識別等多種高友好度的人機交互方式。該系統還可提供給用戶由真實數據驅動的三維可視化仿真環(huán)境，既允許用戶進行仿真演示，也可連接真實系統對機器人和其他設備進行控制。
【專利說明】一種面向服務機器人的人機交互系統

【技術領域】
[0001] 本發(fā)明涉及一種面向服務機器人人機交互系統。尤其是在家庭服務領域應用的人 機交互系統

【背景技術】
[0002] 工業(yè)機器人技術已經日趨成熟并已大量應用到了制造業(yè)。隨著機器人技術的發(fā) 展，家庭服務機器人正在進入高速發(fā)展的起步期。在"機器人進入家庭"的進程中，如何改 善工業(yè)機器人那種單一的機器臂、冰冷的金屬材質帶給人心理上的不適應性是機器人走進 家庭的過程中必須解決的問題。除了從外形設計和性能改善兩方面改善機器人給人的印象 夕卜，良好的人機交互系統也是家服機器人得到推廣和應用的重要條件。
[0003] 傳統的人機交互設備都是通過按鈕、開關等識別用戶意圖，人機交互不夠友好，而 如果要開發(fā)如語音識別、基于圖像等的手勢識別等高友好度的人機交互方式，開發(fā)者需要 維護龐大的語音庫、圖像庫，并進行識別算法等的開發(fā)工作，人機交互設備的軟硬件成本和 時間周期都將大大提高。同時，由于這些人機交互設備是都是針對特定機器人--如PUMA、 新松機器人--專門設計，因此，一旦人機交互設備制作完成，就只能執(zhí)行特定種類的人機 交互任務，當需要擴展新的功能時往往需要重新設計人機交互設備，擴展性差。最后，由于 傳統的人機交互設備都是針對特定機器人設計，不同種類機器人往往需要不同的人機交互 設備，通用性差。
[0004] 而基于Android、iOS平臺的通用移動設備為構建通用便攜、高友好度的機器人 人機交互系統提供了一個有效手段。首先，智能移動終端內置了各種光照、溫度等各種 傳感器，為開發(fā)者提供了多種多樣的人機交互接口。同時，智能移動終端的圖形界面與 Multi-Touch觸屏等交互技術可實現靈活便捷、自然高效的機器人多模態(tài)人機交互。另一方 面，智能移動終端通用便捷，攜帶方便，可方便地接入無線網絡，完成與機器人本體的交互 并從服務器端及傳感器端下載信息。


【發(fā)明內容】

[0005] 有鑒于此，本發(fā)明的目的是解決現有人機交互設備的軟硬件成本高，通用性差等 問題，開發(fā)出一套能夠安裝在通用平臺上的，具備良好通用性和擴展性，人機交互手段友好 度高的基于Android平臺的面向服務機器人的人機交互系統。
[0006] 本發(fā)明提供的面向服務機器人的人機交互系統，是基于云架構進行設計的，該系 統能夠安裝于通用的移動平臺和智能終端（包括但不限于如平板電腦、手機等智能終端）。 如圖1所示，該系統一方面"將家庭中傳感器、機器人、智能終端等設備封裝為服務的提供 者和請求者"，將機器人自身資源配置為云服務提供給用戶。另一方面又能夠基于云架構來 獲取云端資源，利用語音云、圖像云等云端資源方便地實現如語音識別、手勢識別等高友好 度的人機交互方式。
[0007] 上述所述的云架構是基于RaaS(Robot as a Service)思想，將家庭服務機器人系 統劃分為"執(zhí)行與感知層-信息中心層-應用資源層"的三層云架構，一方面能將自身資源 配置成云服務供用戶調用，另一方面也能利用云端資源為機器人服務。其中，"執(zhí)行與感知 層"通過為傳感器、機器人等設備設計其"消息文件"，由該"消息文件"定義該設備提供的服 務的數據結構。同時，定義該設備的"話題類型"，定義該設備所能提供的服務的類型、服務 ID、對應的消息文件等并在信息中心層注冊，從而將家服系統中的傳感器或機器人等設備 封裝為統一的服務接口，作為云服務提供給用戶。"信息中心層"向下管理"執(zhí)行與感知層" 的設備和服務資源，為其提供云存儲與云計算支持。向上為"應用資源層"提供服務接口， 提供機器人和其他設備的各項服務，包括但并不限于如資源管理與調度、存儲、計算等功能 服務。在"信息中心層"維護著"執(zhí)行與感知層"所能提供的"設備隊列"、"話題隊列"、"消 息隊列"等多張資源鏈表，管理家庭中的設備和服務等資源。人機交互設備的終端位于"應 用資源層"，如圖2所示，"應用資源層"主要具有三個功能：一是向"信息中心層"發(fā)起服務 請求調用服務。用戶通過該層接入家服系統，享受"執(zhí)行與感知層"提供的各項云服務。服 務的請求者可以是處于家庭中的智能終端，也可以是遠程瀏覽器終端用戶等。二是構建云 端社區(qū)，形成資源共享平臺。如在家庭A中的機器人設計了自動巡航的服務，而原先未開發(fā) 該功能的家庭B的機器人可通過云端社區(qū)獲得該項能力。三是獲取大云端如語音云、圖像 云等資源，為機器人服務，能夠利用云端資源來實現多種高友好度的人機交互方式。包括但 不限于如利用語音云進行語音識別、利用圖像云進行物體識別及人臉識別等。家服系統不 僅可以將自身功能配置為云服務供云端用戶使用，更可以利用云端豐富資源，擴展機器人 能力，為機器人服務。
[0008] 在上述所示的三層云架構的支持下，該系統提供給用戶由真實數據驅動的三維仿 真環(huán)境。該三維仿真環(huán)境的建模采用分層思想，如圖3所示，首先由OpenGL ES繪制出基本 形狀類包，可繪制包括圓、求、矩形、立方體、圓錐等基本形狀。在該類包的支持繪制第二層， 即家庭環(huán)境和機器人模型的基本構成要素，如桌子、角柱、裝飾體、機器人關節(jié)、轉動軸等。 接下來繪制第三層，由第二層的類包支持，可繪制家庭環(huán)境和機器人的基本組成單元，如里 墻、外墻、地板、天花板、機器人本體、機器人左右手臂、機器人頭部等，最后由第四層完成家 庭環(huán)境和機器人模型的搭建，其最終顯示效果如圖4所示。
[0009] 在上述所示的三維仿真環(huán)境，機器人位姿、手臂各關節(jié)值、攝像頭位置等信息由上 述所示的三層云架構的"信息中心層"提供。在"信息中心層"的真實數據驅動下，既允許 用戶對虛擬機器人和其他設備進行仿真演示，也可實際連接系統對機器人和其他設備進行 實際控制。包括但并不限于如機器人手臂、移動底盤、家中攝像頭等設備。同時，該系統既 提供給用戶導航盤式的控制，又允許用戶直接輸入對機器人各關節(jié)值、云臺相機PTZ值、機 器人位姿等設定值，同時可根據需要選擇顯示或隱藏該功能。
[0010] 在上述的三維仿真環(huán)境下，本發(fā)明還提供一種由屏幕坐標系到三維世界坐標系轉 化的算法。其特征是建立固結于智能終端的屏幕坐標系，通過攝像機的位置和投影矩陣求 解該坐標系在世界坐標系中的變換矩陣。從而根據用戶點擊位置在屏幕坐標系中的值反解 出該點在世界坐標中的位置。進而由視點坐標和該點坐標可得一條射線方程。通過求解該 射線與三維環(huán)境中物體的交點而確定用戶點擊的位置或坐標。
[0011] 根據上述所聲明的坐標轉化算法，可通過求解用戶點擊屏幕位置與視點形成的射 線方程與三維世界坐標系物體的交點，從而提供一種用戶體驗度很高的觸控點擊的交互方 式，允許用戶直接控制家中設備。如，通過求取該射線與地板的交點，確定用戶點擊的位置 坐標，從而允許用戶通過觸控點擊的方式對移動機器人設定巡視路徑，并以直線及如圖4 中圓錐與圓球的組合體形狀實時表示出巡視路線和中間路徑點，允許用戶對路徑點進行增 力口、刪除、更改坐標值等動態(tài)管理。
[0012] 本發(fā)明的優(yōu)點和有益效果：
[0013] 第一，本發(fā)明中采用三層云架構體系，將家庭中的設備封裝為服務的提供者和請 求者，從而屏蔽掉了設備底層的差異，使得不同的設備可由統一的方式進行調用，從而提高 了人機交互系統的通用性。
[0014] 第二，由于本發(fā)明的人機交互系統能夠安裝在通用的智能移動終端，不需要專門 針對某一類型機器人設計硬件，從而降低了人機交互設備的開發(fā)成本和開發(fā)周期。
[0015] 第三，當家庭添加新的設備或機器人增加新的功能時，只需按照標準協議將新增 加的設備或功能封裝為相應的服務，而人機交互終端只需添加響應的功能模塊即可，從而 使得該人機交互設備具備良好的擴展性。
[0016] 第四，由于本發(fā)明所聲明的人機交互系統是基于云架構而設計，因此本系統能夠 利用云端豐富的資源，如語音云、圖像云等，方便快速地開發(fā)出如語音識別、收拾識別等高 友好度的人機交互方式。而不用像傳統的人機交互設備一樣開發(fā)類似的功能需要維護龐大 的語音庫，從而減少了開發(fā)成本和開發(fā)的時間周期。
[0017] 第五，本發(fā)明提供的人機交互系統在云架構的支持下，能夠提供三維仿真環(huán)境，既 允許用戶對虛擬機器人和其他設備進行仿真演示，也可實際連接系統對機器人和其他設備 進行實際控制。同時，本發(fā)明還提供一種由屏幕坐標系到三維世界坐標系轉化的算法以及 根據算法所聲明的三維物體間的碰撞檢測算法允許用戶通過觸控點擊方式對設備進行控 制，提1? 了用戶體驗度。

【專利附圖】

【附圖說明】
[0018] 圖1是本發(fā)明提出的基于RaaS的家庭服務機器人系統三層云架構體系。
[0019] 圖2是本發(fā)明提供的給予三層云架構體系的人機交互系統的架構。
[0020] 圖3是三維仿真環(huán)境和機器人模型的分層建模思想。
[0021] 圖4是三維仿真環(huán)境的界面效果圖。
[0022] 圖5是服務的請求與響應的過程。
[0023] 圖6是屏幕視口平面坐標系A在世界坐標系0中的位置示意圖。
[0024] 圖4中展示了用戶可以進行巡航路徑點設定和管理的界面。巡航路徑表示方法如 圖中箭頭1和箭頭2所示表示。而用戶可通過箭頭3所示區(qū)域管理巡航路徑點。

【具體實施方式】
[0025] 實施例
[0026] 基于前述云架構，本文基于RaaS模式，將機器人、傳感器、智能終端等設備看做服 務的請求者和提供者，并將家服機器人系統劃分為"應用資源層/信息中心層/執(zhí)行與感知 層"三層："執(zhí)行與感知層"為服務的提供者，該層將機器人移動平臺、機器人手臂及各傳感 器封裝為各項服務，響應用戶請求；"信息中心層"為系統核心，在該層構建云服務器，實現 對系統各項服務和資源的管理與調度，為"執(zhí)行與感知層"提供云計算和云存儲支持，并將 "執(zhí)行與感知層"設備作為云服務提供給用戶；"應用資源層"為服務的請求者，家服中任務 由該層發(fā)起，通過"信息中心層"請求"執(zhí)行與感知層"的各項服務。同時，在該層建立更大 范圍的云端社區(qū)，將大云端與小云端相結合，由小云端將機器人等設備配置為云服務供用 戶使用，而大云端可獲取更大范圍的云社區(qū)支持來為機器人服務，從而優(yōu)化系統結構，實現 資源的按需請求、按需分配。
[0027] 本例中，"執(zhí)行與感知層"的機器人及其他傳感設備，均抽象為服務的提供者，稱之 為"服務供應商"。服務供應商提供的服務可分為兩種類型："讀"服務與"寫"服務。"讀" 服務是指服務的請求者--稱之為"服務消費者"--只請求設備數據，而不對設備發(fā)出控 制指令，即不修改設備數據；"寫"服務是指允許服務消費者對設備發(fā)出控制指令，修改設備 數據。
[0028] 服務供應商以"話題（Topic)"的形式發(fā)布自己的服務，表明自己的服務類型。每 個話題有其對應的"消息（Message) "。話題的本質是服務ID (參見表3的話題隊列），而消 息的本質是數據結構。以機器人移動平臺為例，機器人移動平臺的消息定義如表1所示。
[0029] 表1機器人移動平臺的消息定義
[0030] Tab. I The drfine of Robot-Mobile-Platform' s Message
[0031]

【權利要求】
1. 一種面向服務機器人的人機交互系統，該系統能夠安裝于通用的移動平臺和智能終 端，其特征在于該系統，基于RaaS(Robot as a Service)思想，將家庭服務機器人系統劃分 為"執(zhí)行與感知層-信息中心層-應用資源層"三層云架構，一方面能將自身資源配置成云 服務供用戶調用，另一方面也能利用云端資源為機器人服務。
2. 根據權利要求1所述的面向服務機器人的人機交互系統，其特征在于所述的云架構 體系中的"執(zhí)行與感知層"，為傳感器或機器人設備設計"消息文件"，該"消息文件"定義了 該設備提供的服務的數據結構，同時，定義該設備的"話題類型"，定義該設備所能提供的服 務的類型、服務ID、對應的消息文件并在信息中心層注冊，將傳感器或機器人設備作為云服 務提供給用戶。
3. 根據權利要求1所述的面向服務機器人的人機交互系統，其特征在于所述的云架構 體系中的"信息中心層"，用于維護"執(zhí)行與感知層"所能提供的"設備隊列"、"話題隊列"、 "消息隊列"多張資源鏈表，管理家庭中的設備和服務資源。
4. 根據權利要求1所述的面向服務機器人的人機交互系統，其特征在于所述的云架構 體系中的"應用資源層"，一方面能夠通過向"信息中心層"發(fā)起服務請求調用服務，另一方 面，構建云端社區(qū)，形成資源共享平臺，以及能夠利用云端資源來實現多種高友好度的人機 交互方式。
5. 根據權利要求1所述的面向服務機器人的人機交互系統，其特征在于所述的云架構 體系在"信息中心層"的真實數據驅動下，該系統能夠提供給用戶由真實數據驅動的三維仿 真環(huán)境，并允許直接通過觸控屏幕的方式對虛擬的三維物體進行操作。
6. 根據權利要求5所述的面向服務機器人的人機交互系統，其特征在于所述的由真實 數據驅動的三維仿真環(huán)境，該系統在"信息中心層"的支持下，既允許用戶對虛擬機器人和 其他設備進行仿真演示，也能夠實際連接系統對機器人和其他設備進行實際控制。
7. 根據權利要求6所述的面向服務機器人的人機交互系統，其特征在于所述的三維仿 真環(huán)境既提供給用戶導航盤式的控制，又允許用戶直接輸入對機器人各關節(jié)值、云臺相機 PTZ值、機器人位姿設定值，同時根據需要選擇顯示或隱藏該功能。
8. 根據權利要求6所述的面向服務機器人的人機交互系統，其特征在于所述的三維 仿真環(huán)境還包括一種由屏幕坐標系到三維世界坐標系轉化的方法；具體是建立固結于智能 終端的屏幕坐標系，通過攝像機的位置和投影矩陣求解該坐標系在世界坐標系中的變換矩 陣，從而根據用戶點擊位置在屏幕坐標系中的值反解出該點在世界坐標中的位置，進而由 視點坐標和該點坐標得到一條射線方程，通過求解該射線與三維環(huán)境中物體的交點而確定 用戶點擊的位置或坐標。
9. 根據權利要求8所述的面向服務機器人的人機交互系統，其特征在于所述的坐標 轉化方法，能夠通過求解用戶點擊屏幕位置對應的在三維世界坐標系中xOy平面對應的坐 標，從而允許用戶通過觸控點擊的方式對移動機器人設定巡視路徑，并以直線及圓錐與圓 球的組合體形狀實時表示出巡視路線和中間路徑點，允許用戶對路徑點進行增加、刪除、更 改坐標值動態(tài)管理。
【文檔編號】G05B19/18GK104360633SQ201410529521
【公開日】2015年2月18日 申請日期:2014年10月10日 優(yōu)先權日:2014年10月10日
【發(fā)明者】劉景泰, 李高峰, 郝潔, 英鑫, 王鴻鵬 申請人:南開大學