本發(fā)明屬于智能機械臂技術(shù)領(lǐng)域，具體涉及一種基于體感控制的機械臂人機交互系統(tǒng)。

背景技術(shù)：

機械臂是工業(yè)自動化領(lǐng)域中一種高效可靠的自動化裝置，也是是人體工程學和機器人領(lǐng)域的熱點研究方向之一，這些年來伴隨著工業(yè)自動化領(lǐng)域的技術(shù)革新，機械臂逐漸發(fā)展起來，并得到了較快的發(fā)展。機械臂廣泛地應(yīng)用在鍛壓、沖壓、鍛造、焊接、裝配、機加、噴漆、熱處理等各種不適宜人介入的工序。尤其是在笨重、高溫、有毒、危險、放射性、多粉塵等惡劣的勞動環(huán)境中，機械臂以其顯著的優(yōu)勢而受到廣泛的應(yīng)用。而且高性能的仿真機械臂在醫(yī)療、救援、工業(yè)和教學等方面起著無可替代的作用。

機械臂首先是從美國開始研制的，美國于1947年開發(fā)了遙控機械臂，1948年又開發(fā)了機械式的主從機械臂。目前，機械臂大部分還屬于第一代，主要依靠人工進行控制；改進的方向主要是降低成本和提高精度。第二代機械臂正在加緊研制。它設(shè)有微型電子計算控制系統(tǒng)，具有視覺、觸覺能力，甚至聽、想的能力。研究安裝各種傳感器，把感覺到的信息反饋，使機械手具有感覺機能第三代機械臂則能獨立完成工作中過程中的任務(wù)。它與電子計算機和電視設(shè)備保持聯(lián)系，并逐步發(fā)展成為柔性制造系統(tǒng)fms和柔性制造單元fmc中的重要一環(huán)節(jié)。從三代機械臂的發(fā)展過程來看，機械臂越來越高精度，多功能，且向著集成化，系統(tǒng)化，智能化的方向發(fā)展。

總之，機械臂在提高勞動生產(chǎn)率，改善勞動條件，減輕工人勞動強度和實現(xiàn)工業(yè)生產(chǎn)自動化中占據(jù)了重要的位置。無論是在國內(nèi)還是國外，都十分重視它的應(yīng)用與發(fā)展。然而目前的大型仿真機械臂使用的傳感器結(jié)構(gòu)復雜造價昂貴，而民用的機械臂又大多通過設(shè)定的指令或者操縱桿或者攝像頭進行控制，精度低切靈活性差。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有機械臂控制方式的不足，本發(fā)明要解決的技術(shù)問題是，提出一個全新的體感控制系統(tǒng)，能夠基于無線通信技術(shù)，通過數(shù)據(jù)采集器，無線傳輸模塊以及各種傳感器等實時的操縱機械臂，完成體感控制，實現(xiàn)機械臂與人體手勢手臂的互動，提高機械臂的控制精度和靈活性。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

一種基于體感傳感器的機械臂人機交互系統(tǒng)，其特征在于：主要由主機和從機兩部分組成；主機進行人體動作信息采集，然后進行圖像處理，識別出人體動作，并負責把人體動作信息數(shù)據(jù)通過串口傳送給從機；從機為一個機械手臂，至少包括控制系統(tǒng)和機械結(jié)構(gòu)兩個主要部分，機械結(jié)構(gòu)部分由多自由度的手臂和手臂根部能夠全方位旋轉(zhuǎn)的底盤構(gòu)成，手臂不同自由度關(guān)節(jié)對應(yīng)不同電機；從機對人體動作信息進行實時處理，控制機械臂根據(jù)人體動作完成相應(yīng)的動作。

進一步的，所述主機至少由pc機、體感傳感器、串口傳輸模塊連接組成，所述體感傳感器配備有rgb圖像傳感器和coms紅外傳感器，用于獲取三維深度數(shù)據(jù)。

進一步的，所述體感傳感器為kinect體感傳感器，主機的pc機通過kinect傳感器的api接口獲取到kinect收集到的數(shù)據(jù)流信息。

進一步的，控制系統(tǒng)主要包括arm微處理器，串口傳輸模塊，電機驅(qū)動模塊，arm微處理器通過電機驅(qū)動模塊驅(qū)動機械手臂各電機；

進一步的，arm微處理器根據(jù)命令輸出不同占空比的pwm方波到機械手臂上的電機，模擬人體動作。

進一步的，首先利用kinect體感傳感器獲取人體圖像景深數(shù)據(jù)，通過骨骼追蹤技術(shù)處理景深數(shù)據(jù)以匹配人體的各個部分進而建立人體手臂關(guān)節(jié)的3d坐標；再由主機將得到的包括人體骨骼數(shù)據(jù)以及3d坐標在內(nèi)的人體動作信息顯示在pc機屏幕上，并通過pc機將人體動作信息數(shù)據(jù)轉(zhuǎn)換成字符串控制指令通過無線傳輸模塊發(fā)送到控制系統(tǒng)，完成體感交互。

進一步的，所述骨骼追蹤技術(shù)步驟為：將rgb圖像傳感器和coms紅外傳感器整合在一起，通過對獲取到的彩色圖像和紅外景深圖像進行圖像技術(shù)處理，包括邊緣檢測、噪聲閾值處理、對人體目標特征點進行分類，最終將人體從背景環(huán)境中區(qū)分出來，生成人體骨骼系統(tǒng)，識別人體動作信息。

進一步的，本系統(tǒng)可以擴展服務(wù)器模塊，將pc端數(shù)據(jù)發(fā)送到服務(wù)器上，對機械臂實施遠程操控。

綜上所述，本發(fā)明以kinect體感傳感器作為圖像采集工具，集合機械臂控制技術(shù)，實現(xiàn)了人體動作對機械手臂的控制，使機械臂更加智能化。系統(tǒng)由主機和從機兩個部分組成，主機用于人體動作信息采集，然后進行圖像處理，識別出人體動作，并負責把人體動作信息數(shù)據(jù)通過串口傳送給從機。arm微處理器根據(jù)命令輸出不同占空比的pwm方波到機械手臂上的電機，模擬人體動作。本系統(tǒng)通過將手勢識別與機械臂控制系統(tǒng)進行集成，實現(xiàn)了機械臂與人體手勢手臂的互動，具有良好的應(yīng)用價值。

在圖像處理方面，本發(fā)明將rgb圖像傳感器和coms紅外傳感器整合在一起，通過對獲取到的彩色圖像和紅外景深圖像進行圖像技術(shù)處理，包括邊緣檢測、噪聲閾值處理、對人體目標特征點的分類等，最終將人體從背景環(huán)境中區(qū)分出來，最后將人體圖像輸入到kinect自帶的exemplar系統(tǒng)，系統(tǒng)通過內(nèi)置模型與圖像信息進行匹配生成人體骨骼系統(tǒng)生成人體骨骼系統(tǒng)，大大提高數(shù)據(jù)來源的準確性和精度。

本系統(tǒng)可用于生化實驗室及液體檢查站，可代替人手完成一些危險有毒性或封閉無菌的生物化學實驗。電源供應(yīng)可采用多種供電形式，其中太陽能電池板和蓄電池組合，既節(jié)省能源又可保證全天候正常運行。

附圖說明

附圖1為本發(fā)明基于體感傳感器的機械臂人機交互系統(tǒng)控制原理圖。

具體實施方式

根據(jù)本發(fā)明實施的基于kinect體感傳感器的機械臂人機交互系統(tǒng)如圖1所示。

主要包括如下模塊：

控制系統(tǒng)（即機械手臂控制系統(tǒng)）1：

功能：可以根據(jù)接收到的指令，作出相應(yīng)的控制，包括啟動/關(guān)閉電動機；

連接：控制系統(tǒng)1與pc機5和電機驅(qū)動模塊6相連接；

數(shù)據(jù)采集模塊（kinect體感傳感器）2：

功能：kinect傳感器作為本系統(tǒng)的數(shù)據(jù)采集模塊2，為系統(tǒng)的后續(xù)工作采集必要的深度數(shù)據(jù)，并將采集到的數(shù)據(jù)傳輸至圖像處理模塊；

連接：數(shù)據(jù)采集模塊2與cmos紅外傳感器8、rgb圖像傳感器9和圖像處理模塊3和相連接。

圖像處理模塊3：

功能：將受到的彩色圖像數(shù)據(jù)和深度圖像數(shù)據(jù)加工處理，獲得骨骼數(shù)據(jù)，并通過串口傳輸模塊發(fā)送給pc機；

連接：圖像處理模塊3與pc機5和數(shù)據(jù)采集模塊2相連接；

電源模塊4：

功能：用于向所述控制系統(tǒng)、數(shù)據(jù)采集器和各傳感器提供電力供應(yīng)。

連接：電源模塊4分別與pc機5、控制系統(tǒng)1和數(shù)據(jù)采集模塊2、圖像處理模塊3和coms紅外傳感器8相連接；

pc機5：

功能：根據(jù)骨骼數(shù)據(jù)繪制人體骨骼圖像，獲取各關(guān)節(jié)點位的3d坐標并將控制命令發(fā)送至控制系統(tǒng)

連接：pc機5分別與電源模塊4、圖像處理模塊3以及控制系統(tǒng)1相連接；

電機驅(qū)動模塊6：

功能：根據(jù)控制系統(tǒng)的命令，對機械臂做出相應(yīng)的驅(qū)動，模擬人體手臂的動作；

連接：電機驅(qū)動模塊6與控制系統(tǒng)1相連接；

信息顯示模塊7：

功能：將骨骼圖像和關(guān)節(jié)坐標信息顯示在pc屏幕上；

連接：信息顯示模塊7與pc機5相連接；

cmos紅外傳感器8：

功能：獲取人體紅外深度圖像信息；

rgb圖像傳感器9：

功能：獲取人體彩色圖像信息；

三維立體仿真模塊10：

功能：設(shè)置于pc機5中的上位機軟件，對機械臂進行實物建模仿真分析，并對控制系統(tǒng)1的數(shù)據(jù)命令進行仿真分析調(diào)試，以期在調(diào)試階段更少的設(shè)計實物交互，減少調(diào)試風險和難度；

無線傳輸模塊11：

功能：將pc機的數(shù)據(jù)指令傳輸給控制系統(tǒng)；

連接：無線傳輸模塊11與pc機5和控制系統(tǒng)1相連接。

圖像數(shù)據(jù)信息采集工作過程：

數(shù)據(jù)采集模塊2通過其上的傳感器端口與cmos紅外傳感器8、rgb圖像傳感器9相連接，用于接受cmos紅外傳感器8、rgb圖像傳感器9獲得的數(shù)據(jù)。

電源模塊4分別與數(shù)據(jù)采集模塊2、coms紅外傳感器8、rgb圖像傳感器9、圖像處理模塊3、pc機5、控制系統(tǒng)1和相連接。用于向數(shù)據(jù)采集模塊2、coms紅外傳感器8、rgb圖像傳感器9、圖像處理模塊3、pc機5、控制系統(tǒng)1提供電力供應(yīng)。

pc機5分別與圖像處理模塊3和無線傳輸模塊11相連接。主要負責圖像數(shù)據(jù)信息的顯示，仿真。并通過無線傳輸模塊將數(shù)據(jù)命令發(fā)送至控制系統(tǒng)1。

無線傳輸模塊11分別與pc機5和控制系統(tǒng)1相連接，主要負責數(shù)據(jù)通訊，包括pc機端數(shù)據(jù)命令的發(fā)送，以及控制端數(shù)據(jù)命令的接收。

控制系統(tǒng)1分別與無線傳輸模塊11和電機驅(qū)動模塊6相連接。主要負責解釋pc機5發(fā)送過來的指令字符串，并生成相應(yīng)的pwm方波，控制相關(guān)的機械電機驅(qū)動機械手臂完成模擬動作。

操作流程：

操作人員站在數(shù)據(jù)采集模塊（kinect體感傳感器）2前方大約1.5-2.5m處，利用kinect傳感器上的rgb圖像傳感器9和紅外傳感器8進行彩色圖像和紅外圖像深度數(shù)據(jù)的采集，通過kinect傳感器的api接口（軟件意義上的接口，并不是物理意義上的接口），程序員可以獲取到kinect收集到的數(shù)據(jù)流信息，從而獲得檢測到的人體景深圖像數(shù)據(jù)，對這些數(shù)據(jù)進行圖像處理，通過pc機5將得到的人體骨骼數(shù)據(jù)以及3d坐標顯示在電腦屏幕上，并將數(shù)據(jù)轉(zhuǎn)換成字符串控制指令通過無線傳輸模塊發(fā)送到控制系統(tǒng)1，控制系統(tǒng)1中的arm微處理器根據(jù)指令生成相應(yīng)的控制方波并發(fā)送到驅(qū)動電機?？刂齐姍C轉(zhuǎn)動，操作人員揮動手臂，機械手能相應(yīng)的做出模擬動作。