專利名稱：一種遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法
技術(shù)領(lǐng)域：
本發(fā)明屬于機(jī)器人人機(jī)交互領(lǐng)域，特別涉及一種遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法。
背景技術(shù)：
隨著人類對(duì)海底、地下資源和宇宙空間的合理開發(fā)和利用，機(jī)器人對(duì)于高溫、高壓、強(qiáng)輻射等極限環(huán)境下作業(yè)任務(wù)的完成發(fā)揮了愈來愈重要的作用。機(jī)器人正朝著智能化的方向發(fā)展。然而，由于受控制、傳感及人工智能等發(fā)展水平的制約，要研制出在變化環(huán)境下的全自主機(jī)器人是短期內(nèi)難以達(dá)到的目標(biāo)。機(jī)器人遙操縱技術(shù)將人的智慧參與到機(jī)器人的實(shí)時(shí)控制中，極大提高了復(fù)雜環(huán)境下機(jī)器人作業(yè)的適應(yīng)性。因此，機(jī)器人的局部自主融入操作者的高級(jí)決策能力是目前遙操縱領(lǐng)域的發(fā)展趨勢(shì)。在主從機(jī)器人的控制過程中，操作者由于與機(jī)器人相距較遠(yuǎn)而無法親身感知作業(yè)現(xiàn)場(chǎng)的真實(shí)環(huán)境，只能依據(jù)現(xiàn)場(chǎng)反饋的圖像、聲音、力/觸覺等信息來完成作業(yè)任務(wù)。主從機(jī)器人控制領(lǐng)域仍有許多問題有待解決:首先，機(jī)器人作業(yè)任務(wù)完成的成功與否以及效率高低，過多的依賴于操作人員的技能水平和熟練程度；其次，現(xiàn)場(chǎng)反饋的視頻圖像信息在遠(yuǎn)距離傳輸中不可避免的存在較大時(shí)滯，而傳統(tǒng)的“移動(dòng)-等待”策略無疑大大降低了機(jī)器人的作業(yè)效率；同時(shí)，操作者由于無法直接感知圖像中的景深信息，也就難以精確把握機(jī)器人與作業(yè)對(duì)象的距離遠(yuǎn)近，勢(shì)必導(dǎo)致機(jī)器人操控效率低下。再者，現(xiàn)有的主從機(jī)器人雙向伺服控制策略幾乎無一例外地強(qiáng)調(diào)“作業(yè)反力”的“再現(xiàn)與感知”，力反饋效果產(chǎn)生的前提是機(jī)器人已經(jīng)與作業(yè)環(huán)境接觸。這在某些諸如高速、重載等應(yīng)用場(chǎng)合，機(jī)器人對(duì)作業(yè)環(huán)境的瞬間沖擊，很可能在操作人員感知現(xiàn)場(chǎng)作業(yè)反力之前便已造成無法彌補(bǔ)的損失。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出一種全新的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法。為達(dá)上述目的，本發(fā)明采用如下的技術(shù)方案:一種遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，包括以下步驟:S1、采用立體視覺技術(shù)對(duì)現(xiàn)場(chǎng)的作業(yè)對(duì)象及背景環(huán)境(障礙物)進(jìn)行識(shí)別與空間信息提??；S2、以步驟SI中獲取的作業(yè)對(duì)象與機(jī)器人末端間的位姿關(guān)系為參數(shù)，構(gòu)建作業(yè)對(duì)象對(duì)機(jī)器人的虛擬吸引力；S3、以步驟SI中獲取的機(jī)器人末端沿其速度方向與背景環(huán)境(障礙物)的距離為參數(shù)，構(gòu)建機(jī)器人所受的障礙物排斥力；S4、將作業(yè)對(duì)象虛擬吸引力、障礙物虛擬斥力以及機(jī)器人抓取物體時(shí)的真實(shí)作用力合成機(jī)器人不教力；S5、通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實(shí)現(xiàn)對(duì)操作者的動(dòng)覺示教。根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟Si包括:包括以下步驟:Sll.1、將Bumblebee雙目攝像頭米用eye-to-hand方式固定在現(xiàn)場(chǎng)環(huán)境正上方，光軸與地面垂直，簡稱為環(huán)境相機(jī)；Sll.2、根據(jù)環(huán)境相機(jī)圖像中各像素點(diǎn)的顏色、灰度或紋理特征，從中剔除機(jī)器人區(qū)域及作業(yè)對(duì)象區(qū)域，以獲得背景圖像；Sll.3、根據(jù)圖像匹配及攝像機(jī)標(biāo)定的結(jié)果，實(shí)時(shí)計(jì)算背景圖像中各像素點(diǎn)的空間坐標(biāo)；Sll.4、采用基于空間自相關(guān)性的內(nèi)插方式來預(yù)測(cè)估計(jì)所剔除的機(jī)器人區(qū)域及作業(yè)對(duì)象區(qū)域應(yīng)有像素屬性，并結(jié)合背景圖像像素特征，生成背景環(huán)境的高程數(shù)據(jù)模型；S12.1、將Kinect相機(jī)采用eye-1n_hand方式固連于機(jī)器人末端,簡稱為手部相機(jī)；S12.2、根據(jù)手部相機(jī)圖像中各像素點(diǎn)的顏色、紋理特征，采用結(jié)合人口統(tǒng)計(jì)與區(qū)域增長的圖像分割方法來提取作業(yè)對(duì)象區(qū)域，并采用分裂-合并算法提取該區(qū)域輪廓的近似多邊形，取多邊形的頂點(diǎn)為作業(yè)對(duì)象圖像特征；S12.3、根據(jù)圖像匹配及攝像機(jī)標(biāo)定的結(jié)果，實(shí)時(shí)計(jì)算作業(yè)對(duì)象區(qū)域各像素點(diǎn)的空間坐標(biāo)，并構(gòu)建其OBB (Oriented Bounding Box-有向包圍盒)包圍盒模型。上述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，所述步驟S2包括:設(shè)機(jī)器人處于由作業(yè)對(duì)象和障礙物構(gòu)成的虛擬勢(shì)場(chǎng)V中，根據(jù)Khatib的人工勢(shì)場(chǎng)法原理，沿著勢(shì)場(chǎng)負(fù)梯度方向的虛擬力可保證機(jī)器人的運(yùn)動(dòng)收斂于系統(tǒng)的低勢(shì)能點(diǎn)，由此構(gòu)建作業(yè)對(duì)象引力Fg 為..
Fg=- ( Y ο- Y ) ο其中Ytl為機(jī)器人末端的當(dāng)前位姿向量，Y為機(jī)器人末端的期望位姿向量。上述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，所述步驟S3包括:基于與步驟S2同樣的理論，構(gòu)建障礙物虛擬斥力F。為:
權(quán)利要求
1.一種遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，包括如下步驟: 51、采用立體視覺技術(shù)對(duì)現(xiàn)場(chǎng)的作業(yè)對(duì)象及背景環(huán)境即障礙物進(jìn)行識(shí)別與空間信息提?。? 52、以步驟SI中獲取的作業(yè)對(duì)象與機(jī)器人末端間的位姿關(guān)系為參數(shù)，構(gòu)建作業(yè)對(duì)象對(duì)機(jī)器人的虛擬吸引力； 53、以步驟SI中獲取的機(jī)器人末端沿其速度方向與背景環(huán)境(即障礙物)的距離為參數(shù)，構(gòu)建機(jī)器人所受的障礙物排斥力； 54、將作業(yè)對(duì)象虛擬吸引力、障礙物虛擬斥力以及機(jī)器人抓取物體時(shí)的真實(shí)作用力合成機(jī)器人示教力； 55、通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實(shí)現(xiàn)對(duì)操作者的動(dòng)覺示教。
2.根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟SI包 括:包括以下步驟: Sll.1、將Bumblebee雙目攝像頭采用eye-to_hand方式固定在現(xiàn)場(chǎng)環(huán)境正上方,光軸與地面垂直，簡稱為環(huán)境相機(jī)； Sll.2、根據(jù)環(huán)境相機(jī)圖像中各像素點(diǎn)的顏色、灰度或紋理特征，從中剔除機(jī)器人區(qū)域及作業(yè)對(duì)象區(qū)域，以獲得背景圖像； Sll.3、根據(jù)圖像匹配及攝像機(jī)標(biāo)定的結(jié)果，實(shí)時(shí)計(jì)算背景圖像中各像素點(diǎn)的空間坐標(biāo)； 511.4、采用基于空間自相關(guān)性的內(nèi)插方式來預(yù)測(cè)估計(jì)所剔除的機(jī)器人區(qū)域及作業(yè)對(duì)象區(qū)域應(yīng)有像素屬性，并結(jié)合背景圖像像素特征，生成背景環(huán)境的高程數(shù)據(jù)模型； 512.1、將Kinect相機(jī)采用eye-1n-hand方式固連于機(jī)器人末端,簡稱為手部相機(jī)； S12.2、根據(jù)手部相機(jī)圖像中各像素點(diǎn)的顏色、紋理特征，采用結(jié)合人口統(tǒng)計(jì)與區(qū)域增長的圖像分割方法來提取作業(yè)對(duì)象區(qū)域，并采用分裂-合并算法提取該區(qū)域輪廓的近似多邊形，取多邊形的頂點(diǎn)為作業(yè)對(duì)象圖像特征； S12.3、根據(jù)圖像匹配及攝像機(jī)標(biāo)定的結(jié)果，實(shí)時(shí)計(jì)算作業(yè)對(duì)象區(qū)域各像素點(diǎn)的空間坐標(biāo)，并構(gòu)建其OBB (Oriented Bounding Box-有向包圍盒)包圍盒模型。
3.根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟S2包括:設(shè)機(jī)器人處于由作業(yè)對(duì)象和障礙物構(gòu)成的虛擬勢(shì)場(chǎng)V中，根據(jù)Khatib的人工勢(shì)場(chǎng)法原理，沿著勢(shì)場(chǎng)負(fù)梯度方向的虛擬力可保證機(jī)器人的運(yùn)動(dòng)收斂于系統(tǒng)的低勢(shì)能點(diǎn)，由此構(gòu)建作業(yè)對(duì)象引力Fc為: Fg=- (Y 0~ Y) ο 其中Ytl為機(jī)器人末端的當(dāng)前位姿向量，Y為機(jī)器人末端的期望位姿向量。
4.根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟S3包括:基于與步驟S2同樣的理論，構(gòu)建障礙物虛擬斥力匕為: / 1 1Jr -η(---)—V p<p0 F0 =< P A, P.υρ> P0 其中，P為機(jī)器人末端與障礙物間的距離；P C1為設(shè)定的機(jī)器人末端與障礙物的安全距離；η為常數(shù)；ν為機(jī)器人末端運(yùn)動(dòng)速度的單位向量。
5.根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟S4包括:本著安全性第一、效率第二的原則，選擇合理的加權(quán)系數(shù)，或根據(jù)機(jī)器人末端與作業(yè)對(duì)象及障礙物的相對(duì)位姿關(guān)系，通過時(shí)變的加權(quán)方式，將步驟S2的作業(yè)對(duì)象虛擬引力、步驟S3中的障礙物虛擬斥力以及通過傳感器檢測(cè)得到的機(jī)器人抓取物體時(shí)的真實(shí)作用力Fe進(jìn)行合成: Fm= α Fg+ β F0+Fe 其中，α、β分別為虛擬引力、虛擬斥力的影響系數(shù)。
6.根據(jù)權(quán)利要求1所述的遙操縱機(jī)器人基于視覺的動(dòng)覺示教控制方法，其特征在于，所述步驟S5包括:通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將步驟S4中的示教力向手控器反饋。動(dòng)覺引導(dǎo)在宏觀上表現(xiàn)為手控器產(chǎn)生的對(duì)人手“推拽”和“示教”的運(yùn)動(dòng)趨勢(shì)，可通過虛擬引導(dǎo)力作用下的位置預(yù)測(cè)控制，來實(shí)現(xiàn)手控器的運(yùn)動(dòng)覺和力覺提示效果。
全文摘要
本發(fā)明提供一種遙操作機(jī)器人基于視覺的動(dòng)覺示教控制方法，其步驟包括采用立體視覺技術(shù)對(duì)現(xiàn)場(chǎng)的作業(yè)對(duì)象及背景環(huán)境(障礙物)進(jìn)行識(shí)別與空間信息提??；以通過視覺識(shí)別、計(jì)算出的作業(yè)對(duì)象與機(jī)器人末端間的位姿關(guān)系為參數(shù)，構(gòu)建作業(yè)對(duì)象對(duì)機(jī)器人的虛擬吸引力；以機(jī)器人末端沿其速度方向與背景環(huán)境(障礙物)的距離為參數(shù)，構(gòu)建機(jī)器人所受的障礙物排斥力；將作業(yè)對(duì)象虛擬吸引力、障礙物虛擬斥力以及機(jī)器人抓取物體時(shí)的真實(shí)作用力合成機(jī)器人示教力；通過主端系統(tǒng)與從端系統(tǒng)間的雅可比矩陣，將示教力向操作手柄反饋，從而實(shí)現(xiàn)對(duì)操作者的動(dòng)覺示教。本發(fā)明可有效提高主從機(jī)器人系統(tǒng)的智能性、安全性與易操控性。
文檔編號(hào)G05D1/00GK103105851SQ20131001173
公開日2013年5月15日 申請(qǐng)日期2013年1月12日 優(yōu)先權(quán)日2012年11月7日
發(fā)明者倪濤, 張紅彥, 李驍鵬 申請(qǐng)人:吉林大學(xué)