本發(fā)明涉及機器單目視覺技術(shù)領(lǐng)域和醫(yī)療設(shè)備技術(shù)領(lǐng)域,特別是涉及一種手部標(biāo)志物跟蹤方法及系統(tǒng)。
背景技術(shù):
隨著社會的發(fā)展,越來越多的人受到頸椎病的困擾。目前采用的頸椎病的治療方法主要是保守治療,其中中醫(yī)旋轉(zhuǎn)類手法作為一種操作簡單、見效快的治療方法被廣泛采用。中醫(yī)旋轉(zhuǎn)類手法可以分為自定位、預(yù)加載、快速動作、恢復(fù)四個步驟,以右側(cè)旋轉(zhuǎn)類手法為例:患者端坐位,頸部自然放松,醫(yī)者采用按法、揉法、滾法等手法放松頸部軟組織5-10min;讓患者頭部主動水平旋轉(zhuǎn)至極限角度,最大屈曲后再旋轉(zhuǎn),達(dá)到固定感;醫(yī)生以肘部托患者下頜,輕輕向上牽引3-5s;讓患者放松肌肉,肘部用短力快速向上提拉;操作成功后可以聽到一聲或多聲彈響;應(yīng)用提、拿等手法再次將頸部肌肉放松。
在臨床操作的自定位步驟中,患者首先需要跟隨醫(yī)生的手部動作來轉(zhuǎn)動頭部,以達(dá)到自身的生理極限角度,然后在該角度位置進行中醫(yī)旋轉(zhuǎn)類手法治療。然而患者的頭頸部是比較脆弱的地方,在中醫(yī)旋轉(zhuǎn)類手法治療過程中,需要醫(yī)生能夠進行力度和位置準(zhǔn)確的按摩治療,因此需要醫(yī)生進行大量的中醫(yī)旋轉(zhuǎn)類手法練習(xí)。目前中醫(yī)旋轉(zhuǎn)類手法培訓(xùn)中采用機器人來模擬頸椎病人以為醫(yī)生提供練習(xí)平臺,但是控制機器人采用的方法主要為使用遙控器遙控操作,采用遙控器控制機器人的頭部轉(zhuǎn)到需要的位置。然而在臨床實際操作中,患者是需要跟隨醫(yī)生的手部動作來轉(zhuǎn)動頭部,以達(dá)到自身的生理極限角度的,因此采用遙控器控制機器人的頭部轉(zhuǎn)到需要位置的辦法在臨床應(yīng)用中不能模擬實際的醫(yī)患之間的交互操作。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的是提供一種手部標(biāo)志物跟蹤方法及系統(tǒng),使機器人可以跟蹤被測人員手部的標(biāo)志物進行運動,真實模擬實際的醫(yī)患之間的交互操作,以為醫(yī)生提供練習(xí)平臺。
為實現(xiàn)上述目的,本發(fā)明提供了如下方案:
一種手部標(biāo)志物跟蹤方法,所述方法包括:
獲取被測人員手部的彩色圖像;
根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果;
當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動;
當(dāng)所述檢測結(jié)果表示所述彩色圖像中不具有所述標(biāo)志物信息時,所述機器人停止跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,所述機器人頭部固定于停止位置。
可選的,在所述根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果之前,還包括:
根據(jù)所述標(biāo)志物的特征建立第一直方圖;
根據(jù)所述彩色圖像中所述標(biāo)志物的環(huán)境背景特征建立第二直方圖;
根據(jù)特征判別式計算特征值,所述特征判別式的計算公式如下:
其中,n1表示所述第一直方圖中的所述特征,n2表示所述第二直方圖中的所述環(huán)境背景特征,δu表示所述特征值;
將所述特征值與給定閾值進行比較;
當(dāng)所述特征值大于所述給定閾值時,將所述第一直方圖中的所述特征保留,當(dāng)所述特征值小于所述給定閾值時,將所述第一直方圖中的所述特征剔除,獲得標(biāo)志物特征直方圖。
可選的,所述根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果,具體包括:
將所述彩色圖像轉(zhuǎn)換到對應(yīng)的顏色空間;
根據(jù)所述標(biāo)志物特征直方圖在所述顏色空間內(nèi)進行反向投影得到標(biāo)志物概率圖;
計算所述標(biāo)志物概率圖中表示所述標(biāo)志物的像素點的數(shù)量和密集程度;
判斷所述數(shù)量是否大于設(shè)定數(shù)量,獲得第一判斷結(jié)果;
判斷所述密集程度是否大于設(shè)定密度,獲得第二判斷結(jié)果;
當(dāng)所述第一判斷結(jié)果和所述第二判斷結(jié)果均為是時,確定所述彩色圖像中具有所述標(biāo)志物信息,否則確定所述彩色圖像中不具有所述標(biāo)志物信息。
可選的,所述當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,具體包括:
根據(jù)所述標(biāo)志物概率圖確定所述機器人頭部的旋轉(zhuǎn)方向;
根據(jù)所述標(biāo)志物概率圖計算所述機器人頭部的水平旋轉(zhuǎn)速度和豎直旋轉(zhuǎn)速度;
根據(jù)所述旋轉(zhuǎn)方向、所述水平旋轉(zhuǎn)速度和所述豎直旋轉(zhuǎn)速度控制所述機器人頭部按照所述旋轉(zhuǎn)方向和所述水平旋轉(zhuǎn)速度進行水平旋轉(zhuǎn),按照所述旋轉(zhuǎn)方向和所述豎直旋轉(zhuǎn)速度進行豎直旋轉(zhuǎn)。
可選的,所述根據(jù)所述標(biāo)志物特征直方圖在所述顏色空間內(nèi)進行反向投影得到標(biāo)志物概率圖之后,還包括:
采用形態(tài)學(xué)腐蝕膨脹算法對所述標(biāo)志物概率圖進行去噪處理。
本發(fā)明還公開了一種手部標(biāo)志物跟蹤系統(tǒng),所述系統(tǒng)包括:
彩色圖像獲取模塊,用于獲取被測人員手部的彩色圖像;
標(biāo)志物檢測結(jié)果獲取模塊,用于根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果;
機器人頭部旋轉(zhuǎn)控制模塊,用于當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,控制所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動;
機器人頭部旋轉(zhuǎn)停止模塊,用于當(dāng)所述檢測結(jié)果表示所述彩色圖像中不具有所述標(biāo)志物信息時,控制所述機器人停止跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,所述機器人頭部固定于停止位置。
可選的,所述系統(tǒng)還包括標(biāo)志物特征直方圖獲取模塊,具體包括:
第一直方圖建立單元,用于根據(jù)所述標(biāo)志物的特征建立第一直方圖;
第二直方圖建立單元,用于根據(jù)所述彩色圖像中所述標(biāo)志物的環(huán)境背景特征建立第二直方圖;
特征值計算單元,用于根據(jù)特征判別式計算特征值,所述特征判別式的計算公式如下:
其中,n1表示所述第一直方圖中的所述特征,n2表示所述第二直方圖中的所述環(huán)境背景特征,δu表示所述特征值;
比較單元,用于將所述特征值與給定閾值進行比較;
標(biāo)志物特征直方圖獲取單元,用于當(dāng)所述特征值大于所述給定閾值時,將所述第一直方圖中的所述特征保留,當(dāng)所述特征值小于所述給定閾值時,將所述第一直方圖中的所述特征剔除,獲得標(biāo)志物特征直方圖。
可選的,所述標(biāo)志物檢測結(jié)果獲取模塊具體包括:
圖像轉(zhuǎn)換單元,用于將所述彩色圖像轉(zhuǎn)換到對應(yīng)的顏色空間;
標(biāo)志物概率圖獲取單元,用于根據(jù)所述標(biāo)志物特征直方圖在所述顏色空間內(nèi)進行反向投影得到標(biāo)志物概率圖;
標(biāo)志物數(shù)量密度計算單元,用于計算所述標(biāo)志物概率圖中表示所述標(biāo)志物的像素點的數(shù)量和密集程度;
第一判斷結(jié)果獲取單元,用于判斷所述數(shù)量是否大于設(shè)定數(shù)量,獲得第一判斷結(jié)果;
第二判斷結(jié)果獲取單元,用于判斷所述密集程度是否大于設(shè)定密度,獲得第二判斷結(jié)果;
標(biāo)志物檢測結(jié)果獲取單元,用于當(dāng)所述第一判斷結(jié)果和所述第二判斷結(jié)果均為是時,確定所述彩色圖像中具有所述標(biāo)志物信息,否則確定所述彩色圖像中不具有所述標(biāo)志物信息。
可選的,所述機器人頭部旋轉(zhuǎn)控制模塊具體包括:
旋轉(zhuǎn)方向獲取單元,用于根據(jù)所述標(biāo)志物概率圖確定所述機器人頭部的旋轉(zhuǎn)方向;
旋轉(zhuǎn)速度獲取單元,用于根據(jù)所述標(biāo)志物概率圖計算所述機器人頭部的水平旋轉(zhuǎn)速度和豎直旋轉(zhuǎn)速度;
機器人頭部旋轉(zhuǎn)控制單元,用于根據(jù)所述旋轉(zhuǎn)方向、所述水平旋轉(zhuǎn)速度和所述豎直旋轉(zhuǎn)速度控制所述機器人頭部按照所述旋轉(zhuǎn)方向和所述水平旋轉(zhuǎn)速度進行水平旋轉(zhuǎn),按照所述旋轉(zhuǎn)方向和所述豎直旋轉(zhuǎn)速度進行豎直旋轉(zhuǎn)。
可選的,所述標(biāo)志物檢測結(jié)果獲取模塊,還包括:
去噪處理單元,用于采用形態(tài)學(xué)腐蝕膨脹算法對所述標(biāo)志物概率圖進行去噪處理。
根據(jù)本發(fā)明提供的具體實施例,本發(fā)明公開了以下技術(shù)效果:
本發(fā)明提供了一種手部標(biāo)志物跟蹤方法及系統(tǒng)。所述方法首先獲取被測人員手部的彩色圖像;然后根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果;當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動;當(dāng)所述檢測結(jié)果表示所述彩色圖像中不具有所述標(biāo)志物信息時,所述機器人停止跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,所述機器人頭部固定于停止位置。所述方法及系統(tǒng)使機器人可以跟蹤被測人員手部的標(biāo)志物運動至練習(xí)需要的角度和位置,能夠真實模擬實際的醫(yī)患之間的交互操作,為醫(yī)生提供治療手法的練習(xí)平臺。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例手部標(biāo)志物跟蹤方法的方法流程圖;
圖2為本發(fā)明所述狀態(tài)空間和所述穩(wěn)態(tài)空間坐標(biāo)系的示意圖;
圖3為采用本發(fā)明所述的手部標(biāo)志物跟蹤方法控制機器人頭部運動的示意圖;
圖4為本發(fā)明實施例手部標(biāo)志物跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
本發(fā)明的目的是提供一種手部標(biāo)志物跟蹤方法及系統(tǒng)。
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂,下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步詳細(xì)的說明。
圖1為本發(fā)明實施例手部標(biāo)志物跟蹤方法的方法流程圖。
參見圖1,一種手部標(biāo)志物跟蹤方法,包括:
步驟101:獲取被測人員手部的彩色圖像。
所述被測人員的手部佩戴有標(biāo)志物。所述標(biāo)志物為與環(huán)境背景有明顯區(qū)分特征的物體,比如在白色背景下手帶一個紅色(綠色、藍(lán)色、黑色等)的手套,因為紅色與背景白色具有明顯不相同的特征,所以可以作為標(biāo)志物;或者手上貼上印有黑色(紅色、綠色、藍(lán)色等)顏色的圓形(方格狀等)形狀的紙張等等類似的具有與環(huán)境背景有明顯區(qū)別的顏色、形狀的物體都可以作為標(biāo)志物。
所述彩色圖像通過固定于機器人頭部的圖像傳感器拍攝獲得。所述圖像傳感器為攝像頭或其他網(wǎng)絡(luò)攝像頭。所述彩色圖像為rgb圖像。
在步驟101之后,還包括:
根據(jù)所述標(biāo)志物的特征建立第一直方圖;
根據(jù)所述彩色圖像中標(biāo)志物的環(huán)境背景特征建立第二直方圖;
根據(jù)特征判別式計算特征值,所述特征判別式的計算公式如下:
其中,n1表示所述第一直方圖中的所述特征,n2表示所述第二直方圖中的所述環(huán)境背景特征,δu表示所述特征值;
將所述特征值與給定閾值進行比較;
當(dāng)所述特征值大于所述給定閾值時,將所述第一直方圖中的所述特征保留,當(dāng)所述特征值小于所述給定閾值時,將所述第一直方圖中的所述特征剔除,獲得標(biāo)志物特征直方圖。
上述方法通過比較所述第一直方圖和所述第二直方圖的差異,將所述第一直方圖中更為顯著的特征保留,將所述第一直方圖中易被所述第二直方圖混淆的特征進行剔除,特征是否顯著由式(1)確定,從而獲得具有顯著特征的標(biāo)志物特征直方圖。
步驟102:根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果。
所述步驟102具體包括:
將所述彩色圖像轉(zhuǎn)換到對應(yīng)的顏色空間;所述顏色空間為ycrcb顏色空間。
根據(jù)所述標(biāo)志物特征直方圖在所述顏色空間內(nèi)進行反向投影得到標(biāo)志物概率圖,所述標(biāo)志物概率圖為一幅黑白灰度圖像。采用形態(tài)學(xué)腐蝕膨脹算法對所述標(biāo)志物概率圖進行去噪處理,去除噪聲對所述所述標(biāo)志物概率圖的影響。
計算所述標(biāo)志物概率圖中表示所述標(biāo)志物的像素點的數(shù)量和密集程度。
判斷所述數(shù)量是否大于設(shè)定數(shù)量,獲得第一判斷結(jié)果。
判斷所述密集程度是否大于設(shè)定密度,獲得第二判斷結(jié)果。
當(dāng)所述第一判斷結(jié)果和所述第二判斷結(jié)果均為是時,確定所述彩色圖像中具有所述標(biāo)志物信息,否則確定所述彩色圖像中不具有所述標(biāo)志物信息。
步驟103:當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動。
步驟103中,通過對所述標(biāo)志物概率圖進行計算可得到當(dāng)前所述標(biāo)志物在所述彩色圖像中的坐標(biāo),再對所述標(biāo)志物的圖像坐標(biāo)進行計算可以得到機器人各個關(guān)節(jié)的運動速度。
所述機器人是面向中醫(yī)旋轉(zhuǎn)類手法培訓(xùn)的培訓(xùn)機器人,所述機器人用來模擬頸椎病人以為醫(yī)生提供練習(xí)平臺。所述培訓(xùn)機器人頭頸部具有兩個關(guān)節(jié),其中第一關(guān)節(jié)可以水平旋轉(zhuǎn),第二關(guān)節(jié)可以豎直旋轉(zhuǎn),并且具有一種變剛度的結(jié)構(gòu)模擬人體頸椎。
所述步驟103具體包括:
根據(jù)所述標(biāo)志物概率圖確定所述機器人頭部的旋轉(zhuǎn)方向,通過對所述標(biāo)志物概率圖進行計算得到當(dāng)前所述標(biāo)志物在所述彩色圖像中的坐標(biāo)。
首先,在所述標(biāo)志物概率圖內(nèi)定義任一點的坐標(biāo)為(x,y),(x,y)點的灰度值為p(x,y),所述標(biāo)志物概率圖的p+q階幾何矩為:
則:
m00=∑p(x,y)(3)
m10=∑xp(x,y)(4)
m01=∑yp(x,y)(5)
標(biāo)志物在所述標(biāo)志物概率圖內(nèi)的重心pc(xc,yc)為
其中,xc表示所述重心的x坐標(biāo),yc表示所述重心的y坐標(biāo)。
定義當(dāng)前圖像平面為圖像的狀態(tài)空間,所述圖像平面為根據(jù)所述圖像傳感器分辨率定義的平面,所述圖像和所述圖像平面與所述圖像傳感器的分辨率相同,比如當(dāng)采用的所述圖像傳感器分辨率為1440×900時,所述圖像平面和所述圖像的分辨率也為1440×900。則當(dāng)前的所述狀態(tài)空間為
x=(xc,yc)t(8)
在所述狀態(tài)空間內(nèi)定義穩(wěn)態(tài)空間為ωs,
其中,uw表示所述狀態(tài)空間的寬度,β表示比例系數(shù),且β為取值小于二分之一的正數(shù),vh表示所述狀態(tài)空間的高度。
根據(jù)所述標(biāo)志物概率圖計算當(dāng)前所述標(biāo)志物在所述狀態(tài)空間中的坐標(biāo)。根據(jù)所述坐標(biāo)與所述穩(wěn)態(tài)空間邊界之間的相對位置關(guān)系,確定所述機器人頭部的旋轉(zhuǎn)方向。
圖2為本發(fā)明所述狀態(tài)空間和所述穩(wěn)態(tài)空間坐標(biāo)系的示意圖。如圖2所示,u0,u1,v0,v1分別表示所述穩(wěn)態(tài)空間ωs的左、右、上、下邊界。當(dāng)所述標(biāo)志物在所述狀態(tài)空間中的水平坐標(biāo)位于所述穩(wěn)態(tài)空間左邊界的左邊,即所述水平坐標(biāo)的值小于u0時,確定所述機器人頭部順時針旋轉(zhuǎn);當(dāng)所述水平坐標(biāo)大于u1時,確定所述機器人頭部逆時針旋轉(zhuǎn)。也可以當(dāng)所述水平坐標(biāo)的值小于u0時,確定所述機器人頭部逆時針旋轉(zhuǎn);當(dāng)所述水平坐標(biāo)大于u1時,確定所述機器人頭部順時針旋轉(zhuǎn)。當(dāng)所述標(biāo)志物在所述狀態(tài)空間中的豎直坐標(biāo)的值小于v0時,確定所述機器人頭部向低頭方向旋轉(zhuǎn);當(dāng)所述水平坐標(biāo)大于v1時,確定所述機器人頭部向抬頭方向旋轉(zhuǎn);或當(dāng)所述豎直坐標(biāo)的值小于v0時,確定所述機器人頭部向抬頭方向旋轉(zhuǎn);當(dāng)所述水平坐標(biāo)大于v1時,確定所述機器人頭部向低頭方向旋轉(zhuǎn)。
再根據(jù)當(dāng)前所述標(biāo)志物在所述狀態(tài)空間中的坐標(biāo)位置與所述穩(wěn)態(tài)空間邊界的位置計算位置誤差,計算所述位置誤差就是把所述標(biāo)志物的所述當(dāng)前狀態(tài)空間與所述穩(wěn)態(tài)空間最臨近的邊界作差。
根據(jù)所述狀態(tài)空間和所述穩(wěn)態(tài)空間,計算當(dāng)前的所述位置誤差,所述位置誤差e的計算公式如下:
其中,r表示所述穩(wěn)態(tài)空間邊界的轉(zhuǎn)換公式,
其中,c是一個列向量,表示所述穩(wěn)態(tài)空間的邊界,
其中,x表示當(dāng)前的所述狀態(tài)空間,x=(xc,yc)t。
根據(jù)所述位置誤差e計算控制所述機器人頭部旋轉(zhuǎn)速度的輸入ut,
ut=ke(15)
其中,k表示尺度縮放系數(shù),用于進行所述位置誤差的尺度縮放,
為了使所述機器人的旋轉(zhuǎn)運動更加平穩(wěn),對所述位置誤差求取符號函數(shù),即:
其中,eu表示所述位置誤差在圖像水平方向的誤差,ev表示所述位置誤差在圖像豎直方向的誤差,
利用圖像雅可比矩陣計算得到所述機器人末端的運行速度wx和wy,計算公式如下:
其中,ωx表示所述機器人頭部繞圖像橫軸旋轉(zhuǎn)的旋轉(zhuǎn)速度,也就是所述機器人頭部的豎直旋轉(zhuǎn)速度;ωy表示所述機器人頭部的繞圖像縱軸旋轉(zhuǎn)的旋轉(zhuǎn)速度,也就是所述機器人頭部的水平旋轉(zhuǎn)速度;(up,vp)為所述圖像傳感器的圖像坐標(biāo)系主點;λ表示所述圖像傳感器焦距轉(zhuǎn)換成像素的長度;u表示所述標(biāo)志物在所述標(biāo)志物概率圖上的行坐標(biāo),v表示所述標(biāo)志物在所述標(biāo)志物概率圖上的列坐標(biāo);js表示圖像雅可比矩陣,
所述的機器人是面向中醫(yī)旋轉(zhuǎn)類手法培訓(xùn)的培訓(xùn)機器人,所述的機器人用來模擬頸椎病人以為醫(yī)生提供練習(xí)平臺。所述的機器人為兩關(guān)節(jié)機器人,所述機器人的頭頸部具有兩個關(guān)節(jié),其中第一關(guān)節(jié)可以水平旋轉(zhuǎn),第二關(guān)節(jié)可以豎直旋轉(zhuǎn),并且使用一種變剛度的結(jié)構(gòu)模擬人體頸椎。
最后根據(jù)所述旋轉(zhuǎn)方向、所述豎直旋轉(zhuǎn)速度ωx和所述水平旋轉(zhuǎn)速度ωy控制所述機器人頭部按照所述旋轉(zhuǎn)方向和所述水平旋轉(zhuǎn)速度進行水平旋轉(zhuǎn),按照所述旋轉(zhuǎn)方向和所述豎直旋轉(zhuǎn)速度進行豎直旋轉(zhuǎn)。當(dāng)所述旋轉(zhuǎn)方向表示順時針旋轉(zhuǎn)時,控制所述第一關(guān)節(jié)按照所述水平旋轉(zhuǎn)速度進行順時針旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示逆時針旋轉(zhuǎn)時,控制所述第一關(guān)節(jié)按照所述水平旋轉(zhuǎn)速度進行逆時針旋轉(zhuǎn),即控制所述機器人頭部的左右轉(zhuǎn)動。同時當(dāng)所述旋轉(zhuǎn)方向表示向低頭方向旋轉(zhuǎn)時,控制所述第二關(guān)節(jié)按照所述豎直旋轉(zhuǎn)速度向所述低頭方向旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示向抬頭方向旋轉(zhuǎn)時,控制所述第二關(guān)節(jié)按照所述豎直旋轉(zhuǎn)速度向所述抬頭方向旋轉(zhuǎn),即控制所述機器人頭部的上下轉(zhuǎn)動。
步驟104:當(dāng)所述檢測結(jié)果表示所述彩色圖像中不具有所述標(biāo)志物信息時,所述機器人停止跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,所述機器人頭部固定于停止位置。
當(dāng)所述機器人頭部旋轉(zhuǎn)到練習(xí)所需的位置時,去掉所述標(biāo)志物或?qū)⑺鰳?biāo)志物隱藏,所述彩色圖像中檢測不到所述標(biāo)志物信息,機器人停止旋轉(zhuǎn),即,所述機器人頭部跟蹤所述標(biāo)志物旋轉(zhuǎn)到所需位置后,靜止固定在了練習(xí)所需位置。
圖3為采用本發(fā)明所述的手部標(biāo)志物跟蹤方法控制機器人頭部運動的示意圖。本發(fā)明中進行圖像處理采用的是連續(xù)自適應(yīng)均值飄移算法(camshift目標(biāo)跟蹤算法)。如圖3所示,被測人員在手部301佩戴標(biāo)志物302,置于圖像傳感器303前移動,所述機器人頭部具有第一關(guān)節(jié)304和第二關(guān)節(jié)305,根據(jù)計算出的所述旋轉(zhuǎn)方向、所述豎直旋轉(zhuǎn)速度ωx和所述水平旋轉(zhuǎn)速度ωy。控制所述機器人頭部的所述第一關(guān)節(jié)304按照所述旋轉(zhuǎn)方向和所述水平旋轉(zhuǎn)速度進行水平旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示順時針旋轉(zhuǎn)時,控制所述第一關(guān)節(jié)304按照所述水平旋轉(zhuǎn)速度進行順時針旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示逆時針旋轉(zhuǎn)時,控制所述第一關(guān)節(jié)304按照所述水平旋轉(zhuǎn)速度進行逆時針旋轉(zhuǎn),即控制所述機器人頭部的左右轉(zhuǎn)動。同時控制所述機器人頭部的所述第二關(guān)節(jié)305按照所述旋轉(zhuǎn)方向和所述豎直旋轉(zhuǎn)速度進行豎直旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示向低頭方向旋轉(zhuǎn)時,控制所述第二關(guān)節(jié)305按照所述豎直旋轉(zhuǎn)速度向所述低頭方向旋轉(zhuǎn),當(dāng)所述旋轉(zhuǎn)方向表示向抬頭方向旋轉(zhuǎn)時,控制所述第二關(guān)節(jié)305按照所述豎直旋轉(zhuǎn)速度向所述抬頭方向旋轉(zhuǎn),即控制所述機器人頭部的上下轉(zhuǎn)動。當(dāng)所述機器人頭部旋轉(zhuǎn)到練習(xí)所需的位置時,去掉所述標(biāo)志物或?qū)⑺鰳?biāo)志物隱藏,所述彩色圖像中檢測不到所述標(biāo)志物信息,機器人停止旋轉(zhuǎn),最終使機器人跟蹤被測人員手部的標(biāo)志物運動至練習(xí)需要的角度和位置,能夠真實模擬實際的醫(yī)患之間的交互操作,為醫(yī)生提供治療手法的練習(xí)平臺。
圖4為本發(fā)明實施例手部標(biāo)志物跟蹤系統(tǒng)的結(jié)構(gòu)示意圖。
如圖4所示,所述手部標(biāo)志物跟蹤系統(tǒng),包括:
彩色圖像獲取模塊401,用于獲取被測人員手部的彩色圖像。
標(biāo)志物檢測結(jié)果獲取模塊402,用于根據(jù)所述彩色圖像檢測所述彩色圖像中是否具有標(biāo)志物信息,獲得檢測結(jié)果。
機器人頭部旋轉(zhuǎn)控制模塊403,用于當(dāng)所述檢測結(jié)果表示所述彩色圖像中具有所述標(biāo)志物信息時,控制所述機器人開始跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動。
機器人頭部旋轉(zhuǎn)停止模塊404,用于當(dāng)所述檢測結(jié)果表示所述彩色圖像中不具有所述標(biāo)志物信息時,控制所述機器人停止跟蹤所述標(biāo)志物進行頭部旋轉(zhuǎn)運動,所述機器人頭部固定于停止位置。
標(biāo)志物特征直方圖獲取模塊405,用于根據(jù)所述標(biāo)志物獲取標(biāo)志物特征直方圖。
所述標(biāo)志物檢測結(jié)果獲取模塊402具體包括:
圖像轉(zhuǎn)換單元,用于將所述彩色圖像轉(zhuǎn)換到對應(yīng)的顏色空間;
標(biāo)志物概率圖獲取單元,用于根據(jù)所述標(biāo)志物特征直方圖在所述顏色空間內(nèi)進行反向投影得到標(biāo)志物概率圖;
去噪處理單元,用于采用形態(tài)學(xué)腐蝕膨脹算法對所述標(biāo)志物概率圖進行去噪處理;
標(biāo)志物數(shù)量密度計算單元,用于計算所述標(biāo)志物概率圖中表示所述標(biāo)志物的像素點的數(shù)量和密集程度;
第一判斷結(jié)果獲取單元,用于判斷所述數(shù)量是否大于設(shè)定數(shù)量,獲得第一判斷結(jié)果;
第二判斷結(jié)果獲取單元,用于判斷所述密集程度是否大于設(shè)定密度,獲得第二判斷結(jié)果;
標(biāo)志物檢測結(jié)果獲取單元,用于當(dāng)所述第一判斷結(jié)果和所述第二判斷結(jié)果均為是時,確定所述彩色圖像中具有所述標(biāo)志物信息,否則確定所述彩色圖像中不具有所述標(biāo)志物信息。
所述機器人頭部旋轉(zhuǎn)控制模塊403具體包括:
旋轉(zhuǎn)方向獲取單元,用于根據(jù)所述標(biāo)志物概率圖確定所述機器人頭部的旋轉(zhuǎn)方向;
旋轉(zhuǎn)速度獲取單元,用于根據(jù)所述標(biāo)志物概率圖計算所述機器人頭部的水平旋轉(zhuǎn)速度和豎直旋轉(zhuǎn)速度;
機器人頭部旋轉(zhuǎn)控制單元,用于根據(jù)所述旋轉(zhuǎn)方向、所述水平旋轉(zhuǎn)速度和所述豎直旋轉(zhuǎn)速度控制所述機器人頭部按照所述旋轉(zhuǎn)方向和所述水平旋轉(zhuǎn)速度進行水平旋轉(zhuǎn),按照所述旋轉(zhuǎn)方向和所述豎直旋轉(zhuǎn)速度進行豎直旋轉(zhuǎn)。
所述標(biāo)志物特征直方圖獲取模塊405具體包括:
第一直方圖建立單元,用于根據(jù)所述標(biāo)志物的特征建立第一直方圖;
第二直方圖建立單元,用于根據(jù)所述彩色圖像中所述標(biāo)志物的環(huán)境背景特征建立第二直方圖;
特征值計算單元,用于根據(jù)特征判別式計算特征值,所述特征判別式的計算公式如下:
其中,n1表示所述第一直方圖中的所述特征,n2表示所述第二直方圖中的所述環(huán)境背景特征,δu表示所述特征值;
比較單元,用于將所述特征值與給定閾值進行比較;
標(biāo)志物特征直方圖獲取單元,用于當(dāng)所述特征值大于所述給定閾值時,將所述第一直方圖中的所述特征保留,當(dāng)所述特征值小于所述給定閾值時,將所述第一直方圖中的所述特征剔除,獲得標(biāo)志物特征直方圖。
本發(fā)明所述的機器人手部跟蹤系統(tǒng)使機器人可以跟蹤被測人員手部的標(biāo)志物運動至練習(xí)需要的角度和位置,能夠真實模擬實際的醫(yī)患之間的交互操作,為醫(yī)生提供治療手法的練習(xí)平臺。
本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進行了闡述,以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實施方式及應(yīng)用范圍上均會有改變之處。綜上所述,本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。