專利名稱：用于在實時視頻跟蹤系統(tǒng)中跟蹤手臂運動的方法
技術(shù)領域：
本發(fā)明屬于自動控制技術(shù)領域，涉及一種融合計算機視覺、圖形圖像 處理和自動控制，用于在沉浸式交互游戲、危險性工業(yè)控制和虛擬現(xiàn)實等 領域?qū)崿F(xiàn)形象化的跟蹤手臂運動的方法。 技術(shù)背景在分布式虛擬現(xiàn)實環(huán)境下，為了提供更加和諧友好的人機交互界面， 有多種沉浸式交互模式可以選擇，如頭部運動跟蹤、面部表情識別、自然 語言理解、手勢辨識等。 一種比較直接的方式是綜合手臂運動跟蹤結(jié)果和數(shù)據(jù)手套的手勢輸出實現(xiàn)人機交互，其中手臂運動跟蹤提供位移信息，手 勢輸出用于生成對象選中、平移和旋轉(zhuǎn)等語義。常見的手臂運動估計算法 主要有基于電磁場切割理論的方法和基于視覺技術(shù)的方法兩大類。其中基 于磁場切割理論的方法利用三軸線圈發(fā)射磁場，用固定在被檢測對象上的 三軸磁傳感器探測磁場的變換信息，然后根據(jù)磁場發(fā)射信號和磁感應信號 之間的耦合關系確定被檢測對象的方位，并以位移增量的方式提供手臂在 三個坐標軸方向的位置信息。但是，由于此類跟蹤設備在國內(nèi)尚處于起步 階段，而國外的產(chǎn)品價格十分昂貴，再加上目標電磁場容易受到很多機電 設備(電腦主機、顯示器、投影儀等)干擾，在很大程度上制約了其在并 行虛擬現(xiàn)實環(huán)境下的推廣與應用?；谟嬎銠C視覺技術(shù)的方法則跟蹤和估 計交互者手臂的軸線，并通過軸線和顯示屏幕求交點來提供更加直觀的位 置信息。其優(yōu)點在于交互時人的手臂和手能處于自然狀態(tài)，使人能夠以自 然的方式進行人機交互，更加符合人類的日常行為習慣，因而在分布式虛 擬環(huán)境中具有十分廣闊的應用前景。本發(fā)明主要參考以下幾篇文獻，并以此為基礎進行了改進和創(chuàng)新1任海兵，祝遠新，徐光祐等.基于視覺手勢識別的研究-綜述.電子學報，2000， 28(2) : 118-121.2M. La Cascia， S. Sclaroff， V. Athitsos. Fast, reliable head tracking under varying illumination: an approach based on registration of texture mapped 3d models. 7y"a/ 5^c"'o"51 o/ 尸a"e272A^，.s朋t/#ac/ i77e 7/7ZJeW,ce， 2000， 22(4): 322-336.3王修暉，華煒，鮑虎軍.面向多投影顯示墻的手勢交互系統(tǒng)設計與 實現(xiàn).計算機輔助設計與圖形學學報，2007， 19(3) :318-322.4孫怡，陳順翔，高大鵬.人體腿部運動圖像的跟蹤.模式識別與人 工智能，2001， 14(1) :82-85.通過對交互者手部、頭部、手臂和腿部等信息的跟蹤和識別來定義和 分類交互語義，是實現(xiàn)沉浸、和諧的人機交互的重要途徑。文獻1從 手勢建模、手勢分析和手勢識別等三個方面介紹手勢識別的研究及其應 用，給出了基于視覺的手勢識別系統(tǒng)的一般構(gòu)成和工作流程。文獻2
中公開了一種在環(huán)境光照變化的情況下，對人頭部進行快速可靠跟蹤的方 法。該方法把人頭部建模為一個貼圖的柱面，從而將頭部跟蹤問題轉(zhuǎn)化為 一個柱面紋理貼圖上的圖像校正問題。文獻3中公開了一個整合了滿 足色彩一致性和特征一致性的特征點跟蹤算法來完成交互動作的捕捉，并 配合數(shù)據(jù)手套的有限狀態(tài)機輸出，實現(xiàn)實時沉浸式手勢交互的整體方案。 在此基礎上，利用計算機視覺中的圖像匹配、雙目融合技術(shù)和攝像頭、數(shù) 據(jù)手套等傳感設備，設計并實現(xiàn)了一個基于多投影顯示墻的手勢交互系統(tǒng)(Gesture-Based Interaction System, GBIS)。文獻4針對人體腿 部運動圖像，所提出的識別腿部關節(jié)的方法，在連續(xù)30幅(時間為ls)的 腿部運動圖像上，利用腿部圖像本身的信息，自動找出每幅圖像中膝關節(jié) 位置，為進一步的人體運動分析奠定了基礎。 發(fā)明內(nèi)容本發(fā)明的目的在于提供一種基于模糊預測控制理論的跟蹤手臂運動方 法，通過該方法可以實現(xiàn)六自由度手臂導航操作，將游戲者(或操作者) 的手臂動作轉(zhuǎn)換為虛擬場景(或工業(yè)設備)的控制命令。本發(fā)明的用于在實時視頻跟蹤系統(tǒng)中跟蹤手臂運動的方法包括以下步驟a. 輸入初始時刻的肘部和腕部標識環(huán)的二維質(zhì)心位置和參考顯示平 面的數(shù)據(jù)進行三維質(zhì)心位置重建，得到三維質(zhì)心位置作為參考控制量； 所述的參考顯示平面的數(shù)據(jù)為目標交互環(huán)境中參考顯示平面的長和寬；b. 根據(jù)交互場所的實測數(shù)據(jù)和預測反饋信息，使用隸屬度函數(shù)對步 驟a中的參考控制量進行模糊化處理，得到模糊論域內(nèi)的特征環(huán)質(zhì)心語 言變量；c. 采用Mamdani最小運算規(guī)則，求取在參考控制量作用下手臂狀態(tài) 變量的預測值；d. 采用加權(quán)平均法進行清晰化處理，得到清晰化的輸出控制量，并 根據(jù)參考顯示平面的數(shù)據(jù)得到兩點式控制輸出；e. 采用式(l)計算控制量的性能測量值E戶來評估預測反饋量對模糊控制的影響程度，以防止預測反饋力度過大造成模糊控制發(fā)散；如果i p大于預設閾值^皿x，則降低預測反饋量，轉(zhuǎn)步驟b;五—『/2.COSQ^)) + ///2.COS(;K0) (1)其中W和H分別為參考顯示平面的寬和高；(;c，"。,zp。)是點PO(O的 三個坐標值；f. 將初始時刻的清晰化的輸出控制量插入到歷史軌跡數(shù)據(jù)隊列，并 根據(jù)歷史n步的模糊控制輸出，生成歷史軌跡曲線，n〉10;然后根據(jù)軌跡曲線對當前幀實時輸出信息進行篩選，剔除特征點匹配的擾動和偶然 誤差，并確定下一時刻的預測反饋量。其中，步驟a中輸入初始時刻的肘部和腕部標識環(huán)的二維質(zhì)心位置 和參考顯示平面的數(shù)據(jù)進行三維質(zhì)心位置重建的具體步驟為g. 攝像頭幾何標定在離線狀態(tài)，通過兩個攝像頭分別拍攝五張以上具有深度信息的棋盤格定標板圖像以及平鋪于地面的棋盤格定標紙圖像，然后利用Matlab的攝像機校正擴展工具箱實現(xiàn)幾何標定，得到兩個 攝像機的內(nèi)外參數(shù)；h. 標識環(huán)的邊緣特征點提取根據(jù)手臂運動的連貫性，從來自兩個 攝像頭的交互圖像中分別粗略的目標搜索窗口，以便提高特征提取效 率；然后利用標識環(huán)的已知顏色特征，分別提取對應于腕部和肘部標識 環(huán)的邊緣點序列；i. 求取標識環(huán)的質(zhì)心根據(jù)標識環(huán)的部分幾何信息分別對來自兩個 同步攝像頭的邊緣點序列進行橢圓擬合，并進一歩求取標識環(huán)的二維質(zhì) 心坐標對；j.三維質(zhì)心位置重建根據(jù)兩個攝像頭的內(nèi)外參數(shù)信息，對第i步 得到的二維質(zhì)心位置序列進行三維重建，得到對應于腕部和肘部標識環(huán) 的三維質(zhì)心位置。其中，步驟C中求取在參考控制量作用下手臂狀態(tài)變量的預測值的 具體歩驟為k.確定測量值的論域及語言變量值通過式(2)確定輸入量、反饋量 和輸出量的值域；然后根據(jù)模糊控制的精度要求和計算量限制把輸入輸出量的值域生成變量等級，得到相應的語言變量值集； x, e[-『/2,『/2]，[-緒,i//2] (2)其中，x,.,x,z,.(hl,2,3)分別表示^， A。和預測反饋量的對應坐標分量，Z), 為交互者與參考顯示平面的距離；1.生成控制規(guī)則確定輸入量和反饋量對劃分后的值域等級的隸屬 度，然后計算關鍵位置時手臂軸線與坐標軸的夾角，并根據(jù)實際控制要 求對每一組數(shù)據(jù)生成一條控制規(guī)則，以保證規(guī)則庫的完備性；m.在一條控制規(guī)則中，以各語言變量值的隸屬度乘積作為對應的控 制規(guī)則的強度。由于測量誤差的存在，根據(jù)測量數(shù)據(jù)生成的控制規(guī)則可能會出現(xiàn)相互抵觸的情況，即規(guī)則不相容問題。因此，要計算上述生成 的規(guī)則集中每條控制規(guī)則的強度，并只取相互抵觸的規(guī)則中強度最大的 加入最終的控制規(guī)則庫。這樣不但保證了規(guī)則庫的相容性，還可以有效 地減少控制規(guī)則的數(shù)目。本發(fā)明方法可以實現(xiàn)六自由度手臂導航操作，交互時人的手臂和手能 處于自然狀態(tài)，使交互者能夠以自然的方式進行人機交互，更加符合人類 的曰常行為習慣。


圖1為本發(fā)明的手臂運動估計的工作流程圖；圖2為手臂軸線與參考平面的求交示意圖，目標交互環(huán)境中參考顯示 平面Q的長和寬分別為W和H，沿參考顯示平面的法向最大位移為D,"，手 臂軸線與x、 y、 z三個坐標軸的夾角分別為a，A;n圖3為語言變量值劃分示意圖。
具體實施方式
本實施例給出一整套手臂運動跟蹤方案，主要包括以下三部分內(nèi)容 1.手臂標識環(huán)的特征提取1) 攝像頭幾何標定。在離線狀態(tài)，通過兩個攝像頭分別拍攝若干張具 有深度信息的棋盤格定標板圖像以及平鋪于地面的棋盤格定標紙圖 像，然后利用Matlab"'的攝像機校正擴展工具箱實現(xiàn)幾何標定，得 到兩個攝像機的內(nèi)外參數(shù)。2) 標識環(huán)的邊緣特征點提取。根據(jù)手臂運動的連貫性，從來自兩個攝 像頭的交互圖像中分別粗略的目標搜索窗口，以便提高特征提取效 率。然后利用標識環(huán)的已知顏色特征，分別提取對應于腕部和肘部 標識環(huán)的邊緣點序列。3) 求取標識環(huán)的質(zhì)心。根據(jù)標識環(huán)的部分幾何信息分別對來自兩個同 歩攝像頭的邊緣點序列進行橢圓擬合，并進一步求取標識環(huán)的二維 質(zhì)心坐標對(Pw,(x，y)， Pl;i(x，y)}(i=l，2)，其中Pw和P,分別表示第象頭觀測到的腕部和肘部質(zhì)心位置。 4)根據(jù)兩個攝像頭的內(nèi)外參數(shù)信息，對上一步得到的二維質(zhì)心坐標序 列進行三維重建，得到對應于腕部和肘部標識環(huán)的三維質(zhì)心坐標Pw(x，y，z)， PE(x，y，z)。 上述2)中，針對每一幅圖像得到對應于肘部和腕部標識環(huán)的離散點 序列，由于手臂的遮擋，每個標識環(huán)只能看到一部分圖像，本文使用最小 二乘法對如下形式的圓錐曲線方程進行了擬合血2+~ + 0;2+/^ + ^ +尸=0 (3)然后通過下面關系求取標識環(huán)的二維質(zhì)心坐標^ 5五一2CD 。
BD — 2AB ^、 ;d) =-yU =-^ 、4J步驟4)中，三維點重建中，分別對肘部和腕部標識環(huán)的質(zhì)心坐標進 行了如下變換x =1其中，x為二維圖像坐標點，X為三維參考坐標系下的點，P為對應 攝像頭的投影矩陣，K為內(nèi)參矩陣，R為旋轉(zhuǎn)矩陣，t為平移向量。 2.模糊控制規(guī)則的生成模糊控制規(guī)則是基于手動控制策略而建立的，而手動控制策略又是人們通過學習、試驗以及長期實踐經(jīng)驗積累而逐漸形成的一種技術(shù)知識集合。手動控制過程一般是通過對被控對象或過程的觀測，操作者再根據(jù)已有的經(jīng)驗和技術(shù)知識，進行綜合分析并作出控制決策，調(diào)整加到被控對象的控制作用，從而使系統(tǒng)達到預期目標。在模糊預測控制過程中，通過用一組自然語言描述的控制規(guī)則來表示專家的知識。對于一個典型的模糊預測控制系統(tǒng)，專家知識的有如下形式的表示方法IF (條件l，，..，條件n)THEN (結(jié)論l，...，結(jié)論m) (6)在設計模糊控制規(guī)則時，必須綜合考慮控制規(guī)則的完備性、交叉性和相容性。其中完備性要求對于任意輸入，規(guī)則庫中應至少有-個可適用的 規(guī)則，而且規(guī)則的適用程度應該大于一定閾值；交叉性是指控制器的輸出 總是由一條以上的規(guī)則決定，即控制規(guī)則之間是相互聯(lián)系、相互影響的； 相容性要求規(guī)則庫中不存在相互矛盾的規(guī)則。本文根據(jù)手臂運動估計交互 系統(tǒng)的觀測值和交互場地的實際測量數(shù)據(jù)來生成控制規(guī)則。1) 確定測量值的論域及語言變量值。根據(jù)對系統(tǒng)的觀測，確定輸入量、反饋量和輸出量的值域<formula>formula see original document page 10</formula>其中，x",z,(^l,2，3)分別表示/V， ^。和Ar的對應坐標分量。 然后根據(jù)模糊控制的精度要求和計算量限制把x,，y,，z, G = l，2，3)的值域 分成若干個變量等級，得到相應的語言變量值集{&|& = 1..力}，其中n為劃分的等級數(shù)。假設將由W， H和Dm確定的值域分成S4(小4)， S3(小3)，S2(小2)， Sl(小l)， MO(原點)，Ll(大l)， L2(大2)， L3 (大3) ， L4(大4)等9個等級，則:<formula>formula see original document page 10</formula>以x,為例，其語言變量值和隸屬函數(shù)如附圖3所示，其中i/2和w/2為;c,值域的端點，//00為隸屬度。2) 根據(jù)測量數(shù)據(jù)生成控制規(guī)則。確定輸入量和反饋量對{&|* = 1.』}的 隸屬度，然后計算關鍵位置時手臂軸線與坐標軸的夾角W,a，W ， 并根據(jù)實際控制要求對每一組數(shù)據(jù)生成一條控制規(guī)則，以保證規(guī)則 庫的完備性，生成的控制規(guī)則如式(8) (11)。<formula>formula see original document page 10</formula>其中，{(^ ，？,(0,:切川=1,2}為輸入量的模糊控制量，S,》,5分別為手臂軸線與mz軸夾角的模糊控制量，W為手臂軸線與參考顯示平面的 交點坐標；4 4、 S。 R、 C。 q和Z)。 A分別是輸入和輸出量的語言 變量對應的語言值。3)計算每條規(guī)則的強度。在一條控制規(guī)則中，各語言變量值的隸屬度 乘積，稱為該規(guī)則的強度。由于測量誤差的存在，根據(jù)測量數(shù)據(jù)生 成的控制規(guī)則可能會出現(xiàn)相互抵觸的情況，即規(guī)則不相容問題。因 此，要計算上述生成的規(guī)則集中每條控制規(guī)則的強度，并只取相互 抵觸的規(guī)則中強度最大的加入最終的控制規(guī)則庫。這樣不但保證了 規(guī)則庫的相容性，還可以有效地減少控制規(guī)則的數(shù)目。3.基于模糊預測控制理論的手臂運動估計方法(FPC-AME)模糊預測控制是一種模擬人工操作的方法，因此算法設計的目標在于 如何根據(jù)預定義的模糊控制規(guī)則庫和手臂的歷史運動軌跡，來生成實時控 制信息和預測新的運動趨勢，從而取舍與修正實時輸入信息，實現(xiàn)穩(wěn)定的 手臂軸線信息的穩(wěn)定輸出。如圖1所示，手臂運動估計的模糊預測控制過 程主要包含了模糊推理和預測反饋量計算兩方面內(nèi)容。與傳統(tǒng)的模糊控制 系統(tǒng)不同的是，在手臂運動估計的模糊控制中，對輸出量的穩(wěn)定性要求較 高，因此需要綜合實時輸出和歷史信息來生成反饋量。另一方面，由于輸入控制信息是具有確定數(shù)值的清晰量，而模糊推理 過程是基于模糊語言變量進行的，因此在進行模糊推理之前，需要先對輸 入控制量進行模糊化處理，即將三維交互空間的位移和角度值映射到輸入 論域上的模糊集合。在三維重建前的二維特征點集中存在識別偏差和擾動 信息，造成了輸入控制量存在不確定的測量噪聲，F(xiàn)PC-AMEA選擇菱形函 數(shù)為隸屬度函數(shù)，如式(7)所示，通過分割三維交互空間實現(xiàn)交互精度與 魯棒性的折衷。其中^表示輸入量x的標準差，Ar為根據(jù)當前輸出生成的預測反饋因1)2)子，x。為x的初始值(默認等于參考屏幕中心點的X坐標)。綜上所述，用于手臂運動估計的模糊預測控制方法具體步驟描述如下輸入t時刻三維重建后的肘部和腕部標識環(huán)質(zhì)心位置 ((x, W， y, (0， z, (0) U = 1,2}和目標交互環(huán)境中參考顯示平面Q的長和寬 分別為W和H等實測數(shù)據(jù)。根據(jù)交互場所的實測數(shù)據(jù)和預測反饋信息，由式(12)描述的隸屬度 函數(shù)對上述參考控制量進行模糊化處理，得到模糊論域內(nèi)的特征環(huán) 質(zhì)心語言變量{(;(0, I = 1,2}。采用Mamdani最小運算規(guī)則，根據(jù)式(8) (11)所描述的模糊推理 規(guī)則w求取在參考控制量{(^(0,^),^)) I z' = 1,2}作用下手臂狀態(tài)變量5(o,3(aJ(o,^(w的預測值。采用加權(quán)平均法進行清晰化計算，得到清晰化的輸出控制量(的),外),;^),po(W (如式(13)所示)，并根據(jù)參考顯示平面的數(shù)據(jù) 得到兩點式控制輸出(Oc,(0，；,(0，；仰I = 1,2}。3)4)K =1_(13)其中PK,),風O,;Ka尸o(w為輸出的清晰控制量，"為規(guī)則總數(shù)，g為第A條規(guī)定對應的模糊量口(a》w,i(o，^(W ， ^為相應控制規(guī)則的權(quán)5)在目標交互環(huán)境中參考顯示平面Q的實測數(shù)據(jù)基礎上，由式(14)計算控制量的性能測量值^來評估預測反饋量對模糊控制的影響程 度，以防止預測反饋力度過大造成模糊控制發(fā)散。如果i^大于預設閾值i n^，則降低預測反饋量Ar，轉(zhuǎn)歩驟2)。W / 2.cos(則)+ / 2.cos(洲)2丄2丄2 k八+>>八+z，(14)尸0 ，0其中W和H分別為參考顯示平面的寬和！義，少尸0，々0)是點po(O的三個坐標值。如圖2，目標交互環(huán)境中參考顯示平面Q的長和寬分別為W和H，沿參考顯示平面的法向最大位移為化，手臂軸線與x、 y、 z三個坐標軸的夾角分別為"，/ ，;r;6)將t時刻的清晰控制量插入到歷史軌跡數(shù)據(jù)隊列，并根據(jù)歷史 n(n〉10)歩的模糊控制輸出，生成歷史軌跡曲線；然后根據(jù)軌跡曲線對當前幀實時輸出信息進行篩選，來剔除特征點匹配的擾動和偶 然誤差，并根據(jù)式(15)確定t+l時刻的預測反饋量Ar。(15)"1 = 1，. a2(0 + p2(0 + ;r2(0其中^》J分別為手臂軸線與三個坐標軸夾角的歷史平均值； w,("i』)為歷史數(shù)據(jù)的權(quán)重，用來加強較新軌跡數(shù)據(jù)的影響度。上述歩驟4)中，權(quán)重^的計算以最近鄰優(yōu)先原則為基礎，根據(jù)實際 交互場所實測數(shù)據(jù)和參考顯示平面尺寸確定；步驟5)中，^過大，意味 著交互時手臂延長線與參考顯示平面的交點始終落在大屏幕的邊緣附近， 通常是由于預測控制因子過大使得兩個特征點區(qū)分度下降造成的。步驟 6)中，可以利用運動連貫性，對歷史軌跡曲線進行復用，從而提高預測 反饋信號的生成速度。該算法中{(x,(o,x《),z,(0)Iz = 1,2}和{"(0,外),;^),尸0(0} 是對手臂軸線的兩種描述方式，其中{ (0，AO,;^),po(0}由于便于進行模 糊化處理和模糊推理，因此在算法中將其作為中間數(shù)據(jù)表示方式。
權(quán)利要求
1、用于在實時視頻跟蹤系統(tǒng)中跟蹤手臂運動的方法，其特征在于該方法包括以下步驟a.輸入初始時刻的肘部和腕部標識環(huán)的二維質(zhì)心位置和參考顯示平面的數(shù)據(jù)進行三維質(zhì)心位置重建，得到三維質(zhì)心位置作為參考控制量；所述的參考顯示平面的數(shù)據(jù)為目標交互環(huán)境中參考顯示平面的長和寬；b.根據(jù)交互場所的實測數(shù)據(jù)和預測反饋信息，使用隸屬度函數(shù)對步驟a中的參考控制量進行模糊化處理，得到模糊論域內(nèi)的特征環(huán)質(zhì)心語言變量；c.采用Mamdani最小運算規(guī)則，求取在參考控制量作用下手臂狀態(tài)變量的預測值；d.采用加權(quán)平均法進行清晰化處理，得到清晰化的輸出控制量，并根據(jù)參考顯示平面的數(shù)據(jù)得到兩點式控制輸出；e.采用式(1)計算控制量的性能測量值EP來評估預測反饋量對模糊控制的影響程度；如果EP大于預設閾值Emax，則降低預測反饋量，轉(zhuǎn)步驟b；
全文摘要
本發(fā)明涉及一種用于在沉浸式交互游戲、危險性工業(yè)控制和虛擬現(xiàn)實等領域?qū)崿F(xiàn)形象化的跟蹤手臂運動的方法。目前方法不十分符合人的日常交互習慣。本發(fā)明方法是通過分析實時圖像序列中腕部和肘部的標識環(huán)顏色信息，對手臂位置進行粗略目標窗口定位；然后對來自兩個同步攝像頭的粗略目標窗口分別進行標識環(huán)提取和特征點三維重建；最后基于模糊預測控制技術(shù)對肘部和腕部的三維特征點序列進行魯棒控制，生成穩(wěn)定的導航控制信號。本發(fā)明方法可以實現(xiàn)六自由度手臂導航操作，交互時人的手臂和手能處于自然狀態(tài)，使交互者能夠以自然的方式進行人機交互，更加符合人類的日常行為習慣。
文檔編號G06K9/00GK101256673SQ200810061179
公開日2008年9月3日 申請日期2008年3月18日 優(yōu)先權(quán)日2008年3月18日
發(fā)明者楊海波, 王修暉 申請人:中國計量學院