專利名稱：多模型人體運(yùn)動(dòng)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及人體運(yùn)動(dòng)跟蹤，特別是一種多模型的人體運(yùn) 動(dòng)跟蹤和三維姿態(tài)估計(jì)，可用于體育訓(xùn)練和動(dòng)畫制作等領(lǐng)域。
背景技術(shù)：
人體運(yùn)動(dòng)跟蹤的主要任務(wù)是從圖像檢測(cè)出人體，定位人體部分，然后識(shí)別出人體 運(yùn)動(dòng)姿態(tài)，最終重建三維人體運(yùn)動(dòng)。由于獲得的視頻或者圖像序列都是三維場(chǎng)景在二維 圖像上的投影，缺失了大量的深度信息，并且人體運(yùn)動(dòng)過(guò)程中，人體四肢自遮擋現(xiàn)象時(shí)常發(fā) 生，視頻圖像的質(zhì)量也無(wú)法保證，這使得從無(wú)標(biāo)記單目視頻中恢復(fù)人體運(yùn)動(dòng)姿態(tài)的工作困 難重重。但是，由于基于單目視頻的人體運(yùn)動(dòng)跟蹤在醫(yī)學(xué)治療、運(yùn)動(dòng)捕捉、動(dòng)畫制作、智能監(jiān) 控系統(tǒng)等各個(gè)方面都有潛在的應(yīng)用和經(jīng)濟(jì)價(jià)值，所以受到了很多學(xué)者的關(guān)注?；谝曨l的人體運(yùn)動(dòng)分析的方法主要分為兩大類基于模型的人體運(yùn)動(dòng)跟蹤和基 于學(xué)習(xí)的人體運(yùn)動(dòng)跟蹤。(1)基于模型的人體運(yùn)動(dòng)跟蹤現(xiàn)有的基于模型的人體運(yùn)動(dòng)跟蹤大部分都是使用確定性或者隨機(jī)性的優(yōu)化方法， 在高維的狀態(tài)空間中搜索最優(yōu)的狀態(tài)。該方法的主要研究有法國(guó)國(guó)家信息與自動(dòng)化研究所(INRIA)的C. Sminchisescu采用基于模型的方法 在單目相機(jī)人體運(yùn)動(dòng)估計(jì)方面做了大量工作，從人體模型到搜索策略的一系列研究，大部 分屬于產(chǎn)生式方法。美國(guó)布朗大學(xué)M.J. Black教授領(lǐng)導(dǎo)的視覺(jué)組主要致力于人體運(yùn)動(dòng)估計(jì)和人體手 勢(shì)、行為和面部表情的重構(gòu)，目的是將人體運(yùn)動(dòng)的估計(jì)和理解應(yīng)用于多媒體研究和新穎的 用戶界面中。在人體運(yùn)動(dòng)估計(jì)方面，該研究組用貝葉斯框架獲得人體統(tǒng)計(jì)信息，對(duì)3D人體 運(yùn)動(dòng)進(jìn)行隨機(jī)跟蹤。目前該研究組為評(píng)價(jià)鏈接人體運(yùn)動(dòng)方法創(chuàng)建了一個(gè)同步視頻和運(yùn)動(dòng)捕 捉數(shù)據(jù)集=HumanEva數(shù)據(jù)集。HumanEva是多攝像機(jī)獲得的數(shù)據(jù)資料，不僅包含多種運(yùn)動(dòng)的 視頻序列，而且還包含相應(yīng)的地面實(shí)況Ground Truth，為人體運(yùn)動(dòng)跟蹤方法的定量比較提 供了依據(jù)。Deutscher et al.使用邊界和側(cè)影作為圖像特征構(gòu)建加權(quán)函數(shù)，應(yīng)用退火粒子濾 波框架實(shí)現(xiàn)人體運(yùn)動(dòng)跟蹤。Mikic et al.從多個(gè)同步視頻流中自動(dòng)的獲得人體模型，應(yīng)用 擴(kuò)展卡爾曼濾波框架，依據(jù)已標(biāo)記的voxel數(shù)據(jù)上的量測(cè)信息估計(jì)人體運(yùn)動(dòng)參數(shù)。(2)基于學(xué)習(xí)的人體運(yùn)動(dòng)跟蹤該方法首先提取精確的圖像特征，然后學(xué)習(xí)圖像特征與運(yùn)動(dòng)捕捉數(shù)據(jù)之間的映 射，最后直接使用人體特征恢復(fù)三維姿態(tài)。在該方面的深入研究有法國(guó)國(guó)家信息與自動(dòng)化研究所(INRIA)的主要項(xiàng)目LEAR(Learning for Vision) 中很重要的部分就是對(duì)人的運(yùn)動(dòng)進(jìn)行檢測(cè)和運(yùn)動(dòng)分析，A. Agarwal在研究中做出了巨大的 貢獻(xiàn)，他采用shape context等魯棒性好的描述子描述人體側(cè)影，然后學(xué)習(xí)運(yùn)動(dòng)捕捉數(shù)據(jù)與 人體側(cè)影之間的關(guān)系，最后根據(jù)人體側(cè)影特征重建三維人體運(yùn)動(dòng)。
加拿大多倫多大學(xué)計(jì)算機(jī)系C. Sminchisescu研究組2004年以來(lái)， C. Sminchisescu的人體運(yùn)動(dòng)分析研究方法逐漸從產(chǎn)生式向判別式轉(zhuǎn)變，通過(guò)分層編碼和半 監(jiān)督學(xué)習(xí)適應(yīng)多層級(jí)的變化，處理復(fù)雜背景下3D姿態(tài)類的可變性，采用稀疏的方法恢復(fù)3D 人體姿態(tài)。Urtasun et al.使用平衡高斯過(guò)程動(dòng)態(tài)模型指導(dǎo)在單目視頻序列中跟蹤3D人體 運(yùn)動(dòng)，該動(dòng)態(tài)模型是從較少的包含多種模式的訓(xùn)練運(yùn)動(dòng)數(shù)據(jù)中學(xué)習(xí)得到。Sigal et al.提 出一個(gè)貝葉斯框架，包含序貫重要性采樣和退火粒子濾波，跟蹤時(shí)使用了多種運(yùn)動(dòng)模型和 似然函數(shù)；為了使三維恢復(fù)更加符合解剖關(guān)節(jié)限制和降低搜索空間，從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)運(yùn) 動(dòng)模型，使用虛擬標(biāo)記的歐式距離差作為誤差量測(cè)?；谀Ｐ偷娜梭w運(yùn)動(dòng)跟蹤和基于學(xué)習(xí)的人體運(yùn)動(dòng)跟蹤各有優(yōu)劣基于模型的方法優(yōu)點(diǎn)是該方法有具體的人體模型模擬人體，并且可以使用先驗(yàn) 知識(shí)指導(dǎo)運(yùn)動(dòng)姿態(tài)的預(yù)測(cè)；缺點(diǎn)是使用優(yōu)化的方法在搜索最優(yōu)結(jié)果時(shí)，很容易陷入局部最 優(yōu)值，時(shí)間復(fù)雜度高，并且無(wú)法從根本上解決人體運(yùn)動(dòng)的二義性，遮擋發(fā)生的情況下，人體 運(yùn)動(dòng)精確恢復(fù)無(wú)法得到保證；基于學(xué)習(xí)的方法優(yōu)點(diǎn)是使用訓(xùn)練得到的運(yùn)動(dòng)映射，增加了跟蹤的準(zhǔn)確性和穩(wěn)定 性；缺點(diǎn)是單個(gè)的運(yùn)動(dòng)模型只能擬合一個(gè)運(yùn)動(dòng)模式，不能適應(yīng)人體運(yùn)動(dòng)的多變性，提取精確 的圖像特征也要花費(fèi)大量的時(shí)間。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有方法不足，提出了 一種基于可能模型集-變結(jié)構(gòu)多模 型LMS-VSMM的人體運(yùn)動(dòng)跟蹤方法，以減小人體運(yùn)動(dòng)姿態(tài)恢復(fù)的歧義性，提高人體運(yùn)動(dòng)跟蹤 的精確度，同時(shí)降低單幀跟蹤的時(shí)間，提高費(fèi)效比。實(shí)現(xiàn)本發(fā)明目的的技術(shù)思路是汲取上述兩種方法的優(yōu)點(diǎn)，采用基于模型方法的 大框架，建立人體骨架模型，采用基于學(xué)習(xí)的方法，使用運(yùn)動(dòng)捕捉數(shù)據(jù)直接訓(xùn)練人體運(yùn)動(dòng)模 型指導(dǎo)人體運(yùn)動(dòng)姿態(tài)的預(yù)測(cè)。為了解決基于學(xué)習(xí)方法的缺點(diǎn)，前人已經(jīng)嘗試使用交互式多 模型算法IMM完成人體運(yùn)動(dòng)跟蹤，對(duì)特定的人體運(yùn)動(dòng)模式使用精心挑選的運(yùn)動(dòng)模型集獲得 較好的跟蹤效果，但在實(shí)際的應(yīng)用中，由于較小的運(yùn)動(dòng)模型集合無(wú)法解決人體運(yùn)動(dòng)模式的 復(fù)雜性和多變性，簡(jiǎn)單的增加運(yùn)動(dòng)模型的數(shù)量是不可行的，不僅會(huì)增加運(yùn)算了解決該困境， 本發(fā)明采用基于可能模型集的變結(jié)構(gòu)多模型方法進(jìn)行人體運(yùn)動(dòng)跟蹤。概括地說(shuō)本發(fā)明是在 檢測(cè)人體關(guān)節(jié)點(diǎn)位置的基礎(chǔ)上，通過(guò)使用運(yùn)動(dòng)捕捉數(shù)據(jù)訓(xùn)練的運(yùn)動(dòng)模型，結(jié)合LMS-VSMM算 法框架來(lái)解決人體運(yùn)動(dòng)跟蹤問(wèn)題。其具體實(shí)現(xiàn)步驟包括如下(1)人體視頻圖像，通過(guò)背景差獲得人體側(cè)影，提取人體側(cè)影邊緣，并對(duì)人體側(cè)影 進(jìn)行細(xì)化處理；(2)根據(jù)處理后的人體視頻圖像，進(jìn)行如下關(guān)節(jié)點(diǎn)檢測(cè)2a)使用同心圓模板沿著骨架線搜索，計(jì)算落入圓環(huán)的邊緣點(diǎn)數(shù)量，選取數(shù)量最多 時(shí)的圓心作為頭節(jié)點(diǎn)；2b)選取人體側(cè)影重心為根節(jié)點(diǎn)；2c)使用3D人體骨架模型在圖像上投影，得到人體軀干上其他關(guān)節(jié)點(diǎn)位置；2d)使用粒子濾波檢測(cè)手、肘、肩關(guān)節(jié)點(diǎn)位置；
6
2e)使用下肢長(zhǎng)度檢測(cè)膝、腳關(guān)節(jié)點(diǎn)位置；(3)從卡耐基梅隆大學(xué)CMU運(yùn)動(dòng)捕捉數(shù)據(jù)庫(kù)中選取多種運(yùn)動(dòng)模式的捕捉數(shù)據(jù)，采 用嶺回歸方法訓(xùn)練運(yùn)動(dòng)模型方程的狀態(tài)轉(zhuǎn)移矩陣Fi,并計(jì)算該運(yùn)動(dòng)模型的噪聲Wk協(xié)方差， 獲得的運(yùn)動(dòng)模型集合稱為總運(yùn)動(dòng)模型集M = Im1, m2, m3, m4, m5, m6}，其中Hi1表示僵硬的行走 模型，m2表示行走模型，m3表示平衡行走模型，m4表示Jack跳模型，m5表示跳躍模型，m6表 示下蹲模型；(4)將總運(yùn)動(dòng)模型集中的運(yùn)動(dòng)模型方程作為交互式多模型濾波器的狀態(tài)方程，運(yùn) 行交互式多模型十個(gè)周期，計(jì)算各模型的模型群概率，選擇模型概率最大的三個(gè)模型作為 初始當(dāng)前模型集合M1;(5)以k時(shí)刻人體關(guān)節(jié)點(diǎn)作為輸入，利用交互式多模型算法，獲得人體運(yùn)動(dòng)姿態(tài)估 計(jì)，更新運(yùn)動(dòng)模型概率和人體運(yùn)動(dòng)姿態(tài)估計(jì)誤差協(xié)方差；(6)根據(jù)人體關(guān)節(jié)點(diǎn)位置，計(jì)算四肢骨架線在圖像上投影的角度變化比值，若比值 大小滿足設(shè)定的運(yùn)動(dòng)模型激活規(guī)則，記此時(shí)刻為Iv記當(dāng)前模型集合為M。，記激活運(yùn)動(dòng)模型 Mn，執(zhí)行以下步驟(7)，否則，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，執(zhí)行步驟(5)；(7)將新激活模型的概率初始化為當(dāng)前模型集合中模型概率的最大值，并歸一化 模型概率；將預(yù)測(cè)誤差協(xié)方差初始化為運(yùn)動(dòng)模型自身的噪聲協(xié)方差，選取運(yùn)動(dòng)捕捉數(shù)據(jù)中 與當(dāng)前模式匹配程度最高的狀態(tài)作為初始狀態(tài)，將模型集合M。和激活運(yùn)動(dòng)模型^合并為新 的當(dāng)前模型集合Mk;(8)根據(jù)新的當(dāng)前模型，重新執(zhí)行上述交互式多模型一個(gè)周期，若當(dāng)前模型集合Mk 中運(yùn)動(dòng)模型的模型概率小于10_4，則終止該運(yùn)動(dòng)模型，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，并返回執(zhí)行 上述步驟(5)；否則，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，執(zhí)行步驟(8)。本發(fā)明與現(xiàn)有的技術(shù)相比具有以下優(yōu)點(diǎn)1、本發(fā)明由于使用粒子濾波和下肢長(zhǎng)度信息預(yù)測(cè)人體關(guān)節(jié)點(diǎn)，獲得了更精確的人 體關(guān)節(jié)點(diǎn)圖像位置，并作為圖像特征輸入LMS-VSMM跟蹤框架，算法簡(jiǎn)單，時(shí)間復(fù)雜度低；2、本發(fā)明由于直接使用運(yùn)動(dòng)捕捉數(shù)據(jù)訓(xùn)練運(yùn)動(dòng)模型，而不是學(xué)習(xí)運(yùn)動(dòng)捕捉視頻的 圖像特征和運(yùn)動(dòng)捕捉數(shù)據(jù)之間的關(guān)系，消除了圖像噪聲的影響，提高了運(yùn)動(dòng)模型的精確性 和穩(wěn)定性，使得估計(jì)結(jié)果更加符合人體運(yùn)動(dòng)規(guī)律；3、本發(fā)明由于在執(zhí)行過(guò)程中，只有與當(dāng)前運(yùn)動(dòng)模式匹配程度較好的運(yùn)動(dòng)模型起作 用，而不是總運(yùn)動(dòng)模型集的每個(gè)運(yùn)動(dòng)模型都在起作用，減少了不相關(guān)運(yùn)動(dòng)模型的個(gè)數(shù)，不僅 縮短了運(yùn)行時(shí)間，而且降低了不相關(guān)運(yùn)動(dòng)模型的惡意競(jìng)爭(zhēng)程度，提高了人體運(yùn)動(dòng)跟蹤的精 確度。


圖1是本發(fā)明多模型人體運(yùn)動(dòng)跟蹤方法總流程圖；圖2是本發(fā)明的人體運(yùn)動(dòng)圖像預(yù)處理子流程圖；圖3是本發(fā)明的人體關(guān)節(jié)點(diǎn)檢測(cè)子流程圖；圖4是本發(fā)明實(shí)驗(yàn)關(guān)節(jié)點(diǎn)模板提取圖；圖5是本發(fā)明實(shí)驗(yàn)使用的3D人體骨架模型圖；圖6是本發(fā)明仿真實(shí)驗(yàn)的總運(yùn)動(dòng)模型集拓?fù)鋱D7是本發(fā)明肢節(jié)投影角度變化示例圖；圖8是本發(fā)明仿真實(shí)驗(yàn)的關(guān)節(jié)點(diǎn)檢測(cè)結(jié)果圖；圖9是本發(fā)明仿真實(shí)驗(yàn)的三維跟蹤結(jié)果圖；圖10是本發(fā)明仿真實(shí)驗(yàn)的模型概率結(jié)果圖；圖11是本發(fā)明仿真實(shí)驗(yàn)3D結(jié)果投影與檢測(cè)關(guān)節(jié)點(diǎn)的誤差圖。
具體實(shí)施例方式參照?qǐng)D1，本發(fā)明多模型人體運(yùn)動(dòng)跟蹤方法，具體實(shí)現(xiàn)過(guò)程如下步驟1，對(duì)輸入的視頻圖像作預(yù)處理，獲得人體側(cè)影及其外輪廓、骨架線。參照?qǐng)D2，本步驟的具體實(shí)現(xiàn)如下1. 1)采用最小平方中值LMedS方法獲取背景圖像Back，設(shè)I是N幀的輸入圖像序 列，則背景圖像Back在(x，y)處的像素值Backx,y為
權(quán)利要求
1.一種多模型人體運(yùn)動(dòng)跟蹤方法，包括(1)輸入人體視頻圖像，通過(guò)背景差獲得人體側(cè)影，提取人體側(cè)影邊緣，并對(duì)人體側(cè)影 進(jìn)行細(xì)化處理；(2)根據(jù)處理后的人體視頻圖像，進(jìn)行如下關(guān)節(jié)點(diǎn)檢測(cè)2a)使用同心圓模板沿著骨架線搜索，計(jì)算落入圓環(huán)的邊緣點(diǎn)數(shù)量，選取數(shù)量最多時(shí)的 圓心作為頭節(jié)點(diǎn)；2b)選取人體側(cè)影重心為根節(jié)點(diǎn)；2c)使用3D人體骨架模型在圖像上投影，得到人體軀干上其他關(guān)節(jié)點(diǎn)位置；2d)使用粒子濾波檢測(cè)手、肘、肩關(guān)節(jié)點(diǎn)位置；2e)使用下肢長(zhǎng)度檢測(cè)膝、腳關(guān)節(jié)點(diǎn)位置；(3)從卡耐基梅隆大學(xué)CMU運(yùn)動(dòng)捕捉數(shù)據(jù)庫(kù)中選取多種運(yùn)動(dòng)模式的捕捉數(shù)據(jù)，采用嶺 回歸方法訓(xùn)練運(yùn)動(dòng)模型方程的狀態(tài)轉(zhuǎn)移矩陣Fi,并計(jì)算該運(yùn)動(dòng)模型的噪聲Wk協(xié)方差，獲得 的運(yùn)動(dòng)模型集合稱為總運(yùn)動(dòng)模型集M = 0 ,! ,! ,! ,! ,!%}，其中Hl1表示僵硬的行走模型， Hi2表示行走模型，m3表示平衡行走模型，m4表示Jack跳模型，m5表示跳躍模型，m6表示下蹲 模型；(4)將總運(yùn)動(dòng)模型集中的運(yùn)動(dòng)模型方程作為交互式多模型濾波器的狀態(tài)方程，運(yùn)行交 互式多模型十個(gè)周期，計(jì)算各模型的模型群概率，選擇模型概率最大的三個(gè)模型作為初始 當(dāng)前模型集合M1 ；(5)以k時(shí)刻人體關(guān)節(jié)點(diǎn)作為輸入，利用交互式多模型算法，獲得人體運(yùn)動(dòng)姿態(tài)估計(jì)， 更新運(yùn)動(dòng)模型概率和人體運(yùn)動(dòng)姿態(tài)估計(jì)誤差協(xié)方差；(6)根據(jù)人體關(guān)節(jié)點(diǎn)位置，計(jì)算四肢骨架線在圖像上投影的角度變化比值，若比值大小 滿足設(shè)定的運(yùn)動(dòng)模型激活規(guī)則，記此時(shí)刻為h，記當(dāng)前模型集合為M。，記激活運(yùn)動(dòng)模型Mn， 執(zhí)行以下步驟(7)，否則，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，執(zhí)行步驟(5)；(7)將新激活模型的概率初始化為當(dāng)前模型集合中模型概率的最大值，并歸一化模型 概率；將預(yù)測(cè)誤差協(xié)方差初始化為運(yùn)動(dòng)模型自身的噪聲協(xié)方差，選取運(yùn)動(dòng)捕捉數(shù)據(jù)中與當(dāng) 前模式匹配程度最高的狀態(tài)作為初始狀態(tài)，將模型集合M。和激活運(yùn)動(dòng)模型Mn合并為新的當(dāng) 前模型集合Mk ；(8)根據(jù)新的當(dāng)前模型，重新執(zhí)行上述交互式多模型一個(gè)周期，若當(dāng)前模型集合Mk中運(yùn) 動(dòng)模型的模型概率小于10_4，則終止該運(yùn)動(dòng)模型，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，并返回執(zhí)行上述 步驟(5)；否則，輸出人體運(yùn)動(dòng)姿態(tài)估計(jì)，執(zhí)行步驟(8)。
2.根據(jù)權(quán)利要求1所述的多模型人體運(yùn)動(dòng)跟蹤方法，其中步驟2d)所述的使用粒子濾 波檢測(cè)手、肘、肩關(guān)節(jié)點(diǎn)位置，按如下步驟進(jìn)行2. 1)根據(jù)關(guān)節(jié)點(diǎn)位置，生成以關(guān)節(jié)點(diǎn)為中心的矩形框，肩、肘、手關(guān)節(jié)點(diǎn)的矩形框大小 分別為17X17，11X11，23X21，記矩形框中像素的不變距特征phit為關(guān)節(jié)點(diǎn)先驗(yàn)特征；2. 2)采用二階自回歸模型更新前一時(shí)刻獲得的關(guān)節(jié)點(diǎn)位置xt=Axt_l+Bvt_l+Cwt(1)其中，Xh是肩、肘、手關(guān)節(jié)點(diǎn)圖像坐標(biāo)位置，天是關(guān)節(jié)點(diǎn)位置的更新，A和B為單位矩陣， Vt^1是關(guān)節(jié)點(diǎn)的移動(dòng)速度，Vt^1 = 0^-^3)/2，C與移動(dòng)速度vt_i相等，Wt是[-1，1]之間的 一個(gè)隨機(jī)數(shù)；·2. 3)檢測(cè)關(guān)節(jié)點(diǎn)^ct時(shí)，更新Ns次關(guān)節(jié)點(diǎn)位置，更新一次獲得一個(gè)采樣粒子，Ns的計(jì)算 公式如下Ns = flooril χ & χ Vf1) +10,其中 = [<—1, 1 ](2)其中，Vf1分別是速度vt_i的χ軸和y軸分量，粒子數(shù)加10是為了防止速度分量為零 的情況；·2. 4)根據(jù)2. 1)步給出的矩形框大小，獲得以采樣粒子為中心的模板圖像，計(jì)算采樣粒 子i的不變距特征尸M^jri的權(quán)重^ieighti ( phi1 · phiT. ΛWeighti = -exp 1--p *- J < Ns(3)^ norm(phi'p ) χ norm(phit) J其中，尸&丨是第i個(gè)采樣粒子不變距特征，Phit為采樣粒子對(duì)應(yīng)關(guān)節(jié)點(diǎn)的關(guān)節(jié)點(diǎn)先驗(yàn)特 征，norm為2范數(shù)，歸一化權(quán)重向量，使得二腳諷=1 ；·2. 5)關(guān)節(jié)點(diǎn)&的位置計(jì)算公式如下NsXi = ^ Particlei χ Weighti(4)i=l其中，Particlei表示第i個(gè)采樣粒子的圖像位置；·2.6)根據(jù)關(guān)節(jié)點(diǎn)位置，重新計(jì)算當(dāng)前關(guān)節(jié)點(diǎn)的先驗(yàn)特征。
3.根據(jù)權(quán)利要求1所述的多模型人體運(yùn)動(dòng)跟蹤方法，其中步驟2e)所述的使用下肢長(zhǎng) 度檢測(cè)膝和腳關(guān)節(jié)點(diǎn)位置，按如下步驟進(jìn)行3a)根據(jù)前一幀的結(jié)果計(jì)算左大腿和右大腿的長(zhǎng)度；3b)根據(jù)前兩幀的結(jié)果預(yù)測(cè)膝關(guān)節(jié)的位置Pk -Oy Pk~l _ Pk 2 ^、1 Knee ~ ^ Knee 1 KneeV^/其中，巧_表示k時(shí)刻膝關(guān)節(jié)的位置；3c)若左膝的預(yù)測(cè)位置在右膝的左邊或者右邊，則以左臀點(diǎn)為圓心，以左大腿長(zhǎng)度為半 徑，從側(cè)影左側(cè)或者右側(cè)開始向腿部畫圓，取第一個(gè)與人體側(cè)影相交時(shí)的圖像位置，作為左 膝節(jié)點(diǎn)，同時(shí)，以右臀點(diǎn)為圓心，以右大腿長(zhǎng)度為半徑，從側(cè)影右側(cè)或者左側(cè)開始向腿部畫 圓，取第一個(gè)與人體側(cè)影相交時(shí)的圖像位置，作為右膝節(jié)點(diǎn)；3d)用與膝關(guān)節(jié)點(diǎn)的相同檢測(cè)方法檢測(cè)腳關(guān)節(jié)點(diǎn)。
4.根據(jù)權(quán)利要求1所述的多模型人體運(yùn)動(dòng)跟蹤方法，其中步驟(6)中所述的模型激活 規(guī)則，包括4. 1)當(dāng)大部分下肢的投影角度變化是上一時(shí)刻投影角度變化的tl倍時(shí)0. 8 < tl < 1. 2，需要激活的模型由下面規(guī)則決定4. Ia)若大部分的上肢投影角度變化大于上一時(shí)刻相應(yīng)位置投影角度變化的1.8倍， 激活平衡行走模型m3;4. lb)若大部分的上肢投影角度變化小于上一時(shí)刻相應(yīng)位置投影角度變化的0. 8倍， 激活僵硬的行走模型Hl1 ；4. Ic)若4. Ia)和4. Ib)兩條均不滿足，則不采取任何操作；4. 2)當(dāng)大部分下肢的投影角度變化是上一時(shí)刻投影角度變化的t2倍時(shí)t2 > 1. 8，需 要激活的模型由下面規(guī)則決定-4.2a)若大部分的上肢投影角度變化大于上一時(shí)刻相應(yīng)位置投影角度變化的3. 5倍， 激活Jack跳模型m4;-4.2b)若大部分的上肢投影角度變化小于上一時(shí)刻相應(yīng)位置投影角度變化的0. 5倍 時(shí)，激活下蹲模型m6;-4.2c)若4. 2a)和4. 2b)兩條均不滿足，則激活跳躍模型m5。
全文摘要
本發(fā)明公開了一種多模型人體運(yùn)動(dòng)跟蹤方法，它涉及圖像處理技術(shù)領(lǐng)域。主要解決現(xiàn)有方法無(wú)法很好解決人體運(yùn)動(dòng)歧義性、時(shí)間復(fù)雜度高和單純?cè)黾舆\(yùn)動(dòng)模型無(wú)法獲得良好三維人體姿態(tài)估計(jì)的問(wèn)題。其步驟為(1)輸入人體運(yùn)動(dòng)視頻圖像，獲得人體側(cè)影及其邊緣、骨架線；(2)檢測(cè)人體關(guān)節(jié)點(diǎn)位置；(3)使用嶺回歸方法訓(xùn)練運(yùn)動(dòng)模型；(4)初始化模型集合M1；(5)運(yùn)行交互式多模型算法，獲得人體運(yùn)動(dòng)姿態(tài)；(6)激活滿足激活條件的運(yùn)動(dòng)模型，終止?jié)M足終止條件的運(yùn)動(dòng)模型。本發(fā)明具有時(shí)間復(fù)雜度低，跟蹤效果好的優(yōu)點(diǎn)，具有較高的費(fèi)效比，可應(yīng)用于體育訓(xùn)練和動(dòng)畫制作等領(lǐng)域。
文檔編號(hào)G06T7/20GK102074034SQ20111000153
公開日2011年5月25日 申請(qǐng)日期2011年1月6日 優(yōu)先權(quán)日2011年1月6日
發(fā)明者吳建設(shè), 尚榮華, 李陽(yáng)陽(yáng), 焦李成, 王爽, 范友健, 陳志超, 韓紅, 馬文萍 申請(qǐng)人:西安電子科技大學(xué)