專利名稱：：基于剪影的二維人體姿態(tài)處理方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種人體姿態(tài)處理方法，特別是基于剪影的二維人體姿態(tài)處理方法。
背景技術(shù)：
：文獻(xiàn)"M.Lee，R.Nevatia，"HumanPoseTrackingUsingMulti-LevelStructuredModels",EuropeanConferenceonComputerVision,2006，volume3，pp.368-381，，提出通過搜索姿態(tài)空間來尋找與前景最佳的匹配姿態(tài)，繼而有效地給出當(dāng)前前景的姿態(tài)估計(jì)。該文獻(xiàn)首先對(duì)前景的人體目標(biāo)進(jìn)行跟蹤，然后估計(jì)出頭部和四肢的參數(shù)，并使用基于網(wǎng)格的置信度推測(cè)出二維的關(guān)節(jié)位置，最后根據(jù)得到的置信圖采用基于馬爾科夫鏈的蒙特卡羅方法搜索姿態(tài)空間獲得人體的三維姿態(tài)。盡管有著良好的實(shí)驗(yàn)結(jié)果，但是這類方法需要搜索30或者更高維數(shù)的姿態(tài)空間，導(dǎo)致極大的計(jì)算復(fù)雜度，文獻(xiàn)所述方法采用C++實(shí)現(xiàn)的算法對(duì)每幀圖像的平均處理時(shí)間達(dá)到了5分鐘，所以無法引入到實(shí)時(shí)系統(tǒng)中。
發(fā)明內(nèi)容為了克服現(xiàn)有技術(shù)處理每幀圖像時(shí)間長(zhǎng)的不足，本發(fā)明提供一種基于剪影的二維人體姿態(tài)處理方法，采用人體骨架模型作為先驗(yàn)信息，并利用此先驗(yàn)信息對(duì)人體數(shù)據(jù)點(diǎn)集進(jìn)行快速準(zhǔn)確的分類，并根據(jù)分類結(jié)果來修正人體骨架模型，進(jìn)而得到人體姿態(tài)的正確估計(jì)。由于本發(fā)明方法取消了對(duì)姿態(tài)空間的搜索，可以大大降低計(jì)算量；采用0++算法進(jìn)行迭代計(jì)算，進(jìn)而確保了計(jì)算結(jié)果的精度，可達(dá)到實(shí)時(shí)性要求。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案一種基于剪影的二維人體姿態(tài)處理方法，其特點(diǎn)是包括下述步驟(a)建立人體骨架模型，將模型的原始參數(shù)輸入計(jì)算機(jī)，所述模型包括十五個(gè)關(guān)節(jié)O和十四個(gè)骨架段114，關(guān)節(jié)點(diǎn)A是基準(zhǔn)點(diǎn)；(b)采用基于混合高斯模型的背景差算法點(diǎn)A<formula>formulaseeoriginaldocumentpage4</formula>對(duì)輸入的原始圖像中坐標(biāo)為(x，y)的點(diǎn)處混合高斯模型為Model=K^Model,,i=1，2，...，num}進(jìn)行剪影圖像提??；式(1)中，I是剪影圖像J是輸入的原始圖像，9為剪影圖像提取閾值，〈w，Model〉表示一個(gè)權(quán)重為w的單高斯模型，皿m表示混合高斯模型所包含的單高斯模型的數(shù)目；采用<formula>formulaseeoriginaldocumentpage4</formula>對(duì)所提取剪影圖像進(jìn)行中值濾波處理；式(2)中，G是濾波后的剪影圖像，med表示取中值，W表示中值濾波模板；采用距離變換D(p)=min(dis(p，q)|G(q)=0}(3)對(duì)濾波后的剪影圖像進(jìn)行處理，以提取出人體軀干，并確定基準(zhǔn)點(diǎn)；式(3)中，p、q表示剪影圖像G上的兩個(gè)像素點(diǎn)，D(p)表示像素p的距離變換值，dis(p，q)表示像素p和像素q之間的距離，min表示取最小值；(c)采用歐式距離作為度量標(biāo)準(zhǔn)，利用步驟(a)建立的人體骨架模型對(duì)經(jīng)過步驟(b)處理后的剪影圖像進(jìn)行數(shù)據(jù)點(diǎn)分類，即，數(shù)據(jù)點(diǎn)Pi隸屬于骨架段Sj的條件是_/=arg爲(wèi)^(衡(aA))(4)式(4)中，Dis表示取數(shù)據(jù)點(diǎn)Pi和骨架段Sj之間的歐氏距離；Pi是第i個(gè)數(shù)據(jù)點(diǎn)，Sj是第j個(gè)骨架段；(d)計(jì)算各個(gè)類的樣本點(diǎn)的均值向量附=丄￡&(5)式(5)中，m是均值向量，xk表示第k個(gè)樣本點(diǎn)，n表示樣本點(diǎn)的個(gè)數(shù)；計(jì)算離散度矩陣S<formula>formulaseeoriginaldocumentpage5</formula>計(jì)算S的最大的特征值、對(duì)應(yīng)的特征向量V^即<formula>formulaseeoriginaldocumentpage5</formula>)式(7)中，eig(S)表示求S的所有特征值；以Vm為方向向量，且過各個(gè)類的中軸；(e)由公式<formula>formulaseeoriginaldocumentpage5</formula>計(jì)算與基準(zhǔn)點(diǎn)關(guān)節(jié)點(diǎn)A相連接的關(guān)節(jié)點(diǎn)B、C、D和E，以關(guān)節(jié)點(diǎn)B、C、D和E為起始點(diǎn)，計(jì)算關(guān)節(jié)點(diǎn)F、G、H、I、J和K，然后計(jì)算關(guān)節(jié)點(diǎn)L、M、N和0，得到修正后的關(guān)節(jié)點(diǎn)和骨架段；式(8)中，(x，y)是所求的骨架段終止關(guān)節(jié)點(diǎn)的坐標(biāo)，(x。，y。)表示骨架段的起始關(guān)節(jié)點(diǎn)的坐標(biāo)，L^為相應(yīng)骨架段的長(zhǎng)度，e表示該骨架段的方向角；反復(fù)執(zhí)行步驟(c)(e)，直到人體骨架模型的參數(shù)穩(wěn)定。所述人體骨架模型是鉸鏈模型。所述中值濾波的模板W取5X5。本發(fā)明的有益效果是由于采用人體骨架模型作為先驗(yàn)信息，并利用此先驗(yàn)信息對(duì)人體數(shù)據(jù)點(diǎn)集進(jìn)行快速準(zhǔn)確的分類，并根據(jù)分類結(jié)果來修正人體骨架模型，進(jìn)而得到人體姿態(tài)的正確估計(jì)。由于本發(fā)明方法取消了對(duì)姿態(tài)空間的搜索，大大降低了計(jì)算量，對(duì)圖像序列的處理速度超過每秒20幀，即采用0++算法對(duì)每幀圉像的平均處理時(shí)間由現(xiàn)有技術(shù)的5分鐘降低到小于20毫秒；采用0++算法進(jìn)行迭代計(jì)算，還確保了計(jì)算結(jié)果的精度，達(dá)到了實(shí)時(shí)性要求。下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作詳細(xì)說明。圖1是本發(fā)明基于剪影的二維人體姿態(tài)處理方法建立的人體骨架模型。圖2是本發(fā)明基于剪影的二維人體姿態(tài)處理方法流程圖。具體實(shí)施例方式以下具體實(shí)施方法參照?qǐng)D12。1.建立人體骨架模型。建立鉸鏈?zhǔn)饺梭w骨架模型。該骨架模型采用十五個(gè)關(guān)節(jié)點(diǎn)和十四個(gè)骨架段構(gòu)成，每個(gè)骨架段的長(zhǎng)度是固定不變的。其中，關(guān)節(jié)點(diǎn)A為整個(gè)模型的基準(zhǔn)點(diǎn)，其基準(zhǔn)點(diǎn)的位置在后面的迭代過程中保持不變。2.剪影提取和基準(zhǔn)點(diǎn)定位。采用基于混合高斯模型的背景差算法對(duì)輸入的原始圖像進(jìn)行剪影圖像提取，得到的剪影圖像圖記為I?！磜，Model〉表示一個(gè)權(quán)重為w的單高斯模型，假設(shè)對(duì)原始圖像中坐標(biāo)為(x，y)的點(diǎn)處混合高斯模型為Model={〈Wi，Model,,i=1，2，...，num}(皿m表示混合高斯模型所包含的單高斯模型的數(shù)目)，那么剪影圖像提取公式如下13/e[1,使得7(;c，力e<w,，Mwfe(>>^(丄)0式(1)中J為當(dāng)前輸入原始圖像，e為剪影圖像提取閾值，可以為固定閾值，本實(shí)施例將e取為自適應(yīng)的，取所有權(quán)重中的次小值。對(duì)獲得的剪影圖進(jìn)行中值濾波處理，以消除噪聲。中值濾波的計(jì)算公式如下G(x，y)=med{I(x_k，y_l)，(k，1GW)}(2)式(2)中，I為輸入的原始剪影圖像，G為濾波后的剪影圖像，med表示取中值，W表示中值濾波模板，本實(shí)施例取5X5的濾波模板。然后采用距離變換(DistanceTransform)對(duì)剪影圖像進(jìn)行處理，獲得距離變換圖。距離變換的計(jì)算公式如下D(p)=min(dis(p，q)|G(q)=0}(3)式(3)中，G表示剪影圖，p，q表示剪影圖G上的兩個(gè)像素點(diǎn)，D(p)表示像素p的距離變換值，dis(p，q)表示像素p和像素q之間的距離，本發(fā)明采用歐氏距離，min表示取最小值。G的所有像素的距離變換值構(gòu)成了距離變換圖D。在距離變換圖D上，通過一個(gè)簡(jiǎn)單的閾值Threshold即可提取出人體軀干部分，本實(shí)施例取Threshold=20，距離變換值大于該閾值的像素作為人體軀干部分。然后對(duì)得到的軀干部分進(jìn)行主成分分析(PCA)，以獲取軀干的主軸。最后根據(jù)主軸和軀干邊緣的交點(diǎn)定位出基準(zhǔn)點(diǎn)。3.人體剪影數(shù)據(jù)點(diǎn)分類。利用已建立的人體骨架模型對(duì)經(jīng)過第2步處理后的人體剪影圖像上的數(shù)據(jù)點(diǎn)進(jìn)行分類，采用歐式距離作為度量標(biāo)準(zhǔn)，確定某一點(diǎn)隸屬于某一骨架段的原則是最小距離。即，數(shù)據(jù)點(diǎn)Pi隸屬于骨架段Sj的條件是6<formula>formulaseeoriginaldocumentpage7</formula>(4)其中Dis表示取數(shù)據(jù)點(diǎn)Pi和骨架段Sj之間的歐氏距離；Pi為第i個(gè)數(shù)據(jù)點(diǎn)，Sj為第j個(gè)骨架段。分類后，擁有數(shù)量不等的人體數(shù)據(jù)點(diǎn)的每一個(gè)骨架段各自構(gòu)成一類，下面將由各個(gè)類各自的數(shù)據(jù)點(diǎn)對(duì)各個(gè)類進(jìn)行中軸提取。4.類中軸提取。采用主成分分析(PCA)來提取各個(gè)類的中軸。PCA計(jì)算過程如下首先計(jì)算各個(gè)類的樣本點(diǎn)的均值向量<formula>formulaseeoriginaldocumentpage7</formula>(5)m為計(jì)算出的均值向量，xk表示第k個(gè)樣本點(diǎn)，n表示樣本點(diǎn)的個(gè)數(shù)。然后計(jì)算離散度矩陣S:<formula>formulaseeoriginaldocumentpage7</formula>(6)最后計(jì)算S的最大的特征值、對(duì)應(yīng)的特征向量Vm，即<formula>formulaseeoriginaldocumentpage7</formula>(7)其中eig(S)表示求S的所有特征值。以Vm為方向向量，且過各個(gè)類的中心的軸即定義為中軸。這些中軸蘊(yùn)含著骨架段的信息，但是不能認(rèn)為這些中軸就是骨架短，因?yàn)檫@些中軸之間是分離的，并不能構(gòu)成人體骨架的鉸鏈模型。5.人體骨架模型參數(shù)處理。人體骨架模型參數(shù)處理是根據(jù)已有的分類來處理和修正骨架模型的各個(gè)骨架段。本實(shí)施例采用一定的順序?qū)Ω鱾€(gè)骨架段進(jìn)行修正。由于基準(zhǔn)點(diǎn)A位置已經(jīng)確定，因此首先被計(jì)算的骨架段是與基準(zhǔn)點(diǎn)A相連接的骨架段，即首先計(jì)算關(guān)節(jié)點(diǎn)B、C、D和E的位置，然后再以這些點(diǎn)為起始點(diǎn)，計(jì)算關(guān)節(jié)點(diǎn)F、G、H、I、J和K，最后計(jì)算關(guān)節(jié)點(diǎn)L、M、N和0。人體骨架模型參數(shù)處理的具體過程如下首先計(jì)算兩個(gè)相鄰類的中軸之間的最短距離，然后選取最短距離線段的中點(diǎn)，以該中點(diǎn)和起始點(diǎn)相連接，構(gòu)成一個(gè)候補(bǔ)連接，最后對(duì)該候補(bǔ)連接添加距離限制(即人體骨架模型的每一個(gè)骨架段的長(zhǎng)度是固定不變的)，得到修正后的關(guān)節(jié)點(diǎn)和骨架段。距離限制的計(jì)算公式如下<formula>formulaseeoriginaldocumentpage7</formula>(8)其中(x。，y。)表示骨架段的起始關(guān)節(jié)點(diǎn)的坐標(biāo)，(x，y)即為所求的骨架段終止關(guān)節(jié)點(diǎn)的坐標(biāo)，L^為相應(yīng)骨架段的長(zhǎng)度，e表示該骨架段的方向角。迭代過程采用期望最大化(EM)思想，反復(fù)執(zhí)行第3、4、5步，直到人體骨架模型的由于本發(fā)明方法采用EM思想進(jìn)行迭代，經(jīng)檢驗(yàn)收斂所需的迭代次數(shù)很少，一般僅需要23步迭代即可收斂，每一步迭代的計(jì)算量較小，因此整個(gè)算法的計(jì)算量較小。經(jīng)實(shí)際檢測(cè)，本發(fā)明方法對(duì)圖像序列的處理速度超過每秒20幀，即采用0++算法對(duì)每幀圖像的平均處理時(shí)間小于20毫秒。權(quán)利要求一種基于剪影的二維人體姿態(tài)處理方法，其特征在于包括下述步驟(a)建立人體骨架模型，將模型的原始參數(shù)輸入計(jì)算機(jī)，所述模型包括十五個(gè)關(guān)節(jié)點(diǎn)A～O和十四個(gè)骨架段1～14，關(guān)節(jié)點(diǎn)A是基準(zhǔn)點(diǎn)；(b)采用基于混合高斯模型的背景差算法對(duì)輸入的原始圖像中坐標(biāo)為(x，y)的點(diǎn)處混合高斯模型為Model＝{<wi，Modeli>，i＝1，2，...，num}進(jìn)行剪影圖像提?。皇?1)中，I是剪影圖像，I是輸入的原始圖像，θ為剪影圖像提取閾值，<w，Model>表示一個(gè)權(quán)重為w的單高斯模型，num表示混合高斯模型所包含的單高斯模型的數(shù)目；采用G(x，y)＝med{I(x-k，y-l)，(k，l∈W)}(2)對(duì)所提取剪影圖像進(jìn)行中值濾波處理；式(2)中，G是濾波后的剪影圖像，med表示取中值，W表示中值濾波模板；采用距離變換D(p)＝min{dis(p，q)|G(q)＝0}(3)對(duì)濾波后的剪影圖像進(jìn)行處理，以提取出人體軀干，并確定基準(zhǔn)點(diǎn)；式(3)中，p、q表示剪影圖像G上的兩個(gè)像素點(diǎn)，D(p)表示像素p的距離變換值，dis(p，q)表示像素p和像素q之間的距離，min表示取最小值；(c)采用歐式距離作為度量標(biāo)準(zhǔn)，利用步驟(a)建立的人體骨架模型對(duì)經(jīng)過步驟(b)處理后的剪影圖像進(jìn)行數(shù)據(jù)點(diǎn)分類，即，數(shù)據(jù)點(diǎn)pi隸屬于骨架段Sj的條件是<mrow><mi>j</mi><mo>=</mo><mi>arg</mi><munder><mi>min</mi><mrow><mi>j</mi><mo>∈</mo><mo>[</mo><mn>1,14</mn><mo>]</mo></mrow></munder><mrow><mo>(</mo><mi>Dis</mi><mrow><mo>(</mo><msub><mi>p</mi><mi>i</mi></msub><mo>,</mo><msub><mi>S</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>式(4)中，Dis表示取數(shù)據(jù)點(diǎn)pi和骨架段Sj之間的歐氏距離；pi是第i個(gè)數(shù)據(jù)點(diǎn)，Sj是第j個(gè)骨架段；(d)計(jì)算各個(gè)類的樣本點(diǎn)的均值向量<mrow><mi>m</mi><mo>=</mo><mfrac><mn>1</mn><mi>n</mi></mfrac><mmultiscripts><mrow><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow></mmultiscripts></mrow>式(5)中，m是均值向量，xk表示第k個(gè)樣本點(diǎn)，n表示樣本點(diǎn)的個(gè)數(shù)；計(jì)算離散度矩陣S<mrow><mi>S</mi><mo>=</mo><munderover><mi>Σ</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>n</mi></munderover><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo></mrow><msup><mrow><mo>(</mo><msub><mi>x</mi><mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>計(jì)算S的最大的特征值λm對(duì)應(yīng)的特征向量Vm，即<mrow><msub><mi>V</mi><mi>m</mi></msub><mo>=</mo><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo><mfencedopen='{'close='}'><mtable><mtr><mtd><msub><mi>λ</mi><mi>m</mi></msub><mo>=</mo><mi>max</mi><mo>{</mo><mi>eig</mi><mrow><mo>(</mo><mi>S</mi><mo>)</mo></mrow><mo>}</mo><mo>,</mo></mtd></mtr><mtr><mtd><msub><mi>SV</mi><mi>m</mi></msub><mo>=</mo><msub><mi>λ</mi><mi>m</mi></msub><msub><mi>V</mi><mi>m</mi></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>式(7)中，eig(S)表示求S的所有特征值；以Vm為方向向量，且過各個(gè)類的中軸；(e)由公式<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><mi>x</mi><mo>=</mo><msub><mi>x</mi><mn>0</mn></msub><mo>+</mo><msub><mi>L</mi><mi>seg</mi></msub><mi>cos</mi><mrow><mo>(</mo><mi>θ</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>y</mi><mo>=</mo><msub><mi>y</mi><mn>0</mn></msub><mo>+</mo><msub><mi>L</mi><mi>seg</mi></msub><mi>sin</mi><mrow><mo>(</mo><mi>θ</mi><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow></mrow>計(jì)算與基準(zhǔn)點(diǎn)關(guān)節(jié)點(diǎn)A相連接的關(guān)節(jié)點(diǎn)B、C、D和E，以關(guān)節(jié)點(diǎn)B、C、D和E為起始點(diǎn)，計(jì)算關(guān)節(jié)點(diǎn)F、G、H、I、J和K，然后計(jì)算關(guān)節(jié)點(diǎn)L、M、N和O，得到修正后的關(guān)節(jié)點(diǎn)和骨架段；式(8)中，(x，y)是所求的骨架段終止關(guān)節(jié)點(diǎn)的坐標(biāo)，(x0，y0)表示骨架段的起始關(guān)節(jié)點(diǎn)的坐標(biāo)，Lseg為相應(yīng)骨架段的長(zhǎng)度，θ表示該骨架段的方向角；反復(fù)執(zhí)行步驟(c)～(e)，直到人體骨架模型的參數(shù)穩(wěn)定。F200910219138XC0000011.tif2.根據(jù)權(quán)利要求1所述的基于剪影的二維人體姿態(tài)處理方法，其特征在于所述人體骨架模型是鉸鏈模型。3.根據(jù)權(quán)利要求1所述的基于剪影的二維人體姿態(tài)處理方法，其特征在于所述中值濾波的模板W取5X5。全文摘要本發(fā)明公開了一種基于剪影的二維人體姿態(tài)處理方法，用于解決現(xiàn)有技術(shù)處理每幀圖像時(shí)間長(zhǎng)的技術(shù)問題。本發(fā)明采用人體骨架模型作為先驗(yàn)信息，并利用此先驗(yàn)信息對(duì)人體數(shù)據(jù)點(diǎn)集進(jìn)行快速準(zhǔn)確的分類，并根據(jù)分類結(jié)果來修正人體骨架模型，進(jìn)而得到人體姿態(tài)的正確估計(jì)。由于本發(fā)明方法取消了對(duì)姿態(tài)空間的搜索，大大降低了計(jì)算量，對(duì)圖像序列的處理速度超過每秒20幀，即采用C++算法對(duì)每幀圖像的平均處理時(shí)間由現(xiàn)有技術(shù)的5分鐘降低到小于20毫秒；采用C++算法進(jìn)行迭代計(jì)算，還確保了計(jì)算結(jié)果的精度，達(dá)到了實(shí)時(shí)性要求。文檔編號(hào)G06T7/00GK101710421SQ200910219138公開日2010年5月19日申請(qǐng)日期2009年11月26日優(yōu)先權(quán)日2009年11月26日發(fā)明者張艷寧,李猛,楊濤,林增剛,蔣冬梅申請(qǐng)人:西北工業(yè)大學(xué)