一種基于全局期望最大算法的手勢(shì)分割方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于人機(jī)交互圖像信息處理技術(shù)領(lǐng)域，更具體地，涉及一種基于全局期望 最大算法的手勢(shì)分割方法及系統(tǒng)。
【背景技術(shù)】
[0002] 基于圖像信息的生物特征識(shí)別是近年來(lái)計(jì)算機(jī)視覺(jué)研究中的一個(gè)熱點(diǎn)，其中，針 對(duì)人類(lèi)生物特征的識(shí)別不可避免地成為了主要研究?jī)?nèi)容，進(jìn)一步地，手勢(shì)識(shí)別研究是人類(lèi) 生物特征識(shí)別的重要研究?jī)?nèi)容，它主要從圖像數(shù)據(jù)中分割、跟蹤和識(shí)別出不同的手勢(shì)，并對(duì) 其加以描述和理解。手勢(shì)識(shí)別技術(shù)源于數(shù)字圖像處理與機(jī)器學(xué)習(xí)算法的研究，而手勢(shì)分割 是手勢(shì)識(shí)別研究流水線(xiàn)的基礎(chǔ)和先導(dǎo)，對(duì)最終的手勢(shì)識(shí)別結(jié)果有決定性影響。
[0003] 手勢(shì)分割是指把屬于手勢(shì)的像素點(diǎn)與不屬于手勢(shì)的像素點(diǎn)區(qū)分開(kāi)來(lái)，手勢(shì)分割的 重要性在于把屬于手勢(shì)的像素點(diǎn)傳遞給手勢(shì)跟蹤和識(shí)別階段，保證后續(xù)研究的收斂性。為 了實(shí)現(xiàn)手勢(shì)分割，首先需要選擇一個(gè)合適的顏色空間對(duì)顏色進(jìn)行建模，目前常用的顏色空 間包括RGB、歸一化RGB、HSV、YCrCb、YUV等。由于要盡可能地避免環(huán)境光照和陰影的不利 影響，使手勢(shì)分割具備一定的魯棒性，在顏色空間的選擇上一般遵循一個(gè)通用的原則，即能 把色度和亮度較好地分離開(kāi)來(lái)的顏色空間更有利于基于膚色的分割研究。
[0004] 顏色空間確定之后，還需要進(jìn)一步確定膚色在該顏色空間中的分布情況，即在顏 色空間中對(duì)膚色進(jìn)行建模。一般使用高斯概率密度函數(shù)估計(jì)像素點(diǎn)為膚色點(diǎn)的概率，以海 量圖像集合為訓(xùn)練數(shù)據(jù)，且每個(gè)圖像中標(biāo)注出了膚色像素點(diǎn)和非膚色像素點(diǎn)。具體的模型 訓(xùn)練過(guò)程為在某個(gè)特定的顏色空間中標(biāo)注出每個(gè)膚色像素點(diǎn)所在的位置，如果膚色像素點(diǎn) 足夠多的話(huà)，就可以最終得到一個(gè)近似高斯分布的膚色直方圖，從而進(jìn)一步得到高斯分布 的均值和方差等參數(shù)，從而成功建立膚色的高斯模型。對(duì)于膚色的高斯模型而言，對(duì)其輸入 任意像素點(diǎn)，輸出為該像素點(diǎn)膚色點(diǎn)的可能性。對(duì)高斯模型中的各個(gè)參數(shù)的求解，多采用期 望最大（ExpectationMaximization,EM)算法。EM算法是求參數(shù)極大似然估計(jì)的一種迭代 優(yōu)化策略，它能從非完整數(shù)據(jù)集中對(duì)參數(shù)進(jìn)行極大似然估計(jì)，是一種簡(jiǎn)單實(shí)用的學(xué)習(xí)算法。
[0005] 但是在傳統(tǒng)的計(jì)算機(jī)視覺(jué)領(lǐng)域手勢(shì)分割問(wèn)題中，仍凸顯出很多問(wèn)題，如分割易受 干擾、EM算法難以獲得全局最優(yōu)解等，由于實(shí)際環(huán)境背景的復(fù)雜性，再考慮到背景可能發(fā)生 光照、陰影等變化，除了背景外還存在類(lèi)膚色物體的干擾，比如當(dāng)人臉和手勢(shì)同時(shí)出現(xiàn)在圖 像中時(shí)，通過(guò)膚色很難將二者區(qū)分開(kāi)來(lái)，因而很可能出現(xiàn)誤判。

【發(fā)明內(nèi)容】

[0006] 針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于全局期望最大算法 的手勢(shì)分割方法及系統(tǒng)，以建立全局最優(yōu)EM算法為切入點(diǎn)，以融合深度數(shù)據(jù)為手段，采用 全局極大值搜索等方法，建立3D-S空間模型，進(jìn)而生成可比較的數(shù)學(xué)描述，實(shí)現(xiàn)兩種模型 融合的基礎(chǔ)，為不同模態(tài)數(shù)據(jù)之間的融合提供一種新的依據(jù)。
[0007] 為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種基于全局期望最大算法的 手勢(shì)分割方法，其特征在于，包括如下步驟：
[0008] (1)在YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模型；
[0009] (2)將待分割圖像的所有像素點(diǎn)的像素值代入膚色的高斯模型，得到待分割圖像 的所有像素點(diǎn)的膚色相似度，其中，膚色相似度是指像素點(diǎn)為膚色點(diǎn)的概率；
[0010] (3)根據(jù)待分割圖像的深度信息及其中所有像素點(diǎn)的膚色相似度，得到由三維空 間中各點(diǎn)及其膚色相似度組成的四維空間模型；
[0011] 所述四維空間模型以四維空間超曲面表示如下：
[0013] 其中，hh，x2,x3)表示三維空間中坐標(biāo)為（χ^x2,x3)的點(diǎn)的膚色相似度，叉2和 x3分別為三維空間中的點(diǎn)在三個(gè)維度上的坐標(biāo)，a。、a2、a3、a4、ajPa6均為已知系數(shù)；
[0014] ⑷將四維空間模型劃分為多個(gè)子空間，在每個(gè)子空間中，構(gòu)建評(píng)價(jià)超曲面擬合效 果的損失函數(shù)，利用梯度下降法使損失函數(shù)最小，得到子空間的四維空間超曲面，最后按照 梯度上升的方向得到各子空間的四維空間超曲面的極大值；
[0015] (5)將步驟⑷得到的各子空間的四維空間超曲面的極大值作為初值，分別進(jìn)行 EM算法迭代，將期望最大的子空間的四維空間超曲面的初始極大值作為手勢(shì)分割結(jié)果。
[0016] 優(yōu)選地，所述步驟（4)中，損失函數(shù)為： 降法，根據(jù)如下遞推公式調(diào)整A的值：A=A-λ▽AJ(A)，使J㈧取得最小值J㈧_，利用J(A)min對(duì)應(yīng)的A值確定子空間的四維空間超曲面，其中，A= (a。aia2a3a4a5a6)T，s(1)表 示子空間中第i個(gè)點(diǎn)的實(shí)際膚色相似度，表示X。由超曲面擬合計(jì)算得到的膚色 相似度，m為子空間中點(diǎn)的個(gè)數(shù)，VA表示A的梯度，λ為步長(zhǎng)。
[0017] 優(yōu)選地，所述步驟（1)中，膚色的高斯模型如下：
[0018] pc(x) =aCrg(x,μ&, 5Cr) +acbg(x,μcb,δcb),
[0019] 其中，ρ?表示像素點(diǎn)為膚色點(diǎn)的概率，a&表示Cr分量在顏色空間中所占的比 重，acb表示Cb分量在顏色空間中所占的比重，X為Cr、Cb二維空間中的坐標(biāo)點(diǎn)，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)為X點(diǎn)在Cr分量中的膚色 相似度高斯模型，g(x，yeb，Seb)為X點(diǎn)在Cb分量中的膚色相似度高斯模型。
[0020] 按照本發(fā)明的另一方面，提供了一種基于全局期望最大算法的手勢(shì)分割系統(tǒng)，其 特征在于，包括：
[0021] 第一模塊，用于在YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模 型；
[0022] 第二模塊，用于將待分割圖像的所有像素點(diǎn)的像素值代入膚色的高斯模型，得到 待分割圖像的所有像素點(diǎn)的膚色相似度，其中，膚色相似度是指像素點(diǎn)為膚色點(diǎn)的概率；
[0023] 第三模塊，用于根據(jù)待分割圖像的深度信息及其中所有像素點(diǎn)的膚色相似度，得 至岫三維空間中各點(diǎn)及其膚色相似度組成的四維空間模型；
[0024]所述四維空間模型以四維空間超曲面表示如下：
[0026] 其中，h(Xdx2,x3)表示三維空間中坐標(biāo)為（Xdx2,x3)的點(diǎn)的膚色相似度，X。義2和 x3分別為三維空間中的點(diǎn)在三個(gè)維度上的坐標(biāo)，a。、a2、a3、a4、ajPa6均為已知系數(shù)；
[0027] 第四模塊，用于將四維空間模型劃分為多個(gè)子空間，在每個(gè)子空間中，構(gòu)建評(píng)價(jià)超 曲面擬合效果的損失函數(shù)，利用梯度下降法使損失函數(shù)最小，得到子空間的四維空間超曲 面，最后按照梯度上升的方向得到各子空間的四維空間超曲面的極大值；
[0028] 第五模塊，用于將第四模塊得到的各子空間的四維空間超曲面的極大值作為初 值，分別進(jìn)行EM算法迭代，將期望最大的子空間的四維空間超曲面的初始極大值作為手勢(shì) 分割結(jié)果。
[0029] 總體而言，通過(guò)本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下有益效 果：
[0030] (1)針對(duì)手勢(shì)圖像易受光照和類(lèi)膚色物體影響導(dǎo)致分割不盡如人意的問(wèn)題，在圖 像數(shù)據(jù)的基礎(chǔ)上融合深度數(shù)據(jù)，建立3D-S空間模型，較傳統(tǒng)的基于膚色模型的手勢(shì)分割算 法增強(qiáng)了判斷的依據(jù)。
[0031] (2)引入全局極大搜索算法，避免了在EM迭代過(guò)程中進(jìn)行全局搜索，極大地降低 了計(jì)算量。
[0032] (3)EM算法在迭代之前的初值并非是隨機(jī)選擇的，而是經(jīng)過(guò)了全局極大搜索后的 結(jié)果，既能有效降低EM算法的迭代次數(shù)，又能彌補(bǔ)EM算法無(wú)法確定全局最優(yōu)的缺點(diǎn)，實(shí)現(xiàn) EM算法結(jié)果的全局最優(yōu)。
【附圖說(shuō)明】
[0033]圖1是本發(fā)明實(shí)施例的基于全局期望最大算法的手勢(shì)分割方法流程圖。
【具體實(shí)施方式】
[0034] 為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要 彼此之間未構(gòu)成沖突就可以相互組合。
[0035] 如圖1所示，本發(fā)明實(shí)施例的基于全局期望最大算法的手勢(shì)分割方法包括如下步 驟：
[0036] (1)利用中國(guó)科學(xué)院計(jì)算技術(shù)研究所多媒體計(jì)算課題組的MCG-Skin數(shù)據(jù)集，在 YCrCb顏色空間中基于Cr分量和Cb分量，建立膚色的高斯模型如下：
[0037] pc (x) =aCrg(χ,μCr,δCr) +αcbg(χ,μcb,δcb),
[0038] 其中，ρ?表示像素點(diǎn)為膚色點(diǎn)的概率，α&表示Cr分量在顏色空間中所占的比 重，acb表示Cb分量在顏色空間中所占的比重，χ為Cr、Cb二維空間中的坐標(biāo)點(diǎn)，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)為χ點(diǎn)在Cr分量中的膚色 相似度