本發(fā)明涉及圖像處理與分析技術(shù)領(lǐng)域，更具體地說，涉及一種基于視頻的捏合指尖跟蹤方法。

背景技術(shù)：

近年來，隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的快速發(fā)展，人機(jī)交互技術(shù)得到極大的發(fā)展，吸引越來越多的研究人員關(guān)注。當(dāng)前，作為人機(jī)交互的核心技術(shù)之一，手指檢測(cè)與跟蹤被廣泛應(yīng)用于各個(gè)領(lǐng)域，諸如手勢(shì)識(shí)別、空中書寫等。其中，基于視頻的空中書寫已經(jīng)被廣泛應(yīng)用于空中書寫系統(tǒng)的字符識(shí)別、軌跡認(rèn)證等領(lǐng)域。

在傳統(tǒng)的空中書寫系統(tǒng)中，主要采用提取攝像頭前單個(gè)指尖運(yùn)動(dòng)軌跡的方式模擬人手書寫的情況。然而，這種空中書寫方式并不能真正模擬人手書寫的實(shí)際情況——因?yàn)槿耸帜霉P書寫時(shí)，采用的一般都是三個(gè)手指捏合筆的方式，而不是只有單個(gè)手指。因此，采用單個(gè)手指模擬人手書寫的方式，不僅無法正確反映人手書寫時(shí)的習(xí)慣，而且極大地限制了人手書寫的靈活性，導(dǎo)致空中書寫軌跡與實(shí)際筆跡存在較大差異。

與單個(gè)手指空中書寫相比，捏合指尖空中書寫顯然更貼切地模擬了人手拿筆書寫時(shí)的實(shí)際姿態(tài)，更真實(shí)地反映實(shí)際手寫情況。但是目前捏合指尖的跟蹤識(shí)別方法仍處于空白，且捏合指尖形態(tài)較為復(fù)雜，跟蹤難度較大；因此需要設(shè)計(jì)出一種捏合指尖跟蹤方法，使捏合指尖書寫方式能應(yīng)用到空中書寫系統(tǒng)中。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的缺點(diǎn)與不足，提供一種基于視頻的捏合指尖跟蹤方法，該捏合指尖跟蹤方法可提取有效的膚色和紋理特征實(shí)現(xiàn)捏合指尖的有效跟蹤識(shí)別。

為了達(dá)到上述目的，本發(fā)明通過下述技術(shù)方案予以實(shí)現(xiàn)：一種基于視頻的捏合指尖跟蹤方法，用于對(duì)空中書寫中的捏合手指進(jìn)行持續(xù)跟蹤；其特征在于：包括以下五個(gè)步驟：

第一步，捕獲視頻幀圖，將視頻幀圖從RGB圖像轉(zhuǎn)化為YCbCr圖像，通過YCbCr膚色檢測(cè)器分割出膚色區(qū)域，采用拳頭檢測(cè)器對(duì)膚色區(qū)域進(jìn)行分割得出拳頭區(qū)域，在拳頭區(qū)域中采用捏合指尖級(jí)聯(lián)分類器定位捏合指尖區(qū)域，確定捏合指尖初始位置；

第二步，捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，確定膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離；

第三步，構(gòu)建捏合指尖膚色映射表；將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元，分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，結(jié)合各個(gè)區(qū)域單元的灰度值得到CbCr-Gray顏色特征；計(jì)算上一幀視頻幀圖捏合指尖區(qū)域的HOG特征，從而得到捏合指尖區(qū)域的CbCr-Gray-HOG特征；

第四步，采用基于高斯核函數(shù)的濾波跟蹤方法，結(jié)合所述捏合指尖區(qū)域的CbCr-Gray-HOG特征，確定當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)；

第五步，判斷捏合指尖跟蹤結(jié)束條件是否成立：若成立，則跟蹤結(jié)束；否則跳至第二步。

在第一步中，所述捕獲視頻幀圖，將視頻幀圖從RGB圖像轉(zhuǎn)化為YCbCr圖像，通過YCbCr膚色檢測(cè)器分割出膚色區(qū)域，采用拳頭檢測(cè)器對(duì)膚色區(qū)域進(jìn)行分割得出拳頭區(qū)域，在拳頭區(qū)域中采用捏合指尖級(jí)聯(lián)分類器定位捏合指尖區(qū)域，確定捏合指尖初始位置是指：包括以下步驟：

(1.1)捕獲若干幀連續(xù)的視頻幀圖；

(1.2)將各幀視頻幀圖像分別從RGB圖像轉(zhuǎn)化為YCbCr圖像；

(1.3)根據(jù)人體膚色聚類特性，構(gòu)造YCbCr膚色濾波器；采用YCbCr膚色濾波器確定各個(gè)YCbCr圖像中的膚色區(qū)域，將非膚色區(qū)域剔除從而消除光照和非膚色區(qū)域的干擾；

(1.4)離線訓(xùn)練基于Haar-like特征的拳頭分類器，并用拳頭分類器定位各個(gè)膚色區(qū)域中的拳頭區(qū)域；

(1.5)離線訓(xùn)練基于HOG特征的捏合指尖級(jí)聯(lián)分類器，并用捏合指尖級(jí)聯(lián)分類器定位各個(gè)拳頭區(qū)域中的捏合指尖區(qū)域；

(1.6)設(shè)定閾值T1和T2；判斷各個(gè)捏合指尖區(qū)域中心點(diǎn)的橫坐標(biāo)變化最大值和縱坐標(biāo)變化最大值：如果橫坐標(biāo)變化最大值≤T1，且縱坐標(biāo)變化最大值≤T2，則設(shè)定所述若干幀連續(xù)的視頻幀圖中最后一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)為捏合指尖初始位置，并跳至第二步；否則捕獲后續(xù)若干幀連續(xù)的視頻幀圖，并跳至步驟(1.2)。

優(yōu)選地，在步驟(1.3)中，所述根據(jù)人體膚色聚類特性，構(gòu)造YCbCr膚色濾波器是指，將YCbCr圖像進(jìn)行Y通道、Cb通道和Cr通道分離，選定Cb通道數(shù)值在色帶范圍[77,127]內(nèi)且Cr通道數(shù)值在色帶范圍[133,173]內(nèi)的區(qū)域作為膚色區(qū)域。

在步驟(1.6)中，所述閾值T1設(shè)定為捏合指尖區(qū)域?qū)挾鹊氖种?；所述閾值T2設(shè)定為捏合指尖區(qū)域高度的十分之一。

在第二步中，所述捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，確定膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離是指：包括以下步驟：

(2.1)捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；

(2.2)采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；

(2.3)采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖中各個(gè)對(duì)應(yīng)輪廓點(diǎn)分別計(jì)算出運(yùn)動(dòng)距離，將運(yùn)動(dòng)距離的均值或中間值定義為膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離。

在第三步中，所述構(gòu)建捏合指尖膚色映射表；將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元，分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，結(jié)合各個(gè)區(qū)域單元的灰度值得到CbCr-Gray顏色特征；計(jì)算上一幀視頻幀圖捏合指尖區(qū)域的HOG特征，從而得到捏合指尖區(qū)域的CbCr-Gray-HOG特征是指：包括以下步驟：

(3.1)基于人體膚色的聚類特性，選擇十六種不同色帶的膚色構(gòu)成捏合指尖膚色映射表；

(3.2)將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元并映射到膚色映射表中，以分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，分別計(jì)算各個(gè)區(qū)域單元的灰度值，得到十六維捏合指尖區(qū)域的CbCr-Gray顏色特征；

(3.3)計(jì)算上一幀視頻幀圖捏合指尖區(qū)域在九個(gè)梯度方向上的HOG特征，每個(gè)方向分別包括三維，共得到二十七維HOG特征，結(jié)合五維基礎(chǔ)HOG特征，并剔除梯度值為全零的一維冗余HOG特征，構(gòu)成三十一維捏合指尖區(qū)域的HOG特征；

(3.4)十六維捏合指尖區(qū)域的CbCr-Gray顏色特征與三十一維捏合指尖區(qū)域的HOG特征結(jié)合得到四十七維捏合指尖區(qū)域的CbCr-Gray-HOG特征。

在第四步中，所述采用基于高斯核函數(shù)的濾波跟蹤方法，結(jié)合所述捏合指尖區(qū)域的CbCr-Gray-HOG特征，確定當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)是指：包括以下步驟：

(4.1)將上一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)偏移所述膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離后得到的點(diǎn)作為中心在當(dāng)前處理視頻幀圖上劃定采樣區(qū)域；在采樣區(qū)域中，以上一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)為中心建立大小為M×N的捏合指尖搜索區(qū)域；用循環(huán)矩陣對(duì)捏合指尖搜索區(qū)域進(jìn)行循環(huán)采樣得到若干捏合指尖候選樣本p_m,n，其中m、n分別是指捏合指尖候選樣本p_m,n的橫、縱坐標(biāo)值，m∈{0,...,M-1}，n∈{0,...,N-1}；

(4.2)用高斯函數(shù)分別標(biāo)記各個(gè)捏合指尖候選樣本p_m,n；并采用公式(1)(2)、(3)和(4)計(jì)算各個(gè)捏合指尖候選樣本p_m,n的優(yōu)化損失函數(shù)：

w＝∑_m,nα(m,n)φ(p_m,n) (2)

其中，φ是希爾伯特空間映射函數(shù)，λ是正則化參數(shù)，w是閉合形式的解，α是系數(shù)，F(xiàn)和F^-1分別為離散傅里葉變換和離散傅里葉逆變換，y是回歸函數(shù)標(biāo)記圖像塊矩陣，*是共軛復(fù)數(shù)，p是用捏合指尖區(qū)域的CbCr-Gray-HOG特征表示的圖像塊矩陣，p'是特征圖像塊矩陣p的轉(zhuǎn)置，p_c是特征圖像塊矩陣p中第c維的特征圖像塊，σ²是高斯函數(shù)中的方差，是傅里葉域的元素間相乘；

尋找公式(1)計(jì)算所得的最小值以獲取損失最小值，得到損失最小值對(duì)應(yīng)的系數(shù)α，將該系數(shù)α代入到公式(5)中：

其中，z是捏合指尖搜索區(qū)域圖像塊，為核相關(guān)卷積后的響應(yīng)值；

將各個(gè)捏合指尖候選樣本p_m,n分別代入到公式(5)中計(jì)算得到各個(gè)捏合指尖候選樣本p_m,n對(duì)應(yīng)的將最小值對(duì)應(yīng)的捏合指尖候選樣本p_m,n作為當(dāng)前處理視頻幀圖的捏合指尖區(qū)域，捏合指尖候選樣本p_m,n對(duì)應(yīng)的點(diǎn)(m,n)為當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)。

在第五步中，所述判斷捏合指尖跟蹤結(jié)束條件是否成立是指，設(shè)定閾值T3和T4，判斷在若干幀連續(xù)的視頻幀圖中，相鄰兩幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)的橫坐標(biāo)變化值和縱坐標(biāo)變化值是否分別小于T3和T4：若是，則捏合指尖跟蹤結(jié)束條件成立，否則不成立。

所述閾值T3設(shè)定為捏合指尖區(qū)域?qū)挾鹊氖种唬凰鲩撝礣4設(shè)定為捏合指尖區(qū)域高度的十分之一。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)與有益效果：

1、本發(fā)明捏合指尖跟蹤方法應(yīng)用于空中書寫系統(tǒng)中，可準(zhǔn)確識(shí)別捏合指尖運(yùn)動(dòng)軌跡，從而使捏合指尖空中書寫系統(tǒng)得以實(shí)現(xiàn)；不同于單個(gè)指尖的空中書寫方式，捏合指尖空中書寫較為貼切地模擬了人手拿筆書寫時(shí)的實(shí)際姿態(tài)，保留了手寫軌跡的靈活性，使得基于視頻的空中書寫系統(tǒng)真實(shí)地反映實(shí)際的手寫情況；

2、本發(fā)明捏合指尖跟蹤方法，在初始化階段采用YCbCr膚色檢測(cè)器、基于Haar-like特征的拳頭檢測(cè)器和基于HOG特征的捏合指尖級(jí)聯(lián)分類器構(gòu)成一個(gè)多成分相關(guān)檢測(cè)器，從復(fù)雜的場(chǎng)景中準(zhǔn)確定位捏合指尖的位置；然后，通過YCbCr膚色檢測(cè)器提取膚色目標(biāo)搜索區(qū)域，用Canny邊緣檢測(cè)器獲取輪廓并采樣輪廓點(diǎn)，再用LK光流法進(jìn)行輪廓點(diǎn)的前后幀匹配，從而確定膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離；之后，構(gòu)建捏合指尖膚色映射表，將捏合指尖區(qū)域映射到捏合指尖膚色映射表中，結(jié)合灰度值得到CbCr-Gray顏色特征，并計(jì)算捏合指尖區(qū)域的HOG特征，從而得到捏合指尖區(qū)域的CbCr-Gray-HOG特征；最后，基于捏合指尖區(qū)域的CbCr-Gray-HOG特征，采用基于高斯核函數(shù)的濾波跟蹤方法定位確定當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)，可通過提取有效的膚色和紋理特征并實(shí)現(xiàn)有效的跟蹤。

附圖說明

圖1是本發(fā)明捏合指尖跟蹤方法對(duì)實(shí)際手寫情況的模擬示意圖；

圖2是本發(fā)明捏合指尖跟蹤方法及其在空中簽名身份認(rèn)證系統(tǒng)中應(yīng)用的流程框圖；

圖3是本發(fā)明捏合指尖跟蹤方法中第一步初始化階段檢測(cè)捏合指尖初始位置的方法流程圖；

圖4是本發(fā)明捏合指尖跟蹤方法中第三步構(gòu)建膚色映射表并提取多維特征的過程示意圖。

具體實(shí)施方式

下面結(jié)合附圖與具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。

實(shí)施例

如圖1至圖4所示，本發(fā)明一種基于視頻的捏合指尖跟蹤方法，用于對(duì)空中書寫中的捏合手指進(jìn)行持續(xù)跟蹤；包括以下五個(gè)步驟：

第一步，捕獲視頻幀圖，將視頻幀圖從RGB圖像轉(zhuǎn)化為YCbCr圖像，通過YCbCr膚色檢測(cè)器分割出膚色區(qū)域，采用拳頭檢測(cè)器對(duì)膚色區(qū)域進(jìn)行分割得出拳頭區(qū)域，在拳頭區(qū)域中采用捏合指尖級(jí)聯(lián)分類器定位捏合指尖區(qū)域，確定捏合指尖初始位置；

第二步，捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，確定膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離；

第三步，構(gòu)建捏合指尖膚色映射表；將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元，分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，結(jié)合各個(gè)區(qū)域單元的灰度值得到CbCr-Gray顏色特征；計(jì)算上一幀視頻幀圖捏合指尖區(qū)域的HOG特征，從而得到捏合指尖區(qū)域的CbCr-Gray-HOG特征；

第四步，采用基于高斯核函數(shù)的濾波跟蹤方法，結(jié)合所述捏合指尖區(qū)域的CbCr-Gray-HOG特征，確定當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)；

第五步，判斷捏合指尖跟蹤結(jié)束條件是否成立：若成立，則跟蹤結(jié)束；否則跳至第二步。

在第一步中，所述捕獲視頻幀圖，將視頻幀圖從RGB圖像轉(zhuǎn)化為YCbCr圖像，通過YCbCr膚色檢測(cè)器分割出膚色區(qū)域，采用拳頭檢測(cè)器對(duì)膚色區(qū)域進(jìn)行分割得出拳頭區(qū)域，在拳頭區(qū)域中采用捏合指尖級(jí)聯(lián)分類器定位捏合指尖區(qū)域，確定捏合指尖初始位置是指：包括以下步驟：

(1.1)捕獲若干幀連續(xù)的視頻幀圖；幀數(shù)由設(shè)計(jì)者設(shè)定；

(1.2)將各幀視頻幀圖像分別從RGB圖像轉(zhuǎn)化為YCbCr圖像；

(1.3)根據(jù)人體膚色聚類特性，構(gòu)造YCbCr膚色濾波器；采用YCbCr膚色濾波器確定各個(gè)YCbCr圖像中的膚色區(qū)域，將非膚色區(qū)域剔除從而消除光照和非膚色區(qū)域的干擾；

(1.4)離線訓(xùn)練基于Haar-like特征的拳頭分類器，并用拳頭分類器定位各個(gè)膚色區(qū)域中的拳頭區(qū)域；

(1.5)離線訓(xùn)練基于HOG特征的捏合指尖級(jí)聯(lián)分類器，并用捏合指尖級(jí)聯(lián)分類器定位各個(gè)拳頭區(qū)域中的捏合指尖區(qū)域；

(1.6)設(shè)定閾值T1和T2；判斷各個(gè)捏合指尖區(qū)域中心點(diǎn)的橫坐標(biāo)變化最大值和縱坐標(biāo)變化最大值：如果橫坐標(biāo)變化最大值≤T1，且縱坐標(biāo)變化最大值≤T2，則設(shè)定所述若干幀連續(xù)的視頻幀圖中最后一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)為捏合指尖初始位置，并跳至第二步；否則捕獲后續(xù)若干幀連續(xù)的視頻幀圖，并跳至步驟(1.2)。

第一步為初始化階段，本發(fā)明捏合指尖跟蹤方法將捏合指尖是否在同一位置持續(xù)停留一定時(shí)間作為轉(zhuǎn)入空中書寫跟蹤開始的判斷條件；由于書寫者手部可能存在輕微抖動(dòng)以及圖像識(shí)別可能存在誤差，因此將捏合指尖區(qū)域中心點(diǎn)的橫縱坐標(biāo)變化值是否在一定范圍內(nèi)來判斷捏合指尖是否在同一位置上。

優(yōu)選地，在步驟(1.3)中，所述根據(jù)人體膚色聚類特性，構(gòu)造YCbCr膚色濾波器是指，將YCbCr圖像進(jìn)行Y通道、Cb通道和Cr通道分離，選定Cb通道數(shù)值在色帶范圍[77,127]內(nèi)且Cr通道數(shù)值在色帶范圍[133,173]內(nèi)的區(qū)域作為膚色區(qū)域。

在步驟(1.4)中，離線訓(xùn)練基于Haar-like特征的拳頭分類器是指，采用包括拳頭的圖像作為正樣本，不包括拳頭的圖像作為負(fù)樣本，采用Haar-like特征對(duì)正樣本和負(fù)樣本進(jìn)行學(xué)習(xí)，生成拳頭分類器，拳頭分類器的識(shí)別目標(biāo)是拳頭。

在步驟(1.5)中，離線訓(xùn)練基于HOG特征的捏合指尖級(jí)聯(lián)分類器是指，采用包括捏合指尖的圖像作為正樣本，不包括捏合指尖的圖像作為負(fù)樣本，采用HOG特征對(duì)正樣本和負(fù)樣本進(jìn)行學(xué)習(xí)，生成捏合指尖級(jí)聯(lián)分類器，捏合指尖級(jí)聯(lián)分類器的識(shí)別目標(biāo)是捏合指尖。

在步驟(1.6)中，所述閾值T1設(shè)定為捏合指尖區(qū)域?qū)挾鹊氖种?；所述閾值T2設(shè)定為捏合指尖區(qū)域高度的十分之一。

在第二步中，所述捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，確定膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離是指：包括以下步驟：

(2.1)捕獲下一幀視頻幀圖作為當(dāng)前處理視頻幀圖；以上一幀視頻幀圖獲得的捏合指尖區(qū)域中心點(diǎn)為中心在當(dāng)前處理視頻幀圖上建立目標(biāo)搜索區(qū)域；采用YCbCr膚色檢測(cè)器提取目標(biāo)搜索區(qū)域的膚色區(qū)域，從而獲得當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域；

(2.2)采用Canny邊緣檢測(cè)器分別對(duì)上一幀視頻幀圖的膚色目標(biāo)搜索區(qū)域和當(dāng)前處理視頻幀圖的膚色目標(biāo)搜索區(qū)域進(jìn)行處理獲取輪廓，并采用密集采樣方法獲取輪廓點(diǎn)；

(2.3)采用LK光流法對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖的輪廓點(diǎn)進(jìn)行匹配，對(duì)上一幀視頻幀圖和當(dāng)前處理視頻幀圖中各個(gè)對(duì)應(yīng)輪廓點(diǎn)分別計(jì)算出運(yùn)動(dòng)距離，將運(yùn)動(dòng)距離的均值或中間值定義為膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離。

在第三步中，所述構(gòu)建捏合指尖膚色映射表；將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元，分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，結(jié)合各個(gè)區(qū)域單元的灰度值得到CbCr-Gray顏色特征；計(jì)算上一幀視頻幀圖捏合指尖區(qū)域的HOG特征，從而得到捏合指尖區(qū)域的CbCr-Gray-HOG特征是指：包括以下步驟：

(3.1)基于人體膚色的聚類特性，選擇十六種不同色帶的膚色構(gòu)成捏合指尖膚色映射表；

(3.2)將上一幀視頻幀圖的捏合指尖區(qū)域劃分為十六個(gè)區(qū)域單元并映射到膚色映射表中，以分別尋找各個(gè)區(qū)域單元CbCr色帶在捏合指尖膚色映射表中最接近的數(shù)值，分別計(jì)算各個(gè)區(qū)域單元的灰度值，得到十六維捏合指尖區(qū)域的CbCr-Gray顏色特征；

(3.3)計(jì)算上一幀視頻幀圖捏合指尖區(qū)域在九個(gè)梯度方向上的HOG特征，每個(gè)方向分別包括三維，共得到二十七維HOG特征，結(jié)合五維基礎(chǔ)HOG特征，并剔除梯度值為全零的一維冗余HOG特征，構(gòu)成三十一維捏合指尖區(qū)域的HOG特征；

(3.4)十六維捏合指尖區(qū)域的CbCr-Gray顏色特征與三十一維捏合指尖區(qū)域的HOG特征結(jié)合得到四十七維捏合指尖區(qū)域的CbCr-Gray-HOG特征。

在步驟(3.1)中，選擇十六種不同色帶的膚色構(gòu)成捏合指尖膚色映射表是指，選擇象牙白、亞麻色、檸檬黃、棕色為四種基本膚色值，并在每種膚色數(shù)值附近再選擇三種膚色值，組成一共十六種不同色帶的膚色來構(gòu)成捏合指尖膚色映射表。

在第四步中，所述采用基于高斯核函數(shù)的濾波跟蹤方法，結(jié)合所述捏合指尖區(qū)域的CbCr-Gray-HOG特征，確定當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)是指：包括以下步驟：

(4.1)將上一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)偏移所述膚色目標(biāo)搜索區(qū)域的運(yùn)動(dòng)距離后得到的點(diǎn)作為中心在當(dāng)前處理視頻幀圖上劃定采樣區(qū)域；在采樣區(qū)域中，以上一幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)為中心建立大小為M×N的捏合指尖搜索區(qū)域；用循環(huán)矩陣對(duì)捏合指尖搜索區(qū)域進(jìn)行循環(huán)采樣得到若干捏合指尖候選樣本p_m,n，其中m、n分別是指捏合指尖候選樣本p_m,n的橫、縱坐標(biāo)值，m∈{0,...,M-1}，n∈{0,...,N-1}；

(4.2)用高斯函數(shù)分別標(biāo)記各個(gè)捏合指尖候選樣本p_m,n；并采用公式(1)(2)、(3)和(4)計(jì)算各個(gè)捏合指尖候選樣本p_m,n的優(yōu)化損失函數(shù)：

w＝∑_m,nα(m,n)φ(p_m,n) (2)

其中，φ是希爾伯特空間映射函數(shù)，λ是正則化參數(shù)，w是閉合形式的解，α是系數(shù)，F(xiàn)和F^-1分別為離散傅里葉變換和離散傅里葉逆變換，y是回歸函數(shù)標(biāo)記圖像塊矩陣，*是共軛復(fù)數(shù)，p是用捏合指尖區(qū)域的CbCr-Gray-HOG特征表示的圖像塊矩陣，p'是特征圖像塊矩陣p的轉(zhuǎn)置，p_c是特征圖像塊矩陣p中第c維的特征圖像塊，σ²是高斯函數(shù)中的方差，是傅里葉域的元素間相乘；

尋找公式(1)計(jì)算所得的最小值以獲取損失最小值，得到損失最小值對(duì)應(yīng)的系數(shù)α，將該系數(shù)α代入到公式(5)中：

其中，z是捏合指尖搜索區(qū)域圖像塊，為核相關(guān)卷積后的響應(yīng)值；

將各個(gè)捏合指尖候選樣本p_m,n分別代入到公式(5)中計(jì)算得到各個(gè)捏合指尖候選樣本p_m,n對(duì)應(yīng)的將最小值對(duì)應(yīng)的捏合指尖候選樣本p_m,n作為當(dāng)前處理視頻幀圖的捏合指尖區(qū)域，捏合指尖候選樣本p_m,n對(duì)應(yīng)的點(diǎn)(m,n)為當(dāng)前處理視頻幀圖的捏合指尖區(qū)域中心點(diǎn)。

在第五步中，所述判斷捏合指尖跟蹤結(jié)束條件是否成立是指，設(shè)定閾值T3和T4，判斷在若干幀連續(xù)的視頻幀圖中，相鄰兩幀視頻幀圖的捏合指尖區(qū)域中心點(diǎn)的橫坐標(biāo)變化值和縱坐標(biāo)變化值是否分別小于T3和T4：若是，則捏合指尖跟蹤結(jié)束條件成立，否則不成立。

本發(fā)明捏合指尖跟蹤方法將捏合指尖在同一位置的小范圍區(qū)域內(nèi)持續(xù)停留一定時(shí)間作為判斷跟蹤結(jié)束的判斷標(biāo)準(zhǔn)。

所述閾值T3設(shè)定為捏合指尖區(qū)域?qū)挾鹊氖种?；所述閾值T4設(shè)定為捏合指尖區(qū)域高度的十分之一。

本發(fā)明捏合指尖跟蹤方法應(yīng)用于空中書寫系統(tǒng)中，可準(zhǔn)確識(shí)別捏合指尖運(yùn)動(dòng)軌跡，從而使捏合指尖空中書寫系統(tǒng)得以實(shí)現(xiàn)；不同于單個(gè)指尖的空中書寫方式，捏合指尖空中書寫較為貼切地模擬了人手拿筆書寫時(shí)的實(shí)際姿態(tài)，保留了手寫軌跡的靈活性，使得基于視頻的空中書寫系統(tǒng)真實(shí)地反映實(shí)際的手寫情況。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。