一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法
【專利摘要】本發(fā)明公開了一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法，涉及機(jī)器學(xué)習(xí)領(lǐng)域，序列數(shù)據(jù)的標(biāo)注任務(wù)，手勢識別問題。通過本發(fā)明，手勢識別問題不但被更準(zhǔn)確的識別，而且相對神經(jīng)網(wǎng)絡(luò)與條件隨機(jī)場相結(jié)合的方法，具有更容易優(yōu)化的特點(diǎn)，而且由于遷移學(xué)習(xí)框架的采用，通過無監(jiān)督學(xué)習(xí)方法引入輔助任務(wù)與手勢識別的主任務(wù)共享隱藏層特征的方式，解決了手勢識別問題中有標(biāo)注數(shù)據(jù)不足情況下的識別問題。
【專利說明】一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其是一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的模式識別算法。
【背景技術(shù)】
[0002]目前，人工交互應(yīng)用中基于手勢識別的交互應(yīng)用已經(jīng)成為人工智能領(lǐng)域的一個重要問題。由于手勢的各幀之間存在時間上的依賴關(guān)系可以自然地形成一個序列標(biāo)注問題。通過對手勢序列的識別問題，識別不同手勢代表的含義，可以進(jìn)行基于視覺的交流。因?yàn)椋趯?shí)際應(yīng)用中具有標(biāo)記信息的手勢視頻的獲取代價大，而標(biāo)注數(shù)據(jù)多少是識別算法性能的保證，所以，現(xiàn)有手勢識別算法在具有充分標(biāo)注數(shù)據(jù)的情況下效果良好。
[0003]發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下缺點(diǎn)和不足:
[0004]現(xiàn)有技術(shù)引入了大量的參數(shù)來避免過擬合現(xiàn)象的發(fā)生，大量的參數(shù)為了避免過擬合必須有標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而在實(shí)際的任務(wù)中獲取大量有標(biāo)注的數(shù)據(jù)的困難的、代價高昂的，阻礙了手勢識別算法在實(shí)際應(yīng)用的性能。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法，本發(fā)明根據(jù)序列相關(guān)性構(gòu)建了無監(jiān)督的序列模型，并將其作為輔助任務(wù)，又使用一種深度條件隨機(jī)場作為手勢識別的主任務(wù)，最后形成半監(jiān)督遷移學(xué)習(xí)框架下的基于條件隨機(jī)場的手勢識別算法，達(dá)到了很好的手勢識別效果，并降低了標(biāo)注數(shù)據(jù)的代價，詳見下文描述:
[0006]一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法，包括:視頻序列上的手勢識別算法，以及在具有部分標(biāo)注數(shù)據(jù)下采用無標(biāo)注數(shù)據(jù)輔助訓(xùn)練的半監(jiān)督手勢識別算法。所述手勢識別算法包括深度條件隨機(jī)場手勢識別算法，以及相應(yīng)的特征函數(shù)構(gòu)建方法。所述半監(jiān)督手勢識別算法，包括深度條件隨機(jī)場的手勢識別算法以及無監(jiān)督的馬爾科夫隨機(jī)場方法，以及兩種方法的聯(lián)合訓(xùn)練方法。
[0007]所述方法包括以下步驟:
[0008](I)所述深度條件隨機(jī)場的手勢識別方法框架、特征函數(shù)構(gòu)建。
[0009]所述深度條件隨機(jī)場框架具體為:采用層次前饋網(wǎng)絡(luò)作為特征抽取器與條件隨機(jī)場構(gòu)成的
[0010]無向圖模型聯(lián)合訓(xùn)練，深度條件隨機(jī)場模型定義如下:
[0011]
【權(quán)利要求】
1.一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法，其包括:視頻序列上的手勢識別算法，以及在具有部分標(biāo)注數(shù)據(jù)下采用無標(biāo)注數(shù)據(jù)輔助訓(xùn)練的半監(jiān)督手勢識別算法，所述手勢識別算法包括深度條件隨機(jī)場手勢識別算法，以及相應(yīng)的特征函數(shù)構(gòu)建方法，所述半監(jiān)督手勢識別算法，包括深度條件隨機(jī)場的手勢識別算法以及無監(jiān)督的馬爾科夫隨機(jī)場方法，以及兩種方法的聯(lián)合訓(xùn)練方法。
2.根據(jù)權(quán)利要求1所述的一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別算法，其特征在于，所述方法包括:有監(jiān)督的深度條件隨機(jī)場模型； 所述深度條件隨機(jī)場模型包括:采用層次前饋網(wǎng)絡(luò)作為特征抽取器與條件隨機(jī)場構(gòu)成的無向圖模型聯(lián)合訓(xùn)練；使用深度神經(jīng)網(wǎng)絡(luò)作為特征學(xué)習(xí)器自動從原始數(shù)據(jù)中學(xué)習(xí)非線性特征:所述方法采用一層卷積層與若干全連接層構(gòu)成多層的深度神經(jīng)網(wǎng)絡(luò)完成特征學(xué)習(xí)過程；其中，第一層的卷積層主要的作用是捕獲上下文信息，使得獲得的特征具有時間序列上的不敏感性；所述若干全連接層即傳統(tǒng)的全連接結(jié)構(gòu)，以卷積層的輸出作為輸入，最終得到一個結(jié)構(gòu)化的結(jié)果并傳遞給條件隨機(jī)場模型，進(jìn)而構(gòu)建一個結(jié)構(gòu)化模型解決手勢識別問題。
3.根據(jù)權(quán)利要求1所述的一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別方法，其特征在于，所述方法包括:一種基于無監(jiān)督馬爾科夫隨機(jī)場的序列模型； 所述馬爾科夫隨機(jī)場序列模型，利用觀測節(jié)點(diǎn)之間的關(guān)系性構(gòu)建無監(jiān)督的序列模型并作為輔助任務(wù)。這里將概率近似為由其鄰居節(jié)點(diǎn)之間的依賴關(guān)系的連乘，并采用第一鄰居節(jié)點(diǎn)構(gòu)建序列的生成概率；并在基本的生成概率基礎(chǔ)上引入特征變換過程Φ (xt ; α );全局概率被替換為一組局部偽似然概率的求和代替全局似然概率PU)。I
4.根據(jù)權(quán)利要求1所述的一種遷移學(xué)習(xí)框架下基于條件隨機(jī)場的手勢識別方法，其特征在于，所述方法包括:一種基于權(quán)利要求2與權(quán)利要求3的聯(lián)合訓(xùn)練方法；` 所述半監(jiān)督聯(lián)合訓(xùn)練方法具體為:根據(jù)權(quán)利要求1與權(quán)利要求2所述，兩種方法可以共享變換Φ (xt W)，同時將方法中所述的無監(jiān)督馬爾科夫隨機(jī)場作為遷移學(xué)習(xí)中的輔助任務(wù)，而深度條件隨機(jī)場進(jìn)行手勢識別作為主任務(wù)。讓兩個模型共享非線性特征變換Φ (X ; α )，即構(gòu)建一個序列模型的遷移學(xué)習(xí)框架，聯(lián)合模型的優(yōu)化目標(biāo)如下:^(A) = ?χ{θ,α) + η?2(a, A) + -V||A||2，最后使用梯度下降搜索優(yōu)化參數(shù)，使用BFGS來優(yōu)化目

Zc標(biāo)參數(shù)。
【文檔編號】G06K9/00GK103778407SQ201210404068
【公開日】2014年5月7日 申請日期:2012年10月23日 優(yōu)先權(quán)日:2012年10月23日
【發(fā)明者】劉杰, 黃亞樓, 劉才華, 陳季夢, 王嫄 申請人:南開大學(xué)