專利名稱：基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備。
背景技術(shù)：
隨著計(jì)算機(jī)視覺(jué)、圖像處理、人機(jī)交互技術(shù)的發(fā)展，對(duì)于基于視覺(jué)的人機(jī)交互系統(tǒng)，諸如交互式投影儀、交互式顯示器、交互式電子白板、體感游戲機(jī)等等的技術(shù)需求也越來(lái)越迫切，在這些應(yīng)用領(lǐng)域中，經(jīng)常不僅僅需要對(duì)圖像中對(duì)象的識(shí)別，而且需要對(duì)對(duì)象運(yùn)動(dòng)模式進(jìn)行識(shí)別。對(duì)此，相關(guān)技術(shù)領(lǐng)域已經(jīng)取得了一定進(jìn)展。專利文件I (US 7274800 B2)提出了利用立體相機(jī)產(chǎn)生的深度視差圖并基于該深度視差圖進(jìn)行手勢(shì)識(shí)別的技術(shù)。其主要針對(duì)人體上肢形態(tài)建立統(tǒng)計(jì)概論模型，并用其跟蹤人體的上肢運(yùn)動(dòng)，并能推斷出上肢、軀干、手的運(yùn)動(dòng)方向及位置。而后，將這些運(yùn)動(dòng)信息輸入隱馬爾科夫(HMM)模型分類器，以用于手勢(shì)識(shí)別。該技術(shù)主要基于統(tǒng)計(jì)模型推斷來(lái)進(jìn)行運(yùn)動(dòng)識(shí)別，難以適應(yīng)復(fù)雜場(chǎng)景和模型失效的情況。而且，其速度不快。專利文件2(US 20110150271 Al)提出了一種基于深度圖像的運(yùn)動(dòng)檢測(cè)和跟蹤方法。其首先產(chǎn)生一幅代表背景的參考深度圖像，并將當(dāng)前輸入的深度圖與之相比，以獲得前景運(yùn)動(dòng)圖像，從而完成運(yùn)動(dòng)對(duì)象檢測(cè)。背景參考深度圖像會(huì)依照一定時(shí)間范圍內(nèi)深度圖的背景點(diǎn)均值進(jìn)行更新；而前景運(yùn)動(dòng)圖像則會(huì)聚類成幾個(gè)運(yùn)動(dòng)物體，并與上一幀的物體進(jìn)行對(duì)應(yīng)，從而完成運(yùn)動(dòng)對(duì)象跟蹤。該方法基于深度圖像的相鄰幀差分進(jìn)行運(yùn)動(dòng)檢測(cè)；此外，該方法用于運(yùn)動(dòng)對(duì)象檢測(cè)，而無(wú)法實(shí)現(xiàn)運(yùn)動(dòng)模式的識(shí)別。非專利文件 I (P.Suryanarayan, A.Subramanian, and D.Mandalapu, DynamicHand Pose Recognition using Depth Data， International conference of PatternRecognition, pp.3105-3108，23_26Aug.2010.)提出了一種對(duì)尺度及旋轉(zhuǎn)不變手勢(shì)姿態(tài)的識(shí)別方法。其主要是基于對(duì)環(huán)繞整個(gè)手的柱狀區(qū)域進(jìn)行3維劃分，而后計(jì)算每個(gè)子區(qū)域的前景比例，并將其作為整個(gè)手形狀的特征描述子，從而實(shí)現(xiàn)手勢(shì)識(shí)別。因?yàn)檫\(yùn)動(dòng)會(huì)導(dǎo)致深度圖的模糊，從而影響形狀的精確性，因此該方法僅限于形狀描述，以致不適用于運(yùn)動(dòng)的手勢(shì)識(shí)別。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中存在的上述問(wèn)題而做出本發(fā)明，本發(fā)明實(shí)施例提出一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備，更具體地說(shuō)，本發(fā)明實(shí)施例提出一種基于鄰域深度值差分時(shí)空分布的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和設(shè)備。本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和設(shè)備提供了可以被廣泛應(yīng)用于各類對(duì)象物體運(yùn)動(dòng)模式識(shí)別的技術(shù)框架。該技術(shù)手段利用對(duì)象在3維空間中的運(yùn)動(dòng)所引發(fā)的其深度值的變化，這種深度值變化的時(shí)空分布能夠描述該對(duì)象的運(yùn)動(dòng)模式。根據(jù)本發(fā)明的一個(gè)方面，提供一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，包括:前景確定步驟，在所述深度圖像序列的各幀深度圖像中確定前景對(duì)象區(qū)域；差分步驟，計(jì)算各幀深度圖像中各個(gè)像素的深度值與其相鄰幀深度圖像中鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量；量化編碼步驟，根據(jù)各幀深度圖像及其相鄰幀深度圖像的前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼；區(qū)域劃分步驟，將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域；分布描述步驟，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量；識(shí)別步驟，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域的鄰域深度值差分碼分布特征向量的組合，識(shí)別該感興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。根據(jù)本發(fā)明的另一個(gè)方面，提供一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備，包括:前景確定裝置，在所述深度圖像序列的各幀深度圖像中確定前景對(duì)象區(qū)域；差分裝置，計(jì)算各幀深度圖像中各個(gè)像素的深度值與其相鄰幀深度圖像中鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量；量化編碼裝置，根據(jù)各幀深度圖像及其相鄰幀深度圖像的前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼；區(qū)域劃分裝置，將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域；分布描述裝置，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量；識(shí)別裝置，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域的鄰域深度值差分碼分布特征向量的組合，識(shí)別該感興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。鄰域深度值差分指任一像素點(diǎn)與其時(shí)空相鄰點(diǎn)的深度值之差所構(gòu)成的矢量，其提取方便，且攜帶了大量在該點(diǎn)鄰域的運(yùn)動(dòng)信息。通過(guò)量化編碼將鄰域深度值差分矢量量化到幾個(gè)典型的運(yùn)動(dòng)模式，即鄰域深度值差分碼，從而能夠?qū)崿F(xiàn)運(yùn)動(dòng)信息的壓縮以及噪聲抑制。經(jīng)過(guò)區(qū)域劃分將對(duì)象物體在時(shí)空中所經(jīng)過(guò)的區(qū)域劃分成一系列子區(qū)域以利于后續(xù)的分布描述。一方面，區(qū)域劃分能保持運(yùn)動(dòng)的時(shí)空結(jié)構(gòu)；另一方面，每個(gè)子區(qū)域也能提供足夠的樣本來(lái)統(tǒng)計(jì)各種分布。然后進(jìn)行分布描述，進(jìn)一步把鄰域深度值差分碼的分布?jí)嚎s成低維特征向量，從而便于對(duì)象運(yùn)動(dòng)的識(shí)別分類。本發(fā)明通過(guò)對(duì)鄰域深度值差分的量化編碼、區(qū)域劃分、以及分布描述，提取了對(duì)對(duì)象運(yùn)動(dòng)引發(fā)深度值變化的時(shí)空分布的特征描述，從而獲得穩(wěn)定、快速、有效的運(yùn)動(dòng)或動(dòng)作識(shí)另IJ。識(shí)別手段的快速源于鄰域深度值差分的特征提取非常簡(jiǎn)單，只需要少量減法操作。識(shí)別方法的穩(wěn)健源于深度圖提供了非常有效的距離信息，而且整個(gè)識(shí)別算法沒(méi)有任何先驗(yàn)的模型前提假設(shè)。識(shí)別方法的有效源于鄰域深度值差分的時(shí)空分布攜帶了重要的運(yùn)動(dòng)信息。因此，與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例充分、有效地利用深度圖提供的距離信息、以及鄰域深度值差分的時(shí)空分布特征，能夠?qū)崿F(xiàn)速度很快而且穩(wěn)健有效的處理。通過(guò)閱讀結(jié)合附圖考慮的以下本發(fā)明的優(yōu)選實(shí)施例的詳細(xì)描述，將更好地理解本發(fā)明的以上和其他對(duì)象、特征、優(yōu)點(diǎn)和技術(shù)及工業(yè)重要性。


圖1是示例性地示出本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和設(shè)備的應(yīng)用環(huán)境的示意圖。圖2是示出按照本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法的總體流程圖。圖3包括圖3A至圖3D，分別示意性地示出鄰域深度值差分矢量的實(shí)現(xiàn)方式。圖4包括圖4A和圖4B，分別示意性地說(shuō)明對(duì)象運(yùn)動(dòng)所造成的深度值差分的量化編碼結(jié)果。圖5包括圖5A和圖5B，分別示意性地示出對(duì)深度差分值進(jìn)行量化編碼的方案。圖6包括圖6A至圖6C，分別示意性地示出在某一幀深度圖像中，將XY 二維空間區(qū)域分別劃分為多個(gè)子區(qū)域的不同方式。圖7包括圖7A和圖7B，示出了采用圖6C所示的區(qū)域劃分方式來(lái)分別應(yīng)用于識(shí)別圖4A和圖4B的對(duì)象運(yùn)動(dòng)模式的情況。圖8示出了將圖6A所示的區(qū)域劃分方式應(yīng)用于關(guān)于手對(duì)象的示例。圖9包括圖9A至圖9D，圖9A示意性地示出感興趣區(qū)域在相鄰多幀所占的3維時(shí)空區(qū)域，圖9B至圖9D分別示出在不同的尺度下對(duì)感興趣區(qū)域在相鄰多幀所占的3維時(shí)空區(qū)域進(jìn)行劃分的方式。圖10是示出按照本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備的總體框圖。圖11是示出按照本發(fā)明實(shí)施例的對(duì)象運(yùn)動(dòng)模式識(shí)別系統(tǒng)的總體框圖。
具體實(shí)施例方式下面結(jié)合附圖描述本發(fā)明實(shí)施例。圖1是示例性地示出本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法和設(shè)備的應(yīng)用環(huán)境的示意圖。參照?qǐng)D1，本發(fā)明的實(shí)施例可應(yīng)用于人機(jī)交互，人及其手勢(shì)10由深度攝像頭11獲取并傳入計(jì)算機(jī)系統(tǒng)12以進(jìn)行識(shí)別和控制，最終的識(shí)別及響應(yīng)可以在本地或遠(yuǎn)程的屏幕上顯示。其中，該深度攝像頭11可以是紅外攝像頭，能夠獲取場(chǎng)景的深度圖像。計(jì)算機(jī)系統(tǒng)12可以是個(gè)人計(jì)算機(jī)(PC)或任何其它具有數(shù)據(jù)處理能力的計(jì)算機(jī)、服務(wù)器或數(shù)字信號(hào)處理器(DSP)等等，針對(duì)深度攝像頭11所獲取并導(dǎo)入的深度圖像序列，計(jì)算機(jī)系統(tǒng)12可以實(shí)施為按照本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備，或者也可以用來(lái)實(shí)施按照本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法。圖2是示出按照本發(fā)明實(shí)施例的基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法的總體流程圖。如圖2所示，本發(fā)明實(shí)施例的對(duì)象運(yùn)動(dòng)模式識(shí)別方法可以包括:前景確定步驟S100，可以在所述深度圖像序列的各幀深度圖像中確定前景對(duì)象區(qū)域；差分步驟S200，可以計(jì)算各幀深度圖像中各個(gè)像素的深度值與其相鄰幀深度圖像中鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量；量化編碼步驟S300，可以根據(jù)各幀深度圖像及其相鄰幀深度圖像的前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼；區(qū)域劃分步驟S400，可以將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域；分布描述步驟S500，可以根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量；識(shí)別步驟S600，可以根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域的鄰域深度值差分碼分布特征向量的組合，識(shí)別該感興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。在前景確定步驟S100，依次針對(duì)讀入的各個(gè)深度圖像，分割出前景對(duì)象，找到感興趣前景對(duì)象在輸入深度圖像中所占的前景對(duì)象區(qū)域。換言之，每個(gè)前景區(qū)域中的像素都來(lái)自于對(duì)象。前景確定步驟Sioo可以通過(guò)本領(lǐng)域公知的現(xiàn)有技術(shù)手段實(shí)現(xiàn)，下面，為了處理過(guò)程說(shuō)明的完整，作為示例而描述前景確定步驟Sioo的過(guò)程。首先，通過(guò)背景初始化來(lái)對(duì)整個(gè)背景區(qū)域進(jìn)行建模。一種可能的實(shí)現(xiàn)是將前景對(duì)象還沒(méi)有進(jìn)入的前幾幀圖像進(jìn)行平均，從而得到背景圖B(X，y)，其中(X，y)是像素點(diǎn)空間坐標(biāo)。然后，進(jìn)行背景減除，將當(dāng)前t時(shí)刻的圖像D((x，y) ；t)與B(x，y)相比，將顯著差異的點(diǎn)作為前景點(diǎn)。具體而言，若某像素點(diǎn)(x0,y0)滿足B(x0,y0)-D((x0,y0) ；t) | > T，則該像素點(diǎn)(x0，y0)是前景點(diǎn)，否則即為背景點(diǎn)，其中T為根據(jù)經(jīng)驗(yàn)所得的閾值。然后，進(jìn)行前景點(diǎn)聚類，將所有的前景點(diǎn)被依照其空間距離聚合成幾個(gè)連通的聚類。面積過(guò)小的聚類往往由噪聲引起，需要將其去除。剩余的聚類則由前景對(duì)象所引發(fā)。然后，進(jìn)行聚類對(duì)象跟蹤以將每個(gè)被跟蹤的對(duì)象與當(dāng)前的前景點(diǎn)聚類建立對(duì)應(yīng)，從而更新對(duì)象在當(dāng)前時(shí)刻的狀態(tài)。一種可能的實(shí)現(xiàn)是計(jì)算上一幀跟蹤對(duì)象位置與當(dāng)前幀聚類的距離，取其最小值以建立對(duì)應(yīng)關(guān)系。沒(méi)有與現(xiàn)有跟蹤對(duì)象建立對(duì)應(yīng)的聚類，意味著新進(jìn)入的對(duì)象；反之，沒(méi)有與現(xiàn)有聚類建立對(duì)應(yīng)的對(duì)象，意味著對(duì)象的退出。然后，進(jìn)行背景更新來(lái)依照當(dāng)前幀深度圖像D((x，y) ；t)修正背景深度圖像B(x，y)。一種可能的實(shí)現(xiàn)是對(duì)所有背景點(diǎn)(xl，yl)根據(jù)B(xl, yl) + A D((xl, yl) ；t) — B(xl,yl)來(lái)更新，其中λ是更新參數(shù)。最后，依照前景 點(diǎn)聚類與跟蹤對(duì)象之間的對(duì)應(yīng)關(guān)系進(jìn)行對(duì)象列表更新，以更新對(duì)象列表中的對(duì)象及其狀態(tài)。通過(guò)前景確定步驟Sioo進(jìn)行前景對(duì)象的提取及前景對(duì)象區(qū)域的確定，得到各幀的前景圖，F(xiàn)((x，y)，t) e {0，1}為t時(shí)刻前景圖，I代表相應(yīng)像素處于前景，O代表相應(yīng)像素處于背景。上述的在深度圖像中確定對(duì)象的過(guò)程可以通過(guò)本領(lǐng)域技術(shù)人員熟知的技術(shù)手段來(lái)實(shí)現(xiàn)，在本申請(qǐng)中為了說(shuō)明的完整性而引入，因此未贅述其細(xì)節(jié)。然后，針對(duì)已經(jīng)確定對(duì)象的各幀深度圖像，由差分步驟S200通過(guò)當(dāng)前像素點(diǎn)與其時(shí)空鄰域像素點(diǎn)的深度值差分來(lái)描述該像素的運(yùn)動(dòng)信息。其中，時(shí)空鄰域是由時(shí)間空間上與當(dāng)前像素點(diǎn)位置相近的點(diǎn)組成。所有的時(shí)空鄰域點(diǎn)與當(dāng)前像素點(diǎn)的深度差，構(gòu)成鄰域深度值差分(Contextual Depth Difference，CDD)。在此，CDD是矢量，其維數(shù)與時(shí)空鄰域的點(diǎn)數(shù)相同，也就是當(dāng)前像素與一個(gè)鄰域像素的深度值之差作為該CDD矢量的一個(gè)分量。下面結(jié)合圖3說(shuō)明不同的時(shí)空鄰域定義，這些不同的定義對(duì)應(yīng)CDD的不同實(shí)現(xiàn)方式。圖3包括圖3A至圖3D，分別示意性地示出鄰域深度值差分矢量的實(shí)現(xiàn)方式。一種⑶D矢量的實(shí)現(xiàn)方式可以是，在差分步驟S200中，與各幀深度圖像的各個(gè)像素位置相同的相鄰幀深度圖像中的像素是所述鄰域像素。圖3A和圖3B分別為示出此種實(shí)現(xiàn)方式下的不同實(shí)施方式的示意圖。如圖3A所示，一種可能的實(shí)現(xiàn)是后向空域差分，即D((x，y) ;t)_D((x，y)在此點(diǎn)(x，y)代表當(dāng)前幀深度圖像的像素點(diǎn)，t代表當(dāng)前幀的時(shí)刻，該像素點(diǎn)的鄰域?yàn)樯弦粠瑫r(shí)刻t-Ι相同位置的像素點(diǎn)，D((x, y) ；t)代表當(dāng)前幀各個(gè)像素點(diǎn)的像素值，在此深度圖像的情況下為該像素點(diǎn)的深度值。后向空域差分為當(dāng)前幀中像素點(diǎn)的深度值D((x，y) ;t)減去前一幀中相同位置的像素點(diǎn)的深度值D ((X，y) ；t-l)。在圖3B所示的情況下，其實(shí)現(xiàn)方式為把鄰域定義為前后兩幀的相同位置點(diǎn)，從而計(jì)算得到 2 維 CDD 矢量[D((x,y) ；t)-D((x,y) ;t_l), D ((x, y) ；t)-D((x,y) ;t+l)]，類似于關(guān)于圖3A所作的說(shuō)明，點(diǎn)(x，y)代表當(dāng)前幀深度圖像的像素點(diǎn)，t代表當(dāng)前幀的時(shí)刻，該像素點(diǎn)鄰域?yàn)樯弦粠瑫r(shí)刻t-Ι及下一幀時(shí)刻t+Ι相同位置的像素點(diǎn)，D((x，y) ；t)代表當(dāng)前幀各個(gè)像素點(diǎn)的深度值，分別減去上一幀及下一幀相同位置的像素點(diǎn)的深度值作為所得2維CDD矢量的分量。以上兩種鄰域定義只用到了時(shí)間上的相鄰點(diǎn)，作為上述手段的替代，也可以利用空間相鄰點(diǎn)作為鄰域像素。也就是，另一種CDD矢量的實(shí)現(xiàn)方式可以是，在差分步驟S200中，與各幀深度圖像的各個(gè)像素位置相同的相鄰幀深度圖像中的像素及其周圍像素構(gòu)成所述鄰域像素。圖3C和圖3D分別為示出此種實(shí)現(xiàn)方式下的不同實(shí)施方式的示意圖。圖3C所示情況可以視為把圖3A中鄰域像素為后向空間相同點(diǎn)的情況推廣為鄰域像素為后向空間相鄰點(diǎn)。在此情況下所得的⑶D矢量為[D((x，y) ；t)-D((x-Ax, y-Δγ)；t_l)]。在如圖3C所示的取前一幀相同位置像素點(diǎn)及其4鄰域點(diǎn)作為鄰域像素的情況下，(Δχ, Δγ)的每個(gè)坐標(biāo)取{_1，0，1}，從而構(gòu)成5維矢量。本領(lǐng)域技術(shù)人員能夠根據(jù)上文的描述類似地建立此5維CDD矢量。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，也可以取前一幀相同位置像素點(diǎn)及其8鄰域點(diǎn)作為鄰域像素。類似地，也可以如圖3D所示，同時(shí)采用前后向空間鄰域點(diǎn)，從而其鄰域深度差分CDD為D((x，y) ；t)-D((x-Ax, y-Δγ)在如圖3D所示的取前后幀相同位置像素點(diǎn)及其4鄰域點(diǎn)作為鄰域像素的情況下，其中(ΛΧ，Δγ)的每個(gè)坐標(biāo)取{_1，0，1}，而At取{-1，1}，構(gòu)成10維矢量。本領(lǐng)域技術(shù)人員能夠根據(jù)上文的描述類似地建立此10維⑶D矢量。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，也可以取`前后幀相同位置像素點(diǎn)及其8鄰域點(diǎn)作為鄰域像素。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，還有其它很多可能的時(shí)空鄰域選擇?？傮w上，⑶D中選用鄰域點(diǎn)越多，其所包含的運(yùn)動(dòng)信息越豐富，但其復(fù)雜度也會(huì)增加。在通過(guò)差分步驟S200計(jì)算各幀深度圖像中各個(gè)像素的鄰域深度值差分矢量(⑶D矢量)之后，由量化編碼步驟S300將各個(gè)鄰域深度值差分矢量量化編碼為鄰域深度值差分碼(CDD碼)。在量化編碼步驟S300，可以逐像素地確定鄰域深度值差分碼，然而，由于在各幀圖像中，對(duì)象通常僅占據(jù)一部分區(qū)域，逐像素地確定鄰域深度值差分碼會(huì)造成大量的無(wú)意義的運(yùn)算，因此，在此可以考慮利用前述前景確定步驟SlOO所確定的各幀深度圖像中對(duì)象所占據(jù)的前景區(qū)域，來(lái)為各巾貞深度圖像確定出感興趣區(qū)域(Region of Interest, ROI),對(duì)于各幀深度圖像來(lái)說(shuō)，“量化編碼”僅針對(duì)該幀的感興趣區(qū)域，或者說(shuō)感興趣區(qū)域中的像素(可以稱為感興趣像素)來(lái)進(jìn)行。“量化編碼”用來(lái)將“感興趣像素”的⑶D矢量量化成一系列代表該像素領(lǐng)域中運(yùn)動(dòng)模式的鄰域深度值差分碼(CDD碼)。而“感興趣像素”指的是其計(jì)算鄰域深度值差分的過(guò)程中涉及的當(dāng)前幀及其相鄰幀的像素點(diǎn)。以R(t)表示t時(shí)刻幀(當(dāng)前幀)的前景對(duì)象區(qū)域，R(t-l)表示t-Ι時(shí)刻幀(前一幀)與t時(shí)刻的前景對(duì)象區(qū)域相同位置的區(qū)域，R(t+1)表示t+1時(shí)刻幀(后一幀)與t時(shí)刻的前景對(duì)象區(qū)域相同位置的區(qū)域。以采用后向差分計(jì)算鄰域深度值差分的圖3A及圖3C為例，其t時(shí)刻的“感興趣像素”區(qū)域?yàn)镽(t-l) U R(t)；圖3B及圖3D情況下t時(shí)刻的“感興趣像素”區(qū)域?yàn)镽(t-l) U R(t) U R(t+1)。也就是，在后向差分的情況下，某當(dāng)前幀深度圖像中感興趣區(qū)域?yàn)樵摦?dāng)前幀的對(duì)象的前景區(qū)域并上前一幀深度圖像中該對(duì)象的前景區(qū)域在該當(dāng)前幀中的對(duì)應(yīng)區(qū)域，在前后向差分的情況下，某當(dāng)前幀深度圖像中感興趣區(qū)域?yàn)樵摦?dāng)前幀的對(duì)象的前景區(qū)域并上前一幀深度圖像中該對(duì)象的前景區(qū)域在該當(dāng)前幀中的對(duì)應(yīng)區(qū)域再并上后一幀深度圖像中該對(duì)象的前景區(qū)域在該當(dāng)前幀中的對(duì)應(yīng)區(qū)域。簡(jiǎn)言之，某當(dāng)前幀深度圖像中感興趣區(qū)域?yàn)楫?dāng)前幀的前景對(duì)象區(qū)域并其在差分步驟S200的運(yùn)算中涉及到的相鄰幀的區(qū)域在該當(dāng)前幀中的對(duì)應(yīng)區(qū)域。通過(guò)量化編碼步驟S300將鄰域深度差分矢量進(jìn)行量化，可以消除噪聲，壓縮信息，提高后續(xù)識(shí)別速度；而只考慮“感興趣像素”是因?yàn)橹挥羞@些區(qū)域的鄰域差分與對(duì)象有關(guān)，這樣可以減小處理負(fù)擔(dān)，提高處理速度。量化編碼的方法可以有很多。一種可能的實(shí)現(xiàn)是對(duì)鄰域深度值差分矢量的每一個(gè)維度(分量)分別進(jìn)行量化，而后組合成最終的量化編碼。在量化編碼步驟S300中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量至少包括代表對(duì)象在該像素點(diǎn)消失的分量、代表對(duì)象在該像素點(diǎn)出現(xiàn)的分量、及代表對(duì)象在該像素點(diǎn)深度變化的分量?？梢酝ㄟ^(guò)考慮前景確定步驟SlOO獲得的各個(gè)時(shí)刻(各幀)的前景圖像F((x，y)，t)的以下情況:(1)當(dāng)前幀(t時(shí)刻)的深度圖的某個(gè)像素，其位置在前一幀(t-1時(shí)刻)屬于前景對(duì)象(即為前一幀對(duì)象區(qū)域的像素)，而在當(dāng)前幀不屬于該前景對(duì)象；(2)當(dāng)前幀(t時(shí)刻)的深度圖的屬于前景對(duì)象的某個(gè)像素(對(duì)象區(qū)域的像素)，其位置在前一幀(t-1時(shí)亥IJ)不屬于該前景對(duì)象。此情況(I)可以表示為前景消失(F-)，而情況(2)可以表示為前景出現(xiàn)(F+)。由于前景確定步驟SlOO已經(jīng)獲得的各幀的前景圖像F((x，y)，t)，因此可以容易地判斷出當(dāng)前幀深度圖像的感興趣區(qū)域中像素是否屬于這兩種情況。或者，由于在前景消失(F-)及前景出現(xiàn)(F+)這兩種情況下，像素點(diǎn)的深度差分值或正或負(fù)但絕對(duì)值都會(huì)比較大，因此也可以通過(guò)經(jīng)驗(yàn)閾值判斷出感興趣區(qū)域中的像素是否屬于這兩種情況。在此情況下，還可以通過(guò)將背景像素的深度值一律賦為O甚至負(fù)無(wú)窮，甚至可以不設(shè)定閾值既可以判斷出像素是否屬于這兩種情況。除了前景消失(F-)及前景出現(xiàn)(F+)這兩種情況，感興趣區(qū)域的像素會(huì)有深度值發(fā)生變化的情況，因此，一種基本的量化編碼的方案是將深度量化成5個(gè)級(jí)別，分別表示為深度不變(Dtl),深度增加(D+)，深度減少(D-)，前景消失(F-)，前景出現(xiàn)(F+)。仍然設(shè)D((x，y) ；t)代表t時(shí)刻當(dāng)前幀深度圖像，其各個(gè)像素值為深度值，前景圖像F((x，y)，t)表示相應(yīng)前景圖像，前景區(qū)域像素值為1，非前景區(qū)域像素值為0，對(duì)于當(dāng)前中貞感興趣區(qū)域中的點(diǎn)((X，y)，t),與其作深度值差分的鄰域點(diǎn)為((x+Ax，y+Ay)，t+At),則上述5個(gè)級(jí)別的量化表示為以下公式(I):F+: {F ((X，y), t) = I and F ((χ+ Δ x, y+ Δ y), t+ Δ t) =0}；F-: {F ((χ, y), t) = O and F ((χ+ Δ χ, y+ Δ y), t+ Δ t) =1}；
D+: {D ((x, y) , t)-D ((χ+Δ χ, y+Δ y) , t+Δ t)彡 Td} Π {F ((χ, y) , t) = IandF ((χ+ Δ χ, y+ Δ y) , t+ Δ t) = 1}；D-: {D ((χ, y) , t) -D ((χ+ Δ χ, y+ Δ y) , t+ Δ t) <_Td} Π {F ((χ, y) , t) = IandF ((χ+ Δ χ, y+ Δ y) , t+ Δ t) = 1}；D0: {I D ((χ, y) , t) -D ((χ+ Δ χ, y+ Δ y) , t+ Δ t) ^ Tdj Π {F((x, y) , t) = IandF ((χ+ Δ χ, y+ Δ y) , t+ Δ t) = 1}.(I)其中的閾值Td可以濾除一些由噪聲引起的微小深度變化，其與攝像機(jī)性能以及對(duì)象距離有關(guān)，一般對(duì)距離為I 2米的對(duì)象而言，Td可以取為I厘米以內(nèi)，例如0.5厘米，其中“and”表示“并且”。量化級(jí)F+和F-包含了因物體運(yùn)動(dòng)帶來(lái)的形狀變化信息，而D+和D-則包含了物體區(qū)域內(nèi)部的細(xì)節(jié)變化。在D+和D-中較大的量化區(qū)域，可以保證運(yùn)動(dòng)識(shí)別的速度不變性，因?yàn)槠渲环从成疃戎底兓姆较?。F+、F-、D+和D-包含了非常重要的運(yùn)動(dòng)信息。下面結(jié)合圖4進(jìn)行示意性地說(shuō)明。圖4包括圖4A和圖4B，分別示意性地說(shuō)明對(duì)象運(yùn)動(dòng)所造成的深度值差分的量化編
碼結(jié)果。假設(shè)一個(gè)矩形對(duì)象在Z方向移近相機(jī)，且伴有X-Y平面的右移。圖4A非常清晰地反映出其前景區(qū)域的深度變化，一些左側(cè)的前景區(qū)域伴隨著右移而消失(F-);而右側(cè)有前景區(qū)域伴隨右移而出現(xiàn)(F+)，此外，重疊部分的深度則因Z方向的前移而減少(D-)。圖4B反映對(duì)象后移的情況，其量化區(qū)域可以類推。一些右側(cè)的前景區(qū)域伴隨著左移而消失(F-);而左側(cè)有前景區(qū) 域伴隨左移而出現(xiàn)(F+)，此外，重疊部分的深度則因Z方向的后移而增大(D+)。本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，各種其它的對(duì)象運(yùn)動(dòng)，如平移，旋轉(zhuǎn)等，都會(huì)引發(fā)相應(yīng)的鄰域深度值差分圖。由于不同的運(yùn)動(dòng)會(huì)引發(fā)不同的深度值差分，從而可以用深度值差分的時(shí)空分布來(lái)區(qū)分不同的運(yùn)動(dòng)。公式(I)中的5個(gè)量化級(jí)足以描述和區(qū)分大部分運(yùn)動(dòng)。作為本發(fā)明實(shí)施例的進(jìn)一步改進(jìn)，可以考慮當(dāng)深度圖噪聲較小時(shí)，采用更多的量化級(jí)來(lái)區(qū)分更加復(fù)雜的運(yùn)動(dòng)。在量化編碼步驟S300中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量中的深度差分值可以分別量化編碼為一個(gè)碼值。在上述公式(I)體現(xiàn)的量化編碼方案中，CDD矢量的每個(gè)深度差分值分別量化編碼為一個(gè)碼值，然而本發(fā)明不限于此，而是例如可以將D+、D-及Dtl進(jìn)一步細(xì)化表示為Dn，通過(guò)以下公式(2)來(lái)進(jìn)行深度差分值的量化編碼。F+: {F ((X，y), t) = I and F ((χ+ Δ χ, y+ Δ y), t+ Δ t) =0}；F-: {F ((χ, y), t) = O and F ((χ+ Δ χ, y+ Δ y), t+ Δ t) =1}； Dn: {Βη 彡 D ((χ, y), t) -D ((χ+ Δ χ，y+ Δ y), t+Δ t) < Βη+1} Π {F((x, y), t) = IandF ((χ+ Δ χ, y+ Δ y) , t+ Δ t) = 1}.(2)其中各量的含義與公式⑴中相同，設(shè)差分值d = D((x,y),t)_D((x+Ax，y+Ay)，Bn、Bn+1……為用于確定級(jí)別的閾值，如果d屬于(Bn，Bn+1]，則量化為Dn，η = -N，...0，...N，N為自然數(shù)，取決于所設(shè)定的量化級(jí)別數(shù)量。圖5包括圖5Α和圖5Β，分別示意性地示出對(duì)深度差分值進(jìn)行量化編碼的方案。其中，圖5A示出在采用上述公式(2)的情況下對(duì)深度差分值d進(jìn)行量化的級(jí)別確定方式，其中，數(shù)軸劃分為一系列互不重合的區(qū)域Dn，根據(jù)深度差分值d落入的由Bn所劃分的區(qū)間，來(lái)
確定其量化值Dn。在前述量化編碼方案中，每個(gè)鄰域深度值差分矢量會(huì)被量化成唯一的一個(gè)編碼，這樣的方案可以稱為“硬量化”實(shí)現(xiàn)方案。作為上述方案的替代，本發(fā)明實(shí)施例還可以采用“軟量化”的方式，即，在量化編碼步驟S300中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量中的深度差分值可以分別量化編碼為多個(gè)碼值，并賦予分別隸屬于多個(gè)碼值的權(quán)重。也就是，每個(gè)鄰域深度值差分矢量會(huì)以相應(yīng)的權(quán)重％量化到幾個(gè)編碼Dn，權(quán)重Wn彡O滿足歸一化性質(zhì)，即Σ wn = 10圖5B示意性地示出對(duì)深度差分值d進(jìn)行軟量化的級(jí)別確定方式，不同的量化等級(jí)Dn由量化權(quán)重函數(shù)(權(quán)函數(shù))wn(d)所唯一表示，其中wn(d) > O,且滿足歸一化條件Σ wn(d) ^ I。權(quán)函數(shù)Wn(d)體現(xiàn)了深度值差分d可以被量化到Dn的權(quán)重，而Σ wn(d) ^ 1，wn(d) ^ O則意味著量化到各個(gè)Dn的權(quán)重滿足概率分布函數(shù)的條件。圖5A所示意的“硬量化”可以視為圖5B所示意的“軟量化”的特殊情況。對(duì)任意深度值差分d而言，在“硬量化”的情況下只有一個(gè)權(quán)函數(shù)Wn(d)的值等于1，其余為零。換而言之，硬量化將每個(gè)深度值差分d量化到唯一的量化級(jí)別；而軟量化將 每個(gè)深度值差分以一定的權(quán)重wn(d)量化到多個(gè)量化級(jí)別。在圖5B所示的情況下，每個(gè)具體的d值如果落入Dn的非重疊部分，則量化為相應(yīng)的Dn，如果落入兩個(gè)Dn(例如Dn和Dn+1)的重疊部分，則量化到Dn和Dn+1，分別具有量化到Dn的權(quán)重wn(d)和量化到Dn+1的權(quán)重wn+1(d)，且'((1)+￥11+1((1) = I。由于圖5B所示的情況下，至多出現(xiàn)兩個(gè)區(qū)間相重疊的情況，因此深度值差分d至多可能量化到兩個(gè)級(jí)別，并分別具有權(quán)重。然而，本發(fā)明實(shí)施例不限于此，而是也可以采用其它的軟量化方案，例如出現(xiàn)更多的區(qū)間相重疊的情況，在此情況下，深度值差分d至多可能量化到重疊數(shù)目的級(jí)別，并分別具有權(quán)重，權(quán)重之和為I。經(jīng)過(guò)量化編碼步驟S300的處理，獲得各幀深度圖像的感興趣區(qū)域中各個(gè)像素的CDD碼，在上述所謂“硬量化”的情況下，CDD碼具有與相應(yīng)的CDD矢量相同的維度。在“軟量化”的情況下，CDD矢量的分量可能以不同權(quán)重量化編碼到不同級(jí)別，均體現(xiàn)在CDD碼中。通過(guò)上文的描述，本領(lǐng)域技術(shù)人員可以認(rèn)識(shí)到，盡管按順序描述了各個(gè)步驟，然而，前景確定步驟SlOO和差分步驟S200可以相互獨(dú)立地執(zhí)行，只要在量化編碼步驟S300之前。然后，在區(qū)域劃分步驟S400將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域。通過(guò)將對(duì)象所占的感興趣區(qū)域劃分成一系列子區(qū)域，以保證整個(gè)對(duì)象運(yùn)動(dòng)的時(shí)空結(jié)構(gòu)。取決于具體的應(yīng)用情景，感興趣區(qū)域劃分可以有很多不同的實(shí)現(xiàn)方案。例如，在區(qū)域劃分步驟S400，可以以各幀深度圖像相互獨(dú)立的方式，將感興趣區(qū)域在相應(yīng)的深度圖像所占據(jù)的二維空間區(qū)域分別劃分為多個(gè)子區(qū)域。圖6包括圖6A至圖6C，分別示意性地示出在某一幀深度圖像中，將XY 二維空間區(qū)域分別劃分為多個(gè)子區(qū)域的不同方式。圖6A的劃分方式可用應(yīng)用于基于徑向分布的運(yùn)動(dòng)。例如，手指是徑向分布在掌心周圍，因此以手臂方向?yàn)橹鬏S的徑向區(qū)域劃分有利于手勢(shì)識(shí)別。如果離中心的距離對(duì)運(yùn)動(dòng)識(shí)別也很重要的話，則可以將徑向劃分與環(huán)狀劃分相結(jié)合，圖6B的劃分方式適用于此種情況。圖6C的矩形劃分也是一種劃分方式，即將感興趣區(qū)域劃分成一系列的矩形子區(qū)域。圖7包括圖7A和圖7B，示出了采用圖6C所示的區(qū)域劃分方式來(lái)分別應(yīng)用于識(shí)別圖4A和圖4B的對(duì)象運(yùn)動(dòng)模式的情況。圖8示出了將圖6A所示的區(qū)域劃分方式應(yīng)用于關(guān)于手對(duì)象的示例，其中箭頭代表主方向，可以通過(guò)本領(lǐng)域熟知的主成分分析獲得，以用于進(jìn)行關(guān)于手勢(shì)的運(yùn)動(dòng)模式識(shí)別。上述感興趣區(qū)域劃分方案是在空間域上進(jìn)行的劃分，本發(fā)明實(shí)施例可以采用的劃分方案不限于此。例如，在區(qū)域劃分步驟S400，可以在連續(xù)多幀深度圖像中，將感興趣區(qū)域在連續(xù)多幀深度圖像中所占據(jù)的三維時(shí)間空間區(qū)域劃分為多個(gè)子區(qū)域。也就是，可以推廣到時(shí)空域(在XY 二維空間的基礎(chǔ)上進(jìn)一步考慮時(shí)間t而構(gòu)成3維時(shí)空)進(jìn)行感興趣區(qū)域劃分。即將對(duì)象在相鄰幾幀所占的3維時(shí)空區(qū)域進(jìn)行劃分，這種劃分可以是多尺度劃分，即對(duì)同一感興趣區(qū)域按照不同的尺度(即子區(qū)域大小)進(jìn)行劃分。圖9包括圖9A至圖9D，圖9A示意性地示出感興趣區(qū)域在相鄰多幀所占的3維時(shí)空區(qū)域，圖9B至圖9D分別示出在不同的尺度下對(duì)感興趣區(qū)域在相鄰多幀所占的3維時(shí)空區(qū)域進(jìn)行劃分的方式。在通過(guò)區(qū)域劃分步驟S400將各幀深度圖像的感興趣區(qū)域劃分為多個(gè)子區(qū)域之后，在分布描述步驟S500，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量。具體地，在分布描述步驟S500中，對(duì)于在區(qū)域劃分步驟S400所得到的各個(gè)子區(qū)域，可以利用統(tǒng)計(jì)矩描述各個(gè)鄰域深度值差分碼在該子區(qū)域中的分布，將所有鄰域深度值差分碼的統(tǒng)計(jì)矩作為該子區(qū)域的鄰域深度值差分碼分布特征向量。分布描述步驟S500針對(duì)各幀深度圖像的每個(gè)子區(qū)域中的各個(gè)感興趣像素的⑶D碼，獲得鄰域深度值差分碼分布(⑶D Distribution，⑶DD)特征，此⑶DD特征為向量，可以描述各種CDD碼在該子區(qū)域的分布。對(duì)象在現(xiàn)實(shí)中的運(yùn)動(dòng)將在每個(gè)子區(qū)域產(chǎn)生相應(yīng)的深度變化，該深度變化可以通過(guò)CDD碼的分布所表示，而CDD碼的分布可以通過(guò)CDDD特征來(lái)描述，因此，如果在此步驟或隨后的步驟中進(jìn)一步地將每個(gè)子區(qū)域的⑶DD特征合并起來(lái)，就能夠描述對(duì)象的整體運(yùn)動(dòng)模式。本發(fā)明實(shí)施例的分布描述步驟S500可以選擇利用統(tǒng)計(jì)矩的方案來(lái)實(shí)現(xiàn)用CDDD特征向量Vm來(lái)描述CDD碼在子區(qū)域j的分布，其中，j為索引值，自然數(shù)，代表子區(qū)域的編號(hào)，假定某個(gè)感興趣區(qū)域分成了 J個(gè)子區(qū)域，則I < j < J;i也為索引值，自然數(shù)，代表CCD碼的編號(hào)，假定選定I個(gè)⑶D碼，則編號(hào)i為I彡i彡I。⑶D碼至少包括體現(xiàn)前述的F-、F+、及各個(gè)Dn的碼值，在前文中，η = -N，...0，...N，在此，所有碼值編為KiS I，包含上述各個(gè)碼值。

可以用權(quán)函數(shù)Wi,」(χ，y)表示在子區(qū)域j中的感興趣像素(X，y)被量化到CXD碼Di的權(quán)重，該權(quán)重可以是由前述量化編碼步驟S300中量化權(quán)重函數(shù)(權(quán)函數(shù))對(duì)像素點(diǎn)鄰域深度差分值指定的權(quán)重。根據(jù)前述量化權(quán)重函數(shù)的非負(fù)性和歸一化性，可知對(duì)于每一個(gè)i，j而言，Wq(x，y)是在子區(qū)域j中CXD HDi權(quán)重的分布函數(shù)；此外，由量化權(quán)重函數(shù)的歸一化性，可知Σy) = 1，即對(duì)任一個(gè)感興趣像素點(diǎn)(x，y)而言，其分布在所有CXDHDi的權(quán)重之和為I。本領(lǐng)域技術(shù)人員已知的是，對(duì)于任意的k維函數(shù)f (z)，z = (z1;...，Zk),如果滿足f (Z)≥O,且Σ zf (z)dz <0°,則f (z)是一個(gè)分布函數(shù)。對(duì)于k維分布函數(shù)f (z), z = (Z1,..., zk)而言,其 P 階統(tǒng)計(jì)矩 Mp = Σ Z[zp.f (z)],此處 P= (pi,…，pk),
權(quán)利要求
1.一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，包括: 前景確定步驟，在所述深度圖像序列的各幀深度圖像中確定前景對(duì)象區(qū)域； 差分步驟，計(jì)算各幀深度圖像中各個(gè)像素的深度值與其相鄰幀深度圖像中鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量； 量化編碼步驟，根據(jù)各幀深度圖像及其相鄰幀深度圖像的前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼；區(qū)域劃分步驟，將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域； 分布描述步驟，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量； 識(shí)別步驟，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域的鄰域深度值差分碼分布特征向量的組合，識(shí)別該感興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。
2.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述差分步驟中，與各幀深度圖像的各個(gè)像素位置相同的相鄰幀深度圖像中的像素是所述鄰域像素。
3.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述差分步驟中，與各幀深度圖像的各個(gè)像素位置相同的相鄰幀深度圖像中的像素及其周圍像素構(gòu)成所述鄰域像素。
4.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述量化編碼步驟中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量至少包括代表對(duì)象在該像素點(diǎn)消失的分量、代表對(duì)象在該像素點(diǎn)出現(xiàn)的分量、及代表對(duì)象在該像素點(diǎn)深度變化的分量。
5.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述量化編碼步驟中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量中的深度差分值分別量化編碼為一個(gè)碼值。
6.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述量化編碼步驟中，各幀深度圖像中感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量中的深度差分值分別量化編碼為多個(gè)碼值，并賦予分別隸屬于多個(gè)碼值的權(quán)重。
7.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述區(qū)域劃分步驟，以各幀深度圖像相互獨(dú)立的方式，將感興趣區(qū)域在相應(yīng)的深度圖像所占據(jù)的二維空間區(qū)域分別劃分為多個(gè)子區(qū)域。
8.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述區(qū)域劃分步驟，在連續(xù)多幀深度圖像中，將感興趣區(qū)域在連續(xù)多幀深度圖像中所占據(jù)的三維時(shí)間空間區(qū)域劃分為多個(gè)子區(qū)域。
9.按照權(quán)利要求1所述的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，其中，在所述分布描述步驟中，對(duì)于在所述區(qū)域劃分步驟所得到的各個(gè)子區(qū)域，利用統(tǒng)計(jì)矩描述各個(gè)鄰域深度值差分碼在該子區(qū)域中的分布，將所有鄰域深度值差分碼的統(tǒng)計(jì)矩作為該子區(qū)域的鄰域深度值差分碼分布特征向量。
10.一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備，包括: 前景確定裝置，在所述深度圖像序列的各幀深度圖像中確定前景對(duì)象區(qū)域； 差分裝置，計(jì)算各幀深度圖像中各個(gè)像素的深度值與其相鄰幀深度圖像中鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量； 量化編碼裝置，根據(jù)各幀深度圖像及其相鄰幀深度圖像的前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼； 區(qū)域劃分裝置，將各幀深度圖像中感興趣區(qū)域劃分為多個(gè)子區(qū)域； 分布描述裝置，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域中各個(gè)像素的鄰域深度值差分碼，獲得該子區(qū)域的鄰域深度值差分碼分布特征向量； 識(shí)別裝置，根據(jù)各幀深度圖像中感興趣區(qū)域的子區(qū)域的鄰域深度值差分碼分布特征向量的組合，識(shí)別該感 興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。
全文摘要
提出一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別方法，包括前景確定步驟，在各幀深度圖像中確定前景對(duì)象區(qū)域；差分步驟，計(jì)算各幀深度圖像中各個(gè)像素的深度值與其鄰域像素的深度值之間的差分，以獲得鄰域深度值差分矢量；量化編碼步驟，根據(jù)前景對(duì)象區(qū)域確定感興趣區(qū)域，將感興趣區(qū)域中各個(gè)像素的鄰域深度值差分矢量量化編碼為鄰域深度值差分碼；區(qū)域劃分步驟，將感興趣區(qū)域劃分為多個(gè)子區(qū)域；分布描述步驟，根據(jù)各個(gè)像素的鄰域深度值差分碼，獲得子區(qū)域的鄰域深度值差分碼分布特征向量；識(shí)別步驟，根據(jù)鄰域深度值差分碼分布特征向量的組合，識(shí)別感興趣區(qū)域所對(duì)應(yīng)對(duì)象的運(yùn)動(dòng)模式。還相應(yīng)地提出一種基于深度圖像序列的對(duì)象運(yùn)動(dòng)模式識(shí)別設(shè)備。
文檔編號(hào)G06K9/00GK103208006SQ20121001471
公開(kāi)日2013年7月17日 申請(qǐng)日期2012年1月17日 優(yōu)先權(quán)日2012年1月17日
發(fā)明者章鵬, 李滔, 熊懷欣 申請(qǐng)人:株式會(huì)社理光