專利名稱：一種具有密集人流中的抗干擾功能的三維人體數(shù)據(jù)識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維圖像處理領(lǐng)域，尤其涉及一種具有密集人流中的抗干擾功能的三維人體數(shù)據(jù)跟蹤識別方法。
背景技術(shù)：
人機(jī)凌空互動(dòng)是指用戶不用實(shí)際接觸任何顯示設(shè)備，就可對該顯示設(shè)備進(jìn)行操作和控制，給用戶帶來神奇和科幻的體驗(yàn)感。隨著硬件和軟件技術(shù)的成熟，凌空互動(dòng)技術(shù)日漸成熟。凌空互動(dòng)系統(tǒng)具有新穎、容易實(shí)現(xiàn)和維護(hù)、方便靈活等特點(diǎn)。凌空互動(dòng)技術(shù)可以應(yīng)用在很多領(lǐng)域。從廣告宣傳的角度來說，商家可以跟消費(fèi)者互動(dòng)的方式來展現(xiàn)他們的商品，互動(dòng)的過程可以增強(qiáng)消費(fèi)者的興趣以及購買欲，同時(shí)商家 也可以省去描述的痛苦。撇去傳統(tǒng)的鼠標(biāo)和鍵盤，這種技術(shù)可以創(chuàng)造一種新型的控制手段，手術(shù)醫(yī)生可以在手術(shù)期間凌空翻動(dòng)手術(shù)所需要的資料，這樣省卻了額外的細(xì)菌感染。在很多不適合人類工作的場合，機(jī)器人具有很高的應(yīng)用價(jià)值，這種技術(shù)可以提供方式控制機(jī)器人。對愛好網(wǎng)絡(luò)購物的人來說，能在家試一下網(wǎng)店的衣服將是非常誘人的想法，這種技術(shù)也提供了這個(gè)想法實(shí)現(xiàn)的可能性。采用三維攝像機(jī)對人體三維數(shù)據(jù)進(jìn)行識別和跟蹤，可以使用人體的三維數(shù)據(jù)來非接觸式的控制數(shù)字屏幕。但是這種技術(shù)往往只能用于簡單背景的家庭環(huán)境，在密集人流的場景下，很難將控制人和背景圍觀人群進(jìn)行區(qū)分，因此很難用于公共商業(yè)場合。景深攝像頭利用紅外原理形成三維成像，因?yàn)槠浜唵吻矣行У募夹g(shù)，近幾年引起了很多人的關(guān)注。跟普通攝像頭不同的是，景深攝像頭考慮了物體與攝像頭的距離，因此，比起多個(gè)普通攝像頭的信息融合，它省去了算法上的麻煩。普通的RGB攝像頭則具有價(jià)格便宜，且數(shù)字圖像技術(shù)發(fā)展迅速。將兩者結(jié)合有效地結(jié)合，能很好地實(shí)現(xiàn)運(yùn)動(dòng)物體檢測、識別和跟蹤。各種基于景深攝像頭的研究層出不窮，景深攝像頭與普通RGB攝像頭的校準(zhǔn)匹配，基于景深攝像頭的三維重建、手勢識別一直是科學(xué)家們在致力研究的課題。基于三維的手勢識別比傳統(tǒng)的二維處理增加了手勢的類型，對三維空間的應(yīng)用更靈活。隨著微軟的Kinect的面世，更加深了對體感應(yīng)用的開發(fā)。然而要確保各種研究的精度，一般都應(yīng)用在簡單的背景下，具有干擾的復(fù)雜背景下，這些系統(tǒng)方法往往會(huì)不盡人意。因此在密集人流的復(fù)雜背景下的抗干擾方法以及多目標(biāo)的檢測、跟蹤，是比較難卻有意義的課題。

發(fā)明內(nèi)容
有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是提供一種在多目標(biāo)的密集人流的背景下能夠穩(wěn)定地鎖定主目標(biāo)人，將背景和圍觀的人群有效地區(qū)分開的具有密集人流中抗干擾功能的三維人體數(shù)據(jù)跟蹤識別方法。
為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其特征在于，采用三維人體數(shù)據(jù)跟蹤識別和人臉數(shù)據(jù)跟蹤識別相結(jié)合，具體包括如下步驟I)確定作為跟蹤和識別對象的主目標(biāo)人；2)對步驟I)中所確定的主目標(biāo)人的動(dòng)作進(jìn)行跟蹤識別；其中，所述步驟I)包括尋找主目標(biāo)人，當(dāng)有新的目標(biāo)出現(xiàn)時(shí)判斷所述新目標(biāo)是否為新的主目標(biāo)人，若是則更新主目標(biāo)人，否則保持原有主目標(biāo)人以及當(dāng)前主目標(biāo)人丟失時(shí)重新找回主目標(biāo)人，所述尋找主目標(biāo)人是根據(jù)三維攝像頭捕捉的三維人體數(shù)據(jù)來進(jìn)行的，所述判斷新的目標(biāo)是否為新的主目標(biāo)人是采用三維攝像頭捕捉的三維人體數(shù)據(jù)和RGB攝像頭捕捉的人臉數(shù)據(jù)相結(jié)合進(jìn)行的，所述重新找回主目標(biāo)人是采用三維攝像頭捕捉的三維人體數(shù)據(jù)和RGB攝像頭捕捉的人臉數(shù)據(jù)相結(jié)合進(jìn)行的。
進(jìn)一步地，所述三維人體數(shù)據(jù)是由三維攝像頭捕捉的圖像得到的，人臉數(shù)據(jù)是由RGB攝像頭捕捉的圖像得到的。進(jìn)一步地，所述步驟I)中的所述尋找主目標(biāo)人是根據(jù)所述三維攝像頭捕捉到的多個(gè)目標(biāo)人體的三維數(shù)據(jù)集合中所對應(yīng)的景深最小的三維數(shù)據(jù)所對應(yīng)的目標(biāo)人體作為主目標(biāo)人的。進(jìn)一步地，所述步驟I)中的所述判斷新目標(biāo)是否為新的主目標(biāo)人的步驟是通過兩個(gè)目標(biāo)人的人臉是否遮擋為原則來判斷的。進(jìn)一步地，所述重新找回主目標(biāo)人的步驟是重新找回主目標(biāo)人的算法來實(shí)現(xiàn)的。進(jìn)一步地，人臉數(shù)據(jù)跟蹤識別中的主目標(biāo)人的確定是由所述步驟I)中根據(jù)三維攝像頭捕捉的三維人體數(shù)據(jù)所確定的主目標(biāo)人在三維成像中的位置信息再根據(jù)三維成像的位置坐標(biāo)與RGB成像的位置坐標(biāo)的一一對應(yīng)關(guān)系得到主目標(biāo)人的RGB成像位置坐標(biāo)，再經(jīng)過人臉檢測得到人臉位置信息和人臉大小信息而實(shí)現(xiàn)的。進(jìn)一步地，所述人臉是否遮擋是以新目標(biāo)人與攝像頭的距離是否小于主目標(biāo)人與攝像頭的距離并且兩個(gè)目標(biāo)人的臉部在水平面上是否重疊為原則來判斷的。進(jìn)一步地，所述重新找回主目標(biāo)人的算法是根據(jù)目標(biāo)人的RGB成像在跟蹤識別中的大小的變化估算出目標(biāo)人與RGB攝像頭之間的距離，從而進(jìn)一步得到目標(biāo)人的三維成像的位置坐標(biāo)來實(shí)現(xiàn)的。進(jìn)一步地，當(dāng)出現(xiàn)新目標(biāo)并且經(jīng)過人臉是否遮擋判斷所述新目標(biāo)為主目標(biāo)人時(shí)，更新所述三維人體數(shù)據(jù)中的主目標(biāo)人信息和人臉數(shù)據(jù)中的主目標(biāo)人信息。本發(fā)明的有益效果在于本發(fā)明的具有密集人流中抗干擾功能的三維人體數(shù)據(jù)識別方法通過三維人體數(shù)據(jù)跟蹤識別和人臉數(shù)據(jù)跟蹤識別相結(jié)合，使得三維人體數(shù)據(jù)跟蹤識別在密集人流的公共場合，能夠穩(wěn)定的鎖定主目標(biāo)人，將背景和圍觀的人群有效地區(qū)分開，從而保證三維人體數(shù)據(jù)跟蹤識別在密集人流的多目標(biāo)背景下具有抗干擾功能。以下將結(jié)合附圖對本發(fā)明的構(gòu)思、具體結(jié)構(gòu)及產(chǎn)生的技術(shù)效果作進(jìn)一步說明，以充分地了解本發(fā)明的目的、特征和效果。


圖I為本發(fā)明的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法的處理流程圖；圖2為本發(fā)明的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法中的新目標(biāo)與主目標(biāo)人是否人臉遮擋的處理流程圖；圖3是本發(fā)明的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法中的找回主目標(biāo)人的處理流程圖。
具體實(shí)施例方式下面結(jié)合附圖來具體說明本發(fā)明的實(shí)施例。如圖I所示，一種具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，采用三維人體數(shù)據(jù)跟蹤識別和人臉數(shù)據(jù)跟蹤識別相結(jié)合，具體包括如下步驟I)確定作為跟蹤和識別對象的主目標(biāo)人； 包括尋找當(dāng)前主目標(biāo)人，當(dāng)有新的目標(biāo)出現(xiàn)時(shí)判斷所述新目標(biāo)是否為新的主目標(biāo)人，若是則更新當(dāng)前主目標(biāo)人，以及當(dāng)前主目標(biāo)人丟失時(shí)重新找回當(dāng)前主目標(biāo)人。三維攝像頭捕捉到多個(gè)目標(biāo)人的三維人體數(shù)據(jù)集D及其對應(yīng)的景深集Z后，根據(jù)以下準(zhǔn)則來從多目標(biāo)中尋找當(dāng)前主目標(biāo)人c = aigmin(Z)
. _ m—λ .—?jiǎng)t主目標(biāo)人在三維成像中的坐標(biāo)位置確定為D。= {U。，Vj ,將上述坐標(biāo)位置信息作為當(dāng)前主目標(biāo)人的位置信息保存，其它目標(biāo)人則看作干擾，同時(shí)，利用確定的三維成像中的主目標(biāo)人信息確定人臉數(shù)據(jù)中的主目標(biāo)人信息。當(dāng)有新的目標(biāo)出現(xiàn)并且新目標(biāo)的景深集與當(dāng)前主目標(biāo)人的景深集滿足ZnOT <Z。時(shí)，判斷新目標(biāo)與當(dāng)前主目標(biāo)人是否產(chǎn)生人臉遮擋以確定其是新的主目標(biāo)人還是干擾源，若判斷為是新的主目標(biāo)人，則更新三維成像中的主目標(biāo)人信息和人臉數(shù)據(jù)中的主目標(biāo)人信息，否則保持原有主目標(biāo)人。當(dāng)前主目標(biāo)人突然丟失時(shí)，利用人臉數(shù)據(jù)和三維人體數(shù)據(jù)來重新找回當(dāng)前主目標(biāo)人。2)對步驟I)中所確定的主目標(biāo)人的動(dòng)作進(jìn)行跟蹤識別；在上一步中確定了當(dāng)前主目標(biāo)人后，根據(jù)當(dāng)前主目標(biāo)人的三維人體數(shù)據(jù)D。，可以得到當(dāng)前主目標(biāo)人的骨骼結(jié)構(gòu)，根據(jù)骨骼結(jié)構(gòu)的變化可以進(jìn)行當(dāng)前主目標(biāo)人的動(dòng)作識別。譬如根據(jù)骨骼變化可以識別是抬左手還是前推，還是抬右手等等，從而進(jìn)行動(dòng)作識別。對當(dāng)前主目標(biāo)人的跟蹤則根據(jù)主目標(biāo)人的景深Z。，設(shè)定一個(gè)允許的偏差值范圍，只要在當(dāng)前主目標(biāo)人的景深在其上下允許的偏差范圍之內(nèi)，則鎖定跟蹤當(dāng)前主目標(biāo)人。其中，三維人體數(shù)據(jù)是由三維攝像頭捕捉的圖像得到的，人臉數(shù)據(jù)是由RGB攝像頭捕捉的圖像得到的。上述步驟I)中的利用確定的三維成像中的主目標(biāo)人信息確定人臉數(shù)據(jù)中的主目標(biāo)人信息具體為假設(shè)主目標(biāo)人在三維成像中的位置坐標(biāo)為D。= {u。，V。}，根據(jù)三維成像的位置坐標(biāo)與RGB成像的位置坐標(biāo)的一一對應(yīng)關(guān)系，可以得到主目標(biāo)人的RGB成像的位置坐標(biāo)為 D’ c = {u’。，V’ J。其中，上述三維成像的位置坐標(biāo)與RGB成像的位置坐標(biāo)的一一對應(yīng)關(guān)系具體為用f表示攝像頭的焦距，O表示攝像頭的主點(diǎn)，Z3d表示某個(gè)坐標(biāo)點(diǎn)的三維成像的景深，Z2d表示某個(gè)坐標(biāo)點(diǎn)的RGB成像的景深,需要說明的是,理論上來講，RGB成像是不存在景深的，但是，此處用Z2d表示某個(gè)目標(biāo)點(diǎn)距離RGB攝像頭的距離。假設(shè)某個(gè)目標(biāo)點(diǎn)在三維攝像頭中的位置坐標(biāo)為{X，Y，Z}，在RGB攝像頭中的位置坐標(biāo)為{X’，Y’，Z’ }，根據(jù)針孔相機(jī)模型，該目標(biāo)點(diǎn)在三維成像中的位置坐標(biāo)和在RGB成像中的位置坐標(biāo)分別為{U3D，V31J和{U2D, V2J，于是有
權(quán)利要求
1.一種具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其特征在于，采用三維人體數(shù)據(jù)跟蹤識別和人臉數(shù)據(jù)跟蹤識別相結(jié)合，具體包括如下步驟 1)確定作為跟蹤和識別對象的主目標(biāo)人； 2)對步驟I)中所確定的主目標(biāo)人的動(dòng)作進(jìn)行跟蹤識別； 其中，所述步驟I)包括尋找主目標(biāo)人，當(dāng)有新的目標(biāo)出現(xiàn)時(shí)判斷所述新目標(biāo)是否為新的主目標(biāo)人，若是則更新主目標(biāo)人，否則保持原有主目標(biāo)人以及當(dāng)前主目標(biāo)人丟失時(shí)重新找回主目標(biāo)人，所述尋找主目標(biāo)人是根據(jù)三維攝像頭捕捉的三維人體數(shù)據(jù)來進(jìn)行的，所述判斷新目標(biāo)是否為新的主目標(biāo)人是采用三維攝像頭捕捉的三維人體數(shù)據(jù)和RGB攝像頭捕捉的人臉數(shù)據(jù)相結(jié)合進(jìn)行的，所述重新找回主目標(biāo)人是采用三維攝像頭捕捉的三維人體數(shù)據(jù)和RGB攝像頭捕捉的人臉數(shù)據(jù)相結(jié)合進(jìn)行的。
2.如權(quán)利要求I所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其 中，所述三維人體數(shù)據(jù)是由三維攝像頭捕捉的圖像得到的，人臉數(shù)據(jù)是由RGB攝像頭捕捉的圖像得到的。
3.如權(quán)利要求2所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，所述步驟I)中的所述尋找主目標(biāo)人是以所述三維攝像頭捕捉到的多個(gè)目標(biāo)人體的三維數(shù)據(jù)集合中所對應(yīng)的景深最小的三維數(shù)據(jù)所對應(yīng)的目標(biāo)人體作為主目標(biāo)人的。
4.如權(quán)利要求3所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，所述步驟I)中的所述判斷新目標(biāo)是否為新的主目標(biāo)人的步驟是通過兩個(gè)目標(biāo)人的人臉是否遮擋為原則來判斷的。
5.如權(quán)利要求4所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，所述重新找回主目標(biāo)人的步驟是通過重新找回主目標(biāo)人的算法來實(shí)現(xiàn)的。
6.如權(quán)利要求5所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，人臉數(shù)據(jù)跟蹤識別中的主目標(biāo)人的確定是由所述步驟I)中由三維攝像頭捕捉的三維人體數(shù)據(jù)所確定的主目標(biāo)人在三維成像中的位置信息再根據(jù)三維成像的位置坐標(biāo)與RGB成像的位置坐標(biāo)的一一對應(yīng)關(guān)系得到主目標(biāo)人的RGB成像的位置坐標(biāo)，再經(jīng)過人臉檢測得到人臉位置信息和人臉大小信息而實(shí)現(xiàn)的。
7.如權(quán)利要求6所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，所述人臉是否遮擋是以新目標(biāo)人與攝像頭的距離是否小于主目標(biāo)人與攝像頭的距離并且兩個(gè)目標(biāo)人的臉部在水平面上是否重疊為原則來判斷的。
8.如權(quán)利要求7所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，所述重新找回主目標(biāo)人的算法是根據(jù)主目標(biāo)人的RGB成像在跟蹤識別中的大小的變化估算出主目標(biāo)人與RGB攝像頭之間的距離，從而進(jìn)一步得到目標(biāo)人的三維成像的位置坐標(biāo)來實(shí)現(xiàn)的。
9.如權(quán)利要求8所述的具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，其中，當(dāng)出現(xiàn)新的目標(biāo)并且經(jīng)過人臉是否遮擋判斷所述新的目標(biāo)為主目標(biāo)人時(shí)，更新所述三維人體數(shù)據(jù)中的主目標(biāo)人信息和人臉數(shù)據(jù)中的主目標(biāo)人信息。
全文摘要
本發(fā)明公開了一種具有密集人流中抗干擾功能的人體三維數(shù)據(jù)跟蹤識別方法，該方法通過三維人體數(shù)據(jù)跟蹤識別和二維人臉位置信息跟蹤識別相結(jié)合，確定主目標(biāo)人后，對主目標(biāo)人體的動(dòng)作進(jìn)行跟蹤識別。其中對主目標(biāo)人的確定包括尋找當(dāng)前主目標(biāo)人、當(dāng)有新目標(biāo)出現(xiàn)時(shí)判斷新目標(biāo)是否為主目標(biāo)人，若是則更新當(dāng)前主目標(biāo)人以及若當(dāng)前主目標(biāo)人丟失時(shí)重新找回當(dāng)前主目標(biāo)人。本發(fā)明的方法使得三維人體數(shù)據(jù)跟蹤識別在密集人流的公共場合，能夠穩(wěn)定的鎖定主目標(biāo)人，將背景和圍觀的人群有效地區(qū)分開，從而保證跟蹤識別在密集人流的多目標(biāo)背景下具有抗干擾功能。
文檔編號G06K9/00GK102968615SQ201210413380
公開日2013年3月13日 申請日期2012年10月25日 優(yōu)先權(quán)日2012年10月25日
發(fā)明者馮偉, 馮鏡洋 申請人:上海威鏡信息科技有限公司