專利名稱：一種目標(biāo)識(shí)別方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種目標(biāo)識(shí)別方法和設(shè)備。
背景技術(shù)：
在現(xiàn)有的人機(jī)交互設(shè)備(例如智能電視)中，用戶可以和智能電視進(jìn)行簡(jiǎn)單的人機(jī)交互。在人機(jī)交互設(shè)備中，往往涉及目標(biāo)動(dòng)作識(shí)別技術(shù)，人機(jī)交互設(shè)備通過識(shí)別目標(biāo)動(dòng)作 (例如手勢(shì))來響應(yīng)用戶的控制?，F(xiàn)有的目標(biāo)識(shí)別方法往往是通過二維圖像的處理來識(shí)別人的肢體動(dòng)作，但由于二維圖像難以全面、準(zhǔn)確地反映實(shí)際的事物，因此該方法難以準(zhǔn)確區(qū)分目標(biāo)以及識(shí)別人的肢體動(dòng)作，誤識(shí)別概率較大。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種目標(biāo)識(shí)別方法，旨在解決現(xiàn)有的目標(biāo)識(shí)別方法在識(shí)別目標(biāo)動(dòng)作時(shí)，誤識(shí)別概率較大的問題。本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種目標(biāo)識(shí)別方法，所述方法包括下述步驟同步獲取深度幀序列和彩色幀序列，所述深度幀序列為深度攝像機(jī)采集的多幅深度圖；根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度幀中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)是否存在啟動(dòng)動(dòng)作；在深度幀的ROI存在啟動(dòng)動(dòng)作時(shí)，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與 ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域；保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤的目標(biāo)；在后續(xù)的深度幀中對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與所述后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域；獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。本發(fā)明實(shí)施例的另一目的在于提供一種目標(biāo)動(dòng)作識(shí)別設(shè)備，所述設(shè)備包括圖像獲取單元，用于同步獲取深度幀序列和彩色幀序列，所述深度幀序列為深度攝像機(jī)采集的多幅深度圖；運(yùn)動(dòng)區(qū)域判斷單元，用于根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度圖中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)是否存在啟動(dòng)動(dòng)作；肢體目標(biāo)區(qū)域判斷單元，用于在深度幀的ROI存在啟動(dòng)動(dòng)作時(shí)，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域；參數(shù)存儲(chǔ)單元，用于保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤目標(biāo)；肢體目標(biāo)區(qū)域校正單元，用于在后續(xù)的深度幀中對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與所述后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域；目標(biāo)動(dòng)作識(shí)別單元，用于獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。本發(fā)明實(shí)施例中，首先獲取一個(gè)深度圖像序列和一個(gè)彩色圖像序列，再使用深度圖像序列檢測(cè)是否存在運(yùn)動(dòng)狀態(tài)的區(qū)域以及跟蹤經(jīng)過彩色圖像序列過濾后的肢體目標(biāo)區(qū)域，使用彩色圖像序列對(duì)存在運(yùn)動(dòng)狀態(tài)的區(qū)域進(jìn)行過濾，確認(rèn)肢體目標(biāo)區(qū)域。和現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例結(jié)合使用深度圖像序列和彩色圖像序列一起檢測(cè)肢體目標(biāo)區(qū)域，因此有效提高了檢測(cè)的準(zhǔn)確性，降低了誤識(shí)別概率。


圖1是本發(fā)明第一實(shí)施例提供的目標(biāo)識(shí)別方法流程圖；圖2是本發(fā)明第二實(shí)施例提供的目標(biāo)識(shí)別方法流程圖；圖3是本發(fā)明第三實(shí)施例提供的目標(biāo)識(shí)別方法流程圖；圖4是本發(fā)明第四實(shí)施例提供的目標(biāo)識(shí)別方法流程圖；圖5是本發(fā)明第五實(shí)施例提供的目標(biāo)動(dòng)作識(shí)別設(shè)備的結(jié)構(gòu)圖；圖6是本發(fā)明第六實(shí)施例提供的目標(biāo)動(dòng)作識(shí)別設(shè)備的結(jié)構(gòu)圖；圖7是本發(fā)明第七實(shí)施例提供的目標(biāo)動(dòng)作識(shí)別設(shè)備的結(jié)構(gòu)圖；圖8是本發(fā)明第八實(shí)施例提供的目標(biāo)動(dòng)作識(shí)別設(shè)備的結(jié)構(gòu)圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。為了說明本發(fā)明所述的技術(shù)方案，下面通過具體實(shí)施例來進(jìn)行說明。實(shí)施例一圖1示出了本發(fā)明第一實(shí)施例提供的目標(biāo)識(shí)別方法的流程圖，在本實(shí)施例提供的目標(biāo)識(shí)別方法包括步驟S11，同步獲取深度幀序列和彩色幀序列，該深度幀序列為深度攝像機(jī)采集的多幅深度圖。在本實(shí)施例中，使用深度攝像機(jī)每秒采集大于10幀的深度圖，通常每秒鐘采集25 幀深度圖，每幅深度圖都按照順序遞增編號(hào)，這些具有遞增編號(hào)的多幅深度圖組成深度幀序列。在本實(shí)施例中，使用普通攝像機(jī)或者深度攝像機(jī)采集彩色圖，采集彩色圖的頻率與采集深度圖的頻率相同，且與采集的深度圖為同一場(chǎng)景，每一幅彩色圖同樣按照順序遞增編號(hào)，具有遞增編號(hào)的多幅彩色圖組成彩色幀序列。步驟S12，根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度幀中預(yù)設(shè)的感興趣區(qū)域(Region of Interest, R0I)內(nèi)是否存在啟動(dòng)動(dòng)作，如果否，執(zhí)行步驟S13，如果是，執(zhí)行步驟S14。在本實(shí)施例根據(jù)深度值確定運(yùn)動(dòng)狀態(tài)，通過獲取的相鄰前、后兩幅深度圖中感興趣區(qū)域的深度值變化，判斷深度值變化是否滿足預(yù)設(shè)的條件，若滿足，則判斷后一幅深度幀中ROI內(nèi)存在啟動(dòng)動(dòng)作，執(zhí)行步驟S14。若判斷ROI內(nèi)不存在啟動(dòng)動(dòng)作，執(zhí)行步驟S13。在本實(shí)施例中，ROI可以根據(jù)識(shí)別的目標(biāo)所在的位置來靈活確定，例如識(shí)別的目標(biāo)為人的頭部，則該區(qū)域可以為頭部所在的合理區(qū)域。若識(shí)別的目標(biāo)為腳部，則該區(qū)域可以為腳部所在的合理區(qū)域。區(qū)域的形狀可以為方形或圓形。另外，啟動(dòng)動(dòng)作可以包括不同的肢體目標(biāo)(包括但不限于人手目標(biāo)、人的腳部目標(biāo)和人的頭部目標(biāo)等)的動(dòng)作，例如人的頭部動(dòng)作、腳部動(dòng)作、手部動(dòng)作中的一種或幾種等，即檢測(cè)到人的頭部的預(yù)設(shè)動(dòng)作、腳部預(yù)設(shè)動(dòng)作、手部的預(yù)設(shè)動(dòng)作后均可以啟動(dòng)進(jìn)一步的識(shí)別過程(步驟S14)。步驟S13，繼續(xù)監(jiān)測(cè)。在本實(shí)施例中，若判斷前一個(gè)深度幀不存在啟動(dòng)動(dòng)作，則繼續(xù)監(jiān)測(cè)下一幀。步驟S14，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域。在本實(shí)施例中，不同的識(shí)別目標(biāo)對(duì)應(yīng)不同的肢體目標(biāo)模型，例如識(shí)別目標(biāo)為人的頭部，則該肢體目標(biāo)模型可以為頭部模型，對(duì)應(yīng)的肢體目標(biāo)區(qū)域?yàn)轭^部區(qū)域。若識(shí)別的目標(biāo)為腳部，則該肢體目標(biāo)模型可以為腳部模型，對(duì)應(yīng)的肢體目標(biāo)區(qū)域?yàn)槟_部區(qū)域。若該識(shí)別的目標(biāo)為手部，則該肢體目標(biāo)模型可以為人手模型，對(duì)應(yīng)的肢體目標(biāo)區(qū)域?yàn)槿耸謪^(qū)域。在本實(shí)施例中，當(dāng)存在啟動(dòng)動(dòng)作的ROI包括非肢體目標(biāo)區(qū)域時(shí)，如包含與人體膚色不同的非肢體目標(biāo)區(qū)域時(shí)，在彩色幀中的同一個(gè)區(qū)域可以先檢測(cè)出非肢體目標(biāo)區(qū)域，縮小檢測(cè)范圍，減少計(jì)算量。當(dāng)包含的非肢體目標(biāo)區(qū)域?yàn)榘逝c人體膚色不同的區(qū)域時(shí)， 可通過膚色模型檢測(cè)出與人體膚色不同的色彩，并丟棄該色彩所在的區(qū)域，縮小檢測(cè)范圍。 在本實(shí)施例中，由于深度圖像序列只需根據(jù)深度值就能確定運(yùn)動(dòng)狀態(tài)的區(qū)域，過濾非運(yùn)動(dòng)狀態(tài)的區(qū)域，使得彩色圖像序列在確認(rèn)肢體目標(biāo)區(qū)域時(shí)避免了整幅圖像的計(jì)算，優(yōu)化了算法，使計(jì)算更簡(jiǎn)單。步驟S15，保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤目標(biāo)。在本實(shí)施例中，當(dāng)獲取肢體目標(biāo)區(qū)域后，保存該肢體目標(biāo)區(qū)域的特征集合參數(shù)。步驟S16，在后續(xù)的深度幀中對(duì)該跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與該后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域。本實(shí)施例中，在獲取一個(gè)肢體目標(biāo)區(qū)域后，繼續(xù)在后續(xù)的深度幀序列中跟蹤獲取的肢體目標(biāo)區(qū)域，并不斷在彩色幀序列的相應(yīng)區(qū)域校正，提高肢體目標(biāo)區(qū)域判定的準(zhǔn)確度。如果跟蹤肢體目標(biāo)區(qū)域失敗，則返回步驟S12，重新確定跟蹤目標(biāo)。例如，在跟蹤人手目標(biāo)失敗后，返回S12，重新確定人的頭部或腳部作為跟蹤目標(biāo)來識(shí)別。步驟S17,獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。本實(shí)施例中，每次目標(biāo)運(yùn)動(dòng)后記錄下這次運(yùn)動(dòng)所形成的一組坐標(biāo)值，獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，根據(jù)獲取的多個(gè)坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，再根據(jù)判定的結(jié)果識(shí)別目標(biāo)動(dòng)作，以便執(zhí)行相應(yīng)的操作。在本發(fā)明第一實(shí)施例中，首先獲取一個(gè)深度圖像序列和一個(gè)彩色圖像序列，再使用深度圖像序列檢測(cè)是否存在運(yùn)動(dòng)狀態(tài)的區(qū)域以及跟蹤經(jīng)過彩色圖像序列過濾后的肢體目標(biāo)區(qū)域，使用彩色圖像序列對(duì)存在運(yùn)動(dòng)狀態(tài)的區(qū)域進(jìn)行過濾，確認(rèn)肢體目標(biāo)區(qū)域。由于使用深度圖像序列和彩色圖像序列一起檢測(cè)肢體目標(biāo)區(qū)域，因此有效提高了檢測(cè)的準(zhǔn)確性， 降低了誤識(shí)別概率。實(shí)施例二 圖2示出了本發(fā)明二實(shí)施例提供的目標(biāo)識(shí)別方法的流程，在本實(shí)施例中，主要對(duì)實(shí)施例一的步驟S12進(jìn)行更詳細(xì)的描述，本實(shí)施例二提供的目標(biāo)識(shí)別方法主要包括步驟S21，同步獲取深度幀序列和彩色幀序列，該深度幀序列為深度攝像機(jī)采集的多幅深度圖。在本實(shí)施例中，步驟S21的執(zhí)行過程和上述實(shí)施例一中的步驟Sll的執(zhí)行過程相同，在此不再重復(fù)描述。步驟S22，分別獲取前、后兩個(gè)深度幀中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)的深度值組，并計(jì)算所述前、后兩個(gè)深度幀的深度值組的差。在本實(shí)施例中，獲取前幅深度圖中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)的深度值組和后幅深度圖中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)的深度值組，并計(jì)算上述前、后兩個(gè)深度幀的深度值組的差。在ROI內(nèi)存在多個(gè)深度值，該多個(gè)深度值組成了一個(gè)深度值組，通過獲取前幅深度圖中 ROI內(nèi)的深度值組和后幅深度圖中ROI內(nèi)的深度值組，能夠計(jì)算上述兩個(gè)深度值組的差值。步驟S23，判斷獲取的深度值組的差是否滿足預(yù)設(shè)的啟動(dòng)條件，如果否，執(zhí)行步驟 S24，如果是，執(zhí)行步驟S25。當(dāng)深度值組的差值滿足預(yù)設(shè)啟動(dòng)條件時(shí)，判定后一幅深度圖中ROI內(nèi)存在啟動(dòng)動(dòng)作，否則，判定后一幅深度圖中ROI內(nèi)不存在啟動(dòng)動(dòng)作。在本實(shí)施例中，預(yù)設(shè)的啟動(dòng)條件為一個(gè)集合，計(jì)算前一個(gè)深度幀的所有深度值和當(dāng)前深度幀的所有深度值的差值，并判斷計(jì)算的差值是否包含存在該預(yù)設(shè)啟用條件的集合內(nèi)的差值。比如，檢測(cè)一個(gè)ROI是否有啟動(dòng)動(dòng)作，是通過比較相鄰前、后兩個(gè)深度幀的所有深度值來判斷的。假設(shè)前一個(gè)深度幀的一個(gè)深度值為DEPTHpm(X，y, z)，深度值組為 DEPTHpre[x, y，ζ]，當(dāng)前深度幀的一個(gè)深度值為DEPTHn。w(x，y，ζ)，深度值組為DEPTHnw[x，y, ζ]，深度幀的一個(gè)變化值為DEPTH。(x, y，ζ)，變化值組為DEPTHjx，y，ζ]，預(yù)設(shè)啟動(dòng)條件的集合為 SARTUP (D)，則DEPTHc[X，y, z] = DEPTHnow[χ, y, ζ]-DEPTHpre [χ, y, ζ]當(dāng)DEPTHc[χ, y，ζ]至少存在一個(gè) DEPTHc(χ，y，ζ) e SARTUP (D)時(shí)，表示該 ROI 內(nèi)存在啟動(dòng)動(dòng)作。步驟S24，繼續(xù)監(jiān)測(cè)。步驟S25，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域。步驟S26，保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤目標(biāo)。在后續(xù)的深度幀序列和彩色幀序列中執(zhí)行下述步驟S27 步驟S27，在后續(xù)的深度幀中對(duì)該跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與該后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域。步驟S28，獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。在本實(shí)施例中，步驟S24-S28的執(zhí)行過程和上述實(shí)施例一中的步驟S13-S17的執(zhí)行過程相同，在此不再重復(fù)描述。在本發(fā)明第二實(shí)施例中，通過獲取前、后兩個(gè)深度幀中ROI內(nèi)的深度值組來獲取該前、后兩個(gè)深度幀的深度值組的差，并將獲取的深度值組的差與預(yù)設(shè)的啟動(dòng)條件比較，可以判斷ROI內(nèi)是否存在啟動(dòng)動(dòng)作。由于相同區(qū)域內(nèi)的深度值的差能夠反映該區(qū)域內(nèi)的運(yùn)動(dòng)狀態(tài)，因此本實(shí)施例能夠獲取較準(zhǔn)確的檢測(cè)結(jié)果。實(shí)施例三圖3示出了本發(fā)明第三實(shí)施例提供的目標(biāo)識(shí)別方法流程，在本實(shí)施例中選擇的肢體目標(biāo)為人手，本實(shí)施例主要對(duì)實(shí)施例一的步驟S15、實(shí)施例二的步驟S26以及實(shí)施例一的步驟S16、實(shí)施例二的步驟S27進(jìn)行更詳細(xì)的描述步驟S31，同步獲取深度幀序列和彩色幀序列，該深度幀序列為深度攝像機(jī)采集的多幅深度圖。步驟S32，根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度圖中預(yù)設(shè)的感興趣區(qū)域內(nèi)是否存在啟動(dòng)動(dòng)作，如果否，執(zhí)行步驟S33，如果是，執(zhí)行步驟 S34。步驟S33，繼續(xù)監(jiān)測(cè)。在本實(shí)施例中，步驟S31 S33的執(zhí)行過程和上述實(shí)施例一中的步驟Sll S13 的執(zhí)行過程相同，在此不再重復(fù)描述。在本實(shí)施例中，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域的過程(實(shí)施例一中的步驟 S14和二中的步驟S2Q具體包括S34-36。步驟S34，根據(jù)膚色模型檢測(cè)同步的彩色幀中相同的區(qū)域是否符合膚色模型。本實(shí)施例中，肢體目標(biāo)模型包括膚色模型和特征模型。其中，膚色模型是將彩色空間中的膚色與其他顏色區(qū)別開來的一種數(shù)學(xué)關(guān)系模型，它用一種代數(shù)或查表形式來表達(dá)哪些像素的色彩屬于膚色，或是表征出某一像素的色彩與膚色的相似度。本實(shí)施例將彩色幀先轉(zhuǎn)換到chromatic顏色空間，利用在chromatic空間建立的膚色模型把膚色從圖像中分割出來，然后判斷是否滿足預(yù)設(shè)的膚色模型，若滿足，則執(zhí)行S35，若不滿足則繼續(xù)監(jiān)測(cè)。其中，chromatic顏色空間對(duì)亮度變化有較強(qiáng)的適應(yīng)性，彩色幀(RGB圖像)投影
到chromatic顏色空間的公式為
權(quán)利要求
1.一種目標(biāo)識(shí)別方法，其特征在于，所述方法包括下述步驟同步獲取深度幀序列和彩色幀序列，所述深度幀序列為深度攝像機(jī)采集的多幅深度圖；根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度幀中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)是否存在啟動(dòng)動(dòng)作；在深度幀的ROI存在啟動(dòng)動(dòng)作時(shí)，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI 相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域；保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤目標(biāo)；在后續(xù)的深度幀中對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與所述后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域；獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向， 并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。
2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度圖中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)是否存在啟動(dòng)動(dòng)作的步驟包括分別獲取前、后兩個(gè)深度幀中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)的深度值組，并計(jì)算所述前、后兩個(gè)深度幀的深度值組的差；判斷獲取的深度值組的差是否滿足預(yù)設(shè)的啟動(dòng)條件，在滿足預(yù)設(shè)的啟動(dòng)條件時(shí)，判定所述ROI存在啟動(dòng)動(dòng)作，否則，不存在啟動(dòng)動(dòng)作。
3.如權(quán)利要求1所述的方法，其特征在于，所述肢體目標(biāo)模型包括膚色模型和特征模型，所述肢體目標(biāo)區(qū)域的特征集合參數(shù)包括目標(biāo)膚色范圍值，目標(biāo)形狀參數(shù)；所述在深度幀的ROI存在啟動(dòng)動(dòng)作時(shí)，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與 ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域的步驟具體為根據(jù)所述膚色模型檢測(cè)同步的彩色幀中相同的區(qū)域是否符合膚色模型； 根據(jù)所述特征模型檢測(cè)符合所述膚色模型的區(qū)域是否符合特征模型； 將符合特征模型的區(qū)域判定為肢體目標(biāo)區(qū)域。
4.如權(quán)利要求1所述的方法，其特征在于，
5.如權(quán)利要求1所述的方法，其特征在于，所述獲取每一個(gè)肢體目標(biāo)區(qū)域的坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作的步驟包括獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，從獲取的坐標(biāo)值中獲取最大的深度值和最小的深度值，并計(jì)算所述最大的深度值和最小的深度值的差；判斷所述最大的深度值和最小的深度值的差是否大于所述預(yù)設(shè)的差值閾值；若最大的深度值和最小的深度值的差大于所述預(yù)設(shè)的差值閾值，則判定目標(biāo)動(dòng)作的方向是前后方向，否則判定目標(biāo)動(dòng)作的方向是平面方向。
6.如權(quán)利要求5所述的方法，其特征在于，在判定目標(biāo)動(dòng)作的方向是平面方向時(shí)，以獲取的所有坐標(biāo)的橫坐標(biāo)χ值和縱坐標(biāo)y值擬合一條直線；判斷所述直線與χ軸正半軸的夾角是否在所述兩個(gè)預(yù)設(shè)的夾角閾值之間，若在所述兩個(gè)預(yù)設(shè)的夾角閾值之間，則判定目標(biāo)動(dòng)作的方向是上下方向，否則，判定目標(biāo)動(dòng)作的方向是左右方向。
7.一種目標(biāo)動(dòng)作識(shí)別設(shè)備，其特征在于，包括圖像獲取單元，用于同步獲取深度幀序列和彩色幀序列，所述深度幀序列為深度攝像機(jī)采集的多幅深度圖；運(yùn)動(dòng)區(qū)域判斷單元，用于根據(jù)深度幀序列中相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度圖中預(yù)設(shè)的感興趣區(qū)域ROI內(nèi)是否存在啟動(dòng)動(dòng)作；肢體目標(biāo)區(qū)域判斷單元，用于在深度幀的ROI存在啟動(dòng)動(dòng)作時(shí)，根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)同步的彩色幀中與ROI相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域；參數(shù)存儲(chǔ)單元，用于保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)，并把檢測(cè)到的肢體目標(biāo)區(qū)域作為跟蹤目標(biāo)；肢體目標(biāo)區(qū)域校正單元，用于在后續(xù)的深度幀中對(duì)所述跟蹤目標(biāo)進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與所述后續(xù)的深度幀同步的彩色幀中相同的區(qū)域進(jìn)行校正，并將符合肢體目標(biāo)模型和上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)的區(qū)域判定為肢體目標(biāo)區(qū)域；目標(biāo)動(dòng)作識(shí)別單元，用于獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，依據(jù)獲取的坐標(biāo)值判斷目標(biāo)的運(yùn)動(dòng)方向，并依據(jù)目標(biāo)的運(yùn)動(dòng)方向識(shí)別目標(biāo)動(dòng)作。
8.如權(quán)利要求7所述的設(shè)備，其特征在于，所述肢體目標(biāo)模型包括膚色模型和特征模型，所述肢體目標(biāo)區(qū)域的特征集合參數(shù)包括目標(biāo)膚色范圍值，目標(biāo)形狀參數(shù)；所述肢體目標(biāo)區(qū)域判斷單元包括區(qū)域膚色檢測(cè)模塊，用于根據(jù)膚色模型檢測(cè)同步的彩色幀中相同的區(qū)域是否符合膚色模型；區(qū)域特征檢測(cè)模塊，用于根據(jù)特征模型檢測(cè)符合膚色模型的區(qū)域是否符合特征模型； 肢體目標(biāo)區(qū)域判定模塊，用于將符合特征模型的區(qū)域判定為肢體目標(biāo)區(qū)域。
9.如權(quán)利要求7所述的設(shè)備，其特征在于，所述目標(biāo)動(dòng)作識(shí)別單元包括深度差確定模塊，用于獲取每一個(gè)肢體目標(biāo)區(qū)域中的所有坐標(biāo)值，從獲取的坐標(biāo)值中獲取最大的深度值和最小的深度值，并計(jì)算所述最大的深度值和最小的深度值的差；深度差判斷模塊，用于判斷所述最大的深度值和最小的深度值的差是否大于所述預(yù)設(shè)的差值閾值；方向判斷模塊，用于在最大的深度值和最小的深度值的差大于所述預(yù)設(shè)的差值閾值時(shí)，判定目標(biāo)動(dòng)作的方向是前后方向，否則判定目標(biāo)動(dòng)作的方向是平面方向。
10.如權(quán)利要求9所述的設(shè)備，其特征在于，所述方向判斷模塊包括前后方向判斷子模塊，用于在最大的深度值和最小的深度值的差大于所述預(yù)設(shè)的差值閾值時(shí)，判定目標(biāo)動(dòng)作的方向是前后方向；平面方向判斷子模塊，用于在最大的深度值和最小的深度值的不大于所述預(yù)設(shè)的差值閾值時(shí)，判定目標(biāo)動(dòng)作的方向是平面方向，并以獲取的所有坐標(biāo)的橫坐標(biāo)χ值和縱坐標(biāo)y值擬合一條直線，進(jìn)一步判斷所述直線與χ軸正半軸的夾角是否在所述兩個(gè)預(yù)設(shè)的夾角閾值之間，若在所述兩個(gè)預(yù)設(shè)的夾角閾值之間，則判定目標(biāo)動(dòng)作的方向是上下方向，否則，判定目標(biāo)動(dòng)作的方向是左右方向。
全文摘要
本發(fā)明適用于電子領(lǐng)域，提供了目標(biāo)識(shí)別方法和設(shè)備，所述方法包括根據(jù)深度幀序列相鄰前、后兩幅深度圖的深度值的變化判斷后一幅深度圖中ROI內(nèi)是否存在啟動(dòng)動(dòng)作；根據(jù)預(yù)設(shè)的肢體目標(biāo)模型對(duì)彩色幀相同的區(qū)域進(jìn)行檢測(cè)，并將符合肢體目標(biāo)模型的區(qū)域判定為肢體目標(biāo)區(qū)域；保存判定為肢體目標(biāo)區(qū)域的特征集合參數(shù)；在深度幀中對(duì)前一個(gè)彩色幀判定為肢體目標(biāo)區(qū)域的區(qū)域進(jìn)行跟蹤，并使用預(yù)設(shè)的肢體目標(biāo)模型以及保存的上一個(gè)肢體目標(biāo)區(qū)域的特征集合參數(shù)對(duì)與該深度幀對(duì)應(yīng)的彩色幀中相同的區(qū)域進(jìn)行檢測(cè)，以獲取肢體目標(biāo)區(qū)域；獲取每一個(gè)肢體目標(biāo)區(qū)域的坐標(biāo)值，依據(jù)獲取的坐標(biāo)值識(shí)別目標(biāo)動(dòng)作。本發(fā)明實(shí)施例由于使用深度圖像序列和彩色圖像序列一起檢測(cè)肢體目標(biāo)區(qū)域，因此有效提高了檢測(cè)的準(zhǔn)確性。
文檔編號(hào)G06K9/32GK102509074SQ201110317260
公開日2012年6月20日 申請(qǐng)日期2011年10月18日 優(yōu)先權(quán)日2011年10月18日
發(fā)明者李相濤 申請(qǐng)人:Tcl集團(tuán)股份有限公司