一種三維姿態(tài)識(shí)別方法及系統(tǒng)的制作方法
【專(zhuān)利摘要】本申請(qǐng)?zhí)峁┝艘环N三維姿態(tài)識(shí)別方法及系統(tǒng)，獲取多個(gè)視角的目標(biāo)圖像幀序列，目標(biāo)圖像幀序列中包括待識(shí)別的目標(biāo)圖像幀；分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序列；從預(yù)存的多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列；基于預(yù)存的與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，從各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息；通過(guò)二維姿態(tài)信息確定三維姿態(tài)信息。本申請(qǐng)可應(yīng)用于室外大型運(yùn)動(dòng)場(chǎng)景，且提升了姿態(tài)識(shí)別的識(shí)別率。
【專(zhuān)利說(shuō)明】
一種三維姿態(tài)識(shí)別方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，尤其涉及一種三維姿態(tài)識(shí)別方 法及系統(tǒng)。
【背景技術(shù)】
[0002] 近年來(lái)，姿態(tài)識(shí)別逐漸成為計(jì)算機(jī)視覺(jué)與計(jì)算機(jī)圖形學(xué)領(lǐng)域的熱點(diǎn)問(wèn)題，廣泛應(yīng) 用于游戲、電影與監(jiān)控等場(chǎng)景。現(xiàn)有技術(shù)中的姿態(tài)識(shí)別方法有多種，目前較為典型的有基于 機(jī)器學(xué)習(xí)的姿態(tài)識(shí)別方法，但是，基于機(jī)器學(xué)習(xí)的姿態(tài)識(shí)別方法需要采集各個(gè)視角的高分 辨率圖像。
[0003] 然而，在室外大型運(yùn)動(dòng)場(chǎng)景中采集圖像時(shí)，采集的圖像中人物所占的像素通常較 少，即圖像中人物的分辨率比較低，這就導(dǎo)致針對(duì)室外大型運(yùn)動(dòng)場(chǎng)景采用基于機(jī)器學(xué)習(xí)的 姿態(tài)識(shí)別方法進(jìn)行姿態(tài)識(shí)別時(shí)的識(shí)別率較低。
【發(fā)明內(nèi)容】
[0004] 有鑒于此，本發(fā)明提供了一種三維姿態(tài)識(shí)別方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中的 姿態(tài)識(shí)別方法在針對(duì)室外大型運(yùn)動(dòng)場(chǎng)景進(jìn)行姿態(tài)識(shí)別時(shí)的識(shí)別率較低的問(wèn)題，其技術(shù)方案 如下：
[0005] -種三維姿態(tài)識(shí)別方法，預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓 圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，所述三維姿態(tài)識(shí)別方法包括：
[0006] 獲取多個(gè)視角的目標(biāo)圖像幀序列，其中，所述多個(gè)視角的目標(biāo)圖像幀序列按相同 的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo)圖像幀序列中包括各個(gè)視角的待識(shí)別的目標(biāo)圖像 幀；
[0007] 分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像 幀序列；
[0008] 從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中，分別確定出與所述各個(gè)視角的目標(biāo)輪 廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列；
[0009] 基于預(yù)存的所述與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別 從所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與所述目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓 圖像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息；
[0010]通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0011] 其中，所述獲取多個(gè)視角的目標(biāo)圖像幀序列，包括：
[0012] 獲取從不同視角采集的人體姿態(tài)的視頻圖像幀序列，得到多個(gè)視角的視頻圖像幀 序列作為所述多個(gè)視角的目標(biāo)圖像幀序列，所述多個(gè)視角的視頻圖像幀序列按相同的幀率 同時(shí)米集；
[0013] 或者，
[0014] 獲取從不同視角采集的人體姿態(tài)的視頻圖像幀序列，得到多個(gè)視角的視頻圖像幀 序列，所述多個(gè)視角的視頻圖像幀序列按相同的幀率同時(shí)采集；
[0015] 分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連續(xù)圖像幀序 列作為所述多個(gè)視角的目標(biāo)圖像幀序列。
[0016] 其中，所述從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中，分別確定出與所述各個(gè)視 角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像 幀序列，包括：
[0017] 從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中，分別確定與所述各個(gè)視角的目標(biāo)輪廓 圖像幀序列匹配誤差最小的參考輪廓圖像幀序列作為所述各個(gè)視角的目標(biāo)參考輪廓圖像 幀序列，
[0018] 其中，所述參考輪廓圖像幀序列與所述目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè) 圖像幀序列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，所述各個(gè)圖像 對(duì)的誤差為所述各個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。
[0019] 其中，所述目標(biāo)圖像幀序列中、所述目標(biāo)圖像幀之前的圖像幀的數(shù)量與所述目標(biāo) 圖像幀之后的圖像幀的數(shù)量相同；
[0020] 則，確定所述各個(gè)圖像對(duì)的匹配誤差的權(quán)值，具體為：
[0021] 基于正態(tài)高斯分布函數(shù)確定所述各個(gè)圖像對(duì)的匹配誤差的權(quán)值。
[0022]優(yōu)選地，所述方法還包括：
[0023]通過(guò)光流算法檢測(cè)所述各個(gè)視角的目標(biāo)圖像幀序列中是否存在滿足預(yù)設(shè)條件的 兩幀圖像，其中，所述預(yù)設(shè)條件為所述兩幀圖像中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)；
[0024]當(dāng)所述各個(gè)視角的目標(biāo)圖像幀序列中存在滿足所述預(yù)設(shè)條件的兩幀圖像時(shí)，判斷 所述目標(biāo)圖像幀是否位于所述滿足預(yù)設(shè)條件的兩幀圖像之后；
[0025]當(dāng)所述目標(biāo)圖像幀位于所述滿足預(yù)設(shè)條件的兩幀圖像之后時(shí)，基于所述滿足預(yù)設(shè) 條件的兩幀圖像對(duì)所述二維姿態(tài)信息進(jìn)行校正；
[0026]則所述通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息，具體為:通過(guò)校正 后的二維姿態(tài)信息確定三維姿態(tài)信息。
[0027] 一種三維姿態(tài)識(shí)別系統(tǒng)，所述系統(tǒng)包括:第一處理設(shè)備和第二處理設(shè)備；
[0028] 所述第一處理設(shè)備，用于獲取多個(gè)視角的目標(biāo)圖像幀序列，分別對(duì)各個(gè)視角的目 標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序列，其中，所述多個(gè)視角的 目標(biāo)圖像幀序列按相同的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo)圖像幀序列中包括各個(gè)視角 的待識(shí)別的目標(biāo)圖像幀；
[0029] 第二處理設(shè)備，用于預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓圖像 幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，在進(jìn)行姿態(tài)識(shí)別時(shí)，從預(yù)存的所述多個(gè)參考輪廓圖 像幀序列中，分別確定出與所述各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序 列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，基于預(yù)存的所述與各個(gè)參考輪廓圖像幀序列 中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別從所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出 與所述目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信 息，通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0030] 所述系統(tǒng)還包括:圖像采集設(shè)備，所述圖像采集設(shè)備包括多個(gè)圖像采集子設(shè)備； [0031]所述第一處理設(shè)備包括多個(gè)處理子設(shè)備，所述圖像采集子設(shè)備和所述處理子設(shè)備 --對(duì)應(yīng)；
[0032] 所述圖像采集設(shè)備，用于通過(guò)所述多個(gè)圖像采集子設(shè)備從不同視角采集人體姿態(tài) 的視頻圖像幀序列，其中，每個(gè)圖像采集子設(shè)備采集一個(gè)視角的視頻圖像幀序列，所述多個(gè) 圖像采集子設(shè)備同步觸發(fā)并按相同的幀率采集圖像；
[0033] 則所述第一處理設(shè)備，具體用于從所述圖像采集設(shè)備獲得多個(gè)視角的視頻圖像幀 序列作為所述多個(gè)視角的目標(biāo)圖像幀序列，或者，先從所述圖像采集設(shè)備獲得多個(gè)視角的 視頻圖像幀序列，然后分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連 續(xù)圖像幀序列作為所述多個(gè)視角的目標(biāo)圖像幀序列。
[0034] 其中，所述第二處理設(shè)備，具體用于從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中分 別確定與所述各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配誤差最小的參考輪廓圖像幀序列作為 所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列；
[0035] 其中，所述參考輪廓圖像幀序列與所述目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè) 圖像幀序列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，所述各個(gè)圖像 對(duì)的誤差為所述各個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。
[0036] 其中，所述目標(biāo)圖像幀序列中、所述目標(biāo)圖像幀之前的圖像幀的數(shù)量與所述目標(biāo) 圖像幀之后的圖像幀的數(shù)量相同；
[0037]則所述第二處理設(shè)備，具體用于基于正態(tài)高斯分布函數(shù)確定所述各個(gè)圖像對(duì)的匹 配誤差的權(quán)值。
[0038] 其中，所述第一處理設(shè)備，還用于通過(guò)光流算法檢測(cè)所述各個(gè)視角的目標(biāo)圖像幀 序列中是否存在滿足預(yù)設(shè)條件的兩幀圖像，當(dāng)所述各個(gè)視角的目標(biāo)圖像幀序列中存在滿足 預(yù)設(shè)條件的兩幀圖像時(shí)，判斷所述目標(biāo)圖像幀是否位于所述滿足預(yù)設(shè)條件的兩幀圖像之 后，其中，所述預(yù)設(shè)條件為所述兩幀圖像中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)；
[0039] 則所述第二處理設(shè)備，還用于當(dāng)所述目標(biāo)圖像幀位于所述滿足預(yù)設(shè)條件的兩幀圖 像之后時(shí)，基于所述滿足預(yù)設(shè)條件的兩幀圖像對(duì)所述二維姿態(tài)信息進(jìn)行校正，并通過(guò)校正 后的各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0040] 上述技術(shù)方案具有如下有益效果：
[0041] 本發(fā)明提供的三維姿態(tài)識(shí)別方法及系統(tǒng)，在獲得各個(gè)視角的目標(biāo)圖像幀序列之 后，分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序 列，然后從預(yù)存多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角的目標(biāo)輪廓圖像幀序 列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，進(jìn)而基于與各個(gè) 參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別從各個(gè)視角的目標(biāo)參考輪廓圖像 幀序列中確定出與目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息作為各個(gè)視角的 二維姿態(tài)信息，最后通過(guò)各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。由此可見(jiàn)，本發(fā)明實(shí) 施例提供的三維姿態(tài)識(shí)別方法及系統(tǒng)，并不直接通過(guò)獲取的圖像幀進(jìn)行姿態(tài)識(shí)別，而是先 從圖像幀中提取輪廓信息，然后基于輪廓信息識(shí)別姿態(tài)，即本發(fā)明對(duì)圖像幀的分辨率沒(méi)有 嚴(yán)格的要求，這使得本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法及系統(tǒng)可應(yīng)用于室外大型運(yùn)動(dòng) 場(chǎng)景，且與現(xiàn)有技術(shù)相比，提升了姿態(tài)識(shí)別的識(shí)別率。
【附圖說(shuō)明】
[0042]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本 發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù) 提供的附圖獲得其他的附圖。
[0043]圖1為本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法一流程示意圖；
[0044] 圖2為本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法另一流程示意圖；
[0045] 圖3為本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0046] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0047] 本發(fā)明實(shí)施例提供了一種三維姿態(tài)識(shí)別方法，預(yù)存多個(gè)參考輪廓圖像幀序列，并 預(yù)存與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，該三維姿態(tài)識(shí)別方法包 括：
[0048]步驟S101:獲取多個(gè)視角的目標(biāo)圖像幀序列。
[0049] 其中，多個(gè)視角的目標(biāo)圖像幀序列按相同的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo) 圖像幀序列中包括各個(gè)視角的待識(shí)別的目標(biāo)圖像幀。
[0050] 步驟S102:分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目 標(biāo)輪廓圖像幀序列。
[0051] 步驟S103:從預(yù)存的多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角的目標(biāo) 輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列。
[0052] 步驟S104:基于預(yù)存的與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信 息，分別從各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖 像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息。
[0053]步驟S105:通過(guò)各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0054]本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法，在獲得各個(gè)視角的目標(biāo)圖像幀序列之 后，分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序 列，然后從多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角的目標(biāo)輪廓圖像幀序列匹 配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，進(jìn)而基于預(yù)存的與各 個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別從各個(gè)視角的目標(biāo)參考輪廓圖 像幀序列中確定出與目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息作為各個(gè)視角 的二維姿態(tài)信息，最后通過(guò)各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。由此可見(jiàn)，本發(fā)明 實(shí)施例提供的三維姿態(tài)識(shí)別方法，并不直接通過(guò)獲取的圖像幀進(jìn)行姿態(tài)識(shí)別，而是先從圖 像幀中提取輪廓信息，然后基于輪廓信息識(shí)別姿態(tài)，即本發(fā)明對(duì)圖像幀的分辨率沒(méi)有嚴(yán)格 的要求，這使得本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法可應(yīng)用于室外大型運(yùn)動(dòng)場(chǎng)景，且與 現(xiàn)有技術(shù)相比，提升了姿態(tài)識(shí)別的識(shí)別率。
[0055]可以理解的是，在某些時(shí)候，可能存在不同的姿態(tài)對(duì)應(yīng)相同輪廓的情況，此時(shí)，基 于目標(biāo)輪廓圖像幀序列進(jìn)行后續(xù)的二維姿態(tài)信息確定時(shí)，確定出的二維姿態(tài)信息可能是錯(cuò) 誤的，基于上述考慮，本發(fā)明實(shí)施例提供了另一種三維姿態(tài)識(shí)別方法，該方法同樣需要預(yù)存 多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信 息，該三維姿態(tài)識(shí)別方法包括：
[0056] 步驟S201:獲取多個(gè)視角的目標(biāo)圖像幀序列。
[0057] 其中，多個(gè)視角的目標(biāo)圖像幀序列按相同的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo) 圖像幀序列中包括各個(gè)視角的待識(shí)別的目標(biāo)圖像幀。
[0058]步驟S202:分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目 標(biāo)輪廓圖像幀序列。
[0059] 步驟S203:從預(yù)存的多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角的目標(biāo) 輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列。
[0060] 步驟S204:基于預(yù)存的與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信 息，分別從各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖 像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息。
[0061] 步驟S205:通過(guò)光流算法檢測(cè)各個(gè)視角的目標(biāo)圖像幀序列中是否存在滿足預(yù)設(shè)條 件的兩幀圖像，如果是，則執(zhí)行步驟S206a，如果否，則執(zhí)行步驟S206b。
[0062] 其中，預(yù)設(shè)條件為兩幀圖像中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)。
[0063] 步驟S206a:判斷目標(biāo)圖像幀是否位于滿足預(yù)設(shè)條件的兩幀圖像之后，如果是，則 執(zhí)行步驟S207a，如果否，則執(zhí)行步驟S206b。
[0064]步驟S207a:基于滿足預(yù)設(shè)條件的兩幀圖像對(duì)各個(gè)視角的二維姿態(tài)信息進(jìn)行校正， 并通過(guò)校正后的各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0065]步驟S206b:通過(guò)各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
[0066] 本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法，并不直接通過(guò)獲取的圖像幀進(jìn)行姿態(tài)識(shí) 另IJ，而是先從圖像幀中提取輪廓信息，然后基于輪廓信息識(shí)別姿態(tài)，即本發(fā)明對(duì)圖像幀的分 辨率沒(méi)有嚴(yán)格的要求，這使得本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法可應(yīng)用于室外大型運(yùn) 動(dòng)場(chǎng)景，且與現(xiàn)有技術(shù)相比，提升了姿態(tài)識(shí)別的識(shí)別率。另外，本發(fā)明還考慮到了不同的姿 態(tài)對(duì)應(yīng)相同輪廓的情況，基于這種情況提出了對(duì)應(yīng)的解決方案，使得姿態(tài)識(shí)別的識(shí)別率進(jìn) 一步提尚。
[0067] 在上述實(shí)施例中，預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓圖像幀 序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息的實(shí)現(xiàn)過(guò)程可以包括:用虛擬相機(jī)對(duì)動(dòng)作捕捉數(shù)據(jù)庫(kù)中 的網(wǎng)格模型進(jìn)行模擬拍攝，獲得多個(gè)視角的輪廓圖像幀序列作為參考輪廓圖像幀序列，然 后對(duì)各個(gè)視角的參考輪廓圖像幀序列中的各幀圖像標(biāo)記其對(duì)應(yīng)的姿態(tài)信息。
[0068] 在上述實(shí)施例中，獲取多個(gè)視角的目標(biāo)圖像幀序列的實(shí)現(xiàn)方式有多種。
[0069] 在一種可能的實(shí)現(xiàn)方式中，獲取多個(gè)視角的目標(biāo)圖像幀序列的實(shí)現(xiàn)過(guò)程為:通過(guò) 多個(gè)圖像采集設(shè)備從不同視角采集人體姿態(tài)的視頻圖像幀序列，獲得多個(gè)視角的視頻圖像 幀序列，將多個(gè)視角的視頻圖像幀序列作為多個(gè)視角的目標(biāo)圖像幀序列。
[0070] 在另一種可能的實(shí)現(xiàn)方式中，獲取多個(gè)視角的目標(biāo)圖像幀序列的實(shí)現(xiàn)過(guò)程為:通 過(guò)多個(gè)圖像采集設(shè)備從不同視角采集人體姿態(tài)的視頻圖像幀序列，獲得多個(gè)視角的視頻圖 像幀序列;分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連續(xù)圖像幀序 列，并將各個(gè)視角的視頻圖像幀序列中目標(biāo)圖像幀的部分連續(xù)圖像幀序列作為多個(gè)視角的 目標(biāo)圖像幀序列。
[0071] 其中，多個(gè)圖像采集設(shè)備同步觸發(fā)并按相同的幀率采集圖像，這使得，各個(gè)視角的 視頻圖像幀序列中圖像幀的數(shù)量是相同的，且在視頻圖像幀序列中同一位置的圖像幀是同 一姿態(tài)的各個(gè)視角的圖像幀。
[0072] 以?xún)蓚€(gè)視角為例對(duì)獲取目標(biāo)圖像幀序列的實(shí)現(xiàn)過(guò)程進(jìn)行說(shuō)明：用兩個(gè)采集設(shè)備分 別采集第一視角和第二視角的視頻圖像幀序列，具體的，通過(guò)第一圖像采集設(shè)備采集第一 視角的視頻圖像幀序列，假設(shè)該視頻圖像幀序列包括25幀圖像，通過(guò)第二圖像采集設(shè)備采 集第二視角的視頻圖像幀序列，那么第二視角的視頻圖像幀序列也包括25幀圖像。
[0073] 假設(shè)目標(biāo)圖像幀為視頻圖像幀序列中的第13幀圖像：
[0074] 在第一種實(shí)現(xiàn)方式中，直接將第一視角的整個(gè)視頻圖像幀序列和第二視角的整個(gè) 視頻圖像幀作為兩個(gè)視角的目標(biāo)圖像幀序列，即每個(gè)視角的目標(biāo)圖像幀序列均為25幀。
[0075] 在第二種實(shí)現(xiàn)方式中，從第一視角的整個(gè)圖像幀序列中選取包括目標(biāo)圖像幀的一 部分連續(xù)圖像幀作為目標(biāo)圖像幀序列，第二視角圖像幀序列幀同樣如此，優(yōu)選的，使選取的 目標(biāo)圖像幀序列中位于目標(biāo)圖像幀之前、之后的圖像幀的數(shù)量相同，或者數(shù)量差的絕對(duì)值 小于一設(shè)定閾值，例如小于2,具體的，目標(biāo)圖像幀為整個(gè)視頻圖像幀序列中的第13幀圖像， 那么可從第一視角的整個(gè)視頻圖像幀序列中選取第3幀至第23幀作為第一視角的目標(biāo)圖像 幀序列，同樣的，從第二視角的整個(gè)視頻圖像幀序列中選取第3幀至第23幀作為第二視角的 目標(biāo)圖像幀序列，即在目標(biāo)圖像幀序列中，目標(biāo)圖像幀之前有10幀圖像，目標(biāo)圖像幀之后也 有10幀圖像，當(dāng)然也可從第一視角的整個(gè)視頻圖像幀序列中選取第5幀至第23幀作為第一 視角的目標(biāo)圖像幀序列，從第二視角的整個(gè)視頻圖像幀序列中選取第5幀至第23幀作為第 二視角的目標(biāo)圖像幀序列，即在目標(biāo)圖像幀序列中，目標(biāo)圖像幀之前有8幀圖像，目標(biāo)圖像 幀之后也有10幀圖像，在實(shí)際應(yīng)用時(shí)，目標(biāo)圖像幀序列中、目標(biāo)圖像幀之前、之后圖像幀的 數(shù)量可設(shè)定，但盡可能使圖像幀之前、之后圖像幀的數(shù)量相差不多。
[0076] 在上述實(shí)施例中，從圖像幀中提取輪廓的實(shí)現(xiàn)方式有多種，在一種可能的實(shí)現(xiàn)方 式中，可直接從圖像幀中提取輪廓信息，在另一中可能的實(shí)現(xiàn)方式中，可分別從圖像中的各 個(gè)通道分量中提取輪廓信息，然后將從各個(gè)通道分量中提取的輪廓信息進(jìn)行疊加，獲得最 終的輪廓圖像幀。另外，為了提高識(shí)別率，在獲得輪廓圖像幀后，可對(duì)圖像進(jìn)行去噪處理，然 后對(duì)去噪后的輪廓圖像幀進(jìn)行圖像增強(qiáng)處理，以增強(qiáng)輪廓圖像幀中的輪廓。
[0077] 在上述實(shí)施例中，從預(yù)存的多個(gè)參考輪廓圖像幀序列中，分別確定出與各個(gè)視角 的輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列， 具體為:從預(yù)存的多個(gè)參考輪廓圖像幀序列中分別確定與各個(gè)視角的目標(biāo)輪廓圖像幀序列 匹配誤差最小的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列。
[0078] 在一種可能的實(shí)現(xiàn)方式中，預(yù)存的各個(gè)參考輪廓圖像幀序列的長(zhǎng)度與各個(gè)視角的 輪廓圖像幀序列的長(zhǎng)度相同，這樣在進(jìn)行匹配時(shí)，可直接將預(yù)存的參考輪廓圖像幀序列與 各個(gè)視角的輪廓圖像幀序列進(jìn)行匹配。例如，預(yù)存的參考輪廓圖像幀序列為5個(gè)，輪廓圖像 幀序列為兩個(gè)視角的序列，分別為第一視角的輪廓圖像幀序列和第二視角的輪廓圖像幀序 列，則將第一視角的輪廓圖像幀序列分別與5個(gè)參考輪廓圖像幀序列進(jìn)行匹配，同樣的，將 第二視角的輪廓圖像幀序列也分別與5個(gè)參考輪廓圖像幀序列進(jìn)行匹配，找到與之最匹配 的參考輪廓圖像幀序列作為目標(biāo)參考輪廓圖像幀序列。
[0079] 考慮到存儲(chǔ)較多的參考輪廓圖像幀序列需要較大的存儲(chǔ)空間，為了降低存儲(chǔ)空間 的占用率，可存儲(chǔ)多個(gè)較長(zhǎng)的參考輪廓圖像幀序列，g卩，參考輪廓圖像幀序列的長(zhǎng)度大于各 個(gè)視角的輪廓圖像幀序列的長(zhǎng)度。例如，參考輪廓圖像幀序列中包括10幀圖像，而各個(gè)視角 的輪廓圖像幀序列中包括5幀圖像。在這種情況下，可先將某一視角的輪廓圖像幀序列先與 參考輪廓圖像幀序列中的1至5幀進(jìn)行匹配，再與2至6幀匹配，接著與3至7幀匹配，以此類(lèi) 推，找到與之最匹配的5幀圖像作為目標(biāo)參考輪廓圖像幀序列。
[0080] 進(jìn)一步的，參考輪廓圖像幀序列與目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè)圖像 幀序列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，各個(gè)圖像對(duì)的誤差 為各個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。
[0081] 具體的，可通過(guò)下式（1)計(jì)算參考輪廓圖像幀序列與目標(biāo)輪廓圖像幀序列的匹配
誤差：
[0082]
[0083] Eq(S)為匹配誤差，目標(biāo)輪廓圖像幀序列I的第t幀圖像為與目標(biāo)圖像幀對(duì)應(yīng)的目 標(biāo)輪廓圖像幀，與其對(duì)應(yīng)的為參考輪廓圖像序列Γ的第S幀圖像，η為對(duì)比圖像序列中圖像 的幀數(shù)，P表示對(duì)應(yīng)點(diǎn)在對(duì)比雙方圖片中受到遮擋的概率，? (s)為以s為中心的正態(tài)高斯分 布，為各幀的匹配誤差分配權(quán)值。匹配誤差最小的參考輪廓圖像序列為與目標(biāo)輪廓圖像幀 序列匹配的參考輪廓圖像幀序列。
[0084] 示例性的，參考輪廓圖像幀序列包括11幀圖像，目標(biāo)輪廓圖像幀序列也包括11幀 圖像，那么，計(jì)算參考輪廓圖像幀序列與目標(biāo)輪廓圖像幀序列的匹配誤差的過(guò)程為:計(jì)算參 考輪廓圖像幀序列中第1幀圖像與目標(biāo)輪廓圖像幀序列中第1幀圖像的匹配誤差，并計(jì)算參 考輪廓圖像幀序列中第2幀圖像與目標(biāo)輪廓圖像幀序列中第2幀圖像的匹配誤差，第3幀至 第11幀類(lèi)似，如此便可獲得11個(gè)匹配誤差，然后為這11個(gè)誤差確定對(duì)應(yīng)的權(quán)值，在確定出權(quán) 值之后，將11個(gè)匹配誤差加權(quán)求和便可獲得參考輪廓圖像幀序列與目標(biāo)輪廓圖像幀序列的 匹配誤差。
[0085] 在一種優(yōu)選的實(shí)現(xiàn)方式中，目標(biāo)圖像幀序列中、目標(biāo)圖像幀之前的圖像幀的數(shù)量 與目標(biāo)圖像幀之后的圖像幀的數(shù)量相同，則確定各個(gè)圖像對(duì)匹配誤差的權(quán)值，具體為:基于 正態(tài)高斯分布函數(shù)確定各個(gè)圖像對(duì)的匹配誤差的權(quán)值。示例性的，目標(biāo)圖像幀序列包括11 幀圖像，目標(biāo)圖像幀為第6幀，即目標(biāo)圖像幀之前的圖像幀的數(shù)量與目標(biāo)圖像幀之后的圖像 幀的數(shù)量相同，均為5幀，則可通過(guò)正態(tài)高斯分布函數(shù)為各個(gè)匹配誤差對(duì)應(yīng)的權(quán)值，例如，參 考輪廓圖像幀序列中第1幀圖像與目標(biāo)輪廓圖像幀序列中第1幀圖像的匹配誤差對(duì)應(yīng)的權(quán) 值可以為高斯分布函數(shù)中X取-5時(shí)的值，同樣的，參考輪廓圖像幀序列中第2幀圖像與目標(biāo) 輪廓圖像幀序列中第2幀圖像的匹配誤差對(duì)應(yīng)的權(quán)值可以為高斯分布函數(shù)中X取-4時(shí)的值， 參考輪廓圖像幀序列中第3幀圖像與目標(biāo)輪廓圖像幀序列中第3幀圖像的匹配誤差對(duì)應(yīng)的 權(quán)值可以為高斯分布函數(shù)中X取-3時(shí)的值，依次類(lèi)推，可獲得各個(gè)匹配誤差對(duì)應(yīng)的權(quán)值。 [0086]本發(fā)明實(shí)施例還提供了一種三維姿態(tài)識(shí)別系統(tǒng)，該系統(tǒng)可以包括:第一處理設(shè)備 301和第二處理設(shè)備302。
[0087] 第一處理設(shè)備301，用于獲取多個(gè)視角的目標(biāo)圖像幀序列，分別對(duì)各個(gè)視角的目標(biāo) 圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序列，其中，多個(gè)視角的目標(biāo)圖 像幀序列按相同的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo)圖像幀序列中包括各個(gè)視角的待識(shí) 別的目標(biāo)圖像幀。
[0088] 第二處理設(shè)備302,用于預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓圖 像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，當(dāng)進(jìn)行姿態(tài)識(shí)別時(shí)，從預(yù)存的多個(gè)參考輪廓圖像 幀序列中，分別確定出與各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為 各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，基于預(yù)存的與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像 幀對(duì)應(yīng)的姿態(tài)信息，分別從各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與目標(biāo)圖像幀對(duì) 應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息，通過(guò)各個(gè)視角的 二維姿態(tài)信息確定三維姿態(tài)信息。
[0089] 本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別系統(tǒng)，并不直接通過(guò)獲取的圖像幀進(jìn)行姿態(tài)識(shí) 另IJ，而是先從圖像幀中提取輪廓信息，然后基于輪廓信息識(shí)別姿態(tài)，即本發(fā)明對(duì)圖像幀的分 辨率沒(méi)有嚴(yán)格的要求，這使得本發(fā)明實(shí)施例提供的三維姿態(tài)識(shí)別方法可應(yīng)用于室外大型運(yùn) 動(dòng)場(chǎng)景，且提升了姿態(tài)識(shí)別的識(shí)別率。
[0090] 上述實(shí)施例提供的三維姿態(tài)識(shí)別系統(tǒng)還可以包括：圖像采集設(shè)備303,圖像采集設(shè) 備包括多個(gè)圖像采集子設(shè)備。
[0091] 第一處理設(shè)備301包括多個(gè)處理子設(shè)備，圖像采集子設(shè)備和處理子設(shè)備一一對(duì)應(yīng)。 [0092]圖像采集設(shè)備303,用于通過(guò)多個(gè)圖像采集子設(shè)備從不同視角采集人體姿態(tài)的視 頻圖像幀序列，其中，每個(gè)圖像采集子設(shè)備采集一個(gè)視角的視頻圖像幀序列，多個(gè)圖像采集 子設(shè)備同步觸發(fā)并按相同的幀率采集圖像。
[0093]則第一處理設(shè)備301，具體用于從圖像采集設(shè)備303獲得多個(gè)視角的視頻圖像幀序 列作為所述多個(gè)視角的目標(biāo)圖像幀序列，或者，先從圖像采集設(shè)備獲得多個(gè)視角的視頻圖 像幀序列，然后分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連續(xù)圖像 幀序列作為多個(gè)視角的目標(biāo)圖像幀序列。
[0094]上述實(shí)施例提供的三維姿態(tài)識(shí)別系統(tǒng)中，第二處理設(shè)備302,具體用于從預(yù)存的多 個(gè)參考輪廓圖像幀序列中分別確定與各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配誤差最小的參 考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列。
[0095] 其中，參考輪廓圖像幀序列與目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè)圖像幀序 列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，各個(gè)圖像對(duì)的誤差為各 個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。
[0096] 在上述實(shí)施例中，目標(biāo)圖像幀序列中、目標(biāo)圖像幀之前的圖像幀的數(shù)量與目標(biāo)圖 像幀之后的圖像幀的數(shù)量相同。
[0097]則第二處理設(shè)備302,具體用于基于正態(tài)高斯分布函數(shù)確定各個(gè)圖像對(duì)的匹配誤 差的權(quán)值。
[0098]上述實(shí)施例提供的三維姿態(tài)識(shí)別系統(tǒng)中，第一處理設(shè)備301，還用于通過(guò)光流算法 檢測(cè)各個(gè)視角的目標(biāo)圖像幀序列中是否存在滿足預(yù)設(shè)條件的兩幀圖像，當(dāng)各個(gè)視角的目標(biāo) 圖像幀序列中存在滿足預(yù)設(shè)條件的兩幀圖像時(shí)，判斷目標(biāo)圖像幀是否位于滿足預(yù)設(shè)條件的 兩幀圖像之后，其中，預(yù)設(shè)條件為兩幀圖像中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)。
[0099]則第二處理設(shè)備302,還用于當(dāng)目標(biāo)圖像幀位于所述滿足預(yù)設(shè)條件的兩幀圖像之 后時(shí)，基于滿足預(yù)設(shè)條件的兩幀圖像對(duì)二維姿態(tài)信息進(jìn)行校正，并通過(guò)校正后的各個(gè)視角 的二維姿態(tài)信息確定三維姿態(tài)信息。
[0100]在上述實(shí)施例中，第二處理設(shè)備302在獲得各個(gè)視角的二維姿態(tài)信息之后，通過(guò)各 個(gè)視角的二維姿態(tài)信息之后和圖像采集設(shè)備中各個(gè)圖像采集子設(shè)備的相關(guān)參數(shù)可確定出 二維姿態(tài)彳目息。
[0101]本說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他 實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。
[0102] 在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的方法、裝置和設(shè)備，可以 通過(guò)其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述單元的 劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件 可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或 討論的相互之間的耦合或直接耦合或通信連接可以是通過(guò)一些通信接口，裝置或單元的間 接耦合或通信連接，可以是電性，機(jī)械或其它的形式。
[0103] 所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯 示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè) 網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來(lái)實(shí)現(xiàn)本實(shí)施例方案的目 的。另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè) 單元單獨(dú)物理存在，也可以?xún)蓚€(gè)或兩個(gè)以上單元集成在一個(gè)單元中。
[0104] 所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷(xiāo)售或使用時(shí)，可以 存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō) 對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì) 算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè) 人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。 而前述的存儲(chǔ)介質(zhì)包括:U盤(pán)、移動(dòng)硬盤(pán)、只讀存儲(chǔ)器(R0M，Read-0nly Memory)、隨機(jī)存取存 儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。
[0105] 對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。 對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專(zhuān)業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的 一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明 將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一 致的最寬的范圍。
【主權(quán)項(xiàng)】
1. 一種三維姿態(tài)識(shí)別方法，其特征在于，預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè) 參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，所述三維姿態(tài)識(shí)別方法包括： 獲取多個(gè)視角的目標(biāo)圖像幀序列，其中，所述多個(gè)視角的目標(biāo)圖像幀序列按相同的幀 率同時(shí)采集得到，各個(gè)視角的目標(biāo)圖像幀序列中包括各個(gè)視角的待識(shí)別的目標(biāo)圖像幀； 分別對(duì)各個(gè)視角的目標(biāo)圖像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序 列； 從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中，分別確定出與所述各個(gè)視角的目標(biāo)輪廓圖 像幀序列匹配的參考輪廓圖像幀序列作為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列； 基于預(yù)存的所述與各個(gè)參考輪廓圖像幀序列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別從所 述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與所述目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像 幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息； 通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取多個(gè)視角的目標(biāo)圖像幀序列，包 括： 獲取從不同視角采集的人體姿態(tài)的視頻圖像幀序列，得到多個(gè)視角的視頻圖像幀序列 作為所述多個(gè)視角的目標(biāo)圖像幀序列，所述多個(gè)視角的視頻圖像幀序列按相同的幀率同時(shí) 采集； 或者， 獲取從不同視角采集的人體姿態(tài)的視頻圖像幀序列，得到多個(gè)視角的視頻圖像幀序 列，所述多個(gè)視角的視頻圖像幀序列按相同的幀率同時(shí)采集； 分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連續(xù)圖像幀序列作 為所述多個(gè)視角的目標(biāo)圖像幀序列。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從預(yù)存的所述多個(gè)參考輪廓圖像幀序 列中，分別確定出與所述各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序列作為 各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，包括： 從預(yù)存的所述多個(gè)參考輪廓圖像幀序列中，分別確定與所述各個(gè)視角的目標(biāo)輪廓圖像 幀序列匹配誤差最小的參考輪廓圖像幀序列作為所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序 列， 其中，所述參考輪廓圖像幀序列與所述目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè)圖像 幀序列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，所述各個(gè)圖像對(duì)的 誤差為所述各個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)圖像幀序列中、所述目標(biāo)圖像幀 之前的圖像幀的數(shù)量與所述目標(biāo)圖像幀之后的圖像幀的數(shù)量相同； 貝1J，確定所述各個(gè)圖像對(duì)的匹配誤差的權(quán)值，具體為： 基于正態(tài)高斯分布函數(shù)確定所述各個(gè)圖像對(duì)的匹配誤差的權(quán)值。5. 根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括： 通過(guò)光流算法檢測(cè)所述各個(gè)視角的目標(biāo)圖像幀序列中是否存在滿足預(yù)設(shè)條件的兩幀 圖像，其中，所述預(yù)設(shè)條件為所述兩幀圖像中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)； 當(dāng)所述各個(gè)視角的目標(biāo)圖像幀序列中存在滿足所述預(yù)設(shè)條件的兩幀圖像時(shí)，判斷所述 目標(biāo)圖像幀是否位于所述滿足預(yù)設(shè)條件的兩幀圖像之后； 當(dāng)所述目標(biāo)圖像幀位于所述滿足預(yù)設(shè)條件的兩幀圖像之后時(shí)，基于所述滿足預(yù)設(shè)條件 的兩幀圖像對(duì)所述二維姿態(tài)信息進(jìn)行校正； 則所述通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息，具體為:通過(guò)校正后的 二維姿態(tài)信息確定三維姿態(tài)信息。6. -種三維姿態(tài)識(shí)別系統(tǒng)，其特征在于，所述系統(tǒng)包括：第一處理設(shè)備和第二處理設(shè) 備； 所述第一處理設(shè)備，用于獲取多個(gè)視角的目標(biāo)圖像幀序列，分別對(duì)各個(gè)視角的目標(biāo)圖 像幀序列進(jìn)行輪廓提取，獲得各個(gè)視角的目標(biāo)輪廓圖像幀序列，其中，所述多個(gè)視角的目標(biāo) 圖像幀序列按相同的幀率同時(shí)采集得到，各個(gè)視角的目標(biāo)圖像幀序列中包括各個(gè)視角的待 識(shí)別的目標(biāo)圖像幀； 第二處理設(shè)備，用于預(yù)存多個(gè)參考輪廓圖像幀序列，并預(yù)存與各個(gè)參考輪廓圖像幀序 列中各個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，在進(jìn)行姿態(tài)識(shí)別時(shí)，從預(yù)存的所述多個(gè)參考輪廓圖像幀 序列中，分別確定出與所述各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配的參考輪廓圖像幀序列作 為各個(gè)視角的目標(biāo)參考輪廓圖像幀序列，基于預(yù)存的所述與各個(gè)參考輪廓圖像幀序列中各 個(gè)圖像幀對(duì)應(yīng)的姿態(tài)信息，分別從所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列中確定出與所 述目標(biāo)圖像幀對(duì)應(yīng)的參考輪廓圖像幀所對(duì)應(yīng)的姿態(tài)信息，作為各個(gè)視角的二維姿態(tài)信息， 通過(guò)所述各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。7. 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：圖像采集設(shè)備，所述圖像 采集設(shè)備包括多個(gè)圖像采集子設(shè)備； 所述第一處理設(shè)備包括多個(gè)處理子設(shè)備，所述圖像采集子設(shè)備和所述處理子設(shè)備一一 對(duì)應(yīng)； 所述圖像采集設(shè)備，用于通過(guò)所述多個(gè)圖像采集子設(shè)備從不同視角采集人體姿態(tài)的視 頻圖像幀序列，其中，每個(gè)圖像采集子設(shè)備采集一個(gè)視角的視頻圖像幀序列，所述多個(gè)圖像 采集子設(shè)備同步觸發(fā)并按相同的幀率采集圖像； 則所述第一處理設(shè)備，具體用于從所述圖像采集設(shè)備獲得多個(gè)視角的視頻圖像幀序列 作為所述多個(gè)視角的目標(biāo)圖像幀序列，或者，先從所述圖像采集設(shè)備獲得多個(gè)視角的視頻 圖像幀序列，然后分別從各個(gè)視角的視頻圖像幀序列中提取包含目標(biāo)圖像幀的部分連續(xù)圖 像幀序列作為所述多個(gè)視角的目標(biāo)圖像幀序列。8. 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述第二處理設(shè)備，具體用于從預(yù)存的所 述多個(gè)參考輪廓圖像幀序列中分別確定與所述各個(gè)視角的目標(biāo)輪廓圖像幀序列匹配誤差 最小的參考輪廓圖像幀序列作為所述各個(gè)視角的目標(biāo)參考輪廓圖像幀序列； 其中，所述參考輪廓圖像幀序列與所述目標(biāo)輪廓圖像幀序列的匹配誤差通過(guò)兩個(gè)圖像 幀序列中位于相同位置的各個(gè)圖像對(duì)的匹配誤差加權(quán)求和獲得，其中，所述各個(gè)圖像對(duì)的 誤差為所述各個(gè)圖像對(duì)中兩個(gè)圖像的匹配誤差。9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述目標(biāo)圖像幀序列中、所述目標(biāo)圖像幀 之前的圖像幀的數(shù)量與所述目標(biāo)圖像幀之后的圖像幀的數(shù)量相同； 則所述第二處理設(shè)備，具體用于基于正態(tài)高斯分布函數(shù)確定所述各個(gè)圖像對(duì)的匹配誤 差的權(quán)值。10.根據(jù)權(quán)利要求6至9中任意一項(xiàng)所述的系統(tǒng)，其特征在于，所述第一處理設(shè)備，還用 于通過(guò)光流算法檢測(cè)所述各個(gè)視角的目標(biāo)圖像幀序列中是否存在滿足預(yù)設(shè)條件的兩幀圖 像，當(dāng)所述各個(gè)視角的目標(biāo)圖像幀序列中存在滿足預(yù)設(shè)條件的兩幀圖像時(shí)，判斷所述目標(biāo) 圖像幀是否位于所述滿足預(yù)設(shè)條件的兩幀圖像之后，其中，所述預(yù)設(shè)條件為所述兩幀圖像 中的目標(biāo)對(duì)象發(fā)生左右翻轉(zhuǎn)； 則所述第二處理設(shè)備，還用于當(dāng)所述目標(biāo)圖像幀位于所述滿足預(yù)設(shè)條件的兩幀圖像之 后時(shí)，基于所述滿足預(yù)設(shè)條件的兩幀圖像對(duì)所述二維姿態(tài)信息進(jìn)行校正，并通過(guò)校正后的 各個(gè)視角的二維姿態(tài)信息確定三維姿態(tài)信息。
【文檔編號(hào)】G06K9/62GK106056089SQ201610394022
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年6月6日
【發(fā)明人】孔令勝, 劉小灃, 刁志輝, 閆俊良, 賈平
【申請(qǐng)人】中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所