運(yùn)動(dòng)行人表示方法、識(shí)別方法及其裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及深度圖像處理,更具體地涉及計(jì)算機(jī)視覺(jué)技術(shù)中的運(yùn)動(dòng)行人表示方 法、識(shí)別方法及其裝置。
【背景技術(shù)】
[0002] 行人識(shí)別是駕駛員輔助駕駛系統(tǒng)和車(chē)輛自動(dòng)導(dǎo)航系統(tǒng)中必不可少的重要功能。運(yùn) 動(dòng)行人的檢測(cè)與識(shí)別對(duì)于車(chē)禍的減少和駕駛的安全,有著重要的作用。在許多場(chǎng)景下,例如 有人橫穿馬路時(shí),或者當(dāng)行人朝著\背向車(chē)輛行走時(shí),或者突然出現(xiàn)在司機(jī)視野范圍內(nèi)時(shí), 行人的快速檢測(cè)與識(shí)別對(duì)于行人和司機(jī)的安全來(lái)說(shuō),都是一個(gè)重要的問(wèn)題。
[0003] 當(dāng)前的行人識(shí)別技術(shù)主要基于灰度/彩色圖像進(jìn)行行人特征提取和分類(lèi)器的訓(xùn) 練,并對(duì)于測(cè)試圖像進(jìn)行特征提取,將提取的特征向量輸入到分類(lèi)器中,進(jìn)行行人識(shí)別。
[0004] 專(zhuān)利公開(kāi)JP2010165003A首先從灰度圖像中提取行人的輪廓信息。然后用點(diǎn)作為 關(guān)節(jié)來(lái)代表行人身體上的不同區(qū)域,并用直線段連接相鄰區(qū)域。然后基于線段與線段間的 夾角計(jì)算行人不同區(qū)域的角度信息。儲(chǔ)存角度信息并以此來(lái)確定行人的運(yùn)動(dòng)狀態(tài)。
[0005] 專(zhuān)利公開(kāi)JP2013008315 A首先通過(guò)輸入的連續(xù)幀信息識(shí)別出自身車(chē)輛周?chē)慕?通環(huán)境信息。然后在識(shí)別出的環(huán)境信息的基礎(chǔ)上,選擇一個(gè)訓(xùn)練好的分類(lèi)器或者模板來(lái)識(shí) 別行人。
[0006] -般地,各種行人存在各種姿態(tài),利用灰度/彩色圖像對(duì)行人的各種姿態(tài)進(jìn)行建 模需要大量的訓(xùn)練樣本,需要復(fù)雜的訓(xùn)練,而且在實(shí)際應(yīng)用中,存在識(shí)別速率可能不滿足實(shí) 際應(yīng)用需求的問(wèn)題。
【發(fā)明內(nèi)容】
[0007] 因此,存在對(duì)于適于快速識(shí)別各種行人的技術(shù)的需要。
[0008] 根據(jù)本發(fā)明的一個(gè)方面,提供了一種運(yùn)動(dòng)行人識(shí)別方法,其中,以攝像機(jī)拍攝方向 為z軸,以行人高度方向?yàn)閥軸,以與地面垂直的平面為xy軸平面,建立xyz直角坐標(biāo)系, 該運(yùn)動(dòng)行人識(shí)別方法可以包括:從由攝像機(jī)拍攝的圖像獲得的時(shí)間序列的深度圖中,跟蹤 得到時(shí)間序列的候選行人輪廓;基于時(shí)間序列的候選行人輪廓,獲得時(shí)間序列的候選行人 輪廓的X方向距離分布、y方向距離分布、z方向距離分布中的至少一個(gè);以及基于時(shí)間序 列的候選行人輪廓的X方向距離分布、y方向距離分布、Z方向距離分布的至少一個(gè),判定該 候選行人輪廓是否是行人。
[0009] 根據(jù)本發(fā)明的另一方面,還提供了一種運(yùn)動(dòng)行人識(shí)別裝置,其中,以攝像機(jī)拍攝方 向?yàn)閆軸,以與地面垂直的平面為xy軸平面,以行人高度方向?yàn)閥軸,建立xyz直角坐標(biāo) 系,該運(yùn)動(dòng)行人識(shí)別裝置可以包括:時(shí)間序列的候選行人輪廓獲得部件,從源于攝像機(jī)拍攝 的圖像的時(shí)間序列的深度圖中,跟蹤得到時(shí)間序列的候選行人輪廓;距離分布獲得部件,基 于時(shí)間序列的候選行人輪廓,獲得時(shí)間序列的候選行人輪廓的X方向距離分布、y方向距離 分布、z方向距離分布中的至少一個(gè);以及行人識(shí)別部件,基于時(shí)間序列的候選行人輪廓的 X方向距離分布、y方向距離分布、Z方向距離分布的至少一個(gè),判定該候選行人輪廓是否是 行人。
[0010] 根據(jù)本發(fā)明的再一方面,提供了一種運(yùn)動(dòng)行人表示方法,其中,以攝像機(jī)拍攝方向 為Z軸,以行人高度方向?yàn)閥軸,以與地面垂直的平面為xy軸平面,建立xyz直角坐標(biāo)系, 該運(yùn)動(dòng)行人表示方法可以包括:從由拍攝的圖像獲得的時(shí)間序列的深度圖中,獲得時(shí)間序 列的行人輪廓;基于時(shí)間序列的行人輪廓,獲得時(shí)間序列的行人輪廓的X方向距離分布、y 方向距離分布、z方向距離分布中的至少一個(gè);以及基于時(shí)間序列的行人輪廓的X方向距離 分布、y方向距離分布、Z方向距離分布的至少一個(gè)的周期性,表示行人輪廓。
[0011] 根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)行人識(shí)別方法和裝置,以及運(yùn)動(dòng)行人表示方法,行人輪 廓的各個(gè)方向的距離分布基本上只和個(gè)人自身的身體特性和行走特性相關(guān),因此不易受外 界環(huán)境影響,適合于進(jìn)行行人識(shí)別。
[0012] 根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)行人識(shí)別方法和裝置通過(guò)處理時(shí)間序列的深度圖來(lái)獲 得時(shí)間序列的候選行人輪廓的X方向距離分布、y方向距離分布和Z方向距離分布,能夠快 速識(shí)別行人,適合例如車(chē)輛駕駛輔助系統(tǒng)的許多應(yīng)用的實(shí)時(shí)性需求。
【附圖說(shuō)明】
[0013] 從下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的詳細(xì)描述中,本發(fā)明的這些和/或其它方面和 優(yōu)點(diǎn)將變得更加清楚并更容易理解,其中:
[0014] 圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的車(chē)輛自動(dòng)控制系統(tǒng)1000的示意圖。
[0015] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的可用于圖1中所示的車(chē)輛自動(dòng)控制系統(tǒng)1000 中的攝像頭1100和圖像處理模塊1200的組成示例的示意圖。
[0016] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的行人識(shí)別裝置2000的基本功能組成示例。 [0017] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的時(shí)間序列的候選行人輪廓獲得部件2100的 功能組成。
[0018] 圖5 (a)示出了候選對(duì)象檢測(cè)模塊2110得到的一個(gè)候選對(duì)象檢測(cè)結(jié)果示例.
[0019] 圖5(b)示出了圖5 (a)所示的候選對(duì)象檢測(cè)結(jié)果減背景后的示意圖。
[0020] 圖5 (C)示出了圖5 (b)所示的減背景后的候選對(duì)象檢測(cè)結(jié)果進(jìn)行輪廓連通后的效 果示意圖。
[0021] 圖6示出了 3幀連續(xù)圖像的候選行人輪廓示例。
[0022] 圖7示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的距離分布獲得部件2200的功能配置圖。
[0023] 圖8(a)、(b)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得時(shí)間序列的候選行人輪廓的X 方向距離分布的示例性方法的示意圖。
[0024] 圖9(a)、(b)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得時(shí)間序列的候選行人輪廓的y 方向距離分布的示例性方法的示意圖。
[0025] 圖10示出了一個(gè)示例中的深度方向與三幀候選行人輪廓間關(guān)系的示意圖。
[0026] 圖11(a)、(b)示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的獲得時(shí)間序列的候選行人輪廓的y 方向距離分布的示例性方法的示意圖。
[0027] 圖12示出了根據(jù)本發(fā)明實(shí)施例的行人識(shí)別部件2300的配置示例。
[0028] 圖13示出了一個(gè)行走周期內(nèi)的行人姿態(tài)的連續(xù)12幀圖像。
[0029] 圖14示出了行人4D運(yùn)動(dòng)骨架模型示例的示意圖。
[0030] 圖15示出了運(yùn)動(dòng)行人識(shí)別裝置的線上和線下運(yùn)行過(guò)程的數(shù)據(jù)流圖。
[0031] 圖16示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的運(yùn)動(dòng)行人識(shí)別方法3000的總體流程圖。
[0032] 圖17示出了適于用來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算系統(tǒng)600的框圖。
【具體實(shí)施方式】
[0033] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明,下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說(shuō)明。
[0034] 在詳細(xì)描述本發(fā)明的具體實(shí)施例之前,為便于本領(lǐng)域技術(shù)人員理解和把握本發(fā) 明,首先介紹一下本發(fā)明的核心思想。
[0035] 發(fā)明人認(rèn)為,利用深度信息來(lái)分析行人輪廓的時(shí)間序列將能夠極大提高圖像處理 的速度,滿足實(shí)際交通環(huán)境下對(duì)行人識(shí)別算法快速的要求。
[0036] 另外,發(fā)明人發(fā)現(xiàn),行人的姿態(tài)在行走過(guò)程中是存在變化的,而且姿態(tài)的變化具有 周期性重復(fù)特性,圖13示出了拍攝得到的一行人由近到遠(yuǎn)行走的一系列視差圖像,其中各 個(gè)圖像下的數(shù)字表示該圖像按時(shí)間順序的幀號(hào),如箭頭指示的拍攝的行人圖像從第一幀變 化到第12幀。如圖所示,當(dāng)行人運(yùn)動(dòng)時(shí),他的姿態(tài)一直在發(fā)生變化。這里是12幅連續(xù)幀的 視差圖像,可以看到,第一幀中行人的姿態(tài)和第12幀中行人的姿態(tài)