專(zhuān)利名稱(chēng)：利用豪斯多夫距離試探法的用于乘員跟蹤的基于運(yùn)動(dòng)的圖像分割器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及將一運(yùn)動(dòng)的人或物體的“分割圖像”從包圍并包括該運(yùn)動(dòng)中的人或物體的區(qū)域的“環(huán)境圖像”中分離出來(lái)的系統(tǒng)和技術(shù)。本發(fā)明特別涉及將一乘員的分割圖像從包圍并包括該乘員的區(qū)域的環(huán)境圖像中分離出來(lái)、以便做出適當(dāng)?shù)臍饽艺归_(kāi)決定的技術(shù)。
背景技術(shù)：
在很多情況下，人們可能希望將“目標(biāo)”人或物體的分割圖像從環(huán)境圖像中分離出來(lái)，該環(huán)境圖像包含了圍繞“目標(biāo)”人或物體的圖像。氣囊展開(kāi)系統(tǒng)是這種情況的一個(gè)顯著例子。氣囊展開(kāi)系統(tǒng)可以做出各種展開(kāi)決定，這些決定可以以這樣或那樣的方式與獲自乘員的分割圖像的、乘員的特征相聯(lián)系。乘員的類(lèi)型、乘員與氣囊的接近程度、乘員的速度和加速度、由于乘員和氣囊之間的撞擊而氣囊需要吸收的能量的大小、以及乘員的其它特征都可以納入氣囊展開(kāi)決定之中。
在有關(guān)圖像分割技術(shù)的現(xiàn)有技術(shù)中存在著重大的障礙。現(xiàn)有的圖像分割技術(shù)在高速目標(biāo)環(huán)境中往往是不適合的，如在正在剎車(chē)或碰撞的車(chē)輛中識(shí)別乘員的分割圖像時(shí)，就不適合?，F(xiàn)有的圖像分割技術(shù)未使用乘員的運(yùn)動(dòng)，來(lái)幫助識(shí)別乘員和圍繞其環(huán)境的區(qū)域之間的邊界。采用現(xiàn)有技術(shù)的系統(tǒng)不使用乘員的運(yùn)動(dòng)來(lái)幫助進(jìn)行圖像分割，而是通常運(yùn)用最適合于低速運(yùn)動(dòng)乃至靜止環(huán)境的一些技術(shù)，來(lái)與乘員的運(yùn)動(dòng)“作斗爭(zhēng)”，而不是利用與運(yùn)動(dòng)有關(guān)的特征來(lái)幫助分割過(guò)程。
與運(yùn)動(dòng)的挑戰(zhàn)有關(guān)的是及時(shí)性的挑戰(zhàn)。標(biāo)準(zhǔn)的攝像機(jī)通常每秒鐘拍攝大約40幀圖像。很多實(shí)際使用的氣囊展開(kāi)裝置包含的傳感器能夠比標(biāo)準(zhǔn)攝像機(jī)甚至更快地捕獲傳感器讀數(shù)。氣囊展開(kāi)系統(tǒng)需要可靠的實(shí)時(shí)信息，以用于展開(kāi)決定。如果乘員的分割圖像不能在下一幀圖像或傳感器測(cè)量結(jié)果被捕獲之前被識(shí)別出來(lái)，則快速捕獲圖像或其它傳感器數(shù)據(jù)將無(wú)助于氣囊展開(kāi)系統(tǒng)。氣囊展開(kāi)系統(tǒng)只能與其最慢的必需處理步驟一樣快。然而，與未能利用運(yùn)動(dòng)作為乘員和圍繞成員的區(qū)域之間的區(qū)別因素的技術(shù)相比，利用乘員的運(yùn)動(dòng)來(lái)幫助分割過(guò)程的圖像分割技術(shù)可以更迅速地完成其工作。
現(xiàn)有技術(shù)的各系統(tǒng)通常未能將有關(guān)一特殊情景的情境“智能”納入分割過(guò)程，因而這樣的系統(tǒng)不能專(zhuān)注于環(huán)境圖像的任何特殊區(qū)域。特別為氣囊展開(kāi)處理而設(shè)計(jì)的分割過(guò)程，可以包含情境“智能”，這種情境智能是不能由通用的圖像分割過(guò)程應(yīng)用的。例如，人們可能希望，利用最近過(guò)去的分割圖像信息，其中包括包含了隨后預(yù)期運(yùn)動(dòng)的過(guò)去預(yù)測(cè)，系統(tǒng)可以專(zhuān)注于環(huán)境圖像中的一興趣區(qū)域?？紤]到傳感器測(cè)量結(jié)果的快速捕獲，在相鄰兩次傳感器測(cè)量之間的乘員的可能運(yùn)動(dòng)是有限度的。這種限度是與情境相關(guān)的，并與諸如兩次傳感器測(cè)量之間的時(shí)間等因素緊密相聯(lián)。
現(xiàn)有的分割技術(shù)也未能包含有關(guān)車(chē)輛中乘員運(yùn)動(dòng)的有用假設(shè)。人們可能希望，車(chē)輛中的分割過(guò)程能夠考慮到這樣的事實(shí)，即乘員通常是圍繞其臀部轉(zhuǎn)動(dòng)的，在座位區(qū)域很少運(yùn)動(dòng)。這樣的“智能”使系統(tǒng)能夠?qū)Ｗ⒂诃h(huán)境圖像中最重要的區(qū)域，從而節(jié)省了寶貴的處理時(shí)間。
在現(xiàn)有分割系統(tǒng)中進(jìn)一步加劇了處理時(shí)間要求的是，這些系統(tǒng)未能將過(guò)去數(shù)據(jù)納入當(dāng)前決定中。人們可能希望，使用諸如卡爾曼濾波器等技術(shù)，來(lái)跟蹤和預(yù)測(cè)乘員特征。人們可能還希望，將一模板應(yīng)用到環(huán)境圖像上，該模板可以隨每次傳感器測(cè)量而調(diào)整。使用可重用的和可修改的模板是一種有用的方法，可以將過(guò)去數(shù)據(jù)納入當(dāng)前決定，而減少了從頭重新生成圖像的需要。
發(fā)明概述本發(fā)明是一圖像分割系統(tǒng)或方法，它可用于從一“環(huán)境圖像”中產(chǎn)生一乘員或其它興趣“目標(biāo)”的“分割圖像”，該“環(huán)境圖像”包含該“目標(biāo)”以及車(chē)輛中圍繞該“目標(biāo)”的環(huán)境。該系統(tǒng)通過(guò)將最近的環(huán)境圖像(“當(dāng)前環(huán)境圖像”)與先前的環(huán)境圖像(“先前環(huán)境圖像”)相比較，可識(shí)別出該分割圖像的“粗略”邊界。然后，可以將一得自諸先前環(huán)境圖像的、可調(diào)整的、分割圖像的模板應(yīng)用到該識(shí)別出的邊界，而進(jìn)一步細(xì)化該邊界。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，只有環(huán)境圖像的一部分要進(jìn)行處理。通過(guò)使用與諸先前分割圖像有關(guān)的信息，可以在當(dāng)前環(huán)境圖像中確定一個(gè)“關(guān)注區(qū)域”。在優(yōu)選實(shí)施例中，假定車(chē)輛的乘員保持坐姿，因而不再需要處理環(huán)境圖像中靠近座位的區(qū)域。由此，分割圖像的底部固定起來(lái)，使系統(tǒng)可以忽略環(huán)境圖像的該部分。本系統(tǒng)的很多實(shí)施例將運(yùn)用某種圖像閾值化試探法(thresholding heuristic)，來(lái)決定一特定環(huán)境圖像是否能夠可靠地使用。過(guò)多的運(yùn)動(dòng)可能使環(huán)境圖像不可靠。過(guò)少的運(yùn)動(dòng)可能使環(huán)境圖像不必要。
可以使用多種不同的技術(shù)來(lái)配合和修改模板。在某些實(shí)施例中，模板被旋轉(zhuǎn)通過(guò)一角度范圍之內(nèi)的一系列預(yù)定角度。在每個(gè)角度上，可以使用多種試探法對(duì)該特殊“配合”進(jìn)行評(píng)價(jià)。
通過(guò)本實(shí)施例的以下詳細(xì)描述，并參照附圖，本領(lǐng)域的技術(shù)人員能夠?qū)Ρ景l(fā)明的各種方面獲得清楚的理解。


圖1是一個(gè)局部視圖，示出了一圖像分割系統(tǒng)的周?chē)h(huán)境的例子；圖2示出了一個(gè)高層處理流程，其描述了一個(gè)圖像分割系統(tǒng)的例子；該系統(tǒng)從環(huán)境圖像中捕獲分割圖像，并將所述分割圖像提供給一氣囊展開(kāi)系統(tǒng)；圖3是一流程圖，示出了被結(jié)合到氣囊展開(kāi)過(guò)程的圖像分割過(guò)程的例子；圖4是一流程圖，示出了一圖像分割過(guò)程的例子；圖5是像素特征的一直方圖的例子，該直方圖可由一圖像分割系統(tǒng)所使用；圖6是一累積分布函數(shù)的圖形的例子，該累積分布函數(shù)可由一圖像分割系統(tǒng)所使用；圖7的框圖示出了一圖像閾值化試探法的例子，該圖像閾值化試探法可結(jié)合到一圖像分割系統(tǒng)中；圖8a示出了一分割圖像的例子，該分割圖像可以經(jīng)受模板處理；圖8b示出了一模板處理的例子；圖8c示出了一分割圖像正在經(jīng)受模板處理；圖8d示出了一橢園的例子，該橢圖可以配合于分割圖像；圖8e示出了一橢園的例子，該橢圖在經(jīng)過(guò)模板處理后，已配合于分割圖像；圖8f示出了一新輪廓的例子，該新輪廓被生成以用于未來(lái)的模板處理；圖9示出了代表一乘員的一上部橢園的一例子，以及該上部橢園的若干潛在重要的特征的一些例子；圖10示出了一個(gè)處于左傾、右傾和正中狀態(tài)的上部橢園的例子；
圖11是一個(gè)馬爾可夫鏈?zhǔn)疽鈭D，其示出了三種狀態(tài)/模式，即左傾、右傾和居中，以及與這些狀態(tài)之間的轉(zhuǎn)換相聯(lián)系的概率；圖12是一個(gè)馬爾可夫鏈?zhǔn)疽鈭D，示出了三種狀態(tài)/模式，即人、靜止和碰撞，以及與這些狀態(tài)之間的轉(zhuǎn)換相聯(lián)的概率；圖13是一流程圖，示出了可由一形狀跟蹤器和預(yù)測(cè)器執(zhí)行的處理的例子；圖14是一流程圖，示出了可由一運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器執(zhí)行的處理的例子。
優(yōu)選實(shí)施例的詳細(xì)說(shuō)明本發(fā)明是一圖像分割系統(tǒng)，它可從包括“目標(biāo)”及“目標(biāo)”周?chē)鷧^(qū)域的“環(huán)境圖像”中捕獲乘員或其它“目標(biāo)”物體(統(tǒng)稱(chēng)為“乘員”)的“分割圖像”。
I.周?chē)h(huán)境的局部視圖現(xiàn)參照附圖，圖1示出了周?chē)h(huán)境的局部視圖，該周?chē)h(huán)境可潛在地應(yīng)用于一圖像分割系統(tǒng)16的許多不同實(shí)施例中。如果乘員18在場(chǎng)，乘員18可坐在座位20上。在某些實(shí)施例中，可以快速捕獲圖像的一攝像機(jī)或其它傳感器(統(tǒng)稱(chēng)為“攝像機(jī)”22)可以固定于內(nèi)頂板24上，其位置比乘員18高，并比乘員18更靠近前風(fēng)檔。可以把攝像機(jī)22置于對(duì)著乘員18稍向下傾的角度上，以便捕獲由于乘員在座位20中向前或向后運(yùn)動(dòng)而產(chǎn)生的乘員18的上身角度的變化。攝像機(jī)22可以置于很多潛在的位置，這些位置在本領(lǐng)域中是廣為人知的。而且，系統(tǒng)16可以使用多種不同的攝像機(jī)22，包括通常每秒拍攝大約40幅圖像的標(biāo)準(zhǔn)攝像機(jī)。系統(tǒng)16可以使用具有比這更高或更低速度的攝像機(jī)。
在某些實(shí)施例中，攝像機(jī)22可以包含或包括一紅外線或其它光源，該光源依靠直流電運(yùn)行，以在黑暗環(huán)境中提供持續(xù)的照明。系統(tǒng)16可以設(shè)計(jì)成用于黑暗的條件下，如夜間、霧氣、大雨、烏云、日蝕和任何其它比通常的日光條件更暗的環(huán)境。系統(tǒng)16也可以用于光線更明亮的條件下。使用紅外照明可以對(duì)乘員18隱藏光源的使用。其它可選擇的實(shí)施例可以使用下列一個(gè)或多個(gè)方式與攝像機(jī)分離的光源、發(fā)射非紅外線光線的光源、利用交流電僅以間歇的方式發(fā)射的光線。系統(tǒng)16可以包含多種其它照明和攝像機(jī)22配置。而且，根據(jù)照明條件，可以對(duì)系統(tǒng)16應(yīng)用不同的試探法和閾值。因此，系統(tǒng)可以應(yīng)用與乘員18的當(dāng)前環(huán)境有關(guān)的“智能”。
能夠?qū)嵤┮辉囂椒ɑ蜻\(yùn)行一計(jì)算機(jī)程序的計(jì)算機(jī)、計(jì)算機(jī)網(wǎng)絡(luò)、或者任何其它計(jì)算設(shè)備或配置(統(tǒng)稱(chēng)為I計(jì)算機(jī)系統(tǒng)”30)承載著圖像分割邏輯。計(jì)算機(jī)系統(tǒng)30可以是任何能夠執(zhí)行下述分割過(guò)程的計(jì)算機(jī)或設(shè)備。計(jì)算機(jī)系統(tǒng)30可以位于車(chē)輛中或車(chē)輛上的幾乎任何地方。優(yōu)選地，計(jì)算機(jī)系統(tǒng)30位于靠近攝像機(jī)22之處，以免通過(guò)很長(zhǎng)的導(dǎo)線傳送攝像機(jī)圖像。圖中顯示，一氣囊控制器32位于儀表板34中。但即使該氣囊控制器32位于一不同位置，系統(tǒng)16仍然能夠正常發(fā)揮作用。類(lèi)似地，一氣囊展開(kāi)系統(tǒng)36最好位于乘員18和座位20之前的儀表板34中，盡管系統(tǒng)16也可以使用其它位置。在某些實(shí)施例中，氣囊控制器32與計(jì)算機(jī)系統(tǒng)30是同一個(gè)設(shè)備。系統(tǒng)16可以靈活地實(shí)施，來(lái)包括車(chē)輛和氣囊展開(kāi)系統(tǒng)36的設(shè)計(jì)方面的未來(lái)變化。
II.氣囊展開(kāi)的高級(jí)處理流程圖2是一高級(jí)處理的流程，示出了在氣囊展開(kāi)處理情境下的圖像分割系統(tǒng)16的一個(gè)例子。攝像機(jī)22可以捕捉到座位區(qū)域21的環(huán)境圖像38，該環(huán)境圖像既包括乘員18和其周?chē)淖粎^(qū)域21。在該圖中，座位區(qū)域21包括整個(gè)乘員18，盡管在很多不同的情況和實(shí)施例中，將只捕捉乘員18的一部分，特別是當(dāng)攝像機(jī)22所處的位置看不到乘員的下肢時(shí)。
環(huán)境圖像38可以被發(fā)送到計(jì)算機(jī)30。計(jì)算機(jī)30可以把乘員18的分割圖像31從環(huán)境圖像38中分離出來(lái)。計(jì)算機(jī)30進(jìn)行圖像分割的過(guò)程將在下面描述。然后，可以對(duì)分割圖像31進(jìn)行分析，以作出適當(dāng)?shù)臍饽艺归_(kāi)決定。這一過(guò)程也將在下面描述。例如，分割圖像31可用于決定在氣囊展開(kāi)時(shí)，乘員18是否距正在展開(kāi)的氣囊36過(guò)近。對(duì)分割圖像31的分析及其特征可以傳送到氣囊控制器32，以使氣囊展開(kāi)系統(tǒng)36根據(jù)所獲與乘員18有關(guān)的信息，作出適當(dāng)?shù)恼归_(kāi)決定。
圖3示出了所述過(guò)程的更詳細(xì)的例子，該過(guò)程從捕獲環(huán)境圖像38開(kāi)始，直到將適當(dāng)?shù)某藛T數(shù)據(jù)發(fā)送到氣囊控制器32。只要乘員在車(chē)輛中，則該過(guò)程就不斷地重復(fù)著。在一優(yōu)選實(shí)施例中，過(guò)去的數(shù)據(jù)被結(jié)合到對(duì)當(dāng)前數(shù)據(jù)的分析中，因此有一個(gè)流程箭頭，從該圖底部的氣囊控制器32引回到該圖的頂部。
新的環(huán)境圖像38反復(fù)由攝像機(jī)22或其它傳感器所捕獲。最新捕獲的環(huán)境圖像38可以稱(chēng)為當(dāng)前環(huán)境圖像。較舊的環(huán)境圖像38可稱(chēng)為先前環(huán)境圖像38或過(guò)去環(huán)境圖像。當(dāng)一環(huán)境圖像38由攝像機(jī)22捕獲后，它可隨后由圖像分割子系統(tǒng)(“圖像分割過(guò)程”)40進(jìn)行處理。圖像分割過(guò)程將在下面更詳細(xì)地描述。如該圖所示，分割過(guò)程可以包括與乘員18的特征有關(guān)的過(guò)去數(shù)據(jù)，這些過(guò)去數(shù)據(jù)或者是從氣囊控制器32傳來(lái)的，或者是存儲(chǔ)在計(jì)算機(jī)系統(tǒng)30中的。然而，圖像分割系統(tǒng)40并不要求這種信息作為輸入才能工作。在優(yōu)選實(shí)施例中，過(guò)去的乘員特征和數(shù)據(jù)可由圖像分割過(guò)程40訪問(wèn)，以便使系統(tǒng)16專(zhuān)注于環(huán)境圖像38中的一關(guān)注區(qū)域，和/或以其它方式將智能和環(huán)境情境結(jié)合到分割過(guò)程40。
分割圖像31是作為圖像分割過(guò)程40的結(jié)果而產(chǎn)生的。在不同的實(shí)施例中，分割圖像31潛在地可能采取多種不同的圖像和圖像特征的形式。然而，潛在乘員特征域中的很多乘員特征并沒(méi)有結(jié)合到氣囊展開(kāi)決定中。用于展開(kāi)目的的關(guān)鍵特征通常與位置和運(yùn)動(dòng)特征有關(guān)。因此，并沒(méi)有理由讓整個(gè)分割圖像31經(jīng)受隨后的處理。在優(yōu)選實(shí)施例中，使用一橢園配合子系統(tǒng)44將一橢園配合在分割圖像31的周?chē)?，以便系統(tǒng)16可以隨后對(duì)橢園進(jìn)行處理，而橢園乃是一個(gè)去除了分割圖像31的諸無(wú)關(guān)緊要特征的對(duì)象。在其它實(shí)施例中，系統(tǒng)16可以把其它幾何形狀或點(diǎn)的配置作為代替物，來(lái)代表乘員18。
一跟蹤子系統(tǒng)46可用于跟蹤乘員特征，如位置、速度、加速度和其它特征。在某些實(shí)施例中，跟蹤子系統(tǒng)46也可以用于“前向外推”(extrapolateforward)乘員數(shù)據(jù)，從而產(chǎn)生有關(guān)這些特征在兩次傳感器測(cè)量之間的期間內(nèi)將是什么的預(yù)測(cè)。在優(yōu)選實(shí)施例中，跟蹤和預(yù)測(cè)子系統(tǒng)46使用一個(gè)或多個(gè)卡爾曼濾波器，以便以概率加權(quán)的方式，將過(guò)去的傳感器諸測(cè)量結(jié)果與最近的傳感器測(cè)量結(jié)果結(jié)合起來(lái)?？柭鼮V波器將在下面描述。
跟蹤子系統(tǒng)46可以包含多種不同的子系統(tǒng)，這些不同的子系統(tǒng)專(zhuān)注于乘員特征的不同子集。例如，跟蹤子系統(tǒng)46可以包括一形狀跟蹤器和預(yù)測(cè)器模塊48，用于跟蹤和預(yù)測(cè)“形狀”特征，以及一運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器模塊50，用于跟蹤和預(yù)測(cè)“運(yùn)動(dòng)”特征?？捎蛇@些模塊執(zhí)行的過(guò)程將在下面詳細(xì)論述。
然后，由跟蹤子系統(tǒng)40產(chǎn)生的信息可以傳送給氣囊控制器32，以使氣囊展開(kāi)子系統(tǒng)36實(shí)施適當(dāng)?shù)男袨?。在某些情況下，由于乘員出現(xiàn)于或?qū)⒊霈F(xiàn)于一危險(xiǎn)區(qū)域，展開(kāi)受到阻礙。在某些實(shí)施例中，可以對(duì)氣囊展開(kāi)進(jìn)行配置，使其可以根據(jù)氣囊需要從乘員18吸收的動(dòng)能的量，而以不同的力量發(fā)生。跟蹤子系統(tǒng)40也可以用于決定是否已發(fā)生了碰撞，以及是否這樣的碰撞值得展開(kāi)氣囊。
III.圖像分割探試法圖4所示流程圖示出了一可由系統(tǒng)16實(shí)施的圖像分割試探法的例子。系統(tǒng)16是靈活的，可以包含如該圖所示過(guò)程的多種不同的變體。某些實(shí)施例可能運(yùn)用更少一些的處理步驟，而其它一些實(shí)施例將添加一些處理步驟。在優(yōu)選實(shí)施例中，由攝像機(jī)22捕獲的每個(gè)環(huán)境圖像都可經(jīng)受如該圖所示過(guò)程的分割過(guò)程。
A.“關(guān)注的區(qū)域”及關(guān)注的模塊區(qū)域環(huán)境圖像38中的關(guān)注區(qū)域是在步驟52決定的。該過(guò)程不一定在系統(tǒng)16的所有實(shí)施例中調(diào)用。然而，考慮到在氣囊展開(kāi)決定和系統(tǒng)16的其它應(yīng)用方面常見(jiàn)的時(shí)間和資源約束，最好把注意集中于環(huán)境圖像38的某些區(qū)域。確定關(guān)注區(qū)域是由分割子系統(tǒng)40中的一關(guān)注區(qū)域模塊完成的。在優(yōu)選實(shí)施例中，乘員的最近先前的位置(如前一個(gè)分割圖像31在前一個(gè)環(huán)境圖像38中的最可能位置，或者對(duì)分割圖像31在前一個(gè)環(huán)境圖像38中的位置的最近預(yù)測(cè))被用于決定最近(“當(dāng)前”)分割圖像31在當(dāng)前環(huán)境圖像38中的最可能的位置。如果跟蹤子系統(tǒng)46包括作出未來(lái)預(yù)測(cè)的能力，則該未來(lái)預(yù)測(cè)可以提供調(diào)用關(guān)注區(qū)域模塊的必要信息。位置和運(yùn)動(dòng)數(shù)據(jù)都可以?xún)?yōu)選地被結(jié)合到關(guān)注區(qū)域分析中。乘員特征，如乘員類(lèi)型(成人、兒童、兒童座椅等)以及潛在地任何其它相關(guān)的乘員特征，也可結(jié)合到這種分析中。
在優(yōu)選實(shí)施例中，跟蹤子系統(tǒng)46取最后計(jì)算出的分割圖像31(通常由一橢園表示)的位置和形狀，并根據(jù)狀態(tài)轉(zhuǎn)換矩陣，將其前向投影到當(dāng)前圖像幀中。該過(guò)程下面將討論。當(dāng)前橢園參數(shù)可以與狀態(tài)轉(zhuǎn)換矩陣相乘，從而產(chǎn)生所預(yù)測(cè)的在“當(dāng)前”時(shí)期內(nèi)的諸新值的輸出。
在優(yōu)選實(shí)施例中，關(guān)注區(qū)域定義為其方向沿橢園長(zhǎng)軸的一矩形，該橢園是由橢園配合子系統(tǒng)44所產(chǎn)生的。在其它實(shí)施例中，系統(tǒng)16可以使用與此不同的形狀和形狀系列。在優(yōu)選實(shí)施例中，矩形的高度優(yōu)選地位于橢園頂端之上預(yù)定數(shù)量的像素處，而矩形的底邊則定義為處于橢園的中點(diǎn)或形心之下“N”像素處。這是要忽略靠近圖像底部的像素，因?yàn)檫@些像素通常很少運(yùn)動(dòng)，而這是由于乘員18傾向于圍繞起臀部旋轉(zhuǎn)，而其臀部則通常是在座位上不動(dòng)的。當(dāng)乘員18使用安全帶時(shí)，這一假設(shè)尤其正確，但在未使用安全帶的場(chǎng)合，該假設(shè)仍是有用的。其它實(shí)施例可以包含不同的關(guān)注區(qū)域，可以比以上描述的關(guān)注區(qū)域更大或更小。通過(guò)專(zhuān)注于較小的關(guān)注區(qū)域，處理時(shí)間減少了。而且，一些無(wú)關(guān)緊要的運(yùn)動(dòng)效果，如手的揮動(dòng)和駛過(guò)車(chē)窗的物體可以適宜地忽略掉。在優(yōu)選實(shí)施例中，只有關(guān)注區(qū)域(例如范圍)被傳送以作進(jìn)一步處理，且凡是提到“環(huán)境圖像”的地方，都可以理解為是指環(huán)境圖像中的關(guān)注區(qū)域。在一些其它實(shí)施例中，隨后的處理不限于關(guān)注區(qū)域。當(dāng)在步驟52確定了關(guān)注區(qū)域之后，系統(tǒng)16的處理可以在兩個(gè)平行的、分開(kāi)的和同時(shí)的路線中執(zhí)行。在一些其它實(shí)施例中，這些路線可以合并為單個(gè)順序進(jìn)行的路線，而不是兩個(gè)過(guò)程以同時(shí)的方式執(zhí)行。
B.“差別圖像”和圖像差別模塊一圖像差別模塊53可用于在上述關(guān)注區(qū)域上執(zhí)行圖像差別試探法。圖像差別模塊53產(chǎn)生“差別”圖像，該圖像代表當(dāng)前(如最近捕獲的)環(huán)境圖像38和一先前環(huán)境圖像之間的差別。圖像差別試探法決定最近環(huán)境圖像38和當(dāng)前環(huán)境圖像38之間的像素值差別。系統(tǒng)16使用此種差別的絕對(duì)值來(lái)確定哪些像素在當(dāng)前環(huán)境圖像38中具有不同的值，以及因而哪些像素代表圖像中正在運(yùn)動(dòng)的物體或乘員的邊界。靜止的物體，如車(chē)輛內(nèi)部的大多數(shù)區(qū)域，將被消除，因?yàn)樗鼈儾粫?huì)從一個(gè)圖像到另一個(gè)圖像而改變，它們產(chǎn)生的是最小的絕對(duì)值。圖像差別模塊53有效地生成差別圖像，該差別圖像顯示任何正在運(yùn)動(dòng)的物體的邊緣的邊界，因?yàn)檎窃谖矬w的邊緣可以覺(jué)察到最顯著的運(yùn)動(dòng)。
C.低通模塊在優(yōu)選實(shí)施例中，將一低通濾波器應(yīng)用于差別圖像上。低通濾波器用于減少高頻噪聲，也用于輕微地模糊差別圖像，這將擴(kuò)大差別圖像中發(fā)現(xiàn)的邊緣的寬度。如下面討論的，這對(duì)于在隨后的處理中，將差別圖像用作屏蔽是重要的。在該圖中，低通濾波器及其功能被結(jié)合到圖像差別模塊53中。
D.保存環(huán)境圖像用于未來(lái)“差別圖像”當(dāng)前的環(huán)境圖像38在步驟54被保存，這樣，它就可以用作系統(tǒng)16處理的下一個(gè)環(huán)境圖像38的先前環(huán)境圖像38。在其它實(shí)施例中，可以為生成差別圖像的目的，而產(chǎn)生并存儲(chǔ)先前諸環(huán)境圖像38的加權(quán)組合。
E.生成梯度圖像模塊在優(yōu)選實(shí)施例中，一生成梯度圖像模塊56使用由關(guān)注區(qū)域模塊52所確定的關(guān)注區(qū)域，通過(guò)執(zhí)行一生成梯度圖像試探法，而生成該關(guān)注區(qū)域的梯度圖像。該圖像梯度試探法尋找目標(biāo)圖像中、其圖像幅值迅速變化的區(qū)域，如分割圖像中正在運(yùn)動(dòng)的部分。一優(yōu)選方法是計(jì)算當(dāng)前環(huán)境圖像38中，或最好僅僅是當(dāng)前環(huán)境圖像38的關(guān)注區(qū)域中的X方向和Y方向的梯度(導(dǎo)數(shù))。
Y方向的計(jì)算可以是圖像(i，j)-圖像(i，j-N)，其中“i”代表像素的X軸坐標(biāo)，“i”代表像素的Y軸坐標(biāo)。“N”代表圖像幅值的變化。X方向的計(jì)算可以是圖像(i，j)-圖像(i-N，j)。在梯度圖像申確定的邊界，可用于隨后的處理如模板更新中。
方程1梯度圖像(Y方向)＝圖像(i，j)-圖像(i，j-N)方程2梯度圖像(X方向)＝圖像(i，j)-圖像(i-N，j)F.圖像差別閾值模塊可以使用一圖像差別閾值模塊(或簡(jiǎn)單地稱(chēng)為“圖像閾值模塊”)58，對(duì)在步驟53中產(chǎn)生的“差別圖像”執(zhí)行閾值試探法。步驟58的閾值試探法58用于決定當(dāng)前環(huán)境圖像38，或最好是當(dāng)前環(huán)境圖像38中的關(guān)注區(qū)域，是否應(yīng)當(dāng)由系統(tǒng)16進(jìn)行隨后的處理。步驟58的閾值試探法也可以隨后被用作所述梯度圖像的“屏蔽”，以便消除固定邊緣，如門(mén)飾板邊緣或其它非移動(dòng)的內(nèi)部要素。
1.對(duì)圖像進(jìn)行“閾值化”生成一閾值差別圖像會(huì)涉及到將“差別”圖像中的亮度差別的程度與一閾值進(jìn)行比較，該閾值或者是預(yù)定的，或者最好是從正在被處理的環(huán)境圖像38的亮度數(shù)據(jù)中產(chǎn)生的。為了使用環(huán)境圖像38本身的特征來(lái)對(duì)“差別”圖像進(jìn)行“閾值化”，應(yīng)當(dāng)首先生成一像素亮度值的直方圖。
a.直方圖在優(yōu)選實(shí)施例中，通過(guò)生成“差別”值的直方圖來(lái)計(jì)算閾值。圖5是這種直方圖74的一個(gè)例子。
任何由攝像機(jī)22捕獲的環(huán)境圖像38都可以劃分為一個(gè)或多個(gè)像素78。一般來(lái)說(shuō)，環(huán)境圖像38中的像素78的數(shù)量越大，則圖像38的分辨率越好。在優(yōu)選實(shí)施例中，環(huán)境圖像38在寬度方向應(yīng)至少約為400像素，且環(huán)境圖像38在高度方向應(yīng)至少約為300像素。如果像素78數(shù)量過(guò)少，則可能很難把分割圖像31從環(huán)境圖像38中分離出來(lái)。然而，像素78的數(shù)量取決于攝像機(jī)22的種類(lèi)和型號(hào)，而當(dāng)攝像機(jī)22的像素78數(shù)量增加時(shí)，一般它也變得更昂貴。一個(gè)標(biāo)準(zhǔn)的攝像機(jī)可以捕獲大約400像素寬、300像素高的圖像。這樣的攝像機(jī)可以拍攝足夠細(xì)致的環(huán)境圖像38，同時(shí)又使本發(fā)明的優(yōu)選實(shí)施系統(tǒng)保持了相對(duì)廉價(jià)，因?yàn)槭褂玫氖菢?biāo)準(zhǔn)的非定制的攝像機(jī)22。因此，優(yōu)選實(shí)施例將使用的像素78總數(shù)大約為120,000(400×300)，盡管關(guān)注區(qū)域通常包括少得多的像素78。
每個(gè)像素78可以擁有一個(gè)或多個(gè)不同的像素特征或?qū)傩?統(tǒng)稱(chēng)為“特征”)76，系統(tǒng)16使用這些特征來(lái)把分割圖像31從環(huán)境圖像38中分離出來(lái)。像素78可以擁有一個(gè)或多個(gè)像素特征76，其中每個(gè)特征由一個(gè)或多個(gè)像素值來(lái)代表。像素特征76的一個(gè)例子是亮度度量值(“亮度”)。在優(yōu)選實(shí)施例中，所述“差別”圖像中的像素特征76代表當(dāng)前環(huán)境圖像38和先前環(huán)境圖像38之間的亮度值的差別。亮度的像素特征76可以作為與特殊像素相關(guān)的像素值76而被測(cè)量、存儲(chǔ)和操縱。在優(yōu)選實(shí)施例中，亮度可以表示為處于0(可能的最暗亮度)和255(可能的最亮亮度)之間的數(shù)字像素值。其它像素特征可能包括顏色、熱度、兩個(gè)或更多特征的加權(quán)組合，或有可能被用來(lái)把分割圖像31從環(huán)境圖像38中區(qū)分出來(lái)的任何其它特征。其它實(shí)施例可以使用其它特征來(lái)區(qū)別像素，并建立這些特征的直方圖。
該圖中的直方圖74記錄具有一特殊的單個(gè)像素特征76或像素特征76組合(統(tǒng)稱(chēng)為“特征”)的像素78的數(shù)量。直方圖74記錄在該特征上具有一特殊像素值的像素78的合計(jì)數(shù)量。因而，該圖的最右端的Y值表示具有亮度值255(亮度值的最大可能的差別)的像素78的數(shù)量，而在該圖最左端的Y值表示具有亮度值0(亮度值沒(méi)有差別)的像素的數(shù)量。
b.累積分布函數(shù)可以使用圖5的直方圖，來(lái)產(chǎn)生一如圖6所示的累積分布函數(shù)。累積分布曲線80是這樣一種工具，通過(guò)此種工具，系統(tǒng)在決定像素亮度(或其它特征)上的一變化是否真正表明分割圖像31和環(huán)境圖像38之間的一邊界時(shí)，可以結(jié)合到一“置信因子”指標(biāo)。
累積分布曲線80支持這樣的能力，即選擇在像素值的改變方面前N％的像素。縱軸可以代表系統(tǒng)16沒(méi)有將任何像素78錯(cuò)誤地歸類(lèi)為代表邊界像素78的累積概率82。累積概率82可以是值1-N，其中N是用于選擇運(yùn)動(dòng)像素78的前N％。例如，選擇前10％的像素將導(dǎo)致0.9的概率，0.9代表一環(huán)境像素沒(méi)有被錯(cuò)識(shí)地識(shí)別為一分割象素的概率。絕對(duì)確定性(1.0的概率)只能這樣來(lái)達(dá)到，即假設(shè)全部120,000個(gè)像素都是環(huán)境像素78，例如沒(méi)有像素78代表乘員18的分割圖像31。這樣的確定性對(duì)系統(tǒng)16沒(méi)有任何幫助，因?yàn)樗鼪](méi)有提供一個(gè)起點(diǎn)，以便開(kāi)始建立乘員18的形狀。相反，一低標(biāo)準(zhǔn)的精確度，如0值或接近0的值，不能將足夠的像素78從邊界像素78的類(lèi)別中排除出去。在優(yōu)選實(shí)施例中，0.85的概率是令人滿(mǎn)意的，因此前15％的像素被挑選出來(lái)。在其它實(shí)施例中，范圍0到1.0之內(nèi)的概率值都可以使用。在某些其它實(shí)施例中，不同的照明條件對(duì)于將不同的像素按照?qǐng)D像區(qū)域劃分為組將是有益的。不同的圖像區(qū)域可以具有不同的“N”值。
在一多圖像閾值環(huán)境中，如0.90、0.80或0.70這樣的概率是優(yōu)選的，因?yàn)樗鼈兺ǔ１砻骱芨叩木_度概率，同時(shí)又提供了像素78的實(shí)質(zhì)基礎(chǔ)。在優(yōu)選實(shí)施例中，多圖像閾值系統(tǒng)16將具有與圖像閾值數(shù)量同樣多的累積分布函數(shù)80。
系統(tǒng)16可以包括使用多個(gè)差別圖像和多個(gè)圖像閾值，這些圖像和閾值可以多種不同方式結(jié)合在一起。例如，可以使用閾值概率0.90、0.70和0.50，來(lái)生成三個(gè)閾值化差別圖像，這些閾值化差別圖像可以使用多種不同的試探法結(jié)合起來(lái)。
b.對(duì)差別圖像進(jìn)行“閾值化”圖7是一框圖，示出了一單圖像閾值實(shí)施例的示例。一圖像閾值84使得系統(tǒng)16可以通過(guò)將一特殊像素78的像素值與一由如圖6所示人們希望的累積概率82所決定的閾值相比較，而選擇前“N％”的可能邊界像素。在優(yōu)選實(shí)施例中，對(duì)差別圖像進(jìn)行閾值化將產(chǎn)生一個(gè)二進(jìn)制圖像。像素值大于或等于閾值的像素的值被設(shè)為1。所有其它像素的值被設(shè)為0。在優(yōu)選實(shí)施例中，該過(guò)程產(chǎn)生一個(gè)二進(jìn)制圖像，其中每個(gè)像素的值不是1就是0。
2.“差別圖像”是否值得進(jìn)行后續(xù)處理？返回圖4，閾值化的差別圖像被用來(lái)決定該差別圖像、以及該差別圖像所來(lái)自的環(huán)境圖像38，是否值得進(jìn)行隨后處理，并值得系統(tǒng)16依賴(lài)。如果在差別圖像中有過(guò)多的運(yùn)動(dòng)，則證明以隨后處理的形式使用該差別圖像是不夠可靠的。過(guò)多的運(yùn)動(dòng)可能發(fā)生于隨機(jī)的情況下，如當(dāng)一乘員16在座位上把毛衣從頭上套下來(lái)時(shí)。這樣的情況將產(chǎn)生大量的“運(yùn)動(dòng)”，但是系統(tǒng)16將無(wú)法最終生成一橢園，以將其發(fā)送給氣囊控制器32。如果有太多的運(yùn)動(dòng)，則系統(tǒng)16在步驟62應(yīng)當(dāng)或者依賴(lài)于由跟蹤和預(yù)測(cè)系統(tǒng)46所產(chǎn)生的有關(guān)該乘員18當(dāng)前特征的最近預(yù)測(cè)，或最好如下所述，將最近預(yù)測(cè)前向外推。
如果有過(guò)少的運(yùn)動(dòng)，則從上次環(huán)境圖像38中沒(méi)有什么實(shí)質(zhì)性的改變，這樣系統(tǒng)16在步驟60可以依賴(lài)于由前一次處理循環(huán)所產(chǎn)生的前一個(gè)橢園。解決過(guò)少運(yùn)動(dòng)和/或過(guò)多運(yùn)動(dòng)的問(wèn)題可以極大的提高系統(tǒng)16的精確度。決定是否已發(fā)生了過(guò)多或過(guò)少的運(yùn)動(dòng)，可以在系統(tǒng)16中通過(guò)將所述圖像閾值與代表過(guò)多運(yùn)動(dòng)或過(guò)少運(yùn)動(dòng)的一預(yù)定圖像閾值進(jìn)行比較而實(shí)施。
G.清潔梯度圖像模塊一清潔梯度圖像模塊64(或簡(jiǎn)單地稱(chēng)為清潔圖像模塊)可被用來(lái)“清潔”從生成梯度圖像模塊56導(dǎo)出的梯度圖像。由生成梯度圖像模塊56傳來(lái)的梯度圖像(優(yōu)選地限于初始的關(guān)注區(qū)域)通常包括來(lái)自車(chē)輛內(nèi)部的邊緣，如門(mén)飾板的邊緣等。這些邊緣是無(wú)關(guān)的，因?yàn)樗鼈儾皇浅藛T18的一部分。閾值化的差別圖像可被用作“屏蔽”，來(lái)消除圖像中不需要的固定要素，而只保留構(gòu)成分割圖像31的邊緣、并在其中和其周?chē)哂羞\(yùn)動(dòng)的像素。這可以幫助系統(tǒng)16從背景像素中區(qū)分出運(yùn)動(dòng)像素，從而增加了諸如下述模板匹配和模板更新過(guò)程等試探法的精度。
H.模板匹配模塊一模板匹配模塊66可由系統(tǒng)16調(diào)用。模板匹配模塊66執(zhí)行一模板配合或模板匹配試探法。如下所述，在優(yōu)選實(shí)施例中，模板圖像是一先前分割圖像31。在其它實(shí)施例中，模板圖像可以是預(yù)定的，但最好是如下所述可調(diào)整的。一種這樣的試探法是豪斯多夫距離探試法。豪斯多夫距離計(jì)算的例子在方程3中提供h(M，I)＝max min m-i
變量“m”是模板圖像中的點(diǎn)，而變量“I”是差別圖像中的點(diǎn)。距離可以是從一個(gè)圖像到另一圖像對(duì)最近非零象素的距離(按象素)。系統(tǒng)16可以使用豪斯多夫距離試探法的不同變形。
模板圖像可以被旋轉(zhuǎn)以經(jīng)過(guò)一系列角度，這一系列角度是乘員18在傳感器的兩次測(cè)量之間可能已經(jīng)旋轉(zhuǎn)經(jīng)過(guò)的。這通常是加或減6度，這是攝像機(jī)兩幀圖像之間的期間的最差情況值，此時(shí)車(chē)輛處于高速度剎車(chē)的情況，而乘員18圍繞車(chē)座安全帶系住臀部的部分旋轉(zhuǎn)。
對(duì)于一個(gè)旋轉(zhuǎn)后的角度，可以調(diào)用豪斯多夫距離試探法計(jì)算差別圖像與轉(zhuǎn)動(dòng)的模板圖像之間的“距離”。模板圖像和差別圖像最好都是二進(jìn)制圖像。帶有最低豪斯多夫距離的模板位置是對(duì)應(yīng)于與差別圖像最佳對(duì)準(zhǔn)的模板的轉(zhuǎn)動(dòng)角度。
如果最小豪斯多夫距離不能清楚地區(qū)分，則最初捕獲的環(huán)境圖像38可能有某種錯(cuò)誤。例如，乘員18可能暫時(shí)以他們的手阻擋了相機(jī)22。如果當(dāng)與結(jié)合到系統(tǒng)16中的預(yù)定的閾值相比，最低豪斯多夫距離與次低豪斯多夫距離之間的差太小時(shí)，則系統(tǒng)16應(yīng)當(dāng)忽略當(dāng)前的環(huán)境圖像38，并應(yīng)當(dāng)使用跟蹤和預(yù)測(cè)子系統(tǒng)46另外外推分割圖像31的未來(lái)預(yù)測(cè)。
I.更新模板模塊如果匹配的模板表明可以產(chǎn)生一適當(dāng)?shù)姆指顖D像31，則系統(tǒng)16可以調(diào)用一更新模板模塊68，以便為了系統(tǒng)16的未來(lái)使用而增強(qiáng)模板圖像。該模板圖像起初是通過(guò)對(duì)一模板輪廓進(jìn)行角度等分的采樣而產(chǎn)生的。然后，可以在新的梯度圖像中搜索這一組點(diǎn)。旋轉(zhuǎn)模板以在所述新梯度圖像中找到角度上的最佳配合。對(duì)于所述每一個(gè)控制點(diǎn)，生成一與所述輪廓的切點(diǎn)垂直的直線。更新模板試探法沿著所述垂線增加該點(diǎn)的位置，并在梯度圖像中為線段尋找最佳匹配。在某些實(shí)施例中，這樣一組新位置可以存儲(chǔ)在計(jì)算機(jī)30中，作為一數(shù)據(jù)點(diǎn)序列，以便未來(lái)作為一模板圖像使用。在其它實(shí)施例中，隨后從所述數(shù)據(jù)點(diǎn)序列中產(chǎn)生一個(gè)三次樣條擬合，并在圍繞模板等分的角度上、沿著所述輪廓產(chǎn)生新的一組控制點(diǎn)。樣條線用作新的輪廓。
圖8a示出了一模板圖像，即一先前分割圖像31的示例。圖8b示出了模板圖像可以旋轉(zhuǎn)經(jīng)過(guò)的一系列角度86。圖8c示出了應(yīng)用于一圖像的角度范圍。圖8d是可由系統(tǒng)16產(chǎn)生的一橢園88的示例。圖8e是一橢園配合于乘員18的一已更新模板的示例。圖8f是正在產(chǎn)生、以在未來(lái)用作模板的一新輪廓的示例。
J.橢圓適配模塊一旦最佳適配模板已被決定并修改，系統(tǒng)16可以抽取相應(yīng)的橢園參數(shù)，以便可以把這些參數(shù)提供給跟蹤和預(yù)測(cè)子系統(tǒng)46。
一橢園適配模塊70可用于將一橢園88適配于所產(chǎn)生的匹配的和更新的模板。此功能也可以在橢園適配子系統(tǒng)44中與圖像分割子系統(tǒng)40分離地執(zhí)行。在任一情況下，系統(tǒng)16可以結(jié)合到多種不同的橢園適配試探法。橢園適配試探法的一個(gè)例子是“直接最小二乘試探法”直接最小二乘試探法將模板上的每個(gè)非零像素當(dāng)作可用于最小二乘擬合的一(x，y)采樣值。在優(yōu)選實(shí)施例中，假設(shè)橢園的下部不動(dòng)。因此，它最好不是如前面確定的關(guān)注區(qū)域的一部分。通過(guò)使用上一個(gè)橢園的下部，系統(tǒng)16可以確保該橢園保持正確的方向，且該橢園的最下部在座位上。如果關(guān)于乘員運(yùn)動(dòng)的此假設(shè)不準(zhǔn)確，則因而發(fā)生的垂直運(yùn)動(dòng)將產(chǎn)生過(guò)多的運(yùn)動(dòng)，這樣系統(tǒng)16將拋棄該圖像，而依賴(lài)于如上討論的在步驟62對(duì)上次預(yù)測(cè)的前向外推。為了完成橢園，并考慮到下部不是關(guān)注區(qū)域的一部分的事實(shí)，可以使用上一個(gè)橢園的下部，這樣有利于橢園的正確定向，使其最下部在座位上。系統(tǒng)16可以應(yīng)用若干不同的樣本橢園，這些樣本橢園是以剛開(kāi)始開(kāi)啟系統(tǒng)16時(shí)的初始橢園為基礎(chǔ)的。
IV.橢圓和乘員的特征在系統(tǒng)16的氣囊展開(kāi)實(shí)施例中，系統(tǒng)16優(yōu)選地使用橢園88來(lái)代表乘員，以便監(jiān)視相關(guān)的乘員特征。在其它實(shí)施例中，可以使用其它形狀來(lái)代表乘員18的分割圖像31。在優(yōu)選實(shí)施例中，橢園適配子系統(tǒng)是計(jì)算機(jī)30中的軟件，但在其它實(shí)施例中，橢園適配子系統(tǒng)可以存在于不同的計(jì)算機(jī)或設(shè)備中。
在優(yōu)選實(shí)施例中，用于乘員特征跟蹤和預(yù)測(cè)的橢園88可以從乘員的臀部向上延伸到其頭部。
圖9示出了可從橢園88中得出的許多變量，這些變量代表某些與氣囊展開(kāi)系統(tǒng)36有關(guān)的乘員18的分割圖像31的特征。橢園88的形心94可以由系統(tǒng)16確定，以便跟蹤乘員18的特征。如何確定橢園88的形心94，在本領(lǐng)域中是為人所知的。其它實(shí)施例可以使用橢園88上的其它點(diǎn)，來(lái)跟蹤與氣囊展開(kāi)36或其它處理有關(guān)的乘員18的特征。從橢園88可以得出多種乘員18特征。
運(yùn)動(dòng)特征包括形心94的x座標(biāo)(“距離”)98和一前傾角(“θ”)100。形狀測(cè)量值包括形心94的y座標(biāo)(“高度”)96，橢園的長(zhǎng)軸長(zhǎng)度(“長(zhǎng)軸”)90和橢園的短軸長(zhǎng)度(“短軸”)92。
最好為所有的形狀和運(yùn)動(dòng)測(cè)量值而獲取變化率的信息和其它數(shù)學(xué)導(dǎo)出，如速度(一次導(dǎo)數(shù))和加速度(二重導(dǎo)數(shù))，因此在優(yōu)選實(shí)施例中，有九個(gè)形狀特征(高度、高度、高度、長(zhǎng)軸、長(zhǎng)軸、長(zhǎng)軸、短軸、短軸和短軸)和六個(gè)運(yùn)動(dòng)特征(距離、距離、距離、θ、θ和θ)。一側(cè)傾角Φ未示出，因?yàn)樗怪庇趫D像平面，而且正如下面將詳細(xì)討論的，此側(cè)傾角是導(dǎo)出的，而不是測(cè)出的。運(yùn)動(dòng)和形狀特征被用來(lái)計(jì)算乘員18的體積，并最終計(jì)算其質(zhì)量，以便確定乘員18的動(dòng)能。其它實(shí)施例可能包括數(shù)量更多地或數(shù)量更少的乘員18特征。
圖10示出了側(cè)傾角(“Φ”)102。在本發(fā)明的優(yōu)選實(shí)施例中，有3個(gè)形狀狀態(tài)，即左傾朝向駕駛員(左邊)106、坐正(中間)104、右傾離開(kāi)駕駛員(右邊)108，其側(cè)傾角分別為-Φ、0和Φ。在優(yōu)選實(shí)施例中，根據(jù)所使用的車(chē)輛的性質(zhì)，Φ設(shè)置為15和40度之間的一個(gè)值。其它實(shí)施例可包括不同數(shù)量的形狀狀態(tài)，以及不同范圍的側(cè)傾角102。
V.馬爾可夫概率鏈系統(tǒng)16可以包含多個(gè)卡爾曼濾波器的一個(gè)多模型概率加權(quán)的實(shí)現(xiàn)形式。在優(yōu)選實(shí)施例中，應(yīng)用于運(yùn)動(dòng)特征的卡爾曼濾波器與應(yīng)用于形狀特征的卡爾曼濾波器是不同的。而且，優(yōu)選的是，每一單個(gè)形狀特征對(duì)于系統(tǒng)16支持的每個(gè)形狀狀態(tài)都具有一個(gè)單獨(dú)的卡爾曼濾波器。類(lèi)似地，優(yōu)選的是，每一單個(gè)運(yùn)動(dòng)特征對(duì)于系統(tǒng)16支持的每個(gè)運(yùn)動(dòng)模式都具有一單獨(dú)的卡爾曼濾波器。有某些預(yù)定的概率與從一狀態(tài)到另一狀態(tài)或者從一模式到另一模式的轉(zhuǎn)換相聯(lián)系。這些概率可以通過(guò)使用馬爾可夫鏈而得到描述。系統(tǒng)16是靈活的，且可以支持用于多種不同模式和狀態(tài)的多種不同概率。系統(tǒng)16的用戶(hù)可以自由地將他們自己的概率值設(shè)置到馬爾可夫鏈所揭示的、并在下面得到極詳細(xì)描述的變量中。這使得系統(tǒng)16與不同實(shí)施例和不同操作環(huán)境有關(guān)的靈活性得到最大化。
圖11示出了本發(fā)明的優(yōu)選實(shí)施例中所使用的三種形狀狀態(tài)。在優(yōu)選實(shí)施例中，一乘員18或者傾向駕駛員(“左傾”)106，或者正中坐著(“正中”)104，或者傾離駕駛員(“右傾”)108。處于一特殊狀態(tài)、然后終止于一特殊狀態(tài)的乘員18概率可由一些線來(lái)標(biāo)識(shí)，這些線從一特殊形狀狀態(tài)出發(fā)，其箭頭指向隨后的形狀狀態(tài)。例如，處于正中狀態(tài)的一乘員保持處于正中狀態(tài)的概率PC-C由110處的箭頭表示。從中間移動(dòng)到左邊的概率PC-L由箭頭114來(lái)表示，而從中間移動(dòng)到右邊的概率PC-R是112。來(lái)源于初始的正中狀態(tài)的所有概率必須加起來(lái)為1。
方程4PC-C+PC-L+PC-R＝1.0類(lèi)似地，來(lái)源于任一特殊狀態(tài)的所有概率必須加起來(lái)為1.0。
118處的箭頭代表一左傾的乘員18將在下一時(shí)間段內(nèi)正中坐著的概率(PL-C)。類(lèi)似地，120處的箭頭代表一左傾的乘員將在下一時(shí)間段內(nèi)右傾的概率(PL-R)，而116處的箭頭代表一左傾的乘員將保持左傾的概率(PL-L)。來(lái)源于初始的左傾狀態(tài)的所有可能概率的和必須為1。
方程5PL-C+PL-L+PL-R＝1.0最后，122處的箭頭代表一右傾的乘員將保持右傾的概率(PR-R)，124處的箭頭代表一右傾的乘員將進(jìn)入正中狀態(tài)的概率(RR-C)，而126處的箭頭代表乘員將左傾的概率(PR-L)。來(lái)源于初始的右傾狀態(tài)的所有可能概率的和必須為1。
方程6PR-C+PR-L+PR-R＝1.0
事實(shí)上，通常的攝像機(jī)22每秒鐘捕捉40到100幀圖像(高速攝像機(jī)22每秒鐘捕獲250到1000幀圖像)。因此，一左傾106的乘員變?yōu)橛覂A108的乘員，或者一右傾108的乘員變?yōu)樽髢A106的乘員，而不首先轉(zhuǎn)變到“正中”104的狀態(tài)，這基本上是不可能的。最可能的是，一左傾106乘員在成為右傾108乘員之前，首先進(jìn)入正中狀態(tài)104，類(lèi)似地，最現(xiàn)實(shí)的是，一右傾108乘員在成為左傾106乘員之前，首先成為正中104的乘員。因此，120處的PL-R應(yīng)當(dāng)設(shè)置為一接近于零但不等于零的很小的數(shù)，且126處的PR-L應(yīng)當(dāng)設(shè)置為一接近零但不等于零的很小的數(shù)。
圖12示出了一類(lèi)似的馬爾可夫鏈，其代表與運(yùn)動(dòng)模式有關(guān)的相關(guān)的概率。系統(tǒng)16的優(yōu)選實(shí)施例使用三種運(yùn)動(dòng)模式靜止模式130，代表一人類(lèi)乘員18處于靜止模式，如處于睡眠中；人類(lèi)模式132，代表一乘員18的行為如汽車(chē)或其它車(chē)輛的典型乘客一樣，這樣的乘員當(dāng)然是在運(yùn)動(dòng)，但并非以極端的方式運(yùn)動(dòng)；以及碰撞模式134，代表一處于碰撞或碰撞前的剎車(chē)模式的車(chē)輛中的乘員18。
處于一特殊模式、然后在下一時(shí)間增量中以處于一特殊狀態(tài)而告終的乘員18的概率可由一些線來(lái)標(biāo)識(shí)，這些線從當(dāng)前狀態(tài)出發(fā)，其箭頭指向新?tīng)顟B(tài)。例如，處于靜止模式的一乘員繼續(xù)處于靜止模式的概率PS-S由136處的箭頭表示。從靜止模式移動(dòng)到人類(lèi)模式的概率PS-H由136處的箭頭來(lái)表示。從靜止移動(dòng)到碰撞的概率PS-C是在140處。來(lái)源于初始的靜止?fàn)顟B(tài)130的所有概率必須加起來(lái)為1。
方程7PS-S+PS-H+PS-C＝1.0類(lèi)似的，從人類(lèi)模式轉(zhuǎn)變到人類(lèi)模式的概率是142處的PH-H，從人類(lèi)模式轉(zhuǎn)變到靜止模式的概率是144處的PH-S，而從人類(lèi)模式轉(zhuǎn)變到碰撞模式的概率是146處的PH-C。來(lái)源于初始的人類(lèi)狀態(tài)的所有概率必須加起來(lái)為1。
方程8PH-H+PH-C+PH-S＝1.0從碰撞模式轉(zhuǎn)變到碰撞模式的概率是148處的PC-C，從碰撞模式轉(zhuǎn)變到靜止模式的概率是150處的PC-s，而從碰撞模式到人類(lèi)模式的概率是152處的PC-H。來(lái)源于初始的碰撞狀態(tài)的所有概率必須加起來(lái)為1。
方程9PC-C+PC-S+PC-H＝1.0事實(shí)上，一旦進(jìn)入了碰撞狀態(tài)，乘員18則極不可能(如果不是完全不可能)再離開(kāi)134處的此碰撞狀態(tài)。在大多數(shù)情況下，134處的碰撞將結(jié)束乘員18的旅行。因此，在優(yōu)選實(shí)施例中，PC-H、PC-C和PC-S都被設(shè)置為接近于零。人們希望的是，系統(tǒng)16允許某些離開(kāi)碰撞狀態(tài)134的機(jī)會(huì)，否則，當(dāng)出現(xiàn)暫時(shí)的系統(tǒng)16“噪聲”情況或某種其它非?，F(xiàn)象時(shí)，系統(tǒng)16就可能卡在碰撞狀態(tài)134。其它實(shí)施例可以將任一特殊概率設(shè)置為0和1之間的適當(dāng)?shù)闹?，并可以使用不同?shù)量的模式。系統(tǒng)16可以包括多種概率值，這些概率值最好是根據(jù)特殊實(shí)施例和系統(tǒng)16的環(huán)境而定制的。
與各種形狀狀態(tài)和運(yùn)動(dòng)模式相聯(lián)系的轉(zhuǎn)變概率被用于為每一特征和狀態(tài)組合產(chǎn)生一卡爾曼濾波器方程。然后，通過(guò)使用所述各種概率以便給每個(gè)卡爾曼濾波器適當(dāng)?shù)臋?quán)重，這些濾波器的結(jié)果被匯總為一個(gè)結(jié)果。所有所述概率最好由系統(tǒng)16的用戶(hù)預(yù)先定義。
馬爾可夫鏈概率提供了這樣的手段，可以為每個(gè)特征和每個(gè)狀態(tài)與每個(gè)模式，給予各種卡爾曼濾波器以權(quán)重。跟蹤和預(yù)測(cè)子系統(tǒng)的系統(tǒng)46以?xún)蓚€(gè)子系統(tǒng)的形式包括了馬爾可夫鏈概率，這兩個(gè)子系統(tǒng)是形狀跟蹤器和預(yù)測(cè)器48以及運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器50。
VI.形狀跟蹤器和預(yù)測(cè)器圖13示出了形狀跟蹤器和預(yù)測(cè)器48的詳細(xì)的流程圖。在本發(fā)明的優(yōu)選實(shí)施例中，形狀跟蹤器和預(yù)測(cè)器48跟蹤和預(yù)測(cè)橢園88的長(zhǎng)軸(“長(zhǎng)軸”)90、橢園88的短軸(“短軸”)92和形心94的y座標(biāo)(“高度”)96。每一特征具有一向量，該向量描述此特殊特征的位置、速度和加速度信息。長(zhǎng)軸向量是[長(zhǎng)軸、長(zhǎng)軸′、長(zhǎng)軸″]，其中長(zhǎng)軸′代表長(zhǎng)軸的變化率或速度，而長(zhǎng)軸″代表長(zhǎng)軸的二次導(dǎo)數(shù)(即長(zhǎng)軸速度的變化率或加速度)。同樣道理，短軸向量是[短軸、短軸′、短軸″]，高度向量是[高度、高度′、高度″]。任何其它形狀向量將類(lèi)似地具有位置、速度(變化率)和加速度(二重導(dǎo)數(shù))分量。
形狀跟蹤器和預(yù)測(cè)器48在步驟200更新形狀預(yù)測(cè)，在步驟202更新協(xié)方差和增益矩陣，在步驟204更新形狀估計(jì)，在步驟206產(chǎn)生綜合形狀估計(jì)。這些過(guò)程將在下面描述。當(dāng)系統(tǒng)16處于活動(dòng)狀態(tài)時(shí)，從步驟200到206的循環(huán)是永久進(jìn)行的。在該過(guò)程的首次循環(huán)中，在步驟200沒(méi)有預(yù)測(cè)可更新，在步驟202也沒(méi)有協(xié)方差或者增益矩陣可更新。因此，首次循環(huán)將直接跳到步驟204。在隨后的循環(huán)中，形狀跟蹤和預(yù)測(cè)的過(guò)程48的第一個(gè)步驟是在步驟200的更新形狀預(yù)測(cè)。所述形狀跟蹤器和預(yù)測(cè)器48也推斷乘員是否左傾、右傾或正中坐著。該信息被用于決定乘員是否處于危險(xiǎn)區(qū)域，正如下面將更詳細(xì)地描述的。
A.更新形狀預(yù)測(cè)在步驟200執(zhí)行一更新形狀預(yù)測(cè)過(guò)程。該過(guò)程取上次形狀估計(jì)，并使用一轉(zhuǎn)換矩陣將其外推為一未來(lái)預(yù)測(cè)。
方程10更新的向量預(yù)測(cè)＝轉(zhuǎn)換矩陣*上次向量估計(jì)轉(zhuǎn)換矩陣將牛頓力學(xué)應(yīng)用于上次向量估計(jì)，由此，基于乘員18的過(guò)去位置、速度和加速度，而前向投射出關(guān)于該乘員將處于何處的預(yù)測(cè)。上次向量估計(jì)是如下所述在步驟204產(chǎn)生的。
于是，將下列方程應(yīng)用于所有形狀變量和所有形狀狀態(tài)，在該方程中，x是形狀變量，Δt代表隨時(shí)間的變化(速度)，1/2Δt2代表加速度。
方程11(1 Δt 1/2Δt2)(x)更新的向量預(yù)測(cè)＝(0 1Δt )* (x′)(0 01) (x″)在本發(fā)明的優(yōu)選實(shí)施例中，在步驟200有九個(gè)更新的向量預(yù)測(cè)，因?yàn)樵趦?yōu)選實(shí)施例中，有三個(gè)形狀狀態(tài)和三個(gè)非導(dǎo)出的形狀變量，且3×3＝9。這些更新的形狀向量預(yù)測(cè)是更新的正中狀態(tài)的長(zhǎng)軸更新的右傾狀態(tài)的長(zhǎng)軸更新的左傾狀態(tài)的長(zhǎng)軸更新的正中狀態(tài)的短軸更新的右傾狀態(tài)的短軸更新的左傾狀態(tài)的短軸更新的正中狀態(tài)的高度更新的右傾狀態(tài)的高度更新的左傾狀態(tài)的高度B.更新協(xié)方差和增益矩陣當(dāng)在步驟200更新了所有變量和所有狀態(tài)的形狀預(yù)測(cè)之后，必須在步驟202更新形狀預(yù)測(cè)協(xié)方差矩陣、形狀增益矩陣和形狀估計(jì)協(xié)方差矩陣。形狀預(yù)測(cè)協(xié)方差解釋預(yù)測(cè)過(guò)程中的誤差。如前所述，增益代表最近的測(cè)量將獲得的權(quán)重，并解釋分段測(cè)量過(guò)程中的誤差。形狀估計(jì)協(xié)方差解釋估計(jì)過(guò)程中的誤差。
首先更新預(yù)測(cè)協(xié)方差。用來(lái)更新每一形狀預(yù)測(cè)協(xié)方差矩陣的方程如下方程12形狀預(yù)測(cè)協(xié)方差矩陣＝[狀態(tài)轉(zhuǎn)換矩陣*舊的估計(jì)協(xié)方差矩陣*轉(zhuǎn)置(狀態(tài)轉(zhuǎn)換矩陣)]+系統(tǒng)噪聲狀態(tài)轉(zhuǎn)換矩陣是用于以上更新形狀預(yù)測(cè)的、體現(xiàn)牛頓力學(xué)的矩陣。舊的估計(jì)協(xié)方差矩陣得自前一次循環(huán)的步驟204。在首次從200到206的循環(huán)中，步驟202被跳過(guò)。獲得一矩陣的轉(zhuǎn)置只需要簡(jiǎn)單地用行來(lái)交換列，用列來(lái)交換行，且在本領(lǐng)域是為人所知的。因此，狀態(tài)轉(zhuǎn)換矩陣的轉(zhuǎn)置矩陣是其行為列、其列為行的狀態(tài)轉(zhuǎn)換矩陣。系統(tǒng)噪聲是一常數(shù)矩陣，用于將系統(tǒng)中的噪聲結(jié)合到考慮之中。用于系統(tǒng)噪聲矩陣的常量是由本發(fā)明的用戶(hù)設(shè)置的，但選擇噪聲常量的方法在本領(lǐng)域是為人所知的。
下一個(gè)將被更新的矩陣是增益矩陣。如上面討論的，增益代表應(yīng)當(dāng)給予一新的測(cè)量值的權(quán)重置信度。其值為1的增益表示最精確的測(cè)量，此時(shí)過(guò)去的估計(jì)可以忽略。其值為0的增益表示最不精確的測(cè)量，此時(shí)最近的測(cè)量將被忽略，本發(fā)明的用戶(hù)將僅僅依賴(lài)于過(guò)去的估計(jì)。增益所起的作用可以由方程12的基本卡爾曼濾波方程13表明
X(新估計(jì))＝X(舊預(yù)測(cè))+增益[-X(舊預(yù)測(cè))+X(測(cè)量值)]增益并不簡(jiǎn)單地是一個(gè)數(shù)，因?yàn)閷?duì)于每個(gè)形狀變量和形狀狀態(tài)的組合，都存在一個(gè)增益。用于更新增益的一般方程是方程14增益＝形狀預(yù)測(cè)協(xié)方差矩陣*轉(zhuǎn)置(測(cè)量矩陣)*逆矩陣(殘數(shù)協(xié)方差)形狀協(xié)方差矩陣的計(jì)算如前。測(cè)量矩陣不過(guò)是一種為了確定增益的目的而分離和抽取形狀向量中的位置分量、忽略其速度和加速度分量的方法。測(cè)量矩陣的轉(zhuǎn)置簡(jiǎn)單地為[100]。之所以分離出一形狀變量中的位置分量是因?yàn)樗俣群图铀俣葘?shí)際上是導(dǎo)出的分量，只有位置是由拍攝的圖像測(cè)量的。增益所涉及的是應(yīng)當(dāng)給予實(shí)際測(cè)量值的權(quán)重。
在卡爾曼濾波器的一般表現(xiàn)形式X(新估計(jì))＝X(舊預(yù)測(cè))+增益[-X(舊預(yù)測(cè))+X(測(cè)量值)]中，所述殘數(shù)代表舊預(yù)測(cè)和新測(cè)量值之間的差值。存在一些殘數(shù)協(xié)方差的完整矩陣。殘數(shù)協(xié)方差矩陣的逆矩陣被用來(lái)更新增益矩陣。如何獲得一矩陣的逆矩陣，在本領(lǐng)域中是為人所知的，這是一個(gè)簡(jiǎn)單的線性代數(shù)過(guò)程。殘數(shù)協(xié)方差矩陣的方程是方程15殘數(shù)協(xié)方差＝[測(cè)量矩陣*預(yù)測(cè)協(xié)方差*轉(zhuǎn)置(測(cè)量矩陣)]+測(cè)量噪聲測(cè)量矩陣是用于將一形狀向量的位置分量從其速度和加速度分量中分離出來(lái)的簡(jiǎn)單矩陣。預(yù)測(cè)協(xié)方差的計(jì)算如上。測(cè)量矩陣的轉(zhuǎn)置簡(jiǎn)單地是一個(gè)一行矩陣[100]，而不是具有相同分量值的一列矩陣。測(cè)量噪聲是一常量，用于將傳感器22及分割過(guò)程40有關(guān)的誤差結(jié)合到考慮。
將被更新的最后一個(gè)矩陣是形狀估計(jì)協(xié)方差矩陣，其代表估計(jì)誤差。由于估計(jì)是基于當(dāng)前測(cè)量和過(guò)去預(yù)測(cè)，估計(jì)誤差一般不如預(yù)測(cè)誤差嚴(yán)重。用于更新形狀估計(jì)協(xié)方差矩陣的方程是方程16形狀估計(jì)協(xié)方差矩陣＝(單位矩陣-增益矩陣*測(cè)量矩陣)*形狀預(yù)測(cè)協(xié)方差矩陣單位矩陣在本領(lǐng)域是為人所知的，它只包括一條由1組成的、從左上方延伸到右下方的斜線，而任何其它位置均為0。增益矩陣是如上計(jì)算和描述的。測(cè)量矩陣也是如上描述的，且用于將形狀向量的位置分量從其速度和加速度分量中分離出來(lái)。預(yù)測(cè)協(xié)方差矩陣也是如上計(jì)算和描述的。
C.更新形狀估計(jì)在步驟204調(diào)用更新形狀估計(jì)過(guò)程。該過(guò)程的第一步是計(jì)算所述殘數(shù)。
方程17殘數(shù)＝測(cè)量值-(測(cè)量矩陣*預(yù)測(cè)協(xié)方差)然后，形狀狀態(tài)本身被更新。
方程18更新的形狀向量估計(jì)＝形狀向量預(yù)測(cè)+(增益*殘值)當(dāng)分解為單個(gè)方程之后，其結(jié)果如下XC(t時(shí)的長(zhǎng)軸)＝XC(t時(shí)的長(zhǎng)軸)+增益[-XC(t-1時(shí)的長(zhǎng)軸)+XC(測(cè)量的長(zhǎng)軸)]XL(t時(shí)的長(zhǎng)軸)＝XL(t時(shí)的長(zhǎng)軸)+增益[-XL(t-1時(shí)的長(zhǎng)軸)+XL(測(cè)量的長(zhǎng)軸)]XR(t時(shí)的長(zhǎng)軸)＝XR(t時(shí)的長(zhǎng)軸)+增益[-XR(t-1時(shí)的長(zhǎng)軸)+XR(測(cè)量的長(zhǎng)軸)]XC(t時(shí)的短軸)＝XC(t時(shí)的短軸)+增益[-XC(t-1時(shí)的短軸)+XC(測(cè)量的短軸)]XL(t時(shí)的短軸)＝XL(t時(shí)的短軸)+增益[-XL(t-1時(shí)的短軸)+XL(測(cè)量的短軸)]XR(t時(shí)的短軸)＝XR(t時(shí)的短軸)+增益[-XR(t-1時(shí)的短軸)+XR(測(cè)量的短軸)]XC(t時(shí)的高度)＝XC(t時(shí)的高度)+增益[-XC(t-1時(shí)的高度)+XC(測(cè)量的高度)]XL(t時(shí)的高度)＝XL(t時(shí)的高度)+增益[-XL(t-1時(shí)的高度)+XL(測(cè)量的高度)]XR(t時(shí)的高度)＝XR(t時(shí)的高度)+增益[-XR(t-1時(shí)的高度)+XR(測(cè)量的高度)]在優(yōu)選實(shí)施例中，C代表正中狀態(tài)，L代表向左傾向駕駛員的狀態(tài)，R代表向右傾離駕駛員的狀態(tài)。字母t代表時(shí)間增量，t+1代表緊接著t之后的時(shí)間增量，t-1代表緊接著t之前的時(shí)間增量。
D.產(chǎn)生綜合形狀估計(jì)在步驟200和步驟208之間不斷重復(fù)的過(guò)程的最后一個(gè)步驟是在208處的產(chǎn)生綜合估計(jì)步驟。該過(guò)程的第一部分是為每一形狀向量估計(jì)分配一概率。使用如上討論的同一公式，對(duì)殘數(shù)協(xié)方差進(jìn)行重新計(jì)算。
方程19協(xié)方差殘數(shù)矩陣＝[測(cè)量矩陣*預(yù)測(cè)協(xié)方差矩陣*轉(zhuǎn)置(測(cè)量矩陣)]+測(cè)量噪聲下一步，計(jì)算每一個(gè)形狀向量的實(shí)際似然性。系統(tǒng)通過(guò)將各狀態(tài)的預(yù)測(cè)值與關(guān)于各形狀變量的當(dāng)前值實(shí)際上是什么的最近最佳估計(jì)相比較，而決定乘員處于什么狀態(tài)。
方程20(C)可能性(R)＝e-(殘數(shù)-偏移量)2/2ò2(L)在本系統(tǒng)16的優(yōu)選實(shí)施例中，沒(méi)有偏移量，因?yàn)榭梢约僭O(shè)諸偏移量相互抵消掉了，且系統(tǒng)16的過(guò)程可以是零均值高斯信號(hào)。σ代表方差，且是由人類(lèi)開(kāi)發(fā)者在本發(fā)明的實(shí)施階段定義的。在本領(lǐng)域，人們知道如何通過(guò)查看數(shù)據(jù)，而為σ分配一有用的值。
具有最高似然性的狀態(tài)決定了側(cè)傾角Φ。如果乘員18處于正中狀態(tài)，則側(cè)傾角是0度。如果乘員傾向左邊，則側(cè)傾角是-Φ。如果乘員傾向右邊，則側(cè)傾角是Φ。在本發(fā)明的優(yōu)選實(shí)施例中，Φ和-Φ是基于使用系統(tǒng)16的車(chē)輛的種類(lèi)和型號(hào)而預(yù)定的。
下一步，從上面產(chǎn)生的可能性和前面討論的預(yù)定的馬爾可夫模式概率，狀態(tài)概率得到更新。
方程21PC＝PC-C+PR-C+PL-C方程22PR＝PR-R+PC-R+PL-R方程23PL＝PL-L+PC-L+PR-L用于更新的模式概率的方程如下，其中μ代表如前計(jì)算的一特殊模式的似然性。
方程24左傾狀態(tài)的概率＝1/[μL*(PL-L+PC-L+PR-L)+μR*(PR-R+PC-R+PL-R)+μC*(PC-C+PR-C+PL-C)]*μL*(PL-L+PC-LPR-L)方程25右傾狀態(tài)的概率＝1/[μL*(PL-L+PC-L+PR-L)+μR*(PR-R+PC-R+PL-R)+μC*(PC-C+PR-C+PL-C)]*μR*(PR-R+PC-R+PL-R)
方程26正中狀態(tài)的概率＝1/[μL*(PL-L+PC-L+PR-L)+μR*(PR-R+PC-R+PL-R)+μC*(PC-C+PR-C+PL-C)]*μC*(PC-C+PL-C+PL-C)通過(guò)使用上述每一個(gè)概率，并結(jié)合各形狀向量估計(jì)，最終計(jì)算出綜合形狀估計(jì)。如上面討論的，在優(yōu)選實(shí)施例中，PR-L和PL-R設(shè)置為0。
方程27X＝左傾狀態(tài)的概率*X左傾+右傾狀態(tài)的概率*X右傾+正中狀態(tài)的概率*X正中其中，X是任一形狀變量，包括一測(cè)量值的速度和加速度導(dǎo)出值。
當(dāng)車(chē)輛處于運(yùn)行中或當(dāng)座位20上有乘員18時(shí)，從200至208的循環(huán)就不斷地重復(fù)著。200處的過(guò)程要求一估計(jì)已先前在206處產(chǎn)生，且202處的過(guò)程要求存在協(xié)方差和增益矩陣以進(jìn)行更新，因此當(dāng)?shù)谝淮谓?jīng)過(guò)從200至208的重復(fù)循環(huán)時(shí)，不調(diào)用200和202處的處理。
VII.運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器圖14所示的運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器50的功能在許多方面與圖13所示的形狀跟蹤器和預(yù)測(cè)器48是相似的。運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器跟蹤與形狀跟蹤器不同的特征。在本發(fā)明的優(yōu)選實(shí)施例中，形心94的x坐標(biāo)98和前傾角θ100，以及它們相應(yīng)的速度和加速度(統(tǒng)稱(chēng)“運(yùn)動(dòng)變量”或“運(yùn)動(dòng)特征”)被跟蹤和預(yù)測(cè)。形心94的x坐標(biāo)98用于決定乘員18與汽車(chē)中的一位置如儀表板34、氣囊展開(kāi)系統(tǒng)36或某個(gè)其它位置之間的距離。在優(yōu)選實(shí)施例中，使用了儀表板34，因?yàn)闅饽乙话慵醋源苏归_(kāi)。
x坐標(biāo)向量包括一位置分量(x)、一速度分量(x′)和一加速度分量(x″)。θ向量類(lèi)似地包括一位置分量(θ)、一速度分量(θ′)和一加速度分量(θ″)。任何其它運(yùn)動(dòng)向量將類(lèi)似地具有位置、速度和加速度分量。
運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器子系統(tǒng)50在208處更新運(yùn)動(dòng)預(yù)測(cè)，在210處執(zhí)行更新協(xié)方差和增益矩陣的步驟，在212處更新運(yùn)動(dòng)估計(jì)，并在214處執(zhí)行產(chǎn)生綜合運(yùn)動(dòng)估計(jì)的步驟。自208至214的循環(huán)在許多方面與自200至206的循環(huán)是對(duì)稱(chēng)的。在第一次循環(huán)通過(guò)運(yùn)動(dòng)跟蹤器和預(yù)測(cè)器50時(shí)，在208處沒(méi)有運(yùn)動(dòng)預(yù)測(cè)來(lái)更新，且在210處沒(méi)有協(xié)方差或增益矩陣來(lái)更新。因此，第一次循環(huán)從212處開(kāi)始。
依照專(zhuān)利法的規(guī)定，在實(shí)施例中解釋和描述了本發(fā)明的原理和運(yùn)行模式。然而，必須理解的是，本發(fā)明能夠以與具體解釋和說(shuō)明不同的方式實(shí)施，而不離開(kāi)其精神和范圍。
權(quán)利要求
1.一種方法，用于將一當(dāng)前分隔圖像(31)從一傳感器(22)所捕獲的當(dāng)前環(huán)境圖像(38)中分離出來(lái)，所述圖像分割方法包括將所述當(dāng)前環(huán)境圖像(38)與一先前環(huán)境圖像(38)進(jìn)行比較(53)；根據(jù)所述當(dāng)前環(huán)境圖像(38)與所述先前環(huán)境圖像(38)的差別，識(shí)別所述當(dāng)前分割圖像(31)的邊界；以及使用豪斯多夫距離試探法將一模板與識(shí)別出的邊界匹配(66)。
2.如權(quán)利要求1的方法，其中所述先前環(huán)境圖像(38)是在所述當(dāng)前環(huán)境圖像(38)被捕獲之前小于約1/40秒的時(shí)間內(nèi)捕獲的。
3.如權(quán)利要求1的方法，還包括在當(dāng)前環(huán)境圖像(38)中確定(52)一關(guān)注區(qū)域。
4.如權(quán)利要求3所述的方法，還包括忽略當(dāng)前環(huán)境圖像(38)中不處于所述關(guān)注區(qū)域(52)之內(nèi)的部分。
5.如權(quán)利要求3的方法，其中在所述環(huán)境圖像(38)中確定關(guān)注區(qū)域(52)包括從所述先前分割圖像(31)預(yù)測(cè)所述當(dāng)前分割圖像(31)的位置。
6.如權(quán)利要求5的方法，其中使用一卡爾曼濾波器(46)從所述先前分割圖像(31)預(yù)測(cè)所述當(dāng)前分割圖像(31)的位置。
7.如權(quán)利要求3的方法，其中所述關(guān)注區(qū)域(52)是當(dāng)前環(huán)境圖像(38)中的一矩形。
8.如權(quán)利要求3的方法，其中所述先前分割圖像(31)的一底部區(qū)域在所述當(dāng)前環(huán)境圖像(38)中被忽略。
9.如權(quán)利要求1的方法，其中所述當(dāng)前環(huán)境圖像(38)中的多個(gè)像素(78)與所述先前環(huán)境圖像(38)中的相應(yīng)多個(gè)像素(78)進(jìn)行比較。
10.如權(quán)利要求9的方法，其中所述當(dāng)前環(huán)境圖像(38)中的所述多個(gè)像素(78)中的每一個(gè)像素(78)都與所述先前環(huán)境圖像(38)中的所述多個(gè)像素(78)中的一相應(yīng)像素(78)進(jìn)行比較。
11.如權(quán)利要求1的方法，還包括對(duì)識(shí)別的邊界使用低通濾波器。
12.權(quán)利要求1的方法，還包括進(jìn)行圖像梯度探試(56)以便對(duì)當(dāng)前環(huán)境圖像(38)與先有環(huán)境圖像(38)之間變化范圍定位。
13.如權(quán)利要求1的方法，還包括對(duì)所述已確定的邊界進(jìn)行閾值化(82)。
14.如權(quán)利要求1的方法，還包括選擇所述先前分割圖像(31)，作為所述當(dāng)前分割圖像(31)。
15.如權(quán)利要求1所述的方法，還包括調(diào)用一清理梯度圖像試探法(64)。
16.如權(quán)利要求1的方法，其中匹配(66)所述模板包括通過(guò)一個(gè)角度范圍轉(zhuǎn)動(dòng)模板。
17.如權(quán)利要求16的方法，其中所述角度范圍為大約自-6度至+6度。
18.如權(quán)利要求16的方法，其中所述角度范圍中的角度是預(yù)先決定的。
19.如權(quán)利要求1的方法，其中模板是二進(jìn)制圖像。
20.如權(quán)利要求1的方法，還包括修改(68)模板。
21.如權(quán)利要求20的方法，其中修改(68)模板包括設(shè)置三次樣條擬合。
22.如權(quán)利要求21的方法，其中修改(68)模板包括設(shè)置新的一組控制點(diǎn)。
23.如權(quán)利要求1的方法，還包括使橢圓(88)適配(70)于所屬模板。
24.如權(quán)利要求23的方法，其中將橢園(88)適配(70)于所述模板包括調(diào)用直接最小二乘擬合試探法。
25.如權(quán)利要求24的方法，其中將橢園(88)適配(70)于所述模板包括復(fù)制一先前橢圓(88)的下部分。
26.一種用于從當(dāng)前環(huán)境圖像(38)中分離出當(dāng)前分割圖像(31)的方法，包括從一先前環(huán)境圖像(38)，識(shí)別(52)所述當(dāng)前環(huán)境圖像(38)中的一關(guān)注區(qū)域；將一低通濾波器應(yīng)用于一圖像差別(53)，所述圖像差別(53)是通過(guò)將所述當(dāng)前環(huán)境圖像(38)中的所述關(guān)注區(qū)域(52)與所述先前環(huán)境(38)中的一相應(yīng)區(qū)域進(jìn)行比較而確定的；執(zhí)行(56)一圖像梯度計(jì)算，該計(jì)算用于在所述當(dāng)前環(huán)境圖像(38)中發(fā)現(xiàn)一快速改變圖像幅值的區(qū)域；使用一預(yù)定的累積分布函數(shù)(82)，對(duì)所述圖像差別進(jìn)行閾值化；清理所述圖像梯度計(jì)算(56)的結(jié)果；使用豪斯多夫距離試探法將一模板圖像匹配(66)于所述清理的結(jié)果；以及將一橢園(88)適配(70)于所述模板圖像。
27.一種用于將一分割圖像(31)從一環(huán)境圖像(38)中分離出來(lái)的分割系統(tǒng)(16)，包括一環(huán)境圖像(38)，包括一分割圖像(31)和一關(guān)注區(qū)域；一梯度圖像模塊，包括一梯度圖像(56)，其中所述梯度圖像模塊在所述關(guān)注區(qū)域(52)中產(chǎn)生所述梯度圖像(56)；一模板模塊，包括一模板和一模板匹配，及一豪斯多夫試探，其中所述模板模塊從所述模板，所述梯度圖像(56)和所述豪斯多夫試探，產(chǎn)生所述模板匹配。
28.如權(quán)利要求27的系統(tǒng)(16)，其中所述模板模塊假設(shè)所述分割圖像(31)保持在就坐的位置。
29.如權(quán)利要求27的系統(tǒng)(16)，其中所述模板模塊旋轉(zhuǎn)所述模板。
30.如權(quán)利要求29的系統(tǒng)(16)，還包括一角度范圍，該范圍包括多個(gè)預(yù)定的角度，其中所述模板模塊按所述多個(gè)預(yù)定角度的每一個(gè)轉(zhuǎn)動(dòng)所述模板。
31.如權(quán)利要求27的系統(tǒng)(16)，還包括一乘積圖像，一二進(jìn)制圖像，以及一非二進(jìn)制圖像。其中所述模板是一二進(jìn)制圖像，且所述梯度圖像(56)是一非二進(jìn)制圖像；以及其中所述乘積圖像是通過(guò)將所述模板與所述梯度圖像(56)相乘而產(chǎn)生的。
全文摘要
本發(fā)明披露了一分割系統(tǒng)(16)，其允許在包含一車(chē)輛乘員(18)圖像的區(qū)域(21)的整體圖像(“環(huán)境圖像”)(38)中確定該乘員的分割圖像(31)。其中，來(lái)自于一過(guò)去傳感器測(cè)量的分割圖像(31)可以幫助在最近捕獲的環(huán)境圖像(38)中確定一關(guān)注區(qū)域。為進(jìn)一步減少處理時(shí)間，本系統(tǒng)(16)可以配置為假設(shè)分割圖像(31)的底部不動(dòng)。由所述傳感器(22)所捕獲的各環(huán)境圖像(38)之間的差別可以用于確定乘員(18)的運(yùn)動(dòng)，并因而確定分割圖像(31)的邊界。然后，對(duì)于一整個(gè)范圍內(nèi)的預(yù)先確定的諸角度，將一模板圖像適配于所述分割圖像(31)的邊界。可以對(duì)在所述角度范圍內(nèi)的每一適配的有效性進(jìn)行評(píng)價(jià)。模板圖像也可以被修改(68)，以用作未來(lái)的環(huán)境圖像(38)。
文檔編號(hào)G06T7/60GK1497493SQ20031010039
公開(kāi)日2004年5月19日 申請(qǐng)日期2003年10月9日 優(yōu)先權(quán)日2003年10月9日
發(fā)明者M·E·法默, 陳訊昌, 文力, 周川, M E 法默 申請(qǐng)人:伊頓公司