專利名稱：圖像分割系統(tǒng)和方法
相關(guān)申請本部分繼續(xù)申請請求享有以下幾個(gè)美國申請的優(yōu)先權(quán)申請日為2001年5月30日、序列號(hào)為09/870,151且名稱為“A Rules-Based OccupantClassification System for Airbag Deployment”的申請；申請日為2001年7月10日、序列號(hào)為09/901,805且名稱為“Image Processing System forDynamic Suppression of Airbags Using Multiple Model Likelihood to Inferthree Dimensional Information”的申請；以及申請日為2001年11月5日、序列號(hào)未知且名稱為“Image Processing System for Estimating the EnergyTransfer of an Occupant into an Airbag”的申請。這里將它們作為一個(gè)整體來對其內(nèi)容加以引用。
在很多情況下希望將作為“目標(biāo)”的人或物的分割圖像從包括附屬于該“目標(biāo)”人或物的環(huán)境圖像中分離開。安全氣囊展開系統(tǒng)就是這一技術(shù)的一種應(yīng)用。安全氣囊展開系統(tǒng)可能需要做出不同的決定，這些決定多少與乘員的圖像相關(guān)。安全氣囊展開系統(tǒng)的行為會(huì)因多種因素而改變，這些因素最終以某種方式與該乘員有關(guān)。乘員的類別，乘員與安全氣囊的鄰近程度，乘員的速度和加速度，乘員的質(zhì)量，安全氣囊和乘員之間的沖擊造成的安全氣囊需吸收的能量，以及安全氣囊展開的一些其他的考慮都可能會(huì)用到可從該乘員的分割圖像獲得的該乘員的特征。
在有關(guān)圖像分割技術(shù)的現(xiàn)有技術(shù)中存在大量障礙。首先，現(xiàn)有技術(shù)在較暗的環(huán)境中不能良好地工作，例如在夜間開車時(shí)。事實(shí)上，由于黑暗會(huì)造成視覺上無法看到人類乘員圖像的某些部分，從而使安全氣囊展開系統(tǒng)無法獲得精確的信息。其次，這些技術(shù)無法補(bǔ)償乘員的不同部分就檢測器或光源而言所處的角度和距離不同而造成的不同程度的黑暗。而對該乘員圖像的不同區(qū)域區(qū)別對待能夠取得有益的效果。第三，當(dāng)有特定類型的分割圖像時(shí)，現(xiàn)有技術(shù)不能將可引入該分割處理的智能最大化。人類乘員所具有的解剖特點(diǎn)可用來使由照相機(jī)或其他檢測器獲得的乘員的粗略的分割圖像更加精細(xì)。例如，人的所有部位都是連接在一起的，這些連接的內(nèi)在特征能夠增強(qiáng)分割處理的能力，以確定哪些圖像的像素與該乘員相關(guān)，哪些圖像像素與圍繞該乘員的區(qū)域相關(guān)。對乘員更可能的某種坐姿的了解也可被用來將更多的智能應(yīng)用到原始的環(huán)境圖像。
本發(fā)明包括兩個(gè)基本部件，圖像閾值子系統(tǒng)和間隙填充子系統(tǒng)。該圖像閾值子系統(tǒng)可將環(huán)境圖像變換為二進(jìn)制圖像?？蓪⑴c該乘員相關(guān)的每個(gè)像素設(shè)定為一個(gè)二進(jìn)制值，而將與該乘員不是明確相關(guān)的每個(gè)像素設(shè)定為一不同的二進(jìn)制值。使用例如亮度特征的圖像閾值可被用于確定一特定像素應(yīng)被設(shè)定的二進(jìn)制值。環(huán)境圖像的不同區(qū)域可使用不同的圖像閾值來解決由于陰影、距光源的不同距離或其他原因造成的光照的差異。該圖像閾值可使用累積分布函數(shù)將概率分析引入分割處理。一般情況下，該圖像閾值子系統(tǒng)對一特定像素是否代表該乘員的圖像可采取“苛刻的”觀點(diǎn)。該圖像閾值子系統(tǒng)可試圖確定哪些像素清楚地代表該乘員的圖像，并可將“灰區(qū)”像素看作是代表并非乘員的那些環(huán)境圖像。對本發(fā)明來說，圖像閾值將環(huán)境圖像的大部分歸類為與該乘員圖像不相關(guān)并不是一個(gè)障礙。
間隙填充子系統(tǒng)可將一特定像素的周圍的像素特征引入該特定像素的特征，該特定像素的周圍的像素特征由子系統(tǒng)設(shè)定。該間隙填充子系統(tǒng)可填充由于圖像閾值子系統(tǒng)采取的過分保守的方法所留下的間隙。該間隙填充子系統(tǒng)可應(yīng)用形態(tài)逼近和擴(kuò)張(morphological erosion and dilation)技術(shù)來消除偽像素區(qū)域，例如在鄰近像素的范圍內(nèi)以外的像素值。該子系統(tǒng)可應(yīng)用基于動(dòng)量的試探法(heuristic)，其將鄰近像素值“動(dòng)量”的確定引入了一特定像素的值，。該子系統(tǒng)還可使用基于重力的試探法，其將質(zhì)量的重量概念和距離引入一特定的像素值。
該系統(tǒng)可以不同的形式輸出乘員圖像，包括產(chǎn)生一上橢圓來代表該乘員的上半身。
對本專業(yè)技術(shù)人員來說，通過結(jié)合附圖對以下較佳實(shí)施例的詳細(xì)說明，本發(fā)明的各個(gè)方面會(huì)變得很明顯。
圖2示出用于本發(fā)明的幾個(gè)潛在實(shí)施例的圖像處理系統(tǒng)的高級(jí)處理流程。
圖3為列出具有一特定亮度值的像素的個(gè)數(shù)的直方圖。
圖4為示出如何能夠?qū)⒍鄠€(gè)不同的圖像閾值應(yīng)用于單個(gè)環(huán)境圖像的示意圖。
圖5為能夠被圖像閾值子系統(tǒng)利用的累積分布函數(shù)的曲線圖。
圖6a示出接受形態(tài)逼近和形態(tài)擴(kuò)張的垂直像素組。
圖6b示出接受形態(tài)逼近和形態(tài)擴(kuò)張的水平像素組。
圖7為引入基于動(dòng)量的間隙填充方法的概率圖。
圖8為能夠使用基于重力的試探法處理的像素區(qū)域的示意圖。
圖9為示出如何使用一上橢圓，下橢圓和形心來表示乘員的分割圖像的示意圖。


圖10為表示乘員的上橢圓，以及該上橢圓的一些重要的特征的示意圖。
圖11為圖像閾值子系統(tǒng)和間隙填充子系統(tǒng)的流程圖，包括能夠引入這些子系統(tǒng)的一些不同的模塊和處理。
在有些實(shí)施例中，照相機(jī)22可含有或包括在直流狀態(tài)工作的紅外光源，用來在黑暗的背景下提供恒定的照明。系統(tǒng)16被設(shè)計(jì)成用來在黑暗的條件下使用，例如夜間，霧天，大雨，濃云，日食或任何其他比通常的白天條件更暗的環(huán)境。該系統(tǒng)16也可用于較亮的光照條件下。紅外照明的使用可對照明者18隱藏光源的使用。不同的實(shí)施例可使用以下光或光源中的一種或多種與照相機(jī)分離的光源；發(fā)射紅外光以外的其他光的光源；使用交流電僅以周期方式所發(fā)出的光。該系統(tǒng)16可引入范圍廣泛的其他光照和照相機(jī)22的配置。
用于應(yīng)用圖像分割技術(shù)的計(jì)算機(jī)系統(tǒng)30實(shí)質(zhì)上可位于車輛上的任何位置。較佳地，計(jì)算機(jī)系統(tǒng)30位于照相機(jī)22的附近以避免通過長的導(dǎo)線來發(fā)送照相機(jī)圖像。該計(jì)算機(jī)系統(tǒng)30可以是能夠包括由圖像閾值子系統(tǒng)和間隙填充子系統(tǒng)執(zhí)行的處理的任何類型的計(jì)算機(jī)或裝置。圖11公開了可由這些子系統(tǒng)執(zhí)行的處理，在以后會(huì)對其進(jìn)行更加詳細(xì)的說明。圖示安全氣囊控制器23位于儀器面板34上，當(dāng)然即使安全氣囊控制器32位于不同的位置本發(fā)明仍然能夠工作。類似的，安全氣囊展開系統(tǒng)36最好位于乘員18和座位20之前的儀器面板34上，當(dāng)然對系統(tǒng)16來說，也可使用其他的位置。
B.高級(jí)處理流程圖2示出一高級(jí)處理流程，示出圖像分割系統(tǒng)16的應(yīng)用。照相機(jī)22可獲得包括乘員18和座位區(qū)域21的該座位區(qū)域21的環(huán)境圖像38。在該圖中，座位區(qū)域21包括整個(gè)乘員18，盡管在許多不同的環(huán)境和實(shí)施例中，僅有該乘員圖像18的一部分會(huì)被捕獲，尤其是如果照相機(jī)22所處的位置看不到較低的末端時(shí)。該環(huán)境圖像38會(huì)被發(fā)送到計(jì)算機(jī)30。該計(jì)算機(jī)30可使該乘員18的分割圖像31從環(huán)境圖像38中分離出來。以后將更詳細(xì)地描述計(jì)算機(jī)30所進(jìn)行的圖像分割的處理，該處理示于圖11中。然后可對分割圖像31進(jìn)行分析以作出適當(dāng)?shù)陌踩珰饽艺归_決定。例如，該分割圖像31可被用于確定在安全氣囊36展開時(shí)該乘員18是否會(huì)離該正在展開的安全氣囊36太近。可將對分割圖像31的分析和其特征發(fā)送到安全氣囊控制器32，從而使該安全氣囊展開系統(tǒng)36使用獲得的與乘員18相關(guān)的信息來作出適當(dāng)?shù)恼归_決定。
C.像素特征的直方3示出可由系統(tǒng)16使用的一種直方圖39的例子。由照相機(jī)22捕獲的任何圖像，包括分割圖像31和環(huán)境圖像38，均可被分為一個(gè)或多個(gè)像素40。一般情況下，像素40的數(shù)量越多，圖像38的分辨率就越好。在一較佳實(shí)施例中，環(huán)境圖像38的寬度應(yīng)至少跨越大約400個(gè)像素，該環(huán)境圖像38的高度應(yīng)至少為大約300個(gè)像素。如果像素太少，則難于將該分割圖像31從該環(huán)境圖像38中分離開。當(dāng)然，像素的個(gè)數(shù)取決于照相機(jī)22的種類和樣式，且通常照相機(jī)22會(huì)隨著像素個(gè)數(shù)的增加而更加昂貴。標(biāo)準(zhǔn)的攝象機(jī)可捕獲的圖像大約是400個(gè)像素寬，300個(gè)像素高。因?yàn)榭墒褂脴?biāo)準(zhǔn)的非定制的照相機(jī)22，該實(shí)施例能夠捕獲細(xì)節(jié)充分的環(huán)境圖像38，同時(shí)保持相對便宜。因此，一較佳實(shí)施例總共將使用大約120,000(400×300)個(gè)像素40。像素40的個(gè)數(shù)依賴于系統(tǒng)16使用的照相機(jī)22。每個(gè)像素40可擁有一個(gè)或多個(gè)不同的像素特征或?qū)傩?統(tǒng)稱為“特征”)42，這些特征被系統(tǒng)16所使用來使分割圖像31從環(huán)境圖像38中分離。像素40可具有一個(gè)或多個(gè)像素特征42，每個(gè)特征由一個(gè)或多個(gè)像素值表示。像素特征42的一個(gè)例子是亮度測量(“亮度”)。亮度的像素特征42可波測量、存儲(chǔ)并被處理作為與該特定像素相關(guān)的像素值。在一較佳實(shí)施例中，亮度值42為用于該環(huán)境圖像38中的像素40的初始像素值，且亮度可以0(可能最暗的亮度)與255(可能最亮的亮度)之間的數(shù)字表示為數(shù)字像素值。其他的像素特征可包括顏色、熱度、兩個(gè)或多個(gè)特征的加權(quán)組合，或者可潛在地用于將分割圖像31和環(huán)境圖像38區(qū)分的其他特征。
在系統(tǒng)16的一些實(shí)施例中，可由0和255之間的一數(shù)字像素值來表示亮度42，如圖所示。在這樣的刻度中，0亮度表示可能最暗的亮度(黑)，255亮度表示可能最亮的亮度(白)。其他實(shí)施例也可使用具有不同數(shù)字刻度的直方圖39，甚至也可以不使用亮度，而使用特征42。
圖中的直方圖39記錄了具有特定的單個(gè)或組合像素特征42(統(tǒng)稱為“特征”)的像素40的個(gè)數(shù)。直方圖39記錄了擁有一特定像素值的像素40的總數(shù)。直方圖39中的數(shù)據(jù)可被系統(tǒng)16用來將環(huán)境圖像38中的某些或最好為全部像素40分成兩個(gè)或多個(gè)像素類。第一類像素40可包括清楚地代表乘員18的分割圖像31的那些像素。該第一類中的像素40可被稱為乘員像素40。第二類像素40可包括或清楚地代表不與乘員18相關(guān)的圖像的那些像素40，或可能表示也可能不表示該乘員的圖像的那些像素40(“灰區(qū)圖像”或“周圍像素”)。在一較佳實(shí)施例中，所有像素40均被歸為兩類中的一類，且所有的乘員像素40被設(shè)定為二進(jìn)制值“1”，而所有的周圍像素40被設(shè)定為二進(jìn)制值“0”。該系統(tǒng)16可使用直方圖39和圖像閾值來對環(huán)境圖像38中的像素40進(jìn)行分類。使用圖像閾值來將像素值設(shè)定為一二進(jìn)制值的過程將在以后詳細(xì)描述。
D.圖像閾值圖4為說明使用三個(gè)圖像閾值44的系統(tǒng)16的一較佳實(shí)施例的示意圖。圖4為包括乘員18的分割圖像31的環(huán)境圖像38的示意圖，在圖中所示時(shí)刻，系統(tǒng)16正在進(jìn)行圖像閾值處理。如上所述，環(huán)境圖像38由像素40組成。每個(gè)像素40具有諸如亮度這樣的像素特征42。每個(gè)像素40的特定特征值42可具有不同的值。例如，某些像素40可能的亮度值會(huì)非常高，例如為255，而其他像素40的亮度值可能會(huì)非常低，例如為0。就亮度這一特征而言，較高的像素值傾向于代表乘員18，而較低的像素值傾向于代表周圍區(qū)域的圖像。圖像閾值處理基于例如亮度的像素特征來選出前N％的像素40，并將這些像素識(shí)別為代表乘員18的分割圖像31。由于不能確信其余的像素40是代表乘員18的分割圖像31，因此可被系統(tǒng)16歸類為不與乘員18相關(guān)的像素。上述直方圖39使系統(tǒng)16更便于實(shí)現(xiàn)其(關(guān)于一特定像素特征)計(jì)算“挑出”前N％的像素40所需的圖像閾值的能力。
其他實(shí)施例可根據(jù)需要使用少至一個(gè)圖像閾值44或多個(gè)圖像閾值44。如上所述，系統(tǒng)16可結(jié)合直方圖39使用一圖像閾值44來將像素40分成兩個(gè)或多個(gè)不同的像素類。
僅有在前N％的像素40應(yīng)被初始識(shí)別為代表乘員18。直方圖39使系統(tǒng)16更便于對像素特征42進(jìn)行分等以識(shí)別更有可能代表乘員18的分割圖像31的那些像素40。例如，亮度為Y(像素值)或更高的像素40可被歸類為代表分割圖像31。所有其他像素40均可被歸類為代表在環(huán)境圖像38中的附屬圖像(例如“周圍像素”)。在一較佳實(shí)施例中，“灰區(qū)”像素應(yīng)初始地放置在周圍像素40類中。
N通常應(yīng)當(dāng)設(shè)定為不高于50，但也不低于10。系統(tǒng)16可被設(shè)計(jì)為采取初始的保守方法來確定哪些像素40代表乘員18的分割圖像31，因?yàn)橄到y(tǒng)16的后續(xù)處理會(huì)被設(shè)計(jì)來填充所述保守方法剩余的間隙。在一較佳實(shí)施例中，根據(jù)該特定像素40相對于環(huán)境圖像31的位置，在環(huán)境圖像38中的不同區(qū)域具有由系統(tǒng)16所應(yīng)用的三個(gè)不同的圖像閾值44中的一個(gè)。在環(huán)境圖像38中最上層的位置常常具有最好的光照度，因此該系統(tǒng)16可包括被設(shè)計(jì)來僅選擇前10％(N＝10)的那些像素40的上層圖像閾值46。一般來說，環(huán)境圖像38中的中間位置與環(huán)境圖像38的上部的那些像素40相比，其光照度常常較小，且具有更多的陰影及較差的分辨率。因此，系統(tǒng)16可包括被設(shè)計(jì)用來僅選擇前20％(N＝20)的那些像素40的中層圖像閾值48。最接近環(huán)境圖像38的底部的像素40可包括底層圖像閾值50，其使用前30％(N＝30)的像素40作為代表乘員18的分割圖像31的像素40。因?yàn)樵诃h(huán)境圖像38的較低部分的亮度代表相對其他像素40的位置來說光照較差座位區(qū)域21位置的像素40，所以要求有高的百分比。其他實(shí)施例可利用不同數(shù)量的圖像閾值44，且不同的層可使用范圍很廣的不同的N值。
系統(tǒng)16使用的圖像閾值44應(yīng)包括這樣的概念，即基于像素特征42，例如亮度，和與該特征相關(guān)的相應(yīng)的像素值來選擇前百分之若干的像素40來代表分割圖像31。像素特征42，例如亮度可由一值Y，例如255來表示，而不應(yīng)該為例如10％或N％的百分比或概率?？墒褂靡焕鄯e分布函數(shù)來將例如Y的像素值或特征轉(zhuǎn)換為例如N的概率或百分比，或?qū)⑹褂肗的概率或百分比轉(zhuǎn)換為一測量的特征42的值，例如Y。
在一較佳實(shí)施例中，可將前N％的像素(特征大于或等于Y的那些像素)的像素值設(shè)為一二進(jìn)制值，例如“1”。在一較佳實(shí)施例中，可將代表乘員18的分割圖像31的像素40稱為乘員18的二進(jìn)制圖像，或稱為乘員像素40。其他像素值可被設(shè)為一不同的二進(jìn)制值，例如“0”，且可被歸類為周圍像素40。其他實(shí)施例可針對不同的類型和多種多樣的像素值使用更多數(shù)量的類。
E.累積分布函數(shù)可基于與像素特征42相關(guān)的數(shù)字測量值(Y)使用累積分布函數(shù)52實(shí)現(xiàn)選擇前10％的像素40并選擇那些像素40來代表乘員18(例如，乘員像素40)的功能。圖5公開了可由圖3的直方圖導(dǎo)出的累積分布曲線52?？v軸代表系統(tǒng)未錯(cuò)誤地將任何像素40歸類為表示乘員18的累積概率54。累積概率54可以是值1-N。例如，選擇前10％的像素所得到的概率為0.9，0.9代表一周圍像素未被錯(cuò)誤的識(shí)別為一分割像素的概率。僅當(dāng)假設(shè)所有120,000個(gè)像素均為周圍像素40時(shí)才可獲得絕對確定性(1.0的概率)，例如沒有像素40代表乘員18的分割圖像31。這種確定性對系統(tǒng)16并沒有幫助，因?yàn)槠洳⑽刺峁﹦?chuàng)建乘員18的外形的起始點(diǎn)。反過來說，低標(biāo)準(zhǔn)的精確度，例如0值或接近0的值未將足夠的像素40排除在代表分割圖像31的像素40的類之外。
優(yōu)選例如0.90，0.80或0.70的概率，因?yàn)樗鼈兺ǔ１硎靖吒怕实木_度，同時(shí)提供一個(gè)乘員18的像素40的充分的基礎(chǔ)，在該基礎(chǔ)上可使用間隙處理子系統(tǒng)進(jìn)行擴(kuò)展，這將在以后詳細(xì)描述。在一較佳實(shí)施例中，多圖像閾值44的系統(tǒng)16將具有與圖像閾值44一樣多的累積分布函數(shù)52。
F.形態(tài)處理系統(tǒng)16可將形態(tài)試探法引入間隙處理子系統(tǒng)，以下將對此進(jìn)行詳細(xì)描述。間隙處理子系統(tǒng)應(yīng)用的間隙處理試探法可包括進(jìn)行形態(tài)試探。如以上和以下所述，系統(tǒng)16使用與一像素相關(guān)的像素值來對像素40進(jìn)行分析，分析該像素是一乘員像素40，一周圍像素40，還是一些其他類的像素40(某些實(shí)施例可具有三個(gè)或更多不同的像素類。)形態(tài)處理可將一特定像素值附近的其他像素40(“鄰近像素”或“鄰近像素值”)的像素值引入正在分析或設(shè)定的該特定像素。形態(tài)逼近(morphological erosion)可除去偽目標(biāo)，例如，像素40代表分割圖像31的非真實(shí)的指示。形態(tài)逼近可在不止一個(gè)方向上進(jìn)行。例如，可在垂直方向上進(jìn)行，在水平方向上進(jìn)行或在對角線方向進(jìn)行。可進(jìn)行形態(tài)擴(kuò)張(morphological dilation)以“長出”由所述“保守”圖像閾值處理縮減的分割圖像31。形態(tài)擴(kuò)張也可在多個(gè)不同的方向進(jìn)行。圖6a和6b所示為在垂直和水平方向進(jìn)行的形態(tài)處理的例子。
在一較佳實(shí)施例中，形態(tài)處理的順序如下垂直形態(tài)逼近；垂直形態(tài)擴(kuò)張；水平形態(tài)逼近；和水平形態(tài)擴(kuò)張。其他實(shí)施例可能會(huì)僅包括這些處理中的一些，而且這些系統(tǒng)16可能會(huì)以不同的順序進(jìn)行處理。
圖6a為說明用于進(jìn)行垂直形態(tài)處理的像素40的垂直組58的示意圖。垂直形態(tài)處理可將像素40一起分在一垂直組58中。在一較佳實(shí)施例中，該垂直組58包括垂直的12行像素40，其每一行包括2列像素。其他實(shí)施例可使用具有不同行數(shù)和列數(shù)的垂直組58。組58中的每個(gè)像素40具有至少一個(gè)像素值56，如在一優(yōu)選實(shí)施例中的二進(jìn)制數(shù)。
垂直形態(tài)逼近采取“悲觀”或“保守”的觀點(diǎn)確定一特定像素41是否代表分割圖像31，例如，一像素40是否為乘員像素40。即使在該垂直組58中有一個(gè)像素40的像素值56表明該像素不代表乘員18的分割圖像31(在一較佳實(shí)施例中像素值56為“0“)，那么在垂直組58中的所有像素值56均被設(shè)定為該相同值。
垂直形態(tài)擴(kuò)張可采取“樂觀”觀點(diǎn)來判斷一特定像素40是否代表該分割圖像31。垂直組58中即使有一個(gè)像素值56表明該像素40代表分割圖像31(在一較佳實(shí)施例中，值56為“1”)，該垂直組58中的每個(gè)像素值56均被設(shè)為該相同的像素值56。
圖6b為水平形態(tài)處理的示意圖。水平形態(tài)處理可將像素40一起分組為連續(xù)像素的水平組60。在一較佳實(shí)施例中，一水平組包括2垂直行的連續(xù)像素40，其每一行包括12列連續(xù)像素40。其他實(shí)施例可使用具有不同行數(shù)和列數(shù)的水平組60。組60中的每個(gè)像素40具有至少一個(gè)像素值56，如在一較佳實(shí)施例中為二進(jìn)制值。
水平形態(tài)逼近采取“悲觀”或“保守”的觀點(diǎn)來判斷一特定像素40是否代表分割圖像31，例如，一像素40是否為一乘員像素40。即使在水平組60中有一個(gè)像素40的像素值56表明該像素不代表乘員的分割圖像31(在一較佳實(shí)施例中像素值56為“0”)，那么該水平組60中的所有像素值56均被設(shè)定為該相同值，從而將該水平組60中的每個(gè)像素40歸類為周圍像素40。
水平形態(tài)擴(kuò)張采用“樂觀的”觀點(diǎn)來判斷一特定像素40是否代表分割圖像31。即使水平組60中只有一個(gè)像素值56表明該像素代表分割圖像31(在一較佳實(shí)施例中，值為“1”)，那么垂直組58中的每個(gè)像素值56都被設(shè)定為該相同的像素值56。
一些實(shí)施例可將像素值56設(shè)定為非二進(jìn)制數(shù)字，或甚至是非數(shù)字的特征，例如字母，等等。有些實(shí)施例允許一水平組60與另一水平組60重疊，一垂直組58與另一垂直組58重疊。使用重疊水平組60或重疊垂直組58的實(shí)施例可在設(shè)定的特定像素值56和用于設(shè)定該特定像素40的特定的水平組60或垂直組58之間引入一對一的關(guān)系。在其他實(shí)施例中，像素40可僅屬于一個(gè)水平組60和一個(gè)垂直組58。
G.基于動(dòng)量的處理系統(tǒng)30可引入基于動(dòng)量的處理來設(shè)定像素值56。該方法的基本邏輯是如果最后X個(gè)連續(xù)的像素40代表乘員18的分割圖像31，則更可能的是，在基于位置的像素順序中的下一個(gè)連續(xù)的像素40(像素X+1)將也代表乘員18。基于動(dòng)量的試探法是系統(tǒng)30所使用的一種方法，通過該方法，系統(tǒng)30可通過參考和引入在接受系統(tǒng)30分析的一特定像素鄰近的像素的像素值(“鄰近像素”或“鄰近像素值”)來確定該特定像素的適當(dāng)值?？蓪⒒趧?dòng)量的處理引入間隙處理子系統(tǒng)，以下將對其進(jìn)行更詳細(xì)的描述。
圖7為有助于說明由基于動(dòng)量的試探法進(jìn)行基于動(dòng)量分析的曲線圖。一具有代表分割圖像31的像素值56的特定像素40的概率隨著每個(gè)代表環(huán)境圖像38的連續(xù)像素值56而降低?；趧?dòng)量的處理可在兩維進(jìn)行，即在垂直和水平方向，盡管在與就座位置中的乘員18相關(guān)的實(shí)施例中垂直動(dòng)量處理通常更有用?；趧?dòng)量的處理在試圖填充由座椅安全帶或帽子，或者通常被陰影遮擋的乘員18的部位，例如乘員18的脖子剩余的間隙時(shí)尤其有效。
當(dāng)一特定像素40的像素值56表明該特定像素40代表乘員18的分割圖像31時(shí)，該特定像素40可被稱為乘員像素40。當(dāng)一特定像素40的像素值56表明該特定像素40不代表或可能不代表該乘員18的分割圖像31時(shí)，該特定像素40可被稱為周圍像素40。
圖8為示出由乘員像素40組成的一個(gè)或多個(gè)像素區(qū)域66的一個(gè)例子的示意圖。每個(gè)像素區(qū)域66包括至少一個(gè)乘員像素。對將在相同像素區(qū)域66的兩個(gè)乘員像素40，這兩個(gè)乘員像素40必須由一個(gè)乘員像素40的“鏈”連接起來，在該鏈中的每個(gè)乘員像素40與該鏈中的至少另一個(gè)乘員像素40相鄰。一典型的環(huán)境圖像38可包括3-5個(gè)像素區(qū)域66，盡管環(huán)境圖像38可具有少至1個(gè)像素區(qū)域66或潛在地其所具有的像素區(qū)域與乘員像素40一樣多。
基于動(dòng)量的處理可計(jì)算乘員像素40在環(huán)境圖像38中在一特定的行或列(在一較佳實(shí)施例中僅在垂直列)中在水平或垂直方向(在一較佳實(shí)施例中僅在垂直方向)上的順序號(hào)。基于間隙處理的基本邏輯在于(與在被設(shè)定的像素附近的像素相關(guān)的)像素值可被引入被設(shè)定的像素?；趧?dòng)量的處理引入這樣的概念，即一系列連續(xù)的乘員像素使得系統(tǒng)16的誤識(shí)別造成一個(gè)或兩個(gè)插入的周圍像素更成為可能。例如，如果兩個(gè)像素區(qū)域66被由4個(gè)周圍連續(xù)像素44所組成的間隙分隔開，則與該兩個(gè)像素區(qū)域66中的乘員像素40相關(guān)的“動(dòng)量”可能足以填充該間隙并使該兩個(gè)區(qū)域66結(jié)合。連續(xù)的乘員像素40的數(shù)量越大，則允許填充周圍像素40所造成的間隙的“動(dòng)量”就越大。
可使用一動(dòng)量計(jì)數(shù)器(“計(jì)數(shù)器”)來確定像素區(qū)域66之間的動(dòng)量。每次當(dāng)像素序列中的下一個(gè)像素40(后續(xù)像素)為乘員像素40時(shí)，可使計(jì)數(shù)遞增或增加。反過來，每次當(dāng)下一個(gè)連續(xù)像素40為周圍像素40時(shí)，可從計(jì)數(shù)器減去一個(gè)值?；趧?dòng)量的處理可對乘員像素40和周圍像素40賦予不同的權(quán)值。例如，乘員像素40可導(dǎo)致給計(jì)數(shù)器增加為4的值，而環(huán)境圖像40可導(dǎo)致從計(jì)數(shù)器減去為1的值。不同的實(shí)施例可對該動(dòng)量計(jì)數(shù)器引入范圍廣泛的不同的權(quán)值。在一較佳實(shí)施例中，乘員像素使計(jì)數(shù)器加1，而周圍像素使計(jì)數(shù)器減1。當(dāng)計(jì)數(shù)器到達(dá)小于或等于0的數(shù)時(shí)，系統(tǒng)16可停止嘗試彌補(bǔ)乘員像素40的像素區(qū)域66之間的周圍像素40的間隙。
在以下的表1中將看到與像素值有關(guān)的基于動(dòng)量的處理和計(jì)數(shù)器的例子。為區(qū)分像素位置和像素值，在該例中使用字母來表示像素的相對水平位置。在許多實(shí)施例中，使用數(shù)字坐標(biāo)位置來表示像素位置，由此可通過一數(shù)字值來識(shí)別一像素的位置。在該例中，每個(gè)乘員像素40使計(jì)數(shù)器增1，而每個(gè)周圍像素40使計(jì)數(shù)器減1。
1.表1
在位置G，H，I的三個(gè)1代表了1在該行的最大區(qū)域，于是沿左向的基于動(dòng)量的處理將從位置I開始。I，H和G每一個(gè)的像素值為“1”，因此這些像素的每一個(gè)將使計(jì)數(shù)器加1。因此，在G位置的計(jì)數(shù)器值為3。F位置的像素值為0，但計(jì)數(shù)器的值大于0，因此，F(xiàn)位置的像素值變?yōu)?，且計(jì)數(shù)器被減1，得到的值為2。E位置的像素值為0，但計(jì)數(shù)器的值為2，大于0，因此計(jì)數(shù)器減為值1，且E處的像素值改變?yōu)橹?。D的像素值為1，因此計(jì)數(shù)器被增加為值2。C的像素值為0，但計(jì)數(shù)器的值為2大于0，因此C處的像素值被變?yōu)?，且該計(jì)數(shù)器的值為1。B處的像素值也為0，但計(jì)數(shù)器值為1大于0，因此B被變?yōu)橹?且計(jì)數(shù)器被變?yōu)橹?。A的像素值為0，且計(jì)數(shù)器值為0，因此，沒有動(dòng)量來轉(zhuǎn)換A的值0。因此，從右到左的水平處理停止。
沿從左向右方向移動(dòng)的處理從G，即在G，H，I像素區(qū)域中最左邊的1開始。在G位置計(jì)數(shù)器被增加至值1，在H處被增加至值2，在I處被增加至值3。J的像素值為0，接著其被改變?yōu)橹?，而計(jì)數(shù)器的值被減1成為2。K的像素值由0變到1，但計(jì)數(shù)器的值接著也會(huì)減至1。類似地，L處的像素值也從0變到1，但計(jì)數(shù)器值然后減至0。M的像素值為0，同時(shí)在M處計(jì)數(shù)器的值也為0，因此，該過程停止。該過程甚至永遠(yuǎn)也不會(huì)到達(dá)像素位置N。表2公開了在對行的基于動(dòng)量的水平處理后所得到的像素值。
表2
人們可以對上述例子進(jìn)行多種不同的改進(jìn)或變化?？尚薷募拥接?jì)數(shù)器或從計(jì)數(shù)器減去的值。類似地，起始點(diǎn)和終點(diǎn)可隨實(shí)施例的不同而改變。有多種不同的試探法和方法，其中乘員像素的動(dòng)量可橫跨一個(gè)或多個(gè)周圍像素。
H.基于重力的處理系統(tǒng)16還可使用由圖8中的例子所示的乘員像素40的像素區(qū)域66來進(jìn)行基于重力的試探法的基于重力的處理。系統(tǒng)30可使用基于重力的處理這樣一種方法通過參考和引入接受該系統(tǒng)30分析的一特定像素的附近的其他像素40的像素值56來確定與該特定像素40相關(guān)的適當(dāng)?shù)南袼刂?6?；谥亓Φ奶幚砜砂ㄏ蛎總€(gè)像素區(qū)域66分配唯一的識(shí)別符，如圖8所示。該系統(tǒng)16可跟蹤區(qū)域特征，例如區(qū)域位置和區(qū)域大小。最大的區(qū)域66典型地是該乘員18的上半身。
基于重力的處理和基于重力的試探法包括這樣一種假設(shè)。即在乘員像素40的像素區(qū)域66(一組乘員像素，這里每個(gè)乘員像素與至少另一個(gè)乘員像素相鄰)的一般附近的周圍像素40可能實(shí)際上被錯(cuò)誤地識(shí)別為乘員像素40。該系統(tǒng)16可包括類似物理測量重力對物體影響的方式的試探法。像素區(qū)域66的大小和像素區(qū)域66與潛在的被錯(cuò)誤識(shí)別的周圍像素40之間的距離是用于基于重力處理的兩個(gè)潛在的重要的變量?？蓪⒁惶囟ㄏ袼貐^(qū)域66的“重力”與一預(yù)定的閾值進(jìn)行比較來確定一乘員像素40是否被錯(cuò)誤識(shí)別為一周圍像素40。
重力＝GMm/r2＞預(yù)先計(jì)算的閾值在上述等式中，“G”為“重力常數(shù)”，它確定將像素吸引在一起的力。該參數(shù)或特征通過肖像和目標(biāo)類型來確定，所述肖像和目標(biāo)類型被分析用來確定完成一完整的分割所需的吸引力。不同的實(shí)施例將使用不同的“G”值?！癕”可代表用于特征42的初始像素值56的總和，例如用于像素區(qū)域66中的每個(gè)乘員像素40的在0和255之間的亮度值。小寫的“m”代表潛在的被錯(cuò)誤識(shí)別的周圍像素40的初始像素特征42，這些潛在的被錯(cuò)誤識(shí)別的周圍像素40被考慮用于重新特征化該系統(tǒng)16的基于重力的處理。變量“r”代表“半徑”或像素區(qū)域66和被考慮重新分類為乘員像素40的周圍像素40之間的像素的個(gè)數(shù)。
可對每個(gè)被分類為周圍像素40的像素，檢查個(gè)像素區(qū)域66的基于重力的影響。在該實(shí)施例中，可考慮多個(gè)像素區(qū)域66對一特定的周圍像素40的“重力”影響?；蛘撸蛲庥?jì)算用于一特定的像素區(qū)域66的“重力”影響，直到周圍像素40不再被重新分類為乘員像素40的那一點(diǎn)，從而無須對每個(gè)像素40或甚至是附加的周圍像素40都進(jìn)行計(jì)算。
I.橢圓適配子系統(tǒng)系統(tǒng)16可使用一橢圓適配子系統(tǒng)創(chuàng)建一橢圓來代表乘員18的分割圖像31。在其它實(shí)施例中，可使用其他的形狀來代表乘員18的分割圖像31。圖9示出可由該橢圓適配處理產(chǎn)生的這種結(jié)果中的一個(gè)類型的例子。在一較佳實(shí)施例中，該橢圓適配子系統(tǒng)為在計(jì)算機(jī)30中的軟件，但在其他的實(shí)施例中，該橢圓適配子系統(tǒng)可被置于不同的計(jì)算機(jī)和裝置中。
上橢圓80可從乘員18的臀部向上延伸到其頭部。下橢圓84可從乘員18的臀部向下延伸到包括該乘員18的腳。如果從乘員18的臀部向下到乘員18的腳的整個(gè)區(qū)域都看不到，則可產(chǎn)生一下橢圓代表能看到的內(nèi)容。系統(tǒng)16可使用橢圓80上的單個(gè)點(diǎn)例如橢圓80的質(zhì)心來跟蹤橢圓80，以下將更具體地進(jìn)行描述。在現(xiàn)有技術(shù)中已知有多種橢圓適配例程。一較佳實(shí)施例不使用該下橢圓84。
圖10示出可從上橢圓80導(dǎo)出的多個(gè)變量，用來代表相對于安全氣囊展開系統(tǒng)36的乘員的分割圖像31的某些特征。系統(tǒng)6可對上橢圓80的質(zhì)心82加以識(shí)別以用于跟蹤乘員18的特征。在現(xiàn)有技術(shù)中，已知如何識(shí)別橢圓的質(zhì)心54。其他實(shí)施例可使用上橢圓80上的其他點(diǎn)來跟蹤與安全氣囊展開36或其他處理相關(guān)的乘員18的特征。可從上橢圓80得出寬范圍的多種乘員18的特征。
運(yùn)動(dòng)特征包括質(zhì)心82的x-軸(“距離”)98和前向傾斜角(“θ”)96。形狀測量包括質(zhì)心82的y-軸(“高度”)94，橢圓88長軸的長度(“major”)和橢圓86的短軸的長度(”minor”)。也可捕獲變化率信息，例如速度和加速度，用于所有形狀和運(yùn)動(dòng)特征。J.整個(gè)分割過程可由系統(tǒng)16實(shí)現(xiàn)的各種處里可以多種不同的方式實(shí)現(xiàn)，如上詳細(xì)描述的那樣。系統(tǒng)16具有大量潛在的不同的實(shí)施例。某些實(shí)施例無需使用所有的潛在的處理。不同的實(shí)施例也可使用不同的參數(shù)來進(jìn)行一特定的處理或一系列處理。
圖11公開了系統(tǒng)16用以將乘員18的分割圖像31從既包括該乘員18又包括周圍座位區(qū)域21的環(huán)境圖像38中分離出來的處理流程的一個(gè)例子。包括乘員18和周圍座位區(qū)域21的環(huán)境圖像38為計(jì)算機(jī)系統(tǒng)30的輸入。如上所述，該環(huán)境圖像38包括多個(gè)像素40。系統(tǒng)16接收形式為代表該環(huán)境圖像38的像素40的環(huán)境圖像38。每個(gè)像素40具有一個(gè)或多個(gè)像素特征42，例如亮度，且每個(gè)像素特征可與用于一特定像素的一個(gè)或多個(gè)像素值相關(guān)(例如，一特定像素可具有在0和255之間的亮度值)?？墒褂醚b有圖像閾值子系統(tǒng)100和間隙處理子系統(tǒng)102的計(jì)算機(jī)系統(tǒng)30來實(shí)現(xiàn)分割過程?？墒褂靡粰E圓適配子系統(tǒng)116來產(chǎn)生代表該乘員18的分割圖像31的上橢圓80，但對該系統(tǒng)16的使用來說，不需要116處的橢圓適配處理。I.圖像閾值子系統(tǒng)圖像閾值子系統(tǒng)100可包括兩個(gè)不同的模塊，設(shè)定圖像閾值模塊40和執(zhí)行圖像閾值模塊42。系統(tǒng)16可產(chǎn)生一圖像閾值44來將第一子組像素40識(shí)別為乘員像素40，將第二子組像素40識(shí)別為周圍像素40?？赏ㄟ^引入像素特征42的信息來設(shè)定圖像閾值44，如圖3，4，5所示，這一點(diǎn)在上述已進(jìn)行了較詳細(xì)的說明。圖像閾值44的應(yīng)用涉及將一像素40的像素值45與該圖像閾值44比較以將像素40歸類為或識(shí)別為屬于兩個(gè)或多個(gè)像素類中的一類，然后根據(jù)與該像素類相關(guān)的修正的像素值56設(shè)定用于該特定像素40的修正的像素值56。在一較佳實(shí)施例中，將此時(shí)歸類為代表乘員的分割圖像31的像素40設(shè)定為值“1”，且可稱其為乘員像素。在一較佳實(shí)施例中，將此時(shí)歸類為代表與乘員18不相關(guān)的周圍像素38方面的像素40設(shè)定為像素值56為“0”，且稱其為周圍像素。在一較佳實(shí)施例中，每個(gè)像素40僅具有一個(gè)像素值56且該值基于作為像素特征42的亮度。
a.設(shè)定圖像閾值模塊產(chǎn)生圖像閾值44可包括分析用于某些或全部像素40的一個(gè)或多個(gè)像素特征42的像素值56的分配的過程。該設(shè)定圖像閾值模塊104可使用圖3中的直方圖39來記錄具有用于像素特征42的一特定像素值56的像素40的個(gè)數(shù)，例如，亮度值為255的像素40。圖3的直方圖39可轉(zhuǎn)換為圖5所示的累積分布曲線52。圖5的累積分布曲線52可用于將所需的N百分比轉(zhuǎn)換為圖像閾值44，這種轉(zhuǎn)換基于與在環(huán)境圖像38中所捕獲的像素特征和像素值相關(guān)的數(shù)字值Y。因此，該直方圖39和累積分布曲線52可被用來計(jì)算適當(dāng)?shù)膱D像閾值，如圖4所示。系統(tǒng)16較佳地使用多于一個(gè)圖像閾值44以包含照明的差別。每個(gè)圖像閾值44可被創(chuàng)建為使得一預(yù)定百分比的像素40低于該圖像閾值44。用于一特定圖像閾值44的預(yù)定百分比可考慮像素40與整個(gè)環(huán)境圖像38的相對位置。
以上詳細(xì)討論了直方圖39，累積分布曲線52和圖像閾值44。
b.執(zhí)行圖像閾值模塊執(zhí)行圖像閾值模塊根據(jù)用于一特定像素42的像素特征42和可應(yīng)用于被設(shè)定的該特定像素42的特定圖像閾值44之間的關(guān)系來設(shè)定單個(gè)的像素值56。系統(tǒng)16可修改像素值56以便在一特定像素類的每個(gè)像素40享有相同的像素值56。
在一較佳實(shí)施例中，將此時(shí)歸類為代表乘員的分割圖像31的像素40設(shè)定為第一個(gè)二進(jìn)制值“1”，且可將其稱為乘員像素。在一較佳實(shí)施例中，所有其他的像素40均被歸類為具有第二個(gè)二進(jìn)制值“0”的周圍像素。
2.間隙處理子系統(tǒng)在根據(jù)一個(gè)或多個(gè)圖像閾值44對某些或所有像素值56進(jìn)行設(shè)定后，系統(tǒng)16可使用間隙處理子系統(tǒng)102以該特定像素40附近的其他像素值56形式的智能方式來修改像素值56，該特定像素40的像素值56是由該系統(tǒng)16設(shè)定的。間隙處理子系統(tǒng)102應(yīng)用一間隙填充或間隙處理試探法來修改像素值56。系統(tǒng)16可基于其他像素值56來改變像素值56，其他像素值56與被改變的像素值56附近的像素40相關(guān)。接著可從該修改的像素值56導(dǎo)出乘員18的分割圖像31。
間隙處理子系統(tǒng)102可包括一形態(tài)處理模塊108，一基于動(dòng)量的處理模塊110，一識(shí)別和標(biāo)記像素區(qū)域模塊112和一基于重力的處理模塊114。a.形態(tài)處理模塊使用一形態(tài)處理模塊108既可通過將某些乘員像素40改變?yōu)橹車袼?0來除去外層乘員像素40，又可通過將某些周圍像素40改變?yōu)槌藛T像素40來將由外層周圍像素值56分隔的乘員像素區(qū)域66連接在一起。以上詳細(xì)描述了該形態(tài)處理模塊108，不同的形態(tài)試探法可按任何順序來實(shí)現(xiàn)。
在一較佳實(shí)施例中，首先進(jìn)行垂直形態(tài)逼近以除去取向水平的偽像素40，包括乘員18的這些部分，例如向前伸出的手臂。然后進(jìn)行垂直形態(tài)擴(kuò)張以通過將某些周圍像素40轉(zhuǎn)換為乘員像素40來使乘員像素40“長”回它們適當(dāng)?shù)摹俺叽纭薄?br> 然后以類似的方式進(jìn)行水平形態(tài)逼近，接著進(jìn)行水平形態(tài)擴(kuò)張以再一次“長出”乘員像素40。
形態(tài)處理基于這一有用的假設(shè)，即一特定像素40的像素值56通常與特定像素40被設(shè)定時(shí)在相同附近的像素40的像素值56相關(guān)。形態(tài)處理是在例如圖像閾值44和其他的處理工具的機(jī)制中的一種機(jī)制，其可使系統(tǒng)16引入鄰近像素值56的概念以彌補(bǔ)照相機(jī)22的缺陷或由系統(tǒng)16應(yīng)用的基本智能的缺陷。
以上對用于進(jìn)行形態(tài)處理的垂直組58和水平組60進(jìn)行了詳細(xì)的描述，其示于圖6a和6b中。
b.基于動(dòng)量的處理模塊基于動(dòng)量的處理模塊110引入基于動(dòng)量的試探法來設(shè)定像素值56。以上對該過程進(jìn)行了詳細(xì)的描述?；趧?dòng)量的試探法引入這樣的智能，即一串連續(xù)乘員像素的存在增加了在該序列中下一個(gè)像素也為乘員像素40的可能性，且應(yīng)當(dāng)有分配給該像素40的適當(dāng)?shù)南袼刂?。足夠?shù)量的乘員像素40可具有克服一系列周圍像素的“動(dòng)量”，結(jié)果通過基于動(dòng)量的試探法造成將這些周圍像素40重新歸類為乘員像素40。
如上詳細(xì)描述的那樣，基于動(dòng)量的試探法使用一計(jì)數(shù)器來計(jì)算一系列像素值56的動(dòng)量效果。該計(jì)數(shù)器確定是否存在足夠的“動(dòng)量”來將一系列的周圍像素40重新歸類為乘員像素40。系統(tǒng)16在與一特定的像素值56相關(guān)的不同的正權(quán)值和負(fù)權(quán)值方面具有靈活性。每次當(dāng)下一個(gè)相鄰像素40屬于第一像素類，例如乘員像素40時(shí)，可將一第一預(yù)定數(shù)加到計(jì)數(shù)器值上，每次當(dāng)下一個(gè)相鄰的像素40屬于第二像素類，例如周圍像素40時(shí)，可從該計(jì)數(shù)器值中減去一第二預(yù)定數(shù)。如果在一系列的周圍像素40被乘員像素40的“動(dòng)量”轉(zhuǎn)換之前計(jì)數(shù)器到達(dá)小于或等于0的值，則剩余的周圍像素40序列仍保持為周圍像素40。一些實(shí)施例可使用線性方法來進(jìn)行基于動(dòng)量的處理，一個(gè)像素一個(gè)像素地應(yīng)用動(dòng)量。其他實(shí)施例可使用閾值方法，其中，如果乘員像素40的動(dòng)量不能克服該整個(gè)的周圍像素40序列，則在該序列中的周圍像素40沒有一個(gè)被重新歸類為乘員像素40。
c.識(shí)別和標(biāo)記區(qū)域模塊系統(tǒng)16可識(shí)別像素區(qū)域66(乘員像素40的組，其中，每個(gè)乘員像素40與至少另一個(gè)乘員像素40相鄰)?？赏ㄟ^一識(shí)別和標(biāo)記像素區(qū)域模塊112來進(jìn)行這種處理。像素區(qū)域66可與一唯一的標(biāo)記相關(guān)，且可擁有某些區(qū)域特征或?qū)傩?，例如大小，位置，以及到其他區(qū)域66和像素40的距離。圖8為包含四個(gè)像素區(qū)域66的環(huán)境圖像38的一個(gè)例子。像素區(qū)域66可由基于重力的處理模塊114來使用，而且在不同的實(shí)施例中，也可由基于動(dòng)量的處理模塊110來使用。
d.基于重力的處理模塊基于重力的處理模塊114允許系統(tǒng)16引入以下有用的邏輯假設(shè)即與一乘員像素40的區(qū)域66相鄰或靠近的周圍像素40可被簡單地錯(cuò)誤歸類為乘員像素40。上述詳細(xì)描述了基于重力的試探法。該試探法可包括與乘員像素40相關(guān)的初始亮度值42的“質(zhì)量”，以及與由于乘員像素40的像素區(qū)域66和被考慮重新歸類的周圍像素40之間的“重力”和相對近的距離而被考慮重新歸類為乘員像素40的周圍像素40的初始發(fā)光值42的“質(zhì)量”。
3.分割成象可從間隙處理子系統(tǒng)102輸出乘員18的分割圖像31，該分割圖像與環(huán)境圖像38中的乘員18周圍的非乘員圖像隔離。為展開安全氣囊，該橢圓適配子系統(tǒng)116可從由該間隙處理子系統(tǒng)102輸出的乘員像素和周圍像素40產(chǎn)生一上橢圓80。對于其他實(shí)施例，如果需要該乘員的其他視覺特征，則初始像素特征42，在一較佳實(shí)施例中例如亮度，可以代替所有乘員像素40的像素值56，結(jié)果得到乘員18的分割圖像。在一些實(shí)施例中，乘員18的分割圖像31的二進(jìn)制輪廓是橢圓適配子系統(tǒng)所需的全部。在其他實(shí)施例中，可通過簡單地插回(plug back)用于每個(gè)分割圖像40的初始亮度值來產(chǎn)生視覺上更詳細(xì)的分割圖像31。
4.橢圓適配子系統(tǒng)如上詳細(xì)討論的那樣，橢圓適配子系統(tǒng)16可用于產(chǎn)生代表乘員18的分割圖像31的橢圓80。上橢圓80和與該上橢圓相關(guān)的特征可向安全氣囊控制器32提供與該乘員18有關(guān)的有用信息，以便向該安全氣囊展開系統(tǒng)36提供適當(dāng)?shù)恼归_指示。
系統(tǒng)16還可被包含在使用乘員18的圖像的任何其他系統(tǒng)中，包括但不限于火車，飛機(jī)，摩托車或任何其他類型的車輛或結(jié)構(gòu)中，其中乘員18坐在座位20上。該系統(tǒng)16的用處還不僅限于乘員18的圖像的領(lǐng)域。
以上已通過多個(gè)較佳實(shí)施例對本發(fā)明的原則和操作方式進(jìn)行了說明和描述。然而，應(yīng)當(dāng)理解，在不脫離本發(fā)明的精神和范圍的情況下，本發(fā)明可用不同于以上特定解釋和描述的方式來實(shí)現(xiàn)。
權(quán)利要求
1.一種改進(jìn)的圖像分割方法，與乘員(18)、用于產(chǎn)生檢測器測量結(jié)果的檢測器(22)，和包括乘員(18)和圍繞該乘員的區(qū)域(21)的環(huán)境圖像(38)所使用的改進(jìn)的圖像分割方法，該改進(jìn)包括以下步驟接收由多個(gè)像素(40)和多個(gè)初始像素值表示的環(huán)境圖像(38)，其中，每個(gè)所述像素(40)具有至少一個(gè)所述的初始像素值；基于與被識(shí)別的像素(40)相關(guān)的一個(gè)或多個(gè)像素值，將一個(gè)或多個(gè)像素(40)識(shí)別為屬于多個(gè)像素類中的一類；建立一用于一個(gè)或多個(gè)像素(40)的第一修正像素值(42)，其中，在相同像素類中的每個(gè)像素(40)具有該相同的第一修正像素值(42)；基于與在被設(shè)定的像素(40)附近的一個(gè)或多個(gè)像素(40)相關(guān)的一個(gè)或多個(gè)第一修正像素值(42)，設(shè)定用于一個(gè)或多個(gè)所述像素(40)的第二修正像素值(42)；且從所述第一修正像素值(42)和所述第二修正像素值(42)導(dǎo)出乘員(18)的分割圖像(31)。
2.如權(quán)利要求1所述的改進(jìn)的圖像分割方法，其中，識(shí)別一個(gè)或多個(gè)所述像素(40)進(jìn)一步包括產(chǎn)生一圖像閾值(44)。
3.如權(quán)利要求2所述的改進(jìn)的圖像分割方法，其中，識(shí)別一個(gè)或多個(gè)所述像素(40)進(jìn)一步包括將所述多個(gè)初始像素值(42)與所述圖像閾值(44)進(jìn)行比較。
4.如權(quán)利要求2所述的改進(jìn)的圖像分割方法，其中，產(chǎn)生圖像閾值(44)進(jìn)一步包括分析與一像素特征相關(guān)的初始像素值(42)的分布。
5.如權(quán)利要求4所述的改進(jìn)的圖像分割方法，其中，分析初始像素值(42)的分布進(jìn)一步包括將總計(jì)的初始像素值(42)記入一直方圖(39)；將該直方圖(39)轉(zhuǎn)換為一累積分布函數(shù)(52)；以及基于低于圖像閾值(44)的初始像素值(42)的一預(yù)定百分比(54)來計(jì)算該圖像閾值(44)。
6.如權(quán)利要求4所述的改進(jìn)的圖像分割方法，其中，每個(gè)像素(40)僅具有一個(gè)初始像素值(42)和一個(gè)像素特征。
7.如權(quán)利要求6所述的改進(jìn)的圖像分割方法，其中，亮度為所述像素特征。
8.如權(quán)利要求3所述的改進(jìn)的圖像分割方法，其中，每個(gè)所述像素(40)有一個(gè)相對于環(huán)境圖像(38)的像素位置，且所述像素位置確定多個(gè)圖像閾值(44)中的哪個(gè)與用于所述像素位置中的所述像素(40)的所述初始像素值(42)相比較。
9.如權(quán)利要求8所述的改進(jìn)的圖像分割方法，其中，將一較高的圖像閾值(44)用于具有較亮照明的像素位置。
10.如權(quán)利要求1所述的改進(jìn)的圖像分割方法，其中僅有兩個(gè)像素類。
11.如權(quán)利要求1述的改進(jìn)的圖像分割方法，其中，設(shè)定該第二修正像素值(42)包括形態(tài)試探。
12.如權(quán)利要求11所述的改進(jìn)的圖像分割方法，其中，所述形態(tài)試探為形態(tài)逼近。
13.如權(quán)利要求12所述的改進(jìn)的圖像分割方法，其中，該形態(tài)試探為形態(tài)擴(kuò)張。
14.如權(quán)利要求1所述的改進(jìn)的圖像分割方法，其中，設(shè)定該第二修正像素值(42)包括基于動(dòng)量的試探法。
15.如權(quán)利要求14所述的改進(jìn)的圖像分割方法，其中，所述多個(gè)像素(40)的子組為一組相鄰的像素，其中，所述多個(gè)像素類包括第一像素類和第二像素類，且其中，設(shè)定該第二像素值(42)進(jìn)一步包括按順序分析該相鄰像素(40)組中的像素子組(40)；每當(dāng)在該序列中的下一個(gè)像素(40)屬于所述第一個(gè)像素類時(shí)，增加計(jì)數(shù)器值；及每次當(dāng)該序列中的下一個(gè)像素(40)屬于所述第二個(gè)像素類時(shí)，減小所述計(jì)數(shù)器值。
16.如權(quán)利要求15所述的改進(jìn)的圖像分割方法，其中，當(dāng)計(jì)數(shù)器值小于或等于零時(shí)該基于動(dòng)量的試探法停止。
17.如權(quán)利要求1所述的改進(jìn)的圖像分割方法，其中，設(shè)定該第二修正像素值(42)包括基于重力的試探法。
18.一種結(jié)合乘員(18)、檢測器(22)和環(huán)境圖像(38)所使用的改進(jìn)的圖像分割方法，所述檢測器(22)用于產(chǎn)生檢測器測量結(jié)果，所述環(huán)境圖像(38)包括乘員(18)及圍繞該乘員的區(qū)域(21)，該改進(jìn)包括以下步驟接收由多個(gè)像素(40)和多個(gè)像素值(42)表示的環(huán)境圖像(38)，其中，所述像素(40)的每一個(gè)具有至少一個(gè)所述初始像素值(42)；將總計(jì)的初始像素值(42)記入一直方圖(39)；將該直方圖(39)轉(zhuǎn)換成一累積分布函數(shù)(52)；使用該累積分布函數(shù)(52)計(jì)算一圖像閾值(44)，使一預(yù)定百分比(54)的初始像素值(42)低于該圖像閾值(44)；通過將該圖像閾值(44)與用于被歸類的像素(40)的初始像素值(42)比較來將多個(gè)像素中的每個(gè)像素(40)歸類為多個(gè)像素類中的一類；建立第一修正像素值(42)使得在該同一像素類中的每一像素(40)享有相同的第一修正像素值(42)；根據(jù)形態(tài)試探法將所述第一修正像素值(42)修改為第二修正像素值(42)；使用基于動(dòng)量的試探法從所述第二修正像素值(42)或所述第一修正像素值(42)確定第三修正像素值(42)；基于該第一修正像素值(42)，第二修正像素值(42)和第三修正像素值(42)識(shí)別像素區(qū)域(66)；根據(jù)基于重力的試探法從像素區(qū)域(66)產(chǎn)生第四修正像素值(42)；使用該第四修正像素值(42)導(dǎo)出該乘員(18)的分割圖像(31)。
19.如在權(quán)利要求18中所述的結(jié)合乘員(18)所使用的改進(jìn)的分割方法，其中導(dǎo)出該乘員(18)的分割圖像(31)包括用初始像素值(42)替換代表乘員圖像(31)的所述第四修正像素值(42)。
20.一種結(jié)合乘員(18)、檢測器(22)和環(huán)境圖像(38)所使用的改進(jìn)的圖像分割系統(tǒng)(16)，所述檢測器(22)用于產(chǎn)生檢測器測量結(jié)果，所述環(huán)境圖像(38)包括乘員(18)及圍繞該乘員的區(qū)域(21)，所述改進(jìn)包括一種圖像閾值子系統(tǒng)(100)，它包括代表環(huán)境圖像(38)的多個(gè)像素(40)，和圖像閾值試探法，所述圖像閾值子系統(tǒng)(100)根據(jù)所述圖像閾值試探法歸類所述多個(gè)像素(40)；和一間隙處理子系統(tǒng)(102)，它包括一間隙處理試探法，一個(gè)在所述多個(gè)像素(40)中的附近像素子組，和多個(gè)像素值(42)，所述間隙處理子系統(tǒng)(102)根據(jù)所述間隙處理試探法和所述屬于所述鄰近像素子組中的像素(40)的所述像素值(42)有選擇地設(shè)定所述像素值(42)；且其中，從所述多個(gè)像素(40)中產(chǎn)生一分割圖像(31)。
21.如權(quán)利要求20所述的改進(jìn)的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)包括多個(gè)亮度值，其中每個(gè)所述像素(40)具有至少一個(gè)所述的亮度值。
22.如權(quán)利要求21所述的改進(jìn)的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)進(jìn)一步包括一直方圖(39)，其中所述直方圖(39)列出所述亮度值的所述像素(40)的個(gè)數(shù)。
23.如權(quán)利要求22所述的改進(jìn)的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)進(jìn)一步包括一累積分布曲線(52)，其中，所述直方圖(39)通過所述圖像閾值子系統(tǒng)(100)被轉(zhuǎn)換為所述累積分布曲線(52)。
24.如權(quán)利要求23所述的改進(jìn)的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)還包括一預(yù)定的百分比(54)和一圖像閾值(44)，其中所述圖像閾值(44)從所述預(yù)定的百分比(54)和所述累積分布曲線(52)計(jì)算而得。
25.如權(quán)利要求24所述的改進(jìn)的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)包括多個(gè)圖像閾值(44)且所述像素(40)包括一像素位置，其中，所述像素的所述像素位置確定所述圖像閾值子系統(tǒng)(100)將哪一個(gè)所述像素閾值(44)用于所述像素(40)。
26.如權(quán)利要求24所述的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)進(jìn)一步包括所述多個(gè)像素(40)的第一子組和所述多個(gè)像素(40)的第二子組，所述圖像閾值子系統(tǒng)(100)利用所述圖像閾值(44)將所述多個(gè)像素(40)分為所述第一像素(40)子組和所述第二像素(40)子組。
27.如權(quán)利要求26所述的圖像分割系統(tǒng)(16)，所述圖像閾值子系統(tǒng)(100)進(jìn)一步包括第一二進(jìn)制值和第二二進(jìn)制值，其中，所述多個(gè)像素(40)的所述第一子組被設(shè)定為所述第一二進(jìn)制值，所述多個(gè)像素(40)的所述第二子組被設(shè)定為所述第二二進(jìn)制值。
28.如權(quán)利要求27所述的圖像分割系統(tǒng)(16)，其中所述多個(gè)所述像素(40)的至少大約一半被設(shè)定為所述第一二進(jìn)制值。
29.如權(quán)利要求20所述的圖像分割系統(tǒng)(16)，所述間隙處理試探法包括形態(tài)試探法。
30.如權(quán)利要求29所述的圖像分割系統(tǒng)(16)，所述形態(tài)試探法包括形態(tài)逼近。
31.如權(quán)利要求29所述的圖像分割系統(tǒng)(16)，所述形態(tài)試探法包括形態(tài)擴(kuò)張。
32.如權(quán)利要求29所述的圖像分割系統(tǒng)(16)，所述形態(tài)試探法包括基于垂直的形態(tài)試探法。
33.如權(quán)利要求29所述的圖像分割系統(tǒng)(16)，所述形態(tài)試探法包括基于水平的形態(tài)試探法。
34.如權(quán)利要求20所述的圖像分割系統(tǒng)(16)，所述間隙處理試探法包括基于動(dòng)量的試探法，所述鄰近像素子組包括一連續(xù)像素子組，且所述間隙處理子系統(tǒng)使用所述基于動(dòng)量的試探法和與所述連續(xù)像素子組相關(guān)的所述像素值(42)來有選擇地設(shè)定所述像素值(42)。
35.如權(quán)利要求34所述的圖像分割系統(tǒng)(16)，所述連續(xù)像素子組包括連續(xù)的垂直像素(40)子組(58)和連續(xù)的水平像素(40)子組(60)，其中，所述基于動(dòng)量的試探法分析在所述連續(xù)垂直像素(40)子組(58)和所述連續(xù)水平像素(40)子組(60)中的所述像素值(42)以確定所述多個(gè)像素值(40)。
36.如權(quán)利要求35所述的圖像分割系統(tǒng)(16)，所述基于動(dòng)量的試探法進(jìn)一步包括一動(dòng)量計(jì)數(shù)器，所述動(dòng)量計(jì)數(shù)器確定所述間隙處理子系統(tǒng)何時(shí)終止用于所述像素值(42)的所述基于動(dòng)量的試探法。
37.如權(quán)利要求27所述的圖像分割系統(tǒng)(16)，所述間隙適配試探法包括一基于重力的試探法，一像素區(qū)域(66)和一區(qū)域特征；所述多個(gè)像素(40)包括一目標(biāo)像素；其中，所述像素區(qū)域(66)包括一個(gè)或多個(gè)所述像素(40)；其中所述像素區(qū)域(66)不包括所述目標(biāo)像素；且其中所述像素區(qū)域(66)為所述鄰近像素的一個(gè)子組。
38.如權(quán)利要求37所述的圖像分割系統(tǒng)(16)所述基于重力的試探法進(jìn)一步包括區(qū)域大小和區(qū)域距離；其中所述區(qū)域大小為在所述像素區(qū)域(66)中的所述像素(40)的個(gè)數(shù)；其中所述區(qū)域距離為所述目標(biāo)像素和所述像素區(qū)域(66)的中心點(diǎn)之間的距離；且其中，所述間隙處理子系統(tǒng)(102)根據(jù)所述區(qū)域大小、所述區(qū)域距離和所述基于重力的試探法設(shè)定所述目標(biāo)像素。
全文摘要
本發(fā)明為用于將目標(biāo)人、動(dòng)物或物體的分割圖像(31)從包括該目標(biāo)人、動(dòng)物或物體，以及圍繞該目標(biāo)的區(qū)域(21)的環(huán)境圖像(38)中分離出來的圖像分割系統(tǒng)(16)和方法。通過向安全氣囊展開系統(tǒng)提供乘員的分割圖像，本發(fā)明支持該安全氣囊展開系統(tǒng)區(qū)分不同類型乘員(18)的能力。本發(fā)明在夜間或涉及光線不足或有不希望的陰影的其他環(huán)境中尤其有用。本發(fā)明可使用直方圖(39)和累積分布函數(shù)(52)來設(shè)定圖像閾值?？墒褂眯螒B(tài)逼近和擴(kuò)張來設(shè)定圖像閾值，可使用形態(tài)逼近和擴(kuò)張來從該圖像中消除光“噪聲”?；诰哂蓄愃葡袼刂档膮^(qū)域的“動(dòng)量”和“重力”來進(jìn)行間隙填充?？僧a(chǎn)生一上橢圓(80)來代表乘員(18)的上半身。本發(fā)明具有高度的靈活性，且可按照所要求的使用進(jìn)行改進(jìn)。
文檔編號(hào)G06Q40/00GK1427372SQ02156649
公開日2003年7月2日 申請日期2002年12月17日 優(yōu)先權(quán)日2001年12月17日
發(fā)明者M·E·法默 申請人:伊頓公司