專利名稱：用于疲勞檢測的嘴唇圖像分割方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理，特別是涉及一種用于疲勞檢測的嘴唇圖像分割方法及系統(tǒng)。
背景技術(shù)：
隨著社會經(jīng)濟的發(fā)展，疲勞駕駛已成為引發(fā)交通事故的主要因素之一。因此，如何有效的檢測和防止疲勞駕駛，對于降低交通事故發(fā)生率及人員死亡率有著十分重要的意義。
因此，實時獲取并監(jiān)視駕駛行為信息與(或)駕駛員生理信息，利用這些信息判斷車輛行駛的安全性，并采用相應(yīng)報警和防護措施，以減少由于疲勞駕駛而導致的道路交通事故已成為目前國內(nèi)外專家和學者研究的熱點。從國內(nèi)外研究現(xiàn)狀可以將駕駛員疲勞檢測技術(shù)歸納為三種1.監(jiān)測駕駛員的生理信號，包括心電圖、腦電、唾液成分等，這類方法能夠較精確的檢測出駕駛員的疲勞狀態(tài)，但是駕駛員需要配戴一些帶電極的器械，這種接觸式的方法不僅妨礙駕駛，而且成本高，實用性較差；2.監(jiān)測車輛的相關(guān)參數(shù)，包括速度、車輛行駛軌跡是否偏離車道、方向盤等。這類方法的優(yōu)點在于非接觸式，但其缺點在于此類方法與疲勞相關(guān)性較差，不能很好地反映駕駛員的疲勞狀態(tài)；3.監(jiān)測駕駛員的個體特征，采取基于視覺的檢測方法，主要檢測眼皮的開閉運動，嘴部打哈欠運動等。該類方法不僅有非接觸性的優(yōu)點，且與疲勞相關(guān)性較強，能夠準確檢測出駕駛員的疲勞狀態(tài)。
因此，基于視覺的駕駛員面部動作檢測成為駕駛員疲勞狀態(tài)監(jiān)測的主要途徑。而由于眼睛開閉運動監(jiān)測經(jīng)常會受駕駛員配戴眼睛反光、配戴墨鏡、頭發(fā)遮擋、衣帽遮擋等影響，因此嘴部運動檢測及分析用以判斷駕駛員是否處于疲勞狀態(tài)成為駕駛員疲勞檢測的主要發(fā)展方向和趨勢。
目前，大多數(shù)嘴唇分割技術(shù)通常是利用嘴唇與面部的顏色差異，即唇色比膚色更紅這一顏色特征，并將其轉(zhuǎn)換到其他色彩空間以增強該差異，然后設(shè)定閾值來檢測并分割嘴唇。該類技術(shù)受光照及個體膚色唇色差異影響很大，僅適用于光線條件較好并且唇色膚色差異明顯的情況，實用性差。主動輪廓線模型(蛇模型)也經(jīng)常被用于嘴唇分割，但是該模型經(jīng)常會得到錯誤的收斂解當嘴唇邊緣并不是很明顯或者當嘴唇顏色和臉部膚色很接近時。模糊聚類是另一種常用的圖像分割技術(shù)，該方法雖然能得到比較精確的分割結(jié)果，但計算量較大，計算速度較慢，不適用于駕駛員疲勞檢測等實時處理。
鑒于以上現(xiàn)有技術(shù)存在的缺點，使得駕駛員疲勞檢測技術(shù)實用性較差，因此未能得以廣泛應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明的主要目的就是針對現(xiàn)有技術(shù)的不足，提供一種用于疲勞檢測的嘴唇自動分割方法和系統(tǒng)，能夠克服不同光照條件(包括夜間行駛)以及個體差異的影響而得到精確的嘴唇輪廓，且實時檢測效率高，從而提高檢測的準確率和實用性，并大大降低檢測成本。
為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案-
一種用于疲勞檢測的嘴唇圖像分割方法，其特征在于，包括以下步驟..
Al、利用圖像的顏色信息建立臉部和嘴唇的高斯模型；
Bl、對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域；及
Cl、使用所述種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化
而獲取嘴唇的邊界。
優(yōu)選地，所述步驟Ci包括進行圖像增強處理以增大嘴唇與周圍區(qū)域之
間的對比度。
優(yōu)選地，所述步驟Cl中所述對水平集函數(shù)進行演化為求其收斂解，并將所獲得的零水平集曲線作為嘴唇的邊界。
優(yōu)選地，每對所述水平集函數(shù)進行一次演化后，在當前分割區(qū)域的基礎(chǔ)上對圖像進行一次分段線性對比度增強處理，二者交替迭代進行，直到得到所述收斂解。
. 優(yōu)選地，所述步驟C1包括以下子步驟.
Cll、將彩色圖像轉(zhuǎn)化為灰度圖像，灰階為0 255;C12、構(gòu)造自適應(yīng)對比度圖像能量函數(shù)，得到自適應(yīng)對比度水平集函數(shù)；及
C13、使用梯度下降法求解函數(shù)極值。
優(yōu)選地，所述步驟Al中，使用歸一化的顏色空間，對臉部和嘴唇的rgb空間中的r和g分量進行建模，所述歸一化的過程如下
5<formula>formula see original document page 6</formula>
其中，R、 G、 B分別是指原始RGB顏色空間中紅色、綠色、藍色顏色優(yōu)選地，所述步驟Bl包括以下子步驟-
Bll、根據(jù)己建立的臉部和嘴唇高斯模型，對圖像中的像素進行標示，并將鄰近的分散像素或者區(qū)域連接成大的連通域；
B12，選擇兩個合適的矩形，使其分別包含大多數(shù)的被標示的臉部、嘴唇像素；及
B13、判斷是否滿足下述限制條件
A叫ip < 0.125x ，其中^m^和^m np分別代表臉部和嘴唇矩形的
面積，且0.2<%<1.1，其中h和w分別為嘴唇矩形的高和寬，
如果判斷為滿足，則將嘴唇矩形內(nèi)的連通域作為所述種子區(qū)域。優(yōu)選地，所述步驟B13中，如果判斷為不滿足，則首先進行腐蝕操作，再確定所述種子區(qū)域。
優(yōu)選地，所述步驟Bll中，所述標示的規(guī)則如下
如果乙》>0.55，則將x對應(yīng)像素標示為臉部像素，其中l(wèi)(x)為描
述臉部顏色向量分布的聯(lián)合概率密度；
如果PUp(x) > 0.55且/^ < 0.001，則將x對應(yīng)像素標示為嘴唇像素，其
中，4Jx)為描述嘴唇顏色向量分布的聯(lián)合概率密度；及將其余像素則標示為背景像素。一種嘴唇圖像分割系統(tǒng)，其特征在于,包括-用于利用圖像顏色信息建立臉部和嘴唇的高斯模型的建模模塊；用于對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域的粗定位模塊；及用于使用種子區(qū)域初始化水平集函數(shù)，'并對水平集函數(shù)進行演化的精
細分割模塊。
本發(fā)明有益的技術(shù)效果是
根據(jù)本發(fā)明的嘴唇圖像分割方法及系統(tǒng)，首先，利用圖像的顏色信息建立臉部和嘴唇的高斯模型；接下來，對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域；然后，使用種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化，即對嘴唐進行精細分割，最終獲得嘴唇的邊界。相對于以往的技術(shù)，本發(fā)明能夠克服不同光照條件(包括夜間行駛)以及個體差異，得到精確的嘴唇輪廓且實時檢測效率高。本發(fā)明適用于人員尤其是駕駛員的疲勞檢測，提高了疲勞檢測的準確率和實用性，并大大降低了檢測成本。


圖1為本發(fā)明的嘴唇分割方法基本流程圖2為一種實施例中建立臉部和嘴唇的高斯模型的流程圖3為一種實施例中對嘴唇進行粗定位的流程圖4為一種實施例中對嘴唇進行精細分割的流程圖5 (a) -5 (c)展示了利用高斯模型進行嘴唇粗定位，其中-
圖5(a)表示面部視頻中任一幀原始RGB彩色圖像轉(zhuǎn)化后的灰度圖像；
圖5 (b)表示利用高斯模型對圖像進行標示的結(jié)果；
圖5 (c)表示嘴唇粗定位的結(jié)果；
圖6 (a) -6 (c)展示了利用自適應(yīng)對比度水平集方法進行嘴唇分割，
其中
圖6 (a)表示轉(zhuǎn)化后的灰度圖像；
圖6 (b)表示基于嘴唇粗定位得到的種子區(qū)域的水平集函數(shù)初始化結(jié)
果；
圖6 (c)表示嘴唇分割結(jié)果；圖7為本發(fā)明的嘴唇分割系統(tǒng)基本結(jié)構(gòu)圖。本發(fā)明的特征及優(yōu)點將通過實施例結(jié)合附圖進行詳細說明。
具體實施例方式
請參考圖1，本發(fā)明的嘴唇分割方法基本流程包括步驟S1:利用圖像的顏色信息建立臉部、嘴唇的高斯模型；
步驟S2:對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域；及步驟S3:使用種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化，實現(xiàn)對嘴唇的精細分割，最終獲取嘴唇的邊界。
以下通過優(yōu)選的實施例對各步驟作進一步詳述。l.建立臉部及嘴唇高斯模型
請參考圖2，根據(jù)優(yōu)選的實施例，該步驟又包括
步驟S11:首先，采集大量不同人不同光照條件下的面部RGB圖像，并手動隨機選擇臉部和嘴唇像素點；
7步驟S12:分別計算臉部和嘴唇歸一化顏色向量(r， g)的均值和協(xié)方差矩陣，從而建立臉部和嘴唇的高斯模型
使用歸一化顏色空間可以減小光照條件的變化對顏色向量在空間中分布所造成的影響。通過觀察，發(fā)現(xiàn)在歸一化的顏色空間中，臉部和嘴唇
的r和g分量分布具有較大的差異，因此只對rgb空間中的r和g分量進
行建模。歸一化的過程如下
_ i
g— i + G + 5
其中，R、 G、 B分別是指原始RGB顏色空間中紅色、綠色、藍色顏色
通過訓練可得到高斯模型的參數(shù)。高斯模型的聯(lián)合概率密度公式的計算如下
尸(x)ocexp卜0.5(xifc一(x-n)} (2)
其中，x—r,gf， n和C分別代表x的均值和協(xié)方差。我們對不同光
照條件下的多個個體圖像的臉部和嘴唇像素進行隨機采樣，用得到的樣本來估計H^、 ~、 Cfare、 Clip，得到描述臉部和嘴唇顏色向量分布的聯(lián)合概率密度P^(x)、 PUp(x);2.嘴唇粗定位
此步驟中，配合相應(yīng)的幾何、位置約束條件，對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域。
請參考圖3，根據(jù)優(yōu)選的實施例，該步驟又包括-
步驟S21:對于實時采集的面部視頻中每一幅圖像，首先利用已建立高斯模型計算每個像素在臉部和嘴唇模型中的概率值，根據(jù)計算結(jié)果對像素進行標示，并對已標示的圖像進行形態(tài)學的閉運算，使分散的像素或區(qū)域連通；
步驟S22:找到分別對應(yīng)于臉部和嘴唇的兩個合適的矩形，使其能夠包含大多數(shù)的臉部和嘴唇像素；
步驟S23:判斷兩個矩形是否滿足以下限制條件
Ae < 0.125"層f^ ，其中」r氣ee和j，llp分別代表 部和嘴唇矩形的面積，且0.2<&/<1.1，其中h和W分別為嘴唇矩形的高和寬，
步驟S24:若滿足上述條件，則將嘴唇矩形內(nèi)的連通域作為種子區(qū)域；歩驟S25:若不滿足上述條件，則首先進行腐蝕操作，再檢測嘴唇。
更優(yōu)選地，步驟S21中對像素進行標示按照以下規(guī)則進行-如果乙《>0.55，則將X對應(yīng)像素標示為臉部像素，其中i^(x)為描
述臉部顏色向量分布的聯(lián)合概率密度；
如果i^(x) > 0.55且Pfare(x) <0.001 ，則將x對應(yīng)像素標示為嘴唇像素，其
中，^Jx)為描述嘴唇顏色向量分布的聯(lián)合概率密度；及將其余像素則標示為背景像素。3.嘴唇分割
此步驟實現(xiàn)對嘴唇的精細分割，包括使用種子區(qū)域?qū)ψ赃m應(yīng)對比度水平集函數(shù)進行初始化并對水平集函數(shù)進行演化。
請參考圖4，根據(jù)優(yōu)選的實施例，該步驟又包括
步驟S31:首先將彩色圖像轉(zhuǎn)化為灰度圖像，灰階為0 255;
步驟S32:其次，構(gòu)造自適應(yīng)對比度圖像能量函數(shù)，得到自適應(yīng)對比度水平集函數(shù)，水平集函數(shù)如下所示
業(yè)
// + d div
▽0
+ " ((^ (x) - e。 (x))2 - (e2 (x) - e, (x))2)
(3)
其中，^為水平集函數(shù)。//為正值常數(shù)，即使零水平集曲線向外膨脹
的力。div
為水平集方程上每點的曲率保證分割邊界的光滑
^ W - e。 (x》2 - ^ (x) - A (x》2項為自適應(yīng)對比度，用來得到局部灰度對比度。
該項衡量像素x周圍的一個圓形區(qū)域內(nèi)的像素灰度分布特性，著重于沿零水平集曲線法線方向上的灰度變化。e。(x)和^x)為零水平集曲線"y卜"力內(nèi)外兩側(cè)的加權(quán)平均灰度值，e,(x)為零水平集曲線上像素點的平均灰度值。v和"分別為權(quán)重系數(shù)，因此均為正的常量；
步驟S33:使用梯度下降法求解函數(shù)極值。優(yōu)選地，在每次對水平集函數(shù)進行演化后，在現(xiàn)有分割區(qū)域的基礎(chǔ)上，對圖像進行分段線性對比度增強，以增大嘴唇和周圍皮膚之間的對比度。使自適應(yīng)對比度水平集函數(shù)演化(求解)與圖像灰度線性增強交替迭代進行，直到得到收斂解，即為嘴唇分割結(jié)果，這時的零水平集曲線即為嘴唇的邊界。從而，可基于該嘴唇邊界曲線的形狀來判斷嘴部的狀態(tài)，例如是否在打哈欠，從而檢測出人員是否疲勞。
本發(fā)明的嘴唇分割方法的原理和實施效果可參考圖5 (a)-圖6 (c)。
圖5 (a) -5 (c)示意性地展示了利用高斯模型進行嘴唇粗定位。圖5 (a)表示面部視頻中任一幀原始RGB彩色圖像轉(zhuǎn)化后的灰度圖像；圖5(b)表示利用高斯模型對圖像進行標示的結(jié)果，其中，白色區(qū)域代表嘴唇，用以水平集函數(shù)的初始化，灰色區(qū)域為臉部區(qū)域，黑色區(qū)域為背景區(qū)域；圖5 (c)表示嘴唇粗定位的結(jié)果，矩形l代表檢測到的嘴唇位置，矩形2代表檢測的臉部位置。
圖6 (a) -6 (c)示意性地展示了利用自適應(yīng)對比度水平集方法進行嘴唇分割。圖6 (a)為轉(zhuǎn)化后的灰度圖像；圖6 (b)為基于嘴唇粗定位得到的種子區(qū)域的水平集函數(shù)初始化結(jié)果，曲線3代表初始的零水平集曲線；圖6 (c)為嘴唇分割結(jié)果，曲線4為最終的零水平集曲線，代表嘴唇邊界。
本發(fā)明的嘴唇圖像分割方法將水平集方法應(yīng)用到嘴唇分割，，使用種子區(qū)域初始化水平集函數(shù)，提出自適應(yīng)對比度圖像能量函數(shù)，引導水平集函數(shù)演化，能夠有效減小不同光照條件以及灰度不均勻性等因素對分割結(jié)果產(chǎn)生的影響。
在另一方面，本發(fā)明還提供一種用于疲勞檢測的嘴唇圖像分割系統(tǒng)，
如圖7所示，包括
用于利用圖像顏色信息建立臉部和嘴唇的高斯模型的建模模塊；用于對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域的粗定位模塊；及用于使用種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化的精
細分割模塊。
本發(fā)明系統(tǒng)的多種實施例均可參考前述方法的內(nèi)容來具體實施，此處不再贅述。
以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應(yīng)當視為屬于本發(fā)明的保護范圍。
權(quán)利要求
1.一種用于疲勞檢測的嘴唇圖像分割方法，其特征在于，包括以下步驟A1、利用圖像的顏色信息建立臉部和嘴唇的高斯模型；B1、對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域；及C1、使用所述種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化而獲取嘴唇的邊界。
2. 如權(quán)利要求1所述的嘴唇圖像分割方法，其特征在于，所述步驟 Cl包括進行圖像增強處理以增大嘴唇與周圍區(qū)域之間的對比度。
3. 如權(quán)利要求1所述的嘴唇圖像分割方法，其特征在于，所述步驟 Cl中所述對水平集函數(shù)進行演化為求其收斂解，并將所獲得的零水平集曲 線作為嘴唇的邊界。
4. 如權(quán)利要求3所述的嘴唇圖像分割方法，其特征在于，每對所述 水平集函數(shù)進行一次演化后，在當前分割區(qū)域的基礎(chǔ)上對圖像進行一次分 段線性對比度增強處理，二者交替迭代進行，直到得到所述收斂解。
5. 如權(quán)利要求1所述的嘴唇圖像分割方法，其特征在于，所述步驟 Cl包括以下子步驟Cll、將彩色圖像轉(zhuǎn)化為灰度圖像，灰階為0 255; C12、構(gòu)造自適應(yīng)對比度圖像能量函數(shù)，得到自適應(yīng)對比度水平集函 數(shù)；及C13、使用梯度下降法求解函數(shù)極值。
6. 如權(quán)利要求1至5中任一項所述的嘴唇圖像分割方法，其特征在 于，所述步驟A1中，使用歸一化的顏色空間，對臉部和嘴唇的rgb空間中 的r和g分量進行建模，所述歸一化的過程如下-<formula>formula see original document page 2</formula>其中，R、 G、 B分別是指原始RGB顏色空間中紅色、綠色、藍色顏色
7. 如權(quán)利要求1至5中任一項所述的嘴唇圖像分割方法，其特征在于,所述步驟Bl包括以卞子步驟Bll、根據(jù)已建立的臉部和嘴唇高斯模型，對圖像中的像素進行標示， 并將鄰近的分散像素或者區(qū)域連接成大的連通域；B12、選擇兩個合適的矩形，使其分別包含大多數(shù)的被標示的臉部、 嘴唇像素；及B13、判斷是否滿足下述限制條件j，lip <0.125x^e"fare ，其中Jrn^e和Ae 分別代表臉部和嘴唇矩形的面積，且0.2<^,<1.1，其中h和w分別為嘴唇矩形的高和寬，如果判斷為滿足，則將嘴唇矩形內(nèi)的連通域作為所述種子區(qū)域。
8. 如權(quán)利要求7所述的嘴唇圖像分割方法，其特征在于，所述步驟 B13中，如果判斷為不滿足，則首先進行腐蝕操作，再確定所述種子區(qū)域。
9. 如權(quán)利要求7所述的嘴唇圖像分割方法，其特征在于，所述步驟 Bll中，所述標示的規(guī)則如下-如果/^(x)〉0.55，則將x對應(yīng)像素標示為臉部像素，其中i^(x)為描述臉部顏色向量分布的聯(lián)合概率密度；如果i^(x)>0.55iPfaee(x)<0.001，則將X對應(yīng)像素標示為嘴唇像素，其中，AJx)為描述嘴唇顏色向量分布的聯(lián)合概率密度；及 將其余像素則標示為背景像素。
10. —種嘴唇圖像分割系統(tǒng)，其特征在于，包括 用于利用圖像顏色信息建立臉部和嘴唇的高斯模型的建模模塊； 用于對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域的粗定位模塊；及 用于使用種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化的精細分割模塊。
全文摘要
本發(fā)明公開了一種用于疲勞檢測的嘴唇圖像分割方法，包括以下步驟A1.利用圖像的顏色信息建立臉部和嘴唇的高斯模型；B1.對嘴唇進行粗定位，確定嘴唇分割的種子區(qū)域；及C1.使用種子區(qū)域初始化水平集函數(shù)，并對水平集函數(shù)進行演化而獲取嘴唇的邊界。公開了一種用于疲勞檢測的嘴唇圖像分割系統(tǒng)。本發(fā)明能夠克服不同光照條件以及個體差異的影響而獲得出精確的嘴唇輪廓，實時檢測效率高，提高了檢測的準確率和實用性，并大大降低了檢測成本。
文檔編號G06T7/00GK101604446SQ20091010870
公開日2009年12月16日 申請日期2009年7月3日 優(yōu)先權(quán)日2009年7月3日
發(fā)明者添 關(guān), 段儕杰, 珍 田, 袁克虹 申請人:清華大學深圳研究生院