識(shí)別駕駛員打手機(jī)行為的方法和裝置的制造方法
【專利摘要】本發(fā)明公開(kāi)了一種識(shí)別駕駛員打手機(jī)行為的方法和裝置，包括采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域；對(duì)人臉區(qū)域進(jìn)行矯正；訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集；利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。本發(fā)明可大大降低執(zhí)法難度，提高執(zhí)法效率，有效地避免因駕駛員行車途中由于違法行為造成的交通事故。
【專利說(shuō)明】
識(shí)別駕駛員打手機(jī)行為的方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于智能交通技術(shù)領(lǐng)域，具體涉及到一種識(shí)別駕駛員在行車途中打手機(jī)行為的方法和裝置。
【背景技術(shù)】
[0002]智能交通系統(tǒng)是未來(lái)交通系統(tǒng)的發(fā)展方向，也是目前世界交通運(yùn)輸領(lǐng)域的前沿研究課題。隨著計(jì)算機(jī)視覺(jué)技術(shù)、嵌入式技術(shù)、網(wǎng)絡(luò)通信技術(shù)的發(fā)展，研究車輛違章行為自動(dòng)檢測(cè)系統(tǒng)已經(jīng)成為當(dāng)前智能交通中的一個(gè)研究熱點(diǎn)。作為保障司機(jī)安全駕駛和降低交通事故中死傷率的一項(xiàng)重要措施，交管部門嚴(yán)格要求汽車司機(jī)在行駛過(guò)程中禁用手機(jī)。

【發(fā)明內(nèi)容】

[0003]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提出一種識(shí)別駕駛員打手機(jī)行為的方法和裝置，以提高對(duì)行車途中駕駛員打手機(jī)行為的智能化識(shí)別，從而保障司機(jī)安全駕駛和降低交通事故中死傷率。
[0004]為實(shí)現(xiàn)上述目的，本發(fā)明提供的識(shí)別駕駛員打手機(jī)行為的方法包括:
[0005]采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域；
[0006]對(duì)人臉區(qū)域進(jìn)行矯正；
[0007]訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集；
[0008]利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。
[0009]在本發(fā)明的一些實(shí)施例中，在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。
[0010]在本發(fā)明的一些實(shí)施例中，所述對(duì)人臉區(qū)域進(jìn)行矯正的步驟包括:
[0011]根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)；
[0012]將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0013]將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0014]將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0015]在本發(fā)明的一些實(shí)施例中，所述訓(xùn)練分類模型的步驟包括:
[0016]分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集。
[0017]在本發(fā)明的一些實(shí)施例中，所述利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為，的步驟包括:
[0018]通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為;若不匹配，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。
[0019]本發(fā)明還提供一種識(shí)別駕駛員打手機(jī)行為的裝置，包括:
[0020]定位模塊，用于采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域；
[0021 ]矯正模塊，用于對(duì)人臉區(qū)域進(jìn)行矯正；
[0022]訓(xùn)練模塊，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集；
[0023]識(shí)別模塊，用于利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。
[0024]在本發(fā)明的一些實(shí)施例中，所述定位模塊，還用于在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。
[0025]在本發(fā)明的一些實(shí)施例中，所述矯正模塊包括:
[0026]姿態(tài)估計(jì)模塊，用于根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)；
[0027]映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0028]旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0029]人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0030]在本發(fā)明的一些實(shí)施例中，所述訓(xùn)練模塊用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集。
[0031]在本發(fā)明的一些實(shí)施例中，所述識(shí)別模塊用于通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為;若不匹配，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。
[0032]發(fā)明提出了一種基于人臉檢測(cè)的識(shí)別駕駛員打手機(jī)行為的方法和裝置，主要應(yīng)用了數(shù)字圖像處理技術(shù)、模式識(shí)別技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等來(lái)獲取、處理、解釋、識(shí)別拍攝圖像中的駕駛員是否存在違規(guī)接打手機(jī)的行為，對(duì)于那些輕視交通法規(guī)和安全意識(shí)淡薄的駕駛員，可以在很大程度上起到提醒和警告作用，在保證安全駕駛的同時(shí)提高駕駛員遵守交通法規(guī)的意識(shí)。因此該發(fā)明具有廣闊的應(yīng)用前景，且能填補(bǔ)該領(lǐng)域的技術(shù)空白。
【附圖說(shuō)明】
[0033]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明，其中:
[0034]圖1為本發(fā)明實(shí)施例的識(shí)別駕駛員打手機(jī)行為的方法的流程示意圖；
[0035]圖2為本發(fā)明實(shí)施例的打手機(jī)和未打手機(jī)兩種不同行為姿態(tài)的圖像在特征空間上的區(qū)分圖；
[0036]圖3為本發(fā)明實(shí)施例的識(shí)別駕駛員打手機(jī)行為的圖片；
[0037]圖4為本發(fā)明實(shí)施例的識(shí)別駕駛員打手機(jī)行為的裝置的功能模塊示意圖。
【具體實(shí)施方式】
[0038]以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0039]參考圖1，示出了本發(fā)明一個(gè)實(shí)施例的識(shí)別駕駛員打手機(jī)行為的方法的流程示意圖，具體可以包括以下步驟:
[0040]步驟101，采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域。
[0041]該步驟將駕駛員人臉的大致位置從復(fù)雜的背景中提取并識(shí)別出來(lái)，即從圖像中找到駕駛員人臉的具體位置。一般地，車內(nèi)裝有攝像頭，由于將攝像頭安裝在車內(nèi)的前擋風(fēng)玻璃上，通過(guò)車內(nèi)安裝的攝像頭對(duì)駕駛員座椅區(qū)域進(jìn)行圖像采集，可以很清晰的拍攝到司機(jī)的行為，且不需其他電子器件輔助，不會(huì)影響到司機(jī)的正常行車。
[0042]優(yōu)選地，在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。人體膚色在圖像中的像素值處于一定的范圍，駕駛艙內(nèi)駕駛員的臉和手的區(qū)域由于符合人體膚色模型，在一定程度上有別于其他的干擾區(qū)域。
[0043]具體地，本發(fā)明先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理:采用5*5高斯加權(quán)濾波器掃描圖像中的每一個(gè)像素，更改其像素值為其本身和其5*5領(lǐng)域內(nèi)的其他像素值的加權(quán)平均值，圖像平滑對(duì)點(diǎn)狀噪聲和干擾脈沖具有良好的抑制作用;再利用人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理;掃描圖像中的每一個(gè)像素點(diǎn)，對(duì)符合和不符合人體膚色模型的像素點(diǎn)分別進(jìn)行處理，拉伸人臉和非人臉區(qū)域的對(duì)比度，以使人臉部件模型能夠準(zhǔn)確獲取圖像中的人臉區(qū)域。可見(jiàn)，對(duì)駕駛艙內(nèi)攝像頭采集到的圖像進(jìn)行上述預(yù)處理(平滑處理和增強(qiáng)處理)極大地提高人臉定位的準(zhǔn)確度。
[0044]需要說(shuō)明的是，由于車輛使用環(huán)境較為復(fù)雜，尤其是車輛內(nèi)部光線環(huán)境變化很大，利用照度儀經(jīng)過(guò)多天實(shí)驗(yàn)測(cè)得駕駛艙內(nèi)正常光照強(qiáng)度范圍在100-200001x(勒克斯)，為了保證獲取準(zhǔn)確性，本發(fā)明選擇代表大多數(shù)情況的普通光照條件下的駕駛艙圖像進(jìn)行處理，而完全黑暗或者陽(yáng)光曝曬的極端情況不作考慮。
[0045]由于人臉結(jié)構(gòu)的特殊性，本發(fā)明采用基于人臉部件模型的方法即變形部件模型(DPM)算法對(duì)圖像中的人臉進(jìn)行檢測(cè)定位。人臉區(qū)域由左眼、右眼、鼻子和嘴巴構(gòu)成，每個(gè)部件有自己獨(dú)特的特征，并且各部件在人臉上的位置分布相對(duì)固定，在位置空間上存在一定的表觀約束。定位到某一個(gè)可信度較大的部件，即可對(duì)其他未定位到的部件進(jìn)行假設(shè)和估計(jì)。所述人臉部件包括眼睛、鼻子嘴巴中的至少一種。人臉區(qū)域較為顯著的是眼睛、鼻子、嘴巴，采用這些人臉部件組合成的人臉部件模型用來(lái)檢測(cè)人臉已經(jīng)能達(dá)到項(xiàng)目檢測(cè)率和檢測(cè)精度的要求。
[0046]首先使用大量的標(biāo)準(zhǔn)人臉圖像，標(biāo)注每一張人臉的眼睛、鼻子、嘴巴等位置大小信息，提取各部件及整個(gè)人臉的hog、Ibp等特征參數(shù)，對(duì)人臉進(jìn)行描述，利用所述特征參數(shù)，可快速地在平面圖像中定位人臉，建立人臉部件模型。具體地，采用可變形部件模型(DPM)算法，根據(jù)人臉部件特征，分別訓(xùn)練分類器，再組合成一個(gè)人臉部件模型，該模型能精準(zhǔn)有效地定位到人臉區(qū)域。本發(fā)明引入人臉部件模型的目的是從做過(guò)平滑等預(yù)處理的圖片中精確定位出人臉區(qū)域。
[0047]采用人臉部件模型對(duì)所述人臉區(qū)域進(jìn)行在二維平面坐標(biāo)上的人臉部件的定位，由于人臉部件具有相互的空間約束，對(duì)于人臉不完整的情況，如駕駛員帶墨鏡、口罩、90度側(cè)臉，該方法有更好的魯棒性，能夠?qū)崿F(xiàn)對(duì)人臉部件的精確定位，從而準(zhǔn)確定位圖像中的人臉區(qū)域。
[0048]步驟102，對(duì)人臉區(qū)域進(jìn)行矯正。
[0049]針對(duì)監(jiān)控場(chǎng)景中人臉的姿態(tài)可能存在較大的變化，在定位到人臉的二維平面坐標(biāo)的基礎(chǔ)上，需要精確定位人臉關(guān)鍵點(diǎn)(如眼睛、嘴巴等)的位置。因此，利用大量的人臉關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，可以準(zhǔn)確的提取人臉在不同姿態(tài)，不同表情等多種情況下的特征點(diǎn)，從而建立3D旋轉(zhuǎn)模型，以減少姿態(tài)對(duì)人臉部件定位的影響。
[0050]姿態(tài)是影響人臉定位、打手機(jī)識(shí)別關(guān)鍵因素，同一目標(biāo)在不同角度采集的人臉圖片，差異甚至大于不同目標(biāo)從同一角度采集的圖片，因此需要對(duì)圖片中的人臉姿態(tài)進(jìn)行校正。作為本發(fā)明的一個(gè)實(shí)施例，所述對(duì)人臉區(qū)域進(jìn)行矯正的步驟:通過(guò)人臉特征點(diǎn)位置，或模板匹配等方法，判斷人臉的朝向和角度大?。蝗缓蟾鶕?jù)估計(jì)的人臉形狀，矯正人臉的姿態(tài)。具體地，作為本發(fā)明的一個(gè)較佳實(shí)施例，所述矯正人臉姿態(tài)(例如將側(cè)臉變換到正臉)的步驟可以包括:
[0051]I)根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)，如正臉、左右角度以及上下角度等；
[0052]2)將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0053]3)將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0054]4)將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0055]該新角度的人臉圖片即為矯正后的人臉圖片。需要說(shuō)明的是，在3D矯正過(guò)程中提取到的特征點(diǎn)個(gè)數(shù)不限，可以是5個(gè)(鼻頭、眼睛、嘴角)，也可以是7個(gè)，9個(gè)，10個(gè)等(眉毛、下巴、鼻翼等等)更多的特征點(diǎn)。特征點(diǎn)個(gè)數(shù)根據(jù)項(xiàng)目需要選擇，精準(zhǔn)的特征點(diǎn)用于3D建模矯正，可將有角度的人臉姿態(tài)矯正過(guò)來(lái)。
[0056]步驟103，訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集。
[0057]分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集，所述分類模型用于區(qū)分駕駛員是否打手機(jī)。
[0058]步驟104，利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。所述待識(shí)別的圖像即為定位、矯正后的人臉區(qū)域圖像。
[0059]具體地，通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，說(shuō)明圖像中無(wú)打手機(jī)行為，若無(wú)法匹配，說(shuō)明可能存在打手機(jī)行為，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。
[0060]需要說(shuō)明的是，打手機(jī)和未打手機(jī)是兩種不同的行為姿態(tài)，預(yù)先訓(xùn)練兩種訓(xùn)練集，是為了學(xué)習(xí)得到一些權(quán)值參數(shù)(WWPWo)，使得兩種行為姿態(tài)的圖像在特征空間上可以區(qū)分，如圖2所示，圖中的直線為一個(gè)線性判別函數(shù)(discriminant funct1n)，是指由x的各個(gè)分量的線性組合而成的函數(shù)g(x) =wTx+wo，
[0061]如果g(x)>0，則判定X屬于Cl，
[0062]如果g(x)<0，則判定X屬于C2，
[0063]如果g(x)=0，則可以將X任意分到某一類或者拒絕判定。
[0064]判斷過(guò)程中，先將未知行為的圖像“翻譯”成特征，利用所述線性判別函數(shù)進(jìn)行判另IJ，并根據(jù)該特征到特征空間的距離得出一個(gè)得分(可信度)。在實(shí)際應(yīng)用中，由于行車過(guò)程中打手機(jī)行為為小概率事件，而且希望判別為是打手機(jī)行為的正確率高。因此，在實(shí)際應(yīng)用中識(shí)別為是打手機(jī)的但得分(可信度)低的，將其排除。未識(shí)別標(biāo)簽對(duì)于懲處違規(guī)行為并無(wú)太大意義，而將“打手機(jī)的但得分(可信度)低的情況”排除能保證是打手機(jī)行為的正確率，因此該判斷過(guò)程無(wú)未識(shí)別標(biāo)簽。
[0065]本發(fā)明可以通過(guò)車內(nèi)攝像頭采集駕駛員頭部及附近區(qū)域圖像，利用圖像處理技術(shù)和模型識(shí)別方法對(duì)駕駛員行為進(jìn)行檢測(cè)，還可以將其違規(guī)圖片拍攝下來(lái)聯(lián)網(wǎng)上傳到交通局的監(jiān)控中心，作為違規(guī)證據(jù)。
[0066]雖然本發(fā)明識(shí)別的是打手機(jī)行為，而實(shí)際上駕駛員行車途中單手或者雙手離開(kāi)方向盤行為均算作違規(guī)行為。如圖3所示，本發(fā)明對(duì)駕駛員的手在人臉附近這種行為識(shí)別均有效，打手機(jī)行為實(shí)為違規(guī)行為中的一種。揉眼睛、撓耳朵、對(duì)講機(jī)、抽煙等這些非打手機(jī)行為，目前均算作打手機(jī)行為。
[0067]本發(fā)明還提供一種識(shí)別駕駛員打手機(jī)行為的裝置的功能模塊示意圖，如圖4所示，所述包括:
[0068]定位模塊201，用于采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域；
[0069]矯正模塊202，用于對(duì)人臉區(qū)域進(jìn)行矯正；
[0070]訓(xùn)練模塊203，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集；
[0071 ]識(shí)別模塊204，用于利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。
[0072]人體膚色在圖像中的像素值處于一定的范圍，駕駛艙內(nèi)駕駛員的臉和手的區(qū)域由于符合人體膚色模型，在一定程度上有別于其他的干擾區(qū)域。作為本發(fā)明的又一個(gè)實(shí)施例，所述定位模塊201還用于在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。定位模塊201用于對(duì)駕駛艙內(nèi)攝像頭采集到的圖像進(jìn)行上述預(yù)處理(平滑處理和增強(qiáng)處理)極大地提高人臉定位的準(zhǔn)確度，具體如上述實(shí)施例所述。
[0073]針對(duì)監(jiān)控場(chǎng)景中人臉的姿態(tài)可能存在較大的變化，在定位到人臉的二維平面坐標(biāo)的基礎(chǔ)上，需要精確定位人臉關(guān)鍵點(diǎn)(如眼睛、嘴巴等)的位置。因此，利用大量的人臉關(guān)鍵點(diǎn)數(shù)據(jù)進(jìn)行訓(xùn)練和學(xué)習(xí)，可以準(zhǔn)確的提取人臉在不同姿態(tài)，不同表情等多種情況下的特征點(diǎn)，從而建立3D旋轉(zhuǎn)模型，以減少姿態(tài)對(duì)人臉部件定位的影響。在本發(fā)明的另一個(gè)實(shí)施例，所述矯正模塊202包括:
[0074]姿態(tài)估計(jì)模塊，用于根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)；
[0075]映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0076]旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0077]人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。具體如上述實(shí)施例所述。
[0078]在本發(fā)明的一個(gè)較佳實(shí)施例中，所述訓(xùn)練模塊203用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集。這些訓(xùn)練集用于后續(xù)的區(qū)分駕駛員是否打手機(jī)。
[0079]作為本發(fā)明的一個(gè)較佳實(shí)施例，所述識(shí)別模塊204用于通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為;若不匹配，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。
[0080]在判斷過(guò)程中，先將未知行為的圖像“翻譯”成特征，利用所述線性判別函數(shù)進(jìn)行判別，并根據(jù)該特征到特征空間的距離得出一個(gè)得分(可信度)。在實(shí)際應(yīng)用中，由于行車過(guò)程中打手機(jī)行為為小概率事件，而且希望判別為是打手機(jī)行為的正確率高。因此，在實(shí)際應(yīng)用中識(shí)別為是打手機(jī)的但得分(可信度)低的，將其排除。未識(shí)別標(biāo)簽對(duì)于懲處違規(guī)行為并無(wú)太大意義，而將“打手機(jī)的但得分(可信度)低的情況”排除能保證是打手機(jī)行為的正確率，因此該判斷過(guò)程無(wú)未識(shí)別標(biāo)簽。
[0081]本發(fā)明可以通過(guò)車內(nèi)攝像頭采集駕駛員頭部及附近區(qū)域圖像，利用圖像處理技術(shù)和模型識(shí)別方法對(duì)駕駛員行為進(jìn)行檢測(cè)。在本發(fā)明的另一個(gè)實(shí)施例中，所述識(shí)別駕駛員打手機(jī)行為的裝置還包括存儲(chǔ)模塊，用于將打手機(jī)行為的圖片存儲(chǔ)，還可以進(jìn)一步將所述存儲(chǔ)的圖片上傳到交通局的監(jiān)控中心，作為違規(guī)證據(jù)。
[0082]本發(fā)明提供的識(shí)別駕駛員打手機(jī)行為的方法和裝置可大大降低執(zhí)法難度，提高執(zhí)法效率，有效地避免因駕駛員行車途中由于違法行為造成的交通事故。本發(fā)明提供的基于人臉定位的識(shí)別駕駛員打手機(jī)行為的方法和裝置，由于檢測(cè)與識(shí)別過(guò)程簡(jiǎn)單易行，能較容易的推廣應(yīng)用到駕駛員疲勞駕駛、駕駛員違規(guī)抽煙、駕駛員未系安全帶等多種違規(guī)行為識(shí)別上，可作為駕駛員行為約束系統(tǒng)有效的保護(hù)裝置，對(duì)加強(qiáng)道路安全建設(shè)有很強(qiáng)的實(shí)用性。
[0083]顯然，上述實(shí)施例僅僅是為清楚地說(shuō)明所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在上述說(shuō)明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無(wú)需也無(wú)法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見(jiàn)的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。
【主權(quán)項(xiàng)】
1.一種識(shí)別駕駛員打手機(jī)行為的方法，其特征在于，包括: 采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域； 對(duì)人臉區(qū)域進(jìn)行矯正； 訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集； 利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。2.根據(jù)權(quán)利要求1所述的識(shí)別駕駛員打手機(jī)行為的方法，其特征在于，在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。3.根據(jù)權(quán)利要求1所述的識(shí)別駕駛員打手機(jī)行為的方法，其特征在于，所述對(duì)人臉區(qū)域進(jìn)行矯正的步驟包括: 根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)； 將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上； 將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)； 將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。4.根據(jù)權(quán)利要求1所述的識(shí)別駕駛員打手機(jī)行為的方法，其特征在于，所述訓(xùn)練分類模型的步驟包括: 分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集。5.根據(jù)權(quán)利要求1所述的識(shí)別駕駛員打手機(jī)行為的方法，其特征在于，所述利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為，的步驟包括: 通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為;若不匹配，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。6.一種識(shí)別駕駛員打手機(jī)行為的裝置，其特征在于，包括: 定位模塊，用于采集駕駛艙內(nèi)的視頻流，先通過(guò)高斯平滑對(duì)圖像進(jìn)行平滑處理，再通過(guò)人臉部件模型定位圖像中的人臉區(qū)域； 矯正模塊，用于對(duì)人臉區(qū)域進(jìn)行矯正； 訓(xùn)練模塊，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機(jī)訓(xùn)練集和未打手機(jī)訓(xùn)練集； 識(shí)別模塊，用于利用訓(xùn)練好的分類模型對(duì)待識(shí)別的圖像進(jìn)行識(shí)別，判斷待識(shí)別的圖像中是否有打手機(jī)行為。7.根據(jù)權(quán)利要求6所述的識(shí)別駕駛員打手機(jī)行為的裝置，其特征在于，所述定位模塊，還用于在平滑處理后，進(jìn)一步通過(guò)人體膚色模型對(duì)圖像進(jìn)行增強(qiáng)處理，增強(qiáng)符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對(duì)比度。8.根據(jù)權(quán)利要求6所述的識(shí)別駕駛員打手機(jī)行為的裝置，其特征在于，所述矯正模塊包括: 姿態(tài)估計(jì)模塊，用于根據(jù)計(jì)算的特征點(diǎn)位置，估計(jì)最可靠的人臉姿態(tài)； 映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上； 旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)； 人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。9.根據(jù)權(quán)利要求6所述的識(shí)別駕駛員打手機(jī)行為的裝置，其特征在于，所述訓(xùn)練模塊用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機(jī)的圖像作為打手機(jī)訓(xùn)練集，左、右手未打手機(jī)的圖像作為未打手機(jī)訓(xùn)練集。10.根據(jù)權(quán)利要求6所述的識(shí)別駕駛員打手機(jī)行為的裝置，其特征在于，所述識(shí)別模塊用于通過(guò)分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為;若不匹配，則繼續(xù)判斷圖像是否與打手機(jī)訓(xùn)練集訓(xùn)或者未打手機(jī)訓(xùn)練集匹配，若與打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中有打手機(jī)行為，若與未打手機(jī)訓(xùn)練集匹配，則判斷待識(shí)別的圖像中無(wú)打手機(jī)行為。
【文檔編號(hào)】G06K9/00GK105868690SQ201610137535
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月11日
【發(fā)明人】劉洋, 彭莉, 譙帥, 宋高飛, 張如高
【申請(qǐng)人】博康智能信息技術(shù)有限公司