本發(fā)明涉及圖像識(shí)別技術(shù)領(lǐng)域，特別涉及一種車(chē)窗檢測(cè)方法及裝置。

背景技術(shù)：

隨著社會(huì)的不斷發(fā)展，交通管控的任務(wù)越來(lái)越復(fù)雜，越來(lái)越繁重。為了更加準(zhǔn)確、高效地對(duì)交通進(jìn)行監(jiān)控和管理，智能交通監(jiān)控技術(shù)應(yīng)運(yùn)而生。根據(jù)智能交通監(jiān)控拍攝的圖像，可以準(zhǔn)確的識(shí)別其中的車(chē)輛信息，對(duì)車(chē)輛的違法、違規(guī)行為進(jìn)行監(jiān)控和管理。而有些監(jiān)控和管理操作需要針對(duì)圖像中車(chē)輛中的具體信息進(jìn)行，例如安全帶檢測(cè)、年檢標(biāo)識(shí)檢測(cè)、車(chē)前擺件檢測(cè)等問(wèn)題，此時(shí)就需要獲取車(chē)輛中的具體信息了，一般通過(guò)檢測(cè)出來(lái)車(chē)窗區(qū)域，獲取相應(yīng)的具體信息，因此車(chē)窗檢測(cè)是一個(gè)比較重要的研究方向。

目前，在圖像中進(jìn)行車(chē)窗檢測(cè)時(shí)，主要包括：基于顏色差異的車(chē)窗檢測(cè)方法和基于直線特性的車(chē)窗檢測(cè)方法。

其中基于顏色差異的車(chē)窗檢測(cè)方法，是基于玻璃的透光性和吸光性的，圖像中玻璃所在區(qū)域的大部分像素點(diǎn)的飽和度和亮度都比較低，利用車(chē)窗和車(chē)身的顏色特征可以實(shí)現(xiàn)車(chē)窗區(qū)域的檢測(cè)。但是該方法需要圖像中車(chē)身和車(chē)窗的顏色特征有明顯的區(qū)別，當(dāng)車(chē)身顏色和車(chē)窗顏色特征差異不大時(shí)，檢測(cè)效果不好。

基于直線特性的車(chē)窗檢測(cè)方法中，首先需要在圖像中進(jìn)行水平邊緣檢測(cè)，并結(jié)合hough變換進(jìn)行直線連接，并檢測(cè)車(chē)窗的上下水平邊界，其次，運(yùn)用數(shù)學(xué)形態(tài)學(xué)去除小的短枝，再結(jié)合積分投影方法檢測(cè)車(chē)窗兩側(cè)邊界，從而確定車(chē)窗區(qū)域。該方法因受遮擋、光照、幾何形變等影響較大，魯棒性不強(qiáng)，并且當(dāng)圖像因天氣原因車(chē)窗邊界不明顯時(shí)，或者車(chē)輛發(fā)生傾斜時(shí)，很容易造成誤檢和漏檢。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例公開(kāi)了一種車(chē)窗檢測(cè)方法及裝置，用以提高車(chē)窗檢測(cè)的準(zhǔn)確性及魯棒性。

為達(dá)到上述目的，本發(fā)明實(shí)施例公開(kāi)了一種車(chē)窗檢測(cè)方法，應(yīng)用于電子設(shè)備，所述方法包括：

接收標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，確定所述車(chē)窗區(qū)域的特征金字塔；

采用訓(xùn)練完成的可變形部件混合模型，對(duì)所述特征金字塔進(jìn)行評(píng)分，其中所述可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和；

當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。

進(jìn)一步地，當(dāng)所述評(píng)分值不大于設(shè)定的第一閾值時(shí)，確定所述圖像中不存在車(chē)窗區(qū)域。

進(jìn)一步地，所述根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域包括：

將所述根位置作為左上角的頂點(diǎn)，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車(chē)窗區(qū)域。

進(jìn)一步地，確定所述可變形部件混合模型的過(guò)程包括：

針對(duì)每種類(lèi)型的車(chē)輛，識(shí)別樣本圖像集中該類(lèi)型的車(chē)輛對(duì)應(yīng)的樣本圖像，根據(jù)識(shí)別到的樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練；

根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型；

將所述相應(yīng)數(shù)量個(gè)可變形部件模型根濾波器的最大值，及對(duì)應(yīng)的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

進(jìn)一步地，所述對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練包括：

根據(jù)第一個(gè)樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，確定根濾波器；

針對(duì)每個(gè)其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對(duì)當(dāng)前樣本圖像進(jìn)行評(píng)分，根據(jù)根濾波器的評(píng)分最大值及所述根濾波器的大小，對(duì)所述當(dāng)前圖像中標(biāo)記的待檢的車(chē)窗區(qū)域進(jìn)行更新，并根據(jù)更新后的待檢的車(chē)窗區(qū)域，確定所述根濾波器及部件濾波器。

進(jìn)一步地，所述根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型包括：

根據(jù)所述預(yù)設(shè)的數(shù)量閾值，針對(duì)每個(gè)待選的可變形部件模型中部件濾波器與根濾波器的相對(duì)位移，選擇相應(yīng)數(shù)量個(gè)可變形部件模型，其中被選中的可變形部件模型中相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小。

進(jìn)一步地，所述可變形混合模型中所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值和每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的每個(gè)第二權(quán)值為1；或

所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值相等，每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的第二權(quán)值相等。

進(jìn)一步地，第一權(quán)值和每個(gè)第二權(quán)值的確定過(guò)程包括：

選擇任意一個(gè)可變形部件模型作為目標(biāo)可變形部件模型；

采用所述目標(biāo)可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用所述目標(biāo)可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；

針對(duì)根濾波器，根據(jù)所述每個(gè)第一評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定第一權(quán)值，針對(duì)每個(gè)部件濾波器，根據(jù)該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

進(jìn)一步地，第一權(quán)值和每個(gè)第二權(quán)值的確定過(guò)程包括：

針對(duì)選擇的每個(gè)可變形部件模型，采用該可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用該可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；

根據(jù)針對(duì)選擇的每個(gè)可變形部件模型的每個(gè)第一評(píng)分的和，及每個(gè)第一評(píng)分和每個(gè)第二評(píng)分的和，確定第一權(quán)值，并針對(duì)每個(gè)部件濾波器，根據(jù)選擇的每個(gè)可變形部件模型的該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

進(jìn)一步地，所述方法還包括：

在檢測(cè)到的車(chē)窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車(chē)窗區(qū)域中的駕駛員候選區(qū)域；

在所述駕駛員候選區(qū)域中，采用預(yù)先訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

進(jìn)一步地，所述卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

在樣本圖像集的駕駛員候選區(qū)域中，采用相應(yīng)的檢測(cè)模型，檢測(cè)駕駛員所在的位置；

根據(jù)每個(gè)樣本圖像集檢測(cè)到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

本發(fā)明實(shí)施例公開(kāi)了一種車(chē)窗檢測(cè)裝置，所述裝置包括：

確定模塊，用于接收標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，確定所述車(chē)窗區(qū)域的特征金字塔；

評(píng)分模塊，用于采用訓(xùn)練完成的可變形部件混合模型，對(duì)所述特征金字塔進(jìn)行評(píng)分，其中所述可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和；

檢測(cè)模塊，用于當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。

進(jìn)一步地，所述檢測(cè)模塊，還用于當(dāng)所述評(píng)分值不大于設(shè)定的第一閾值時(shí)，確定所述圖像中不存在車(chē)窗區(qū)域。

進(jìn)一步地，所述檢測(cè)模塊，具體用于將所述根位置作為左上角的頂點(diǎn)，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車(chē)窗區(qū)域。

進(jìn)一步地，所述裝置還包括：

訓(xùn)練模塊，用于針對(duì)每種類(lèi)型的車(chē)輛，識(shí)別樣本圖像集中該類(lèi)型的車(chē)輛對(duì)應(yīng)的樣本圖像，根據(jù)識(shí)別到的樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練；根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型；將所述相應(yīng)數(shù)量個(gè)可變形部件模型根濾波器的最大值，及對(duì)應(yīng)的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

進(jìn)一步地，所述訓(xùn)練模塊，具體用于根據(jù)第一個(gè)樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，確定根濾波器；針對(duì)每個(gè)其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對(duì)當(dāng)前樣本圖像進(jìn)行評(píng)分，根據(jù)根濾波器的評(píng)分最大值及所述根濾波器的大小，對(duì)所述當(dāng)前圖像中標(biāo)記的待檢的車(chē)窗區(qū)域進(jìn)行更新，并根據(jù)更新后的待檢的車(chē)窗區(qū)域，確定所述根濾波器及部件濾波器。

進(jìn)一步地，所述訓(xùn)練模塊，具體用于根據(jù)所述預(yù)設(shè)的數(shù)量閾值，針對(duì)每個(gè)待選的可變形部件模型中部件濾波器與根濾波器的相對(duì)位移，選擇相應(yīng)數(shù)量個(gè)可變形部件模型，其中被選中的可變形部件模型中相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小。

進(jìn)一步地，所述訓(xùn)練模塊，具體用于將所述可變形混合模型中所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值和每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的每個(gè)第二權(quán)值確定為1；或確定所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值相等，每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的第二權(quán)值相等。

進(jìn)一步地，所述訓(xùn)練模塊，具體用于選擇任意一個(gè)可變形部件模型作為目標(biāo)可變形部件模型；采用所述目標(biāo)可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用所述目標(biāo)可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；針對(duì)根濾波器，根據(jù)所述每個(gè)第一評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定第一權(quán)值，針對(duì)每個(gè)部件濾波器，根據(jù)該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

進(jìn)一步地，所述訓(xùn)練模塊，具體用于針對(duì)選擇的每個(gè)可變形部件模型，采用該可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用該可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；根據(jù)針對(duì)選擇的每個(gè)可變形部件模型的每個(gè)第一評(píng)分的和，及每個(gè)第一評(píng)分和每個(gè)第二評(píng)分的和，確定第一權(quán)值，并針對(duì)每個(gè)部件濾波器，根據(jù)選擇的每個(gè)可變形部件模型的該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

進(jìn)一步地，所述裝置還包括：

識(shí)別模塊，用于在檢測(cè)到的車(chē)窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車(chē)窗區(qū)域中的駕駛員候選區(qū)域；在所述駕駛員候選區(qū)域中，采用預(yù)先訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

進(jìn)一步地，所述裝置還包括：

訓(xùn)練模塊，用于在樣本圖像集的駕駛員候選區(qū)域中，采用相應(yīng)的檢測(cè)模型，檢測(cè)駕駛員所在的位置；根據(jù)每個(gè)樣本圖像集檢測(cè)到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

本發(fā)明實(shí)施例提供了一種車(chē)窗檢測(cè)方法及裝置，該方法中當(dāng)接收到標(biāo)記有待檢的車(chē)窗區(qū)域的圖像后，計(jì)算該車(chē)窗區(qū)域的特征金字塔，并采用訓(xùn)練完成的可變形部件混合模型，對(duì)特征金字塔進(jìn)行評(píng)分，其中該可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型的根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和，當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。由于本發(fā)明實(shí)施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個(gè)可變形部件模型的加權(quán)和，而可變形部件混合模型對(duì)于圖像的變形、光照變化、車(chē)身顏色變化等不太敏感，對(duì)部分遮擋有較強(qiáng)的處理能力，因此可以提高車(chē)窗區(qū)域的檢測(cè)的準(zhǔn)確性和魯棒性。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種車(chē)窗檢測(cè)過(guò)程示意圖；

圖2A-圖2C為本發(fā)明實(shí)施例提供的標(biāo)記有待檢的車(chē)窗區(qū)域的圖像；

圖3為本發(fā)明實(shí)施例提供的確定可變形部件混合模型的過(guò)程；

圖4A為本發(fā)明實(shí)施例提供的卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖4B為本發(fā)明實(shí)施例提供的一種車(chē)窗檢測(cè)裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了提高圖像中車(chē)窗檢測(cè)的準(zhǔn)確性及魯棒性，本發(fā)明實(shí)施例提供了一種車(chē)窗檢測(cè)方法及裝置。

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

圖1為本發(fā)明實(shí)施例提供的一種車(chē)窗檢測(cè)過(guò)程示意圖，該過(guò)程包括以下步驟：

S101：接收標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，提取所述車(chē)窗區(qū)域的特征金字塔。

本發(fā)明實(shí)施例應(yīng)用于電子設(shè)備，具體的該電子設(shè)備可以是臺(tái)式機(jī)、筆記本、其他具有處理能力的智能設(shè)備等。

在對(duì)圖像進(jìn)行車(chē)窗檢測(cè)時(shí)，首先在圖像中標(biāo)記待檢的車(chē)窗區(qū)域，具體可以采用矩形框進(jìn)行標(biāo)記，該矩形框的大小可以不受限制。對(duì)車(chē)窗區(qū)域進(jìn)行標(biāo)記，可以是采用現(xiàn)有技術(shù)的方式，例如可以根據(jù)圖像中車(chē)牌的位置，以及車(chē)輛的類(lèi)型，在車(chē)牌上方以一定車(chē)牌比例估計(jì)進(jìn)行標(biāo)記的車(chē)窗區(qū)域。

圖2A-圖2C為本發(fā)明實(shí)施例提供的標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，具體的，當(dāng)車(chē)輛為小轎車(chē)時(shí)如圖2A所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.2倍～3.5倍車(chē)牌長(zhǎng)度，當(dāng)車(chē)輛為貨車(chē)時(shí)如圖2B所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.8倍～5.5倍車(chē)牌長(zhǎng)度，當(dāng)車(chē)輛為大客車(chē)時(shí)如圖2C所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.5倍～7.5倍車(chē)牌長(zhǎng)度，對(duì)于圖像中無(wú)車(chē)牌的車(chē)輛，則將整車(chē)區(qū)域進(jìn)行標(biāo)記，即將整車(chē)區(qū)域標(biāo)記為車(chē)窗區(qū)域。

當(dāng)然在對(duì)圖像中待檢的車(chē)窗區(qū)域進(jìn)行標(biāo)記時(shí)，也可以采用其他方法，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。

針對(duì)標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，通過(guò)平滑和下采樣處理得到該車(chē)窗區(qū)域的圖像金字塔，然后計(jì)算該圖像金字塔中每層圖像的所有特征，確定該車(chē)窗區(qū)域的特征金字塔，特征金字塔中每一層的最小單位是細(xì)胞單元(cell)。具體的，確定該車(chē)窗區(qū)域的特征金字塔的過(guò)程屬于現(xiàn)有技術(shù)，本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。

S102：采用訓(xùn)練完成的可變形部件混合模型，對(duì)所述特征金字塔進(jìn)行評(píng)分，其中所述可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和。

在本發(fā)明實(shí)施例中采用可變形部件混合模型檢測(cè)圖像中的車(chē)窗區(qū)域，具體的，該可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和。可變形部件混合模型中每個(gè)可變形部件模型中根濾波器和對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的權(quán)值可以相同，也可以不同。在本發(fā)明實(shí)施例中為了便于區(qū)分，將根濾波器對(duì)應(yīng)的權(quán)值稱為第一權(quán)值，將每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的權(quán)值統(tǒng)稱為第二權(quán)重。

其中，根據(jù)可變形部件混合模型，對(duì)特征金字塔中每層圖像進(jìn)行評(píng)分的過(guò)程屬于現(xiàn)有技術(shù)，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。

S103：當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。

由于本發(fā)明實(shí)施例中的可變形部件混合模型為至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和，因此該可變形部件混合模型的根濾波器的評(píng)分值，即為該至少兩個(gè)可變形部件模型中根濾波器的最大評(píng)分值。當(dāng)該評(píng)分值大于設(shè)定的第一閾值時(shí)，進(jìn)一步判斷該可變形部件混合模型的總評(píng)分值是否大于設(shè)定的第二閾值，如果大于，則在該圖像中確定車(chē)窗區(qū)域。

當(dāng)該評(píng)分值不大于設(shè)定的第一閾值時(shí)，確定圖像中不存在車(chē)窗區(qū)域。一般在圖像中進(jìn)行車(chē)窗區(qū)域的標(biāo)記，是根據(jù)車(chē)窗區(qū)域的某種特征進(jìn)行的，采用該特征標(biāo)記的車(chē)窗區(qū)域，為圖像中存在車(chē)窗位置概率最大的位置，因此如果評(píng)分值不大于設(shè)定的第一閾值，可以認(rèn)為該圖像中不存在車(chē)窗區(qū)域。

由于本發(fā)明實(shí)施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個(gè)可變形部件模型的加權(quán)和，而可變形部件混合模型對(duì)于圖像的變形、光照變化、車(chē)身顏色變化等不太敏感，對(duì)部分遮擋有較強(qiáng)的處理能力，因此可以提高車(chē)窗區(qū)域的檢測(cè)的準(zhǔn)確性和魯棒性。

本發(fā)明實(shí)施例中為了提高對(duì)圖像中車(chē)窗檢測(cè)的準(zhǔn)確性及魯棒性，并能夠針對(duì)任何圖像進(jìn)行檢測(cè)，采用了可變形部件模型。可變形部件模型可以綜合考慮目標(biāo)的整體信息、各部分的表象信息和空間關(guān)系，可以提取到比基于整體的方法更加豐富的信息，對(duì)于圖像中的變形、光照變化、車(chē)身顏色等變化不太敏感，對(duì)于部分遮擋具有較強(qiáng)的處理能力。

另外，本發(fā)明實(shí)施例為了實(shí)現(xiàn)對(duì)各種車(chē)型、各種類(lèi)型的車(chē)窗進(jìn)行檢測(cè)，根據(jù)對(duì)不同類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，將訓(xùn)練完成的至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和，確定為可變形部件混合模型，從而實(shí)現(xiàn)對(duì)不同類(lèi)型的車(chē)輛的車(chē)窗的檢測(cè)，達(dá)到較好的綜合檢測(cè)效果。

圖3為本發(fā)明實(shí)施例提供的確定可變形部件混合模型的過(guò)程，該過(guò)程包括以下步驟：

S301：針對(duì)每種類(lèi)型的車(chē)輛，識(shí)別樣本圖像集中該類(lèi)型的車(chē)輛對(duì)應(yīng)的樣本圖像，根據(jù)識(shí)別到的樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練。

本發(fā)明實(shí)施例中在對(duì)可變形部件模型進(jìn)行訓(xùn)練時(shí)，是針對(duì)不同的車(chē)型分別進(jìn)行的訓(xùn)練，這是因?yàn)椴煌?lèi)型的車(chē)輛的車(chē)窗區(qū)別還是比較大的。具體的，在本發(fā)明實(shí)施例中可以將車(chē)型按照小轎車(chē)、大客車(chē)、貨車(chē)等進(jìn)行分類(lèi)，在進(jìn)行訓(xùn)練時(shí)，針對(duì)不同的類(lèi)型的車(chē)輛訓(xùn)練至少一個(gè)可變形部件模型。

樣本圖像集為負(fù)樣本圖像和各種類(lèi)型的車(chē)輛對(duì)應(yīng)的樣本圖像的集合，負(fù)樣本圖像即不包含車(chē)窗的圖像，在訓(xùn)練可變形部件模型時(shí)，為了提高可變形部件模型檢車(chē)的準(zhǔn)確性，還需要準(zhǔn)備些負(fù)樣本圖像。

針對(duì)樣本圖像集中的樣本圖像和負(fù)樣本圖像，對(duì)圖像中的待檢的車(chē)窗區(qū)域進(jìn)行標(biāo)記，標(biāo)記時(shí)，與上述實(shí)施例中描述的標(biāo)記方法相同。具體的，當(dāng)車(chē)輛為小轎車(chē)時(shí)如圖2A所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.2倍～3.5倍車(chē)牌長(zhǎng)度，當(dāng)車(chē)輛為貨車(chē)時(shí)如圖2B所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.8倍～5.5倍車(chē)牌長(zhǎng)度，當(dāng)車(chē)輛為大客車(chē)時(shí)如圖2C所示，在圖像中標(biāo)記的車(chē)窗區(qū)域?yàn)?.5倍～7.5倍車(chē)牌長(zhǎng)度，對(duì)于圖像中無(wú)車(chē)牌的車(chē)輛，則將整車(chē)區(qū)域進(jìn)行標(biāo)記，即將整車(chē)區(qū)域標(biāo)記為車(chē)窗區(qū)域。當(dāng)然在對(duì)圖像中待檢的車(chē)窗區(qū)域進(jìn)行標(biāo)記時(shí)，也可以采用其他方法，只要可變形部件模型訓(xùn)練時(shí)與車(chē)窗檢測(cè)時(shí)，采用相同的標(biāo)記方法即可，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。

根據(jù)標(biāo)記有待檢的車(chē)窗區(qū)域的樣本圖像，即可針對(duì)每種類(lèi)型的可變形部件模型進(jìn)行訓(xùn)練，具體的針對(duì)可變形部件模型進(jìn)行訓(xùn)練的過(guò)程屬于現(xiàn)有技術(shù)，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。

S302：根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型。

當(dāng)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練完成至少一個(gè)可變形部件模型后，在生成可變形部件混合模型時(shí)，訓(xùn)練完成的所有可變形部件模型都可以用來(lái)確定可變形部件混合模型。但為了減少計(jì)算量，提高檢測(cè)的效率，在本發(fā)明實(shí)施例中可以預(yù)設(shè)數(shù)量閾值，當(dāng)訓(xùn)練完成的可變形部件模型的數(shù)量大于該預(yù)設(shè)的數(shù)量閾值時(shí)，在訓(xùn)練完成的可變形部件模型中進(jìn)行選擇，選擇該數(shù)量閾值對(duì)應(yīng)的數(shù)量的可變形部件模型，根據(jù)選擇的可變形部件模型生成可變形部件混合模型。當(dāng)訓(xùn)練完成的所有可變形部件模型的數(shù)量不大于該設(shè)定的數(shù)量閾值時(shí)，根據(jù)訓(xùn)練完成的所有可變形部件模型生成可變形部件混合模型。

具體在進(jìn)行選擇時(shí)，可以任意選擇，例如按照訓(xùn)練完成的可變形部件模型的序號(hào)選擇，例如預(yù)設(shè)的數(shù)量閾值為3，訓(xùn)練完成的可變形部件模型的序號(hào)分別為1-6，則可以選擇序號(hào)為1-3的可變形部件模型，或者選擇序號(hào)為奇數(shù)的可變形部件模型，或者選擇序號(hào)為偶數(shù)的可變形部件模型，或者按照其他的規(guī)則隨便選擇。

當(dāng)然在選擇時(shí)，因?yàn)榭勺冃尾考Ｐ褪轻槍?duì)每種類(lèi)型的車(chē)輛訓(xùn)練的，因此在進(jìn)行選擇時(shí)，也可以考慮車(chē)輛類(lèi)型的信息，選擇的可變形部件模型盡量覆蓋每張類(lèi)型的車(chē)輛。還以上例進(jìn)行說(shuō)明，預(yù)設(shè)的數(shù)量閾值為3，訓(xùn)練完成的可變形部件模型的序號(hào)分別為1-6，其中，序號(hào)1、2的可變形部件模型是針對(duì)小轎車(chē)訓(xùn)練完成的，序號(hào)3、4的可變形部件模型是針對(duì)大客車(chē)訓(xùn)練完成的，序號(hào)5、6的可變形部件模型是針對(duì)貨車(chē)訓(xùn)練完成的，則在選擇時(shí)，可以選擇序號(hào)為1、3、5的可變形部件混合模型，從而覆蓋每種類(lèi)型的車(chē)輛，便于對(duì)不同類(lèi)型的車(chē)輛的車(chē)窗區(qū)域進(jìn)行檢測(cè)。當(dāng)然在選擇可變形部件模型時(shí)還可以采用其他方式，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不再一一贅述。

S303：將所述相應(yīng)數(shù)量個(gè)可變形部件模型根濾波器的最大值，及對(duì)應(yīng)的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

在本發(fā)明實(shí)施例中該可變形部件混合模型包括m個(gè)可變形部件模型，m為不小于2的整數(shù)，并且對(duì)m個(gè)可變形部件模型的第i個(gè)部件濾波器分別進(jìn)行計(jì)算，取最大值作為該部件濾波器的得分，從而能夠保證較準(zhǔn)確的檢測(cè)車(chē)窗位置，i為0到n的整數(shù)，i為0時(shí)為根濾波器。

另外因?yàn)楦鱾€(gè)部件濾波器捕捉到的信息不同，所以各個(gè)部件濾波器在車(chē)窗檢測(cè)中的重要性也是不同的，在本發(fā)明實(shí)施例中對(duì)每個(gè)部件濾波器進(jìn)行加權(quán)，從而得到可變形部件混合模型。

可變形部件混合模型中每個(gè)可變形部件模型中根濾波器和對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的權(quán)值可以相同也可以不同。其中當(dāng)每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值為1，并且對(duì)應(yīng)的每個(gè)部件濾波器對(duì)應(yīng)的第二權(quán)值也為1時(shí)，是該可變形部件混合模型的一種特殊形式，此時(shí)的可變形部件混合模型是每個(gè)可變形部件模型的直接相加，并為根濾波器最大值和對(duì)應(yīng)的部件濾波器最大值的和。

在本發(fā)明實(shí)施例中為了進(jìn)一步提高車(chē)窗檢測(cè)的準(zhǔn)確性，根據(jù)每個(gè)部件濾波器的重要性確定每個(gè)部件濾波器的第二權(quán)重，并且對(duì)應(yīng)的每個(gè)部件濾波器的第二權(quán)重對(duì)應(yīng)相等。具體的，該可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和，如下式：

其中，score(p₀,...,p_n)為該可變形部件混合模型，G_0,1,…,G_0，m為m個(gè)可變形部件模型的根濾波器，ω₀為根濾波器對(duì)應(yīng)的第一權(quán)值，G_i,1,…,G_i，m為m個(gè)可變形部件模型的第i個(gè)部件濾波器，其中每個(gè)可變形部件模型有n個(gè)部件濾波器，其中m個(gè)可變形部件模型的第i個(gè)部件濾波器對(duì)應(yīng)的第二權(quán)值為ω_i。

下面對(duì)本發(fā)明實(shí)施例中可變形部件混合模型的確定過(guò)程進(jìn)行詳細(xì)說(shuō)明。

可變形部件模型(Deformable Part Model)包括：一個(gè)較為粗糙的、覆蓋整個(gè)目標(biāo)的根濾波器，幾個(gè)高分辨率的部件濾波器以及部件濾波器相對(duì)于根濾波器的位移。濾波器就是一個(gè)權(quán)重向量，所謂濾波器的評(píng)分值就是此權(quán)重向量與特征金字塔中w*h大小子窗口的特征向量的點(diǎn)積。而可變形部件模型的評(píng)分值是根濾波器的評(píng)分值與部件濾波器的評(píng)分值的和，每個(gè)濾波器的評(píng)分值都是此濾波器的各個(gè)空間位置評(píng)分的最大值，每個(gè)濾波器的空間位置評(píng)分是該濾波器在該子窗口上濾波器的評(píng)分減去變形花費(fèi)。

假設(shè)F是一個(gè)w*h大小的濾波器，H是特征金字塔，p＝(x,y,l)表示特征金字塔中l(wèi)層坐標(biāo)為(x,y)的位置，φ(H,p,w,h)表示特征金字塔H中以p點(diǎn)為左上角的頂點(diǎn)的w*h大小的子窗口中的所有特征向量，按行優(yōu)先順序串聯(lián)起來(lái)得到的向量，所以濾波器F在p處的評(píng)分值為F′·φ(H,p,w,h)，F(xiàn)′表示將F中的權(quán)重向量按行優(yōu)先順序串聯(lián)起來(lái)得到的向量。

因此，含有n+1個(gè)濾波器的可變形部件模型可以通過(guò)根濾波器F₀和一系列部件濾波器來(lái)定義，其中，每個(gè)部件濾波器可以表示為一個(gè)三元組：(F_i,v_i,d_i)，其中F_i為第i個(gè)部件濾波器，v_i為一個(gè)二維向量，表示第i個(gè)部件濾波器的位置的矩形中心點(diǎn)相對(duì)于根濾波器的位置，矩形中心點(diǎn)又稱為錨點(diǎn)，d_i是一個(gè)四維向量，為一個(gè)二次函數(shù)的參數(shù)，此二次函數(shù)表示部件濾波器的每個(gè)可能位置相對(duì)于其錨點(diǎn)位置的變形花費(fèi)。

可變形部件模型中每個(gè)部件濾波器所在層的特征分辨率都是根濾波器所在層的特征分辨率的兩倍。部件濾波器在位置p上的評(píng)分值等于每個(gè)部件濾波器在各自位置的評(píng)分值，減去此位置相對(duì)于根位置的變形花費(fèi)再加上偏移值：

其中，(dx_i,dy_i)＝(x_i,y_i)-(2^*(x₀,y₀)+v_i)表示第i個(gè)部件濾波器相對(duì)于其錨點(diǎn)位置的位移，(x₀,y₀)是根濾波器在其所在層的坐標(biāo)，為了統(tǒng)一到部件濾波器所在的層，需要乘以2，v_i是第i個(gè)部件濾波器的錨點(diǎn)相對(duì)于根濾波器的坐標(biāo)偏移，φ_d(dx,dy)＝(dx,dy_,dx²,dy²)表示變形花費(fèi)。

具體的，可以將位移b分配到每個(gè)濾波器中，即因此濾波器在位置p的評(píng)分值可以進(jìn)行如下改寫(xiě)：

即

可變形部件模型采用隱藏支持向量機(jī)(LSVM)方法，對(duì)每個(gè)圖像的評(píng)分值進(jìn)行計(jì)算，具體可以表示為：f_β(x)＝max_zβ·Φ|(x,z)，其中β是模型的參數(shù)向量，z是隱藏變量。

在針對(duì)每種類(lèi)型的車(chē)輛，對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練時(shí)包括：

根據(jù)第一個(gè)樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，確定根濾波器；

針對(duì)每個(gè)其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對(duì)當(dāng)前樣本圖像進(jìn)行評(píng)分，根據(jù)根濾波器的評(píng)分最大值及所述根濾波器的大小，對(duì)所述當(dāng)前圖像中標(biāo)記的待檢的車(chē)窗區(qū)域進(jìn)行更新，并根據(jù)更新后的待檢的車(chē)窗區(qū)域，確定所述根濾波器及部件濾波器。

樣本圖像集中的樣本圖像包括多個(gè)，在針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練可變形部件模型時(shí)，獲取包含該類(lèi)型的車(chē)輛的樣本圖像，首先進(jìn)行根濾波器的初始化，即根據(jù)獲取的第一個(gè)樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，使用支持向量機(jī)來(lái)確定根濾波器的初始值。針對(duì)獲取到的每個(gè)其他樣本圖像進(jìn)行訓(xùn)練時(shí)，根據(jù)采用上一個(gè)樣本圖像確定的根濾波器，對(duì)當(dāng)前樣本圖像進(jìn)行評(píng)分，根據(jù)評(píng)分最大值所在的位置和根濾波器的大小，對(duì)當(dāng)前樣本圖像中標(biāo)記的車(chē)窗區(qū)域進(jìn)行更新，并根據(jù)更新后的車(chē)窗區(qū)域，對(duì)根濾波器進(jìn)行更新。

另外，在對(duì)可變形部件模型進(jìn)行訓(xùn)練時(shí)，在每次訓(xùn)練時(shí)，在根濾波器確定的位置上，貪婪的選擇評(píng)分值最大的區(qū)域作為部件濾波器的位置，根據(jù)不斷的更新樣本圖像，更新部件濾波器。具體的根據(jù)根濾波器的位置，進(jìn)行部件濾波器更新的過(guò)程屬于現(xiàn)有技術(shù)，在本發(fā)明實(shí)施例中對(duì)該過(guò)程不進(jìn)行贅述。上述使用隱藏支持向量機(jī)訓(xùn)練可變形部件模型的過(guò)程，通過(guò)不斷地迭代和更新樣本圖像，得到準(zhǔn)確的可變形部件模型。

本發(fā)明實(shí)施例中針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練至少一個(gè)可變形部件模型，而用于生成可變形部件混合模型的可變形部件模型的數(shù)量閾值，可能小于訓(xùn)練的可變形部件模型的總量，因此在本發(fā)明實(shí)施例中根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型，該過(guò)程具體包括：

根據(jù)所述預(yù)設(shè)的數(shù)量閾值，針對(duì)每個(gè)待選的可變形部件模型中部件濾波器與根濾波器的相對(duì)位移，選擇相應(yīng)數(shù)量個(gè)可變形部件模型，其中被選中的可變形部件模型中相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小。

本發(fā)明實(shí)施例在選擇構(gòu)成可變形部件混合模型的可變形部件模型中，相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小，可以保證被選中的可變形部件模型對(duì)相同位置的檢測(cè)精度相差不大，從而可以提高檢測(cè)精度。具體的在選擇可變形部件模型時(shí)，根據(jù)每個(gè)部件濾波器與根濾波器的相對(duì)位移，對(duì)訓(xùn)練完成的可變形部件模型中進(jìn)行篩選。在篩選時(shí)是針對(duì)每個(gè)部件濾波器與根濾波器的相對(duì)位移進(jìn)行的，篩選出每個(gè)部件濾波器的相對(duì)位移小于預(yù)設(shè)閾值的可變形部件模型，其中，篩選出的可變形部件模型中每個(gè)部件濾波器與根濾波器的相對(duì)位移都小于預(yù)設(shè)閾值。

當(dāng)篩選出的可變形部件模型的數(shù)量與預(yù)設(shè)的數(shù)量閾值相等時(shí)，則將篩選出的可變形部件模型作為被選中的可變形部件模型。當(dāng)篩選出的可變形部件模型的數(shù)量與預(yù)設(shè)的數(shù)量閾值不等時(shí)，可調(diào)整可變形部件中部件濾波器的數(shù)量，采用樣本圖像重新對(duì)每種類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練，具體的在調(diào)整可變形部件模型中部件濾波器的數(shù)量時(shí)，可以是減小部件濾波器的數(shù)量。

根據(jù)訓(xùn)練完成的每個(gè)可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型，其中被選中的可變形部件模型中相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小。如果此時(shí)篩選出的可變形部件模型還是不能滿足該預(yù)設(shè)的數(shù)量閾值，則針對(duì)每個(gè)可變形部件模型，根據(jù)該可變形部件模型中每個(gè)部件濾波器與根濾波器的相對(duì)位移的和，選擇相對(duì)位移較小的相應(yīng)數(shù)量個(gè)可變形部件模型。

具體的，在選擇時(shí)如果每個(gè)可變形部件模型中每個(gè)相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差都不大，則按照位移相差的大小，選擇位移相差較小的可變形部件模型。如果存在位移相差比較大的可變形部件模型，并且待選擇的可變形部件模型數(shù)量大于設(shè)定的數(shù)量閾值，則將該位移相差比較大的可變形部件模型去除。

例如訓(xùn)練完成的可變形部件模型共5個(gè)，分別為A、B、C、D、E，預(yù)設(shè)的數(shù)量閾值為3個(gè)，每個(gè)可變形部件模型包括4個(gè)部件濾波器，其中A中各部件濾波器與根濾波器的位移差分別為1、3、1、2，B中各部件濾波器與根濾波器的位移差分別為2、1、2、3，C中各部件濾波器與根濾波器的位移差分別為1、1、2、2、D中各部件濾波器與根濾波器的位移差分別為2、1、2、2，E中各部件濾波器與根濾波器的位移差分別為2、1、2、5，則在選擇可變形部件模型時(shí)，因?yàn)镋中存在位移差為5的部件濾波器，因此在選擇時(shí)將E去除，在剩余的A、B、C、D中，C的位移差最小，然后是A和D，最后是B，因此在進(jìn)行選擇時(shí)，選擇可變形部件模型A、C、D。

選擇了構(gòu)成可變形部件混合模型的可變形部件模型后，將選擇的可變形部件模型的部件濾波器按照順序進(jìn)行合并，得到(K₀,K₁,...,K_n)，K_i為來(lái)自m個(gè)不同的可變形部件模型的第i個(gè)部件濾波器的集合。

由于不同類(lèi)型的車(chē)輛的車(chē)窗區(qū)別較大，各個(gè)濾波器捕捉到的信息不同，因此各個(gè)濾波器在車(chē)窗檢測(cè)中的重要性也是不同的，在本發(fā)明實(shí)施例中為了有效提高檢測(cè)準(zhǔn)確性，采用的可變形部件混合模型為可變形部件加權(quán)模型，加權(quán)模型可以表示為(w₀K₀,w₁K₁,...,w_nK_n)，w_i為第i個(gè)部件濾波器對(duì)應(yīng)的權(quán)重。

本發(fā)明實(shí)施例中該可變形部件混合模型為根濾波器和對(duì)應(yīng)的部件濾波器的最大值，將每個(gè)根濾波器對(duì)應(yīng)的權(quán)重稱為第一權(quán)值，對(duì)應(yīng)的每個(gè)部件濾波器對(duì)應(yīng)的權(quán)重稱為第二權(quán)值。其中第一權(quán)值和每個(gè)第二權(quán)值可以都為1，當(dāng)然也可以為其他值。

為了根據(jù)車(chē)窗檢測(cè)中每個(gè)部件濾波器的重要性，對(duì)車(chē)窗進(jìn)行檢測(cè)，從而提高檢測(cè)的準(zhǔn)確性，在本發(fā)明實(shí)施例中所述可變形混合模型中所述根濾波器對(duì)應(yīng)的第一權(quán)值相等，每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的第二權(quán)值相等。因此本發(fā)明實(shí)施例的可變形部件混合模型可以表示為m為可變形部件模型的數(shù)量，n為每個(gè)可變形部件模型中部件濾波器的數(shù)量，w_i為第i個(gè)濾波器對(duì)應(yīng)的權(quán)重。

其中，第一權(quán)值和每個(gè)第二權(quán)值的確定過(guò)程包括：

選擇任意一個(gè)可變形部件模型作為目標(biāo)可變形部件模型；

采用所述目標(biāo)可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用所述目標(biāo)可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；

針對(duì)根濾波器，根據(jù)所述每個(gè)第一評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定第一權(quán)值，針對(duì)每個(gè)部件濾波器，根據(jù)該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

或，在確定第一權(quán)值和第二權(quán)值時(shí)也可以采用以下方法：

針對(duì)選擇的每個(gè)可變形部件模型，采用該可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用該可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；

根據(jù)針對(duì)選擇的每個(gè)可變形部件模型的每個(gè)第一評(píng)分的和，及每個(gè)第一評(píng)分和每個(gè)第二評(píng)分的和，確定第一權(quán)值，并針對(duì)每個(gè)部件濾波器，根據(jù)選擇的每個(gè)可變形部件模型的該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

因?yàn)榭勺冃尾考旌夏Ｐ桶ㄖ辽賰蓚€(gè)可變形部件模型，在確定第一權(quán)值和第二權(quán)值時(shí)，可以任意選擇一個(gè)可變形部件模型，根據(jù)其對(duì)樣本圖像的評(píng)分確定，當(dāng)然也可以采用每個(gè)可變形部件模型對(duì)樣本圖像的評(píng)分來(lái)確定。采用每個(gè)可變形部件模型對(duì)樣本圖像的評(píng)分確定權(quán)值，能夠更準(zhǔn)確的體現(xiàn)每個(gè)部件濾波器的重要性，從而進(jìn)一步提高車(chē)窗檢測(cè)的準(zhǔn)確性。

下面以根據(jù)每個(gè)可變形部件模型對(duì)樣本圖像的評(píng)分確定權(quán)值的過(guò)程進(jìn)行說(shuō)明，其中這里的每個(gè)可變形部件模型是指構(gòu)成可變形部件混合模型的每個(gè)可變形部件模型。針對(duì)該每個(gè)可變形部件模型，使用根濾波器，將部件濾波器置零，對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，將評(píng)分值記錄為score_ju(0)，即第j個(gè)可變形部件模型的根濾波器對(duì)第u個(gè)樣本圖像的評(píng)分值。之后采用第一個(gè)部件濾波器，將其他濾波器置零，對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，評(píng)分的值記錄為score_ju(1)。之后采用同樣的方法，計(jì)算每個(gè)部件濾波器對(duì)每個(gè)樣本圖像的評(píng)分，從而可獲得第i個(gè)濾波器的權(quán)值為其中score_ju(i)為第j個(gè)可變形部件模型的第i個(gè)濾波器，針對(duì)第u個(gè)樣本圖像的評(píng)分，score_ju為第j個(gè)可變形部件模型對(duì)第u個(gè)樣本圖像的總評(píng)分，其中m為可變形部件模型的數(shù)量，U為樣本圖像集，u為樣本圖像集中的任意一個(gè)樣本圖像，可變形部件模型中部件濾波器的數(shù)量為n。

當(dāng)可變形部件混合模型訓(xùn)練完成后，即可采用其對(duì)圖像中的車(chē)窗區(qū)域進(jìn)行檢測(cè)，因?yàn)樵摽勺冃尾考旌夏Ｐ蜑闉V波器最大值的加權(quán)和，因此通過(guò)該可變形部件混合模型對(duì)待檢測(cè)的圖像進(jìn)行評(píng)分后，獲取到的根濾波器的評(píng)分值，即為至少兩個(gè)可變形部件模型中根濾波器的最大評(píng)分值，當(dāng)該評(píng)分值不大于設(shè)定的第一閾值時(shí)，確定該圖像中不存在車(chē)窗。

當(dāng)該評(píng)分值大于設(shè)定的第一閾值時(shí)，獲取該可變形部件混合模型的總評(píng)分值，同樣的，該可變形部件混合模型的總評(píng)分值即為至少兩個(gè)可變形部件模型中，對(duì)應(yīng)的每個(gè)濾波器的最大值與相應(yīng)的權(quán)值的乘積和，當(dāng)該總評(píng)分值大于設(shè)定的第二閾值時(shí)，確定該圖像中存在車(chē)窗區(qū)域，根據(jù)該評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定圖像中的車(chē)窗區(qū)域，即將根位置作為左上角的頂點(diǎn)，圖像中該設(shè)定的區(qū)域大小覆蓋的范圍作為圖像中的車(chē)窗區(qū)域。該設(shè)定的區(qū)域大小一般根據(jù)圖像中車(chē)窗大小設(shè)定，例如可以是8*8，或者10*10、10*12等等，具體可以根據(jù)需要靈活設(shè)定。

在本發(fā)明實(shí)施例中當(dāng)在圖像中確定了車(chē)窗區(qū)域后，可以根據(jù)圖像中的車(chē)窗區(qū)域，識(shí)別駕駛員是否佩戴了安全帶。具體的，在圖像中的車(chē)窗區(qū)域中識(shí)別駕駛員是否佩戴了安全帶，是采用預(yù)先訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的，其識(shí)別過(guò)程包括：

在檢測(cè)到的車(chē)窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車(chē)窗區(qū)域中的駕駛員候選區(qū)域；

在所述駕駛員候選區(qū)域中，采用預(yù)先訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

具體的，在本發(fā)明實(shí)施例中可以對(duì)進(jìn)行安全帶識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，該訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)可以檢測(cè)車(chē)窗區(qū)域中的駕駛員是否佩戴安全帶。

該所述卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程包括：

在樣本圖像集的駕駛員候選區(qū)域中，采用相應(yīng)的檢測(cè)模型，檢測(cè)駕駛員所在的位置；

根據(jù)每個(gè)樣本圖像集檢測(cè)到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

本發(fā)明實(shí)施例中樣本圖像集中包括大量的樣本圖像，在每個(gè)樣本圖像中包含車(chē)窗區(qū)域，在樣本圖像的車(chē)窗區(qū)域中選擇車(chē)窗右側(cè)2/3的區(qū)域，作為駕駛員候選區(qū)域。在駕駛員候選區(qū)域中檢測(cè)駕駛員所在的位置，可以采用相應(yīng)的檢測(cè)模型，其中該檢測(cè)模型包括人臉檢測(cè)模型和頭肩檢測(cè)模型，較佳地，可以選擇檢測(cè)效果較好的頭肩檢測(cè)模型。通過(guò)頭肩檢測(cè)模型可以檢測(cè)出駕駛員候選區(qū)域中駕駛員的頭和肩膀所在的區(qū)域，獲取該區(qū)域?qū)?yīng)的圖像，將該區(qū)域?qū)?yīng)的圖像作為駕駛員的圖像。

根據(jù)每個(gè)駕駛員的圖像，確定每個(gè)駕駛員是否佩戴安全帶，根據(jù)駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

在對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，還包括對(duì)每個(gè)駕駛員的圖像進(jìn)行歸一化處理，歸一化后的駕駛員的圖像大小相同。

具體的，在本發(fā)明實(shí)施例中在對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，該卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、1/2降采樣層、直連層和回歸層。其中卷積層可以對(duì)輸入的圖像采用若干個(gè)卷積核進(jìn)行卷積操作；1/2降采樣層對(duì)輸入的圖像進(jìn)行降采樣，每橫向和縱向兩個(gè)像素點(diǎn)合并為一個(gè)像素點(diǎn)，達(dá)到減低圖像分辨率的目的；直連層為普通的神經(jīng)網(wǎng)絡(luò)連接，直連層的每一個(gè)節(jié)點(diǎn)均與上一層的輸出節(jié)點(diǎn)相連接；回歸層對(duì)輸入的特征進(jìn)行回歸，輸出判別結(jié)果。

該卷積神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖4A所示，在本發(fā)明實(shí)施例中在對(duì)駕駛員的圖像進(jìn)行歸一化后，駕駛員的圖像大小為64*64，卷積層的卷積核的大小為3*3，m、n、p的值分別取48、96和128，直連層的節(jié)點(diǎn)數(shù)為400個(gè)。

參見(jiàn)圖4A所示，歸一化后的駕駛員的圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)，先經(jīng)過(guò)3個(gè)3*3的卷積層，再經(jīng)過(guò)一個(gè)1/2降采樣層，1/2降采樣層的輸出結(jié)果作為2個(gè)3*3的卷積層的出入，再經(jīng)過(guò)一個(gè)1/2降采樣層，1/2降采樣層的輸出結(jié)果作為2個(gè)3*3的卷積層的出入，再經(jīng)過(guò)一個(gè)1/2降采樣層，1/2降采樣層與直連層連接，通過(guò)softmax回歸層得到判別結(jié)果。

卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，即可在檢測(cè)到的車(chē)窗區(qū)域中，對(duì)駕駛員是否佩戴安全帶進(jìn)行檢測(cè)。卷積神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征學(xué)習(xí)能力，能夠克服由人工置頂特征所帶來(lái)的描述不夠準(zhǔn)確的問(wèn)題，另外，在本發(fā)明實(shí)施例中采用12層的網(wǎng)絡(luò)，較小的卷積核，可以在保證準(zhǔn)確率的基礎(chǔ)上，減低計(jì)算量。

圖4B為本發(fā)明實(shí)施例提供的一種車(chē)窗檢測(cè)裝置，該裝置包括：

確定模塊41，用于接收標(biāo)記有待檢的車(chē)窗區(qū)域的圖像，確定所述車(chē)窗區(qū)域的特征金字塔；

評(píng)分模塊42，用于采用訓(xùn)練完成的可變形部件混合模型，對(duì)所述特征金字塔進(jìn)行評(píng)分，其中所述可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型中根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和；

檢測(cè)模塊43，用于當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。

所述檢測(cè)模塊43，還用于當(dāng)所述評(píng)分值不大于設(shè)定的第一閾值時(shí)，確定所述圖像中不存在車(chē)窗區(qū)域。

所述檢測(cè)模塊43，具體用于將所述根位置作為左上角的頂點(diǎn)，所述設(shè)定的區(qū)域大小覆蓋的范圍作為所述圖像中的車(chē)窗區(qū)域。

所述裝置還包括：

訓(xùn)練模塊44，用于針對(duì)每種類(lèi)型的車(chē)輛，識(shí)別樣本圖像集中該類(lèi)型的車(chē)輛對(duì)應(yīng)的樣本圖像，根據(jù)識(shí)別到的樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，對(duì)該類(lèi)型的車(chē)輛對(duì)應(yīng)的可變形部件模型進(jìn)行訓(xùn)練；根據(jù)針對(duì)每種類(lèi)型的車(chē)輛訓(xùn)練的可變形部件模型，及預(yù)設(shè)的數(shù)量閾值，選擇相應(yīng)數(shù)量個(gè)可變形部件模型；將所述相應(yīng)數(shù)量個(gè)可變形部件模型根濾波器的最大值，及對(duì)應(yīng)的部件濾波器的最大值的加權(quán)和確定為所述可變形部件混合模型。

所述訓(xùn)練模塊44，具體用于根據(jù)第一個(gè)樣本圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，確定根濾波器；針對(duì)每個(gè)其他的樣本圖像，根據(jù)已經(jīng)確定的根濾波器對(duì)當(dāng)前樣本圖像進(jìn)行評(píng)分，根據(jù)根濾波器的評(píng)分最大值確定的車(chē)窗區(qū)域及所述當(dāng)前圖像中標(biāo)記的待檢的車(chē)窗區(qū)域，對(duì)所述當(dāng)前圖像中標(biāo)記的待檢的車(chē)窗區(qū)域進(jìn)行更新，并根據(jù)更新后的待檢的車(chē)窗區(qū)域，確定所述根濾波器及部件濾波器。

所述訓(xùn)練模塊44，具體用于根據(jù)所述預(yù)設(shè)的數(shù)量閾值，針對(duì)每個(gè)待選的可變形部件模型中部件濾波器與根濾波器的相對(duì)位移，選擇相應(yīng)數(shù)量個(gè)可變形部件濾波器，其中選擇的可變形部件模型中相同序號(hào)的部件濾波器相對(duì)于根濾波器的位移相差較小。

所述訓(xùn)練模塊44，具體用于將所述可變形混合模型中所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值和每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的每個(gè)第二權(quán)值確定為1；或確定所述每個(gè)根濾波器對(duì)應(yīng)的第一權(quán)值相等，每個(gè)對(duì)應(yīng)的部件濾波器對(duì)應(yīng)的第二權(quán)值相等。

所述訓(xùn)練模塊44，具體用于選擇任意一個(gè)可變形部件模型作為目標(biāo)可變形部件模型；采用所述目標(biāo)可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用所述目標(biāo)可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；針對(duì)根濾波器，根據(jù)所述每個(gè)第一評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定第一權(quán)值，針對(duì)每個(gè)部件濾波器，根據(jù)該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及所述每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

所述訓(xùn)練模塊44，具體用于針對(duì)選擇的每個(gè)可變形部件模型，采用該可變形部件模型的根濾波器對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第一評(píng)分，并依次采用該可變形部件模型的每個(gè)部件濾波器分別對(duì)每個(gè)樣本圖像進(jìn)行評(píng)分，確定每個(gè)第二評(píng)分；根據(jù)針對(duì)選擇的每個(gè)可變形部件模型的每個(gè)第一評(píng)分的和，及每個(gè)第一評(píng)分和每個(gè)第二評(píng)分的和，確定第一權(quán)值，并針對(duì)每個(gè)部件濾波器，根據(jù)選擇的每個(gè)可變形部件模型的該部件濾波器對(duì)應(yīng)的每個(gè)第二評(píng)分的和，及每個(gè)第一評(píng)分和第二評(píng)分的和，確定每個(gè)第二權(quán)值。

所述裝置還包括：

識(shí)別模塊45，用于在檢測(cè)到的車(chē)窗區(qū)域中，根據(jù)駕駛員的位置，確定所述車(chē)窗區(qū)域中的駕駛員候選區(qū)域；在所述駕駛員候選區(qū)域中，采用預(yù)先訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別駕駛員候選區(qū)域內(nèi)的駕駛員是否佩戴安全帶。

所述裝置還包括：

訓(xùn)練模塊46，用于在樣本圖像集的駕駛員候選區(qū)域中，采用相應(yīng)的檢測(cè)模型，檢測(cè)駕駛員所在的位置；根據(jù)每個(gè)樣本圖像集檢測(cè)到的駕駛員的圖像及該駕駛員是否佩戴安全帶的信息，對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

本發(fā)明實(shí)施例提供了一種車(chē)窗檢測(cè)方法及裝置，該方法中當(dāng)接收到標(biāo)記有待檢的車(chē)窗區(qū)域的圖像后，計(jì)算該車(chē)窗區(qū)域的特征金字塔，并采用訓(xùn)練完成的可變形部件混合模型，對(duì)特征金字塔進(jìn)行評(píng)分，其中該可變形部件混合模型包括至少兩個(gè)可變形部件模型，且為所述至少兩個(gè)可變形部件模型的根濾波器的最大值，及對(duì)應(yīng)的每個(gè)部件濾波器的最大值的加權(quán)和，當(dāng)所述可變形部件混合模型中根濾波器的評(píng)分值大于設(shè)定的第一閾值，且所述可變形部件混合模型的總評(píng)分值大于設(shè)定的第二閾值時(shí)，根據(jù)所述評(píng)分值對(duì)應(yīng)的根位置及設(shè)定的區(qū)域大小，確定所述圖像中的車(chē)窗區(qū)域。由于本發(fā)明實(shí)施例采用可變形部件混合模型，該可變形部件混合模型為至少兩個(gè)可變形部件模型的加權(quán)和，而可變形部件混合模型對(duì)于圖像的變形、光照變化、車(chē)身顏色變化等不太敏感，對(duì)部分遮擋有較強(qiáng)的處理能力，因此可以提高車(chē)窗區(qū)域的檢測(cè)的準(zhǔn)確性和魯棒性。

對(duì)于系統(tǒng)/裝置實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述的比較簡(jiǎn)單，相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤(pán)存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

盡管已描述了本申請(qǐng)的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例做出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請(qǐng)范圍的所有變更和修改。

顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本申請(qǐng)進(jìn)行各種改動(dòng)和變型而不脫離本申請(qǐng)的精神和范圍。這樣，倘若本申請(qǐng)的這些修改和變型屬于本申請(qǐng)權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請(qǐng)也意圖包含這些改動(dòng)和變型在內(nèi)。