本發(fā)明涉及一種基于代價敏感的核稀疏表示分類器的消防車識別方法，屬于消防車自動識別方法技術領域。

背景技術：

隨著大城市國民經濟的飛速發(fā)展和城市現代化的加快，道路行駛車輛的不斷增加使得道路的交通環(huán)境不斷惡化。面對交通擁堵時消防車難以通行,如何探索破解這一難題,切實提高滅火救援效能,是一個嶄新的課題。

研發(fā)部署消防車優(yōu)先的信號燈系統，是一個強有力的解決辦法。當攝像頭拍攝照片，識別出消防車后，會給信號燈發(fā)送信息，用以實時調整紅綠燈情況。同時，基于計算機的車輛識別，成本低準確率高，不會影響正常的交通秩序。

技術實現要素：

本發(fā)明克服現有車輛檢測方法的不足，同時彌補消防車檢測的空白，提供一種基于代價敏感的核稀疏表示分類器的消防車識別方法，先提取出訓練樣本的hog特征和顏色特征，通過一個映射函數把hog特征gi映射為一個更高階的特征向量，得到基礎矩陣；再提取出檢測樣本的hog特征和顏色特征，使用基于代價敏感的核稀疏表示模型重構測試樣本特征，最后求出基于代價敏感的核稀疏表示模型的最優(yōu)解，完成消防車的識別。

本發(fā)明為解決其技術問題采用如下技術方案：

一種基于代價敏感的核稀疏表示分類器的消防車識別方法，包括模型構建和實時檢測兩個階段，在模型構建中，提取出訓練樣本的hog特征和顏色特征，將hog特征映射成為一個更高階的特征向量，得到基礎向量；在實時檢測階段，提取測試樣本的hog特征和顏色特征，在使用基于代價敏感的核稀疏表示模型重構樣本特征，最后求出模型最優(yōu)解，完成消防車的檢測。

所述模型構建階段包括如下步驟：

步驟1：圖片采集

利用架設在交通信號燈旁的攝像頭，獲取n個訓練樣本i1,i2,...,in，標注為y1,y2,...,yn(yi∈{-1,+1})，其中+1表示消防車樣本，-1為非消防車樣本，每個樣本的大小為32×32像素；

步驟2：提取特征

提取hog特征與顏色特征；

步驟3：獲得基礎矩陣

定義一個映射函數把hog特征g映射為一個更高階的特征向量，如由訓練樣本可得到一個基礎矩陣g1為第一個訓練樣本的hog特征，g2為第二個訓練樣本的hog特征，gn為第n個訓練樣本的hog特征，r^d×n表示一個d×n的矩陣，r³⁶指36維的矩陣。

所述hog特征提取具體如下：

將樣本圖像ii轉化為灰度圖像，

計算每個像素點的梯度信息；

把彩色圖像轉換為灰度圖像，gamma壓縮公式如下：

h(x,y)＝i(x,y)^gamma

其中：h(x,y)是圖像中坐標為(x+1,y)的點經過gamma標準化后的值；i(x,y)為圖像中坐標為(x,y)的點的灰度值；^gamma為一般取0.45；

梯度大小g為：

gx(x,y)＝h(x+1,y)-h(x-1,y)

gy(x,y)＝h(x,y+1)-h(x,y-1)

其中：h(x+1,y)是圖像中坐標為(x+1,y)的點經過gamma標準化后的值；h(x-1,y)為是圖像中坐標為(x-1,y)的點經過gamma標準化后的值；h(x,y+1)為是圖像中坐標為(x,y+1)的點經過gamma標準化后的值；h(x,y-1)為是圖像中坐標為(x,y-1)的點經過gamma標準化后的值；gx(x,y)為圖像中坐標為(x,y)的點x方向的hog值；gy(x,y)為圖像中坐標為(x,y)的點y方向的hog值，g(x,y)為圖像中坐標為(x,y)的點的hog值；

(x,y)像素點的梯度方向α為：

再將圖像ii劃分為每個大小為2×2像素大小的細胞單元，把細胞單元的角度α∈(-90，90)均分9份，對每個像素點的梯度分別在這9個方向進行加權投影之后，權重大小為g(x,y)，由此得到了這9個方向的投影大小，然后對所有在同一個細胞單元范圍內的像素點的投影按照不同的方向進行累加計算，最后得出該細胞單元在這9個方向上的9個特征值，即一個9維的特征向量gc∈r⁹，r⁹表示9維矩陣；

定義每4個細胞單元組成一個小區(qū)域，針對每個小區(qū)域對應的細胞單元的特征值進行歸一化處理，其過程是：求出每一個小區(qū)域中4個細胞單元的梯度值之和s，然后將同一個小區(qū)域內的每一個細胞單元的9個不同方向的梯度值除以s，最終得到hog特征gi∈r³⁶，其中r³⁶指36維的矩陣；

gi即為所提取的hog特征。

所述顏色特征提取具體如下：

圖像ii＝(r,g,b)^t在rgb色彩空間中計算為：

ii(x)＝ε∫ωe(λ)s(x,λ)ρ(λ)dλ+∫ωφ(λ)ρ(λ)dλ

其中x表示像素點坐標，λ表示波長，ω表示可見光譜，e(λ)表示光源的光譜能量分布，s(x,λ)是表面反射比，ρ(λ)＝(r(λ),g(λ),b(λ))^t是攝像機的三響應靈敏度函數，r(λ)為攝像機對紅色的靈敏度函數；g(λ)為攝像機對綠色的靈敏度函數；b(λ)為攝像機對藍色的靈敏度函數，ε是基于正常表面片與照明方向之間的夾角的明暗系數，φ(λ)是模擬的散射光；

把在點光源e1＝[er1,eg1,eb1]^t照射下某物體所呈現出來的顏色，轉化為該物體在基準光源e2＝[er2,eg2,eb2]^t照射下應呈現的顏色，使用以下對角偏移矩陣模型：

其中：[r1,g1,b1]表示點光源照射下物體的rgb值，[α,β,γ]為比例因子，[r2,g2,b2]表示基準光源照射下物體的rgb值，[o1,o2,o3]是抵消項；可得，diag(α,β,γ)＝diag(er1/er2,eg1/eg2,eb1/eb2)；

使用一種色彩坐標系統，消除偏移項

其中，r為原圖片rgb紅顏色值；g為原圖片rgb綠顏色值；b為原圖片rgb藍顏色值；是原圖片rgb紅顏色平均值；是原圖片rgb色彩空間平均值；是原圖片rgb藍顏色平均值；chc_r為轉換后對應紅色坐標；chc_g為轉換后對應綠色坐標；chc_b為轉換后對應藍色坐標；

是整幅圖片rgb色彩空間中各顏色平均值，把上式轉化為二維值。[r,g]是chc的中心顏色坐標：

chc＝[r,g]^t＝[chc_r/chc_b,chc_g/chc_b]^t

新顏色坐標系統符合對角線變換模型：

其中，α′＝α/γ,β′＝β/γ，[r1,g1]和[r2,g2]分別表示物體在光照e1和e2下chc顏色坐標；

提出一個色彩矩不變量，(u+v)階顏色矩muv為

muv＝∫∫r^ug^vp(r,g)drdg

其中，[r,g]是chc的中心顏色坐標；u,v分別為顏色矩m的行和列；

密度函數p(r,g)是每種顏色值在圖片中的百分比：

pixnum是圖片大小，num(r,g)表示圖片中[r,g]^t的值的像素總數；綜合前式，在光照e1下顏色坐標為[r1,g1]時顏色矩(muv)1，和在光照e2下顏色坐標為[r2,g2]時顏色矩(muv)2的關系可以表示為：

其中，為jacobi行列式，比例因子α′和β′表示照明顏色的變化，r2為物體在光照e2下chc顏色橫坐標，g2為物體在光照e2下chc顏色縱坐標；，移除它們以得到上式矩不變量，最終，歸一化后的矩不變量為：

在上式中，m00為矩陣m第一行第一列的值；m20為矩陣m第三行第一列的值；m02為矩陣m第一行第三列的值；使用該歸一化的矩不變量來構造獨立于照明的描述符；最后，使用12個候選矩不變量來組成顏色描述向量ci∈r¹²：

ci＝[η01,η10,η11,η02,η20,η12,η21,η22,η03,η30,η13,η31]

其中：η01為矩陣η第一行第二列的值；η10為矩陣η第二行第一列的值；η11為矩陣η第二行第二列的值；η02為矩陣η第一行第三列的值；η20為矩陣η第三行第一列的值；η12為矩陣η第二行第三列的值；η21為矩陣η第三行第二列的值；η22為矩陣η第三行第三列的值；η03為矩陣η第一行第四列的值；η30為矩陣η第四行第一列的值；η13為矩陣η第二行第四列的值；η31為矩陣η第四行第二列的值；

ci即為所提取的顏色特征。

所述實時檢測階段包括如下步驟：

步驟1圖片采集

利用架設在交通信號燈旁的攝像頭，獲取檢測樣本i′，大小為32×32像素；

步驟2運用模型構建階段步驟2中相同的特征提取方法，求出測試圖片i′所對應的hog特征g′和顏色特征c′；

步驟3消防車識別：

a、重構測試樣本特征：

使用基于代價敏感的核稀疏表示模型通過訓練樣本重構測試樣本特征：

其中，g′為已知消防車測試區(qū)域的圖片i′所對應的hog特征，β為系數向量；u為由訓練樣本獲得的基礎矩陣；c1為第一個訓練樣本的顏色特征；c′為已知消防車測試區(qū)域的圖片i′所對應的顏色特征；ck為第k個訓練樣本的顏色特征；公式中的第一項目的是是重構誤差，第二項用于控制l1范數系數矢量β的稀疏性，λ為正規(guī)化系數，用以控制β的稀疏；θ和θ′為參數，用來調節(jié)重建過程中的顏色特征的權重：隨著θ的增加，當di的值趨于1時，顏色特征的影響會減弱；

上式取最小值，以選擇那些到測試樣本的顏色特征距離較短的訓練樣本，來重構所述測試樣本的hog特征；

b、模型的最優(yōu)解

令γ＝dβ，則可以表示為

令v＝ud^-1，則上式可改寫為

如果已知兩個內核矩陣kuu和kug′，v^tv和可以算出；上式的優(yōu)化可以使用基于feature-signsearch(fss)的算法解決；

上式等價于：

其中，k()和kg()是高維特征空間中的點積內核函數，kuu和kug′為內核矩陣；采用徑向基函數(rbf)內核，以獲得核矩陣的kuu和kug′；

c、分類

得到的系數向量γ后，令q∈{-1,1}，測試候選樣本的重建殘差rq(g′)為：

其中δq(γ)是一種系數選擇器，它只選擇與類q相關的系數；γk為系數，q是一個類；

當τ′＝1時，表示所檢測圖片為消防車。

本發(fā)明的有益效果如下：

(1)本發(fā)明在提取顏色特征的過程中，使用了一種基于不變量的獨立于光照條件的顏色描述方法，這種方法在實際使用中有很好的魯棒性。

(2)本發(fā)明使用一種代價敏感的核稀疏表示模型來結合hog特征和顏色特征，結果較為穩(wěn)定。

附圖說明

圖1是本發(fā)明方法的檢測流程圖。

圖2是hog特征提取的過程流程圖。

具體實施方式

下面結合附圖對本發(fā)明創(chuàng)造做進一步詳細說明。

本發(fā)明基于稀疏表示的消防車檢測方法可通過三個階段來實現，一是選取候選窗口，二是特征提取，三是基于稀疏表示的消防車識別。該方法的檢測流程圖如圖1所示。

1、提取候選窗口：該方法只檢測駛向信號燈方向的消防車，因此只監(jiān)測上半部分的圖像。考慮到消防車的大小在圖像中的變化不大，使用一個32×32的窗口來掃描檢測圖像。

2、提取特征：這里使用兩種特征，基于梯度的特征(hog特征)和基于顏色的特征。

a、hog特征提取

hog特征的全稱是梯度方向直方圖，是基于局部區(qū)域的特征描述符，通過計算圖像局部區(qū)域的梯度信息，來表示物體的邊緣特征。hog特征提取的過程如圖2所示。

在hog特征提取中，顏色不在考慮范圍內，因此首先把彩色圖像轉換為灰度圖像，gamma壓縮公式如下：

h(x,y)＝i(x,y)^gamma

其中：h(x,y)是圖像中坐標為(x+1,y)的點經過gamma標準化后的值；

i(x,y)為圖像中坐標為(x,y)的點的灰度值；^gamma為一般取0.45；

接著計算圖像的梯度信息，梯度大小為：

gx(x,y)＝h(x+1,y)-h(x-1,y)

gy(x,y)＝h(x,y+1)-h(x,y-1)

其中：h(x+1,y)是圖像中坐標為(x+1,y)的點經過gamma標準化后的值；h(x-1,y)為是圖像中坐標為(x-1,y)的點經過gamma標準化后的值；h(x,y+1)為是圖像中坐標為(x,y+1)的點經過gamma標準化后的值；h(x,y-1)為是圖像中坐標為(x,y-1)的點經過gamma標準化后的值；gx(x,y)為圖像中坐標為(x,y)的點x方向的hog值；gy(x,y)為為圖像中坐標為(x,y)的點y方向的hog值，g(x,y)為圖像中坐標為(x,y)的點的hog值；

其中，梯度方向為：

再將圖像分成若干個小區(qū)域，在每個區(qū)域中，將其中包含的像素點的一維梯度投影到一定的方向上。把每個小區(qū)域的角度范圍均分成9份(bins)時，獲得的最終結果最優(yōu)。對每一個像素點的梯度，分別在這9個方向做加權投影，得到了這9個方向的投影大小，然后對所有在同一個小區(qū)域范圍內的像素點的投影，按照不同的方向進行累加計算，最后得出的就是該區(qū)域在這9個方向上的9個特征值，即一個9維的特征向量。連接9個大小為2×2格的hog特征矩陣來描述候選區(qū)域，把每個區(qū)域的hog特征都表示為g∈r³⁶，其中r³⁶指36維的矩陣。b、顏色特征提取

消防車的表面顏色均為紅色，因此顏色特征在識別過程起了極為重要的作用。為去除顏色受到光照的影響，使用了一種基于不變量的獨立于光照條件的顏色描述方法。

圖像f＝(r,g,b)^t在rgb色彩空間中計算為：

f(x)＝ε∫ωe(λ)s(x,λ)ρ(λ)dλ+∫ωφ(λ)ρ(λ)dλ

其中x表示空間坐標，λ表示波長，ω表示可見光譜，e(λ)表示光源的光譜能量分布，s(x,λ)是表面反射比，ρ(λ)＝(r(λ),g(λ),b(λ))^t是攝像機的三響應靈敏度函數，r(λ)為攝像機對紅色的靈敏度函數；g(λ)為攝像機對綠色的靈敏度函數；b(λ)為攝像機對藍色的靈敏度函數，ε是基于正常表面片與照明方向之間的夾角的明暗系數，φ(λ)是模擬的散射光。

在以上模型中的轉換方法，能把在點光源e1＝[er1,eg1,eb1]^t照射下某物體所呈現出來的顏色f1，轉化為該物體在基準光源e2＝[er2,eg2,eb2]^t照射下應呈現的顏色f2，符合以下對角線偏移模型：

其中：[r1,g1,b1]表示點光源照射下物體的rgb值，[α,β,γ]為比例因子，[r2,g2,b2]表示基準光源照射下物體的rgb值，[o1,o2,o3]是抵消項。由此可得，diag(α,β,γ)＝diag(er1/er2,eg1/eg2,eb1/eb2)。根據上式，可以認為照明顏色的變化是每種顏色帶偏移縮放量綜合后的結果。

接下來使用一種色彩坐標系統，以消除式中的偏移項。

其中，r為原圖片rgb紅顏色值；g為原圖片rgb綠顏色值；b為原圖片rgb藍顏色值；是原圖片rgb紅顏色平均值；是原圖片rgb色彩空間平均值；是原圖片rgb藍顏色平均值；chc_r為轉換后對應紅色坐標；chc_g為轉換后對應綠色坐標；chc_b為轉換后對應藍色坐標；

是整幅圖片rgb色彩空間中各顏色平均值，為了消除顏色強度信息ε，把上式轉化為二維值。[r,g]是chc的中心顏色坐標：

chc＝[r,g]^t＝[chc_r/chc_b,chc_g/chc_b]^t

顯然,新顏色坐標系統符合對角線變換模型：

其中，α′＝α/γ,β′＝β/γ。[r1,g1]和[r2,g2]分別表示物體在光照e1和e2下chc顏色坐標。

之后提出一個色彩矩不變量，它是獨立于光照條件的顏色描述方法的基礎。顏色矩muv為

muv＝∫∫r^ug^vp(r,g)drdg

其中，[r,g]是chc的中心顏色坐標；u,v分別為顏色矩m的行和列。

密度函數p(r,g)是每種顏色值在圖片中的百分比：

pixnum是圖片大小，num(r,g)表示圖片中[r,g]^t的值的像素總數。綜合前式，在光照e1下顏色坐標為[r1,g1]時顏色矩(muv)1，和在光照e2下顏色坐標為[r2,g2]時顏色矩(muv)2的關系可以表示為：

其中，為jacobi行列式。比例因子α′和β′表示照明顏色的變化，為得到上式矩不變量，它們必須要移除；r2為物體在光照e2下chc顏色橫坐標，g2為物體在光照e2下chc顏色縱坐標。最終，歸一化后的矩不變量為：

在上式中，m00為矩陣m第一行第一列的值；m20為矩陣m第三行第一列的值；m02為矩陣m第一行第三列的值；ηuv中每個色相帶的所有比例因子均已歸一化，光照對其不再有影響。獲得該歸一化的矩不變量后，我們用它們來構造獨立于照明的描述符。為了降低噪音的影響，該描述符應包括盡可能多的低階矩不變量，并保持矩序(u+v)盡可能低。根據這兩個原則，使用12個候選矩不變量來組成顏色描述向量c∈r¹²，r¹²表示12維的矩陣，作為描述消防車識別候選區(qū)域時的顏色提示：

c＝[η01,η10,η11,η02,η20,η12,η21,η22,η03,η30,η13,η31]

其中：η01為矩陣η第一行第二列的值；η10為矩陣η第二行第一列的值；η11為矩陣η第二行第二列的值；η02為矩陣η第一行第三列的值；η20為矩陣η第三行第一列的值；η12為矩陣η第二行第三列的值；η21為矩陣η第三行第二列的值；η22為矩陣η第三行第三列的值；η03為矩陣η第一行第四列的值；η30為矩陣η第四行第一列的值；η13為矩陣η第二行第四列的值；η31為矩陣η第四行第二列的值；

步驟3基于稀疏表示的消防車識別：結合hog特征g和顏色特征c，使用一種代價敏感的核稀疏表示模型來實現消防車的檢測。

a、代價敏感的核稀疏表示

給定n個訓練樣本i1,i2,...,in，及其標注y1,y2,...,yn(yi∈{-1,+1})，其中+1表示消防車樣本，-1為非消防車樣本。每個樣本的大小為32×32像素。之后提取出每個樣本ii所對應的hog特征gi和顏色特征ci。已知消防車測試區(qū)域的圖片i′所對應的hog特征g′和顏色特征c′已經給出。

首先定義一個映射函把hog特征g映射為一個更高階的特征向量，如

其中，g′為已知消防車測試區(qū)域的圖片i′所對應的hog特征，β為系數向量，g1為第一個訓練樣本的hog特征，g2為第二個訓練樣本的hog特征，gn為第n個訓練樣本的hog特征；u為由訓練樣本獲得的基礎矩陣；c1為第一個訓練樣本的顏色特征；c′為已知消防車測試區(qū)域的圖片i′所對應的顏色特征；ck為第k個訓練樣本的顏色特征；公式中的第一項，目的是重構誤差，第二項是用于控制l1范數系數矢量β的稀疏性。λ為正規(guī)化系數，用以控制β的稀疏。θ和θ′為參數，用于避免0的出現。

與傳統的稀疏表示相比，基于代價敏感的核稀疏表示模型(cksr模型)有兩個特點：特征空間映射函數的運用；在l1范數中加入一種對角矩陣d，它表示不同訓練樣本的成本值。成本值是指測試樣本和訓練樣本之間的歸一化后的色彩特征距離。上式取最小值是為了選擇那些到測試樣本的顏色特征距離較低的訓練樣本，來重構所述測試樣本的hog特征。此外，參數θ也可以用來調節(jié)重建過程中的顏色特征的權重。隨著θ的增加，當di的值趨于1時，顏色特征的效果會減弱。

b、cksr模型的最優(yōu)解

令γ＝dβ，則可以表示為

令v＝ud^-1，則上式可進一步改寫為

上式是一個稀疏表示優(yōu)化問題。如果v^tv和是已知的，那么上式的優(yōu)化可以使用基于feature-signsearch(fss)的算法解決。

上式等價于：

其中，k()和kg()是高維特征空間中的點積內核函數，kuu和kug′為內核矩陣。如果已知兩個內核矩陣kuu和kug′，那么就可以算出v^tv和再使用徑向基函數(rbf)內核，以獲得核矩陣的kuu和kug′。

c、分類

得到的系數向量γ后，當類q∈{-1,1}時，測試候選樣本的重建殘差rq(g′)為：

其中δq(γ)是一種系數選擇器，它只選擇與類q相關的系數；γk為系數，q是一個類；

最終類τ′是測試樣本i′的最小殘余：

當τ′＝1時，表示候選區(qū)有消防車。