基于動態(tài)場景感知的天氣識別方法
【專利摘要】本發(fā)明涉及一種基于動態(tài)場景感知的天氣識別方法，包括以下步驟：分析動態(tài)天空場景目標和背景在不同天氣下成像的差異性，采用角點檢測算法確定目標區(qū)域和背景區(qū)域的位置；再分別提取背景區(qū)域的紋理和功率譜斜率特征，以及目標區(qū)域的對比度和銳度特征；利用多核學習方法將背景和目標區(qū)域特征融合識別天氣狀況。本發(fā)明是基于動態(tài)場景感知的天氣識別方法，既可消除由目標的尺度變化對天氣識別的影響，同時又借助目標區(qū)域特征增加有用特征信息以提高天氣識別率，尤其提升了背景均勻、特征相似的天氣的識別率。
【專利說明】
基于動態(tài)場景感知的天氣識別方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理和模式識別領(lǐng)域，尤其涉及一種基于動態(tài)場景感知的天氣識 別方法。
【背景技術(shù)】
[0002] 場景天氣識別是圖像理解和模式識別領(lǐng)域的研究熱點之一，尤其是對惡劣天氣的 識別有極為迫切的需求，在智能交通、無人駕駛、虛擬現(xiàn)實、導航定位和軍事偵查等領(lǐng)域應 用廣泛。目標跟蹤是光電跟蹤系統(tǒng)的關(guān)鍵技術(shù)，存在著對天氣條件過于依賴的缺陷。在陰天 和霧天天氣條件下，目標能量按大氣衰減，造成光電成像系統(tǒng)中目標成像對比度低，無法對 目標的精識別;在晴空中夾雜云層，一旦將云層錯誤識別成目標或目標被遮擋，目標跟蹤中 斷造成測量關(guān)鍵段的珍貴數(shù)據(jù)丟失。場景天氣識別可分為固定場景和動態(tài)場景的天氣識 另IJ。固定場景是利用圖像的全局特征來識別天氣，而在動態(tài)場景中存在目標種類不同和尺 度變化等干擾，全局特征并不能實時有效地反映天氣特性。動態(tài)場景的研究主要有選取天 空背景、光陰影和反光塊等具有天氣代表性區(qū)域來識別天氣，但是，僅利用了場景中的局部 特征信息，未充分挖掘圖像信息來解決動態(tài)場景的天氣識別，尤其在晴天、小晴天和小陰天 天氣，背景區(qū)域清晰，均勻且單一，特征均有相似性，很難僅依靠背景區(qū)域特征進行天氣的 識別。
[0003] 因此，如何實時有效的識別動態(tài)天空場景的天氣對于解決目標穩(wěn)定跟蹤而言具有 重要的意義。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于克服現(xiàn)有的利用全局特征或局部特征信息進行天氣識別從而 導致天氣識別率降低的技術(shù)問題，提供一種基于動態(tài)場景感知的天氣識別方法。
[0005] 實現(xiàn)上述目的，該天氣識別方法包括：
[0006] 步驟一：分析動態(tài)天空場景的組成及其在不同天氣狀況下的圖像特性;所述的動 態(tài)天空場景的組成包括背景區(qū)域和目標區(qū)域；
[0007] 步驟二:采用Harris角點檢測算法來確定場景中目標區(qū)域和背景區(qū)域的位置，對 目標區(qū)域和背景區(qū)域進行劃分；
[0008] 步驟三:對背景區(qū)域提取紋理特征；
[0009] 步驟四：對背景區(qū)域提取功率譜斜率特征；
[0010] 步驟五:對目標區(qū)域提取對比度特征；
[0011] 步驟六:對目標區(qū)域提取銳度特征；
[0012] 步驟七:根據(jù)光電跟蹤系統(tǒng)采集的圖像數(shù)據(jù)庫建立動態(tài)天空場景訓練集;對動態(tài) 天空場景訓練集進行多核學習的訓練，提取圖像特征的權(quán)重并將背景區(qū)域和目標區(qū)域特征 融合；
[0013] 步驟八:利用多核學習方法進行天氣的識別；
[0014] 所述的圖像特征包括:紋理特征、功率譜斜率特征、對比度特征和銳度特征。
[0015] 具體地，所述背景區(qū)域是不同天氣狀況下云層或天空的圖像區(qū)域，該圖像區(qū)域具 有不規(guī)則的紋理特征;所述目標區(qū)域是具有角點特性的結(jié)構(gòu)化剛體區(qū)域。
[0016] 具體地，所述的Harr is角點檢測算法是場景中的點通過Harr is算子計算，其計算 值大于設(shè)定閾值時，則該點為角點；再分別選擇場景中角點位置的水平方向上坐標最小值 Umin，水平方向上坐標最大值Umax，垂直方向上坐標最小值Vmin和垂直方向上坐標最大值Vmax， 從而確定目標區(qū)域為It(U, V) = { (U, V) | Umin < U < Umax, Vmin < V < Vmax}，其中U和V分別為圖像 水平和垂直方向上坐標，t代表目標區(qū)域，It(U，V)為目標區(qū)域的具體位置。
[0017] 具體地，所述的背景區(qū)域提取紋理特征是通過灰度共生矩陣GLCM獲取，分別選擇 灰度共生矩陣GLCM在0°，45°，90°和135°四個方向的能量和熵提取紋理特征;所述灰度共生 矩陣GLCM是利用圖像中灰度的空間相關(guān)特性描述圖像紋理特征信息的方法。
[0018] 具體地，所述的能量是衡量圖像的同質(zhì)性或均勻性，反映背景區(qū)域的紋理粗細程
其中，energy為能量，i和j為灰度級，k為圖像的灰度級數(shù) 目，P(i，j)為灰度共生矩陣GLCM的元素;所述的熵是衡量背景區(qū)域一致性的參數(shù)，背景區(qū)域 的灰度分布均勻時熵值較大，而背景區(qū)域的灰度值分散和變化較大時熵值較小；熵為
其中，entropy為熵，lg為對數(shù)計算。 ，
[0019] 具體地，所述的功率譜斜率特征是分析背景區(qū)域中不同的能量頻率的分布情況，
進而根據(jù)分布情況來識別天氣；功率譜斜率 其中A是縮放因子的常 乂
數(shù)，S(f)是背景區(qū)域圖像關(guān)于半徑f的功率譜函數(shù)。
[0020] 具體地，對比度特征是通過圖像亮度的標準差計算， 其中It(u，V)為目標區(qū)域的亮度，Nt為目標區(qū)域像素點個數(shù)。
[0021 ]具體地，所述的銳度特征是以梯度模的波動反映目標的邊緣信息，即銳度特征用 梯度模的方差表示為@# = ΣΣΡ(?，ν)-；其中S(u，v)為目標區(qū)域的梯度模，互為梯度 .， 模的均值;所述的目標區(qū)域提取銳度特征反映動態(tài)天空場景中目標輪廓的明顯程度。
[0022]具體地，建立動態(tài)天空場景訓練集{λ·,.，.ν^=ι>Χι為目標區(qū)域和背景區(qū)域的天氣特 征，yi為天氣識別的標號；動態(tài)天空場景訓練集進行多核學習訓練，得到代表圖像 特征的單核函數(shù)^^^)所對應的權(quán)重dm，通過將m個單核函數(shù)線性加權(quán)組合成多核函數(shù)K
其中Μ為單核函數(shù)的總數(shù);通過訓練得到 權(quán)重dm來完成測試集中目標區(qū)域和背景區(qū)域的圖像特征融合。
[0023] 具體地，所述的利用多核學習方法進行天氣的識別，
其中a，和P是通過動態(tài)天空場景訓練集訓練得出的參數(shù)，fm(x)為多核學習的輸 出，即天氣識別；將動態(tài)天空場景測試集輸入到訓練完成的多核學習方法中進行天氣的識 別。
[0024] 本發(fā)明是一種基于動態(tài)場景感知的天氣識別方法，采用角點檢測算法確定目標區(qū) 域和背景區(qū)域的位置，通過多核學習訓練將背景區(qū)域和目標區(qū)域特征融合，進而用于天氣 的識別。此方法既可消除由目標的尺度變化對天氣識別的影響，同時又借助目標區(qū)域特征 增加有用特征信息以提高天氣識別率，尤其提升了背景均勻、特征相似的天氣的識別率。
【附圖說明】
[0025] 圖1是基于動態(tài)場景感知的天氣識別方法的流程圖；
[0026] 圖2是動態(tài)天空場景天氣圖像數(shù)據(jù)庫；
[0027] 圖3(a)、圖3(b)、圖 3(c)、圖3(d)、圖3(e)、圖3(f)、圖3(g)、圖 3(h)和圖3(i)是動態(tài) 天空場景中9類天氣的背景區(qū)域和目標區(qū)域劃分結(jié)果；
[0028] 圖4是本發(fā)明與全局特征和代表性區(qū)域特征對9類天氣識別率的對比；
[0029] 圖5是天氣識別正確率與對比度的關(guān)系；
[0030] 圖6是背景特征和目標特征在各類天氣下的權(quán)重。
【具體實施方式】
[0031] 為了更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖對本發(fā)明的實施方式作進一步 的描述，但本發(fā)明的保護范圍不限于下述的實施例。
[0032] 本實施例的動態(tài)天空場景訓練集中的圖像數(shù)據(jù)庫是光電跟蹤系統(tǒng)實時采集的，晴 天有云125幅，晴天90幅，小晴天153幅，大陰天269幅，中陰天116幅，小陰天167幅，大霧天 156幅，中霧天156幅，小霧天101幅，分別用數(shù)字1-9標類別，共1333幅。光電跟蹤系統(tǒng)在9類 天氣下對不同機型和尺度的飛行目標成像，選取部分場景圖像如圖2所示，9類天氣依次用 豎線分開。
[0033] 圖1為本發(fā)明基于動態(tài)場景感知的天氣識別方法的流程圖，具體的實施步驟如下：
[0034] (1)隨機選取600幅動態(tài)天空場景天氣圖像作為訓練樣本，即訓練集，733幅作為測 試樣本，即測試集。利用Harris角點檢測算法確定場景中背景區(qū)域和目標區(qū)域的位置，將動 態(tài)天空場景劃分為目標區(qū)域和背景區(qū)域。將場景中的點通過Harris算子計算，其計算值大 于設(shè)定閾值時，則該點為角點；再分別選擇場景中角點位置的水平方向上坐標最小值u min， 水平方向上坐標最大值Umax，垂直方向上坐標最小值Vmin和垂直方向上坐標最大值Vmax，從而 確定目標區(qū)域為A ^職，其中U和V分別為圖像水平和 垂直方向上坐標，t代表目標區(qū)域，It(u，v)為目標區(qū)域的具體位置。所述背景區(qū)域是不同天 氣狀況下云層或天空的圖像區(qū)域，該圖像區(qū)域由R0I1、R0I2、R0I3和R0I4組成，具有不規(guī)則 的紋理特征;所述目標區(qū)域，即Target區(qū)域是具有角點特性的結(jié)構(gòu)化剛體區(qū)域。選取9類天 氣動態(tài)天空場景區(qū)域劃分如圖3(a)-3(i)所示。
[0035] (2)背景區(qū)域R0I1、R0I2、R0I3和ROM中分別提取紋理特征和功率譜斜率特征，即 在灰度共生矩陣的〇°，45°，90°和135°四個方向的能量(energy)和熵(entropy)上計算紋理 特征。其中，能量是衡量圖像的同質(zhì)性或均勻性，反映背景區(qū)域的紋理粗細程度；能量為
其中，energy為能量，i和j為灰度級，k為圖像的灰度級數(shù)目，p(i，j)為 ，
灰度共生矩陣GLCM的元素。熵是衡量背景區(qū)域一致性的參數(shù)，背景區(qū)域的灰度分布均勻時熵值 較大，而背景區(qū)域的灰度值分散和變化較大時熵值較小 其中，entropy為熵，lg為對數(shù)計算。功率譜斜率特征是分析背景區(qū)域中不同的能量頻率的
分布情況，進而根據(jù)分布情況來識別天氣； 其中A是縮放 > 因子的常數(shù)，S(f)是背景區(qū)域圖像關(guān)于半徑f的功率譜函數(shù)。
[0036] (3)目標區(qū)域Target中提取對比度特征和銳度特征，即采用目標區(qū)域亮度的標準 差來計算對比度，目標區(qū)域梯度模的方差來計算銳度特征。銳度特征是以梯度模的波動反 映目標的邊緣信息，即銳度特征用梯度模的方差表示為@^ = ΣΣΡ(〃，ν)-02其中s(u， V)為目標區(qū)域的梯度模，友為梯度模的均值;所述的目標區(qū)域提取銳度特征反映動態(tài)天空 場景中目標輪廓的明顯程度。
[0037] (4)對動態(tài)天空場景訓練集{χ,.,.ν, 進行多核學習，得到代表圖像特征的單核函數(shù)Km (x，h)所對應的權(quán)重dm，其中h為目標區(qū)域和背景區(qū)域的天氣特征，yi為天氣識別的標號，通過
將m個單核函數(shù)線性加權(quán)組合成多核函數(shù)K(X，Xi)， 其中Μ為單核函數(shù)的總數(shù);通過訓練得到權(quán)重dm來完成測試集中目標區(qū)域和背景區(qū)域的圖 像特征融合。
[0038] (5)將測試集的背景區(qū)域的紋理特征和功率譜斜率特征，目標區(qū)域的對比度特征 和銳度特征作為訓練好的多核學習方法的輸入，按訓練得到各類天氣特征的權(quán)重參數(shù)d m進 行特征融合識別天氣，
其中和P是通過 動態(tài)天空場景訓練集只^訓練得出的參數(shù)，fm(x)為多核學習的輸出，得到天氣識別結(jié) 果。
[0039] 運用以上方法，對9類天氣的識別正確率可參見如下表： Γ00401
[0042] 上表可看出本發(fā)明對動態(tài)天空場景各類天氣均有較高的識別率，其中晴天有云 (1)、大陰天(4)、中陰天(5)、中霧天(8)和小霧天(9)的識別正確率均超過0.9;大霧天(7)的 識別率為0.8652;晴天(2)、小晴天(3)和小陰天(6)的識別正確率分別為0.6267、0.8462和 0.7582，該3類動態(tài)天空場景小部分相互錯誤識別，由于光電跟蹤系統(tǒng)灰度成像分辨率低、 信息量有限，而晴天、小晴天和小陰天的天氣特性相似，分類較細且無明顯的天氣分類界 限。
[0043] 本發(fā)明與現(xiàn)有的圖像全局特征和選取圖像的代表性區(qū)域的方法的識別率對比，為 了得到有效的識別正確率，將實驗重復了 10次，再用10次實驗識別率的平均值對比如下表：
[0045]上表可看出本發(fā)明的天氣識別正確率為88.831%，要優(yōu)于其他兩種方法，即將動 態(tài)天空場景的目標區(qū)域和背景區(qū)域特征融合，相比于圖像全局特征或單一背景代表性區(qū)域 特征的天氣識別正確率高。
[0046]圖4為進一步分析本發(fā)明的各類天氣下識別正確率。本發(fā)明相比其他兩種方法在 識別正確率上均有提高，尤其在晴天、小晴天和小陰天，因該3類天氣狀況下背景區(qū)域清晰、 均勻且單一，特征具有相似性，很難僅依靠背景區(qū)域特征識別，可利用目標區(qū)域天氣特征的 差異性，提高動態(tài)天空場景天氣識別正確率。
[0047]圖5為全局對比度與天氣識別正確率的關(guān)系，同時也反映天氣圖像質(zhì)量與識別正 確率的關(guān)系。為了分析動態(tài)天空場景中目標對天氣識別的影響，本發(fā)明采用全局對比度來 反映目標的尺度變化。由圖5可知，本發(fā)明的隨對比度的增加，較其他兩種方法的下降更加 緩慢，識別正確率幾乎趨于穩(wěn)定，識別正確率均在0.8以上，即本發(fā)明既可以消除目標尺度 變化對圖像天氣特征的影響，同時目標區(qū)域特征可以為動態(tài)場景天氣識別提供有用信息。 [0048]本發(fā)明分析各類天氣的目標區(qū)域和背景區(qū)域的權(quán)重如圖6所示，可看出背景區(qū)域 特征在動態(tài)天空場景天氣識別權(quán)重較大，即在天氣識別中作用較大。晴天(2)、小晴天(3)和 小陰天(6)的目標區(qū)域的權(quán)重相對目標區(qū)域的平均權(quán)重有明顯增加，即目標區(qū)域?qū)μ鞖庾R 別的貢獻率相對平均貢獻要高，同本發(fā)明相比其他兩種方法在該3類天氣識別正確率上均 有提1? 〇
【主權(quán)項】
1. 基于動態(tài)場景感知的天氣識別方法，其特征在于，該方法包括： 步驟一:分析動態(tài)天空場景的組成及其在不同天氣狀況下的圖像特性;所述的動態(tài)天 空場景的組成包括背景區(qū)域和目標區(qū)域； 步驟二:采用Harris角點檢測算法來確定場景中目標區(qū)域和背景區(qū)域的位置，對目標 區(qū)域和背景區(qū)域進行劃分； 步驟三:對背景區(qū)域提取紋理特征； 步驟四：對背景區(qū)域提取功率譜斜率特征； 步驟五:對目標區(qū)域提取對比度特征； 步驟六:對目標區(qū)域提取銳度特征； 步驟七:根據(jù)光電跟蹤系統(tǒng)采集的圖像數(shù)據(jù)庫建立動態(tài)天空場景訓練集;對動態(tài)天空 場景訓練集進行多核學習的訓練，提取圖像特征的權(quán)重并將背景區(qū)域和目標區(qū)域特征融 合； 步驟八:利用多核學習方法進行天氣的識別； 所述的圖像特征包括:紋理特征、功率譜斜率特征、對比度特征和銳度特征。2. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述背景區(qū) 域是不同天氣狀況下云層或天空的圖像區(qū)域，該圖像區(qū)域具有不規(guī)則的紋理特征;所述目 標區(qū)域是具有角點特性的結(jié)構(gòu)化剛體區(qū)域。3. 根據(jù)權(quán)利要求1或2所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述的 Harr i s角點檢測算法是場景中的點通過Harr i s算子計算，其計算值大于設(shè)定閾值時，則該 點為角點;再分別選擇場景中角點位置的水平方向上坐標最小值umin，水平方向上坐標最大 值Umax，垂直方向上坐標最小值Vmin和垂直方向上坐標最大值Vm ax，從而確定目標區(qū)域為11 (U, V) = { (U, V) | Umin < U < Umax, Vmin < V < Vmax}，其中U和V分別為圖像水平和垂直方向上坐 標，t代表目標區(qū)域，It(U，V)為目標區(qū)域的具體位置。4. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述的背景 區(qū)域提取紋理特征是通過灰度共生矩陣GLCM獲取，分別選擇灰度共生矩陣GLCM在0°，45°， 90°和135°四個方向的能量和熵提取紋理特征;所述灰度共生矩陣GLCM是利用圖像中灰度 的空間相關(guān)特性描述圖像紋理特征信息的方法。5. 根據(jù)權(quán)利要求4所述的背景區(qū)域提取紋理特征，其特征在于:所述的能量是衡量圖像 k-rl 的同質(zhì)性或均勻性，反映背景區(qū)域的紋理粗細程度；能量為⑶〃沿'= 其中， i=0 ;=0 J .， energy為能量，i和j為灰度級，k為圖像的灰度級數(shù)目，p(i，j)為灰度共生矩陣GLCM的元素； 所述的熵是衡量背景區(qū)域一致性的參數(shù)，背景區(qū)域的灰度分布均勻時熵值大，而背景區(qū)域 k-? t-l. 的灰度值分散和變化劇烈時熵值??；熵為= ΣΣ/#·./)4/4·./)其中，entropy為 熵，lg為對數(shù)計算。6. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述的功率 譜斜率特征是分析背景區(qū)域中不同的能量頻率的分布情況，進而根據(jù)分布情況來識別天 氣;功率譜斜率為-1其中A是縮放因子的常數(shù)，S(f)是背景區(qū)域圖像關(guān)于 HJ) 半徑f的功率譜函數(shù)。7. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:對比度特征 是通過圖像亮度的標準差計算，即 <其中It(u，v)為目標區(qū)域的， 亮度，Nt為目標區(qū)域像素點個數(shù)。8. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述的銳度 特征是以梯度模的波動反映目標的邊緣信息，即銳度特征用梯度模的方差表示為 其中S(u，v)為目標區(qū)域的梯度模，及為梯度模的均值;所述的目， 標區(qū)域提取銳度特征反映動態(tài)天空場景中目標輪廓的明顯程度。9. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:建立動態(tài)天空場 景訓練集為目標區(qū)域和背景區(qū)域的天氣特征，yi為天氣識別的標號;動態(tài)天空場景 訓練集進行多核學習訓練，得到代表圖像特征的單核函數(shù)Km(x，Xl)所對應的權(quán)重dm，通 過將m個單核函數(shù)線性加權(quán)組合成多核函數(shù)K(x，xi)，B[其中Μ為單核函數(shù)的總數(shù);通過訓練得到權(quán)重dm來完成測試集中目標區(qū)域和背景區(qū)域的圖 像特征融合。10. 根據(jù)權(quán)利要求1所述的基于動態(tài)場景感知的天氣識別方法，其特征在于:所述的利 用多核學習方法進行天氣的識別是，將動態(tài)天空場景測試集輸入到訓練完成的多核學習方 法中進行天氣的識別，即根據(jù)."其中'和b*是通過動態(tài)天空場 =1 ， 景訓練集^.，>4=1訓練得出的參數(shù)，fm(x)為多核學習的輸出，即天氣識別結(jié)果。
【文檔編號】G06K9/62GK105868745SQ201610444136
【公開日】2016年8月17日
【申請日】2016年6月20日
【發(fā)明人】李正周, 李家寧, 程蓓, 邵萬興, 葛豐增
【申請人】重慶大學