本發(fā)明涉及一種復雜背景下小目標丟失故障的自動識別方法，屬于圖像處理技術領域。

背景技術：

利用現代科技手段開展機械設備的狀態(tài)監(jiān)測和故障診斷，是提高設備可靠性和安全運行的重要途徑之一。由于其社會和經濟效益好，發(fā)展前景廣闊，在電子電器、航天航空、機械制造、國防工業(yè)、交通運輸等眾多領域都得到了廣泛的應用。

目前應用較成熟的故障診斷方法主要包括：溫度檢測技術、聲學與振動技術、電氣參數檢測技術、動態(tài)壓力檢測技術等等。隨著人工智能的快速發(fā)展，一種基于圖像識別技術的智能故障診斷方法逐步受到廣泛的研究和關注。這種基于圖像識別技術的智能故障診斷方法又稱為目標故障識別方法，是利用計算機分析目標圖像，從中提取有效的圖像特征，用來辨別目標是否存在故障的一門技術，是目前人工智能領域的一個熱點研究方向。

通過將具有圖像識別功能的軟件部署在智能故障診斷設備中，可以使該設備具有自動故障識別的功能。然而在實際應用中，受到光照變化和復雜背景的影響，高效、高精度的小目標丟失故障識別成為模式識別和故障診斷領域的難點之一。

技術實現要素：

本發(fā)明的技術解決問題為：克服現有技術的不足，提出一種具有高效、高精度、魯棒性強的復雜背景下小目標丟失故障自動識別方法。

本發(fā)明的技術解決方案是：

一種復雜背景下小目標丟失故障的自動識別方法，步驟如下：

(1)采用滑動窗口的方法以從左到右、從上到下的順序，掃描輸入圖像；所述輸入圖像是指待檢測的圖像；

(2)采用候選ROI分類器對步驟(1)中滑動窗口獲得的各個圖像進行分類識別，識別出待檢測圖像中的候選感興趣區(qū)域；

(3)采用ROI分類器對步驟(2)中識別出的候選感興趣區(qū)域進行分類識別，識別出待檢測圖像中的感興趣區(qū)域；

(4)采用小目標分類器對步驟(3)中識別出的感興趣區(qū)域進行小目標識別，通過識別結果判斷小目標是否丟失，若丟失，則表示發(fā)生故障；若未丟失，則表示無故障，從而完成復雜背景下小目標丟失故障的自動識別；

所述識別結果是指識別出小目標或者未識別出小目標。

所述步驟(2)采用候選ROI分類器對滑動窗口獲得的各個圖像進行分類識別，具體為：

(2.1)對正樣本圖像和負樣本圖像提取Haar-like特征作為輸入數據；所述正樣本圖像是指ROI區(qū)域圖像，負樣本圖像是指不包含ROI區(qū)域的背景圖像；

(2.2)使用AdaBoost算法對所述輸入數據進行訓練，得到候選ROI分類器；

(2.3)使用候選ROI分類器對步驟(1)中滑動窗口獲得的各個圖像進行分類識別，識別出待檢測圖像中的候選感興趣區(qū)域。

所述步驟(3)采用ROI分類器對候選感興趣區(qū)域進行分類識別，具體為：

(3.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據；所述正樣本圖像是指ROI區(qū)域圖像，負樣本圖像是指不包含ROI區(qū)域的背景圖像；

(3.2)使用RBF-SVM算法對所述輸入數據進行訓練，得到ROI分類器；

(3.3)使用ROI分類器對步驟(2)中識別得到的候選感興趣區(qū)域進行分類識別，識別出待檢測圖像中的感興趣區(qū)域。

所述步驟(4)采用小目標分類器對感興趣區(qū)域進行小目標識別，具體為：

(4.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據；所述正樣本圖像是指小目標未丟失的區(qū)域圖像，負樣本圖像是指小目標丟失的區(qū)域圖像；

(4.2)使用Linear-SVM算法對所述輸入數據進行訓練，得到小目標分類器；

(4.3)使用小目標分類器對步驟(3)中識別出的感興趣區(qū)域進行小目標識別。

所述步驟(3.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據，均通過如下步驟進行：

(5.1)針對待分析的圖像I(x,y)，利用公式將圖像I(x,y)轉換為梯度圖像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

(5.2)采用局部二值模式算法將步驟(5.1)獲得的梯度圖像G(x,y)轉換為梯度編碼圖像G′(x,y)；

(5.3)從步驟(5.2)所獲得的梯度編碼圖像G′(x,y)上計算共生矩陣，得到梯度編碼共生矩陣P；

(5.4)采用主成分分析方法對步驟(5.3)所獲得的梯度編碼共生矩陣P進行降維處理，得到低維的梯度編碼共生矩陣P′；

(5.5)對步驟(5.4)所獲得的低維的梯度編碼共生矩陣P′進行歸一化處理，得到最終的PCA-GCCM特征。

本發(fā)明與現有技術相比的優(yōu)點在于：

(1)本發(fā)明提出了基于Haar-like特征和AdaBoost算法的候選ROI分類器，使用簡單的Haar-like特征從復雜圖像中分割出與感興趣區(qū)域相似度較大的候選感興趣區(qū)域，具有快速排除復雜背景圖像的作用，大大減少了識別時間；

(2)本發(fā)明提出的PCA-GCCM特征先后利用了梯度信息對光照變化魯棒的優(yōu)勢、局部二值模式算法能夠很好的表征圖像的局部結構特征的優(yōu)勢、共生矩陣方法能夠很好的反映像素特征值之間的空間相關規(guī)律的優(yōu)勢、主成分分析方法能夠有效的降低特征維數的優(yōu)勢，因此本發(fā)明提出的PCA-GCCM特征對于復雜背景和復雜光照具有很好的魯棒性。

(3)本發(fā)明提出的基于PCA-GCCM特征和RBF-SVM算法的ROI分類器，使用鑒別力強的PCA-GCCM特征來表征ROI，大大提高了識別準確率。

(4)本發(fā)明提出的基于級聯(lián)分類器的識別思路，首先，通過候選ROI分類器依次對滑動窗口獲得的各個圖像進行檢測，識別出待檢測圖像中的候選感興趣區(qū)域；然后，通過ROI分類器對候選感興趣區(qū)域進行檢測，識別出感興趣區(qū)域；最后，通過小目標分類器對感興趣區(qū)域進行小目標識別，通過識別結果判斷小目標是否丟失，體現了先整體后局部的故障識別思路，完成小目標丟失故障的全自動識別，有效地提高了故障識別的準確率和實時性。

附圖說明

圖1是本發(fā)明的工作流程圖。

圖2是本發(fā)明一具體實施例的待處理圖像。

圖3是本發(fā)明一具體實施例的待識別小目標。

圖4是本發(fā)明一具體實施例的感興趣區(qū)域。

圖5是本發(fā)明一具體實施例的候選ROI分類器訓練集正、負樣本采集示意圖。

圖6為本發(fā)明一具體實施例的小目標分類器訓練集正、負樣本采集示意圖，其中，圖6(a)是正樣本采集示意圖，圖6(b)是負樣本采集示意圖。

圖7是本發(fā)明一具體實施例的候選ROI分類器的識別結果圖。

圖8是本發(fā)明一具體實施例的ROI分類器的識別結果圖。

圖9是本發(fā)明一具體實施例的小目標丟失故障的識別結果圖，其中，圖9(a)為故障圖，圖9(b)為無故障圖；

圖10是本發(fā)明一具體實施例與現有識別方法的性能對比圖。

具體實施方式

本發(fā)明提供了一種復雜背景下小目標丟失故障的自動識別方法，它利用級聯(lián)分類器的思路解決復雜背景下小目標丟失故障的自動識別問題。首先，通過滑動窗口的方法掃描待檢測圖像；第二步，通過候選ROI分類器依次對滑動窗口獲得的各個圖像進行檢測，識別出待檢測圖像中的候選感興趣區(qū)域；第三步，通過ROI分類器對候選感興趣區(qū)域進行檢測，識別出感興趣區(qū)域；最后，通過小目標分類器對感興趣區(qū)域進行小目標識別，通過識別結果判斷小目標是否丟失，若丟失，則表示發(fā)生故障，若未丟失，則表示無故障，從而完成復雜背景下小目標丟失故障的自動識別。其中，感興趣區(qū)域為包含待識別小目標的區(qū)域。這種級聯(lián)分類器的思路是一種由粗到細的識別思路，也就是首先從待檢測圖像中識別出包含小目標的感興趣區(qū)域，然后在感興趣區(qū)域內識別出小目標。

本發(fā)明中分類器是離線訓練完成的，小目標識別有效提高了小目標丟失故障的識別率，保證了識別的實時性。將這種方法應用于鐵路貨車折角塞門把手丟失故障識別系統(tǒng)中，故障識別率達到了99.88％，識別速度達到了11幀/秒，識別性能優(yōu)于現有的識別方法，滿足了實際應用的需求。

如圖1所示，本發(fā)明提供的復雜背景下小目標丟失故障的自動識別方法，步驟如下：

(1)采用滑動窗口的方法以從左到右、從上到下的順序，掃描輸入圖像；所述輸入圖像是指待檢測的圖像；

(2)采用候選ROI分類器對步驟(1)中滑動窗口獲得的各個圖像進行分類識別，識別出待檢測圖像中的候選感興趣區(qū)域；

步驟(2)采用候選ROI分類器對滑動窗口獲得的各個圖像進行分類識別，具體為：

(2.1)對正樣本圖像和負樣本圖像提取Haar-like特征作為輸入數據；所述正樣本圖像是指ROI區(qū)域圖像，負樣本圖像是指不包含ROI區(qū)域的背景圖像；

(2.2)使用AdaBoost算法對所述輸入數據進行訓練，得到候選ROI分類器；

(2.3)使用候選ROI分類器對步驟(1)中滑動窗口獲得的各個圖像進行分類識別，識別出待檢測圖像中的候選感興趣區(qū)域。

需要說明的是，使用候選ROI分類器對滑動窗口獲得的各個圖像進行識別，只有通過候選ROI分類器的圖像才判定為候選感興趣區(qū)域。

(3)采用ROI分類器對步驟(2)中識別出的候選感興趣區(qū)域進行分類識別，識別出待檢測圖像中的感興趣區(qū)域；

步驟(3)采用ROI分類器對候選感興趣區(qū)域進行分類識別，具體為：

(3.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據；所述正樣本圖像是指ROI區(qū)域圖像，負樣本圖像是指不包含ROI區(qū)域的背景圖像；

步驟(3.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據，均通過如下步驟進行：

(a)針對待分析的圖像I(x,y)，利用公式將圖像I(x,y)轉換為梯度圖像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

(b)采用局部二值模式算法將步驟(a)獲得的梯度圖像G(x,y)轉換為梯度編碼圖像G′(x,y)；

(c)從步驟(b)所獲得的梯度編碼圖像G′(x,y)上計算共生矩陣，得到梯度編碼共生矩陣P；

(d)采用主成分分析方法對步驟(c)所獲得的梯度編碼共生矩陣P進行降維處理，得到低維的梯度編碼共生矩陣P′；

(e)對步驟(d)所獲得的低維的梯度編碼共生矩陣P′進行歸一化處理，得到最終的PCA-GCCM特征。

(3.2)使用RBF-SVM算法對所述輸入數據進行訓練，得到ROI分類器；

(3.3)使用ROI分類器對步驟(2)中識別得到的候選感興趣區(qū)域進行分類識別，識別出待檢測圖像中的感興趣區(qū)域。

(4)采用小目標分類器對步驟(3)中識別出的所述感興趣區(qū)域進行小目標識別，通過識別結果判斷小目標是否丟失，若丟失，則表示發(fā)生故障；若未丟失，則表示無故障，從而完成復雜背景下小目標丟失故障的自動識別；

識別結果是指識別出小目標或者未識別出小目標。

步驟(4)采用小目標分類器對感興趣區(qū)域進行小目標識別，具體為：

(4.1)對正樣本圖像和負樣本圖像提取PCA-GCCM特征作為輸入數據；所述正樣本圖像是指小目標區(qū)域圖像，負樣本圖像是指不包含小目標區(qū)域的背景圖像；

(4.2)使用Linear-SVM算法對所述輸入數據進行訓練，得到小目標分類器；

(4.3)使用小目標分類器對步驟(3)中識別出的所述感興趣區(qū)域進行小目標識別。

基于級聯(lián)分類器的思路是指：將訓練得到的候選ROI分類器、ROI分類器和小目標分類器進行級聯(lián)，首先使用候選ROI分類器對滑動窗口獲得的各個圖像進行識別，只有通過候選ROI分類器的圖像才判定為候選感興趣區(qū)域；然后使用ROI分類器對已識別出的候選感興趣區(qū)域進行分類識別，識別出待檢測圖像中的感興趣區(qū)域；最后采用小目標分類器對步驟(3)中識別出的所述感興趣區(qū)域進行小目標識別，通過識別結果判斷小目標是否丟失，若識別出小目標，則表示小目標丟失，得到“故障”的識別結果；若未識別出小目標，則表示小目標未丟失，得到“無故障”的識別結果，從而完成復雜背景下小目標丟失故障的自動識別。

本發(fā)明實施例的復雜背景下小目標丟失故障的自動識別方法，需要預先確定含有待識別小目標的感興趣區(qū)域。下面以一個具體的鐵路貨車折角塞門把手丟失故障識別的例子說明感興趣區(qū)域確定的過程。參見圖2，鐵路貨車上的折角塞門把手為待識別的小目標，而根據鐵路貨車的機械結構特點，塞門把手是安裝在折角塞門上的，因此人工選擇折角塞門作為感興趣區(qū)域(如圖4所示)。這種方法充分利用了人的先驗知識，且非常具有針對性，使目標識別效率高，識別更加準確。

實施例

下面以一個具體的鐵路貨車折角塞門把手丟失故障識別的例子說明復雜背景下小目標丟失故障的自動識別方法。折角塞門是鐵路貨車基礎制動裝置中的一個關鍵部件，它通過一個塞門把手來操縱列車與制動軟管之間空氣通路的開關。在列車運行時，除列車頭、尾兩個折角塞門應處于關閉位外，其余中間的每個折角塞門均應處于開通位，以便列車管實現輸送壓力空氣和控制列車制動、緩解作用的兩大任務。當塞門的把手和列車管平行時為開通位，垂直時為關閉位。列車行駛的大忌是折角塞門的關閉，這會造成重大事故。由于折角塞門的重要性，為確保折角塞門安全，常由經驗豐富的列檢員人工檢測折角塞門把手是否處于正確位置。由于貨車在行進過程中長期的顛簸震動，常造成折角塞門把手丟失，這給正確判別及更改折角塞門的狀態(tài)造成困難，是一類多發(fā)且較為嚴重的故障。目前，鐵路貨車折角塞門把手丟失故障的識別仍由人工進行，這種識別方式費時費力且維護成本高。因此，研究一種快速、準確率高的鐵路貨車折角塞門把手丟失故障識別方法具有很積極的現實意義。

此處需要說明的是，在本例中，塞門把手為待識別小目標(如圖3所示)，預先確定折角塞門為感興趣區(qū)域(如圖4所示)，因此，候選ROI分類器為候選折角塞門分類器，ROI分類器為折角塞門分類器，小目標分類器為塞門把手分類器。

本實施例具體包括如下步驟：

1、訓練候選折角塞門分類器，利用鐵路現場采集的折角塞門部位圖像，裁剪出圖像中的折角塞門區(qū)域以及背景區(qū)域，并提取它們的Haar-like特征作為輸入數據，采用AdaBoost算法訓練生成候選折角塞門分類器。具體步驟如下：

1.1、構建訓練集；

本實施例采用鐵路現場采集的1500幅1400×1024像素的折角塞門部位圖像，對這些圖像，人工裁剪出196×128像素的折角塞門作為正樣本。負樣本從這些圖像中不包含折角塞門物體的背景區(qū)域隨意裁剪，大小同樣為196×128像素。最終用于訓練候選折角塞門分類器的訓練集共有正樣本1500個，負樣本3500個。正負樣本的采集如圖5所示。

1.2、對于步驟1.1構建的訓練集中的正、負樣本，提取它們的Haar-like特征作為輸入數據，并采用AdaBoost算法訓練生成分類器，具體方法參見論文“P.Viola,and J.J.Michael,Robust real-time face detection,International journal of computer vision.2004,57(2):137-154,2004”；

1.3、將步驟1.2中訓練得到的分類器作為候選折角塞門分類器。

2、訓練折角塞門分類器，利用步驟1.1構造的訓練集中的正、負樣本，提取它們的PCA-GCCM特征作為輸入數據。采用RBF-SVM算法訓練生成折角塞門分類器。具體步驟如下：

2.1、利用步驟1.1構造的訓練集作為折角塞門分類器的訓練集。

2.2、對于步驟2.1構建的訓練集中的正、負樣本，提取它們的PCA-GCCM特征，具體為：

2.2.1、通過將折角塞門部位圖像I(x,y)，利用公式將圖像I(x,y)轉換為梯度圖像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

2.2.2、采用局部二值模式算子將梯度圖像G(x,y)轉換為梯度編碼圖像G′(x,y)，其中N(x,y)為位于(x,y)處像素的局部空間鄰域，通常為一個3×3區(qū)域，且比較函數當G(x,y)<G(x′,y′)時為1，當G(x,y)>G(x′,y′)時為0，表示串聯(lián)操作。

2.2.3、從梯度編碼圖像G′(x,y)上計算共生矩陣，得到梯度編碼共生矩陣P；

2.2.4、對梯度編碼共生矩陣P進行主成分分析，得到低維的梯度編碼共生矩陣P′，具體方法參見論文“S.Wold,K.Esbensen,P.Geladi,Principal component analysis,Chemometrics and intelligent laboratory systems,2(1987)37-52”；

2.2.5、利用公式對低維的梯度編碼共生矩陣P′進行歸一化處理，其中ε為一個極小的常數值，得到最終的PCA-GCCM特征。

2.3、將步驟2.2中提取的PCA-GCCM特征作為輸入數據，并采用RBF-SVM算法訓練生成分類器；

2.4、將步驟2.3中訓練得到的分類器作為折角塞門分類器。

3、訓練塞門把手分類器，利用鐵路現場采集的折角塞門部位圖像，裁剪出圖像中的塞門把手區(qū)域以及塞門把手丟失區(qū)域，并提取它們的PCA-GCCM特征作為輸入數據。采用Linear-SVM算法訓練生成塞門把手分類器。具體步驟如下：

3.1、構建訓練集；

選取步驟1.1構造的訓練集中的1000幅192×128像素的折角塞門圖像，對這些圖像，人工裁剪出98×128像素的塞門把手圖像作為正樣本，98×128像素的塞門把手丟失圖像作為負樣本。最終用于訓練塞門把手分類器的訓練集共有正樣本500個，負樣本500個。正負樣本的采集如圖6(a)和圖6(b)所示。

3.2、對于步驟3.1構建的訓練集中的正、負樣本，提取它們的PCA-GCCM特征。

3.3、將步驟3.2中提取的PCA-GCCM特征作為輸入數據，并采用Linear-SVM算法訓練生成分類器；

3.4、將步驟3.3中訓練得到的分類器作為塞門把手分類器。

4、針對待分析的折角塞門部位圖像，采用基于級聯(lián)分類器的識別思路，完成折角塞門把手丟失故障的全自動識別，具體步驟如下：

4.1、以4個像素為間隔對待分析的折角塞門部位圖像進行移位采樣，采樣窗口為196×128像素，并提取每個采用窗口區(qū)域的Haar-like特征，送入候選折角塞門分類器進行識別，得到一系列候選折角塞門圖像。本發(fā)明采用積分圖技術加速計算Haar-like特征，具體方法參見論文“P.Viola,and J.J.Michael,Robust real-time face detection,International journal of computer vision.2004,57(2):137-154,2004”；

4.2、針對步驟4.1得到的候選折角塞門圖像，提取每個候選折角塞門圖像的PCA-GCCM特征，送入折角塞門分類器進行識別，得到唯一的折角塞門圖像。

4.3、針對步驟4.2得到的折角塞門圖像，提取其左半部分大小為98×128像素的區(qū)域，送入塞門把手分類器識別出塞門把手是否丟失，如果判斷塞門把手丟失，則得到“故障”的識別結果，如果判斷塞門把手未丟失，則得到“無故障”的識別結果，最終完成塞門把手丟失故障的全自動識別。其中，候選ROI分類器、ROI分類器和小目標分類器，是通過離線訓練完成的；然后將訓練好的分類器用于小目標在線識別。本實施例中，采用DALSA HM1400高速CCD攝像機在鐵路現場采集4000幅1400x1024像素的折角塞門部位圖像。本實施例的故障識別率達到了99.88％，識別速度達到了11幀/秒。

圖7是候選折角塞門分類器的識別結果圖，圖中白色矩形框為識別出的候選折角塞門?？梢钥闯觯蟛糠直尘皡^(qū)域通過候選折角塞門分類器被排除，只有少量的候選折角塞門區(qū)域被保留。通過計算量小的Haar-like特征雖然無法唯一確定折角塞門，但是它具有快速排除復雜背景圖像的作用，大大提高了識別速度。

圖8是折角塞門分類器的識別結果圖，圖中白色粗線矩形框為識別出的折角塞門?？梢钥闯觯劢侨T認證分類器能夠準確地識別出折角塞門。

圖9是折角塞門把手分類器的識別結果圖，圖中灰色粗線矩形框為把手所在區(qū)域，使用折角塞門把手分類器對該區(qū)域進行識別，識別結果在每幅圖像的左上角顯示，如圖9(a)和9(b)所示。如果折角塞門把手沒有丟失，則識別結果為“無故障”；如果折角塞門把手丟失，則識別結果為“故障”?？梢钥闯?，折角塞門把手分類器能夠準確的識別出折角塞門把手是否丟失。

分別采用本發(fā)明的復雜背景下小目標丟失故障的自動識別方法與現有的基于梯度編碼直方圖特征的識別方法(具體方法參加論文“Zhou,F.Q.,Zou,R.,Qiu,Y.F.,Gao,H.:‘Automated visual inspection of angle cocks during train operation’,Proceedings of the Institution of Mechanical Engineers,Part F:Journal of Rail and Rapid Transit.,2014,228,(7),pp.794-806”)，對含3497張無故障圖像和503張故障圖像，統(tǒng)計兩種識別方法的識別率和識別速度。圖10中曲線1為本識別方法的識別率曲線，曲線2為現有的基于梯度編碼直方圖特征的識別方法的識別率曲線，曲線越靠近左上角識別率越好。從圖10可以看出，本識別方法比現有的基于梯度編碼直方圖特征的識別方法具有更優(yōu)的識別率。

表1

另外，從表1可以看出，本發(fā)明識別方法比現有的基于梯度編碼直方圖特征的識別方法快2倍左右。綜合以上結果，本發(fā)明提出的方法在不僅具有更好的識別率，而且在識別速度上明顯優(yōu)于現有方法。