一種基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)及方法與流程
本發(fā)明涉及計算機視頻、數(shù)字圖像處理領域，具體是一種基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)及方法。
背景技術(shù)：
皮帶運輸機是煤礦井下主要的物料輸送設備，皮帶運輸機能否安全、可靠、高效地運行直接影響煤礦企業(yè)的煤炭產(chǎn)出量以及維護、作業(yè)人員的人身安全。煤礦井下的皮帶運輸機輸送系統(tǒng)運行工況極其復雜，傳統(tǒng)的皮帶機保護系統(tǒng)只能對皮帶機本身的運行故障進行檢測，且多為故障發(fā)生后再進行控制。然而，這些故障有時是很嚴重的，故障停機時，皮帶機可能已經(jīng)受到了嚴重損壞。另外，由于井下作業(yè)人員違規(guī)操作等不確定因素，在膠帶輸送機上經(jīng)常會出現(xiàn)大塊矸石、支護材料、超寬的異物，直接影響膠帶輸送機及關(guān)聯(lián)設備的安全運行。傳統(tǒng)的井下異物檢測常采用傳感設備，由于傳感設備檢測的局限性，完成不了大塊矸石等異物的檢測，迫切需要加以改進。
技術(shù)實現(xiàn)要素：
針對上述現(xiàn)有技術(shù)存在的問題，本發(fā)明的目的是提供一種新型的基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)及方法，該系統(tǒng)結(jié)構(gòu)簡單、制作工藝簡便、潛水電泵安裝拆卸快捷方便，節(jié)約安裝成本。
為了實現(xiàn)上述目的，本基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)，包括：攝像頭錄像模塊，所述攝像頭錄像模塊包含至少兩個高清攝像頭，且所述高清攝像頭設置于同一皮帶的正上方或傾斜60度角；所述攝像頭錄像模塊通過局域網(wǎng)，將獲取視頻錄像分別送入數(shù)據(jù)存儲模塊和服務器處理模塊；所述數(shù)據(jù)存儲模塊設置網(wǎng)絡視頻錄像機和第一顯示器，且所述網(wǎng)絡視頻錄像機內(nèi)設硬盤存儲器及視頻輸出端口和usb擴展插槽；所述服務器處理模塊設置服務器和第二顯示器。
進一步，所述服務器包括其工作最小系統(tǒng)，且所述第二顯示器通過視頻接入端口連接所述服務器。
進一步，所述服務器外擴展聲光報警器。
一種基于多攝像頭判定的井下皮帶異物檢測方法，包括：把所述網(wǎng)絡視頻錄像機存儲的網(wǎng)絡視頻在第一顯示器上實時顯示，人工判斷異物；在所述服務器上搭載應用軟件，所述應用軟件包括：圖像顯示模塊、異物報警信息顯示模塊、異物檢測模塊、多攝像頭判定模塊；所述異物檢測模塊將服務器接受到的網(wǎng)絡視頻按照單幀提起圖像，并對單幀圖根據(jù)異物檢測算法，圈出異物并通過網(wǎng)絡視頻錄像機發(fā)射報警信號給聲光報警器；所述多攝像頭判定模塊，使用貝葉斯估計的多攝像頭判定算法，從多個高清攝像頭異物檢測的中間結(jié)果到多攝像頭判定算法整合與加工的最終結(jié)果，判定危險等級；最后，圖像顯示模塊顯示每個攝像頭監(jiān)測的實時數(shù)據(jù)，并經(jīng)過異物檢測模塊針對異物的圈中顯示和危險等級顯示，該模塊還可以自定義加載網(wǎng)絡視頻錄像機等視頻文件數(shù)據(jù)，即皮帶的異物回檢過程。
進一步，其特征在于，所述應用軟件還設置歷史查看模塊、回放下載模塊、屬性配置模塊；所述歷史查看模塊不僅記錄和查看所有歷史報警信息，還記錄和查看所有歷史報警圈中異物的圖像；所述回放下載模塊查看并獲得網(wǎng)絡視頻錄像機存儲的視頻數(shù)據(jù)，實現(xiàn)非實時的異物檢測，驗證系統(tǒng)算法及檢測漏報情況；所述屬性配置模塊對系統(tǒng)功能配置和自定義擴展。
進一步，所述異物檢測算法，根據(jù)圖像像素值將圖像分為背景圖像和前景圖像，背景圖像是井下皮帶運輸?shù)拿?，前景圖像是運輸煤里的異物，具體包括以下步驟：
第一步：初始化背景模型：每一像素建立與之對應的樣本集，這些樣本集的填充過程就是背景模型的初始化過程，具體為對于一個像素點，隨機選擇它的鄰居點的像素值作為它的樣本集的值。設v(x)為圖像x點處的像素值，n為樣本集的大小，m(x)為圖像x點處的樣本集，np(x)為圖像x點的鄰居點，則：
m(x)＝{v1,v2,v3,…,vn}
背景模型的初始化用公式表示為：
m0(x)＝{v0i|v0i∈v(np(x))},i＝1,2,3,…,n；
第二步：異物檢測：設sr(v(x))為圖像以x點為中心r為半徑的區(qū)域，minthreshold為分類標準的判定閾值，result(x)為圖像采樣點x的分類結(jié)果，1表示x點屬于背景圖像即物料煤，0表示x點屬于前景圖像即異物，num表示數(shù)目；則異物檢測過程可用公式表示為：
第三步：更新背景模型：在煤礦井下運輸物料時，背景不一在所難免，如光照的影響，此檢測算法要能夠適應背景的不斷變化；本圖像檢測算法采取的更新算法是保守的更新策略與前景點計數(shù)方法；保守的更新策略是前景點永遠不會被用來填充背景模型，如一束光突然照在了某個區(qū)域，第一時間會被檢測為前景即異物，接著會一直被當作前景即異物處理，前景點計數(shù)方法就是來避免這種情況的；前景點計數(shù)方法是對圖像的采樣點進行統(tǒng)計，如果某個采樣點連續(xù)k次被檢測為前景即異物，則將其更新為背景點。；具體為：該檢測算法不會通過每一個新的視頻幀都會更新背景模型的每一個點的像素值，事實上這也是沒有必要的；當一個樣本點被分類為背景點時，該樣本點會有1/λ的概率來更新它的背景模型，在它的樣本集m(x)中隨機選擇一個樣本點的像素值進行填充更新；當一個樣本點被分類為背景點時，該樣本點會有1/λ的概率去更新它的鄰居點的背景模型，方法是在它的鄰居點的樣本集中m(np(x))隨機選擇一個樣本點的像素值進行填充更新；當一個樣本點連續(xù)k次被分類為前景點時，將它變成背景點，然后有1/λ的概率來更新它的背景模型，接著依次不斷的向外擴散更新；
第四步：機器學習補充檢測：上述圖像檢測算法計算量小，速度快，但是對于像素值接近煤的部分可能存在漏報現(xiàn)象，本算法采取圖像特征機器學習來彌補檢測。機器學習算法采取離線訓練，在線分類。對于圖像檢測算法未檢測到異物的部分經(jīng)由機器學習算法在線分類，以防漏報；
進一步，所述多攝像頭判定算法包括以下步驟：
步驟1：建模：皮帶異物的危險等級有正常、一般和危險三個等級，攝像頭針對危險等級的檢測結(jié)果用r1、r2、r3描述，設攝像頭的判定結(jié)果為事件x，皮帶異物的危險等級結(jié)果為事件a，攝像頭的個數(shù)為n，每個危險等級檢測到的個數(shù)分別為k1、k2、k3，每個危險等級檢測到的比例分別為p1、p2、p3，顯然滿足：
p1+p2+p3＝1
k1+k2+k3＝n
貝葉斯公式為：
多項分布的公式為:
狄利克雷分布的公式為：
貝葉斯參數(shù)估計的基本過程是：先驗分布+數(shù)據(jù)觀察＝后驗分布
由dirichlet-multinomial共軛可知本多攝像頭判定背景的模型描述如下：
1)先驗概率
2)觀察數(shù)據(jù)
3)在給定的觀察數(shù)據(jù)后，
步驟2：推導：由步驟1的建模結(jié)果知，設dirichletdistribution的系數(shù)為λ，則先驗概率公式為：
后驗概率公式為：
基于以上條件，在貝葉斯公式中，p(a)在不同x值表現(xiàn)下是不變的，所以p(a)可以不作分析。則有：
即:
皮帶最終的危險等級修正期望求解表達式如下：
由dirichletdistribution的期望公式為：
得修正期望的危險等級為：
步驟3：結(jié)論：經(jīng)過此貝葉斯估計修正期望的方式使檢測異物的結(jié)果盡量避免了攝像頭的檢測誤差或誤判以及攝像頭的機械誤差。最終的多攝像頭的判定結(jié)果為rank(k1+k2+k3)公式為：
其中m為先驗概率里攝像頭的總數(shù)，α1,α2,α3分別為m個攝像頭中報警危險等級為正常r1、一般r2、危險r3的個數(shù)；其中n為井下皮帶檢測攝像頭的總數(shù)，k1,k2,k3分別為n個攝像頭中報警危險等級為正常r1、一般r2、危險r3的個數(shù)。
與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：
本發(fā)明把圖像檢測方法應用到煤礦井下皮帶，實時檢測皮帶異物。單純的圖像檢測方法比較固化，基于機器學習的圖像檢測算法時間一般較長，滿足不了井下皮帶每幀圖像的實時檢測工作。本發(fā)明實現(xiàn)的是圖像檢測算法與機器學習算法協(xié)同的井下皮帶異物檢測算法，主要檢測工作由圖像檢測算法完成，圖像特征的機器學習算法用來彌補前者不足，使系統(tǒng)即滿足了實時性又能越來越“聰明”。圖像檢測算法也存在一些漏檢、誤檢等問題，本發(fā)明是多攝像頭同時檢測，采用基于貝葉斯估計的多攝像判定算法，使結(jié)果更加真實可靠。
附圖說明
圖1是本發(fā)明井下皮帶異物檢測系統(tǒng)的模塊原理圖；
圖2是本發(fā)明應用軟件的模塊圖；
圖3是本發(fā)明井下皮帶異物檢測系統(tǒng)異物檢測流程圖。
具體實施方式
下面結(jié)合附圖對本發(fā)明做進一步說明。
如圖1所示，本基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)，包括：攝像頭錄像模塊，所述攝像頭錄像模塊包含至少兩個高清攝像頭2，且所述高清攝像頭2設置于同一皮帶1的正上方或傾斜60度角，該模塊主要完成實時監(jiān)測井下皮帶運輸煤炭過程；所述攝像頭錄像模塊通過局域網(wǎng)，將獲取視頻錄像分別送入數(shù)據(jù)存儲模塊和服務器處理模塊；所述數(shù)據(jù)存儲模塊設置網(wǎng)絡視頻錄像機3和第一顯示器4，且所述網(wǎng)絡視頻錄像機3內(nèi)設硬盤存儲器，主要完成高清攝像頭監(jiān)測數(shù)據(jù)的存儲，第一顯示器4通過網(wǎng)絡視頻錄像機的視頻輸出端口一方面實時顯示每一攝像頭的錄制過程，同時視頻錄像機3內(nèi)設硬盤存儲器設置usb擴展插槽；所述服務器處理模塊設置服務器5和第二顯示器6，該模塊用來安裝軟件模塊，提供軟件模塊的運行環(huán)境，同時還可以實現(xiàn)對高清攝像頭和網(wǎng)絡視頻錄像機的配置過程。
進一步，所述服務器5包括其工作最小系統(tǒng)，包括鍵盤鼠標等外圍設備，且所述第二顯示器6通過視頻接入端口連接所述服務器。
進一步，所述服務器5外擴展聲光報警器。
如圖2所示，軟件模塊包括圖像顯示模塊、異物報警信息顯示模塊、歷史查看模塊、回放下載模塊、異物檢測模塊、多攝像頭判定模塊和屬性配置模塊。其中，圖像顯示模塊是從主窗口中分割出m*m的前m*m-1個小窗口，每添加一個攝像頭或者視頻文件都可以在一個小窗口中顯示圖像信息，同時m*m還是自適應的，隨著攝像頭增加的數(shù)目自適應增加，總是滿足m*m-1≥n，其中n是該系統(tǒng)添加的攝像頭數(shù)目與添加的視頻文件數(shù)目總和，雙擊每一圖像顯示窗口都可跳轉(zhuǎn)到單窗口界面，使該窗口以最大界面顯示，該模塊可以實時顯示攝像頭數(shù)據(jù)，也可以顯示視頻文件數(shù)據(jù)，除了圖像源數(shù)據(jù)外還包含針對異物的圈中紅線；異物報警信息顯示模塊是從主窗口中分割出m*m的最后一個小窗口，提供近期異物的報警時間、報警對象及危險等級顯示的功能，雙擊每一條目或者右鍵可以查看報警圖片，方便判斷報警效果；歷史查看模塊以獨立彈窗形式展示，不僅可以查看所有歷史報警信息，還可以查看所有歷史報警圖像，方便對系統(tǒng)報警效果進行簡單抽測評估；回放下載模塊是針對網(wǎng)絡視頻錄像機的模塊，以獨立彈窗形式顯示，可以靈活查看并獲得網(wǎng)絡視頻錄像機存儲的視頻數(shù)據(jù)，進而實現(xiàn)非實時的異物檢測，方便驗證系統(tǒng)算法及檢測漏報情況；異物檢測模塊是本基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)的核心部分之一，該模塊是異物檢測算法的具體實現(xiàn)，是通過多種檢測算法來判斷圈出異物并通過網(wǎng)絡視頻錄像機發(fā)射報警信號給聲光報警器；多攝像頭判定模塊是本基于多攝像頭判定的井下皮帶異物檢測系統(tǒng)的另一核心部分，該模塊是多攝像頭判定算法的具體實現(xiàn)，實現(xiàn)從多個高清攝像頭異物檢測的中間結(jié)果到多攝像頭判定算法整合與加工的最終結(jié)果，使異物檢測系統(tǒng)更加可靠、穩(wěn)定；屬性配置模塊使本系統(tǒng)具備可配置的特性，該模塊使系統(tǒng)題目可配置、異物報警信息顯示模塊顯示的數(shù)目可配置、歷史查看模塊保留時間長度可配置、異物檢測算法可配置、多攝像頭判定算法可配置等，進而本系統(tǒng)更加靈活多變，拓展性強。
一種井下皮帶異物檢測系統(tǒng)的基于圖像檢測算法與機器學習算法協(xié)同的井下皮帶異物檢測算法，如圖3所示，詳細給出了圖像檢測算法的流程，把圖像檢測算法應用到井下皮帶異物檢測并用機器學習算法降低誤報率及漏報率。該檢測算法把井下皮帶輸送物料的圖像分為背景圖像和前景圖像，背景圖像是井下皮帶運輸?shù)拿?，前景圖像是運輸煤里的異物，如石頭、枕木等，通過此種方式把異物檢測轉(zhuǎn)化為一個背景圖像和前景圖像的分類問題，分類的依據(jù)為圖像的像素值，具體分為四步：初始化背景模型、異物檢測過程、更新背景模型和機器學習補充檢測。詳細內(nèi)容為：
步驟1.初始化背景模型。如圖3所示，背景模型用集合back1,back2描述，前景模型用集合fore描述，樣本集用集合sample描述。為了滿足煤礦皮帶運載的實時性，該檢測算法采用的是單幀建模，即通過一幀圖像初始化背景模型，。此算法為每一像素建立與之對應的樣本集，這些樣本集的填充過程就是背景模型的初始化過程，具體為對于一個像素點，隨機選擇它的鄰居點的像素值作為它的樣本集的值。設v(x)為圖像x點處的像素值，n為樣本集的大小，m(x)為圖像x點處的樣本集，np(x)為圖像x點的鄰居點，則：
m(x)＝{v1,v2,v3,…,vn}
背景模型的初始化用公式表示為：
m0(x)＝{v0i|v0i∈v(np(x))},i＝1,2,3,…,n
步驟2.異物檢測過程。如圖3所示，實時采集的圖像數(shù)據(jù)用集合data描述，前景模型和背景模型分類依據(jù)的最小閾值用min描述。如前文所述，異物檢測過程即是確定采樣點屬于背景圖像或前景圖像的分類過程，具體為：設sr(v(x))為圖像以x點為中心r為半徑的區(qū)域，minthreshold為分類標準的判定閾值，result(x)為圖像采樣點x的分類結(jié)果，1表示x點屬于背景圖像即物料煤，0表示x點屬于前景圖像即異物，num表示數(shù)目。則異物檢測過程可用公式表示為：
步驟3.更新背景模型。在煤礦井下運輸物料時，背景不一在所難免，如光照的影響，此檢測算法要能夠適應背景的不斷變化。本圖像檢測算法采取的更新算法是保守的更新策略與前景點計數(shù)方法。保守的更新策略是前景點永遠不會被用來填充背景模型，如一束光突然照在了某個區(qū)域，第一時間會被檢測為前景即異物，接著會一直被當作前景即異物處理，前景點計數(shù)方法就是來避免這種情況的。前景點計數(shù)方法是對圖像的采樣點進行統(tǒng)計，如果某個采樣點連續(xù)k次被檢測為前景即異物，則將其更新為背景點。具體為：該檢測算法不會通過每一個新的視頻幀都會更新背景模型的每一個點的像素值，事實上這也是沒有必要的。當一個樣本點被分類為背景點時，該樣本點會有1/λ的概率來更新它的背景模型，在它的樣本集m(x)中隨機選擇一個樣本點的像素值進行填充更新；當一個樣本點被分類為背景點時，該樣本點會有1/λ的概率去更新它的鄰居點的背景模型，方法是在它的鄰居點的樣本集中m(np(x))隨機選擇一個樣本點的像素值進行填充更新；當一個樣本點連續(xù)k次被分類為前景點時，將它變成背景點，然后有1/λ的概率來更新它的背景模型，接著依次不斷的向外擴散更新。
步驟4.機器學習補充檢測。上述圖像檢測算法計算量小，速度快，但是對于像素值接近煤的部分可能存在漏報現(xiàn)象，本算法采取圖像特征機器學習進行離線訓練，在線匹配彌補圖像檢測算法的不足，同時該機器學習模塊可實現(xiàn)人工添加訓練樣本，進行訓練進而使此系統(tǒng)越來越智能越來越準確。機器學習算法采取離線訓練，在線分類。對于圖像檢測算法未檢測到異物的部分經(jīng)由機器學習算法在線分類，以防漏報。在此處要說明的是，檢測模塊主要由圖像檢測算法完成的而不是機器學習算法，原因是機器學習算法效率低，滿足不了每一圖像幀檢測的實時性。
一種井下皮帶異物檢測系統(tǒng)的基于貝葉斯估計的多攝像頭判定算法，如圖3所示，圖像檢測算法后綜合多攝像頭的檢測結(jié)果，利用多攝像頭判定算法修正報警結(jié)果，把貝葉斯估計應用到多攝像頭判定，算法的推導過程具體分為四步：建模、推導和結(jié)論。算法的詳細推導內(nèi)容為：
步驟1.建模。皮帶異物的危險等級有正常、一般和危險三個等級，攝像頭針對危險等級的檢測結(jié)果用r1、r2、r3描述，設攝像頭的判定結(jié)果為事件x，皮帶異物的危險等級結(jié)果為事件a，攝像頭的個數(shù)為n，每個危險等級檢測到的個數(shù)分別為k1、k2、k3，每個危險等級檢測到的比例分別為p1、p2、p3，顯然滿足：
p1+p2+p3＝1
k1+k2+k3＝n
貝葉斯公式為：
多項分布的公式為:
狄利克雷分布的公式為：
貝葉斯參數(shù)估計的基本過程是：先驗分布+數(shù)據(jù)觀察＝后驗分布
由dirichlet-multinomial共軛可知本多攝像頭判定背景的模型描述如下：
1)先驗概率
2)觀察數(shù)據(jù)
3)在給定的觀察數(shù)據(jù)后，
步驟2.推導。由步驟1的建模結(jié)果知，設dirichletdistribution的系數(shù)為λ，則先驗概率公式為：
后驗概率公式為：
基于以上條件，在貝葉斯公式中，p(a)在不同x值表現(xiàn)下是不變的，所以p(a)可以不作分析。則有：
即:
皮帶最終的危險等級修正期望求解表達式如下：
由dirichletdistribution的期望公式為：
得修正期望的危險等級為：
步驟3.結(jié)論。經(jīng)過此貝葉斯估計修正期望的方式使檢測異物的結(jié)果盡量避免了攝像頭的檢測誤差或誤判以及攝像頭的機械誤差。最終的多攝像頭的判定結(jié)果為rank(k1+k2+k3)公式為：
其中m為先驗概率里攝像頭的總數(shù)，α1,α2,α3分別為m個攝像頭中報警危險等級為正常r1、一般r2、危險r3的個數(shù)；其中n為井下皮帶檢測攝像頭的總數(shù)，k1,k2,k3分別為n個攝像頭中報警危險等級為正常r1、一般r2、危險r3的個數(shù)。
- 還沒有人留言評論。精彩留言會獲得點贊！