本發(fā)明屬于機器視覺與煤礦智能化，具體涉及一種基于深度學習的煤礦探放水鉆桿計數(shù)方法。

背景技術(shù)：

1、在煤礦重大安全事故中，瓦斯安全事故往往占據(jù)了較大的比例。瓦斯通常存儲在煤層中，隨著煤層開采而釋放。在井下狹小的工作環(huán)境中，瓦斯達到一定濃度，容易發(fā)生爆炸事故。為了避免或減少瓦斯事故的發(fā)生，煤礦通常采用鉆孔抽取的方式提前將瓦斯抽取并排出，鉆孔的深度影響著瓦斯抽采的效果。

2、到目前為止，傳統(tǒng)視頻監(jiān)控系統(tǒng)在煤礦井下已經(jīng)得到廣泛的應(yīng)用，但在探放水的管理仍不夠完善。在煤礦生產(chǎn)過程中，傳統(tǒng)的鉆桿計數(shù)方法主要有三種：由鉆機操作人員人工記錄打鉆鉆桿數(shù)和打鉆深度；采用接近開關(guān)，安裝在鉆機上，當鉆桿機器移動到某一位置，接近開關(guān)發(fā)出一次信號，再通過其他裝置累計計數(shù)；在鉆機上安裝相關(guān)的傳感器，將探頭與鉆機標識物之間的距離參數(shù)傳感器，將探頭與鉆機標識物之間的距離參數(shù)傳送給plc，當plc分析到鉆頭到達指定位置，控制器就會自動計數(shù)，從而實現(xiàn)鉆機的計數(shù)問題。第一種方法主要依靠人工進行記錄，可能出現(xiàn)漏記、多記、錯記等情況；第二種方法使用接近開關(guān)，井下環(huán)境惡劣、潮濕、灰塵多，接近開關(guān)容易損壞，使得鉆桿計數(shù)失效，且其原理過于簡單，誤差比較大，接近開關(guān)可以手動控制，記錄數(shù)據(jù)不可靠；第三種方法plc使用起來方便，編碼也很簡單，功能也很強大，但是鉆機的打鉆過程復(fù)雜，打鉆和取鉆不好區(qū)分等問題，主要就需要額外安裝大量的控制檢測設(shè)備，而硬件設(shè)備的價格通常比較昂貴，這樣就需要投入很大的成本，不利于推廣。

3、綜上可以發(fā)現(xiàn)，現(xiàn)有技術(shù)中不適用于煤礦鉆場實際探水進尺的檢測方法，那么，如何才能精確地識別出探水的進尺，進而將其應(yīng)用到實際的煤礦探放水監(jiān)測與管理中成為亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供了一種基于深度學習的煤礦探放水鉆桿計數(shù)方法，實現(xiàn)了打鉆及退桿的全流程檢測及計數(shù)，提高了開發(fā)效率，保證了煤礦工人的人身安全。

2、為實現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：一種基于深度學習的煤礦探放水鉆桿計數(shù)方法，具體步驟如下：

3、步驟一、獲取井下鉆探視頻流；

4、步驟二、將井下鉆探視頻流作為輸入視頻流轉(zhuǎn)化為鉆機圖像進行預(yù)處理，得到增強后的圖像；

5、步驟三、利用預(yù)構(gòu)建的目標檢測模型(定位)對鉆機圖像進行分析，確定識別目標的鉆機檢測區(qū)域，從而獲取鉆機的位置信息；

6、步驟四、對鉆機位置信息進行位置標定，獲取鉆機進給裝置的起始位置和終止位置；

7、步驟五、利用預(yù)構(gòu)建的計數(shù)模型對鉆機進給裝置位置信息進行分析，根據(jù)標定位置進行進桿與卸桿的計數(shù)，獲得當次作業(yè)的探水深度。

8、在步驟一中，具體的獲取步驟為：將攝像頭位置調(diào)整到指定位置，將鉆機位置以及角度調(diào)整到設(shè)計要求，通過web端或手機app發(fā)送打鉆開始指令，當單孔完成后，發(fā)送結(jié)束指令，ai分析模塊通過對視頻流進行編碼和解碼，獲取有效的鉆探視頻流。

9、在步驟二中，具體的圖像預(yù)處理步驟為：對獲取的視頻流通過解碼得到原圖像并進行增強得到增強圖像，對增強圖像進行去噪處理；

10、具體的圖像增強方法包括顏色空間轉(zhuǎn)換、gamma校正和clahe增強；

11、具體的去噪處理方法包括高斯濾波、中值濾波和直方圖均衡化。

12、將原圖像的rgb顏色空間轉(zhuǎn)換為ycbcr顏色空間，提取ycbcr顏色空間的y亮度分量進行限制對比度的自適應(yīng)均衡化，提高目標信息與背景之間的對比度，再轉(zhuǎn)換回rgb顏色空間并得到增強圖像。

13、在步驟三中，目標檢測模型構(gòu)建方法的具體步驟為：接收被人工標記過的鉆機樣本，人工標記的對象至少包括所述鉆機圖像樣本中的進給裝置和鉆桿；利用標記過的鉆機圖像樣本對目標檢測模型進行訓(xùn)練，獲取最優(yōu)目標檢測模型作為最終的目標檢測模型。

14、目標的鉆機檢測區(qū)域?qū)@機分為六塊區(qū)域：氣動式鉆機進給裝置區(qū)域、氣動式鉆機鉆桿區(qū)域、液壓式鉆機進給裝置區(qū)域、液壓式鉆機鉆桿區(qū)域、履帶式式鉆機進給裝置區(qū)域、履帶式式鉆機鉆桿區(qū)域。

15、在人工打鉆之前，對鉆機進給裝置空載狀態(tài)下往復(fù)一次，ai分析模塊基于像素坐標系對進給裝置的位置進行標定，從而獲取進給裝置的初始位置、終止位置。

16、在鉆機打鉆過程中，實時跟蹤進給裝置的位置信息，并檢測是否有鉆桿存在；當進給裝置處于初始位置時記為1，在鉆機行進過程中，并檢測鉆桿一直存在，當進給裝置處于終止位置時記為1，此時鉆桿數(shù)+1，如此往復(fù)，對鉆桿進行計數(shù)。

17、采用gamma校正函數(shù)增強弱光照區(qū)域的亮度分量，降低強光區(qū)域的亮度分量，gamma函數(shù)表達式如下：

18、sgamma(x,y)＝sγ(x,y)(x,y)

19、其中，s(x,y)為原始圖像，γ(x,y)為gamma函數(shù)的校正參數(shù)，sgamma(x,y)為校正之后的圖像；

20、根據(jù)每一像素點的光照信息分布特點來自適應(yīng)調(diào)整gamma函數(shù)的校正參數(shù)值，γ(x,y)的函數(shù)表達式如下：

21、

22、其中，γ(x,y)為gamma函數(shù)的校正參數(shù)值，i(x,y)為光照分量，imean(x,y)為該區(qū)域平均光照分量，φ為余量，imin(x,y)為最低光照分量，imax(x,y)為最高光照分量。

23、保持邊緣的濾波算法引導(dǎo)濾波來提取反射分量，引導(dǎo)濾波函數(shù)的具體表達式為：

24、

25、其中，q為輸出圖像，u為引導(dǎo)圖像，a和b是當窗口ω的中心位于k時該函數(shù)的不變系數(shù)，根據(jù)無約束圖像復(fù)原的方法轉(zhuǎn)化為求最優(yōu)化問題，其價值函數(shù)為：

26、

27、其中，pi為降噪前的圖像像素點，a和b是當窗口ω的中心位于k時該函數(shù)的不變系數(shù)，ε為權(quán)重值，用最小二乘法對公式求解得：

28、

29、其中，μk表示在局部窗口ω中的均值，u為引導(dǎo)圖像，表示局部窗口ω中的方差，|ω|表示局部窗口的像素個數(shù)，在整個圖像內(nèi)采取窗口取樣操作，取均值得最終公式為：

30、

31、其中，ωk是指所有包含像素i的窗口，k為不同窗口對應(yīng)的中心位置。

32、本發(fā)明與現(xiàn)有技術(shù)相比，具體有益效果體現(xiàn)在：

33、一、本發(fā)明通過借助手機app對攝像頭位置以及算法場景選配，可滿足探放水作業(yè)需求，成本低，手機app可對攝像頭位置實時檢測并輔助固定于合適位置，對探水場景的鉆機以及人員處于合理的視野之內(nèi)。

34、二、本發(fā)明將圖像進行顏色空間轉(zhuǎn)換、gamma校正、clahe增強，提高圖像目標信息對比度。由于探水場景及其復(fù)雜，探水場景不固定，造成視頻流質(zhì)量一般，通過對視頻流逐幀圖像進行前處理，為后續(xù)桿的統(tǒng)計提供依據(jù)。

35、三、本發(fā)明通過基于像素坐標系對鉆機位置進行標定，可提高鉆桿統(tǒng)計的準確性，在實際作業(yè)場景中，根據(jù)設(shè)計要求，單次作業(yè)需打孔數(shù)不小于6，鉆機的位置根據(jù)孔的位置隨時會調(diào)整，本發(fā)明對單孔鉆機的初始位置進行標定，從而減輕工人的勞動強度。

36、四、本發(fā)明基于鉆機實際運行原理來進行鉆桿統(tǒng)計，可用于不同鉆機類型，例如氣動式鉆機、液壓式鉆機、履帶式鉆機等。本發(fā)明對鉆機的初始位置以及桿的尺寸進行鉆桿統(tǒng)計，由于打鉆屬于往復(fù)運動，可根據(jù)鉆機的工作原理進行往復(fù)次數(shù)的調(diào)整從而實現(xiàn)鉆桿統(tǒng)計，具有通用性。

37、五、本發(fā)明通過構(gòu)建目標模型與計數(shù)復(fù)合模型，可獲取探放水實際作業(yè)場景，具有通用性好、精度高、魯棒性好等優(yōu)點。