本發(fā)明屬于煤巖裂隙識(shí)別，具體涉及基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、煤巖中裂隙分布與結(jié)構(gòu)的演化關(guān)系到煤炭資源安全開采和高效利用，裂隙發(fā)育會(huì)導(dǎo)致煤層滲透性各向異性，影響煤層瓦斯?jié)B流優(yōu)勢(shì)，并影響瓦斯抽采和煤層氣井的生產(chǎn)效率。此外，煤巖裂隙發(fā)育會(huì)導(dǎo)致煤巖體自身的承重能力下降，致使煤巖體穩(wěn)定性降低，引發(fā)煤礦安全事故?？焖俣ㄎ?、識(shí)別和分類煤巖裂隙對(duì)于巷道支護(hù)和瓦斯抽采有重要意義。

3、隨著深度學(xué)習(xí)技術(shù)和數(shù)字圖像處理技術(shù)的快速發(fā)展，圖像識(shí)別算法和分類算法在煤巖裂隙識(shí)別與分類中得到廣泛應(yīng)用。但現(xiàn)有的圖像識(shí)別算法在面對(duì)煤礦井下的低光照、噪聲、模糊以及裂隙類型復(fù)雜等情況時(shí)，識(shí)別準(zhǔn)確率較低，尤其是在處理形態(tài)復(fù)雜、類型不同的煤巖裂隙時(shí)，容易出現(xiàn)誤識(shí)別和漏識(shí)別。且現(xiàn)有的目標(biāo)識(shí)別模型大多采用單一的算法進(jìn)行構(gòu)建，使得對(duì)裂隙多種類型識(shí)別的精度和準(zhǔn)確性較低。同時(shí)在煤礦井開采過(guò)程中，需要將裂隙實(shí)時(shí)準(zhǔn)確地檢測(cè)出來(lái)，這對(duì)圖像的預(yù)處理與識(shí)別算法提出了更高的要求。

技術(shù)實(shí)現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別方法及系統(tǒng)，將目標(biāo)檢測(cè)算法與圖像分割算法相結(jié)合，并在對(duì)裂隙圖像分割后進(jìn)行后處理，綜合多種信息即視差深度、分形維度和圖像特征進(jìn)行裂隙識(shí)別和分類，能夠有效減少誤識(shí)別和漏識(shí)別問(wèn)題，在復(fù)雜環(huán)境提高裂隙識(shí)別和分類的準(zhǔn)確性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)或多個(gè)實(shí)施例提供了如下技術(shù)方案：

3、第一方面，本發(fā)明提供了基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別方法，包括：

4、獲取不同角度的煤巖裂隙圖像并進(jìn)行預(yù)處理，得到預(yù)處理后的不同角度的煤巖裂隙圖像；

5、將預(yù)處理后的不同角度的煤巖裂隙圖像進(jìn)行拼接，得到拼接后的煤巖裂隙圖像，并輸入至訓(xùn)練好的煤巖裂隙圖像識(shí)別模型進(jìn)行裂隙的識(shí)別與分類，得到裂隙分類結(jié)果；所述煤巖裂隙圖像識(shí)別模型包括依次按照順序連接的改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)、圖像分割網(wǎng)絡(luò)和分類器；

6、具體的，煤巖裂隙圖像識(shí)別模型中圖像的處理步驟為：將拼接后的煤巖裂隙圖像輸入改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行裂隙邊界定位，輸出裂隙標(biāo)注圖像；將所述裂隙標(biāo)注圖像輸入圖像分割網(wǎng)絡(luò)進(jìn)行圖像分割，輸出分割后的二值化圖像；對(duì)所述預(yù)處理后的不同角度的煤巖裂隙圖像中裂隙和非裂隙進(jìn)行視差深度計(jì)算，基于所述視差深度確定裂隙；確定裂隙后對(duì)所述二值化圖像進(jìn)行圖像特征數(shù)值化，提取出裂隙圖像特征參數(shù)；基于所述二值化圖像計(jì)算裂隙的分形維度，基于所述分形維度初步判斷裂隙是否能夠表征，若是則將所述裂隙圖像特征參數(shù)輸入至分類器，輸出煤巖裂隙的類型，若否則輸出裂隙特定類型。

7、進(jìn)一步的技術(shù)方案，所述煤巖裂隙圖像的預(yù)處理流程具體為：

8、調(diào)整圖像的亮度、對(duì)比度和灰度；

9、增強(qiáng)圖像細(xì)節(jié)并進(jìn)行首次全局降噪；

10、對(duì)圖像進(jìn)行閾值分割處理；

11、利用高斯濾波法對(duì)圖像的裂隙以及頑固噪點(diǎn)進(jìn)行二次降噪；

12、最后采用分段線性變換法對(duì)降噪后的煤巖裂隙圖像進(jìn)行對(duì)比度增強(qiáng)，突出裂隙特征。

13、進(jìn)一步的技術(shù)方案，所述改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)在其特征提取網(wǎng)絡(luò)中引入可變形卷積網(wǎng)絡(luò)，在其特征融合網(wǎng)絡(luò)中采用加權(quán)雙向特征金字塔網(wǎng)絡(luò)替代特征金字塔網(wǎng)絡(luò)。

14、進(jìn)一步的技術(shù)方案，所述可變形卷積網(wǎng)絡(luò)的可變卷積算子中，通過(guò)將卷積核中的每一個(gè)元素增加一個(gè)可學(xué)習(xí)的偏移量參數(shù)，使得將原來(lái)固定不變卷積核具有自適應(yīng)物體形狀的能力，公式表示如下：

15、

16、其中，表示在位置的特征圖上的響應(yīng)，表示為目標(biāo)位置，表示為卷積核內(nèi)的一個(gè)元素的位置索引，r表示為卷積核覆蓋的區(qū)域，w表示為權(quán)重，x表示為輸入的特征圖，表示偏移量。

17、進(jìn)一步的技術(shù)方案，對(duì)所述預(yù)處理后的不同角度的煤巖裂隙圖像中裂隙和非裂隙進(jìn)行視差深度計(jì)算，具體為：在不同角度的煤巖裂隙圖像中尋找匹配的特征點(diǎn)，對(duì)匹配的特征點(diǎn)計(jì)算圖像平面上的視差，利用視差、相機(jī)的內(nèi)部參數(shù)和外部參數(shù)計(jì)算特征點(diǎn)的視差深度，公式表示如下：

18、

19、其中，表示為視差深度，表示為基線距離，表示為焦距，表示為視差。

20、進(jìn)一步的技術(shù)方案，所述分形維度采用盒計(jì)數(shù)法計(jì)算，具體為：選擇不同大小的盒子覆蓋在二值化圖像的裂隙網(wǎng)絡(luò)上，在雙對(duì)數(shù)坐標(biāo)系中繪制盒子的數(shù)量和對(duì)應(yīng)的盒子邊長(zhǎng)，對(duì)繪制的點(diǎn)進(jìn)行線性擬合，得到裂隙的分形維度。

21、進(jìn)一步的技術(shù)方案，基于所述分形維度初步判斷裂隙是否能夠表征具體為：

22、當(dāng)分形維度大于設(shè)定閾值時(shí)，則判斷為否，輸出裂隙特定類型，并提取裂隙特定類型的結(jié)構(gòu)特征；

23、當(dāng)分形維度處在設(shè)定范圍內(nèi)時(shí)，則判斷為是，將裂隙圖像特征參數(shù)輸入至分類器，分類器輸出煤巖裂隙的類型，并提取相應(yīng)類型的結(jié)構(gòu)特征。

24、第二方面，本發(fā)明提供了基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別系統(tǒng)，包括：

25、圖像采集模塊，其被配置為：獲取不同角度的煤巖裂隙圖像并進(jìn)行預(yù)處理，得到預(yù)處理后的不同角度的煤巖裂隙圖像；

26、裂隙識(shí)別分類模塊，其被配置為：將預(yù)處理后的不同角度的煤巖裂隙圖像進(jìn)行拼接，得到拼接后的煤巖裂隙圖像，并輸入至訓(xùn)練好的煤巖裂隙圖像識(shí)別模型進(jìn)行裂隙的識(shí)別與分類，得到裂隙分類結(jié)果；所述煤巖裂隙圖像識(shí)別模型包括依次按照順序連接的改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)、圖像分割網(wǎng)絡(luò)和分類器；

27、具體的，煤巖裂隙圖像識(shí)別模型中圖像的處理步驟為：將拼接后的煤巖裂隙圖像輸入改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行裂隙邊界定位，輸出裂隙標(biāo)注圖像；將所述裂隙標(biāo)注圖像輸入圖像分割網(wǎng)絡(luò)進(jìn)行圖像分割，輸出分割后的二值化圖像；對(duì)所述預(yù)處理后的不同角度的煤巖裂隙圖像中裂隙和非裂隙進(jìn)行視差深度計(jì)算，基于所述視差深度確定裂隙；確定裂隙后對(duì)所述二值化圖像進(jìn)行圖像特征數(shù)值化，提取出裂隙圖像特征參數(shù)；基于所述二值化圖像計(jì)算裂隙的分形維度，基于所述分形維度初步判斷裂隙是否能夠表征，若是則將所述裂隙圖像特征參數(shù)輸入至分類器，輸出煤巖裂隙的類型，若否則輸出裂隙特定類型。

28、第三方面，本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別方法中的步驟。

29、第四方面，本發(fā)明提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如第一方面所述的基于深度學(xué)習(xí)和后處理的煤巖裂隙圖像識(shí)別方法中的步驟。

30、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：

31、本發(fā)明通過(guò)獲取不同角度的煤巖裂隙圖像并進(jìn)行拼接，能夠全面呈現(xiàn)裂隙的幾何形態(tài)和分布情況，提升煤巖裂隙圖像識(shí)別模型對(duì)裂隙的處理能力，從而提高裂隙識(shí)別和分類的準(zhǔn)確性；在煤巖裂隙圖像識(shí)別模型中引入改進(jìn)的yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)用于裂隙邊界定位，再結(jié)合圖像分割網(wǎng)絡(luò)對(duì)裂隙區(qū)域進(jìn)行精準(zhǔn)分割，有助于精準(zhǔn)地提取裂隙的邊界和區(qū)域特征，提升裂隙分類的準(zhǔn)確性。

32、本發(fā)明在對(duì)識(shí)別出的裂隙進(jìn)行分類前，設(shè)計(jì)了兩步創(chuàng)新的判斷步驟，首先通過(guò)計(jì)算視差深度得到裂隙深度，通過(guò)裂隙與非裂隙部分的視差深度判斷識(shí)別的是否為裂隙，而不是污漬等其他物體；其次，判斷確定為裂隙后，利用裂隙的分形維度分析裂隙的復(fù)雜度，對(duì)裂隙的可表征性進(jìn)行判斷，有效區(qū)分復(fù)雜裂隙和簡(jiǎn)單裂隙，避免對(duì)過(guò)于復(fù)雜的裂隙進(jìn)行不必要的進(jìn)一步分析，將能夠表征的裂隙圖像特征參數(shù)輸入分類器進(jìn)行分類，進(jìn)一步提高分類器的精度和可靠性。

33、本發(fā)明中煤巖裂隙圖像識(shí)別模型整合了多種深度學(xué)習(xí)算法優(yōu)點(diǎn)，將目標(biāo)檢測(cè)算法與圖像分割算法相結(jié)合，目標(biāo)檢測(cè)算法可有效定位煤巖裂隙的邊界，并對(duì)現(xiàn)有yolov5目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn)，為后續(xù)的精細(xì)分割提供初步定位結(jié)果；圖像分割善于捕捉裂隙邊緣細(xì)節(jié)，采用segnet圖像分割算法完成更精細(xì)的煤巖裂隙提取任務(wù)，提高了裂隙分類的準(zhǔn)確性。

34、基于煤巖裂隙圖像識(shí)別模型的煤巖裂隙實(shí)時(shí)無(wú)線監(jiān)測(cè)系統(tǒng)具有準(zhǔn)確率高，魯棒性好，計(jì)算速度快的特點(diǎn)，有助于實(shí)現(xiàn)煤巖裂隙的智能識(shí)別，記錄與分揀，提高生產(chǎn)工作效率。