本發(fā)明涉及圖像處理和計算機視覺領域，具體為一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法。

背景技術：

1、巖體是在漫長的地質構造運動中形成的復雜地質體，其中的裂隙作為巖體結構面的一種主要形式，具有非連續(xù)性和不均勻性，對于巖體的力學機理及性質有著極大的影響。巖土工程施工方法設計很大程度上依據工程地質背景的調查結果，這又與巖體裂隙發(fā)育情況的地質調查工作緊密相連。通過非接觸式的近景攝影技術獲取巖體圖片，應用計算機算法從圖像中準確提取巖體裂隙區(qū)域，在此基礎上完成裂隙關鍵點的識別與骨架重構過程。結合巖體裂隙識別與骨架化結果并計算得到巖體裂隙表征參數，可服務于巖體穩(wěn)定性評價、工程建設風險評估等任務。

2、一般來說，裂隙骨架提取與重構的要求主要包括：保證精細化曲線的連通性、保留圖像的細節(jié)特征、保留曲線斷點等。根據這些要求，早期的骨架化算法以規(guī)則為依據設計得到，例如快速并行細化算法，通過迭代的方式逐步刪除圖像中的邊緣像素，直到達到細化的目的，或是在應用標準細化算法之前引入預處理階段，用以提升細化精度。這類細化算法能夠有效地提取到裂隙骨架結果，但對于圖像中的噪聲是十分敏感的，此外，只能針對已經完成裂隙識別的二值圖進行提取，且容易在細化過程中產生中斷或冗余現象。近年來，隨著深度學習的發(fā)展，卷積神經網絡在骨架化任務中顯示出了巨大的潛力，此領域上引入cnn用以解決傳統(tǒng)由規(guī)則驅動的方法中存在的骨架中斷或冗余問題。

3、現有技術中，應用基于數據驅動的深度學習方法，在裂隙骨架化的精度提升方面已經有了較大的突破，但骨架化之后得到的結果不足以直接用以多種裂隙表征參數的計算過程，目前的方法通過兩步式的處理方式，針對骨架化結果應用圖像形態(tài)學處理算法，通過手動設置關鍵點模板，進而檢測裂隙骨架關鍵點坐標，實現裂隙重構過程。這種方法需要通過兩個獨立串聯(lián)的處理步驟，需要人工手動模板點的設置，處理效率較低并且在復雜的裂隙場景中得到的關鍵點結果，存在較多的冗余點；此外，這種兩段式的處理方式沒有考慮骨架線提取任務與關鍵點檢測任務的關聯(lián)性，前一步骨架線提取結果的偏差必然會導致后續(xù)關鍵點提取結果的不準確。

技術實現思路

1、針對現有技術存在的不足，本發(fā)明目的是提供一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，以解決上述背景技術中提出的問題，本發(fā)明通過構建多任務網絡，利用兩個并行的骨架線提取分支與關鍵點識別分支，實現端到端過程，并且通過點與線提取任務的相互約束，在提升效率的同時，有效提高關鍵點識別與巖體裂隙重構的精確度。

2、為了實現上述目的，本發(fā)明是通過如下的技術方案來實現：一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，包括以下步驟：

3、s1、獲取巖體裂隙圖像數據，對圖像進行預處理與隨機增強操作，并利用標注工具對所述裂隙數據進行關鍵點與骨架線真值標注，將數據分為訓練集、驗證集以及測試集三個部分，完成巖體裂隙樣本數據集構建；

4、s2、利用構建的巖體裂隙樣本數據集作為輸入，通過卷積神經網絡編碼器結構對裂隙數據集進行一系列卷積、池化、激活、下采樣等操作，提取得到數據中的裂隙特征信息；

5、s3、采用多任務分支結構對編碼器提取到的特征信息進行解碼操作，多任務結構包括骨架線檢測、關鍵點檢測兩個分支，通過兩個分支的解碼過程，得到裂隙骨架線預測結果，同時生成裂隙關鍵點熱力圖；

6、s4、對關鍵點熱力圖中的候選點進行篩選，得到三類關鍵點結果，包括：端點、拐點、交叉點，利用骨架線預測結果指導關鍵點的連接過程，得到巖體裂隙骨架重構結果；

7、s5、根據骨架重構結果中不同線段所形成的分叉角進行長裂隙判定，將形成分叉角大的線段判定為長裂隙并合并處理，得到骨架線分段結果；

8、s6、綜合裂隙關鍵點識別、骨架線重構與分段結果，計算巖體裂隙長度、傾角、分布密度等產狀參數。

9、進一步的，巖體裂隙樣本數據集構建體過程中，將無人機外業(yè)拍攝得到的巖體裂隙數據作為主數據源，將爬取收集的開源裂隙圖像數據作為補充，疊加進行預處理與隨機圖像增強操作。

10、進一步的，利用一定尺寸大小的滑動窗口對圖像進行裁剪操作，得到切片數據，并將所述切片數據以一定比例分為訓練集、測試集、驗證集用于后續(xù)模型訓練預測過程。

11、進一步的，所述多任務結構對編碼器提取到的特征信息進行解碼操作，包含關鍵點檢測與骨架線檢測兩個并行的分支。

12、進一步的，所述關鍵點檢測分支，對于編碼器得到的裂隙特征信息進行解碼操作，目標關鍵點類型被定義為三類：端點、拐點、交叉點，其中交叉點包括了x型交叉點與y型交叉點兩種。解碼得到的特征圖包含有三個通道，每個通道針對一種類型關鍵點的預測，設置閾值對每張熱力圖上的關鍵點聚簇進行篩選，得到最終的候選點。對每張?zhí)卣鲌D上的所有候選點進行坐標偏移修正，將坐標點映射到原圖位置，得到最終的關鍵點預測結果。

13、進一步的，所述骨架線檢測分支，同樣對于編碼器得到的裂隙特征信息進行解碼操作，通過回歸的方式得到裂隙骨架線預測結果。

14、進一步的，計算網絡預測關鍵點與真實關鍵點的損失值以及預測骨架線與真實骨架線的損失值，綜合兩個分支并計算聯(lián)合損失進行回傳，在多次訓練過程中使模型達到收斂。以實現兩個分支任務之間的相互約束作用。

15、進一步的，所述s5中長裂隙判定過程，包括以下步驟：

16、s5.1、將網絡重構得到的裂隙線段作為輸入，尋找其中具有相同點的裂隙段，并調整裂隙向量方向確保角度一致。

17、s5.2、計算具有相同點裂隙段的夾角大小，將向量夾角大的裂隙段合并成三點長裂隙，夾角小的裂隙段不做處理直接輸出。

18、進一步的，所述s6中產狀參數計算過程，包括以下步驟：

19、s6.1、基于網絡提取得到的骨架線結果，以關鍵點的坐標位置為分界，利用微分法求取單條裂隙的長度，將每一微分段裂隙單元的長度累加，獲得單條裂隙的總長度。

20、s6.2、基于骨架線重構與分段結果，根據線性回歸算法并結合循環(huán)函數，計算單條裂隙的視傾角。

21、s6.3、基于裂隙骨架重構結果，通過統(tǒng)計法計算單位面積內裂隙的分布條數獲得裂隙分布密度參數。

22、本發(fā)明的有益效果：

23、1.本發(fā)明可以實現多任務端到端輸出，處理效率高：針對巖體裂隙骨架化結果，通過構建多任務網絡，針對編碼器中學到的裂隙特征直接進行骨架線回歸以及關鍵點熱力圖的生成操作，以端到端的方式實現結果的提取，有效提升了處理效。

24、2.本發(fā)明顧及了兩種任務的關聯(lián)性，關鍵點檢測與骨架重構精度更高。將兩個分支集成到多任務網絡中進行端到端的輸出，通過計算兩個任務的聯(lián)合損失進行回傳，模型在多次訓練過程中達到收斂，點的檢測與線的提取相互約束，并且線的生成結果可以指導點的連接過程，最終的關鍵點檢測與骨架線重構結果精度更高。

技術特征：

1.一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：巖體裂隙樣本數據集構建體過程中，將無人機外業(yè)拍攝得到的巖體裂隙數據作為主數據源，將爬取收集的開源裂隙圖像數據作為補充，疊加進行預處理與隨機圖像增強操作。

3.根據權利要求2所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：利用一定尺寸大小的滑動窗口對圖像進行裁剪操作，得到切片數據，并將所述切片數據以一定比例分為訓練集、測試集、驗證集用于后續(xù)模型訓練預測過程。

4.根據權利要求1所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：所述多任務結構對編碼器提取到的特征信息進行解碼操作，包含關鍵點檢測與骨架線檢測兩個并行的分支。

5.根據權利要求4所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：所述關鍵點檢測分支，對于編碼器得到的裂隙特征信息進行解碼操作，目標關鍵點類型被定義為三類：端點、拐點、交叉點，其中交叉點包括了x型交叉點與y型交叉點兩種，解碼得到的特征圖包含有三個通道，每個通道針對一種類型關鍵點的預測，設置閾值對每張熱力圖上的關鍵點聚簇進行篩選，得到最終的候選點，對每張?zhí)卣鲌D上的所有候選點進行坐標偏移修正，將坐標點映射到原圖位置，得到最終的關鍵點預測結果。

6.根據權利要求5所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：所述骨架線檢測分支，同樣對于編碼器得到的裂隙特征信息進行解碼操作，通過回歸的方式得到裂隙骨架線預測結果。

7.根據權利要求6所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：計算網絡預測關鍵點與真實關鍵點的損失值以及預測骨架線與真實骨架線的損失值，綜合兩個分支并計算聯(lián)合損失進行回傳，在多次訓練過程中使模型達到收斂，以實現兩個分支任務之間的相互約束作用。

8.根據權利要求1所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于：所述s5中長裂隙判定過程，包括以下步驟：

9.根據權利要求1所述的一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，其特征在于，所述s6中產狀參數計算過程，包括以下步驟：

技術總結
本發(fā)明提供一種基于多任務網絡的巖體裂隙關鍵點識別與骨架重構方法，包括：獲取巖體裂隙圖像數據，構建巖體裂隙樣本數據集；提取裂隙特征信息；獲取裂隙骨架線預測結果，同時生成裂隙關鍵點熱力圖；獲取得到巖體裂隙骨架重構結果；根據裂隙分叉角對所述骨架重構結果進行長裂隙判定并做合并處理，獲得骨架線分段結果；計算得到巖體裂隙長度、傾角、分布密度等產狀參數。本發(fā)明基于多任務網絡對巖體裂隙關鍵點識別與骨架線提取實現了更為高效的端到端輸出，并充分考慮兩個任務的關聯(lián)性，通過聯(lián)合損失的計算實現點檢測與線提取之間的相互約束，達到更高識別檢測精度，計算結果更加可靠，為巖體穩(wěn)定性評價或工程建設風險評估提供指導。

技術研發(fā)人員：劉修國,花衛(wèi)華,胡肖
受保護的技術使用者：中國地質大學（武漢）
技術研發(fā)日：
技術公布日：2024/12/23