本發(fā)明涉及單木分割，特別是涉及一種基于紅外熱圖像和可見光圖像的單木分割方法。

背景技術(shù)：

1、精準(zhǔn)的單木分割可以幫助科學(xué)家和林業(yè)管理者獲取每棵樹的詳細信息，如健康狀況、生長速度和環(huán)境適應(yīng)性。這些數(shù)據(jù)對于病蟲害監(jiān)測、資源管理和森林規(guī)劃至關(guān)重要。通過高效、精準(zhǔn)的單木分割技術(shù)，可以實現(xiàn)森林資源的可持續(xù)管理，提升林業(yè)生產(chǎn)力，確保生態(tài)系統(tǒng)的健康和穩(wěn)定。過去的單木分割任務(wù)基本上都是劃定樣方后的手動取樣和標(biāo)記。這種方式費時費力，效率低下且不能完整地涵蓋所負責(zé)的區(qū)域。近年來由于無人機行業(yè)的蓬勃發(fā)展，領(lǐng)域內(nèi)已經(jīng)提出了很多種利用無人機機載雷達實現(xiàn)單木分割任務(wù)的方法。目前單木提取的算法大致上可以分為兩種思路：基于冠層高度模型的探測方法和基于點云的探測方法，主流算法有區(qū)域生長法和分水嶺法?，F(xiàn)存的技術(shù)中對于數(shù)據(jù)的獲取一般分為兩類，一類是直接用激光雷達提取目標(biāo)區(qū)域內(nèi)的點云數(shù)據(jù)，一種是使用高分辨率可視光圖像計算得到點云數(shù)據(jù)。

2、現(xiàn)有技術(shù)都極其依賴點云數(shù)據(jù)，這會導(dǎo)致：點云數(shù)據(jù)的采集一般需要大型的無人機設(shè)備以及配套的激光雷達，成本較高；使用傾斜攝影技術(shù)獲得可視光圖像，后續(xù)進行點云重建的方式計算出的點云數(shù)據(jù)存在質(zhì)量問題。

技術(shù)實現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種基于紅外熱圖像和可見光圖像的單木分割方法，通過將可見光圖像和紅外熱圖像進行特征融合，實現(xiàn)輸入信息的豐富，替代點云數(shù)據(jù)采集設(shè)備，降低成本；通過基于主曲線率和分水嶺算法預(yù)訓(xùn)練的單木分割模型，實現(xiàn)了對特征融合圖像的準(zhǔn)確分割，避免傳統(tǒng)點云數(shù)據(jù)分割數(shù)據(jù)質(zhì)量較差、大范圍分割精度較低的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于紅外熱圖像和可見光圖像的單木分割方法，包括：

4、利用同時搭載可見光相機以及多光譜相機的無人機對目標(biāo)識別區(qū)域進行圖像采集，得到原始可見光圖像集和原始熱成像圖像集；

5、分別對所述原始可見光圖像集和所述原始熱成像圖像集進行拼接，得到整體可見光圖像和整體熱成像圖像；

6、對所述整體可見光圖像和所述整體熱成像圖像進行特征提取和融合，得到特征融合圖像；

7、將所述特征融合圖像輸入到基于主曲線率和分水嶺算法預(yù)訓(xùn)練的單木分割模型，得到目標(biāo)分割圖像。

8、優(yōu)選地，對所述整體可見光圖像和所述整體熱成像圖像進行特征提取和融合，得到特征融合圖像，包括：

9、利用預(yù)設(shè)的可見光特征提取網(wǎng)絡(luò)對所述整體可見光圖像進行提取，得到可見光特征矩陣；

10、利用預(yù)設(shè)的熱成像特征提取網(wǎng)絡(luò)對所述整體熱成像圖像進行提取，得到熱成像特征矩陣；

11、將所述可見光特征矩陣和所述熱成像特征矩陣進行拼接，得到多模態(tài)拼接特征；

12、分別對所述多模態(tài)拼接特征進行通道域的第一全局平均池化和第一最大池化，得到全局通道描述和最大通道描述；

13、將所述全局通道描述和所述最大通道描述輸入到基本神經(jīng)網(wǎng)絡(luò)計算，得到通道權(quán)重系數(shù)；所述基本神經(jīng)網(wǎng)絡(luò)包括：relu激活函數(shù)、sigmoid激活函數(shù)、以及至少兩個神經(jīng)網(wǎng)絡(luò)層；

14、將所述通道權(quán)重系數(shù)與所述多模態(tài)拼接特征相乘，得到通道修正的多模態(tài)特征；

15、分別對所述通道修正的多模態(tài)特征進行空間域的第二全局平均池化和第二最大池化，得到全局空間描述和最大空間描述；

16、將所述全局空間描述和所述最大空間描述輸入到基本神經(jīng)網(wǎng)絡(luò)計算，得到空間權(quán)重系數(shù)；

17、將所述通道修正的多模態(tài)特征與所述空間權(quán)重系數(shù)相乘，得到空間修正的多模態(tài)特征；

18、對所述空間修正的多模態(tài)特征進行第三全局平均池化和sigmoid計算后，得到綜合圖像特證；

19、根據(jù)所述綜合圖像特證對所述整體可見光圖像進行修正，得到所述特征融合圖像。

20、優(yōu)選地，所述單木分割模型的構(gòu)建過程包括：

21、將預(yù)收集的林場圖像集裝換成灰度格式，得到灰度圖集；

22、提取所述灰度圖集內(nèi)每個像素點的灰度值，并將所述灰度值定義為高度，得到三維點分布集；

23、利用徑向基函數(shù)差值方法將所述三維點分布集擬合成曲面，得到灰度曲面集；

24、計算所述灰度曲面集的主曲線率，并根據(jù)所述主曲線率得到灰度曲面邊緣圖像集；

25、利用分水嶺算法對所述灰度圖集進行初次分割，得到初次分割圖像集；

26、將所述林場圖像集、所述初次分割圖像集以及所述灰度曲面邊緣圖像集作為預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)的輸入，將人工分割的林場單木分割圖像集作為所述卷積神經(jīng)網(wǎng)絡(luò)的輸出，對所述卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練完成的所述單木分割模型。

27、優(yōu)選地，所述原始可見光圖像集和所述原始熱成像圖像集進行拼接使用的工具為：stitcher庫文件。

28、優(yōu)選地，所述無人機的采集參數(shù)設(shè)置包括：高度范圍為60至80米、航向重疊為60％以及旁向重疊為60％。

29、優(yōu)選地，計算所述灰度曲面集的主曲線率，并根據(jù)所述主曲線率得到灰度曲面邊緣圖像集，包括：

30、根據(jù)所述灰度曲面集隨機選擇一個灰度曲面圖像；

31、根據(jù)所述灰度曲面圖像構(gòu)建一個hessian矩陣；

32、根據(jù)所述hessian矩陣計算所述灰度曲面圖像內(nèi)每個像素點的最大主曲率和最小主曲率；

33、根據(jù)預(yù)設(shè)的邊緣點判定公式對所述最大主曲率和所述最小主曲率進行篩選，得到原始邊緣點集；所述邊緣點判定公式為：ep為所述原始邊緣點集；k1為所述最大主曲率；k2為所述最小主曲率；σ1為自適應(yīng)的第一閾值；σ2為自適應(yīng)的第二閾值；

34、利用語塞的降噪公式對所述原始邊緣點集進行降噪，得到主邊緣點集；所述降噪公式為：ep′為所述主邊緣點集；pi為所述原始邊緣點集內(nèi)第i個原始邊緣點最近8個像素點內(nèi)所述原始邊緣點的個數(shù)；li為所述原始邊緣點集內(nèi)第i個原始邊緣點所在邊緣點構(gòu)成的曲線的長度；si為所述原始邊緣點集內(nèi)第i個原始邊緣點所在邊緣點構(gòu)成的區(qū)域的面積；η為自適應(yīng)長度閾值；δ為自適應(yīng)面積閾值；

35、將所述主邊緣點集匹配到所述灰度曲面圖像上，得到融合邊緣點的曲面圖像；

36、對所述灰度曲面集內(nèi)的全部圖像進行遍歷，得到若干個所述融合邊緣點的曲面圖像，將全部所述融合邊緣點的曲面圖像整合，得到所述灰度曲面邊緣圖像集。

37、優(yōu)選地，利用分水嶺算法對所述灰度圖集進行初次分割，得到初次分割圖像集，包括：

38、對所述灰度圖集內(nèi)的任一灰度圖像進行去噪，得到去噪圖像；

39、根據(jù)預(yù)設(shè)的單圖輪廓數(shù)，利用findcontours函數(shù)對所述去噪圖像進行輪廓尋找，得到若干個輪廓分布；

40、利用所述輪廓分布對所述灰度圖像對應(yīng)的所述林場圖像集內(nèi)的圖像進行分割，得到若干個輪廓分割圖像；

41、對所述灰度圖集內(nèi)的全部圖像進行遍歷和整合，得到所述初次分割圖像集。

42、優(yōu)選地，將所述林場圖像集、所述初次分割圖像集以及所述灰度曲面邊緣圖像集作為預(yù)設(shè)的卷積神經(jīng)網(wǎng)絡(luò)的輸入，將人工分割的林場單木分割圖像集作為所述卷積神經(jīng)網(wǎng)絡(luò)的輸出，對所述卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到訓(xùn)練完成的所述單木分割模型，包括：

43、將所述林場圖像集和所述灰度曲面邊緣圖像集分別輸入一個1×1卷積進行局部細節(jié)特征提取，得到第一特征表示和第二特征表示；

44、將所述第一特征表示和第二特征表示輸入bn層進行特征歸一化，得到第一歸一化特征表示和第二歸一化特征表示；

45、將所述第一歸一化特征表示和所述第二歸一化特征表示進行融合，得到融合特征表示；

46、將所述融合特征表示輸入到預(yù)設(shè)置的深度學(xué)習(xí)網(wǎng)絡(luò)進行預(yù)測，得到預(yù)測分割圖像；

47、根據(jù)所述林場單木分割圖像集，利用預(yù)設(shè)的損失函數(shù)計算所述預(yù)測分割圖像的損失值；所述損失函數(shù)的計算公式為：lossb為第b次迭代的所述損失值；為第b次迭代的第a個單木分割區(qū)域的預(yù)測面積；sab為第b次迭代的第a個單木分割區(qū)域預(yù)測面積和實際面積的重疊面積；m為實際單木分割區(qū)域總數(shù)；

48、基于最小梯度下降法，根據(jù)所述損失值對所述深度學(xué)習(xí)網(wǎng)絡(luò)、所述邊緣點判定公式以及所述降噪公式的參數(shù)進行優(yōu)化；

49、對所述深度學(xué)習(xí)網(wǎng)絡(luò)、所述邊緣點判定公式以及所述降噪公式進行迭代訓(xùn)練，得到訓(xùn)練完成的所述單木分割模型。

50、本發(fā)明公開了以下技術(shù)效果：

51、本發(fā)明提供了一種基于紅外熱圖像和可見光圖像的單木分割方法，通過將可見光圖像和紅外熱圖像進行特征融合，解決了傳統(tǒng)點云數(shù)據(jù)采集設(shè)備成本較高的問題，實現(xiàn)了輸入信息的豐富和點云數(shù)據(jù)采集設(shè)備的替代；通過基于主曲線率和分水嶺算法預(yù)訓(xùn)練的單木分割模型，解決了傳統(tǒng)點云數(shù)據(jù)分割數(shù)據(jù)質(zhì)量較差、大范圍分割精度較低的問題，實現(xiàn)了對特征融合圖像的準(zhǔn)確分割。