本發(fā)明涉及一種基于rubbertreenet的橡膠樹分割方法。

背景技術(shù)：

1、橡膠樹(hevea?brasiliensis)作為一種重要的經(jīng)濟作物，在大規(guī)模種植時雖然能帶來經(jīng)濟效益和管理效率的提升，但同時也面臨著病蟲害管理和生長監(jiān)測不精準帶來的挑戰(zhàn)。傳統(tǒng)的橡膠樹結(jié)構(gòu)參數(shù)獲取方式依賴于人工現(xiàn)場測量，這種方法不僅耗時費力，而且受到地理可達性的限制。為了改善這一點，研究者們開始運用激光掃描技術(shù)和點云數(shù)據(jù)來提高單株橡膠樹參數(shù)獲取的效率和準確性。通過單株橡膠樹分割技術(shù)，可以實現(xiàn)對每棵橡膠樹的結(jié)構(gòu)參數(shù)進行精準監(jiān)測和管理，這對于森林清查和健康監(jiān)測至關(guān)重要。然而，實際操作中存在諸如橡膠樹間嚴重交叉、地面干擾、局部細節(jié)捕捉不足及全局背景信息融合困難等問題，這些都給橡膠樹的精準分割帶來了挑戰(zhàn)。為解決這些問題，研究者開發(fā)了多種分割方法，包括基于機載激光掃描(als)和地面激光掃描(tls/mls)數(shù)據(jù)的不同算法，如k-means聚類、區(qū)域生長、分水嶺變換等，旨在提高分割的準確性和效率。隨著深度學習技術(shù)的發(fā)展，基于深度學習的方法也被引入到橡膠樹分割中，以期實現(xiàn)更高精度的分割效果。

2、綜上，有必要設(shè)計一種通過深度學習的方法進行橡膠樹分割。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題主要有兩點，第一點是數(shù)據(jù)量不足：現(xiàn)有的公開數(shù)據(jù)集往往包含的樣本數(shù)量有限，不足以訓練出性能優(yōu)異的分割模型同時標注質(zhì)量參差不齊，可能存在誤差或遺漏，影響模型訓練的效果。第二點是在橡膠樹分割任務(wù)中，特征提取問題特別是橡膠樹的局部細節(jié)捕捉和全局背景信息融合不足的問題。針對第一個問題，本發(fā)明構(gòu)建了一個新的單株橡膠樹數(shù)據(jù)集。通過激光雷達采集海南橡膠林地的高分辨率3d點云數(shù)據(jù)，確保捕捉到橡膠樹的冠層、垂直結(jié)構(gòu)及樹冠下部信息。數(shù)據(jù)保存為ply格式，利用cloudcompare軟件渲染并手動分割出獨立的單株橡膠樹，我們從中選取了1000株橡膠樹進行分析，最終選取600株用于實驗，確保數(shù)據(jù)多樣性和代表性。通過自建數(shù)據(jù)集，我們有效解決了數(shù)據(jù)量不足和標注質(zhì)量問題，提升了模型訓練效果。針對第二個問題，本發(fā)明提出了ptca模塊，該方法通過結(jié)合point?transformer和criss-cross?attention機制，有效提升了分割任務(wù)中橡膠樹的局部細節(jié)捕捉和全局背景信息融合能力。ptca模塊結(jié)合了pointtransformer和criss-cross?attention模塊的優(yōu)點，利用point?transformer的自注意力機制精細提取3d點云的局部特征，確保每個點能夠充分捕捉其鄰域的幾何信息。同時，criss-cross?attention機制在空間維度上捕捉長距離依賴關(guān)系，增強了全局關(guān)聯(lián)性和選擇性。ptca模塊通過雙重特征提取與融合，顯著減少了信息丟失，增強了細節(jié)捕捉能力，從而提升了模型的特征表達能力和魯棒性。

2、發(fā)明的技術(shù)解決方案如下：

3、一種基于rubbertreenet的橡膠樹分割方法，其特征在于，采用自建數(shù)據(jù)進行訓練集以及自適應(yīng)變換注意力機制，以提高在復(fù)雜背景下單株橡膠樹分割的準確性和魯棒性。整體過程包括以下步驟：

4、步驟一、采集橡膠樹點云數(shù)據(jù)并預(yù)處理；

5、采集橡膠樹點云數(shù)據(jù)以ply格式保存，并利用cloudcompare軟件進行渲染和初步處理，包括去除噪聲和非目標物體。隨后，通過手動選擇和標記，將點云數(shù)據(jù)中的獨立橡膠樹與背景分離，并導出為txt格式以供后續(xù)處理；

6、步驟二、采用點云自適應(yīng)變換注意力機制(ptca)；

7、采用點云自適應(yīng)變換注意力機制(ptca)，融合了point?transformer和criss-cross?attention的優(yōu)點。point?transformer通過自注意力機制精細提取3d點云的局部特征，確保每個點充分捕捉鄰域的幾何信息；criss-cross?attention則在空間維度上捕捉長距離依賴關(guān)系，增強全局關(guān)聯(lián)性和選擇性。ptca模塊通過雙重特征提取與融合，解決了局部細節(jié)捕捉和全局背景信息融合不足的問題，顯著減少信息丟失，增強細節(jié)捕捉能力；

8、步驟三、多級特征提取與分割流程；

9、接著使用最遠點采樣(fps)選取具有代表性的點，并通過k最近鄰(knn)搜索來獲取這些代表點的鄰域點信息；最終通過多尺度特征聚合(msfa)、池化操作以及解碼映射層恢復(fù)特征至原始分辨率，并應(yīng)用分類器對每個點進行預(yù)測，實現(xiàn)單株橡膠樹的精確分割。

10、步驟一的具體步驟為：

11、首先，構(gòu)建了一個新的單株橡膠樹數(shù)據(jù)集，以更好地進行模型訓練。數(shù)據(jù)采集是在海南橡膠林地進行的，通過使用激光雷達技術(shù)獲取了高分辨率的3d點云數(shù)據(jù)。這種方法確保每株橡膠樹的數(shù)據(jù)能夠清晰地捕捉到其植被冠層、樹木垂直結(jié)構(gòu)特征以及樹冠下部(如樹干和樹葉)的信息。數(shù)據(jù)采集覆蓋了大面積的橡膠樹群，并將采集到的數(shù)據(jù)保存為ply文件格式。在數(shù)據(jù)采集過程中，背景包含了落葉、地面以及其他嚴重交叉的大片橡膠樹。為了便于后續(xù)處理，我們使用cloudcompare軟件對大量的點云數(shù)據(jù)進行了快速、高效的渲染，使得用戶可以在屏幕上直觀地查看和交互這些數(shù)據(jù)。通過手動選擇的方法，將嚴重交叉的橡膠樹點云數(shù)據(jù)分割為獨立的單株橡膠樹，并分別進行標記。獨立的單株橡膠樹被標記為1，而非獨立的橡膠樹(包括地面、落葉、交叉的樹葉)則被標記為0。這種分割可以基于空間位置、顏色或其他屬性來進行。接下來，我們將分割后的點云數(shù)據(jù)導出為txt文件格式，這樣做的目的是為了方便后續(xù)的網(wǎng)絡(luò)處理。我們使用cloudcompare軟件在采集的大面積橡膠樹林中分割出數(shù)千株橡膠樹，并從中選擇了1000株橡膠樹進行詳細分析，以確保數(shù)據(jù)的多樣性和代表性，涵蓋不同生長階段和復(fù)雜背景條件。最終，選取了600株橡膠樹用于實驗，確保實驗的可行性和統(tǒng)計可靠性，同時便于資源管理和分析。這些數(shù)據(jù)集不僅包括地面數(shù)據(jù)，還包括獨立的橡膠樹以及與獨立橡膠樹交叉的部分橡膠樹點云數(shù)據(jù)，這樣的數(shù)據(jù)集有助于模型學習完整的橡膠樹特征。通過上述步驟，我們確保了數(shù)據(jù)集的質(zhì)量和多樣性，為后續(xù)的模型訓練提供了堅實的基礎(chǔ)。

12、步驟二中，該模塊利用點云的稀疏性和不規(guī)則性，通過自注意力機制對每個點的鄰域進行加權(quán)處理，從而有效地提取局部和全局特征，其表示如下式

13、

14、其中q、k、v分別代表查詢矩陣、鍵矩陣和值矩陣，dk是鍵向量的維度,kt是鍵矩陣的轉(zhuǎn)置。首先，輸入特征x經(jīng)過線性變換生成q、k和v。然后，通過計算查詢與鍵的點積得到注意力分數(shù)，并對這些分數(shù)進行縮放以避免梯度消失或爆炸的問題?？s放和歸一化步驟確保了計算的穩(wěn)定性和數(shù)值范圍的合理性。然后，應(yīng)用softmax函數(shù)對縮放后的注意力分數(shù)進行歸一化，得到注意力權(quán)重。接下來，計算每對點之間的相對位置向量pi-pj，并通過多層感知機(mlp)對其進行處理，生成位置編碼。

15、將位置編碼與自注意力輸出結(jié)合，增強模型對空間關(guān)系的理解。然后，進入交叉通道注意力(ccta)模塊，首先對輸入特征進行卷積和池化操作，進行歸一化處理。計算輸入特征間的交叉相似度，結(jié)合最大值和原始輸入，生成增強的特征表示。在ccta模塊中，通過計算水平和垂直方向的注意力權(quán)重，分別為：

16、

17、xh：水平注意力權(quán)重，wh水平方向的權(quán)重矩陣，gi,j表示輸入特征圖在位置(i,j)處的特征值，bh表示水平方向的偏置項。xv：垂直注意力權(quán)重，wv垂直方向的權(quán)重矩陣，gj,i表示輸入特征圖在位置(j,i)處的特征值，bv表示水平方向的偏置項。

18、然后，計算水平和垂直特征的余弦相似度。

19、

20、其中cosθ表示兩個向量之間的余弦相似度。第i個特征在水平向量中的值。表示第i個特征在垂直向量中的值。n表示向量的維度。

21、根據(jù)設(shè)定的閾值篩選出重要特征，丟棄無關(guān)信息：

22、當cosh≤thr，保留為0；

23、當cosh>thr，保留為1。

24、最后，將經(jīng)過ccta處理的特征與原始輸入特征結(jié)合，生成最終的輸出特征：

25、

26、其中，wq、wk和wv分別是查詢、鍵和值的線性變換權(quán)重矩陣。自注意力機制通過點積相似度公式來度量輸入特征間的關(guān)系，經(jīng)過softmax歸一化后，加權(quán)求和得到注意力輸出結(jié)果，最后通過輸出變換wo得到point?transformer的結(jié)果。通過上述步驟，ptca模塊實現(xiàn)了對點云數(shù)據(jù)的高效特征提取和聚合，特別適用于復(fù)雜背景下的目標識別和分割任務(wù)。

27、步驟三中，首先通過最遠點采樣(fps)從原始點集中選擇局部中心點，將點數(shù)減少到一半。接著，使用k最近鄰(knn)算法為每個中心點分組k個空間鄰居，形成局部3d區(qū)域。然后，進行特征聚合(feature?aggregation)，對每個中心點及其鄰居點計算特征向量，使用可學習算子提取幾何特征，并通過最大池化和平均池化聚合特征。接下來，通過池化(pooling)操作進一步減少特征的維度，同時保留重要信息。隨后，進行解碼映射(decodingmapping)，通過多層解碼器逐步恢復(fù)特征的空間分布，將高維特征映射回原始點云空間，恢復(fù)點云的空間結(jié)構(gòu)。最后，將解碼后的特征輸入分類器(classifier)，對每個點進行分類，輸出類別標簽，完成點云分割任務(wù)。通過這一系列步驟，整個流程能夠有效地處理點云數(shù)據(jù)，提取并聚合特征，最終實現(xiàn)精確的點云分割。

28、有益效果：

29、本發(fā)明的基于rubbertreenet的點云分割網(wǎng)絡(luò)，通過自建數(shù)據(jù)集進行細致的預(yù)處理并且引入ptca(point?transformer?criss-cross?attention)模塊為復(fù)雜場景下的橡膠樹分割提供了全面的技術(shù)支持，顯著提升了橡膠樹分割任務(wù)的整體性能。

30、第一方面，本發(fā)明為了使數(shù)據(jù)更接近于真實情況，使本發(fā)明設(shè)計的模型適應(yīng)性廣通過細致的數(shù)據(jù)預(yù)處理步驟，我們構(gòu)建了一個高質(zhì)量的單株橡膠樹數(shù)據(jù)集。利用cloudcompare軟件，對采集到的點云數(shù)據(jù)進行了高效的渲染和分割，將嚴重交叉的橡膠樹點云數(shù)據(jù)分割為獨立的單株橡膠樹，并分別進行標記。這一過程不僅確保了數(shù)據(jù)集的多樣性和代表性，還為模型訓練提供了清晰、準確的數(shù)據(jù)支持，進一步提高了模型的泛化能力和分割效果。

31、第二方面，為了增強模型在復(fù)雜場景下對橡膠樹點云數(shù)據(jù)的特征提取能力，提高分割精度。通過引入ptca(point?transformer?criss-cross?attention)模塊，顯著增強了模型對復(fù)雜場景中橡膠樹點云數(shù)據(jù)的特征提取能力。ptca模塊結(jié)合了point?transformer的自注意力機制和criss-cross?attention機制的優(yōu)點，有效捕捉了點云數(shù)據(jù)中的局部細節(jié)和全局背景信息，提高了模型對橡膠樹幾何信息和空間關(guān)系的捕捉能力，從而提升了分割精度。

32、本發(fā)明實例旨在通過構(gòu)建高質(zhì)量的單株橡膠樹數(shù)據(jù)集，點云自適應(yīng)變換注意力(ptca)機制，解決橡膠樹分割任務(wù)中局部細節(jié)捕捉和全局背景信息融合不足的問題，從而實現(xiàn)高精度的單株橡膠樹分割，顯著提升模型在復(fù)雜背景條件下的分割效果和魯棒性。