本發(fā)明屬于火燒跡地檢測，尤其涉及一種多模態(tài)火燒跡地檢測方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、目前，火燒跡地檢測主要依賴于遙感影像技術(shù)，通過對衛(wèi)星、無人機等設(shè)備獲取的圖像進行分析。傳統(tǒng)的火燒跡地檢測技術(shù)主要使用單一模態(tài)的遙感數(shù)據(jù)，提取特定的光譜指數(shù)，紋理信息和多光譜波段信息，根據(jù)合適的閾值或使用隨機森林等機器學習方法區(qū)分燒毀和未燒毀的地區(qū)。然而，這些單一模態(tài)的方法面臨多種挑戰(zhàn)，如植被的季節(jié)性變化、云層覆蓋和光照條件的變化，這些因素都可能影響檢測的準確性和及時性。

2、由于成像條件的限制，如天氣、時間、地形等因素的影響，無法保證在每次檢測時都能獲取到特定模態(tài)的影像數(shù)據(jù)，從而影響了火燒跡地檢測結(jié)果的及時性和準確性。為了克服特定模態(tài)數(shù)據(jù)的局限性，需要設(shè)計一種多模態(tài)火燒跡地檢測模型，能夠處理不同模態(tài)的影像數(shù)據(jù)，如光學影像、紅外影像、雷達影像等，減少火燒跡地檢測模型對單一模態(tài)數(shù)據(jù)的依賴，提高模型的跨模態(tài)泛化能力和適用性。

3、然而，跨模態(tài)檢測模型面臨另一個具有挑戰(zhàn)的問題，即模型可能在訓練過程中無法一次性獲取到所有模態(tài)的數(shù)據(jù)。在現(xiàn)實問題中，不同模態(tài)的數(shù)據(jù)可能需要逐步獲取，這要求檢測模型具備持續(xù)學習新模態(tài)知識的能力，能夠不斷學習新模態(tài)數(shù)據(jù)，及時更新和優(yōu)化檢測模型。然而，一般的機器學習模型在學習新任務(wù)的過程中會面臨“災(zāi)難性遺忘”問題，即學習到新知識時會忘記之前已經(jīng)學到的舊知識，導致模型在舊任務(wù)的表現(xiàn)上性能不佳。

技術(shù)實現(xiàn)思路

1、（一）要解決的技術(shù)問題

2、為解決現(xiàn)有技術(shù)中火燒跡地檢測中所出現(xiàn)的上述技術(shù)問題至少之一，本發(fā)明的實施例提供了一種多模態(tài)火燒跡地檢測方法、裝置、設(shè)備及介質(zhì)，通過在語義分割模型中設(shè)置記憶緩沖區(qū)，以使模型能夠持續(xù)學習，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，并緩解災(zāi)難性遺忘問題。

3、（二）技術(shù)方案

4、鑒于上述問題，本發(fā)明的實施例提供了一種多模態(tài)火燒跡地檢測方法、裝置、設(shè)備及介質(zhì)。

5、根據(jù)本發(fā)明的第一個方面，提供了一種多模態(tài)火燒跡地檢測方法，包括：獲取目標火燒跡地遙感觀測數(shù)據(jù)；對目標火燒跡地遙感觀測數(shù)據(jù)進行特征提取，得到目標多維特征數(shù)據(jù)；以及將目標多維特征數(shù)據(jù)輸入預先訓練的目標語義分割模型中進行火燒跡地檢測，得到目標火燒跡地遙感觀測數(shù)據(jù)對應(yīng)的火燒跡地檢測數(shù)據(jù)，其中，目標火燒跡地遙感觀測數(shù)據(jù)包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；目標語義分割模型能夠處理多種模態(tài)的火燒跡地遙感觀測數(shù)據(jù)；以及目標語義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學習，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問題。

6、在一些示例性的實施例中，預先訓練得到目標語義分割模型包括：獲取按照模態(tài)進行分組的多組任務(wù)數(shù)據(jù)，每組任務(wù)數(shù)據(jù)作為獨立的訓練任務(wù)；構(gòu)建初始語義分割模型用于火燒跡地檢測，初始語義分割模型包括記憶緩沖區(qū)；使用第一組任務(wù)數(shù)據(jù)對初始語義分割模型進行訓練，利用第一損失函數(shù)計算分割損失，根據(jù)分割損失更新初始語義分割模型中的參數(shù)，同時用當前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)；以及依次訓練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓練得到的語義分割模型的參數(shù)，同時用當前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)，直至完成所有任務(wù)數(shù)據(jù)的訓練，得到目標語義分割模型，其中，第一組任務(wù)數(shù)據(jù)為多組任務(wù)數(shù)據(jù)中的任意一組。

7、在一些示例性的實施例中，獲取按照模態(tài)進行分組的多組任務(wù)數(shù)據(jù)包括：獲取多模態(tài)火燒跡地遙感觀測數(shù)據(jù)及火燒跡地遙感觀測數(shù)據(jù)對應(yīng)的火燒跡地掩碼數(shù)據(jù)；對多模態(tài)火燒跡地遙感觀測數(shù)據(jù)和火燒跡地掩碼數(shù)據(jù)進行特征提取，得到多維特征數(shù)據(jù)；以及將多維特征數(shù)據(jù)與掩碼數(shù)據(jù)按照模態(tài)分組，得到按照模態(tài)進行分組的任務(wù)數(shù)據(jù)，其中，不同模態(tài)的多維特征數(shù)據(jù)具有相同的特征維數(shù)；多維特征數(shù)據(jù)包含火災(zāi)前和火災(zāi)后的信息；以及任務(wù)數(shù)據(jù)按照預設(shè)比例劃分為訓練樣本和驗證樣本。

8、在一些示例性的實施例中，初始語義分割模型使用resnet和u-net結(jié)合的深度學習語義分割模型，其中，resnet作為u-net的編碼器，將編碼器中的每一層與解碼器中對應(yīng)層進行拼接，以使深度學習語義分割模型能夠同時學習到淺層與深層的特征。

9、在一些示例性的實施例中，記憶緩沖區(qū)用于存儲語義分割模型在之前任務(wù)訓練過程中使用的訓練樣本以及經(jīng)過之前任務(wù)訓練后得到的語義分割模型對訓練樣本的輸出結(jié)果，其中，若記憶緩沖區(qū)中已存儲的數(shù)據(jù)量小于記憶緩沖區(qū)的大小，則將正在處理的數(shù)據(jù)直接存入記憶緩沖區(qū)；若記憶緩沖區(qū)中已存儲的數(shù)據(jù)量等于記憶緩沖區(qū)的大小，則根據(jù)水庫抽樣方法隨機決定是否將正在處理的數(shù)據(jù)替換記憶緩沖區(qū)中已存入的任務(wù)數(shù)據(jù)。

10、在一些示例性的實施例中，依次訓練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓練得到的語義分割模型的參數(shù)，同時用當前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)包括：基于上次任務(wù)數(shù)據(jù)訓練得到的語義分割模型以及當前任務(wù)數(shù)據(jù)，利用第一損失函數(shù)計算分割損失，得到分割損失；基于記憶緩沖區(qū)中存儲的任務(wù)數(shù)據(jù)，利用第二損失函數(shù)，計算均方損失作為蒸餾損失，以減少模型在當前任務(wù)訓練過程中對舊任務(wù)知識的遺忘；利用分割損失和蒸餾損失的加權(quán)和構(gòu)造第三損失函數(shù)，計算得到總損失；以及基于總損失更新語義分割模型的參數(shù)。

11、在一些示例性的實施例中，分割損失函數(shù)包括焦點損失函數(shù)。

12、本發(fā)明的第二方面提供了一種多模態(tài)火燒跡地檢測裝置，包括以下模塊：獲取模塊，用于獲取目標火燒跡地遙感觀測數(shù)據(jù)；特征提取模塊，用于對目標火燒跡地遙感觀測數(shù)據(jù)進行特征提取，得到目標多維特征數(shù)據(jù)；以及檢測模塊，用于將目標多維特征數(shù)據(jù)輸入預先訓練的目標語義分割模型中進行火燒跡地檢測，得到目標火燒跡地遙感觀測數(shù)據(jù)對應(yīng)的火燒跡地檢測數(shù)據(jù)，其中，目標火燒跡地遙感觀測數(shù)據(jù)包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；目標語義分割模型能夠處理多模態(tài)火燒跡地遙感觀測數(shù)據(jù)；以及目標語義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學習，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問題。

13、本發(fā)明的第三方面提供了一種電子設(shè)備，包括：一個或多個處理器以及存儲器，存儲器用于存儲一個或多個程序，其中，當一個或多個程序被一個或多個處理器執(zhí)行時，使得一個或多個處理器執(zhí)行上述方法。

14、本發(fā)明的第四方面還提供了一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行指令，該指令被處理器執(zhí)行時使處理器執(zhí)行上述方法。

15、（三）有益效果

16、從上述技術(shù)方案可以看出，本發(fā)明的實施例提供的一種多模態(tài)火燒跡地檢測方法、裝置、設(shè)備及介質(zhì)至少具有以下有益效果其中之一：

17、（1）通過在語義分割模型中設(shè)置記憶緩沖區(qū)，使模型能夠持續(xù)學習，能夠根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，并緩解災(zāi)難性遺忘問題。

18、（2）本發(fā)明能夠整合多模態(tài)數(shù)據(jù)，在數(shù)據(jù)可用性受限的情況下仍能保持高效的檢測性能。

19、（3）明通過劃分不同模態(tài)訓練任務(wù)并使用記憶緩沖區(qū)，使模型保持對舊知識的記憶，并學習新任務(wù)的知識，提高了模型的跨模態(tài)泛化能力和適用性。

技術(shù)特征：

1.一種多模態(tài)火燒跡地檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，預先訓練得到所述目標語義分割模型包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取按照模態(tài)進行分組的多組任務(wù)數(shù)據(jù)包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述初始語義分割模型使用resnet和u-net結(jié)合的深度學習語義分割模型，其中，resnet作為u-net的編碼器，將編碼器中的每一層與解碼器中對應(yīng)層進行拼接，以使所述深度學習語義分割模型能夠同時學習到淺層與深層的特征。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述記憶緩沖區(qū)用于存儲語義分割模型在之前任務(wù)訓練過程中使用的訓練樣本以及經(jīng)過之前任務(wù)訓練后得到的語義分割模型對所述訓練樣本的輸出結(jié)果，

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依次訓練后續(xù)任務(wù)數(shù)據(jù)，更新上次任務(wù)數(shù)據(jù)訓練得到的語義分割模型的參數(shù)，同時用當前任務(wù)的數(shù)據(jù)更新記憶緩沖區(qū)包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分割損失函數(shù)包括焦點損失函數(shù)。

8.一種多模態(tài)火燒跡地檢測裝置，其特征在于，所述裝置包括以下模塊：

9.一種電子設(shè)備，其中，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行指令，該指令被處理器執(zhí)行時使處理器執(zhí)行根據(jù)權(quán)利要求1~7中任一項所述的方法。

技術(shù)總結(jié)
提供了一種多模態(tài)火燒跡地檢測方法，適用于森林/草原火燒跡地檢測技術(shù)領(lǐng)域。該方法包括：獲取目標火燒跡地遙感觀測數(shù)據(jù)，包括同一地區(qū)火災(zāi)前和火災(zāi)后的數(shù)據(jù)；對目標火燒跡地遙感觀測數(shù)據(jù)進行特征提取，得到目標多維特征數(shù)據(jù)；以及將目標多維特征數(shù)據(jù)輸入預先訓練的目標語義分割模型中進行火燒跡地檢測，得到火燒跡地檢測數(shù)據(jù)，其中，目標語義分割模型能夠處理多種模態(tài)的火燒跡地遙感觀測數(shù)據(jù)；以及目標語義分割模型包括記憶緩沖區(qū)，以使模型能夠持續(xù)學習，根據(jù)新的模態(tài)數(shù)據(jù)自適應(yīng)更新和優(yōu)化模型，以緩解災(zāi)難性遺忘問題。本發(fā)明還提供了一種多模態(tài)火燒跡地檢測裝置、設(shè)備及介質(zhì)。

技術(shù)研發(fā)人員：周增光,袁媛,李子揚,辛淇,李雪松,舒展,董裕民
受保護的技術(shù)使用者：中國科學院空天信息創(chuàng)新研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6