本發(fā)明涉及遙感影像處理和計(jì)算機(jī)視覺(jué)，尤其涉及到一種基于混合智能的遙感影像多層次字幕生成方法及裝置。

背景技術(shù)：

1、隨著遙感技術(shù)的不斷發(fā)展，遙感影像數(shù)據(jù)呈現(xiàn)出海量化、高分辨率、多時(shí)相、多源異構(gòu)等新特征，海量的遙感影像數(shù)據(jù)給人工解譯與分析帶來(lái)巨大挑戰(zhàn)，亟需智能化的信息提取方法，將影像轉(zhuǎn)化為人類(lèi)可理解的語(yǔ)義表達(dá)形式。

2、遙感影像字幕是指利用自然語(yǔ)言對(duì)遙感圖像中的內(nèi)容進(jìn)行描述，將遙感圖像中的視覺(jué)信息轉(zhuǎn)換為文本字幕，使人們能更容易理解圖像中的內(nèi)容。遙感影像字幕可以提供影像內(nèi)容的高層次語(yǔ)義信息，有助于緩解影像理解中的語(yǔ)義鴻溝問(wèn)題，遙感影像字幕不僅要識(shí)別影像中的地物，還需分析地物間的空間關(guān)系，理解場(chǎng)景的整體語(yǔ)義，并轉(zhuǎn)化為流暢、準(zhǔn)確的語(yǔ)言表達(dá)，進(jìn)而形成圖文對(duì)數(shù)據(jù)集。然而，受限于遙感影像的專(zhuān)業(yè)性和復(fù)雜性，目前遙感領(lǐng)域的遙感影像字幕生成算法存在標(biāo)注粒度粗、字幕簡(jiǎn)單、場(chǎng)景單一等不足，難以支撐復(fù)雜場(chǎng)景的影像解譯與分析。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種基于混合智能的遙感影像多層次字幕生成方法及裝置，可解決目前遙感領(lǐng)域的遙感影像字幕生成算法存在標(biāo)注粒度粗、字幕簡(jiǎn)單、場(chǎng)景單一等技術(shù)問(wèn)題。

2、根據(jù)本發(fā)明的第一個(gè)方面，提供了一種基于混合智能的遙感影像多層次字幕生成方法，所述方法包括：

3、獲取遙感影像數(shù)據(jù)集，對(duì)于所述遙感影像數(shù)據(jù)集中的每一個(gè)遙感影像，確定所述遙感影像對(duì)應(yīng)的地物元素與目標(biāo)場(chǎng)景類(lèi)別；

4、根據(jù)所述目標(biāo)場(chǎng)景類(lèi)別與地物元素修正規(guī)則對(duì)所述地物元素進(jìn)行自動(dòng)修正，得到所述遙感影像對(duì)應(yīng)的自動(dòng)修正后地物元素，利用字幕生成算法以及空間關(guān)系先驗(yàn)知識(shí)對(duì)所述遙感影像進(jìn)行字幕生成，得到所述遙感影像對(duì)應(yīng)的空間關(guān)系字幕，根據(jù)所述自動(dòng)修正后地物元素、所述空間關(guān)系字幕以及所述目標(biāo)場(chǎng)景類(lèi)別得到第一多層次字幕；

5、響應(yīng)于對(duì)所述第一多層次字幕進(jìn)行人工修正的指令，展示遙感影像字幕先驗(yàn)知識(shí)，接收基于所述遙感影像字幕先驗(yàn)知識(shí)對(duì)所述第一多層次字幕進(jìn)行的人工修正，得到目標(biāo)多層次字幕。

6、根據(jù)本發(fā)明的第二個(gè)方面，提供了一種基于混合智能的遙感影像多層次字幕生成裝置，所述裝置包括：

7、獲取模塊，用于獲取遙感影像數(shù)據(jù)集，對(duì)于所述遙感影像數(shù)據(jù)集中的每一個(gè)遙感影像，確定所述遙感影像對(duì)應(yīng)的地物元素與目標(biāo)場(chǎng)景類(lèi)別；

8、生成模塊，用于根據(jù)所述目標(biāo)場(chǎng)景類(lèi)別與地物元素修正規(guī)則對(duì)所述地物元素進(jìn)行自動(dòng)修正，得到所述遙感影像對(duì)應(yīng)的自動(dòng)修正后地物元素，利用字幕生成算法以及空間關(guān)系先驗(yàn)知識(shí)對(duì)所述遙感影像進(jìn)行字幕生成，得到所述遙感影像對(duì)應(yīng)的空間關(guān)系字幕，根據(jù)所述自動(dòng)修正后地物元素、所述空間關(guān)系字幕以及所述目標(biāo)場(chǎng)景類(lèi)別得到第一多層次字幕；

9、展示模塊，用于響應(yīng)于對(duì)所述第一多層次字幕進(jìn)行人工修正的指令，展示遙感影像字幕先驗(yàn)知識(shí)，接收基于所述遙感影像字幕先驗(yàn)知識(shí)對(duì)所述第一多層次字幕進(jìn)行的人工修正，得到目標(biāo)多層次字幕。

10、依據(jù)本申請(qǐng)第三個(gè)方面，提供了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述基于混合智能的遙感影像多層次字幕生成方法。

11、依據(jù)本申請(qǐng)第四個(gè)方面，提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)介質(zhì)、處理器及存儲(chǔ)在存儲(chǔ)介質(zhì)上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述基于混合智能的遙感影像多層次字幕生成方法。

12、借由上述技術(shù)方案，本發(fā)明提供的一種基于混合智能的遙感影像多層次字幕生成方法及裝置，首先獲取遙感影像數(shù)據(jù)集，對(duì)于所述遙感影像數(shù)據(jù)集中的每一個(gè)遙感影像，確定所述遙感影像對(duì)應(yīng)的地物元素與目標(biāo)場(chǎng)景類(lèi)別；然后根據(jù)所述目標(biāo)場(chǎng)景類(lèi)別與地物元素修正規(guī)則對(duì)所述地物元素進(jìn)行自動(dòng)修正，得到所述遙感影像對(duì)應(yīng)的自動(dòng)修正后地物元素，利用字幕生成算法以及空間關(guān)系先驗(yàn)知識(shí)對(duì)所述遙感影像進(jìn)行字幕生成，得到所述遙感影像對(duì)應(yīng)的空間關(guān)系字幕，根據(jù)所述自動(dòng)修正后地物元素、所述空間關(guān)系字幕以及所述目標(biāo)場(chǎng)景類(lèi)別得到第一多層次字幕；最后響應(yīng)于對(duì)所述第一多層次字幕進(jìn)行人工修正的指令，展示遙感影像字幕先驗(yàn)知識(shí)，接收基于所述遙感影像字幕先驗(yàn)知識(shí)對(duì)所述第一多層次字幕進(jìn)行的人工修正，得到目標(biāo)多層次字幕。通過(guò)本發(fā)明的技術(shù)方案，基于地物元素修正規(guī)則對(duì)地物元素進(jìn)行自動(dòng)刪除與補(bǔ)充，基于空間關(guān)系先驗(yàn)知識(shí)得到的空間關(guān)系字幕具有更多的細(xì)節(jié)信息，提高了字幕的語(yǔ)義準(zhǔn)確性，將自動(dòng)修正后地物元素、空間關(guān)系字幕以及目標(biāo)場(chǎng)景類(lèi)別相互獨(dú)立的，多層次的組成第一多層次字幕，而不是將三者融合在一起，提高了字幕層次的豐富性以及靈活性，基于遙感影像字幕先驗(yàn)知識(shí)對(duì)第一多層次字幕進(jìn)行人工修正，使得得到的目標(biāo)多層次字幕更能表達(dá)遙感影像特征、減少重復(fù)以及補(bǔ)充了更多的細(xì)節(jié)信息，提高了字幕語(yǔ)義質(zhì)量。

13、上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

技術(shù)特征：

1.一種基于混合智能的遙感影像多層次字幕生成方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取遙感影像數(shù)據(jù)集，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述遙感影像對(duì)應(yīng)的地物元素與目標(biāo)場(chǎng)景類(lèi)別，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標(biāo)場(chǎng)景類(lèi)別與地物元素修正規(guī)則對(duì)所述地物元素進(jìn)行自動(dòng)修正，得到所述遙感影像對(duì)應(yīng)的自動(dòng)修正后地物元素，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用字幕生成算法以及空間關(guān)系先驗(yàn)知識(shí)對(duì)所述遙感影像進(jìn)行字幕生成，得到所述遙感影像對(duì)應(yīng)的空間關(guān)系字幕，包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收基于所述遙感影像字幕先驗(yàn)知識(shí)對(duì)所述第一多層次字幕進(jìn)行的人工修正，得到目標(biāo)多層次字幕，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述自動(dòng)修正后地物元素、所述空間關(guān)系字幕以及所述目標(biāo)場(chǎng)景類(lèi)別得到第一多層次字幕，包括：

8.一種基于混合智能的遙感影像多層次字幕生成裝置，其特征在于，所述裝置包括：

9.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述基于混合智能的遙感影像多層次字幕生成方法。

10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)介質(zhì)、處理器及存儲(chǔ)在存儲(chǔ)介質(zhì)上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述基于混合智能的遙感影像多層次字幕生成方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于混合智能的遙感影像多層次字幕生成方法及裝置，涉及遙感影像處理和計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，可解決目前遙感領(lǐng)域的遙感影像字幕生成算法存在標(biāo)注粒度粗、字幕簡(jiǎn)單、場(chǎng)景單一等技術(shù)問(wèn)題。包括：確定遙感影像對(duì)應(yīng)的地物元素與目標(biāo)場(chǎng)景類(lèi)別；根據(jù)目標(biāo)場(chǎng)景類(lèi)別與地物元素修正規(guī)則對(duì)地物元素進(jìn)行自動(dòng)修正，得到自動(dòng)修正后地物元素，利用字幕生成算法以及空間關(guān)系先驗(yàn)知識(shí)對(duì)遙感影像進(jìn)行字幕生成，得到空間關(guān)系字幕，根據(jù)自動(dòng)修正后地物元素、空間關(guān)系字幕以及目標(biāo)場(chǎng)景類(lèi)別得到第一多層次字幕；響應(yīng)于對(duì)第一多層次字幕進(jìn)行人工修正的指令，接收基于遙感影像字幕先驗(yàn)知識(shí)對(duì)第一多層次字幕進(jìn)行的人工修正，得到目標(biāo)多層次字幕。

技術(shù)研發(fā)人員：劉萬(wàn)增,任加新,陳軍,朱秀麗,趙婷婷,李然,翟曦,王新鵬,張曄,彭云璐
受保護(hù)的技術(shù)使用者：國(guó)家基礎(chǔ)地理信息中心
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9