本發(fā)明屬于圖像識(shí)別,具體涉及一種基于無(wú)人機(jī)遙感圖像的地理測(cè)繪目標(biāo)智能檢測(cè)方法。
背景技術(shù):
1、無(wú)人機(jī)遙感技術(shù)是指通過(guò)無(wú)人機(jī)搭載的高清影像設(shè)備,在無(wú)人機(jī)航行時(shí)拍攝目標(biāo)區(qū)域的影像信息,相比衛(wèi)星遙感,無(wú)人機(jī)遙感技術(shù)部署速度更快,設(shè)備成本更低,操控難度更小,很適合局部區(qū)域地理詳細(xì)測(cè)繪使用。因?yàn)闊o(wú)人機(jī)遙感圖像為目標(biāo)區(qū)域的局部圖像,為了完整獲取目標(biāo)區(qū)域,需要對(duì)無(wú)人機(jī)遙感圖像進(jìn)行拼接。
2、無(wú)人機(jī)遙感系統(tǒng)使用小型相機(jī)的感光傳感器畫(huà)幅,相比衛(wèi)星遙感所用的傳感器畫(huà)幅更小,進(jìn)而無(wú)人機(jī)遙感圖像中的影響素材較多,且無(wú)人機(jī)的飛行穩(wěn)定性容易受自然因素影響,容易導(dǎo)致影像成像效果之間存在差異。因此,在對(duì)無(wú)人機(jī)遙感圖像進(jìn)行拼接的過(guò)程中,會(huì)出現(xiàn)明顯的拼接痕跡,導(dǎo)致拼接出的圖像產(chǎn)生明顯的失真情況,無(wú)法準(zhǔn)確地獲取到整個(gè)目標(biāo)區(qū)域。隨著圖像獲取技術(shù)的不斷發(fā)展,獲取圖像的分辨率越來(lái)越高,如何在保留原始圖像信息的同時(shí),盡可能提高圖像拼接的精度和效率仍然是目前無(wú)人機(jī)遙感圖像拼接任務(wù)中亟待解決的問(wèn)題。
3、因此,有必要提出一種基于無(wú)人機(jī)遙感圖像的地理測(cè)繪目標(biāo)智能檢測(cè)方法,以解決現(xiàn)有技術(shù)中存在的如何在保留原始圖像信息的同時(shí),盡可能提高圖像拼接的精度和效率的問(wèn)題。
4、本背景技術(shù)所公開(kāi)的上述信息僅僅用于增加對(duì)本發(fā)明背景技術(shù)的理解,因此,其可能包括不構(gòu)成本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于無(wú)人機(jī)遙感圖像的地理測(cè)繪目標(biāo)智能檢測(cè)方法,以解決上述背景技術(shù)中提出的問(wèn)題。
2、為實(shí)現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:
3、一種基于無(wú)人機(jī)遙感圖像的地理測(cè)繪目標(biāo)智能檢測(cè)方法,包括:
4、步驟一、根據(jù)無(wú)人機(jī)航線確定拍攝圖像的重疊度,并且依次對(duì)采集的遙感圖像進(jìn)行預(yù)處理操作,得到預(yù)處理后的遙感圖像;
5、步驟二、選取拍攝區(qū)域中心位置的圖像作為參考,使用特征提取網(wǎng)絡(luò)分別提取參考圖像和待配準(zhǔn)圖像的特征,得到相應(yīng)的特征圖;
6、步驟三、采用基于矩陣乘法計(jì)算參考圖像和待配準(zhǔn)圖像的特征圖中局部描述符之間的相似程度,以獲得兩幅圖像各自特征的匹配信息;
7、步驟四、利用特征匹配信息估計(jì)兩幅圖像之間的變換關(guān)系,并使用空間變換網(wǎng)絡(luò)實(shí)現(xiàn)圖像的配準(zhǔn)對(duì)齊,完成圖像的初步拼接;
8、步驟五、使用多分辨率圖像融合算法將初步拼接的圖像重構(gòu)匯總成一幅完整的圖像,得到最終融合圖像。
9、優(yōu)選的,所述根據(jù)無(wú)人機(jī)航線按照大地坐標(biāo)系中相鄰兩幅圖像的地理對(duì)應(yīng)關(guān)系,結(jié)合人眼視覺(jué)判斷的兩幅圖像的位置關(guān)系,確定所拍攝圖像之間的相對(duì)方位;使用高斯濾波剔除影像中的噪聲信息,并且采用基于lab顏色空間的直方圖規(guī)定化進(jìn)行圖像增強(qiáng)操作,得到預(yù)處理后的遙感圖像。
10、優(yōu)選的,所述采用深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建特征提取網(wǎng)絡(luò),在處理圖像時(shí),特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)層采用相同的參數(shù)和權(quán)值,并引入通道注意力模塊自動(dòng)調(diào)整不同通道的特征權(quán)重,得到相應(yīng)圖像的特征圖。
11、特征提取網(wǎng)絡(luò)處理結(jié)構(gòu)如下:首先為兩層卷積核大小為3×3,通道數(shù)為64的卷積層,一層池化核大小為2×2的池化層,然后是兩層卷積核大小為3×3,通道數(shù)為128的卷積層,兩層卷積層之間形成殘差結(jié)構(gòu)并引入通道注意力模塊,一層池化核大小為4×4的池化層,接著對(duì)第4層卷積池化后的結(jié)果使用1×1的卷積將通道數(shù)擴(kuò)充為256,三層卷積核大小為3×3,通道數(shù)為256的卷積層,將第5層卷積的輸入和第7層卷積的輸出在通道維度上相加,一層池化核大小為8×8的池化層,最后是三層卷積核大小為3×3,通道數(shù)為512的卷積層,一層池化核大小為2×2的池化層。
12、在通道注意力模塊中,平均池化操作為每個(gè)通道分配一個(gè)權(quán)重,能夠捕捉輸入特征的全局信息,使網(wǎng)絡(luò)能夠更好地關(guān)注重要的特征。最大池化操作使得網(wǎng)絡(luò)對(duì)于輸入圖像的微小擾動(dòng)更加穩(wěn)定。首先,第3層卷積的輸出特征圖fx經(jīng)過(guò)并行的平均池化和最大池化,輸出分別為avgpool(fx)和maxpool(fx);然后,通過(guò)多層感知機(jī)(mlp)進(jìn)行注意力推斷得到通道注意力mc,可表示為:
13、mc(fx)=σ[mlp(avgpool(f))+mlp(maxpool(fx))]
14、式中,σ為sigmod函數(shù)。最后,將得到的通道注意力mc與輸入特征圖相乘,得到加強(qiáng)或減弱后的特征圖,作為第4層卷積的輸入。
15、優(yōu)選的,所述對(duì)經(jīng)過(guò)特征提取得到的參考圖像的特征圖fa和待配準(zhǔn)圖像的特征圖fb,采用基于矩陣乘法計(jì)算所有特征的匹配程度,得到相關(guān)特征圖cab,通過(guò)relu激活函數(shù)和l2標(biāo)準(zhǔn)化,提升匹配程度較高的特征在相關(guān)特征圖中的權(quán)重,得到最終相關(guān)特征fab。
16、優(yōu)選的,所述使用ransac算法從最終相關(guān)特征fab中隨機(jī)選擇子集,構(gòu)建方程組并求解矩陣,形成變換矩陣,基于剩余的特征點(diǎn)優(yōu)化變換矩陣,使用最小二乘法求解變換矩陣的最優(yōu)參數(shù)。
17、優(yōu)選的,所述空間變換網(wǎng)絡(luò)包括:堆疊3個(gè)卷積層塊,每個(gè)卷積層塊包含卷積、批量歸一化和線性修正單元,用于降維和降低計(jì)算量;一個(gè)空間金字塔池化,用于將特征圖的空間維度轉(zhuǎn)換為一維向量;一個(gè)神經(jīng)元數(shù)量為6的全連接層,用于將一維向量回歸為兩幅圖像之間放射變換矩陣的6個(gè)參數(shù)。
18、優(yōu)選的,所述利用laplace金字塔結(jié)構(gòu)將待融合兩幅無(wú)人機(jī)遙感圖像的重疊區(qū)域分解到不同頻率空間;在各自的頻率域上使用不同的融合算子進(jìn)行分層融合操作,將所有頻率域的圖像重構(gòu)匯總成一幅完整的圖像。
19、假定待融合的兩幅無(wú)人機(jī)農(nóng)田遙感圖像的重疊區(qū)域分別為圖像a及圖像b,融合后的圖像為圖像f,多分辨率融合算法的具體實(shí)現(xiàn)過(guò)程如下:
20、(1)將待融合的兩幅圖像a和b進(jìn)行高斯濾波,分別構(gòu)造五層的高斯金字塔,其中高斯金字塔的底層ga1和ga2為原始圖像尺寸,其余各層均通過(guò)對(duì)下層圖像進(jìn)行下采樣和高斯濾波得到;
21、(2)構(gòu)建五層的拉普拉斯金字塔la和lb,其中最頂層la5=ga5和lb5=gb5,拉普拉斯金字塔的其余1~4層均通過(guò)將高斯金字塔的對(duì)應(yīng)層與經(jīng)過(guò)上采樣和高斯卷積后的上層圖像相減得到;
22、(3)對(duì)拉普拉斯金字塔la和lb的每一層采用簡(jiǎn)單加權(quán)融合來(lái)構(gòu)建合成金字塔ls,對(duì)ls金字塔進(jìn)行重構(gòu)并取最底層圖像為最終融合圖像,重構(gòu)過(guò)程公式如下:
23、
24、式中,expand為進(jìn)行上采樣和高斯卷積操作的自定義算子。
25、一種實(shí)現(xiàn)上述任一項(xiàng)所述方法的系統(tǒng),包括圖像采集模塊、圖像分析模塊以及圖像融合模塊,其中:
26、圖像采集模塊用于接收并存儲(chǔ)無(wú)人機(jī)拍攝的遙感影像數(shù)據(jù);
27、圖像分析模塊包含特征提取網(wǎng)絡(luò)、矩陣乘法計(jì)算、變換關(guān)系估計(jì)以及空間變換網(wǎng)絡(luò),用于執(zhí)行遙感圖像特征提取、特征圖局部相似性計(jì)算、圖像之間變換關(guān)系估計(jì)以及圖像的配準(zhǔn)對(duì)齊;
28、圖像融合模塊用于根據(jù)分析結(jié)果使用多分辨率圖像融合算法將遙感圖像進(jìn)行拼接,獲取目標(biāo)區(qū)域圖像。
29、優(yōu)選的,所述系統(tǒng)還包括用戶交互界面,用于展示分析結(jié)果、接收用戶輸入以調(diào)整分析參數(shù)或查看詳細(xì)報(bào)告。
30、優(yōu)選的,所述圖像分析模塊還包括圖像預(yù)處理單元,用于對(duì)獲取的遙感圖像進(jìn)行去噪、增強(qiáng)處理。
31、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
32、本發(fā)明通過(guò)確保相鄰圖像之間有足夠的重疊區(qū)域,對(duì)采集的遙感圖像進(jìn)行預(yù)處理,保留了圖像的細(xì)節(jié)和信息,采用拍攝區(qū)域中心位置的圖像作為基準(zhǔn),使用特征提取網(wǎng)絡(luò)提取特征得到特征圖,能夠更精確地捕捉圖像中關(guān)鍵特征,然后采用基于矩陣乘法的相似度計(jì)算方法得到特征匹配信息,能夠快速處理大量特征描述符,減少計(jì)算復(fù)雜度,接著利用特征匹配信息準(zhǔn)確估計(jì)圖像之間的變換關(guān)系,結(jié)合空間變換網(wǎng)絡(luò)實(shí)現(xiàn)圖像的配準(zhǔn)對(duì)齊,確保不同視角的圖像能夠精準(zhǔn)對(duì)齊,減少拼接縫隙和失真,最后使用多分辨率圖像融合算法將拼接圖像重構(gòu)匯總成一幅完整的圖像,獲取目標(biāo)區(qū)域圖像,保留高頻細(xì)節(jié),適合后續(xù)的地理測(cè)繪和分析應(yīng)用。
33、本發(fā)明通過(guò)保留原始信息、提高特征提取和匹配的準(zhǔn)確性、實(shí)現(xiàn)精確配準(zhǔn)和高質(zhì)量重構(gòu),能夠解決現(xiàn)有技術(shù)中存在的如何在保留原始圖像信息的同時(shí),盡可能提高圖像拼接的精度和效率的問(wèn)題,整個(gè)流程自動(dòng)化程度高,減少了人工干預(yù),極大提高了圖像處理的效率,推動(dòng)無(wú)人機(jī)遙感圖像在地理測(cè)繪領(lǐng)域的應(yīng)用。
34、上述概述僅僅是為了說(shuō)明書(shū)的目的,并不意圖以任何方式進(jìn)行限制。除上述描述的示意性的方面、實(shí)施方式和特征之外,通過(guò)參考附圖和以下的詳細(xì)描述,本發(fā)明進(jìn)一步的方向、實(shí)施方式和特征將會(huì)是容易明白的。