本發(fā)明屬于計(jì)算機(jī)圖像拼接領(lǐng)域，涉及基于視差的無人機(jī)圖像拼接技術(shù)，具體是基于局部扭曲和接縫引導(dǎo)的無人機(jī)圖像拼接方法。

背景技術(shù)：

1、計(jì)算機(jī)圖像拼接技術(shù)作為計(jì)算機(jī)視覺領(lǐng)域的一項(xiàng)重要技術(shù)，廣泛應(yīng)用于遙感圖像分析、醫(yī)療成像、虛擬現(xiàn)實(shí)等領(lǐng)域，其旨在將一組存在重疊區(qū)域的圖像整合為一幅無縫的全景圖像或高分辨率圖像。在圖像拼接過程中，針對低紋理或重復(fù)紋理區(qū)域，采用sift+ransac算法難以獲取足量且正確的匹配點(diǎn)，致使重疊區(qū)域的匹配點(diǎn)不足，進(jìn)而導(dǎo)致圖像翹曲模型被錯(cuò)誤估算。圖像間匹配點(diǎn)的正確性以及數(shù)量直接影響最終的拼接成效。

2、當(dāng)圖像間視差較大時(shí)，傳統(tǒng)的圖像拼接技術(shù)所得拼接結(jié)果會(huì)出現(xiàn)較為顯著的錯(cuò)位偽影與透視失真。在此種情形下，采用簡單的圖像疊加方法，無法切實(shí)矯正由對齊不準(zhǔn)確所產(chǎn)生的錯(cuò)位位置的像素信息。為解決這一問題，采用接縫線的融合算法巧妙避開一些錯(cuò)位程度嚴(yán)重的像素點(diǎn)，在一定程度上優(yōu)化了拼接效果。然而，接縫融合算法取決于能量函數(shù)的選擇與設(shè)計(jì)，如果能量函數(shù)選擇不當(dāng)，不但不能有效減少拼接中的偽影和失真，還會(huì)影響最終拼接效果。

3、本發(fā)明提出了基于局部扭曲和接縫引導(dǎo)的無人機(jī)圖像拼接方法，以解決上述技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題；為此，本發(fā)明提出了基于局部扭曲和接縫引導(dǎo)的無人機(jī)圖像拼接方法，用于解決在圖像拼接過程中針對輸入圖像之間存在視差，未能充分考慮圖像非重疊區(qū)域的翹曲特性，導(dǎo)致圖像拼接結(jié)果產(chǎn)生偽影問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了基于局部扭曲和接縫引導(dǎo)的無人機(jī)圖像拼接方法，包括：

3、步驟一：獲取圖像數(shù)據(jù)集，增加匹配點(diǎn)對；

4、獲取無人機(jī)遙感圖像數(shù)據(jù)集，使用sift檢測和匹配特征點(diǎn)，利用投影不變性探索共面區(qū)域，增加匹配點(diǎn)對；其中，共面區(qū)域通過檢測圖像相鄰的線構(gòu)建；

5、步驟二：網(wǎng)格劃分與計(jì)算；

6、將目標(biāo)圖像進(jìn)行網(wǎng)格劃分，設(shè)置單應(yīng)權(quán)重計(jì)算每個(gè)網(wǎng)格局部單應(yīng)矩陣h*，根據(jù)所述局部單應(yīng)矩陣得到翹曲圖像，所述翹曲圖像包括目標(biāo)圖像和參考圖像的翹曲圖像；

7、步驟三：設(shè)置標(biāo)簽與獲取初始接縫；

8、將目標(biāo)圖像和參考圖像的重疊區(qū)域p設(shè)置標(biāo)簽集l，為接縫每個(gè)像素p分配一個(gè)標(biāo)簽lp，最小化能量函數(shù)e(l)由數(shù)據(jù)項(xiàng)dp(lp)和平滑項(xiàng)sp,q(lp,lq)組成，得到初始接縫s0；其中，數(shù)據(jù)項(xiàng)dp(lp)為像素p對應(yīng)標(biāo)簽lp的成本，平滑項(xiàng)sp,q(lp,lq)為一對相鄰像素(p,q)對應(yīng)一對標(biāo)簽(lp,lq)的成本；

9、步驟四：評(píng)估與調(diào)整接縫；

10、評(píng)估初始接縫s0每個(gè)像素，計(jì)算每個(gè)像素點(diǎn)對應(yīng)塊ssim誤差q(p),根據(jù)上述得到的ssim誤差q(p)通過ostu算法得到τ，誤差大于閾值τ為不合理接縫，提取未對齊像素局部塊，根據(jù)未對齊像素局部塊中像素之間的sift流調(diào)整未對齊像素局部塊，得到調(diào)整后的翹曲圖像和新的局部接縫si，將初始接縫s0與新的局部接縫si合并，得到最終接縫s*；

11、步驟五：生成最終拼接圖像；

12、將調(diào)整后的翹曲圖像和最終接縫s*通過梯度融合得到最終拼接圖像，完成無人機(jī)圖像的對齊。

13、優(yōu)選的，所述步驟一中，利用投影不變性探索共面區(qū)域，增加匹配點(diǎn)對，包括：

14、獲取圖像數(shù)據(jù)，從中提取圖像的特征點(diǎn)和相鄰的線特征，將圖像劃分為多個(gè)共面子區(qū)域，使用投影不變參數(shù)cn來構(gòu)造線點(diǎn)不變，使用五點(diǎn)構(gòu)建一個(gè)三角形，并在每個(gè)邊上設(shè)置等交點(diǎn)，計(jì)算子區(qū)域cn相似性，獲取連續(xù)匹配點(diǎn)對。

15、優(yōu)選的，所述步驟二中，設(shè)置單應(yīng)權(quán)重包括：

16、將目標(biāo)圖像劃分為多個(gè)網(wǎng)格,通過權(quán)重公式計(jì)算得到單應(yīng)權(quán)重公式如下：

17、

18、其中，x*為目標(biāo)圖像像素點(diǎn)，xi為目標(biāo)圖像中第i個(gè)點(diǎn)匹配{xi,x'i}的二分之一坐標(biāo)，x'i表示參考圖像中的點(diǎn)，σ為尺度參數(shù)，γ用于抵消權(quán)重；

19、diag函數(shù)根據(jù)給定單應(yīng)權(quán)重向量創(chuàng)建一個(gè)對角矩陣，即權(quán)重矩陣w*，公式如下：

20、

21、其中，n為匹配點(diǎn)個(gè)數(shù)。

22、優(yōu)選的，所述步驟二中，通過公式計(jì)算得到每個(gè)網(wǎng)格局部單應(yīng)矩陣h*,公式如下：

23、

24、其中，w*為權(quán)重矩陣，矩陣n是點(diǎn)匹配個(gè)數(shù)，h是一個(gè)向量，根據(jù)局部單應(yīng)矩陣得到目標(biāo)圖像和參考圖像的翹曲圖像。

25、優(yōu)選的，所述步驟三中，最小化能量函數(shù)e(l)由數(shù)據(jù)項(xiàng)dp(lp)和平滑項(xiàng)sp,q(lp,lq)組成,包括：

26、將目標(biāo)圖像i0和參考圖像i1的重疊區(qū)域p設(shè)置標(biāo)簽集l，為接縫每個(gè)像素p∈p分配一個(gè)標(biāo)簽lp∈l，通過最小化能量函數(shù)公式計(jì)算得到標(biāo)簽l，公式如下：

27、

28、其中，n是像素的鄰域系統(tǒng)，數(shù)據(jù)項(xiàng)dp(lp)為將標(biāo)簽lp分配給像素p的成本，平滑項(xiàng)sp,q(lp,lq)為將一對標(biāo)簽(lp,lq)分配給一對相鄰像素(p,q)對應(yīng)的成本，wp,q是顯著性權(quán)重。

29、優(yōu)選的，所述步驟三中得到初始接縫s0，包括：

30、通過權(quán)重公式計(jì)算重疊區(qū)域平均像素顯著性，公式如下：

31、

32、其中w(p)和w(q)分別是重疊區(qū)域內(nèi)像素p和像素q的顯著性，表示p或q位于畫布和p的公共邊界

33、通過梯度融合得到初始拼接圖像和初始接縫s0。

34、優(yōu)選的，所述步驟四中，評(píng)估初始接縫每個(gè)像素，通過公式計(jì)算每個(gè)像素點(diǎn)對應(yīng)塊的ssim誤差，公式如下：

35、

36、其中，p0(pi),p1(pi)為以pi為中心的局部塊，根據(jù)上述得到的ssim誤差q(p)通過ostu算法得到τ，誤差q(pi)≥τ為不合理接縫，分別在目標(biāo)圖像和參考圖像提取未對齊像素局部塊。

37、優(yōu)選的，所述步驟四中，根據(jù)未對齊像素局部塊中像素之間的sift流調(diào)整未對齊像素局部塊，對于局部塊中每個(gè)像素pj，存在一個(gè)移位向量vi(pj)滿足如下公式：

38、

39、其中，i指的是未對齊像素局部塊，j指的是未對齊像素局部塊中的像素。

40、優(yōu)選的，所述步驟四中，當(dāng)局部塊的邊界像素有較大的偏移向量時(shí)，通過sigmoid函數(shù)公式平滑的將偏移向量流修改為f(vi(pj))，公式如下：

41、

42、其中，β是一個(gè)參數(shù)，用于控制函數(shù)f變化的速率；

43、通過對齊的補(bǔ)丁塊計(jì)算新的局部接縫si，將初始接縫與新的局部接縫合并，得到最終接縫s*。

44、優(yōu)選的，所述步驟五中，根據(jù)調(diào)整后的翹曲圖和最終接縫，通過梯度融合得到最終拼接圖像，包括：

45、通過調(diào)整未對齊的塊，根據(jù)使用sift向量流調(diào)整得到的翹曲圖和最終接縫s*，采用梯度融合技術(shù)來平滑地過渡圖像之間的邊界。

46、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

47、1.本發(fā)明利用網(wǎng)格來引導(dǎo)圖像的翹曲，設(shè)計(jì)了一種邏輯函數(shù)來優(yōu)化標(biāo)簽?zāi)芰亢瘮?shù)最小化問題，并采用切縫法在重疊區(qū)域搜索接縫。結(jié)合這兩種方法不但提高了圖像拼接的精度和質(zhì)量，而且可以有效的應(yīng)對復(fù)雜場景下的圖像；通過對目標(biāo)圖像進(jìn)行若干網(wǎng)格劃分，根據(jù)單應(yīng)權(quán)重計(jì)算每個(gè)網(wǎng)格局部單應(yīng)矩陣，實(shí)現(xiàn)了圖像翹曲的精確控制。提高了圖像拼接的精度，確保了圖像之間平滑且自然的過渡。

48、2.本發(fā)明本發(fā)明通過對目標(biāo)圖像進(jìn)行網(wǎng)格翹曲處理，并通過切縫法尋找最優(yōu)接縫，進(jìn)而與參考圖像進(jìn)行融合，得到最終的拼接圖像，實(shí)現(xiàn)了無人機(jī)圖像的精確對齊。

49、3.本發(fā)明通過最小化能量函數(shù)得到初始接縫，對初始接縫的每個(gè)像素進(jìn)行評(píng)估，當(dāng)對應(yīng)塊的ssim誤差超出設(shè)定閾值時(shí)，認(rèn)為該接縫不合理。提取這些未對齊像素的局部塊，并利用sift向量流對這些局部塊進(jìn)行調(diào)整，以獲得調(diào)整后的翹曲圖和更新的局部接縫。將經(jīng)過調(diào)整的局部接縫與初始接縫合并，從而得到最終的接縫。這一過程不僅提高了接縫的準(zhǔn)確性，還增強(qiáng)了圖像拼接的整體質(zhì)量，實(shí)現(xiàn)了更加平滑和自然的圖像拼接效果。