本發(fā)明涉及圖像處理及計(jì)算機(jī)圖形學(xué)領(lǐng)域，尤其涉及進(jìn)行圖像匹配拼接時(shí)，基于優(yōu)化視覺感受的優(yōu)化融合效果領(lǐng)域。具體講,涉及減少拼接圖像錯(cuò)位的圖像融合方法。

背景技術(shù)：

圖像拼接融合技術(shù)是常見的數(shù)字圖像處理技術(shù)，廣泛應(yīng)用于汽車電子、無人機(jī)、軍事、遙感等實(shí)際應(yīng)用領(lǐng)域。該技術(shù)是將兩幅或者多幅具有重合區(qū)域的圖像拼接融合為一幅視角寬廣的圖像。常用圖像拼接方法的步驟是(1)進(jìn)行圖像中關(guān)鍵信息例如特征點(diǎn)的提??；(2)將兩幅圖中的這些關(guān)鍵信息進(jìn)行匹配；(3)利用匹配的關(guān)鍵信息，計(jì)算用于融合的拼接參數(shù)。拼接參數(shù)包含圖像的旋轉(zhuǎn)，拉伸，平移等信息。(4)使用該拼接參數(shù)對(duì)拼接圖像進(jìn)行處理后，以其中一幅圖像為基準(zhǔn)，另一幅圖像去除重合區(qū)域與之融合，完成圖像拼接融合。

但是在實(shí)際應(yīng)用中，用于拼接的圖像往往是不同攝像頭在不同角度拍攝的，導(dǎo)致拼接圖像之間存在較大的旋轉(zhuǎn)及拉伸變化。某些現(xiàn)行的圖像拼接算法對(duì)旋轉(zhuǎn)以及拉伸變化較為敏感，這導(dǎo)致計(jì)算所得拼接參數(shù)與真實(shí)的拼接參數(shù)之間存在一定的偏差。圖像依照此拼接參數(shù)進(jìn)行拼接時(shí)會(huì)在拼接處產(chǎn)生一些錯(cuò)位，從而造成圖像內(nèi)容邊緣斷裂等現(xiàn)象。同時(shí)由于不同攝像頭的性能存在差異，拍攝環(huán)境(如光照等)存在差別，兩幅拼接圖像中的重合區(qū)域會(huì)存在亮度等的差異，導(dǎo)致融合圖像有較為明顯的拼接痕跡。從而降低了視覺感受。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)常用圖像拼接方法中圖像融合時(shí)出現(xiàn)的錯(cuò)位，邊緣斷裂，拼接縫隙等問題，本發(fā)明的目的是在拼接參數(shù)不變的情況下，提升拼接圖像質(zhì)量，淡化錯(cuò)位和拼接縫隙，獲得視覺上的自然連貫的融合圖像。為此，本發(fā)明采用的技術(shù)方案是，減少拼接圖像錯(cuò)位的圖像融合方法，使用拼接參數(shù)對(duì)拼接輸入圖像進(jìn)行處理，對(duì)處理后的圖像坐標(biāo)重合的像素點(diǎn)進(jìn)行處理，具體地：

一、求兩幅拼接圖像重合區(qū)域像素點(diǎn)亮度差異：首先對(duì)用于拼接的圖像對(duì)的灰度圖進(jìn)行中值濾波，得到每幅圖的像素亮度信息，在拼接圖像重合區(qū)域內(nèi)，將經(jīng)過處理的待拼圖像灰度值按照公式1相減并求絕對(duì)值：

d(i,j)＝abs(a(i,j)-b(i,j))(1)

公式1中，(i，j)為重合區(qū)域內(nèi)的像素坐標(biāo)，a表示經(jīng)中值濾波后的左路拼接圖像的灰度值，b表示經(jīng)中值濾波后的右路拼接圖像的灰度值，abs為求絕對(duì)值的函數(shù)，d表示兩圖的亮度差異；

二、求安全的邊緣點(diǎn)和平滑區(qū)域：使用邊緣檢測算法分別檢測兩圖重合區(qū)域的內(nèi)容邊緣，將坐標(biāo)重合的邊緣標(biāo)記為安全邊緣點(diǎn)，表示作為融合路徑的像素，然后將圖像的邊緣圖進(jìn)行形態(tài)學(xué)膨脹，兩圖中非邊緣的像素坐標(biāo)的并集為拼接圖像的平滑區(qū)域，對(duì)平滑區(qū)域的像素坐標(biāo)給額外的融合路徑選擇權(quán)重，如公式2所示：

m(i,j)＝s(i,j)-d(i,j)(2)

式中，(i，j)為重合區(qū)域內(nèi)的像素坐標(biāo)，d表示兩圖的亮度差異，m表示最后的融合途徑選擇權(quán)重，s表示平滑區(qū)像素額外的權(quán)重；

三、尋找融合路徑，重合區(qū)域中處于兩圖邊界交界的兩個(gè)頂點(diǎn)分別為搜索融合路徑的起始點(diǎn)和終點(diǎn)，每個(gè)新的融合路徑像素位置的搜索范圍為當(dāng)前像素坐標(biāo)為中心n*n的窗口且去除不考慮像素坐標(biāo)，從起始點(diǎn)出發(fā)，在搜索范圍內(nèi)m值最大的點(diǎn)記為下一個(gè)融合路徑點(diǎn)，若存在數(shù)個(gè)最小值，則記距離終點(diǎn)最近的點(diǎn)為下一個(gè)路徑點(diǎn)，以此規(guī)律進(jìn)行迭代，直到尋找到終點(diǎn)，融合路徑定位結(jié)束；

四、進(jìn)行圖像融合的優(yōu)化：依據(jù)兩圖重合區(qū)域的亮度差異進(jìn)行光照補(bǔ)償處理，然后對(duì)圖像建立高斯，拉普拉斯金字塔，進(jìn)行多尺度圖像融合，得到平滑且色差很小的融合圖像。

一個(gè)具體實(shí)例中，以3*3大小的窗口進(jìn)行圖像的中值濾波，按照公式1計(jì)算得到每個(gè)坐標(biāo)對(duì)應(yīng)的參數(shù)d，使用邊緣檢測算法canny算子分別求得兩圖的邊緣坐標(biāo)，計(jì)算得到位置重合的安全坐標(biāo)位置以及不考慮坐標(biāo)位置，對(duì)canny算子求得的邊緣信息圖進(jìn)行形態(tài)學(xué)膨脹，得到拼接圖像的平滑區(qū)域，額外的權(quán)重s設(shè)為30，計(jì)算得到參數(shù)m，以參數(shù)m為依據(jù)搜索融合路徑，得到優(yōu)化的融合路徑，然后以此路徑進(jìn)行圖像拼接，并進(jìn)行多尺度融合，消除拼接縫隙，得到很少錯(cuò)位邊界的拼接圖像。

本發(fā)明的特點(diǎn)及有益效果是：

1.本發(fā)明使用圖像中亮度變化很小的區(qū)域進(jìn)行融合，同時(shí)改變了拼接融合路徑與圖形邊緣方向的角度，有效降低了拼接參數(shù)不完全吻合時(shí)導(dǎo)致的拼接圖像錯(cuò)位的影響，從而提高了融合圖像的質(zhì)量；

2.本發(fā)明有效規(guī)避了由于拼接參數(shù)不精準(zhǔn)造成的錯(cuò)位邊緣像素點(diǎn)，減少了拼接圖像中的錯(cuò)位邊緣，提高了圖像質(zhì)量。

3.拼接路徑處采用了多尺度平滑濾波技術(shù)進(jìn)行處理，得到了漸變的拼接邊界。且使用白平衡等技術(shù)降低了由于拍攝引入的色差導(dǎo)致的邊界顏色突變的現(xiàn)象。提高了拼接圖像的質(zhì)量。

附圖說明：

圖1圖像拼接示意圖及參數(shù)d計(jì)算窗口。

圖2拼接路徑的搜索示意圖。

具體實(shí)施方式

圖像拼接融合本質(zhì)為以兩幅圖的重合區(qū)域?yàn)閰⒖?，將處理后的圖像像素集合到一幅圖上形成拼接融合圖像。常見的融合方法為以其中一幅圖像為基準(zhǔn)，另一幅圖像基于拼接參數(shù)運(yùn)算之后進(jìn)行填補(bǔ)。因此進(jìn)行圖像拼接融合的位置為基準(zhǔn)圖像的邊界。在拼接參數(shù)不準(zhǔn)確的情況下，圖像內(nèi)邊緣信息出現(xiàn)在基準(zhǔn)圖像邊界時(shí)，圖像內(nèi)容邊緣錯(cuò)位或者斷裂的現(xiàn)象。同時(shí)在圖像平滑區(qū)域中，即無邊緣且像素很相似的區(qū)域(例如天空，平靜的水面等)，即使發(fā)生拼接錯(cuò)位，由于該區(qū)域內(nèi)不存在邊緣，因而錯(cuò)位不會(huì)對(duì)圖像視覺感受造成影響。同時(shí)，由于拍攝環(huán)境和攝像頭參數(shù)等的影響，用于拼接的圖像存在一定的亮度差異，見底了拼接圖像的質(zhì)量。本發(fā)明提出的方法即利用上述現(xiàn)象進(jìn)行拼接融合，充分利用平滑區(qū)域及亮度差異較小的像素，規(guī)避圖像內(nèi)容的邊緣，減小圖像內(nèi)容邊緣錯(cuò)位，得到一條優(yōu)化的圖像融合路徑。以此路徑獲得視覺優(yōu)化的融合圖像。具體方法如下。

使用拼接參數(shù)對(duì)拼接輸入圖像進(jìn)行處理。對(duì)處理后的圖像坐標(biāo)重合的像素點(diǎn)進(jìn)行處理。

一、求兩幅拼接圖像重合區(qū)域像素點(diǎn)亮度差異。首先對(duì)用于拼接的圖像對(duì)的灰度圖進(jìn)行中值濾波，得到每幅圖的像素亮度信息。然后如圖1所示，在拼接圖像重合區(qū)域內(nèi)，將經(jīng)過處理的待拼圖像灰度值按照公式1相減并求絕對(duì)值。

d(i,j)＝abs(a(i,j)-b(i,j))(1)

公式1中，(i，j)為重合區(qū)域內(nèi)的像素坐標(biāo)，a表示經(jīng)中值濾波后的左路拼接圖像的灰度值，b表示經(jīng)中值濾波后的右路拼接圖像的灰度值，abs為求絕對(duì)值的函數(shù)，d表示兩圖的亮度差異。

二、求安全的邊緣點(diǎn)和平滑區(qū)域。使用邊緣檢測算法分別檢測兩圖重合區(qū)域的內(nèi)容邊緣。將坐標(biāo)重合的邊緣標(biāo)記為安全邊緣點(diǎn)，表示可以作為融合路徑的像素。而不重合的邊緣會(huì)造成斷裂的邊界，因此不能作為融合路徑的像素這些點(diǎn)與不重合區(qū)域的像素記為不考慮像素。然后將圖像的邊緣圖進(jìn)行形態(tài)學(xué)膨脹，兩圖中非邊緣的像素坐標(biāo)的并集為拼接圖像的平滑區(qū)域。對(duì)平滑區(qū)域的像素坐標(biāo)給額外的融合路徑選擇權(quán)重。如公式2所示。

m(i,j)＝s(i,j)-d(i,j)(2)

式中，(i，j)為重合區(qū)域內(nèi)的像素坐標(biāo)，d表示兩圖的亮度差異，m表示最后的融合途徑選擇權(quán)重，s表示平滑區(qū)像素額外的權(quán)重。

三、尋找融合路徑。如圖1所示，重合區(qū)域中處于兩圖邊界交界的兩個(gè)頂點(diǎn)分別為搜索融合路徑的起始點(diǎn)和終點(diǎn)。每個(gè)新的融合路徑像素位置的搜索范圍為當(dāng)前像素坐標(biāo)為中心n*n的窗口且去除不考慮不考慮像素坐標(biāo)。從起始點(diǎn)出發(fā)，在搜索范圍內(nèi)m值最大的點(diǎn)記為下一個(gè)融合路徑點(diǎn)，若存在數(shù)個(gè)最小值，則記距離終點(diǎn)最近的點(diǎn)為下一個(gè)路徑點(diǎn)。以此規(guī)律進(jìn)行迭代，直到尋找到終點(diǎn)，融合路徑定位結(jié)束。

四、進(jìn)行圖像融合的優(yōu)化。依據(jù)兩圖重合區(qū)域的亮度差異進(jìn)行光照補(bǔ)償處理。然后對(duì)圖像建立高斯，拉普拉斯金字塔，進(jìn)行多尺度圖像融合，得到平滑且色差很小的融合圖像。

如圖1所示，以3*3大小的窗口進(jìn)行圖像的中值濾波，按照公式1計(jì)算得到每個(gè)坐標(biāo)對(duì)應(yīng)的參數(shù)d。使用邊緣檢測算法canny算子分別求得兩圖的邊緣坐標(biāo)，計(jì)算得到位置重合的安全坐標(biāo)位置以及不考慮坐標(biāo)位置。對(duì)canny算子求得的邊緣信息圖進(jìn)行形態(tài)學(xué)膨脹，得到拼接圖像的平滑區(qū)域。額外的權(quán)重s設(shè)為30，計(jì)算得到參數(shù)m。以參數(shù)m為依據(jù)搜索融合路徑。得到優(yōu)化的融合路徑，然后以此路徑進(jìn)行圖像拼接，并進(jìn)行多尺度融合，消除拼接縫隙，得到很少錯(cuò)位邊界的拼接圖像。