一種對不同視角圖像進行合并的裝置的制造方法
【專利摘要】本發(fā)明提供了一種對不同視角圖像進行合并的裝置，包括合并裝置和與其相連的斑塊配準裝置，所述合并裝置包括：第一圖像輸入單元、第一先入先出存儲單元、至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元。本發(fā)明具有圖像匹配精度相對較高、匹配速度相對較快的優(yōu)點。
【專利說明】
一種對不同視角圖像進行合并的裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種對不同視角圖像進行合并的裝置。
【背景技術(shù)】
[0002] 圖像配準是將在不同時間、從不同視角或用不同傳感器拍攝的同一場景的兩幅或 多幅圖像在空間上進行對齊的過程。其主要目的是消除參考圖像和待配準圖像間由成像條 件不同所引起的幾何形變，從而使二者具有空間一致性?，F(xiàn)有技術(shù)中的圖像配準算法能夠 通過增強信息間的互補性，減少對場景理解的不確定性。在圖像配準過程中，由于同一場景 的成像結(jié)果表現(xiàn)出較大的視覺差異，給配準帶來較大的困難，且現(xiàn)有的配準算法在精度、效 率、穩(wěn)定性和適應(yīng)性等方面并不能完全滿足應(yīng)用需求。
【發(fā)明內(nèi)容】
[0003] 針對上述問題，本發(fā)明提供一種對不同視角圖像進行合并的裝置。
[0004] 本發(fā)明的目的采用以下技術(shù)方案來實現(xiàn)：
[0005] -種對不同視角圖像進行合并的裝置，包括合并裝置和與其相連的斑塊配準裝 置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、至少一個第二圖像輸 入單元、一個第二先入先出存儲單元和圖像合并單元；
[0006] 所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0007] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0008] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0009] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0010]所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。 [0011]優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0012] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0013] 優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0014] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0015] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0016] 其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0017] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0018] 域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0019] 所述近似Hessian矩陣的描述形式為： 「 ? 、 ΓΕχχ(χ,γ,ο) Exy(x,y,t7)_
[0020] H(x,y,o) = , " ( 、 fc.xy(x,y, σ) Eyy(x, y, σ)
[0021] 式中，〇為高斯函數(shù)的標準差，即尺度因子;Exx(X，y，〇)、E xy(X，y，〇)、Eyy(X，y， 〇^ 別為高斯二階微分
t離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0025] 其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0026] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0027] DET(H)=ExxEyy-(0.9xy)2
[0028] 所述墨西哥帽小波函數(shù)的描述形式為：
[0030] 其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0031] 優(yōu)選地，
[0032] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0033] WD={NP+，NP-}
[0034] 此處
[0035] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(πη)-1 (m) >0, i = 1,2, - --12}
[0036] P_ = Σ {f (Di) Xd(mi) | d(nu) = I(nu)-1 (m)<0, i = 1,2, - --12}
[0037] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0038] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0039] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0040] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0041] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0042] 本發(fā)明的有益效果為：
[0043] 1、設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度同色彩 強度的非線性關(guān)系，能夠更為準確的描述圖像；
[0044] 2、設(shè)置的斑塊特征檢測子模塊，能夠充分利用基于積分圖像的盒型濾波與濾波器 尺寸無關(guān)的特性，等速構(gòu)建圖像的尺度空間，且由于沒有圖像的降采樣操作，能夠避免混疊 現(xiàn)象出現(xiàn)；
[0045] 3、特征描述模塊通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述，能夠更 充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描述矢量；
[0046] 4、設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提 高了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性，因為斑塊特征點是否位于區(qū)域內(nèi)只需比較其邊 緣到圓心的距離與圓的半徑即可，同時還降低了局部區(qū)域抽取精度對分組配準的影響，因 為沒有使用區(qū)域邊緣而使用邊緣到區(qū)域重心的均值做劃分的邊界。
【附圖說明】
[0047] 利用附圖對本發(fā)明作進一步說明，但附圖中的實施例不構(gòu)成對本發(fā)明的任何限 制，對于本領(lǐng)域的普通技術(shù)人員，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)以下附圖獲得 其它的附圖。
[0048] 圖1是本發(fā)明合并裝置組成示意圖。
[0049] 圖2是本發(fā)明斑塊配準裝置各模塊的連接示意圖。
【具體實施方式】
[0050] 結(jié)合以下實施例對本發(fā)明作進一步描述。
[0051 ] 實施例1
[0052]參見圖1，圖2,本實施例一種對不同視角圖像進行合并的裝置，包括合并裝置和與 其相連的斑塊配準裝置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、 至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元；
[0053]所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0054] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0055] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0056] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0057] 所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。 [0058]優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0059] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0060]優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0061] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0062] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0063] 其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0064] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0065]域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0066] 所述近似Hessian矩陣的描述形式為： 「 , ,,, 、 ΓΕχχ(χ,γ,σ) Exy(x,y,a)_
[0067] H(x, y, σ) - (χ ν 〇〇 F Γχ ν σ')
[0068] 式中，σ為高斯函數(shù)的標準差，g卩尺度因子;Exx(x,y，〇)、Exy(x,y，〇)、E yy(x，y，〇)分 別為高斯二階微分
離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0072]其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0073] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0074] DET(H)=ExxEyy-(0.9Exy)2
[0075]所述墨西哥帽小波函數(shù)的描述形式為：
[0077]其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0078] 優(yōu)選地，
[0079] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0080] WD={NP+，NP-}
[0081 ] 此處
[0082] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(mi)-I(m) >0，i = 1，2，."I2}
[0083] P-= Σ {f (Di) Xd(mi) I d(nu) = I(mi)-I(m)<0，i = 1，2，."l2}
[0084] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0085] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0086] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0087] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0088] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0089]本實施例設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度 同色彩強度的非線性關(guān)系，能夠更為準確的描述圖像;設(shè)置的斑塊特征檢測子模塊，能夠等 速構(gòu)建圖像的尺度空間，且能夠避免混疊現(xiàn)象出現(xiàn);設(shè)置的特征描述模塊通過建立加權(quán)灰 度描述子對檢測出的斑塊特征進行描述，能夠更充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描 述矢量;設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提高 了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性以及局部區(qū)域抽取精度對分組配準的影響。本實 施例權(quán)重因子k取值為0.08,劃分的圖像區(qū)域數(shù)量N取值為200,圖像匹配精度相對提高了 1 %，匹配速度提尚了3%。
[0090] 實施例2
[0091]參見圖1，圖2,本實施例一種對不同視角圖像進行合并的裝置，包括合并裝置和與 其相連的斑塊配準裝置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、 至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元；
[0092] 所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0093] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0094] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0095] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0096]所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。 [0097]優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0098] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0099]優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0100] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0101] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0102]其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0103] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0104] 域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0105] 所述近似Hessian矩陣的描述形式為： 「 ? ,,, 、 Exx(x-y>a) Exy(x-y.σ) 0106 X, y, σ Exy(x,y,o) Eyy(x,y,o)
[0107]式中，〇為高斯函數(shù)的標準差，即尺度因子;Exx(X， y，〇)、Exy(X，y， 〇)、Eyy(X，y，〇)* 別為高斯二階微分
離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0111] 其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0112] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0113] DET(H)=ExxEyy-(0.9Exy)2
[0114] 所述墨西哥帽小波函數(shù)的描述形式為：
[0116] 其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0117] 優(yōu)選地，
[0118] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0119] wd={NP+，NP-}
[0120] 此處
[0121 ] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(πη)-1 (m) >0, i = 1,2, - --12}
[0122] P_= Σ {f (Di) Xd(mi) | d(nu) = I(nu)-1 (m)<0, i = 1,2, - --12}
[0123] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0124] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0125] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0126] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0127] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0128] 本實施例設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度 同色彩強度的非線性關(guān)系，能夠更為準確的描述圖像;設(shè)置的斑塊特征檢測子模塊，能夠等 速構(gòu)建圖像的尺度空間，且能夠避免混疊現(xiàn)象出現(xiàn);設(shè)置的特征描述模塊通過建立加權(quán)灰 度描述子對檢測出的斑塊特征進行描述，能夠更充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描 述矢量;設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提高 了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性以及局部區(qū)域抽取精度對分組配準的影響。本實 施例權(quán)重因子k取值為0.09,劃分的圖像區(qū)域數(shù)量N取值為400,圖像匹配精度相對提高了 1.2%，匹配速度提高了2.5%。
[0129] 實施例3
[0130] 參見圖1，圖2,本實施例一種對不同視角圖像進行合并的裝置，包括合并裝置和與 其相連的斑塊配準裝置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、 至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元；
[0131]所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0132] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0133] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0134] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0135]所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。
[0136]優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0137] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0138] 優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0139] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0140] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0141] 其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0142] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0143] 域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0144] 所述近似Hessian矩陣的描述形式為： 「 ? ΓΙ, 、 ΓΕχχ(χ,γ,σ) Exy(x,y,〇-)
[0145] H(x,y,a) =
[Exy(x,y, σ) hvy(x,y,a)
[0146] 式中，σ為高斯函數(shù)的標準差，g卩尺度因子;Exx(x,y，〇)、Exy(x，y，〇)、E yy(x，y，〇；^v 別為高斯二階微分：
離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0150] 其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0151] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0152] DET(H)=ExxEyy-(0.9Exy)2
[0153] 所述墨西哥帽小波函數(shù)的描述形式為：
[0155] 其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0156] 優(yōu)選地，
[0157] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0158] WD={NP+，NP-}
[0159] 此處
[0160] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(πη)-1 (m) >0, i = 1,2, - --12}
[0161 ] P_= Σ {f (Di) Xd(mi) | d(nu) = I(nu)-1 (m)<0, i = 1,2, - --12}
[0162] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0163] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0164] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0165] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0166] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0167] 本實施例設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度 同色彩強度的非線性關(guān)系，能夠更為準確的描述圖像;設(shè)置的斑塊特征檢測子模塊，能夠等 速構(gòu)建圖像的尺度空間，且能夠避免混疊現(xiàn)象出現(xiàn);設(shè)置的特征描述模塊通過建立加權(quán)灰 度描述子對檢測出的斑塊特征進行描述，能夠更充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描 述矢量;設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提高 了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性以及局部區(qū)域抽取精度對分組配準的影響。本實 施例權(quán)重因子k取值為0.10,劃分的圖像區(qū)域數(shù)量N取值為600,圖像匹配精度相對提高了 1.8%，匹配速度提尚了2.1 %。
[0168] 實施例4
[0169] 參見圖1，圖2,本實施例一種對不同視角圖像進行合并的裝置，包括合并裝置和與 其相連的斑塊配準裝置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、 至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元；
[0170]所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0171] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0172] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0173] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0174]所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。
[0175] 優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0176] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0177] 優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0178] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0179] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0180] 其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0181] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0182] 域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0183] 所述近似Hessian矩陣的描述形式為： 「 ， ,,, ΓΕ χχ(χ, y,o) Exv(x,y,o)-
[0184] H(x,y,o.J =、Γ ' c ·.
[hxy(x,y, σ) hyy(x,y,aJJ
[0185] 式中，〇為高斯函數(shù)的標準差，g卩尺度因子;Exx(x,y，〇)、Exy(x，y，〇)、E yy(x，y，〇；^v 別為高斯二階微分
：離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0189]其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0190] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0191] DET(H)=ExxEyy-(0.9Exy)2
[0192] 所述墨西哥帽小波函數(shù)的描述形式為：
[0194] 其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0195] 優(yōu)選地，
[0196] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0197] WD={NP+，NP-}
[0198] 此處
[0199] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(πη)-1 (m) >0, i = 1,2, - --12}
[0200] P_= Σ {f (Di) Xd(mi) | d(nu) = I(nu)-1 (m)<0, i = 1,2, - --12}
[0201] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0202] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0203] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0204] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0205] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0206]本實施例設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度 同色彩強度的非線性關(guān)系，能夠更為準確的描述圖像;設(shè)置的斑塊特征檢測子模塊，能夠等 速構(gòu)建圖像的尺度空間，且能夠避免混疊現(xiàn)象出現(xiàn);設(shè)置的特征描述模塊通過建立加權(quán)灰 度描述子對檢測出的斑塊特征進行描述，能夠更充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描 述矢量;設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提高 了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性以及局部區(qū)域抽取精度對分組配準的影響。本實 施例權(quán)重因子k取值為0.11，劃分的圖像區(qū)域數(shù)量N取值為800,圖像匹配精度相對提高了 1.5%，匹配速度提高了1.5%。
[0207] 實施例5
[0208] 參見圖1，圖2,本實施例一種對不同視角圖像進行合并的裝置，包括合并裝置和與 其相連的斑塊配準裝置，所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、 至少一個第二圖像輸入單元、一個第二先入先出存儲單元和圖像合并單元；
[0209] 所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)；
[0210] 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)；
[0211] 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出 的方式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)；
[0212] 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于 按照先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)；
[0213]所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元 連接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出 存儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。 [0214]優(yōu)選地，所述合并裝置還包括：顯示單元，與所述圖像合并單元連接，用于接收所 述圖像合并單元合并后的圖像，并顯示所述圖像。
[0215] 優(yōu)選地，所述顯示單元為液晶顯示屏IXD。
[0216] 優(yōu)選地，所述斑塊配準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征 匹配模塊和空間變換模塊；
[0217] (1)預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式 為：
[0218] I(x,y)=k(G(x,y)+R(x,y)+B(x,y))+2k(G(x,y)+R(x,y))+3k(x,y)
[0219] 其中，I(x,y)代表圖像在坐標(x,y)處的像素灰度值， 代表坐標(X，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08，0.12 ];
[0220] (2)特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)
[0221] 域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似Hessian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度；
[0222] 所述近似Hessian矩陣的描述形式為： 「 ? ,,, 、 Exx(x-y>a) Exy(x-y.σ) 0223 X, y, σ Exy(x,y,o) Eyy(x,y,o)
[0224]式中，〇為高斯函數(shù)的標準差，即尺度因子;Exx(X，y， 〇)、Exy(X，y，〇)、Eyy( X，y，〇^ 別為高斯二階微分
離散化和裁剪后的近似模板在點(x，y)處與 圖像的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第三9X9近似模板與圖像的卷積結(jié)果，E xx、 EXy和Eyy的計算公式定義如下：
[0228] 其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中 部2X2區(qū)域作為第二標記區(qū)域，取第三近似模板從上至下3X3區(qū)域作為第三標記區(qū)域， A2和A3分別為第一、第二和第三標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分 別等于9和4;
[0229] 所述近似Hessian矩陣的特征點響應(yīng)函數(shù)為：
[0230] DET(H)=ExxEyy-(0.9Exy)2
[0231 ]所述墨西哥帽小波函數(shù)的描述形式為：
[0233] 其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，(1與〇之間的關(guān)系為〇 = 2i;
[0234] 優(yōu)選地，
[0235] (3)特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并 形成描述矢量，建立加權(quán)灰度描述子時將以斑塊特征為中心、垂直于斑塊特征的主方向且 大小為1 X 1的中心區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：
[0236] WD={NP+，NP-}
[0237] 此處
[0238] Ρ+ = Σ {f (Di) Xd(mi) | d(nu) = I(πη)-1 (m) >0, i = 1,2, - --12}
[0239] P_= Σ {f (Di) Xd(mi) | d(nu) = I(nu)-1 (m)<0, i = 1,2, - --12}
[0240] 式中，WD表示加權(quán)灰度描述子，P+表示正灰度差值直方圖，表示負灰度差值直方 圖，I(nu)和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中心區(qū)域的灰 度均值，Di為各子塊與中心的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，NP+、，表示歸 一化的正負灰度差直方圖；
[0241] (4)特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次 連接的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所 述局部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹 配，所述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行 圖像區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的 取值范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范 圍進行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹 配；
[0242] (5)空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標 系中，完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。
[0243] 其中，所述自定義尺度空間分為多組，每組包含三個不同尺度的濾波器模板;所述 自定義尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板 增量為12，第二個和第三個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空 間的第一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增 量為前一組的4倍。
[0244] 其中，所述標準圓區(qū)域的圓心為局部區(qū)域特征的重心，標準圓區(qū)域的半徑為局部 區(qū)域邊緣上的點到所述重心距離的均值。
[0245] 本實施例設(shè)置的圖像預(yù)處理模塊考慮了視覺習(xí)慣以及人眼對不同色彩的感知度 同色彩強度的非線性關(guān)系，能夠更為準確的描述圖像;設(shè)置的斑塊特征檢測子模塊，能夠等 速構(gòu)建圖像的尺度空間，且能夠避免混疊現(xiàn)象出現(xiàn);設(shè)置的特征描述模塊通過建立加權(quán)灰 度描述子對檢測出的斑塊特征進行描述，能夠更充分地利用特征鄰域內(nèi)的局部信息構(gòu)建描 述矢量;設(shè)置的特征匹配模塊中先進行局部區(qū)域匹配再進行組內(nèi)的斑塊特征點劃分，提高 了圖像匹配的速度，且其中設(shè)置的區(qū)域劃分子模塊將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū) 域，降低了斑塊特征點分組判斷的復(fù)雜性以及局部區(qū)域抽取精度對分組配準的影響。本實 施例權(quán)重因子k取值為0.12,劃分的圖像區(qū)域數(shù)量N取值為1000,圖像匹配精度相對提高了 1.5%，匹配速度提高了1.2%。
[0246] 最后應(yīng)當說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對本發(fā)明保 護范圍的限制，盡管參照較佳實施例對本發(fā)明作了詳細地說明，本領(lǐng)域的普通技術(shù)人員應(yīng) 當理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本發(fā)明技術(shù)方案的實 質(zhì)和范圍。
【主權(quán)項】
1. 一種對不同視角圖像進行合并的裝置，包括合并裝置和與其相連的斑塊配準裝置， 所述合并裝置包括:第一圖像輸入單元、第一先入先出存儲單元、至少一個第二圖像輸入單 元、一個第二先入先出存儲單元和圖像合并單元. 所述第一圖像輸入單元，用于輸入第一幅圖像數(shù)據(jù)； 所述至少一個第二圖像輸入單元，用于輸入第二幅圖像數(shù)據(jù)； 所述第一先入先出存儲單元，與所述第一圖像輸入單元連接，用于按照先入先出的方 式緩存所述第一圖像輸入單元輸入的第一幅圖像數(shù)據(jù)； 所述一個第二先入先出存儲單元，與所述至少一個第二圖像輸入單元連接，用于按照 先入先出的方式預(yù)先緩存進行圖像合并所需的第二幅圖像數(shù)據(jù)； 所述圖像合并單元，與所述第一先入先出存儲單元和所述第二先入先出存儲單元連 接，用于根據(jù)所述第一先入先出存儲單元輸出的第一幅圖像數(shù)據(jù)讀取所述第二先入先出存 儲單元緩存的第二幅圖像數(shù)據(jù)，并合并所述第一幅圖像數(shù)據(jù)和所述第二幅圖像數(shù)據(jù)。2. 根據(jù)權(quán)利要求1所述的一種對不同視角圖像進行合并的裝置，其特征是，所述合并裝 置還包括：顯示單元，與所述圖像合并單元連接，用于接收所述圖像合并單元合并后的圖 像，并顯示所述圖像。3. 根據(jù)權(quán)利要求2所述的一種對不同視角圖像進行合并的裝置，其特征是，所述顯示單 元為液晶顯示屏LCD。4. 根據(jù)權(quán)利要求3所述的一種對不同視角圖像進行合并的裝置，其特征是，所述斑塊配 準裝置包括:預(yù)處理模塊、特征檢測模塊、特征描述模塊、特征匹配模塊和空間變換模塊： (1) 預(yù)處理模塊，用于將參考圖像和待配準圖像轉(zhuǎn)化為灰度圖像，定義轉(zhuǎn)化公式為： I(x,y)=k(G(x,y)+R(x,y)+B(x，y))+^(G(x，y)+R(x，y))+3k(x，y) 其中，I(x，y)代表圖像在坐標(x，y)處的像素灰度值，6^，7)、3^，7)、8^，7)分別代表 坐標(x，y)處的紅、綠、藍強度值，k為設(shè)定的權(quán)重因子，k的取值范圍為[0.08,0.12]; (2) 特征檢測模塊，包括局部區(qū)域特征檢測子模塊和斑塊特征檢測子模塊，所述局 部區(qū)域特征檢測子模塊用于通過墨西哥帽小波函數(shù)來檢測預(yù)處理后的兩圖像的局部 區(qū)域特征，所述斑塊特征檢測子模塊用于采用近似化ssian矩陣的局部極值在自定義尺度 空間中檢測預(yù)處理后的兩圖像中的斑塊特征，輸出斑塊特征的空間位置及所在的特征尺 度； 所述近似化ssian矩陣的描述形式為：式中，σ為高斯函數(shù)的標準差，即尺度因子;Exx(x，y，o)、Exy(x，y，o)、Eyy(x，y，o)分別為 高斯二階微分離散化和裁剪后的近似模板在點(x，y)處與圖像 的卷積;設(shè)定Exx、Exy和Eyy表示第一、第二和第S9 X 9近似模板與圖像的卷積結(jié)果，Exx、Exy和 Eyy的計算公式定義如下：其中，取第一近似模板從左至右3X3區(qū)域作為第一標記區(qū)域，取第二近似模板中部2X 2區(qū)域作為第二標記區(qū)域，取第Ξ近似模板從上至下3X3區(qū)域作為第Ξ標記區(qū)域，Ai、A2和A3 分別為第一、第二和第Ξ標記區(qū)域覆蓋下的圖像像素灰度和，P、Q為標記區(qū)域面積，分別等 于9和4; 所述近似化S S i an矩陣的特征點響應(yīng)函數(shù)為： DET 化）=ExxEy 廣（0.犯 xy)2 所述墨西哥帽小波函數(shù)的描述形式為：其中，q為構(gòu)造所述自定義尺度空間的變化參數(shù)，q與σ之間的關(guān)系為0 = 2八5. 根據(jù)權(quán)利要求4所述的一種對不同視角圖像進行合并的裝置，其特征是， (3) 特征描述模塊，其通過建立加權(quán)灰度描述子對檢測出的斑塊特征進行描述并形成 描述矢量，建立加權(quán)灰度描述子時將W斑塊特征為中屯、、垂直于斑塊特征的主方向且大小 為1 X 1的中屯、區(qū)域分割成多個子塊，所述加權(quán)灰度描述子為：式中，WD表不加權(quán)灰度描述子，Ρ+表不正灰度差值直方圖，表不負灰度差值直方圖，I (mO和I(m)分別為采用雙線性插值求取的各個子塊的灰度均值和整個中屯、區(qū)域的灰度均 值，Di為各子塊與中屯、的距離，其中，i = 1，2，…I2，f (Di)表示加權(quán)函數(shù)，肥+、肥^示歸一化 的正負灰度差直方圖； (4) 特征匹配模塊，用于對預(yù)處理后的參考圖像和待配準圖像進行匹配，包括依次連接 的局部區(qū)域匹配子模塊、區(qū)域劃分子模塊、特征分組子模塊和斑塊特征匹配子模塊，所述局 部區(qū)域匹配子模塊用于對預(yù)處理后的參考圖像和待配準圖像的局部區(qū)域特征進行匹配，所 述區(qū)域劃分子模塊用于按照局部區(qū)域特征對預(yù)處理后的參考圖像和待配準圖像進行圖像 區(qū)域劃分并將劃分后的圖像區(qū)域轉(zhuǎn)化為標準圓區(qū)域，設(shè)劃分的圖像區(qū)域數(shù)量為N，N的取值 范圍為[200，1000]，所述特征分組子模塊用于將所述斑塊特征按照圖像區(qū)域劃分的范圍進 行分組，所述斑塊特征匹配子模塊用于對各組內(nèi)的表示斑塊特征的描述矢量進行匹配； (5) 空間變換模塊，用于將待配準圖像通過幾何變換模型映射到參考圖像的坐標系中， 完成圖像配準，所述幾何變換模型的參數(shù)采用隨機抽樣一致性算法進行估計。6. 根據(jù)權(quán)利要求5所述的一種對不同視角圖像進行合并的裝置，其特征是，所述自定義 尺度空間分為多組，每組包含Ξ個不同尺度的濾波器模板。7. 根據(jù)權(quán)利要求6所述的一種對不同視角圖像進行合并的裝置，其特征是，所述自定義 尺度空間的第一組中，最小尺度對應(yīng)的模板大小為9X9,標記區(qū)域增量設(shè)為4,模板增量為 12，第二個和第Ξ個模板對應(yīng)的模板大小依次為21 X 21和33 X 33;除自定義尺度空間的第 一組外的其他組中，每組的第一個模板與前一組的第二個模板大小相同，且模板增量為前 一組的4倍。8.根據(jù)權(quán)利要求7所述的一種對不同視角圖像進行合并的裝置，其特征是，所述標準圓 區(qū)域的圓屯、為局部區(qū)域特征的重屯、，標準圓區(qū)域的半徑為局部區(qū)域邊緣上的點到所述重屯、 距離的均值。
【文檔編號】G06T7/00GK106097377SQ201610534157
【公開日】2016年11月9日
【申請日】2016年7月5日
【發(fā)明人】不公告發(fā)明人
【申請人】董超超