一種快速的魚眼圖像生成全景圖的方法
【專利摘要】一種快速的魚眼圖像生成全景圖的方法，將魚眼鏡頭光軸朝上或朝下時(shí)所獲得的魚眼圖像作為被校正圖像，首先將魚眼圖像中心作為極坐標(biāo)中心O，利用極坐標(biāo)變換，把校正展開后的圖像平面上的點(diǎn)映射到被校正魚眼圖像中相應(yīng)的極坐標(biāo)像素點(diǎn)，再將這些極坐標(biāo)轉(zhuǎn)換成被校正展開圖像的笛卡爾坐標(biāo)，并利用快速的雙三次插值技術(shù)求得笛卡爾坐標(biāo)的像素值，這個(gè)像素值就是被校正展開圖像平面上的像素點(diǎn)的像素值，經(jīng)過(guò)一系列坐標(biāo)變換和插值就可以得到完整的展開圖像。
【專利說(shuō)明】一種快速的魚眼圖像生成全景圖的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)字圖像處理領(lǐng)域中的幾何校正領(lǐng)域，具體涉及一種基于極坐標(biāo)變換 和快速雙三次插值的魚眼圖像校正技術(shù)，尤其是能校正鏡頭光軸朝上和朝下拍攝的圖像。

【背景技術(shù)】
[0002] 目前，由于魚眼鏡頭方便獲取超大廣角圖像，廣泛應(yīng)用于大范圍視頻監(jiān)控、智能交 通系統(tǒng)、汽車電子和機(jī)器人導(dǎo)航等眾多領(lǐng)域。然而，魚眼鏡頭在獲取大范圍視角的同時(shí)不可 避免地引起了所拍攝圖像的畸變。按魚眼鏡頭光軸朝向，現(xiàn)有的魚眼圖像校正方法主要可 以分為鏡頭光軸朝前拍攝和朝上（下）的兩種場(chǎng)景，其中對(duì)于鏡頭光軸朝前拍攝時(shí)獲取的 圖像的校正已經(jīng)有很多方法，但這些方法一般不能校正鏡頭朝上（下）拍攝的圖像。而且 針對(duì)于鏡頭光軸朝上（下）拍攝時(shí)獲取的圖像，目前的校正方法并不是很多，而且現(xiàn)有的方 法校正效果一般都不是很理想。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)中針對(duì)鏡頭光軸朝上和朝下時(shí)所獲得圖像 的校正技術(shù)不足，本發(fā)明提供一種快速的魚眼圖像生成全景圖的方法，該方法不僅可以把 環(huán)形魚眼圖像無(wú)失真展開成為全景圖，而且利用快速雙三次插值計(jì)算速度快，校正圖像更 加平滑清晰。
[0004] 本發(fā)明采用如下技術(shù)方案：
[0005] -種快速的魚眼圖像生成全景圖的方法，將魚眼鏡頭光軸朝上或朝下時(shí)所獲得 的魚眼圖像作為被校正圖像，其特征在于：將被校正圖像的中心點(diǎn)作為極坐標(biāo)變換中心 (r0, c0);設(shè)定距離被校正圖像中心的小圓半徑，作為被展開的環(huán)形圖像的小圓半徑rl ;設(shè) 定被校正圖像的寬度和高度中的較小值作為被展開的環(huán)形圖像的大圓半徑r2 ;設(shè)定被校 正圖像上極坐標(biāo)的極角步進(jìn)Δ p = 2*3i/w，極半徑步進(jìn)Δ Θ = (r2_rl)/h，其中w為校正 展開后圖像的目標(biāo)寬度，h為校正展開后圖像的目標(biāo)高度；其余步驟如下：
[0006] 1)利用極坐標(biāo)映射關(guān)系得到校正展開后圖像的像素點(diǎn)（i，j)對(duì)應(yīng)被展開的環(huán)形 圖像上的極坐標(biāo)Ρ(Ρ，Θ )，對(duì)應(yīng)關(guān)系為P = rl+Δ p *i，θ = Δ Θ *j ;該極坐標(biāo)Ρ(ρ，Θ ) 對(duì)應(yīng)被校正圖像中的被插值點(diǎn)Q(rt, ct),其中，rt = r〇-p *sin( Θ )，ct = c0+cos( Θ )為 被展開的環(huán)形圖像上的笛卡爾坐標(biāo)；
[0007] 2)求得被插值點(diǎn)Q(rt, ct)的坐標(biāo)偏移量m，η ;
[0008] 3)制作Ν點(diǎn)離散q點(diǎn)快速雙三次插值查找表矩陣：將被校正圖像上相鄰的兩像素 點(diǎn)間的距離離散化為N個(gè)點(diǎn)，得到N+1個(gè)量化區(qū)間和N+1個(gè)量化值,N = 2k, k = 0, 1，2,…； 根據(jù)雙三次插值核函數(shù)表達(dá)式得到對(duì)應(yīng)的q點(diǎn)雙三次插值分段函數(shù)并化成求解加權(quán)系數(shù) 的q個(gè)等式，q表示被插值點(diǎn)水平或者垂直方向上的用來(lái)插值的像素點(diǎn)個(gè)數(shù)，q可以取2、4、 6、8……，將各個(gè)量化區(qū)間的量化值分別代入q個(gè)等式中，求得維度為（N+l)*q的插值查找 表矩陣M，該插值查找表矩陣Μ中保存的就是用來(lái)插值的像素點(diǎn)的權(quán)重，其中q個(gè)等式的值 分別對(duì)應(yīng)查找表矩陣Μ的每行從左到右的q個(gè)元素；
[0009] 4)根據(jù)坐標(biāo)偏移量m和η所屬的量化區(qū)間并參照步驟3)得到的插值查找表矩陣 Μ，由m求得堅(jiān)直插值行上q個(gè)像素的權(quán)重，存放在矩陣Α1%1里面，由η求得水平插值行上q 個(gè)像素的權(quán)重，存放在矩陣?yán)锩?；設(shè)插值模板為q*q維，插值模板是指被插值點(diǎn) Q周圍的q*q個(gè)像素點(diǎn)的灰度值；
[0010] 5)計(jì)算被插值點(diǎn)Q的灰度值Temp = 重復(fù)步驟1)循環(huán)每個(gè)圖像通道 計(jì)算每個(gè)被插值點(diǎn)的灰度值；
[0011] 6)把每個(gè)通道計(jì)算得到的灰度值temp限制在0到255之間，從而得到校正展開后 圖像，再進(jìn)行保存與顯示。
[0012] 優(yōu)選的，在步驟2)中將獲得的非整數(shù)的被插值點(diǎn)Q(rt，ct)的小數(shù)部分分別作為 偏離最鄰近像素點(diǎn)坐標(biāo)的行偏移量m和列偏移量m，被插值點(diǎn)Q (rt，ct)的整數(shù)部分即為具 有整數(shù)坐標(biāo)值的最鄰近像素點(diǎn)的坐標(biāo)。
[0013] 優(yōu)選的，在步驟3)中，將被校正圖像上與被插值點(diǎn)Q相鄰的兩像素點(diǎn)B1和B2間的 距離離散化為N個(gè)點(diǎn)分別為點(diǎn)Pi、P 2. . . PN，得到N+1個(gè)量化區(qū)間和N+1個(gè)量化值，N = 2k，k =0, 1，2,…，點(diǎn)B1到點(diǎn)P2與點(diǎn)PN_i到點(diǎn)B2的距離即量化值均為1Λ2Ν)像素，其余點(diǎn)P 2到 Ph中相鄰兩點(diǎn)距離即量化值均為1/N像素。
[0014] 優(yōu)選的，步驟5)中，計(jì)算被插值點(diǎn)Q的灰度值Temp = 具體包括：
[0015] 5. 1)在堅(jiān)直方向上做一次線性內(nèi)插，即用矩陣A1%1乘以矩陣，求得插值模板 中每一列q個(gè)像素的加權(quán)插值得到一個(gè)l*q的中間矩陣；
[0016] 5. 2)將步驟5. 1)求得的中間矩陣再乘以即在水平方向上對(duì)5. 1)中求得的中 間矩陣再進(jìn)行一次線性內(nèi)插，從而得到被插值點(diǎn)的灰度值temp。
[0017] 優(yōu)選的，在步驟6)中，把插值得到的圖像用八位無(wú)符號(hào)整型表示并顯示出來(lái)，同 時(shí)將該圖像寫入新建立的圖像文件即得到校正展開后圖像。
[0018] 由上述對(duì)本發(fā)明的描述可知，與現(xiàn)有技術(shù)相比，本發(fā)明具有如下有益效果：
[0019] 一、針對(duì)鏡頭朝上和朝下拍攝的環(huán)形魚眼圖像可以很好地校正展開，提供180°環(huán) 形視角，利用極坐標(biāo)變換，把校正展開后的圖像平面上的點(diǎn)映射到被校正魚眼圖像中相應(yīng) 的極坐標(biāo)像素點(diǎn)，再將這些極坐標(biāo)轉(zhuǎn)換成被校正展開圖像的笛卡爾坐標(biāo)，并利用快速的雙 三次插值技術(shù)求得笛卡爾坐標(biāo)的像素值，這個(gè)像素值就是被校正展開圖像平面上的像素點(diǎn) 的像素值，經(jīng)過(guò)一系列坐標(biāo)變換和插值就可以得到完整的展開圖像，適合任意魚眼攝像頭 拍攝的圖像，純軟件校正圖像，無(wú)需標(biāo)定硬件結(jié)構(gòu)。
[0020] 二、利用極坐標(biāo)變換，逐個(gè)圓形展開，避免了對(duì)魚眼圖像進(jìn)行旋轉(zhuǎn)，減少不必要的 計(jì)算量；
[0021] 三、使用改進(jìn)的快速q點(diǎn)雙三次插值中，q可以取4、6、8等，一般取4或6個(gè)點(diǎn)，不 僅提高了校正后圖像的分辨率和像素的完整性，而且避免了傳統(tǒng)雙三次插值的繁瑣計(jì)算， 提高了程序運(yùn)行速度。
[0022] 四、利用極坐標(biāo)展開，可用任意指定希望校正的區(qū)域，使用靈活。

【專利附圖】

【附圖說(shuō)明】
[0023] 圖1為本發(fā)明方法的流程圖。
[0024] 圖2為極坐標(biāo)變換原理圖。
[0025] 圖3水平方向插值原理圖。
[0026] 圖4為實(shí)施例中列舉的被校正圖像。
[0027] 圖5為校正展開后圖像。

【具體實(shí)施方式】
[0028] 以下通過(guò)【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步的描述。
[0029] -種快速的魚眼圖像生成全景圖的方法，將魚眼鏡頭光軸朝上或朝下時(shí)所獲得的 魚眼圖像作為被校正圖像，參照?qǐng)D1，包括設(shè)置參數(shù)步驟：利用被校正圖像（如圖4)的信 息，獲得被校正圖像的中心點(diǎn)作為極坐標(biāo)變換中心（r0, c0);設(shè)定距離被校正圖像中心的 小圓半徑rl (可以設(shè)置為10個(gè)像素），作為被展開的環(huán)形圖像的小圓半徑（該環(huán)形圖像為 被校正展開圖像的一個(gè)環(huán)形區(qū)域）；設(shè)定被校正圖像的寬度和高度中的較小值作為被展開 的環(huán)形圖像的大圓半徑r2 ;設(shè)定被校正圖像上極坐標(biāo)的極角步進(jìn)Δ p = 2* π/w，極半徑步 進(jìn)Δ Θ = (r2-rl)/h,其中w為校正展開后圖像的寬度,h為校正展開后圖像的高度。其余 步驟如下：
[0030] 步驟1):參照?qǐng)D2,利用極坐標(biāo)映射關(guān)系，校正展開后圖像的每一個(gè)像素點(diǎn) P'（i，j)與其對(duì)應(yīng)的被展開的環(huán)形圖像的極坐標(biāo)Ρ(Ρ，Θ)的關(guān)系式為p =rl+Ap*i， θ = Λ Θ *j ;所求得的P點(diǎn)的極坐標(biāo)（ρ，Θ )需要求出它對(duì)應(yīng)的被校正圖像平面上的具體 像素點(diǎn)。圖2左邊為被校正圖像的四分之一，Ρ(ρ，Θ)點(diǎn)所對(duì)應(yīng)的被校正圖像中的被插值 點(diǎn)為 Q(rt, ct), rt 和 ct 的表達(dá)式為：rt = r〇-p *sin( Θ )，ct = c0+cos( Θ )為被展開的 環(huán)形圖像上的笛卡爾坐標(biāo)；由于以上求得的像素坐標(biāo)不是整數(shù)，需要通過(guò)插值進(jìn)行處理，轉(zhuǎn) 到步驟（2);
[0031] 步驟2):求得被插值點(diǎn)坐標(biāo)Q(rt, ct)相對(duì)于其左上角的坐標(biāo)點(diǎn)A2的偏移量m,n : 對(duì)于步驟1)中所求的的非整數(shù)被插值點(diǎn)Q(rt，ct)，先求得其小數(shù)部分分別作為后續(xù)插值 時(shí)偏尚最臨近像素點(diǎn)坐標(biāo)的行偏移量m和列偏移量η,非整數(shù)坐標(biāo)（rt，ct)的取整部分分 別為int_rt和int_ct，即被插值點(diǎn)附近的具有整數(shù)坐標(biāo)值的最鄰近像素點(diǎn)的坐標(biāo)，其中：m =rt-int_rt，n = ct_int_ct,進(jìn)入步驟 3) 〇
[0032] 步驟3):制作N點(diǎn)離散q點(diǎn)快速雙三次插值查找表，這里的N點(diǎn)離散是指把被校 正圖像上兩個(gè)像素點(diǎn)間的距離利用N個(gè)點(diǎn)離散成N+1個(gè)小區(qū)間，事先求出這些離散點(diǎn)的量 化值從而提高計(jì)算插值系數(shù)的速度；q點(diǎn)快速雙三次插值是指求解插值系數(shù)時(shí)所采用的雙 三次插值函數(shù)的分段函數(shù)類型。以制作4點(diǎn)快速雙三次插值查找表為例，具體步驟如下：
[0033] 首先，如圖3所示，將被校正圖像中兩個(gè)相鄰像素點(diǎn)B1和B2之間的距離離散化為 4個(gè)點(diǎn)（P1到P4)，一共得到5個(gè)量化區(qū)間，其中量化方式為：B1點(diǎn)到P1點(diǎn)與P4點(diǎn)到B2點(diǎn) 的距離都為1/8像素，而其余點(diǎn)P1、P2、P3和P4的相鄰兩點(diǎn)距離均為1/4像素，這種量化方 式能保證被校正圖像的整行像素的寬度離散成距離更小、相同間隔的離散點(diǎn)；
[0034] 然后，根據(jù)雙三次插值的核函數(shù)表達(dá)式求得對(duì)應(yīng)的4點(diǎn)雙三次插值公式如式（1)， 該分段函數(shù)式對(duì)應(yīng)的加權(quán)系數(shù)等式為式（2)，其中a，b，c，d分別對(duì)應(yīng)以下要求的查找表矩 陣Μ每行從左到右的四個(gè)元素；
[0035] 其中，矩陣Μ的求解方法，這里是把5個(gè)小區(qū)間的坐標(biāo)下限（即被插值點(diǎn)到最鄰近 像素距離d的量化值，大小包括：0, 1/8, 3/8, 5/8, 7/8)帶入式（2)，并四舍五入得到插值加 權(quán)系數(shù)，對(duì)應(yīng)的雙三次插值的查找表矩陣M，如下所示：

【權(quán)利要求】
1. 一種快速的魚眼圖像生成全景圖的方法，將魚眼鏡頭光軸朝上或朝下時(shí)所獲得 的魚眼圖像作為被校正圖像，其特征在于：將被校正圖像的中心點(diǎn)作為極坐標(biāo)變換中心 (rO, cO);設(shè)定距離被校正圖像中心的小圓半徑，作為被展開的環(huán)形圖像的小圓半徑rl ;設(shè) 定被校正圖像的寬度和高度中的較小值作為被展開的環(huán)形圖像的大圓半徑r2 ;設(shè)定被校 正圖像上極坐標(biāo)的極角步進(jìn)Δ p = 2*3i/w，極半徑步進(jìn)Δ Θ = (r2_rl)/h，其中w為校正 展開后圖像的目標(biāo)寬度，h為校正展開后圖像的目標(biāo)高度；其余步驟如下： 1) 利用極坐標(biāo)映射關(guān)系得到校正展開后圖像的像素點(diǎn)（i，j)對(duì)應(yīng)被展開的環(huán)形圖像 上的極坐標(biāo)Ρ(Ρ，Θ )，對(duì)應(yīng)關(guān)系為P = rl+Δ p *i，θ = Δ Θ *j ;該極坐標(biāo)Ρ(ρ，Θ )對(duì) 應(yīng)被校正圖像中的被插值點(diǎn)Q(rt, ct),其中，rt = r〇-p *sin( Θ )，ct = cO+cos( Θ )為被 展開的環(huán)形圖像上的笛卡爾坐標(biāo)； 2) 求得被插值點(diǎn)Q(rt, ct)的坐標(biāo)偏移量m，η ; 3) 制作Ν點(diǎn)離散q點(diǎn)快速雙三次插值查找表矩陣：將被校正圖像上相鄰的兩像素點(diǎn)間 的距離離散化為N個(gè)點(diǎn)，得到N+1個(gè)量化區(qū)間和N+1個(gè)量化值，N = 2k, k = 0, 1，2,…；根 據(jù)雙三次插值核函數(shù)表達(dá)式得到對(duì)應(yīng)的q點(diǎn)雙三次插值分段函數(shù)并化成求解加權(quán)系數(shù)的q 個(gè)等式，q表示被插值點(diǎn)水平或者垂直方向上的用來(lái)插值的像素點(diǎn)個(gè)數(shù)，q可以取2、4、6、 8……，將各個(gè)量化區(qū)間的量化值分別代入q個(gè)等式中，求得維度為（N+l)*q的插值查找表 矩陣M，該插值查找表矩陣Μ中保存的就是用來(lái)插值的像素點(diǎn)的權(quán)重，其中q個(gè)等式的值分 別對(duì)應(yīng)查找表矩陣Μ的每行從左到右的q個(gè)元素； 4) 根據(jù)坐標(biāo)偏移量m和η所屬的量化區(qū)間并參照步驟3)得到的插值查找表矩陣M，由 m求得堅(jiān)直插值行上q個(gè)像素的權(quán)重，存放在矩陣Α1%1里面，由η求得水平插值行上q個(gè)像 素的權(quán)重，存放在矩陣?yán)锩?；設(shè)插值模板為q*q維，插值模板是指被插值點(diǎn)Q周 圍的q*q個(gè)像素點(diǎn)的灰度值； 5) 計(jì)算被插值點(diǎn)Q的灰度值Temp = 重復(fù)步驟1)循環(huán)每個(gè)圖像通道計(jì)算 每個(gè)被插值點(diǎn)的灰度值； 6) 把每個(gè)通道計(jì)算得到的灰度值temp限制在0到255之間，從而得到校正展開后圖 像，再進(jìn)行保存與顯示。
2. 如權(quán)利要求1所述的一種快速的魚眼圖像生成全景圖的方法，其特征在于：在步驟 2) 中將獲得的非整數(shù)的被插值點(diǎn)Q(rt，ct)的小數(shù)部分分別作為偏離最鄰近像素點(diǎn)坐標(biāo)的 行偏移量m和列偏移量n，被插值點(diǎn)Q (rt，ct)的整數(shù)部分即為具有整數(shù)坐標(biāo)值的最鄰近像 素點(diǎn)的坐標(biāo)。
3. 如權(quán)利要求1所述的一種快速的魚眼圖像生成全景圖的方法，其特征在于：在步驟 3) 中，將被校正圖像上與被插值點(diǎn)Q相鄰的兩像素點(diǎn)B1和B2間的距離離散化為N個(gè)點(diǎn)分 別為點(diǎn)P2. . . PN，得到N+1個(gè)量化區(qū)間和N+1個(gè)量化值，N = 2k，k = 0, 1，2,…，點(diǎn)B1到 點(diǎn)P2與點(diǎn)Ph到點(diǎn)B2的距離即量化值均為1Λ2Ν)像素，其余點(diǎn)P2到P N_i中相鄰兩點(diǎn)距離 即量化值均為1/N像素。
4. 如權(quán)利要求1所述的一種快速的魚眼圖像生成全景圖的方法，其特征在于：步驟5) 中，計(jì)算被插值點(diǎn)Q的灰度值Temp = 具體包括： 5. 1)在堅(jiān)直方向上做一次線性內(nèi)插，即用矩陣A1%1乘以矩陣，求得插值模板中 每一列q個(gè)像素的加權(quán)插值得到一個(gè)l*q的中間矩陣； 5. 2)將步驟5. 1)求得的中間矩陣再乘以即在水平方向上對(duì)5. 1)中求得的中間矩 陣再進(jìn)行一次線性內(nèi)插，從而得到被插值點(diǎn)的灰度值temp。
5.如權(quán)利要求1所述的一種快速的魚眼圖像生成全景圖的方法，其特征在于：在步驟 6)中，把插值得到的圖像用八位無(wú)符號(hào)整型表示并顯示出來(lái)，同時(shí)將該圖像寫入新建立的 圖像文件即得到校正展開后圖像。
【文檔編號(hào)】G06T5/50GK104103057SQ201410333603
【公開日】2014年10月15日 申請(qǐng)日期:2014年7月14日 優(yōu)先權(quán)日:2014年7月14日
【發(fā)明者】戴聲奎, 高劍萍, 陳漢苑 申請(qǐng)人:華僑大學(xué)