一種基于多步校正的魚(yú)眼圖像校正方法
【專(zhuān)利摘要】本發(fā)明介紹了一種基于多步校正的魚(yú)眼圖像校正方法，針對(duì)現(xiàn)有的常規(guī)校正模型造成的圖像放大、邊緣信息丟失等不足，采用多步校正的思想構(gòu)建校正模型，該校正模型構(gòu)建的關(guān)鍵點(diǎn)在于：建立基于多項(xiàng)式模型的魚(yú)眼圖像尺寸縮放因子，利用魚(yú)眼圖像尺寸縮放因子，對(duì)魚(yú)眼圖像進(jìn)行第一次校正；采用鄰域插值法對(duì)第一次校正圖像進(jìn)行插值處理；建立基于向后映射法的除法模型，利用該除法模型，對(duì)插值處理后的第一次校正圖像進(jìn)行第二次校正，得到第二次校正圖像。校正模型對(duì)魚(yú)眼圖像的校正解決了校正圖像邊緣信息缺失、圖像擴(kuò)大、畸變校正不徹底等問(wèn)題，使得魚(yú)眼鏡頭的絕大部分信息都完整地保留了下來(lái)，并改善了圖像邊緣模糊的情況。
【專(zhuān)利說(shuō)明】一種基于多步校正的魚(yú)眼圖像校正方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理和機(jī)器視覺(jué)領(lǐng)域，具體涉及一種基于多步校正的魚(yú)眼圖像校正方法。
【背景技術(shù)】
[0002]魚(yú)眼鏡頭是一種特殊的廣角鏡頭，其視場(chǎng)角接近、等于甚至大于180度，能將半球空域甚至是超半球空域的物體成像在像面有限的范圍內(nèi)。從光學(xué)設(shè)計(jì)的角度看，魚(yú)眼鏡頭所采用的透鏡具有很大的球面弧度，并且距離成像平面更近。這種特殊的結(jié)構(gòu)特點(diǎn)和成像特點(diǎn)，一方面使得魚(yú)眼相機(jī)可以獲得很大視野范圍，在機(jī)器人導(dǎo)航、視頻會(huì)議、實(shí)時(shí)監(jiān)控、全景攝影和天文觀測(cè)等需要較大視場(chǎng)的現(xiàn)實(shí)場(chǎng)景中得以廣泛應(yīng)用；另一方面，由于引入了很大的桶形畸變，使得魚(yú)眼鏡頭在成像模型的構(gòu)建、理論計(jì)算以及畸變校正等方面與常規(guī)鏡頭有著顯著的不同。
[0003]目前，計(jì)算機(jī)視覺(jué)領(lǐng)域在攝像頭的成像原理建模方面還是普遍使用線性針孔模型，但是該模型并不足以刻畫(huà)魚(yú)眼鏡頭的成像原理。魚(yú)眼鏡頭光學(xué)系統(tǒng)在引入了強(qiáng)烈的光學(xué)畸變的同時(shí)也帶來(lái)了大范圍的場(chǎng)景信息，為了能夠有效利用這些大畸變圖像中的透視投影信息，需要將畸變圖像校正為理想的線性透視投影圖像，即將魚(yú)眼鏡頭的成像模型映射到線性針孔模型，反映在圖像上，便是需要尋找魚(yú)眼圖像和它所對(duì)應(yīng)的常規(guī)圖像之間像素點(diǎn)對(duì)的映射關(guān)系。雖然魚(yú)眼鏡頭的設(shè)計(jì)和制造遵循一定的數(shù)學(xué)模型，但是由于現(xiàn)實(shí)中存在的許多不可預(yù)知的因素，比如鏡頭的弧度偏差、裝配誤差等，導(dǎo)致實(shí)際的成像過(guò)程與制造鏡頭所遵循的數(shù)學(xué)模型之間存在著一定的差異，有時(shí)候這種差異甚至是巨大的。因此針對(duì)不同特點(diǎn)的魚(yú)眼鏡頭和不同的應(yīng)用場(chǎng)景，許多學(xué)者提出了各種不同的方法來(lái)校正魚(yú)眼圖像，力圖獲得清晰的目標(biāo)圖像，以盡可能多的獲取有效信息。
[0004]魚(yú)眼圖像校正本質(zhì)上是圖像的空間變換處理，最終目的是建立魚(yú)眼圖像和校正圖像中對(duì)應(yīng)像素點(diǎn)對(duì)位置關(guān)系的函數(shù)，過(guò)程是圖像像素點(diǎn)空間位置的再分布。隨著魚(yú)眼鏡頭的廣泛使用，關(guān)于魚(yú)眼校正的新算法不斷出現(xiàn)，這些算法總體上可以分為三大類(lèi)，第一類(lèi)是通過(guò)曲線擬合的方式尋找目標(biāo)函數(shù)，第二類(lèi)是通過(guò)球面透視投影等幾何約束尋找目標(biāo)函數(shù)，第三類(lèi)則是通過(guò)神經(jīng)網(wǎng)絡(luò)等的訓(xùn)練建立自適應(yīng)的目標(biāo)函數(shù)。從目前的工程實(shí)際來(lái)看，這些算法雖然能夠在不同的程度上實(shí)現(xiàn)畸變校正，但是對(duì)于魚(yú)眼圖像等大畸變圖像的校正往往是局部性的，也就是說(shuō)存在著圖像邊緣信息丟失，圖像局部放大等缺點(diǎn)，這違背了人們使用魚(yú)眼鏡頭的初衷，一定程度上削弱了廣角鏡頭的優(yōu)勢(shì)。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種基于多步校正的魚(yú)眼圖像校正方法。
[0006]本發(fā)明的技術(shù)方案是:
[0007]一種基于多步校正的魚(yú)眼圖像校正方法，包括以下步驟:
[0008]步驟1、對(duì)魚(yú)眼攝像機(jī)的鏡頭進(jìn)行標(biāo)定，獲取攝像機(jī)鏡頭的內(nèi)參矩陣，包括魚(yú)眼圖像畸變中心坐標(biāo)、像素尺寸因子和相機(jī)焦距；
[0009]步驟2、建立基于多項(xiàng)式模型的魚(yú)眼圖像尺寸縮放因子，該尺寸縮放因子用來(lái)描述魚(yú)眼圖像中的像素點(diǎn)到魚(yú)眼圖像畸變中心的距離與校正圖像中的像素點(diǎn)與校正圖像中心的距離的線性關(guān)系，根據(jù)不同角度下拍攝的棋盤(pán)格魚(yú)眼圖像中棋盤(pán)角點(diǎn)的坐標(biāo)，采用張正友標(biāo)定法得到多項(xiàng)式模型的多項(xiàng)式系數(shù)，進(jìn)而得到魚(yú)眼圖像尺寸縮放因子；
[0010]步驟3、利用魚(yú)眼圖像尺寸縮放因子，對(duì)待校正的魚(yú)眼圖像進(jìn)行校正，以魚(yú)眼圖像畸變中心坐標(biāo)作為坐標(biāo)原點(diǎn)，對(duì)魚(yú)眼圖像中每一個(gè)像素點(diǎn)的橫坐標(biāo)、縱坐標(biāo)分別乘以魚(yú)眼圖像尺寸縮放因子，得到各像素點(diǎn)在校正圖像中的坐標(biāo)，然后將得到的各坐標(biāo)對(duì)應(yīng)的像素點(diǎn)填充得到各坐標(biāo)值處，得到第一次校正圖像；
[0011]步驟4、采用鄰域插值法對(duì)第一次校正圖像進(jìn)行插值處理；
[0012]步驟5、建立基于向后映射法的除法模型，該模型用來(lái)描述第一次校正圖像中的像素點(diǎn)到第一次校正圖像中心的距離與校正圖像中的像素點(diǎn)與校正圖像中心的距離的線性關(guān)系，該模型的輸入為第一次校正圖像中像素點(diǎn)的坐標(biāo)，該模型的輸出為基于向后映射法的除法模型的校正算子；
[0013]步驟6、利用基于向后映射法的除法模型，對(duì)插值處理后的第一次校正圖像進(jìn)行第二次校正，得到第二次校正圖像；
[0014]步驟6-1、建立與第一次校正圖像大小相同的空白圖像；
[0015]步驟6-2、利用基于向后映射法的除法模型，計(jì)算出校正算子；
[0016]步驟6-3、在空白圖像中以第一次校正圖像中心坐標(biāo)為坐標(biāo)原點(diǎn)，對(duì)每一個(gè)像素點(diǎn)的橫坐標(biāo)、縱坐標(biāo)均乘以校正算子，得到各像素點(diǎn)要填充的像素坐標(biāo)值；
[0017]步驟6-4、利用步驟6-3得到的各像素點(diǎn)要填充的像素坐標(biāo)值，從插值處理后的第一次校正圖像中找到對(duì)應(yīng)的像素值并填充到空白圖像中，得到第二次校正圖像；
[0018]步驟7、檢驗(yàn)校正的圖像精度，若第二次校正的圖像中的弧線都已經(jīng)校正為直線并且該圖像中的景物滿足透視投影關(guān)系，則當(dāng)前校正圖像為最終校正圖像，得到原始魚(yú)眼圖像與最終校正圖像之間的像素位置映射關(guān)系，否則返回步驟2。
[0019]本發(fā)明的有益效果在于，采用多步校正、細(xì)化插值的思路，解決了校正圖像邊緣信息缺失、圖像擴(kuò)大、畸變校正不徹底等問(wèn)題，使得魚(yú)眼鏡頭的絕大部分信息都完整地保留了下來(lái)，并改善了圖像邊緣模糊的情況。同時(shí)，使用校正模型計(jì)算出的結(jié)果使用表格記錄圖像像素的位置變動(dòng)情況，將延拓模型復(fù)雜的校正過(guò)程同工程實(shí)際應(yīng)用隔離開(kāi)，最大程度地提高了魚(yú)眼圖像校正的實(shí)時(shí)性，保證了嵌入式設(shè)備對(duì)實(shí)時(shí)性的要求。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0020]圖1為本發(fā)明【具體實(shí)施方式】的基于多步校正的魚(yú)眼圖像校正方法的流程圖?！揪唧w實(shí)施方式】
[0021]下面結(jié)合附圖對(duì)本發(fā)明【具體實(shí)施方式】進(jìn)行詳細(xì)說(shuō)明。
[0022]本實(shí)施方式采用操作系統(tǒng)為WIND0WS7，軟件平臺(tái)為MATLAB2010a，處理器為第二代酷睿i 5-2410。
[0023]如圖1所示，本發(fā)明【具體實(shí)施方式】的基于多步校正的魚(yú)眼圖像校正方法，包括以下步驟:
[0024]步驟1、對(duì)魚(yú)眼攝像機(jī)的鏡頭進(jìn)行標(biāo)定，獲取攝像機(jī)鏡頭的內(nèi)參矩陣，包括魚(yú)眼圖像畸變中心坐標(biāo)、像素尺寸因子和相機(jī)焦距。
[0025]首先從不同的角度用魚(yú)眼攝像機(jī)對(duì)標(biāo)定板進(jìn)行拍攝，采集6~8幅圖片并保證至少有8*8的圓陣列處于視野范圍內(nèi)，得到的魚(yú)眼攝像機(jī)拍攝的魚(yú)眼圖像。
[0026]采用以Kannala J的通用攝像機(jī)模型為理論基礎(chǔ)的通用標(biāo)定工具箱進(jìn)行魚(yú)眼攝像頭的標(biāo)定試驗(yàn)，本次試驗(yàn)所使用的具體模型為Catadioptric-Model,試驗(yàn)選取的魚(yú)眼圖像分辨率為720*576像素，共包含19*15個(gè)特征點(diǎn)。
[0027]獲得攝像機(jī)鏡頭的內(nèi)參矩陣，包括魚(yú)眼圖像畸變中心坐標(biāo)(U(l、v0)(以感光芯片陣列的左上定點(diǎn)為坐標(biāo)原點(diǎn)，反映在魚(yú)眼圖像上就是以圖像左上角定點(diǎn)為原點(diǎn))、像素尺寸因子(dx、dy)、相機(jī)焦距f。
[0028]其中魚(yú)眼攝像機(jī)的鏡頭的型號(hào)是PC1030，分辨率為640*480，得到的標(biāo)定內(nèi)參矩陣如下:
【權(quán)利要求】
1.一種基于多步校正的魚(yú)眼圖像校正方法，其特征在于，包括以下步驟: 步驟1、對(duì)魚(yú)眼攝像機(jī)的鏡頭進(jìn)行標(biāo)定，獲取攝像機(jī)鏡頭的內(nèi)參矩陣，包括魚(yú)眼圖像畸變中心坐標(biāo)、像素尺寸因子和相機(jī)焦距； 步驟2、建立基于多項(xiàng)式模型的魚(yú)眼圖像尺寸縮放因子，該尺寸縮放因子用來(lái)描述魚(yú)眼圖像中的像素點(diǎn)到魚(yú)眼圖像畸變中心的距離與校正圖像中的像素點(diǎn)與校正圖像中心的距離的線性關(guān)系，根據(jù)不同角度下拍攝的棋盤(pán)格魚(yú)眼圖像中棋盤(pán)角點(diǎn)的坐標(biāo)，采用張正友標(biāo)定法得到多項(xiàng)式模型的多項(xiàng)式系數(shù)，進(jìn)而得到魚(yú)眼圖像尺寸縮放因子； 步驟3、利用魚(yú)眼圖像尺寸縮放因子，對(duì)待校正的魚(yú)眼圖像進(jìn)行校正，以魚(yú)眼圖像畸變中心坐標(biāo)作為坐標(biāo)原點(diǎn)，對(duì)魚(yú)眼圖像中每一個(gè)像素點(diǎn)的橫坐標(biāo)、縱坐標(biāo)分別乘以魚(yú)眼圖像尺寸縮放因子，得到各像素點(diǎn)在校正圖像中的坐標(biāo)，然后將得到的各坐標(biāo)對(duì)應(yīng)的像素點(diǎn)填充得到各坐標(biāo)值處，得到第一次校正圖像； 步驟4、采用鄰域插值法對(duì)第一次校正圖像進(jìn)行插值處理； 步驟5、建立基于向后映射法的除法模型，該模型用來(lái)描述第一次校正圖像中的像素點(diǎn)到第一次校正圖像中心的距離與校正圖像中的像素點(diǎn)與校正圖像中心的距離的線性關(guān)系，該模型的輸入為第一次校正圖像中像素點(diǎn)的坐標(biāo)，該模型的輸出為基于向后映射法的除法模型的校正算子； 步驟6、利用基于向后映射法的除法模型，對(duì)插值處理后的第一次校正圖像進(jìn)行第二次校正，得到第二次校正圖像； 步驟6-1、建立與第一次校正圖像大小相同的空白圖像； 步驟6-2、利用基于向后映射法的除法模型，計(jì)算出校正算子； 步驟6-3、在空白圖像中以第一次校正圖像中心坐標(biāo)為坐標(biāo)原點(diǎn)，對(duì)每一個(gè)像素點(diǎn)的橫坐標(biāo)、縱坐標(biāo)均乘以校正算子，得到各像素點(diǎn)要填充的像素坐標(biāo)值； 步驟6-4、利用步驟6-3得到的各像素點(diǎn)要填充的像素坐標(biāo)值，從插值處理后的第一次校正圖像中找到對(duì)應(yīng)的像素值并填充到空白圖像中，得到第二次校正圖像； 步驟7、檢驗(yàn)校正的圖像精度，若第二次校正的圖像中的弧線都已經(jīng)校正為直線并且該圖像中的景物滿足透視投影關(guān)系，則當(dāng)前校正圖像為最終校正圖像，得到原始魚(yú)眼圖像與最終校正圖像之間的像素位置映射關(guān)系，否則返回步驟2。
【文檔編號(hào)】G06T3/40GK103996172SQ201410191291
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年5月8日 優(yōu)先權(quán)日:2014年5月8日
【發(fā)明者】張?jiān)浦? 朱德龍, 鐘惟林, 廖峭 申請(qǐng)人:東北大學(xué)