魚眼圖像校正方法和裝置制造方法
【專利摘要】公開了一種魚眼圖像校正方法和裝置。該魚眼圖像校正方法包括：根據(jù)用戶設(shè)置，選擇多種透視映射模式中的一種透視映射模式；獲取在所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標；獲取與所獲取的空間坐標對應(yīng)的魚眼圖像上的像素位置；以及利用魚眼圖像上的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
【專利說明】:普通的超廣角鏡頭竭力校正畫面邊緣出現(xiàn)艮鏡頭有意地保留影像的桶形畸變，用魚眼直線都會變成彎曲的弧線(魚眼圖像的變無似于球狀的曲面而導(dǎo)致的)。這里，將利用眼鏡頭捕捉的圖像稱為魚眼圖像。:在虛擬實景、視頻監(jiān)控、智能交通、機器人3而言，由魚眼鏡頭捕捉的高度形變的魚眼聽述的各種應(yīng)用魚眼鏡頭的系統(tǒng)中，在將魚之正，以得到近似的符合人眼視覺的平面圖苗述簡單的目的，將對魚眼圖像進行校正得3像。
去和三維(30)魚眼圖像校正方法兩類魚眼嘗魚眼圖像中的像素點映射到校正圖像中，存投影到空間中，再根據(jù)校正模型將空間中象校正方法和30魚眼圖像校正方法參見南:究”中描述的內(nèi)容。`模式中的一種透視映射模式；獲取在所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標；獲取與所獲取的空間坐標對應(yīng)的魚眼圖像上的像素位置；以及利用魚眼圖像上的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
[0010]根據(jù)本發(fā)明實施例的魚眼圖像校正裝置包括:模式選擇單元，用于根據(jù)用戶設(shè)置選擇多種透視映射模式中的一種透視映射模式；第一映射單元，用于獲取在所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標；第二映射單元，用于獲取與所獲取的空間坐標對應(yīng)的魚眼圖像上的像素位置；以及像素值計算單元，用于利用魚眼圖像上的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
[0011]在根據(jù)本發(fā)明實施例的魚眼圖像校正裝置和方法中，用戶可以根據(jù)具體的應(yīng)用場景或者自己的喜好進行設(shè)置，從而實現(xiàn)對透視映射模式的選擇。所以，根據(jù)本發(fā)明實施例的魚眼圖像校正裝置和方法可以兼容地應(yīng)用于多種應(yīng)用場景。另外，由于針對具體的應(yīng)用場景選擇了一種合適的透視映射模式，所以魚眼圖像中的更多的信息可以被保留在對魚眼圖像進行校正得到的校正圖像中。
[0012]參照后文的說明和附圖，詳細公開了本發(fā)明的特定實施方式，指明了本發(fā)明的原理可以被采用的方式。應(yīng)該理解，本發(fā)明的實施方式在范圍上并不因而受到限制。在所附權(quán)利要求的精神和條款的范圍內(nèi)，本發(fā)明的實施方式包括許多改變、修改和等同。
[0013]針對一種實施方式描述和/或示出的特征可以以相同或類似的方式在一個或更多個其它實施方式中使用，與其它實施方式中的特征相組合，或替代其它實施方式中的特征。
[0014]應(yīng)該強調(diào)，術(shù)語“包括/包含”在本文使用時指特征、整件、步驟或組件的存在，但并不排除一個或更多個其它特征、整件、步驟或組件的存在或附加。
【專利附圖】

【附圖說明】
[0015]從下面結(jié)合附圖對本發(fā)明的【具體實施方式】的描述中可以更好地理解本發(fā)明，其中:
[0016]圖1是示出根據(jù)本發(fā)明實施例的魚眼圖像校正裝置的框圖；
[0017]圖2是示出根據(jù)本發(fā)明實施例的魚眼圖像校正方法的流程圖；以及
[0018]圖3示出了前透視平面、左和右透視平面、以及上和下透視平面上的校正圖像被展開在同一個平面上時這些校正圖像之間的位置關(guān)系。
【具體實施方式】
[0019]下面將詳細描述本發(fā)明各個方面的特征和示例性實施例。下面的描述涵蓋了許多具體細節(jié)，以便提供對本發(fā)明的全面理解。但是，對于本領(lǐng)域技術(shù)人員來說顯而易見的是，本發(fā)明可以在不需要這些具體細節(jié)中的一些細節(jié)的情況下實施。下面對實施例的描述僅僅是為了通過示出本發(fā)明的示例來提供對本發(fā)明更清楚的理解。本發(fā)明絕不限于下面所提出的任何具體配置和算法，而是在不脫離本發(fā)明的精神的前提下覆蓋了相關(guān)元素、部件和算法的任何修改、替換和改進。[0020]本發(fā)明提供了一種新穎的魚眼圖像校正方法和裝置。該魚眼圖像校正方法和裝置為用戶提供了分別適用于諸如虛擬實景、視頻監(jiān)控、智能交通、以及機器人導(dǎo)航之類的不同應(yīng)用的多種透視映射模式，并且利用了由魚眼鏡頭的超寬視場捕捉的更多的信息。
[0021]魚眼鏡頭通過選擇向圖像提供凸外觀特征的魚眼映射而不選擇一般鏡頭所使用的透視映射來實現(xiàn)超大視場(FOV)的圖像捕捉。隨著被攝物體與魚眼鏡頭的光軸之間的距離的增大，由魚眼鏡頭捕捉到的魚眼圖像的放大率降低，導(dǎo)致魚眼圖像具有強烈的徑向形變。所以，期望在將由魚眼鏡頭捕捉的圖像呈現(xiàn)給用戶之前，將魚眼圖像校正為近似的符合人眼視覺的平面圖像。為了將魚眼圖像校正為近似的符合人眼視覺的平面圖像(即，校正圖像)，需要將魚眼圖像投射到特定的透視平面上。
[0022]本發(fā)明的魚眼圖像校正方法屬于3D魚眼圖像校正方法，S卩，本發(fā)明的魚眼圖像校正方法利用空間坐標為中介，來實現(xiàn)魚眼圖像上的像素坐標與校正圖像上的像素坐標之間的映射。
[0023]在根據(jù)本發(fā)明實施例的魚眼圖像校正方法和裝置中，預(yù)先設(shè)置了以下三種透視映射模式供用戶選擇:正面映射模式、立方體展開映射模式、以及豎直和水平全景映射模式。在使用根據(jù)本發(fā)明實施例的魚眼圖像校正方法和裝置進行魚眼校正時，用戶可以根據(jù)具體的適用場景或者根據(jù)自己的喜好選擇上述三種映射模式中的一種映射模式進行魚眼圖像校正。
[0024]圖1示出了根據(jù)本發(fā)明實施例的魚眼圖像校正裝置的框圖。如圖1所示，根據(jù)本發(fā)明實施例的魚眼圖像校正裝置包括模式選擇單元102、第一映射單元104、第二映射單元106、以及像素值計算單元108。
[0025]其中，模式選擇單元102用于根據(jù)用戶設(shè)置選擇多種透視映射模式中的一種透視映射模式；第一映射單元104用于獲取在模式選擇單元102所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標；第二映射單元106用于獲取與第一映射單元104所獲取的每個空間坐標相對應(yīng)的魚眼圖像中的像素位置；以及像素值計算單元108用于利用魚眼圖像中的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
[0026]圖2示出了根據(jù)本發(fā)明實施例的魚眼圖像校正方法的流程圖。如圖2所示，根據(jù)本發(fā)明實施例的魚眼圖像校正方法包括以下步驟:S202，根據(jù)用戶設(shè)置選擇多種透視映射模式中的一種透視映射模式；S204，獲取在步驟S202中選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標；S206，獲取與步驟S204中獲取的每個空間坐標相對應(yīng)的魚眼圖像中的像素位置；以及S208，利用魚眼圖像中的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
[0027]其中，步驟S202可以由模式選擇單元102執(zhí)行，步驟S204可以由第一映射單元104執(zhí)行，步驟S206可以由第二映射單元106執(zhí)行，并且步驟S208可以由像素值計算單元108執(zhí)行。這里需要說明的是，這里對各個功能單元的劃分只是示例性的，并且其中的一個或多個功能單元可以合并為一個功能單元，或者其中的一個或多個功能單元可以分別進一步劃分為多個功能單元。相應(yīng)地，步驟S202至S208可以由合并得到的一個功能單元執(zhí)行，或者可以分別由多個功能單元執(zhí)行。
[0028]在根據(jù)本發(fā)明實施例的魚眼圖像校正裝置和方法中，用戶可以根據(jù)具體的應(yīng)用場選定映射模式下魚眼圖像將被映射到的透中的每個像素位置相對應(yīng)的空間坐標。
?系的原點，魚眼鏡頭的光軸為空間坐標系于魚眼圖像的左上角的像素位置，X軸以向
0
I頭的光軸的任意一個平面作為透視平面。的校正圖像的豎直視場角度和水平視場角點(即，魚眼鏡頭的焦點)之間的距離。這I視平面，用507,表示校正圖像的豎直視場〔中，1: = {2 = I 0表示該透視平面與空五圖像的中心處于魚眼鏡頭的光軸上(即，、寬度
護面上的校正圖像的左上角的像素位置，X五方向。更具體地，透視平面上的坐標系的全標平面上的坐標系的7軸與空間坐標系的圖像、上透視平面上的校正圖像、以及下透視平面上的校正圖像被展開放置在同一個平面上。其中，前透視平面上的校正圖像位于中心，左透視平面上的校正圖像位于前透視平面上的校正圖像的左側(cè)，右透視平面上的校正圖像位于前透視平面上的校正圖像的右側(cè)，上透視平面上的校正圖像位于前透視平面上的校正圖像的上側(cè)，并且下透視平面上的校正圖像位于前透視平面上的校正圖像的下側(cè)。圖3示出了前透視平面、左和右透視平面、以及上和下透視平面上的校正圖像被展開在同一個平面上時這些校正圖像之間的位置關(guān)系。
[0043]下面的計算都是在上述五個透視平面上的校正圖像被展開放置在的同一個平面(這里，為了說明簡單，下面將該平面稱為展開平面)的前提下進行的。展開平面上的坐標系的原點在空間坐標系中的位置取決于用戶設(shè)置的前透視平面與魚眼鏡頭的焦點之間的距離、以及用戶規(guī)定的前透視平面上的校正圖像的水平視場角度和豎直視場角度。
[0044]這里，前透視平面的定義與正面映射模式相同，是垂直于魚眼鏡頭的光軸的透視平面。前透視平面上的校正圖像的尺寸取決于用戶規(guī)定的校正圖像的豎直視場角度和水平視場角度、以及用戶設(shè)置的前透視平面與空間坐標系的原點(即，魚眼鏡頭的焦點)之間的距離。這里，在空間坐標系中用τ = Iz= ξf}來表示前透視平面，用FOVh表示校正圖像的水平視場角度，用FOVv表示校正圖像的豎直視場角度。其中，τ = Iz= €f}表示前透視平面與空間坐標系的原點的距離為lf。前透視平面上的校正圖像的中心處于魚眼鏡頭的光軸上(即，空間坐標系的z軸上)，并且其高度為為加手，寬度為2sV?n^。
[0045]展開平面上的坐標系的原點在空間坐標系中的坐標位置為(--+ξ-α,η^φ^ξ?+ξμω?^μ, ι f)，展開平面上的坐標系的X軸與空間坐標系的X軸的方向相同，并且展開平面上的坐標系的y軸與空間坐標系的y軸的方向相反。
[0046]對于前透視平面上的校正圖像中的任意一個像素位置X τ = (χτ，y,)，可以根據(jù)以下等式來計算與該像素位置相對應(yīng)的空間坐標X = (X，y, z):
[0047]
【權(quán)利要求】
1.一種魚眼圖像校正方法，包括： 根據(jù)用戶設(shè)置，選擇多種透視映射模式中的一種透視映射模式； 獲取在所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標； 獲取與所獲取的空間坐標對應(yīng)的魚眼圖像上的像素位置；以及利用魚眼圖像上的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
2.根據(jù)權(quán)利要求1所述的魚眼圖像校正方法，其中，對于所述校正圖像中的任意一個像素位置（Xl，yi)，利用所述魚眼圖像中的與所述像素位置（Xl，yi)相對應(yīng)的像素位置（X。，Y0)處的像素值以及所述像素位置（Xo，y0)周圍的多個像素位置處的像素值來計算所述像素位置（Xpy1)處的像素值。
3.根據(jù)權(quán)利要求1所述的魚眼圖像校正方法，其特征在于，通過對所述像素位置（X。，Y0)處的像素值以及所述像素位置（Xo，Yo)周圍的八個像素位置處的像素值進行內(nèi)插來計算所述像素位置（Xl，yi)處的像素值。
4.根據(jù)權(quán)利要求1所述的魚眼圖像校正方法，其中，對于與所述校正圖像中的任意一個像素位置相對應(yīng)的空間坐標X = (X，y, ζ)，通過以下處理來獲取與所述空間坐標X =(X，1，ζ)相對應(yīng)的魚眼圖像上的像素位置Xf = (Xf，yf)： 通過對所述空間坐標X = (x，y，z)進行歸一化，獲取歸一化的空間坐標xs; 通過沿ζ軸對所述歸一化的空間坐標X 3進行平移，獲取平移后的空間坐標xp; 獲取所述平移后的空間坐標Xp的齊次坐標mu ; 通過向所述齊次坐標mu添加徑向和切向變形，獲取添加變形后的齊次坐標md ; 通過將所述變形后的齊次坐標md與投影矩陣K相乘，獲取與所述空間坐標X = (x，y，ζ)相對應(yīng)的魚眼圖像上的初始像素位置P = (xp，yp);以及 通過對所述初始像素位置P= (xp,yp)進行平移，得到所述魚眼圖像中的與所述空間坐標X = (X, y, Z)相對應(yīng)的最終像素位置Xf = (xf, yf)。
5.根據(jù)權(quán)利要求1所述的魚眼圖像校正方法，其中，在獲取與所述校正圖像中的每個像素位置相對應(yīng)的空間坐標之前，還要根據(jù)用戶預(yù)先設(shè)置的水平視場角度和豎直視場角度、以及所述魚眼圖像的尺寸中的至少一者來確定所述校正圖像的尺寸。
6.一種魚眼圖像校正裝置，包括： 模式選擇單元，用于根據(jù)用戶設(shè)置選擇多種透視映射模式中的一種透視映射模式；第一映射單元，用于獲取在所選擇的透視映射模式下與給定透視平面上的校正圖像中的每個像素位置相對應(yīng)的空間坐標； 第二映射單元，用于獲取與所獲取的空間坐標對應(yīng)的魚眼圖像上的像素位置；以及像素值計算單元，用于利用魚眼圖像上的一個或多個像素位置處的像素值計算校正圖像中的每個像素位置處的像素值。
7.根據(jù)權(quán)利要求6所述的魚眼圖像校正裝置，其中，對于所述校正圖像中的任意一個像素位置（Xl，yi)，所述像素值計算單元利用所述魚眼圖像中的與所述像素位置（Xl，Y1)相對應(yīng)的像素位置（Xo，y0)處的像素值以及所述像素位置（?, Yo)周圍的多個像素位置處的像素值來計算所述像素位置（Xpy1)處的像素值。
8.根據(jù)權(quán)利要求6所述的魚眼圖像校正裝置，其特征在于，所述像素值計算單元通過對所述像素位置(Xo，Yo)處的像素值以及所述像素位置(?, Yo)周圍的八個像素位置處的像素值進行內(nèi)插來計算所述像素位置(Xl，yi)處的像素值。
9.根據(jù)權(quán)利要求6所述的魚眼圖像校正裝置，其中，對于與所述校正圖像中的任意一個像素位置相對應(yīng)的空間坐標X = (x，y，z)，所述第二映射單元通過以下處理來獲取與所述空間坐標X = (X，y，z)相對應(yīng)的魚眼圖像上的像素位置Xf= (xf, yf): 通過對所述空間坐標X = (x，y，z)進行歸一化，獲取歸一化的空間坐標xs; 通過沿z軸對所述歸一化的空間坐標X 3進行平移，獲取平移后的空間坐標xp; 獲取所述平移后的空間坐標xp的齊次坐標mu; 通過向所述齊次坐標mu添加徑向和切向變形，獲取添加變形后的齊次坐標md ； 通過將所述變形后的齊次坐標md與投影矩陣K相乘，獲取與所述空間坐標X = (x，y，z)相對應(yīng)的魚眼圖像上的初始像素位置P = (xp，yp);以及 通過對所述初始像素位置P= (xp,yp)進行平移，得到所述魚眼圖像中的與所述空間坐標X = (X, y, Z)相對應(yīng)的最終像素位置Xf = (xf, yf)。
10.根據(jù)權(quán)利要求6所述的魚眼圖像校正裝置，其中，所述第一映射單元在獲取與所述校正圖像中的每個像素位 置相對應(yīng)的空間坐標之前，還要根據(jù)用戶預(yù)先設(shè)置的水平視場角度和豎直視場角度、以及所述魚眼圖像的尺寸中的至少一者來確定所述校正圖像的尺寸。
【文檔編號】G06T5/00GK103839227SQ201210484738
【公開日】2014年6月4日 申請日期:2012年11月23日 優(yōu)先權(quán)日:2012年11月23日
【發(fā)明者】王寰宇, 譚志明, 白向暉, 王炳融 申請人:富士通株式會社