專利名稱：一種廣角鏡頭下的視頻實(shí)時(shí)校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及廣角鏡頭校正技術(shù)領(lǐng)域，特別是一種廣角鏡頭下的視頻實(shí)時(shí)校正方法。
背景技術(shù)：
廣角鏡頭被廣泛地運(yùn)用于視覺監(jiān)控、跟蹤和機(jī)器人導(dǎo)航中。它具有獨(dú)特的寬闊視野，可以彌補(bǔ)標(biāo)準(zhǔn)鏡頭視場較窄的缺點(diǎn)。但是，廣角鏡頭具有一個(gè)很大的缺點(diǎn)就是所拍攝的圖像存在非常嚴(yán)重的變形，這對(duì)我們用廣角鏡頭下的視頻裝置直接進(jìn)行監(jiān)控、跟蹤帶來非常大的困難。因此，在利用廣角鏡頭的監(jiān)控技術(shù)中，很重要的一步就是如何把通過采集卡獲取的動(dòng)態(tài)廣角圖像實(shí)時(shí)地校正為一般的透視投影圖像。
動(dòng)態(tài)廣角圖像實(shí)時(shí)校正的主要難點(diǎn)在于以下兩點(diǎn)1)如何校正單幅靜態(tài)廣角圖像。由于廣角圖像的成像模型很復(fù)雜，圖像畸變相當(dāng)嚴(yán)重，尤其是圖像邊緣處，校正參數(shù)不好選?。?)校正的實(shí)時(shí)性。
目前已有了一些對(duì)視場為100度左右的廣角鏡頭的校正方法，較常用的方法是利用平面透視投影約束，通過變形校正模型將空間直線的投影曲線映射為圖像平面上的直線。但是，對(duì)于廣角鏡頭，其視場可能達(dá)到180度，這樣，如果利用已有的方法，校正后的圖像大小將為無窮大，無法進(jìn)行實(shí)現(xiàn)。
目前已有的實(shí)時(shí)視頻處理系統(tǒng)中，常用的方法是采用每幀圖像分別計(jì)算、單線程方式處理和顯示視頻，由于視頻信息量大，處理視頻要耗費(fèi)大量的系統(tǒng)資源，因此常規(guī)方法不能達(dá)到處理后視頻的流暢化顯示。在許多應(yīng)用中如監(jiān)控、安全和軍事應(yīng)用中，視頻處理特別強(qiáng)調(diào)實(shí)時(shí)性，因此每幀圖像分別計(jì)算、單線程方式影響了顯示效果并制約了實(shí)際應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明提供一種動(dòng)態(tài)廣角圖像實(shí)時(shí)校正的方法。該方法可以有效解決使用普通攝像機(jī)進(jìn)行監(jiān)控、跟蹤時(shí)，因監(jiān)控范圍小不適合大范圍和重要部門應(yīng)用或?yàn)檫_(dá)到大的監(jiān)控范圍而使用大量攝像機(jī)的問題。
本發(fā)明方法要求有一個(gè)圖像采集卡，一個(gè)廣角鏡頭，一臺(tái)計(jì)算機(jī)和一架由計(jì)算機(jī)控制的攝像機(jī)。以下分兩部分具體說明該方法1.校正參數(shù)的確定如圖1所示，本方法利用球面透視投影約束來校正廣角圖像。球面透視投影指的是，假設(shè)攝像機(jī)的光心在一個(gè)球的球心處，空間點(diǎn)在該球面上投影成像。這樣，空間直線在球上的投影為一個(gè)大圓。假定空間直線在廣角鏡頭下成的像，即一條曲線，與單位球上的大圓有下面的關(guān)系φ′=Σi=15ci*ri---(1)]]>θ′=Σi=15ai*θi]]>其中r，θ是廣角圖像上點(diǎn)的極坐標(biāo)表示，原點(diǎn)位于圖像的中心；φ′，θ′是單位球面上點(diǎn)的球坐標(biāo)表示，φ′表示射線與Z軸的交角，θ′表示與X軸的交角，而X軸，Y軸所在的平面與圖像平面共面；ai，ci是待求參數(shù)。
即在廣角圖像上同一曲線(空間直線的像)上的點(diǎn)經(jīng)過上面的關(guān)系映射到同一個(gè)大圓上。當(dāng)廣角圖像包含的場景范圍大約是180度時(shí)，經(jīng)過上述變換，圖像上的點(diǎn)映射到同一半球上。由于模型誤差的存在，經(jīng)過上述映射，共線點(diǎn)并不嚴(yán)格地在同一個(gè)大圓上，即點(diǎn)到大圓的球面距離不等于0。因此，我們需要首先求出球上一點(diǎn)到一個(gè)大圓的球面距離公式。一個(gè)大圓可以用兩個(gè)參數(shù)表示，即表示所在平面的單位法向量的兩個(gè)參數(shù)，記為Ф，Θ，從而，點(diǎn)(φ′，θ′)到一個(gè)大圓(Ф，Θ)的球面距離公式近似表示為ds≈d其中d＝|sinФsinφ′cos(Θ-θ′)+cos(Ф)cosφ′|，且d的值很小。
因此，我們構(gòu)造的最小化目標(biāo)函數(shù)為
minΣj=1LΣi=1njdij2---(2)]]>其中dij＝|sinФjsinφi′cos(Θj-θi′)+cos(Фj)cosφi′|，其中L表示直線的條數(shù)，nj表示第j條直線上的點(diǎn)數(shù)。目標(biāo)函數(shù)中的未知量為{ci}i＝15，{ci}i＝14，{Фj，Θj}j＝1L。但是，在{ai，ci}已知時(shí)，{Фj，Θj}j＝1L可以按下面的方法求得。
由于同一個(gè)大圓上的每一點(diǎn)pij都與其所在平面的法向量nj(由{Фj，Θj}確定)垂直，即pij·nj＝0 (3)因此，由兩個(gè)以上的共圓點(diǎn)得到個(gè)約束，再運(yùn)用奇異值分解的方法，就可以線性地求得nj。這樣，在目標(biāo)函數(shù)中，實(shí)際上只存在9個(gè)未知量，即{ci}i＝15，{ai}i＝14。利用優(yōu)化算法就可以估計(jì)出參數(shù){ai，ci}。
2.通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，包括步驟1)在包含有較多直線的場景內(nèi)，拍攝一幅廣角圖像；2)提取圖像中的曲線，這些曲線必須是空間直線的像；3)可通過求解最小化問題(2)即minΣj=1LΣi=1njdij2]]>確定廣角變形校正模型中的參數(shù)，最小化問題(2)的未知量有{ci}i＝15，{ai}i＝14，{Фj，Θj)j＝1L，在給定某組{ai，ci}時(shí)，{Фj，Θj}j＝1L可通過公式(1)(3)求得；4)根據(jù)3)中得到的參數(shù)，校正視頻序列中的每幀圖像；5)實(shí)時(shí)顯示校正后的每幀圖像，得到校正后的視頻序列。
本發(fā)明可以校正各種型號(hào)的廣角鏡頭獲取的圖像，并可在圖像中選擇任意視點(diǎn)實(shí)施校正和觀察。通過本方法，用戶只需使用裝有廣角鏡頭的攝像機(jī)，就可獲得大的視場范圍并可根據(jù)需要在任意視角處實(shí)時(shí)校正為清晰流暢的透視投影視頻。
本發(fā)明涉及視覺監(jiān)控、視頻監(jiān)控、圖像和視頻處理、跟蹤和機(jī)器人導(dǎo)航。
可以根據(jù)需要隨時(shí)轉(zhuǎn)換視角，實(shí)時(shí)得到廣角圖像內(nèi)任意區(qū)域的校正圖像。
采用廣角圖像與透視圖的映射表技術(shù)保證視頻校正的實(shí)時(shí)性。
多線程編程技術(shù)保證視頻校正的實(shí)時(shí)性。
本發(fā)明方法中的廣角鏡頭包括魚眼鏡頭。


圖1是本發(fā)明廣角鏡頭下的視頻實(shí)時(shí)校正方法的流程圖；圖2是本發(fā)明廣角鏡頭下的視頻實(shí)時(shí)校正方法校正參數(shù)估計(jì)的流程圖；圖3是本發(fā)明廣角鏡頭下的視頻實(shí)時(shí)校正方法實(shí)時(shí)視頻校正的流程圖；圖4是一幅廣角圖像；圖5是選取的圖4內(nèi)的若干條直線；圖6是校正后的圖像；圖7是使用本發(fā)明實(shí)施的廣角鏡頭下的視頻實(shí)時(shí)校正程序主界面。
具體實(shí)施例方式
本發(fā)明方法要求有一個(gè)圖像采集卡，一個(gè)廣角鏡頭，一臺(tái)計(jì)算機(jī)和一架由計(jì)算機(jī)控制的攝像機(jī)。
圖1，廣角鏡頭下的視頻實(shí)時(shí)校正方法，其步驟如下S1.1，在包含有較多直線的場景內(nèi)，拍攝一幅廣角圖像；S1.2，手工或利用Canny算子的方法提取圖像中的曲線，這些曲線必須是空間直線的像；S1.3，確定廣角變形校正模型中的參數(shù)；S1.4，根據(jù)S1.3)中得到的參數(shù)，校正視頻序列中的每幀圖像；S1.5，實(shí)時(shí)顯示校正后的每幀圖像，得到校正后的視頻序列。
圖2，廣角鏡頭下的視頻實(shí)時(shí)校正方法校正參數(shù)估計(jì)的流程，通過球面透視投影約束和通過提取場景直線在圖像中的像作為計(jì)算校正模型的基礎(chǔ)數(shù)據(jù)，步驟如下S2.1，在含有較多直線的場景內(nèi)，拍攝一幅廣角圖像，這是因?yàn)樵谕敢曂队跋轮本€仍然是直線，而在廣角圖像中，直線變?yōu)榍€。我們需要把曲線再變回直線，以使圖像具有透視效果；S2.2，提取場景直線在圖像中的像，可以用手工或Canny算子的方法提取，也可以采用人機(jī)交互的方法；S2.3，通過提取空間直線在圖像中的像，確定廣角變形校正模型中的參數(shù)。
圖3，廣角鏡頭下的視頻實(shí)時(shí)校正方法實(shí)時(shí)校正視頻的流程圖。實(shí)時(shí)校正的步驟如下S3.1，用戶輸入所需要的視野范圍，即水平視角和垂直視角；S3.2，攝像機(jī)采集到視頻，通過同軸電纜傳送到帶有圖像采集卡的計(jì)算機(jī)內(nèi)或從文件直接獲得視頻流；S3.3，從視頻流獲取當(dāng)前幀圖像；S3.4，判斷是否在獲取圖像中選擇新視點(diǎn)？如是，轉(zhuǎn)5)；如否，轉(zhuǎn)6)；S3.5，每次選擇更換視點(diǎn)后，計(jì)算透視圖中像素在魚眼圖像中的橫縱坐標(biāo)映射表，該映射表由圖2流程所得到的參數(shù)來確定；S3.6，根據(jù)映射表，將透視圖每個(gè)像素的值賦為魚眼圖像中對(duì)應(yīng)像素的值；S3.7，將得到透視圖顯示在顯示設(shè)備上或利用透視圖的RGB生成視頻文件數(shù)據(jù)；S3.8，判斷用戶是否選擇停止監(jiān)控？如否，轉(zhuǎn)3)；如是，轉(zhuǎn)9)；S3.9，在計(jì)算機(jī)上生成完整的視頻文件以存檔。
圖4是實(shí)時(shí)獲取視頻的一幀圖像，顯然該圖有很大的視野范圍，但同時(shí)有很大的畸變，如天花板上的直線成像為曲線。
圖5在圖4中選取了空間若干條直線的像，作為求解校正參數(shù)模型(2)的基礎(chǔ)數(shù)據(jù)。
圖6利用求解的校正參數(shù)實(shí)現(xiàn)圖4圖像在某個(gè)視角的矯正，空間中的直線都很好得校正為直線，可見本發(fā)明具有很好的校正畸變效果和清晰的圖像顯示等優(yōu)點(diǎn)。
圖7是利用本方法實(shí)現(xiàn)的魚眼實(shí)時(shí)監(jiān)控系統(tǒng)，該圖左上角為四路實(shí)時(shí)視頻顯示窗口，該圖右上角為魚眼視頻的實(shí)時(shí)校正顯示，用戶可以根據(jù)需要在左上角的視頻上隨時(shí)轉(zhuǎn)換視角，實(shí)時(shí)得到任意區(qū)域的校正圖像，圖7下面控件分別實(shí)現(xiàn)了調(diào)整視頻的顯示以及捕捉圖像等功能。本發(fā)明具有大視野顯示、用戶可靈活選擇觀察視點(diǎn)、靈活性高和實(shí)時(shí)性好等一系列優(yōu)點(diǎn)。
視頻校正參數(shù)*)

*)最大校正幀率能否達(dá)到和用戶計(jì)算機(jī)配置有關(guān)。上表列出常用視頻分辨率下，視頻采集幀率為25幀/秒時(shí)，采用本發(fā)明校正的幀率。由上表可見，當(dāng)在視頻分辨率在352*288、352*240、176*144、176*120下，采用本發(fā)明校正幀率等于采集幀率，即使在視頻分辨率較高時(shí)如704*576，704*480，校正幀率也能達(dá)到15幀/秒，因此本發(fā)明能夠很連貫的校正并顯示校正后的視頻，具有很好的實(shí)時(shí)性，便于實(shí)時(shí)性要求高和視野范圍要求廣的實(shí)際應(yīng)用(如視覺監(jiān)控、機(jī)器人導(dǎo)航等)中使用。
權(quán)利要求
1.一種通過球面透視投影約束確定廣角校正模型參數(shù)的方法，包括步驟S1.1，在包含有較多直線的場景內(nèi)，拍攝一幅廣角圖像；S1.2，手工或利用Canny算子的方法提取圖像中的曲線，這些曲線必須是空間直線的像；S1.3，確定廣角變形校正模型中的參數(shù)；S1.4，根據(jù)S1.3)中得到的參數(shù)，校正視頻序列中的每幀圖像；S1.5，實(shí)時(shí)顯示校正后的每幀圖像，得到校正后的視頻序列。
2.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，通過球面透視投影約束和通過提取場景直線在圖像中的像作為計(jì)算校正模型的基礎(chǔ)數(shù)據(jù)，步驟如下S2.1，在含有較多直線的場景內(nèi)，拍攝一幅廣角圖像，這是因?yàn)樵谕敢曂队跋轮本€仍然是直線，而在廣角圖像中，直線變?yōu)榍€；S2.2，提取場景直線在圖像中的像，可以用手工或Canny算子的方法提取，也可以采用人機(jī)交互的方法；S2.3，通過提取空間直線在圖像中的像，確定廣角變形校正模型中的參數(shù)。
3.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，保證校正的實(shí)時(shí)性，步驟如下S3.1，用戶輸入所需要的視野范圍，即水平視角和垂直視角；S3.2，攝像機(jī)采集到視頻，通過同軸電纜傳送到帶有圖像采集卡的計(jì)算機(jī)內(nèi)或從文件直接獲得視頻流；S3.3，從視頻流獲取當(dāng)前幀圖像；S3.4，判斷是否在獲取圖像中選擇新視點(diǎn)？如是，轉(zhuǎn)5)；如否，轉(zhuǎn)6)；S3.5，每次選擇更換視點(diǎn)后，計(jì)算透視圖中像素在魚眼圖像中的橫縱坐標(biāo)映射表；S3.6，根據(jù)映射表，將透視圖每個(gè)像素的值賦為魚眼圖像中對(duì)應(yīng)像素的值；S3.7，將得到透視圖顯示在顯示設(shè)備上或利用透視圖的RGB生成視頻文件數(shù)據(jù)；S3.8，判斷用戶是否選擇停止監(jiān)控？如否，轉(zhuǎn)3)；如是，轉(zhuǎn)9)；S3.9，在計(jì)算機(jī)上生成完整的視頻文件以存檔。
4.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，可以根據(jù)需要隨時(shí)轉(zhuǎn)換視角，實(shí)時(shí)得到廣角圖像內(nèi)任意區(qū)域的校正圖像。
5.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，采用廣角圖像與透視圖的映射表技術(shù)保證視頻校正的實(shí)時(shí)性。
6.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，多線程編程技術(shù)保證視頻校正的實(shí)時(shí)性。
7.根據(jù)權(quán)利要求1所述的通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法，其特征是，本方法中的廣角鏡頭包括魚眼鏡頭。
全文摘要
本發(fā)明涉及廣角鏡頭校正技術(shù)領(lǐng)域，特別是一種廣角鏡頭下的視頻實(shí)時(shí)校正方法。提供一種通過球面透視投影約束實(shí)時(shí)校正動(dòng)態(tài)廣角圖像的方法。包括步驟S1.1.包含有較多直線的場景內(nèi)，拍攝一幅廣角圖像；S1.2.提取圖像中的曲線，這些曲線必須是空間直線的像；S1.3.確定廣角變形校正模型中的參數(shù)；S1.4.根據(jù)S1.3)中得到的參數(shù)，校正視頻序列中的每幀圖像；S1.5.實(shí)時(shí)顯示校正后的每幀圖像，得到校正后的視頻序列。
文檔編號(hào)G03B37/00GK1856094SQ20051006697
公開日2006年11月1日 申請日期2005年4月25日 優(yōu)先權(quán)日2005年4月25日
發(fā)明者張彩霞, 鄧小明, 胡占義 申請人:中國科學(xué)院自動(dòng)化研究所