專利名稱：可提供3d節(jié)目拍攝指導(dǎo)的極線校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種立體視覺技術(shù)領(lǐng)域的極線校正方法，具體是一種既能夠應(yīng)用于3D節(jié)目后期處理又能夠為3D節(jié)目現(xiàn)場拍攝提供攝像機(jī)姿態(tài)調(diào)整指導(dǎo)的極線校正方法。
背景技術(shù)：
近幾年，隨著《阿凡達(dá)》等3D電影的狂熱，立體視覺技術(shù)引起了國內(nèi)外學(xué)者的廣泛研究。在立體視覺實際應(yīng)用研究中，為了能夠舒適地觀賞3D節(jié)目，對立體圖像對進(jìn)行極線校正不可避免。所謂極線校正，就是指通過對左、右視圖像各進(jìn)行一次射影變換，使得圖像投影到一個公共的平行于兩個攝像機(jī)基線的空間平面，從而使兩幅圖像對應(yīng)的極線在同一行水平線上，并且不存在垂直視差。極線校正可以有效地將對應(yīng)點(diǎn)搜索范圍從二維空間降至一維掃描線，在立體匹配、深度提取和三維跟蹤等立體視覺關(guān)鍵技術(shù)中得到廣泛應(yīng)用。經(jīng)過對現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，John Mallon等人于2005年在《Image and Vision Computing (圖像和視覺計算)》上發(fā)表的 “Projective rectification from the fundamental matrix(基礎(chǔ)矩陣引導(dǎo)的射影校正)，，中給出了一種僅依賴于基本矩陣的方法，該方法根據(jù)基本矩陣求出極點(diǎn)，然后將極點(diǎn)旋轉(zhuǎn)到X軸，接著將極點(diǎn)投影到無窮遠(yuǎn)處， 最后使得兩幅圖像對應(yīng)的極線在同一條掃描線上。這種方法必須依賴于基礎(chǔ)矩陣，當(dāng)基礎(chǔ)矩陣估計地不夠準(zhǔn)確時，校正的精度會受到明顯的影響。即使能夠得到高精度的基礎(chǔ)矩陣， 也未必能夠得到好的校正結(jié)果，導(dǎo)致校正結(jié)果出現(xiàn)較大的扭曲變形，原因是圖像校正的評價準(zhǔn)則與基礎(chǔ)矩陣的準(zhǔn)則完全不相同。而且這種方法不能夠為3D節(jié)目現(xiàn)場拍攝提供攝像機(jī)姿態(tài)調(diào)整指導(dǎo)。又經(jīng)檢索發(fā)現(xiàn)，MinZhu 等人于 2007 年在《IEEE International Conference on Integration ^Technology (IEEE 集成技術(shù)國際會議)》上發(fā)表的 “Mereo Vision Rectification Based on Epipolar Lines Match and Three Variables Projective Matrix (基于極線匹配和3變量射影矩陣的立體圖像校正方法)”中提出了一種簡化的極線校正方法，該方法僅需要3對匹配極線既可以估計出左右相機(jī)的投影矩陣。這種方法依賴于立體圖像中極線的匹配精度，當(dāng)匹配中存在誤匹配時候，會導(dǎo)致校正結(jié)果往往出現(xiàn)較大的扭曲變形。而且這種方法也不能夠為3D節(jié)目現(xiàn)場拍攝提供攝像機(jī)姿態(tài)調(diào)整指導(dǎo)，僅適合在3D節(jié)目的后期處理中使用。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的上述不足，提出一種既能夠應(yīng)用于3D節(jié)目后期處理又能夠為3D節(jié)目現(xiàn)場拍攝提供攝像機(jī)姿態(tài)調(diào)整指導(dǎo)的極線校正方法，并有效地降低了極線校正后立體圖像對的扭曲變形。該方法利用遺傳一致性估計(GCE)方法來消除誤匹配獲取一致最大內(nèi)點(diǎn)集，將基礎(chǔ)矩陣參數(shù)化為包含攝像機(jī)姿態(tài)信息的參量，通過匹配點(diǎn)對坐標(biāo)建立誤差方程進(jìn)而采用最小二乘法求解攝像機(jī)參量，利用所得的攝像機(jī)參量直接求解極線校正矩陣，并為現(xiàn)場3D拍攝提供如何調(diào)整攝像機(jī)姿態(tài)的信息，可廣泛應(yīng)用于立體匹配、深度圖提取和三維跟蹤等領(lǐng)域。本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，本發(fā)明包括以下步驟第一步，分別對立體圖像對中的左視圖和右視圖進(jìn)行SIFT特征點(diǎn)提取，并對得到的兩組SIFT特征點(diǎn)進(jìn)行匹配，得到初始匹配點(diǎn)對集。第二步，利用遺傳一致性估計(GCE)算法剔除初始匹配點(diǎn)對集中的誤匹配點(diǎn)對， 得到滿足同一基本矩陣的一致最大內(nèi)點(diǎn)集。所述的GCE算法剔除誤匹配處理，包括以下步驟1)在初始匹配點(diǎn)對集中選擇P個個體組成初始種群，得到每個個體包含的內(nèi)點(diǎn)數(shù)，且至少有一個個體中包含的內(nèi)點(diǎn)數(shù)大于或者等于相關(guān)閾值Tin;所述的個體包含從初始匹配點(diǎn)對集中隨機(jī)選擇的s組非奇異匹配點(diǎn)對。所述的s取值范圍是區(qū)間[7，10]上的整數(shù)。所述的內(nèi)點(diǎn)是Sampson誤差小于內(nèi)點(diǎn)閾值Thr的匹配點(diǎn)對。所述的內(nèi)點(diǎn)閾值Thr的取值范圍是
。所述的Sampson誤差，是
權(quán)利要求
1.一種可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，包括以下步驟第一步，分別對立體圖像對中的左視圖和右視圖進(jìn)行SIFT特征點(diǎn)提取，并對得到的兩組SIFT特征點(diǎn)進(jìn)行匹配，得到初始匹配點(diǎn)對集；第二步，利用遺傳一致性估計算法剔除初始匹配點(diǎn)對集中的誤匹配點(diǎn)對，得到滿足同一基本矩陣的一致最大內(nèi)點(diǎn)集；第三步，基于一致最大內(nèi)點(diǎn)集的所有匹配點(diǎn)對，利用LM非線性最小二乘法，最小化總 sampson誤差E，估計攝像機(jī)的旋轉(zhuǎn)角度和像素焦距；第四步，利用獲得的攝像機(jī)參數(shù)信息構(gòu)造極線校正矩陣H、HK，分別對左、右視圖像進(jìn)行極線校正。
2.如權(quán)利要求1所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述利用遺傳一致性估計算法剔除初始匹配點(diǎn)對集中的誤匹配點(diǎn)對，得到滿足同一基本矩陣的一致最大內(nèi)點(diǎn)集，包括以下步驟1)在初始匹配點(diǎn)對集中選擇P個個體組成初始種群，每個個體由隨機(jī)選擇的s組匹配點(diǎn)對構(gòu)成，利用相關(guān)閾值Tin的控制初始種群的形成，使得初始種群中包含內(nèi)點(diǎn)數(shù)大于等于閾值Tin的個體；2)將初始種群隨機(jī)劃分為個體數(shù)目都為s+2的子群，并在每個子群中選擇內(nèi)點(diǎn)數(shù)最大和次大的兩個個體作為母體；3)將每個子群中的兩個母體隨機(jī)交換q組匹配點(diǎn)對生成2個子體，子體與母體一起共形成4個中間個體，q為區(qū)間[l，s_l]上的隨機(jī)整數(shù)；4)保留每個子群4個中間個體中內(nèi)點(diǎn)數(shù)最大的個體作為變異算子的候選個體；5)對每個子群中的候選個體均按照正確數(shù)據(jù)點(diǎn)的可能分布執(zhí)行s+1種變異處理形成變異個體，并對變異個體進(jìn)行調(diào)整，經(jīng)過調(diào)整后變異個體與候選個體一起組成新的種群；6)重復(fù)上述的幻_5)，滿足遺傳代數(shù)的進(jìn)化后，輸出內(nèi)點(diǎn)數(shù)最大的個體的內(nèi)點(diǎn)作為一致最大內(nèi)點(diǎn)集。
3.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述每個個體由隨機(jī)選擇的s組匹配點(diǎn)對構(gòu)成，其中s取值范圍是區(qū)間[7，10]上的整數(shù)。
4.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述在初始匹配點(diǎn)對集中選擇P個個體組成初始種群，其中P取值范圍為[s+2，10(s+》]，s取值范圍是區(qū)間[7，10]上的整數(shù)。
5.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述利用相關(guān)閾值Tin的控制初始種群的形成，其中Tin取值范圍為[2s，如]，s取值范圍是區(qū)間[7， 10]上的整數(shù)。
6.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述的變異處理，是指分別在每個候選個體劃分的內(nèi)外點(diǎn)中選擇由m組內(nèi)點(diǎn)和s-m組外點(diǎn)組成的變異個體，0 ^m^ s, s取值范圍是區(qū)間[7，10]上的整數(shù)，每個候選個體都生成s+1個變異個體。
7.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述的對變異個體進(jìn)行調(diào)整，是指對每個候選個體生成的變異個體，逐個與判別個體進(jìn)行比較， 當(dāng)且僅當(dāng)判別個體的內(nèi)點(diǎn)數(shù)大于變異個體的內(nèi)點(diǎn)數(shù)，則將變異個體置換為判別個體，所述的判別個體包含從候選個體的內(nèi)點(diǎn)中隨機(jī)選擇的s組非奇異匹配點(diǎn)對。
8.如權(quán)利要求2所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述利用LM非線性最小二乘法，最小化總sampson誤差E，估計攝像機(jī)的旋轉(zhuǎn)角度和像素焦距，具體如下設(shè)一致最大內(nèi)點(diǎn)集中的所有匹配點(diǎn)對(xmj，xINEJ), 1 ^ j ^ Μ, M為一致最大內(nèi)點(diǎn)集中匹配點(diǎn)對的個數(shù)，構(gòu)造總sampson誤差E 其中I、WK分別為左、右視圖以像素為單位的寬度，hp hK為左、右視圖的以像素為單位的高度，fL> fE為左、右攝像機(jī)以像素為單位的焦距，Rle為右攝像機(jī)相對于左攝像機(jī)的旋轉(zhuǎn)矩陣，表征左攝像機(jī)繞Y軸旋轉(zhuǎn)旋轉(zhuǎn)β、繞Z軸旋轉(zhuǎn)旋轉(zhuǎn)α、繞X軸旋轉(zhuǎn)旋轉(zhuǎn)Θ后與右攝像機(jī)平行，t為右攝像機(jī)中心相對于左攝像機(jī)的單位偏移方向，表征左攝像機(jī)繞Y軸旋轉(zhuǎn)旋轉(zhuǎn)φ、繞Z軸旋轉(zhuǎn)旋轉(zhuǎn)-Y后，右攝像機(jī)的中心位于左攝像機(jī)的X軸上；[t]x為3維矢量t = Lt1 t2 t3]T確定的反對稱矩陣: LM優(yōu)化時[Λ,人隊的初始值取為[i+hp wE+hE,0,0,0,0,0]，并沿著總誤差E 減小的方向移動，當(dāng)總誤差E不變時，[/,,人的值即為攝像機(jī)參數(shù)的最優(yōu)估計。
9.如權(quán)利要求8所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述的攝像機(jī)參數(shù)[Λ,隊為現(xiàn)場3D拍攝指導(dǎo)調(diào)整攝像機(jī)姿態(tài)，其中像素焦距4、fE為立體視頻拍攝現(xiàn)場調(diào)整兩攝像機(jī)的焦距提供參考信息，而β、α、θ、…γ在立體視頻拍攝現(xiàn)場提供兩攝像機(jī)姿態(tài)的調(diào)整信息。
10.如權(quán)利要求8所述的可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，其特征在于，所述攝像機(jī)參數(shù)化隊在后處理中直接求解極線校正矩陣，進(jìn)而對立體圖像進(jìn)行校正，按如下方式構(gòu)造左、右視圖像的極線校正矩陣
全文摘要
本發(fā)明公開一種可提供3D節(jié)目拍攝指導(dǎo)的極線校正方法，該方法利用遺傳一致性估計方法來消除誤匹配獲取一致最大內(nèi)點(diǎn)集，將基礎(chǔ)矩陣參數(shù)化為包含攝像機(jī)姿態(tài)信息的參量，通過匹配點(diǎn)對坐標(biāo)建立誤差方程，進(jìn)而采用最小二乘法求解攝像機(jī)參量，利用所得的攝像機(jī)參量直接求解極線校正矩陣，并為現(xiàn)場3D拍攝提供如何調(diào)整攝像機(jī)姿態(tài)的信息。本發(fā)明既能夠應(yīng)用于3D節(jié)目后期處理又能夠為3D節(jié)目現(xiàn)場拍攝提供攝像機(jī)姿態(tài)調(diào)整指導(dǎo)，并有效地降低了極線校正后立體圖像對的扭曲變形。整個極線校正方法的實現(xiàn)過程簡單，可廣泛應(yīng)用于立體匹配、深度圖提取和三維跟蹤等重要領(lǐng)域。
文檔編號H04N13/00GK102404595SQ20111035338
公開日2012年4月4日 申請日期2011年11月10日 優(yōu)先權(quán)日2011年8月16日
發(fā)明者周軍, 姚達(dá) 申請人:上海交通大學(xué)