專利名稱：一種確定參考圖像像素點掃描順序的方法
技術領域：
本發(fā)明屬于3D電視系統(tǒng)中的深度圖像繪制技術領域，更為具體地講，涉及三維圖像變換過程中一種確定參考圖像像素點掃描順序的方法。
背景技術：
基于深度圖像繪制(d印th-image-based rendering, DIBR)技術是3D電視系統(tǒng)中的關鍵技術，引起了很多研究機構的關注。傳統(tǒng)的3D視頻信號傳輸時需要傳送左眼和右眼兩個視頻流，而基于DIBR技術的3D電視系統(tǒng)只需要傳輸一個視頻流及對應的深度信息，從而可以減少傳輸帶寬。DIBR技術的核心步驟是三維圖像變換(3d image warping) 0三維圖像變換能夠將參考圖像中的點投影到三維空間，再將三維空間中的點重投影到目標圖像平面上，從而生成新視點視圖，即目標圖像。然而在生成新視點視圖時，有可能將參考圖像中的幾個像素點映射到目標圖像的同一個點上，這就是由可見性變化所引起的“褶皺(folds) ”現(xiàn)象。圖1是由可見性變化引起的褶皺現(xiàn)象示意圖。圖1說明了褶皺現(xiàn)象是如何產生的。如圖1所示，由攝像機光心C1, C2和點P1確定的平面稱為極平面，C1C2連線稱為基線(baseline)，向量C1C2與參考圖像平面、目標圖像平面的交點為epey如果ei、％在向量C1C2的正方向上，則稱為正極點；如果ei、％在向量 C1C2的負方向上就稱為負極點。極平面與參考圖像平面、目標圖像平面的交線L1,L2稱為極線。通過DIBR技術，極線L1被映射到目標圖像平面上，形成極線L2。如圖1所示，當點P2 在直線P1C2上時，則其在目標圖像平面上的投影與點P1W投影重合，從而產生了褶皺現(xiàn)象。消除褶皺現(xiàn)象的方法是確定參考圖像中像素點的掃描順序，以確保被其它點遮擋的點在目標圖像中總是被先繪制，通常這種方法叫做從后向前(back-to-front)的方法。傳統(tǒng)方法是z-buffer算法，該算法需要比較每一個像素點的深度值，因而繪制速度比較慢。McMillan 提出了一種遮擋兼容算法(occlusion-compatible algorithm)，該算法只需將目標圖像對應的攝像機光心投影到參考圖像上得到極點，通過極點來確定參考圖像像素點的掃描順序。由于該算法不需要比較像素點的深度值，因而處理速度快，同時極點與場景信息無關，只依賴于參考攝像機的內部參數(shù)矩陣、外部參數(shù)和目標圖像對應的虛擬攝像機的光心坐標，從而處理簡單。但McMillan沒有針對DIBR說明各種情況下的掃描順序。

發(fā)明內容
本發(fā)明的目的在于在遮擋兼容算法的基礎上，提供一種三維圖像變換過程中確定參考圖像像素點掃描順序的方法，使得極點在各種情況下，參考圖像像素點的掃描順序都可以確定。為實現(xiàn)上述目的，本發(fā)明確定參考圖像像素點掃描順序的方法，其特征在于，包括以下步驟(1)、將目標圖像Ir對應的虛擬攝像機光心投影到參考圖像I1上，得到極點ei，將極點ei的坐標轉化為規(guī)范化齊次坐標[ex ey ez 1]τ ；O)、對坐標ez進行判斷，如果坐標ez#0，按照步驟(3)確定參考圖像像素點掃描順序；如果坐標ez = 0，則按照步驟(4)確定參考圖像像素點掃描順序；(3)、極點ei落在參考圖像平面上；al、根據極點ei的坐標ex和ey，做直線χ = ex、y = ey，將參考圖像I1分成片；a2、根據極點ei的坐標ez確定各片像素點的掃描順序如果坐標ez > 0，則極點ei為正極點，各片像素點的掃描順序為指向極點ei的方向；如果坐標ez < 0，則極點ei為負極點，各片像素點的掃描順序為指向極點ei的反方向；(4)、極點ei與參考圖像平面相交于無窮遠處；bl、如果坐標& > 0、坐標ey > 0，將參考圖像I1像素點掃描順序為從左到右，從上到下；b2、如果坐標& > 0、坐標ey < 0，參考圖像I1像素點掃描順序為從左到右，從下到上；b3、如果坐標& < 0、坐標ey > 0，參考圖像I1像素點掃描順序為從右到左，從上到下；b4、如果坐標& < 0、坐標ey < 0，參考圖像I1像素點掃描順序為從右到左，從下到上；b5、如果坐標& = 0、坐標ey > 0，參考圖像I1像素點掃描順序為從上到下，水平方向的掃描順序沒有限制；b6、如果坐標& = 0、坐標ey < 0，參考圖像I1像素點掃描順序為從下到上，水平方向的掃描順序沒有限制；b7、如果坐標& > 0、坐標ey = 0，參考圖像I1像素點掃描順序為從左到右，垂直方向的掃描順序沒有限制；b8、如果坐標& < 0、坐標ey = 0，參考圖像I1像素點掃描順序為從右到左，垂直方向的掃描順序沒有限制。本發(fā)明的發(fā)明目的是這樣實現(xiàn)的遮擋兼容算法可以很好的解決由可見性變化所引起的“褶皺”問題。由于不需要比較每個像素點的深度值，計算簡單，處理速度快，且與圖像內容無關。在實際應用中，很多情況下是將參考圖像當成左(右)視圖來生成右(左)視圖，即目標視圖，基線與參考圖像平行，且光心坐標具有形如C2-C1= [Cx 0 0 1^的關系。本發(fā)明在McMillan提的遮擋兼容算法基礎上，提供了一種三維圖像變換過程中確定參考圖像像素點掃描順序的方法，解決了基線與參考圖像平面平行，攝像機光心處在同一水平線上時，參考圖像像素點的掃描順序。 實驗表明利用本發(fā)明的方法能夠得到目標圖像正確的繪制順序。


圖1是由可見性變化引起的褶皺現(xiàn)象示意圖；圖2是由參考圖像平面的圖像像素坐標分割空間平面得到9個區(qū)域示意圖；圖3是正極點ei落在參考圖像中的分片及掃描順序示意圖；圖4是正極點ei落在參考圖像區(qū)域2時的分片及掃描順序示意圖；圖5是正極點ei落在參考圖像區(qū)域4、5、7時的分片及掃描順序示意圖；圖6是正極點ei落在參考圖像區(qū)域1時的分片及掃描順序示意圖；圖7是正極點ei落在參考圖像區(qū)域3，6，8時的分片及掃描順序示意圖；圖8是基線與參考圖像平面平行時的關系圖；圖9是正極點ei落在無窮遠處時參考圖像的分片及掃描順序示意圖；圖10是片的頂點坐標存儲方式示意圖；圖11是“ballet”序列所使用的視頻采集系統(tǒng)設置示意圖；圖12是參考圖像I5及其深度圖像；圖13是按不同掃描順序生成的新視圖I5 ；
圖14是基線與參考圖像平面平行且各攝像機光心處在同一水平線上時生成的左
右視圖。
具體實施例方式下面結合附圖對本發(fā)明的具體實施方式
進行描述，以便本領域的技術人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當已知功能和設計的詳細描述也許會淡化本發(fā)明的主要內容時，這些描述在這里將被忽略。實施例如圖1所示，a，b表示像素點Pl，P2離虛擬攝像機光心C2的距離，且a > b。從圖 1中可以得出在參考圖像I1上沿著極線L1指向正極點ei的方向來處理參考圖像中的像素點時，離虛擬攝像機光心C2遠的像素點P1先繪制，近的像素點P2后繪制，因此離光心C2近的像素點P2的信息將覆蓋遠處的像素點P1的信息，從而建立正確的可見性關系。若ei為負極點，則在參考圖像I1上沿著極線背離負極點的方向來處理像素點。由于所有可能產生褶皺現(xiàn)象的像素點都可以約束在極平面上，所有的極平面相交于基線，所有的極線相交于極點。這樣只要確定極點就可以制定正確的繪制順序。設極點 ei在參考圖像I1像素坐標系中的坐標為[ex ey ez 1]τ，在光心C1對應的攝像機坐標系下的規(guī)范化齊次坐標為[ex。eyc ezc 1]τ = [exc e￥C ez 1]T，由投影關系，可得
權利要求
1.一種確定參考圖像像素點掃描順序的方法，其特征在于，包括以下步驟(1)、將目標圖像L對應的虛擬攝像機光心投影到參考圖像I1上，得到極點ei，將極點 ei的坐標轉化為規(guī)范化齊次坐標[ex ey ez 1]τ ；O)、對坐標ez進行判斷，如果坐標ez#0，按照步驟(3)確定參考圖像像素點掃描順序；如果坐標ez = 0，則按照步驟(4)確定參考圖像像素點掃描順序；(3)、極點ei落在參考圖像平面上；al、根據極點ei的坐標ex和ey，做直線x = ex、y = ey,將參考圖像I1分成片； a2、根據極點ei的坐標ez確定各片像素點的掃描順序如果坐標ez > 0，則極點ei為正極點，各片像素點的掃描順序為指向極點ei的方向； 如果坐標^ < 0，則極點ei為負極點，各片像素點的掃描順序為指向極點ei的反方向；(4)、極點ei與參考圖像平面相交于無窮遠處；bl、如果坐標^ > 0、坐標ey > 0，將參考圖像I1像素點掃描順序為從左到右，從上到下；b2、如果坐標^ > 0、坐標ey < 0，參考圖像I1像素點掃描順序為從左到右，從下到上； b3、如果坐標^ < 0、坐標ey > 0，參考圖像I1像素點掃描順序為從右到左，從上到下； b4、如果坐標^ < 0、坐標ey < 0，參考圖像I1像素點掃描順序為從右到左，從下到上； b5、如果坐標^ = 0、坐標ey > 0，參考圖像I1像素點掃描順序為從上到下，水平方向的掃描順序沒有限制；b6、如果坐標^ = 0、坐標ey < 0，參考圖像I1像素點掃描順序為從下到上，水平方向的掃描順序沒有限制；b7、如果坐標^ > 0、坐標ey = 0，參考圖像I1像素點掃描順序為從左到右，垂直方向的掃描順序沒有限制；b8、如果坐標^ < 0、坐標ey = 0，參考圖像I1像素點掃描順序為從右到左，垂直方向的掃描順序沒有限制。
2.根據權利要求1所述的確定參考圖像像素點掃描順序的方法，其特征在于，所述各片以閉、開區(qū)間的形式描述，以保證分界線上的像素被確定地劃到某個片。
全文摘要
本發(fā)明公開了一種確定參考圖像像素點掃描順序的方法，在實際應用中，很多情況下是將參考圖像當成左(右)視圖來生成右(左)視圖，即目標視圖，基線與參考圖像平行。本發(fā)明在McMillan提出的遮擋兼容算法基礎上，提供了一種三維圖像變換過程中確定參考圖像像素點掃描順序的方法，解決了基線與參考圖像平面平行，攝像機光心處在同一水平線上時，參考圖像像素點的掃描順序。實驗表明利用本發(fā)明的方法能夠得到目標圖像正確的繪制順序。
文檔編號G06T15/20GK102208113SQ20111013957
公開日2011年10月5日 申請日期2011年5月25日 優(yōu)先權日2011年5月25日
發(fā)明者劉然, 劉艷飛, 劉陽, 張莎, 甘平, 田逢春, 許小艷, 謝輝, 譚迎春, 邰國欽, 魯國寧, 黃揚帆 申請人:四川虹微技術有限公司, 重慶大學