一種基于頭部追蹤的超大視角集成成像3d顯示方法
【專利摘要】本發(fā)明提出一種基于頭部追蹤的超大視角集成成像3D顯示方法，該方法包括對集成成像部分重合視區(qū)相應(yīng)圖像元的渲染和自適應(yīng)微圖像陣列的合成兩個步驟。通過使集成成像部分重合視區(qū)的重合部分重建的3D場景完全一致，從而滿足了微圖像陣列切換時觀看者觀看到的3D場景完全沒有跳變。利用微圖像陣列像素偏移和顯示主視區(qū)的關(guān)系，根據(jù)觀看者所處的視區(qū)而不是視點(diǎn)合成微圖像陣列，大大降低了渲染3D場景微圖像陣列的時間延遲，消除了由于觀看者快速移動帶來的圖像跳變。利用該發(fā)明可以實現(xiàn)無跳變無延時的超大視角集成成像3D顯示。
【專利說明】一種基于頭部追蹤的超大視角集成成像3D顯示方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及集成成像3D (三維)顯示技術(shù)，更具體地說，本發(fā)明涉及一種基于頭部追蹤的超大視角集成成像3D顯示方法。
【背景技術(shù)】
[0002]集成成像是一種重要的3D顯示，觀看者無需佩戴助視眼鏡即可觀看到立體圖像。該3D顯示可以完全還原真實3D場景，具有全視差、全彩色和視點(diǎn)連續(xù)的優(yōu)點(diǎn)。但是該3D顯示的3D觀看視角卻很小，大大地限制了其發(fā)展。
[0003]集成成像3D顯示存在一個由微圖像陣列確定的3D顯示主視區(qū)和多個次視區(qū)，以及相鄰視區(qū)之間的串?dāng)_區(qū)。通過將微圖像陣列微小移動，可以使集成成像顯示主視區(qū)產(chǎn)生相應(yīng)的移動，并且使移動后的主視區(qū)和先前的主視區(qū)存在部分重合，也即部分重合主視區(qū)。
[0004]基于頭部追蹤的集成成像3D顯示可以增大3D觀看視角，該3D顯示在傳統(tǒng)集成成像3D顯示的基礎(chǔ)上加入了頭部追蹤技術(shù)，實時地判斷觀看者所處的空間位置，然后根據(jù)此位置更新和移動用于集成成像顯示的微圖像陣列，從而使3D觀看視角增大。
[0005]一般的追蹤系統(tǒng)是利用普通攝像頭拍攝觀看者所處空間，采用圖像處理技術(shù)，獲取觀看者的空間位置，然 后顯示系統(tǒng)根據(jù)這個位置對應(yīng)的視點(diǎn)顯示相應(yīng)的微圖像陣列。由于追蹤拍攝系統(tǒng)拍攝幀率的限制，加之頭部追蹤系統(tǒng)具有較大的時間延遲，因此通過這種方式很難得到無跳變無延時的超大視角集成成像3D顯示。另外，通過圖像處理僅能得到觀看者的大體空間方位，其精度遠(yuǎn)不能滿足實際的集成成像3D顯示需求，因此上述因素也大大限制了基于頭部追蹤的集成成像3D顯示的發(fā)展。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提出一種基于頭部追蹤的超大視角集成成像3D顯示方法，該方法包括對集成成像部分重合視區(qū)相應(yīng)圖像元的渲染和自適應(yīng)微圖像陣列的合成兩個步驟。
[0007]所述集成成像部分重合視區(qū)相應(yīng)圖像元的渲染，根據(jù)追蹤系統(tǒng)能夠捕獲的觀看者所處的空間范圍，在計算機(jī)內(nèi)確定虛擬相機(jī)陣列的具體參數(shù)，對已建立的3D場景進(jìn)行拍攝，從而獲取圖像元。如圖1所示，通過移動微圖像陣列，使集成成像3D顯示產(chǎn)生部分重合視區(qū)，實現(xiàn)對集成成像觀看空間的劃分，然后對移動后的不同主視區(qū)進(jìn)行編號，為了簡化說明，圖中僅標(biāo)出觀看空間水平方向的劃分和編號，其豎直方向處理方式相同。追蹤系統(tǒng)實時捕獲觀看者的空間方位，并且判斷觀看者所處的觀看空間及相應(yīng)編號，由追蹤系統(tǒng)能夠捕獲的觀看者的空間范圍確定虛擬相機(jī)陣列的拍攝范圍。如附圖2所示，虛擬相機(jī)陣列由投影變換的視框體表示，其中包含的視框體個數(shù)為#X見并且視框體均采用透視投影幾何模型，視框體陣列中各視框體間的間距相等且為/7，在超大視角集成成像顯示系統(tǒng)中，透鏡元的節(jié)距也為Ch而視框體渲染得到的圖像元的節(jié)距為W且^大于/7，二者具體數(shù)值關(guān)系由系統(tǒng)觀看視角擴(kuò)大倍數(shù)決定，同時受限于追蹤系統(tǒng)的追蹤范圍。假設(shè)顯示系統(tǒng)單個透鏡元對應(yīng)的像素分辨率為則視框體渲染獲取的圖像元分辨率為渲染得到的圖像元像素尺寸為相應(yīng)顯示透鏡元像素尺寸的倍，7//7 > 1，也就是圖像元記錄了關(guān)于3D場景更多角度的信息。
[0008]所述自適應(yīng)微圖像陣列的合成過程，將上述渲染得到的圖像元合成觀看者觀看視區(qū)相應(yīng)的自適應(yīng)微圖像陣列。追蹤系統(tǒng)實時捕獲觀看者的空間方位，并判斷觀看者所處的觀看視區(qū)及其編號，根據(jù)其對應(yīng)的視區(qū)編號合成最終用于顯示的自適應(yīng)微圖像陣列，該過程可以分為兩個步驟:
第一，圖像元合成常規(guī)微圖像陣列的過程。將視框體陣列拍攝得到的圖像元按照視框體在相機(jī)陣列中的二維編號合成常規(guī)微圖像陣列，在這個過程中將每個圖像元繞其中心旋轉(zhuǎn)180°從而解決重建3D場景的深度翻轉(zhuǎn)問題。
[0009]第二，所述自適應(yīng)微圖像陣列的提取過程，從常規(guī)微圖像陣列中提取自適應(yīng)微圖像陣列，其提取規(guī)則與觀看者所處的觀看視區(qū)有關(guān)。在附圖2中，僅是對觀看視區(qū)水平方向進(jìn)行了編號。為了獲得水平和豎直兩個方向的集成成像超大視角3D顯示，本發(fā)明對觀看視區(qū)水平和豎直兩個方向進(jìn)行編號，當(dāng)觀看者處于觀看視區(qū)(i，j)時，其中i是視區(qū)的水平編號，J是視區(qū)的豎直編號，微圖像陣列的第Z行第_7列像素為/Cr，_7)，自適應(yīng)微圖像陣列第《行第/7列的像素為廣(^，/7),則
【權(quán)利要求】
1.一種基于頭部追蹤的超大視角集成成像3D顯示方法，該方法包括對集成成像部分重合視區(qū)相應(yīng)圖像元的渲染和自適應(yīng)微圖像陣列的合成兩個步驟:所述集成成像部分重合視區(qū)相應(yīng)圖像元的渲染，根據(jù)追蹤系統(tǒng)能夠捕獲的觀看者所處的空間范圍，在計算機(jī)內(nèi)確定虛擬相機(jī)陣列的具體參數(shù)，對已建立的3D場景進(jìn)行拍攝，從而獲取圖像元，通過移動微圖像陣列，使集成成像3D顯示產(chǎn)生部分重合視區(qū)，實現(xiàn)對集成成像觀看空間的劃分，然后對移動后的不同主視區(qū)進(jìn)行編號；追蹤系統(tǒng)實時捕獲觀看者的空間方位，并且判斷觀看者所處的觀看空間及相應(yīng)編號，由追蹤系統(tǒng)能夠捕獲的觀看者的空間范圍確定虛擬相機(jī)陣列的拍攝范圍，虛擬相機(jī)陣列由投影變換的視框體表示，其中包含的視框體個數(shù)為#X見并且視框體均采用透視投影幾何模型，視框體陣列中各視框體間的間距相等且為/7，在超大視角集成成像顯示系統(tǒng)中，透鏡元的節(jié)距也為^而視框體渲染得到的圖像元的節(jié)距為W且^大于/7，二者具體數(shù)值關(guān)系由系統(tǒng)觀看視角擴(kuò)大倍數(shù)決定，同時受限于追蹤系統(tǒng)的追蹤范圍；假設(shè)顯示系統(tǒng)單個透鏡元對應(yīng)的像素分辨率為aXt則視框體渲染獲取的圖像元分辨率為aq/pY-bq/p,渲染得到的圖像元像素尺寸為相應(yīng)顯示透鏡元像素尺寸的倍，^//7 > 1，也就是圖像元記錄了關(guān)于3D場景更多角度的信息；所述自適應(yīng)微圖像陣列的合成過程，將上述渲染得到的圖像元合成觀看者觀看視區(qū)相應(yīng)的自適應(yīng)微圖像陣列，追蹤系統(tǒng)實時捕獲觀看者的空間方位，并判斷觀看者所處的觀看視區(qū)及其編號，根據(jù)其對應(yīng)的視區(qū)編號合成最終用于顯示的自適應(yīng)微圖像陣列，該過程可以分為兩個步驟:第一，圖像元合成常規(guī)微圖像陣列的過程，將視框體陣列拍攝得到的圖像元按照視框體在相機(jī)陣列中的二維編號合成常規(guī)微圖像陣列，在這個過程中將每個圖像元繞其中心旋轉(zhuǎn)180°從而解決重建3D場景的深度翻轉(zhuǎn)問題；第二，所述自適應(yīng)微圖像陣列的提取過程，從常規(guī)微圖像陣列中提取自適應(yīng)微圖像陣列，其提取規(guī)則與觀看者所處的觀看視區(qū)有關(guān)，對觀看視區(qū)水平和豎直兩個方向進(jìn)行編號，當(dāng)觀看者處于觀看視區(qū)U，I)時，其中i是視區(qū)的水平編號，J是視區(qū)的豎直編號，微圖像陣列的第Z行第_7列像素為/Cr，7)，自適應(yīng)微圖像陣列第?行第列的像素為廣幼，W，則
【文檔編號】H04N13/00GK103702099SQ201310686544
【公開日】2014年4月2日 申請日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】王瓊?cè)A, 熊召龍, 李述利, 鄧歡 申請人:四川大學(xué)