專利名稱：數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及顯示器領(lǐng)域，尤其是頭盔顯示器畸變校正系統(tǒng)領(lǐng)域，具體為一種 數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)。
背景技術(shù)：
頭盔顯示器的使用者是借助眼前的目鏡來觀察圖像的，因此在頭盔顯示器中，光 學(xué)成像系統(tǒng)直接影響著圖象顯示的質(zhì)量。目前的畸變校正方法，除了從光學(xué)出發(fā)的像差校 正外，還有電子預(yù)畸變校正、全息材料應(yīng)用等方法。在某些頭盔顯示器中，由光學(xué)系統(tǒng)畸變 而引起的顯示圖像畸變是一種復(fù)雜的畸變，因頭盔顯示器體積和重量的限制，以及光學(xué)結(jié) 構(gòu)的設(shè)計(jì)與制造工藝難度，無法通過復(fù)雜的透鏡組來減小圖像畸變。

實(shí)用新型內(nèi)容本實(shí)用新型的目的是提供一種數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，以解 決數(shù)字式頭盔顯示器圖像畸變的問題。為了達(dá)到上述目的，本實(shí)用新型所采用的技術(shù)方案為數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，包括有FPGA，其特征在于所述 FPGA中寫入雙線性數(shù)字圖像處理算法，F(xiàn)PGA內(nèi)部集成有兩兩配合的第一寫數(shù)據(jù)模塊、第一 讀數(shù)據(jù)模塊和第二寫數(shù)據(jù)模塊、第二讀數(shù)據(jù)模塊，其中第一寫數(shù)據(jù)模塊、第一讀數(shù)據(jù)模塊上 共同外接有兩個(gè)輸入幀存儲器，第二寫數(shù)據(jù)模塊、第二讀數(shù)據(jù)模塊上共同外接有兩個(gè)輸出 幀存儲器；所述FPGA內(nèi)部還集成有預(yù)畸變處理模塊、顯示器驅(qū)動模塊、上電初始化模塊，所 述預(yù)畸變處理模塊上外接有兩個(gè)校正系數(shù)存儲器，所述顯示器驅(qū)動模塊外接顯示器，所述 上電初始化模塊外接有另外的校正系數(shù)存儲器；所述第一寫數(shù)據(jù)模塊與FPGA外部的視頻 信號源通過數(shù)據(jù)線連接，第一讀數(shù)據(jù)模塊、第二寫數(shù)據(jù)模塊分別與所述預(yù)畸變處理模塊通 訊，所述第二讀數(shù)據(jù)模塊與所述顯示器驅(qū)動模塊通訊。所述的數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，其特征在于所述FPGA還通 過422轉(zhuǎn)換芯片與外部PC機(jī)通訊連接。所述的數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，其特征在于所述校正系數(shù) 存儲器包括非易失存存儲器和隨機(jī)存儲器，其中外接在預(yù)畸變處理模塊上的兩個(gè)校正系數(shù) 存儲器分別為隨機(jī)存儲器，外接在上電初始化模塊上的校正系數(shù)存儲器為非易失存存儲
器ο本實(shí)用新型數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，包括存儲器和視頻處理器組成，存儲器包括保存輸入視頻圖像的輸入幀存儲器、保存輸出預(yù)畸變圖像的輸出幀存 儲器以及保存預(yù)畸變校正系數(shù)的校正系數(shù)存儲器，其中校正系數(shù)存儲器包括數(shù)據(jù)讀取速度 較慢的非易失存儲器和數(shù)據(jù)讀取速度較快的隨機(jī)存儲器。視頻處理器采用FPGA芯片。系統(tǒng)在上電時(shí)進(jìn)行上電初始化，上電初始化內(nèi)容分為 兩部分，一是將校正系數(shù)從數(shù)據(jù)讀取速度較慢的非易失存儲器讀到數(shù)據(jù)讀取速度較快的隨機(jī)存儲器，二是將輸入幀存儲器和輸出幀存儲器的數(shù)據(jù)儲存單元全部清零。上電初始化完 成之后，系統(tǒng)進(jìn)入工作狀態(tài)，F(xiàn)PGA在工作時(shí)先將外界輸入的視頻數(shù)據(jù)信號存入輸入幀存儲 器，在存入輸入視頻圖像數(shù)據(jù)的同時(shí)，F(xiàn)PGA中的預(yù)畸變處理模塊從輸入幀存儲器讀出視頻 圖像數(shù)據(jù)，并從校正系數(shù)存儲器中讀出校正系數(shù)，預(yù)畸變處理模塊根據(jù)視頻圖像數(shù)據(jù)和校 正系數(shù)利用雙線性插值數(shù)字圖像處理技術(shù)生成預(yù)畸變圖像數(shù)據(jù)，并將預(yù)畸變圖像數(shù)據(jù)存入 輸出幀存儲器，F(xiàn)PGA中的顯示驅(qū)動模塊將預(yù)畸變圖像數(shù)據(jù)送入顯示器進(jìn)行顯示。本實(shí)用新型是一種針對于采用新型數(shù)字式平板顯示器件作為像源的頭盔顯示器 的實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，本實(shí)用新型是以FPGA(現(xiàn)場可編程門陣列)作為硬件平臺，使 用雙線性插值數(shù)字圖像處理技術(shù)，對輸入的數(shù)字圖像信號進(jìn)行預(yù)畸變處理，預(yù)畸變處理使 圖像畸變形狀與光學(xué)系統(tǒng)畸變形狀相反，從而不僅實(shí)現(xiàn)了對顯示圖像的實(shí)時(shí)校正，而且減 小頭盔顯示器光學(xué)結(jié)構(gòu)體積、降低系統(tǒng)造價(jià)。本實(shí)用新型的優(yōu)點(diǎn)在于1.實(shí)現(xiàn)了實(shí)時(shí)性。輸入數(shù)字視頻信號，場頻位50 75Hz，輸出視頻信號可直接送 入顯示器顯示。圖像從輸入到輸出的時(shí)間延時(shí)是兩場時(shí)間，相當(dāng)于26. 67 40ms，電路采用 流水線設(shè)計(jì)方式，輸出圖像場頻與輸入圖像場頻相同，因此，觀察校正圖像時(shí)，人眼看到的 圖像為連續(xù)的圖像，而且感覺不到延時(shí)的存在，達(dá)到了實(shí)時(shí)性的設(shè)計(jì)要求。2.采用雙線性插值圖像處理技術(shù)，消除預(yù)畸變圖像邊緣鋸齒現(xiàn)象，減少預(yù)畸變圖 像失真，而且消除輸出圖像上孤立的亮點(diǎn)或黑點(diǎn)。

圖1為輸入本實(shí)用新型的網(wǎng)格圖像。圖2為通過畸變函數(shù)計(jì)算出的畸變網(wǎng)格圖像。圖3為通過畸變函數(shù)計(jì)算出的預(yù)畸變網(wǎng)格圖像。圖4為輸入圖像上像素點(diǎn)與預(yù)畸變圖像像素點(diǎn)的對應(yīng)關(guān)系圖。圖5為本實(shí)用新型電路原理框圖。
具體實(shí)施方式
下面以分辨率為800X600，場頻60Hz，位寬為Sbit單色視頻信號作為某種機(jī)載頭 盔顯示器的輸入視頻信號，并結(jié)合附圖詳細(xì)說明本實(shí)用新型的一種具體實(shí)施實(shí)例。1.預(yù)畸變系數(shù)計(jì)算電子預(yù)畸變校正算法按方法可分為采用標(biāo)準(zhǔn)樣板校正和擬合光學(xué)鏡片畸變曲線 校正。采用標(biāo)準(zhǔn)樣板校正是利用定制的標(biāo)準(zhǔn)樣板，使其通過待校正光學(xué)系統(tǒng)成像。由于光 學(xué)系統(tǒng)本身存在著畸變，從而使像發(fā)生變形，根據(jù)樣板理想設(shè)計(jì)參數(shù)和光學(xué)系統(tǒng)的放大率， 計(jì)算出樣板理想的無失真的像，比較它和實(shí)際像的差別，就能夠得到它們之間的函數(shù)對應(yīng) 關(guān)系。標(biāo)準(zhǔn)樣板校正不需要其它光學(xué)測量儀器和光學(xué)系統(tǒng)設(shè)計(jì)參數(shù)，只是根據(jù)系統(tǒng)畸變特 征進(jìn)行校正，但標(biāo)準(zhǔn)樣板獲取光學(xué)系統(tǒng)成像操作復(fù)雜，人為誤差較大。因此標(biāo)準(zhǔn)樣板校正適 用于已裝配好的光學(xué)系統(tǒng)校正。擬合光學(xué)鏡片畸變曲線校正是利用成像系統(tǒng)的光學(xué)參數(shù)， 推導(dǎo)出了畸變校正方程組，由畸變校正方程組計(jì)算出系統(tǒng)成像每一點(diǎn)的畸變值，進(jìn)而計(jì)算 出畸變圖像的數(shù)據(jù)。[0022]本實(shí)用新型實(shí)施實(shí)例采用擬合光學(xué)鏡片畸變曲線方法擬合出本頭盔顯示器的光 學(xué)系統(tǒng)畸變函數(shù)，并通過畸變函數(shù)來計(jì)算出畸變圖像數(shù)據(jù)，進(jìn)而計(jì)算出預(yù)畸變圖像數(shù)據(jù)。如 圖1所示的網(wǎng)格輸入圖像，根據(jù)本實(shí)用新型實(shí)施實(shí)例的頭盔顯示器光學(xué)系統(tǒng)的設(shè)計(jì)參數(shù)， 可以計(jì)算出通過光學(xué)系統(tǒng)的畸變網(wǎng)格圖像，如圖2所示，由圖2可知本實(shí)用新型實(shí)施實(shí)例的 頭盔顯示器光學(xué)系統(tǒng)對圖像造成的畸變?yōu)樯刃位儯瑘D3為本實(shí)用新型實(shí)施實(shí)例計(jì)算出來 的預(yù)畸變網(wǎng)格圖像。通過畸變函數(shù)可以計(jì)算出預(yù)畸變圖像中每一個(gè)像素點(diǎn)的位置坐標(biāo)(x' , y')，對 應(yīng)到輸入圖像中的位置坐標(biāo)(X，y)，如圖4所示，其中X，y都是實(shí)數(shù)。X，y作為預(yù)畸變圖 像中像素點(diǎn)(X'，1’ )校正系數(shù)存入FLASH存儲器中。設(shè)χ整數(shù)部分Xin，小數(shù)部分xde，y 整數(shù)部分yin，小數(shù)部分yde。位置坐標(biāo)整數(shù)部分(xin，yin)可以對應(yīng)到輸入圖像上一個(gè)像素 點(diǎn)，將(xin，yin)作為位置坐標(biāo)的基地址，(xfe，yj作為位置坐標(biāo)相對于基地址xin，yin的偏 移量。輸入圖像的幅度為800X600，因此Xin和yin都必須轉(zhuǎn)換成10位二進(jìn)制數(shù)，即2"1 = 1024 > 800, 210 = 1024 > 600。將Xde和yde分別轉(zhuǎn)換成6位二進(jìn)制數(shù)，則預(yù)畸變圖像每個(gè) 像素點(diǎn)的校正系數(shù)轉(zhuǎn)換成兩個(gè)16位二進(jìn)制數(shù)，將全部校正系數(shù)按照預(yù)畸變圖像像素點(diǎn)順 序排列成表。本實(shí)用新型實(shí)施實(shí)例采用FLASH作為非易失校正系數(shù)存儲器，并通過FPGA將 校正系數(shù)表寫入FLASH中。校正系數(shù)χ和校正系數(shù)y需要的存儲容量為800 X 600 X 16 X 2 =14. 65Mbit，因此用一個(gè)容量為16Mbit的FLASH來存儲校正系數(shù)χ和校正系數(shù)y。2.預(yù)畸變圖像灰度值計(jì)算方法如上文所述，預(yù)畸變圖像中像素點(diǎn)的位置坐標(biāo)(x' , y')，對應(yīng)到輸入圖像中的 位置坐標(biāo)(x，y)，x，y都是實(shí)數(shù)。如果將(x，y)看作輸入圖像上一個(gè)虛擬像素點(diǎn)，則虛擬像 素點(diǎn)(x，y)的灰度值I(x，y)利用雙線性插值算法，可由其周圍四個(gè)輸入圖像像素點(diǎn)Kxin, Yin) ‘ (Xin+1' JiJ ‘ (Xin' Yin+D (Xin+1，Yin+Dl 的灰度ft U (Xin，Yin) ‘ I (xin+1' yin) ‘ I (Xin' yin+l)，I(xin+l，yin+l)}得到，預(yù)畸變圖像中像素點(diǎn)(X'，y')的灰度值I(x'，y')與灰 度值I(x，y)相同，則I(X'，y')計(jì)算公式為:I (χ ‘ , y ‘ ) = I (x, y) = I (xin，yin) X (l_xde) X (l_yde)+1 (xin+l，
yin) XxdeX (i-Yde) (D+Kxin' yin+i) x “_xde) Xyde+Kxin+L yin+D XxdeXyde3.預(yù)畸變校正電路工作原理預(yù)畸變校正系統(tǒng)電路原理框圖如圖5所示。在系統(tǒng)上電后，F(xiàn)PGA中初始化模塊首 先對系統(tǒng)進(jìn)行初始化，主要做了兩方面工作(1).是將校正系數(shù)從數(shù)據(jù)讀取速度較慢的非易失存儲器讀到數(shù)據(jù)讀取速度較快 的隨機(jī)存儲器。(2).是將輸入幀存儲器和輸出幀存儲器的數(shù)據(jù)儲存單元全部清零。由于FLASH的讀取速度非常慢，達(dá)不到系統(tǒng)40MHz時(shí)鐘的讀取速度，因此上電以 后，初始化模塊首先將存在FLASH的預(yù)畸變系數(shù)讀到兩片SRAM中(校正系數(shù)χ存儲器和校 正系數(shù)y存儲器)，以便使預(yù)畸變處理達(dá)到實(shí)時(shí)性的要求。在上電初始化完成之后，系統(tǒng)進(jìn)入正常工作狀態(tài)，如圖5所示，F(xiàn)PGA內(nèi)的輸入數(shù) 據(jù)讀寫操作模塊(寫數(shù)據(jù)模塊1和讀數(shù)據(jù)模塊1)將視頻信號源輸出的數(shù)字視頻數(shù)據(jù)以幀 (場)為單元循環(huán)寫入到輸入幀存儲器A和輸入幀存儲器B中。當(dāng)寫數(shù)據(jù)模塊1對輸入幀 存儲器A進(jìn)行寫操作時(shí)，讀數(shù)據(jù)模塊1對輸入幀存儲器B進(jìn)行讀操作，當(dāng)寫數(shù)據(jù)模塊1對輸入幀存儲器B進(jìn)行寫操作時(shí)，讀數(shù)據(jù)模塊1對輸入幀存儲器A進(jìn)行讀操作，讀寫操作一幀 (場)進(jìn)行一次切換。讀數(shù)據(jù)模塊1將讀出的數(shù)據(jù)送入后續(xù)預(yù)畸變處理模塊，預(yù)畸變處理模 塊按照預(yù)畸變圖像像素點(diǎn)順序依次讀入校正系數(shù)，然后根據(jù)校正系數(shù)取出輸入圖像相應(yīng)的 四個(gè)像素點(diǎn)的灰度值，按照公式(1)計(jì)算出當(dāng)前像素點(diǎn)的灰度值。輸出數(shù)據(jù)讀寫操作模塊 (寫數(shù)據(jù)模塊2和讀數(shù)據(jù)模塊2)將預(yù)畸變處理模塊計(jì)算的像素灰度值按照以幀(場)為單 元循環(huán)寫入輸出幀存儲器A和輸出幀存儲器B，當(dāng)寫數(shù)據(jù)模塊2對輸出幀存儲器A進(jìn)行寫 操作時(shí)，讀數(shù)據(jù)模塊2對輸出幀寄存器B進(jìn)行讀操作，當(dāng)寫數(shù)據(jù)模塊2對輸出幀寄存器B進(jìn) 行寫操作時(shí)，讀數(shù)據(jù)模塊2對輸出幀存儲器A進(jìn)行讀操作，讀寫操作一幀(場)進(jìn)行一次切 換。讀數(shù)據(jù)模塊2將讀出的數(shù)據(jù)送入顯示器驅(qū)動模塊，顯示器驅(qū)動模塊產(chǎn)生顯示器正常工 作所需要行場同步信號，并把像素?cái)?shù)據(jù)傳送到顯示器上進(jìn)行顯示。 本實(shí)用新型的實(shí)施使光學(xué)系統(tǒng)畸變復(fù)雜的數(shù)字式頭盔顯示器不僅實(shí)現(xiàn)了對顯示 圖像畸變的實(shí)時(shí)校正，而且減小頭盔顯示器光學(xué)結(jié)構(gòu)體積、降低系統(tǒng)造價(jià)。
權(quán)利要求1.數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，包括有FPGA，其特征在于所述FPGA 中寫入雙線性數(shù)字圖像處理算法，F(xiàn)PGA內(nèi)部集成有兩兩配合的第一寫數(shù)據(jù)模塊、第一讀數(shù) 據(jù)模塊和第二寫數(shù)據(jù)模塊、第二讀數(shù)據(jù)模塊，其中第一寫數(shù)據(jù)模塊、第一讀數(shù)據(jù)模塊上共同 外接有兩個(gè)輸入幀存儲器，第二寫數(shù)據(jù)模塊、第二讀數(shù)據(jù)模塊上共同外接有兩個(gè)輸出幀存 儲器；所述FPGA內(nèi)部還集成有預(yù)畸變處理模塊、顯示器驅(qū)動模塊、上電初始化模塊，所述預(yù) 畸變處理模塊上外接有兩個(gè)校正系數(shù)存儲器，所述顯示器驅(qū)動模塊外接顯示器，所述上電 初始化模塊外接有另外的校正系數(shù)存儲器；所述第一寫數(shù)據(jù)模塊與FPGA外部的視頻信號 源通過數(shù)據(jù)線連接，第一讀數(shù)據(jù)模塊、第二寫數(shù)據(jù)模塊分別與所述預(yù)畸變處理模塊通訊，所 述第二讀數(shù)據(jù)模塊與所述顯示器驅(qū)動模塊通訊。
2.根據(jù)權(quán)利要求1所述的數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，其特征在于 所述FPGA還通過422轉(zhuǎn)換芯片與外部PC機(jī)通訊連接。
3.根據(jù)權(quán)利要求1所述的數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，其特征在于 所述校正系數(shù)存儲器包括非易失存存儲器和隨機(jī)存儲器，其中外接在預(yù)畸變處理模塊上的 兩個(gè)校正系數(shù)存儲器分別為隨機(jī)存儲器，外接在上電初始化模塊上的校正系數(shù)存儲器為非 易失存存儲器。
專利摘要本實(shí)用新型公開了一種數(shù)字式頭盔顯示器實(shí)時(shí)電子預(yù)畸變校正系統(tǒng)，包括有FPGA，F(xiàn)PGA中寫入雙線性數(shù)字圖像處理算法，F(xiàn)PGA內(nèi)部集成有第一寫數(shù)據(jù)模塊、第一讀數(shù)據(jù)模塊和第二寫數(shù)據(jù)模塊、第二讀數(shù)據(jù)模塊，預(yù)畸變處理模塊、顯示器驅(qū)動模塊、上電初始化模塊，F(xiàn)PGA還外接有輸入幀存儲器、輸出幀存儲器、校正系數(shù)存儲器。本實(shí)用新型使用雙線性插值數(shù)字圖像處理技術(shù)，對輸入的數(shù)字圖像信號進(jìn)行預(yù)畸變處理，不僅實(shí)現(xiàn)了對顯示圖像的實(shí)時(shí)校正，而且減小頭盔顯示器光學(xué)結(jié)構(gòu)體積、降低系統(tǒng)造價(jià)。
文檔編號G02B27/01GK201780766SQ20102028935
公開日2011年3月30日 申請日期2010年8月5日 優(yōu)先權(quán)日2010年8月5日
發(fā)明者張肖強(qiáng), 楊新軍, 董戴, 閆記香 申請人:中航華東光電有限公司