專利名稱：自動多投影儀非線性幾何校正與邊緣融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多通道投影屏幕的安裝與投影圖像的校正與融合方法，具體為 一種用于虛擬場景仿真、虛擬制造、航天與航海虛擬環(huán)境仿真中的多通道投影 屏幕的安裝與投影圖像的校正與融合方法。
背景技術(shù)：
隨著虛擬仿真技術(shù)的發(fā)展，人們不論是對虛擬仿真場景的真實感，還是對虛 擬仿真的沉浸感都提出了新的要求，已經(jīng)開始從單通道視景轉(zhuǎn)到多通道視景，
特別是水平視角范圍已從幾十度擴(kuò)大到360度了，基于多通道的投影系統(tǒng)己經(jīng) 成了虛擬仿真系統(tǒng)中主要顯示環(huán)境。在以下一些領(lǐng)域，多通道投影系統(tǒng)己經(jīng)成 為虛擬仿真系統(tǒng)的關(guān)鍵部分-
虛擬場景展示虛擬城市建設(shè)與規(guī)劃、博物館中文物的虛擬展示等都需要
對場景和物體進(jìn)行建模，并運用高性能計算機生成圖形，用投影儀展示在人們 面前，為了讓人有身臨其境的感覺，必須使用多通道投影儀建設(shè)投影環(huán)境，滿 足人的視角范圍。
虛擬制造目前，不論是汽車、飛機、船舶，還是其他機械裝置的生產(chǎn)都 少不了模擬的虛擬仿真和虛擬測試，這些設(shè)備的制造都需要高分辨率，寬視角 范圍的仿真環(huán)境。
航天、航海仿真航天與航海虛擬仿真成為主要的培訓(xùn)與決策手段，多通 道投影視景系統(tǒng)已經(jīng)是該仿真系統(tǒng)一個必不可少的部分。
當(dāng)然還有許多領(lǐng)域，例如科學(xué)數(shù)據(jù)可視化，都需要利用多臺投影儀拼接在 一起，形成高分辨率和寬視角范圍的弧形投影系統(tǒng)，顯示一個邏輯上一致的全 景圖像，這種解決方案有兩個關(guān)鍵技術(shù)問題需要解決其一，透視投影圖像投 影在屏幕上，圖像會發(fā)生幾何變形，因此必須對投影圖像進(jìn)行幾何變形校正； 其二，多個投影儀投影圖像拼接在一起，圖像之間要么有一個縫隙，要么有一 條兩倍亮度的重疊區(qū)，這兩種情況都會嚴(yán)重影響顯示效果，因此必須把拼縫處 的圖像融合，使得重疊部分拼縫盡可能地不可見。
以往對于圖像幾何校正和拼接處圖像融合解決方法是購買昂貴的投影儀或 者圖像融合機(如3D Perc印tion)。對于前者，這些投影儀通常有內(nèi)嵌光學(xué)融 合鏡頭和幾何校正芯片，后者即把多臺投影儀輸出的視頻圖像輸入融合機，通 過融合機幾何校正和融合后分別輸出到投影儀。
這些方法不僅昂貴，而且維護(hù)相當(dāng)困難，都必須手動調(diào)節(jié)，只有專業(yè)人員才 能使用。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種自動多投影儀非線性幾何校正與邊 緣融合方法，使整個系統(tǒng)精度高、價格便宜、維護(hù)方便、而又無需手動調(diào)節(jié)。
為了解決上述技術(shù)問題，本發(fā)明所提供的自動多投影儀非線性幾何校正與融 合方法，其特征包括以下步驟
1) 利用裝有圖形管程的PC機或圖形工作站組成一個實時分布式仿真系統(tǒng)， 實時分布式仿真系統(tǒng)的每個節(jié)點驅(qū)動對應(yīng)于該通道的投影儀；
2) 使用若干個投影儀建立投影系統(tǒng)，使得分布式仿真系統(tǒng)的測試圖像通過 投影儀輸送到屏幕上，形成投影圖像；
3) 用匹配方法對投影圖像進(jìn)行自動非線性幾何校正，使得整個投影屏幕上的投影圖像組成一個邏輯上統(tǒng)一的全景圖像；
4) 利用融合函數(shù)對投影圖像拼接處的圖像進(jìn)行軟件邊緣融合；
5) 通過自動獲取投影圖像色彩值，實現(xiàn)顏色動態(tài)統(tǒng)一功能，確保多通道投 影圖像顏色的一致性。
本發(fā)明中所述的圖形管程是指具有幾何與紋理處理功能的處理器的圖形顯 卡，每個計算機可以有n個圖形卡(即n個圖形管程)，共用一個操作系統(tǒng)。
本發(fā)明中所述的實時分布式仿真系統(tǒng)中的每個圖形管程獨立運行程序，通 過設(shè)置每個圖形管程的包括但不限于通道水平視角、垂直視角、投影方式、 視點位置基本參數(shù)，并利用廣播式消息傳送方式實現(xiàn)幀的同步和數(shù)據(jù)的協(xié)調(diào)性， 保持產(chǎn)生的圖像在邏輯上形成完整的全景圖像。
本發(fā)明中所述的投影系統(tǒng)是根據(jù)系統(tǒng)需求，利用軟幕或硬幕制作所需要的 投影屏幕，并根據(jù)預(yù)先設(shè)計好的光路圖將所有投影儀安裝在規(guī)定的位置，然后 每臺投影儀連接對應(yīng)的圖形管程，將圖像投射在投影屏幕上。
本發(fā)明中所述的自動非線性幾何校正是指首先利用經(jīng)緯儀和激光陣列以 點陣的方式對投影屏幕進(jìn)行空間定位；然后通過每個計算機的每個圖形管程輸 出與投影屏幕上空間激光點陣等間隔的標(biāo)準(zhǔn)網(wǎng)格；最后通過智能相機采集投影 圖像并輸入計算機，通過投影屏幕上的空間激光點陣與標(biāo)準(zhǔn)網(wǎng)格進(jìn)行自動匹配， 從而得到投影儀圖像與投影屏幕的對應(yīng)關(guān)系，從而利用該對應(yīng)關(guān)系實現(xiàn)對輸出 的圖像進(jìn)行非線性幾何校正。
本發(fā)明中所述的顏色動態(tài)統(tǒng)一功能是通過色溫儀采集各通道的色彩值，并 反饋到計算機，然后自動對幀緩沖區(qū)中的圖像的紅(R)、綠(G)、藍(lán)(B)通道分別 調(diào)節(jié)，實現(xiàn)多通道顏色的統(tǒng)一。
本發(fā)明可以為弧形屏幕、環(huán)形屏幕、球形屏幕等多種屏幕，提供投影圖像的
非線性幾何校正與邊緣融合。通過計算機自動匹配法，解決了非線性變換時， 投影變換矩陣無法求解的問題，并極大的提高了幾何校正的精度。通過色溫儀 采集數(shù)據(jù)，實現(xiàn)顏色動態(tài)統(tǒng)一功能，消除了人的主觀錯覺。幾何位置與顏色的 自動匹配，較低了安裝投影儀的機械要求。


圖1為本發(fā)明分布式仿真系統(tǒng)結(jié)構(gòu)圖。
圖2為本發(fā)明弧形幕或環(huán)幕示意圖。 圖3為本發(fā)明計算機生成的標(biāo)準(zhǔn)網(wǎng)格圖。 圖4為本發(fā)明的激光點陣圖。 圖5為本發(fā)明變形網(wǎng)格圖像圖。
具體實施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實施例作進(jìn)一步系統(tǒng) 調(diào)試過程的詳細(xì)描述。
1. 建立實時分布式仿真系統(tǒng)
如附圖1所示，系統(tǒng)用若干個計算機1系列組成一個分布式網(wǎng)絡(luò)，設(shè)置每個 計算機l的圖形通道參數(shù)，如通道在世界坐標(biāo)系內(nèi)的位置，視錐體的投影方式， 水平視角，垂直視角等，所有計算機l輸出邏輯上完整的投影圖像信號。
2. 建立投影系統(tǒng)
建立之前，根據(jù)場地要求和投影儀2的鏡頭、投射比、分辨率等繪制光路 圖，有了光路圖，就可以將投影儀2安裝在對應(yīng)位置。
如附圖2所示，投影系統(tǒng)由多個投影儀2組成的投影儀系列與投影屏幕3組成，每個投影儀2接收相應(yīng)計算機1的圖像信號將對應(yīng)通道的圖像投射到投 影屏幕3上，使得分布式仿真系統(tǒng)的測試圖像通過投影儀輸送到屏幕上，形成 投影圖像；投影屏幕3是弧形幕或環(huán)形屏幕，投影儀2排布在與弧形屏幕同心 圓上，并從上向下投射。 3.自動非線性幾何校正
附圖2是360度環(huán)形柱幕投影系統(tǒng)，從圖2可以看出，等同網(wǎng)格在投影屏幕 3上是畸形顯示，因此必須進(jìn)行幾何校正，下面是該操作算法步驟
(1) 用經(jīng)緯儀在投影屏幕3上定義等間隔點陣，并用激光點陣標(biāo)記。
(2) 用計算機1的畫圖設(shè)備繪制模板生成與步驟(1)中相同間隔的網(wǎng)格， 見附圖3，輸出到弧形屏幕上，見附圖4。
(3) 固定智能相機，用智能相機獲取投影屏幕3上的圖像，將攝取的圖像輸 入計算機1 。
(4) 已知激光點陣在3D空間的位置^ y z]，提取投影屏幕3上激光點陣 在相機圖像空間對應(yīng)的2D坐標(biāo)["v]，利用透視投影方程計算得到投影屏幕3 到相機的透視投影矩陣H"。
(5) 已知計算機l的幀緩存中的標(biāo)準(zhǔn)網(wǎng)格點陣的2D坐標(biāo)["'v']，投影在投 影屏幕3后，相機采集的網(wǎng)格圖像通過提取后得到相機圖像空間對應(yīng)的2D坐標(biāo)。利用透視投影方程計算得到透視投影矩陣H"。
(6) 由步驟(4)和步驟(5)可以計算得到投影空間到屏幕空間的透視投影矩陣~。
(7)利用由步驟(6)得出的變換矩陣H"，對幀緩存中的圖像的每個像素 進(jìn)行變換，得到目標(biāo)位置。利用曲面算法，將幀緩存中圖像的變形轉(zhuǎn)換為曲面 變形，并由一組控制點表示。如附圖5。
(8)利用控制點網(wǎng)格對幀緩存中的圖像實時進(jìn)行曲面映射，并輸出到投影 幕上，得到幾何校正后正確圖像。
關(guān)于步驟(4)和步驟(5)中涉及的H"的定義如下
假設(shè)投影屏幕3與智能相機之間是透視投影關(guān)系，那么可以利用透視投影 方程得到投影幕3上3D特征點[x ^ z]到相機圖像空間對應(yīng)2D坐標(biāo)["v]的3 X4的透視投影矩陣^"。即令"e["w ^ w]T表示相機圖像空間對應(yīng)點， m = ^ z ^表示投影屏幕3空間對應(yīng)點，則可以得到透視投影方程
"OC i^燃
其中w為尺度因子。
假設(shè)投影儀2與相機之間是透視投影關(guān)系，那么可以利用透視投影方程得
到投影儀2上2D圖像特征點["'"到相機圖像空間對應(yīng)2D坐標(biāo)["W的3X3的
透視投影矩陣1^。即令"'e["' v' ^表示投影儀2圖像空間對應(yīng)點，
"咖，w]T表示相機圖像空間對應(yīng)點，則可以得到投影儀2到相機的透視投
影方程
其中w為尺度因子。
假設(shè)給定一個4X3的透視投影矩陣1^，那么投影儀2與投影屏幕3之間 的透視投影方程為
柳oc //^/|'
4.自動投影圖像邊緣融合
投影儀2拼接處，圖像存在缺陷，本發(fā)明通過邊緣融合算法消除融合帶，融
合是將一個圖像中位于重疊區(qū)中的每個像素都乘以某個值。它的算法步驟如下 (1)疊加相鄰兩投影儀圖像，計算疊加寬度d (以像素為單位)。 (2) 選擇融合函數(shù)f(x)，融合函數(shù)值域為(O， 1)， x表示像素列的位置，介 于0到1之間，例如融合帶的右側(cè)圖像第一列x二O，最后一列Fl，第 n列(0〈=n〈=d) x=n/d。
(3) 將重疊區(qū)的每個像素都乘以融合函數(shù)，例如右側(cè)圖像中的像素乘以 f(x),第一列中的像素被乘以0 (沒有影響)，最后一列(混合區(qū)右邊 緣)上的像素則被乘以1，第n列中的像素被乘以f (n/d)。左側(cè)圖像乘 以l-f(x)。
(4) 采用伽碼的倒數(shù)次冪對輸出亮度作伽碼校正。 5.顏色動態(tài)統(tǒng)一功能
將每個投影儀2投射相同的顏色模板，如紅色、綠色、藍(lán)色、白色。然后利 用色溫儀采集色彩值反饋到計算機l，計算機1根據(jù)色彩值分別對紅、綠、藍(lán)三 個通道對幀緩沖區(qū)的顏色進(jìn)行校正，確保顏色的統(tǒng)一性。
以上顯示和描述了本發(fā)明的基本原理、主要特征和本發(fā)明的優(yōu)點。本行業(yè) 的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實施例的限制，上述實施例和說明書中 描述的只是說明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下本發(fā)明還 會有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā) 明要求保護(hù)范圍由所附的權(quán)利要求書及其等同物界定。
權(quán)利要求
1.自動多投影儀非線性幾何校正與圖像邊緣融合方法，其特征在于，包括以下步驟1)利用裝有圖形管程的PC機或圖形工作站組成一個實時分布式仿真系統(tǒng)，實時分布式仿真系統(tǒng)的每個節(jié)點驅(qū)動對應(yīng)于該通道的投影儀；2)使用若干個投影儀建立投影系統(tǒng)，使得實時分布式仿真系統(tǒng)的測試圖像通過投影儀輸送到屏幕上，形成投影圖像；3)用匹配方法對投影圖像進(jìn)行自動非線性幾何校正，使得整個投影屏幕上的投影圖像組成一個邏輯上統(tǒng)一的全景圖像；4)利用融合函數(shù)對投影圖像拼接處的圖像進(jìn)行軟件邊緣融合；5)通過自動獲取投影圖像色彩值，實現(xiàn)顏色動態(tài)統(tǒng)一功能，確保多通道投影圖像顏色的一致性。
2. 根據(jù)權(quán)利要求l所述的自動多投影儀非線性幾何校正與融合方法，其特 征在于，所述的圖形管程是指具有幾何與紋理處理功能的處理器的圖形顯卡， 每個計算機可以有n個圖形卡，共用一個操作系統(tǒng)。
3. 根據(jù)權(quán)利要求l所述的自動多投影儀非線性幾何校正與融合方法，其特 征在于，所述的實時分布式仿真系統(tǒng)中的每個圖形管程獨立運行程序，通過設(shè) 置每個圖形管程的包括但不限于通道水平視角、垂直視角、投影方式、視點 位置基本參數(shù)，并利用廣播式消息傳送方式實現(xiàn)幀的同步和數(shù)據(jù)的協(xié)調(diào)性，保 持產(chǎn)生的圖像在邏輯上形成完整的全景圖像。
4. 根據(jù)權(quán)利要求1所述的自動多投影儀非線性幾何校正與融合方法，其特 征在于，所述的投影系統(tǒng)是根據(jù)系統(tǒng)需求，利用軟幕或硬幕制作所需要的投影 屏幕，并根據(jù)預(yù)先設(shè)計好的光路圖將所有投影儀安裝在規(guī)定的位置，然后每臺 投影儀連接對應(yīng)的圖形管程，將圖像投射在投影屏幕上。
5.根據(jù)權(quán)利要求l所述的自動多投影儀非線性幾何校正與融合方法，其特征在于所述的自動非線性幾何校正是首先利用經(jīng)緯儀和激光陣列以點陣的方 式對投影屏幕進(jìn)行空間定位；然后通過每個計算機的每個圖形管程輸出與投影 屏幕上空間激光點陣等間隔的標(biāo)準(zhǔn)網(wǎng)格；最后通過智能相機采集投影圖像并輸 入計算機，通過投影屏幕上的空間激光點陣與標(biāo)準(zhǔn)網(wǎng)格進(jìn)行自動匹配，從而得 到投影儀圖像與投影屏幕的對應(yīng)關(guān)系，從而利用該對應(yīng)關(guān)系實現(xiàn)對輸出的圖像 進(jìn)行非線性幾何校正。
6、根據(jù)權(quán)利要求1所述的自動多投影儀非線性幾何校正與融合方法，其特 征在于，所述的利用融合函數(shù)對投影圖像拼接處的圖像進(jìn)行軟件邊緣融合，是 將一個圖像中位于重疊區(qū)中的每個像素都乘以某個值，具體算法步驟如下(1) 疊加相鄰兩投影儀圖像，以像素為單位計算疊加寬度d;(2) 選擇融合函數(shù)f(x)，融合函數(shù)值域為(O， 1)， x表示像素列的位置， 介于0到1之間；(3) 將重疊區(qū)的每個像素都乘以融合函數(shù)；(4) 采用伽碼的倒數(shù)次冪對輸出亮度作伽碼校正。
7.根據(jù)權(quán)利要求l所述的自動多投影儀非線性幾何校正與融合方法，其特 征在于所述的顏色動態(tài)統(tǒng)一功能是通過色溫儀采集各通道的色彩值，并反饋到 計算機，然后自動對幀緩沖區(qū)中的圖像的紅、綠、藍(lán)通道分別調(diào)節(jié)，實現(xiàn)多通 道顏色的統(tǒng)一。
全文摘要
本發(fā)明公開了自動多投影儀非線性幾何校正與圖像邊緣融合方法，由PC機或圖形工作站組成一個實時的分布式仿真系統(tǒng)，產(chǎn)生多通道寬廣視角范圍的虛擬場景，利用圖像匹配法對多通道投影圖像進(jìn)行精確的非線性幾何校正，并自動對圖像進(jìn)行邊緣融合與顏色校正，形成邏輯上統(tǒng)一無縫的多通道投影圖像。本發(fā)明方法用經(jīng)緯儀和激光點陣對屏幕空間的三維定位，并通過對空間位置與標(biāo)準(zhǔn)投影圖像的自動匹配方法實現(xiàn)投影圖像的自動非線性幾何校正，極大的通高了幾何校正的精度與效率；另外基于色溫儀進(jìn)行自動顏色統(tǒng)一功能，消除了人眼的主觀感覺和環(huán)境對顏色統(tǒng)一的影響，進(jìn)一步提高了顏色一致性調(diào)整的精度。
文檔編號G03B21/00GK101344707SQ20081003244
公開日2009年1月14日 申請日期2008年1月9日 優(yōu)先權(quán)日2008年1月9日
發(fā)明者莊新慶, 施朝健, 李少偉, 王勝正, 石永輝 申請人:上海海事大學(xué)