專利名稱：獨立于幾何校正的任意光滑曲面屏幕多投影儀顯示墻色彩校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機系統(tǒng)的圖像顯示處理，特別涉及多通道投影顯示墻系統(tǒng)的 色彩校正方法。
背景技術(shù)：
隨著商業(yè)、娛樂和科學研究等領(lǐng)域?qū)Τ笃聊桓叻直媛曙@示需求的不斷增加， 多投影顯示墻技術(shù)成為一個備受關(guān)注的研究熱點。由于不同投影儀之間的性能差 異以及同一臺投影儀內(nèi)部不同區(qū)域性能差異，多投影儀顯示墻即便在精確的幾何 對準的情況下也無法投影出視覺上一致性的完整畫面。故"色彩校正技術(shù)"在構(gòu) 建"多投影儀顯示墻"過程中扮演著至關(guān)重要的角色。
過去十幾年里，眾多學者對多投影儀拼接顯示的問題做了大量的研究。早期 的手工校正工作既繁瑣又不精確，已逐漸退出了多投影儀校正領(lǐng)域。光學過渡手 段通過在兩個投影圖像邊界引入過渡函數(shù)的方式達到圖像的光滑過渡；色彩域的 匹配手段通過匹配所有投影儀的色彩域來達到全局色彩校正，但理論和實踐都顯 示一些投影儀的色域是無法匹配的；由于投影儀投影圖像內(nèi)部也存在色彩和亮度 的變化， 一些算法通過"遷就"最差像素點的性質(zhì)的方法，對每個像素進行變化; 這種方法會造成投影圖像的對比度嚴重下降。為此，利用人眼視覺特性或圖像統(tǒng) 計特性的色彩校正方法相繼被提出，這些算法允許圖像色彩有一定差異，從而可 提高圖像的對比度和色彩飽和度。
然而，目前的色彩校正方法不能較好的適應任意光滑的曲面投影屏幕，并且 過分依賴幾何校正的結(jié)果。同時，由于基于線陣CCD相機測量的色彩校正方法需 要拍攝大量的圖像，其校正速度相對緩慢。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種獨立于幾何校正的快速投影儀圖像色彩校正方法， 并使該方法適應于帶有任意光滑曲面屏幕的多投影儀顯示墻系統(tǒng)。本發(fā)明的基本思路是設(shè)計一種細分網(wǎng)格變形技術(shù)來對準相機圖像和任意光 滑曲面屏幕上的投影儀圖像，在此基礎(chǔ)上提出一種快速、實用的獨立于幾何校正 結(jié)果的多投影儀顯示墻系統(tǒng)色彩校正方法，同時利用加權(quán)最小二乘曲線擬合思想 和GPU (Graphics Processing Unit圖形處理器)像素著色器(Fragment Shader) 加速色彩測量和校正計算的過程。
本發(fā)明的目的是這樣實現(xiàn)的 一種獨立于幾何校正的任意光滑曲面屏幕多投
影儀顯示墻色彩校正方法，其特征在于校正按照以下步驟進行先利用圖像對
準算法得到投影儀圖像到相機圖像間的對應關(guān)系，再拍攝四組投影儀圖像在RGB
(紅、綠、藍)三個通道中不同輸入下的投影圖像，然后利用圖像對準關(guān)系和拍 攝結(jié)果計算投影儀每個像素點的色彩信息，最后聯(lián)合所有計算結(jié)果得到投影儀公
共亮度響應區(qū)間，并通過GPU實時調(diào)整輸入達到色彩一致性校正效果。
所述先利用圖像對準算法得到投影儀圖像到相機圖像間的對應關(guān)系的建立方
法是
1) 將CCD相機對準投影儀，使投影圖像能完整的被相機拍攝到，并固定其位 置和朝向；
2) 投影特征圖像，并使用CCD相機拍攝得到相機圖像；
3) 利用特征識別的算法建立投影儀圖像到CCD相機圖像間的稀疏特4點對應 關(guān)系；
4) 利用細分網(wǎng)格加密算法將該稀疏對應點關(guān)系加密到稠密的像素級對應關(guān)系。
所述拍攝四組投影儀圖像在紅、綠、藍RGB三個通道中不同輸入下的投影圖 像的步驟是
1) 令投影儀投影R通道最大亮度圖像，并進行多次不同曝光時間的拍攝；
2) 令投影儀投影G通道最大亮度圖像，并進行多次不同曝光時間的拍攝；
3) 令投影儀投影B通道最大亮度圖像，并進行多次不同曝光時間的拍攝；
4) 令投影儀投影RGB通道最小亮度圖像，并進行多次不同曝光時間的拍攝；
5) 令投影儀投影帶有R通道不同亮度值的色塊圖像，并進行多次不同曝光時 間的拍攝；
6) 令投影儀投影帶有G通道不同亮度值的色塊圖像，并進行多次不同曝光時間的拍攝；
7) 令投影儀投影帶有B通道不同亮度值的色塊圖像，并進行多次不同曝光時 間的拍攝；
8) 令投影儀投影帶有色塊位置特征的圖像。
利用圖像對準關(guān)系和拍攝結(jié)果計算投影儀每個像素點的色彩信息的步驟是
1) 利用圖像對準結(jié)果從拍攝圖像中提取出投影儀有效區(qū)域的色彩信息，并使 用高動態(tài)范圍技術(shù)HDR計算投影儀每個像素點最大和最小亮度信息；
2) 利用特征點定位方式得到投影儀RGB三個通道在不同輸入下亮度離散點列， 并應用加權(quán)最小二乘曲線擬合方法得到投影儀RGB三個通道的亮度響應曲線；
3) 聯(lián)合所有投影儀的計算結(jié)果，得到公共亮度響應曲線，并由此計算每個投 影儀的亮度衰減模板、平移模板和線性化査表函數(shù)。
所述利用GPU的像素著色器達到對投影儀畫面逐像素的實時校正計算包括高 動態(tài)范圍成像HDR (High Dynamic Range Imaging)計算、亮度離散點列的讀取、 加權(quán)最小二乘曲線擬合和GPU實時校正方式。
所述利用細分網(wǎng)格加密算法將該稀疏對應點關(guān)系加密到稠密的像素級對應關(guān) 系，是將在矩形域上的任何一個網(wǎng)格都看成是由兩個正交方向上的曲線族構(gòu)成， 給出曲線構(gòu)造形式，在每個網(wǎng)格個點加入一個細分參數(shù)，將二維網(wǎng)格拓廣為三維 網(wǎng)格，沿網(wǎng)格的兩個方向分別構(gòu)造自適應4點插值細分曲線來加密網(wǎng)格，同時加 入面點來形成新的網(wǎng)格，保持網(wǎng)格方向的位移平衡和細分后的網(wǎng)格疏密分布特征； 對于邊界上的點采用鏡像的辦法將網(wǎng)格內(nèi)點映射到邊界以外，成為虛擬點，消除 邊界。
所述HDR計算步驟是
1) 讀取圖像分辨HDR技術(shù)數(shù)次曝光；讀取相機響應曲線CRF;讀取文件名
2) 申請權(quán)系數(shù)矩陣空間申請亮度矩陣空間；建立加權(quán)函數(shù)；
3) 針對所有的矩陣進行運算，得到運算結(jié)果。
所述亮度離散點列讀取的步驟是
1) 確定采樣數(shù)量；確定領(lǐng)域讀取半徑；
2) 根據(jù)采樣數(shù)量生成色塊特征圖像和RGB三個通道色塊亮度圖像；3) 投影色塊特征圖像，并使用自動曝光時間拍攝投影后的圖像；
4) 分別投影RGB三個通道的色塊特征圖像，并使用手動控制曝光時間拍攝四 種不同曝光時間的投影后圖像；
5) 利用變形網(wǎng)格恢復拍攝的變形圖像；
6) 讀取投影區(qū)域最大、最小亮度；
7) 利用HDR技術(shù)計算色塊亮度矩陣；
8) 合成各通道與空間位置無關(guān)亮度比率矩陣-
9) 利用連通集合的手段定位色塊中心
10) 讀取色塊亮度點列。
所述加權(quán)最小二乘曲線擬合是事先排除噪聲和測量誤差的影響，利用曲線 的光滑性做二階導數(shù)的平滑處理在最小二乘意義下給出投影儀的連讀響應曲線 函數(shù)，然后構(gòu)造一新的光滑函數(shù)逼近目標；
所述GPU實時校正實現(xiàn)方式是設(shè)待投影圖像存儲在紋理圖形處理器 GL—TEXTURE0里，RGB各通道的衰減模板存儲在紋理圖形處理器GLJTEXTURE1的RGB 通道里，平移模板存儲在紋理圖形處理器GLJTEXTURE1的A通道里，RGB各通道的 逆線性化查表存儲在紋理圖形處理器GLJTEXTURE2的RGB通道里，存儲在紋理 GL_TEXTURE3的RGB通道里，利用GPU的Fragment Shader實時的對圖像進行校正。
本發(fā)明具有明顯的優(yōu)點和有益效果
首先，可以脫離幾何校正的結(jié)果，利用自適應的圖像對準算法建立投影儀圖 像到CCD相機圖像間像素級的對準關(guān)系，從而可以測量投影儀每個像素點的亮度 信息，并適應任意光滑投影屏幕。該對準方法無需任何投影儀和相機以及屏幕曲 面參數(shù)標定，并具有簡潔、穩(wěn)定和自適應的特點。
其次，由于本發(fā)明采用加權(quán)最小二乘曲線擬合思想計算投影儀亮度響應曲線， 使對投影儀亮度響應曲線的測量數(shù)據(jù)量從傳統(tǒng)的256張HDR圖像降低到了僅需單 張HDR圖像。在程序?qū)崿F(xiàn)方面，本發(fā)明采用GPU實時校正像素著色器加速校正計 算的過程，可達到實時校正的計算速度。


圖l是本發(fā)明主流程圖2是基于細分網(wǎng)格加密的圖像對準過程示意圖。圖3是原始測量點列及其平滑后的曲線圖4是本發(fā)明在類柱面上的實驗結(jié)果；
圖5是本發(fā)明在類柱面和橢球面混合交界處的實驗結(jié)果。
具體實施例方式
按照本發(fā)明提出的方法，先利用圖像對準算法得到投影儀圖像到相機圖像間 的對應關(guān)系，再拍攝四組投影儀圖像在RGB三個通道中不同輸入下的投影圖像， 然后利用圖像對準關(guān)系和拍攝結(jié)果計算投影儀每個像素點的色彩信息，最后聯(lián)合 所有計算結(jié)果得到投影儀公共亮度響應區(qū)間，并通過GPU實時調(diào)整輸入達到色彩 一致性校正效果。
在圖像對準關(guān)系的建立中，采用了如前所述的步驟，基于細分網(wǎng)格加密的圖 像對準過程示意圖如圖2所示，其細分加密算法由如下描述
在矩形域上的任何一個網(wǎng)格都可以看成是由兩個正交方向上的曲線族構(gòu)成， 記為C/卜(pf。
pf,…p^('、0，l…m" ^={p^ ... p:"}(y = 0,l..."*);
其中C/f為第,條"線，^為第7條v線，p;"《,^f e^為網(wǎng)格格點。整個網(wǎng)
格記為MN A表示細分次數(shù)。在每個網(wǎng)格個點加入一個細分參數(shù)《，將二維網(wǎng)格
拓廣為三維網(wǎng)格^"P^H《Kf ^f'"'，沿"/v兩個方向分別構(gòu)造自適應4點插
值細分曲線來加密網(wǎng)格，邊點構(gòu)造模式如下
對于網(wǎng)格中第Z條W線，細分曲線遞歸地定^'={P^' …d,K 0，l…^):
<formula>formula see original document page 10</formula>
對于網(wǎng)格中第y條v線，細分曲線遞歸地定義^+'={^ …d.K7、0，l…"'):
<formula>formula see original document page 10</formula>與來形成新的網(wǎng)格.-
p"l —丄/"p"l j_ p"l + p"l ; pt+l 、—丄f pA+l _j_ pA+l ; p"l + p"l 、
r2,.+l,2_/+l — ^、r2Z+l，2/十r2,'2/+l卞r2i'+l,2_/+2 r2i'+2,2_/+l J 4 、r2/'2_/卞r2',2y+2卞12,'+2'2_/ l2/ + 2'2j.+2 /
由于本發(fā)明使用的是開網(wǎng)格結(jié)構(gòu)，故存在邊界上的點不能滿足細分模式，需 要特殊處理。為了保持一致的細分模式，并在邊界處同樣保持原網(wǎng)格的幾何形狀 和疏密分布特征，本發(fā)明采用鏡像的辦法將網(wǎng)格內(nèi)點映射到邊界以外，成為虛擬 點，消除邊界。
設(shè)網(wǎng)格中某條"曲線的左邊界三個頂點為P纟，Pim構(gòu)造虛擬頂點^，使其為
關(guān)于p,;,p,2中垂線的鏡像，則K《+dC《《"，)i(K-《)
(K《IL)
其中(*,*)表示向量內(nèi)積，||*||2表示向量的2范數(shù)，v線邊界的構(gòu)造式類似。
細分網(wǎng)格的自適應性由初始細分參數(shù)的確定來體現(xiàn)，設(shè)投影儀圖像到相機圖 像間的稀疏特征點對應關(guān)系中某初始網(wǎng)格為M、lp;C ，可根據(jù)網(wǎng)格自身的性質(zhì)
來確定自適應細分參數(shù)矩陣W^L、。，以便得到初始拓廣后的網(wǎng)格
設(shè)M-'為對初始網(wǎng)格Me進行間隔采樣后的粗網(wǎng)格，期望通過優(yōu)化的方式尋找 合適的細分參數(shù)矩陣OT1，使得由M-按照(1) (2)式加密一次的結(jié)果盡量的逼近 M0。
設(shè)S(to).f 二fp一(;^)丁7即為M-'在細分參數(shù)①下按照(1) (2)式加密 一次的結(jié)果，則可尋找最優(yōu)的(o作為細分參數(shù)矩陣o)-'
由于初始網(wǎng)格格點數(shù)本身并不多，間隔采樣后格點點數(shù)更少，故(3)式是一 個低維最佳平方逼近問題，可采用一般的數(shù)值優(yōu)化算法求解。
將(3)式求得的0T'與M-'結(jié)合得到拓廣后的粗網(wǎng)格^-'"PXx^',0丁—''"—'并
按照(1) (2)式加密一次即可得到拓廣后的初始網(wǎng)格i^。
在利用GPU的像素著色器達到對投影儀畫面逐像素的實時校正計算主要包括 了HDR計算、亮度離散點列的讀取、加權(quán)最小二乘曲線擬合和GPU實時校正方式。HDR計算算法的詳細描述如下
1、 讀取圖像分辨(MW)， HDR技術(shù)曝光次數(shù)K; 讀取相機響應曲線(CRF) :/_ ['] ! = 0,1...255 ;
讀取文件名向量力feW。加e[,'] l,2…K 。
2、 申請權(quán)系數(shù)矩陣空間
= )歸'"，Ws =(><)腳,，Wt = ,;)腳；申請亮度矩陣空間
從m' L, ， "ew' Lg=(《)Ml<w ， "ew L6 ; 恥w L-《)仏w ;
3、 /。r i=l to K
expose77切e = ln(d/ ase77;we),'
K/咖咖(/w。ge./ )-axpow77加e〗口 W,④L,; Ls -U,e.G)-exposer,.me]a Wg④L《；
4、 LjL,0(W,)-1 ; Lg=Ls (We)-'; L4 =1^@(\^)-'。
5、 1^0.299.exp(Lr)e0.587.exp(L》e0.114.exp(1^) ， $俞出L 。
上述計算過程中的所有針對矩陣的運算含義為對任意矩"KW,抑^", A—、(l/?！纺_，/(A), )]腳，A如("》歸，A B = (V~W， A④B,+6》歸。
亮度離散點列的讀取
1、 確定采樣數(shù)量K2 2S^^16;確定領(lǐng)域讀取半徑<5 ;
2、 根據(jù)K生成色塊特征圖像和RGB三個通道色塊亮度圖像；3、 投影色塊特征圖像，并使用自動曝光時間拍攝投影后的圖像；
4、 分別投影rgb三個通道的色塊特征圖像，并使用手動控制曝光時間拍攝10 中不同曝光時間的投影后圖像；
5、 利用變形網(wǎng)格恢復拍攝的變形圖像；
6、 讀取投影區(qū)域最大、最小亮度i;,， t， l， iz,， t;
7、 利用hdr技術(shù)計算色塊亮度矩陣i;_， ll， L";
8、 合成各通道與空間位置無關(guān)亮度比率矩陣《,=(l;-。,h)-';
s = (l'歸-14,。 ) (i/m - l二)-' ；《6 = (l'tm - ) (l'陽-l'mi )-';
9、 利用連通集合的手段定位色塊中心fe,^忙:；
10、 讀取色塊亮度點列"g"iSrA'r'一!^《W一g^)r。 加權(quán)最小二乘曲線擬合其原始測量點列及其平滑后的曲線如圖3所示。具體
做法是
設(shè)p—A-(;C,y,.)仁:為實際測量的離散點列，由于各種測量誤差和噪聲的影響，
p并不是一個光滑的點列。投影儀的亮度響應曲線是由投影儀內(nèi)部的電子線路和
dlp光敏特性所決定的， 一般情況下是一光滑的連續(xù)函數(shù)7 = /00。如果想通過測
量點列P來推測出/W，必須事先排除噪聲和測量誤差的影響，即需要對P做平滑 處理。本發(fā)明利用曲線的光滑性(二階導數(shù)能量最小)，在最小二乘意義下給出一 種離散點列擬合的方法。設(shè)^ = /(;0為投影儀的連讀響應曲線，我們構(gòu)造一新的光
滑函數(shù)j^gW逼近/W，逼近的標準為滿足如下目標函數(shù) min0 = |/W-g(x)||; + ;i||g"W||〗。
gpu實時校正實現(xiàn)方式是設(shè)待投影圖像存儲在紋理gl一textureo里，rgb各 通道的衰減模板存儲在紋理圖形處理器gl—texture1的rgb通道里，平移模板存 儲在紋理圖形處理器gl一texture1的a通道里,rgb各通道的逆線性化査表存儲在 紋理圖形處理器gl一texture2的rgb通道里，存儲在紋理圖形處理器gl一texture3 的rgb通道里。像素著色器偽代碼為
uniform sampler2DRect TO uniform sampler2DRect Tl uniform sa卿lerlDRect T2 uniform samplerlDRect T3 uniform float scale; void main()
vec2 TexCoord = gl_TexCoord
. st;
vec4 PInput = texture2D (T0， TexCoord);
vec4 mask = texture2D (Tl， TexCoord);
vec4 lookup;
vec4 lookuplnverse;
vec3 Poutput;
PInput =RGB2HSV(PInput);
PInput [1]= PInput [l]*scale; 〃提升色彩飽和度 PInput鄰V2RGB (PInput);
POutput.r = texturelD(T2， PInput. r). r;〃査表 POutput.g = texturelD(T2， PInput. g).g; P0卿ut.b = texturelD(T2， PInput. b).b; POutput = vec3 (mask, rgb)承P0utput+vec3 (mask-a， mask-a, mask, a);〃校
POutput.r = texturelD(T3， POutput. r). r;〃查表 POutput.g = texturelD(T3， POutput. g). g; POutput. b = texturelD(T3， POutput. b). b; gl—FragColor = vec4 (POutput, 1. 0);〃返回校正后顏色
在進行實際校正時，詳細操作步驟如下 一、測試圖像生成
〃 GL一TEXTUREO 〃 GL—TEXTURE1 〃 GL_TEXTURE2 〃 GL_TEXTURE3參見圖1。生成屏幕分辨率的特征圖像，該圖像背景為黑色，四周特征為白色 方塊，中間特征為白色圓塊。生成屏幕分辨的紅色(I^255; G=0; B=0)、綠色(1 =0; G=255; B=0)和藍色(R=0; G=0; B=255)三幅最大亮度圖像。生成屏幕分辨率的 紅色色塊圖像，該圖像背景為黑色，前景為B、 G值為O， R值從0至lj 255均勻遞 增的100個紅色方塊，并均分布在圖像中。生成屏幕分辨率的綠色色塊圖像，該 圖像背景為黑色，前景為R、 B值為O， G值從0到255均勻遞增的IOO個綠色方 塊，并均分布在圖像中。生成屏幕分辨率的藍色色塊圖像，該圖像背景為黑色， 前景為R、 G值為O， B值從0到255均勻遞增的100個藍色方塊，并均分布在圖
<免由生fi^展莫ZVi位泰66A+ii4主^T:Ra/免；左蹈/免扭縣^h座A^r雖^h'工舎t:祖縣
具有較大區(qū)分度的均勻分布的ioo個色塊。生成屏幕分辨率的全黑色圖像。
二、 圖像對準步驟
通過遠程網(wǎng)絡(luò)控制軟件VNC控制投影儀投影特征圖像，并通過CCD相機SDK 包控制相機在自動曝光時間下拍攝投影圖像。利用圖像分割、角點識別和重心提 取方法定位相機圖像中特征點對應位置，從而建立相機圖像到投影儀圖像間的稀 疏特征點對應關(guān)系。通過本發(fā)明給出的細分加密算法將該稀疏對應關(guān)系加密到像 素級，并保存計算結(jié)果。在后續(xù)的拍攝過程中，保證CCD相機的物理位置、朝向 和內(nèi)部參數(shù)中除曝光時間外的其他值不再變化。
三、 圖像拍攝
遠程控制投影儀投影紅色背景圖像，并控制相機在IO組遞增的曝光時間下拍 攝投影畫面，并利用像素級對應關(guān)系從相機圖像中提取出投影圖像所在區(qū)域。以 同樣的方式拍攝綠色、藍色的背景圖像以及紅色、藍色、綠色的色塊圖像和黑色 背景圖像?？刂仆队皟x投射色塊特征圖像，并在CCD相機自動曝光時間下拍攝其 投影圖像。
四、 投影儀亮度信息計算
利用在技術(shù)方案中提到的HDR計算方法計算拍攝的背景亮度和色塊亮度信息。 提取色塊特征圖像中色塊中心位置，并提取該位置上最大和最小亮度以及色塊亮 度信息，從而得到投影儀三個通道亮度響應函數(shù)的離散點列。利用加權(quán)最小二乘 曲線擬合出投影儀亮度響應曲線。在處理完所有投影儀亮度信息計算后，尋找全 部投影儀像素點最大亮度的最小值作為公共亮度響應區(qū)間的上限，尋找全部投影儀像素點最小亮度的最大值作為公共亮度響應區(qū)間的下限，并通過逐像素的計算 得到每個投影儀色彩校正的衰減、平移模板。 五、實時校正
將每個投影儀色彩校正的衰減、平移模板和線性化査表函數(shù)以紋理的形式載 入各投影儀控制計算機的顯存，啟動像素著色器將每一幀待投影的圖像進行逐像 素的色彩校正計算。
本發(fā)明已在到四川大學西區(qū)展廳柱面360度全景顯示墻系統(tǒng)和四川川大智勝 股份有限公司的帶穹頂?shù)臋C場虛擬搭臺仿真系統(tǒng)中進行了實施測試。由于加工技 術(shù)的限制和自身重力的影響，其投影屏幕只是近似柱面和橢球面，并存在一定程 度的變形。所有計算都使用單臺PC機(AMD Athlon 64 X2 Dual Core Processor 4400+; 2048M memory; NVIDIA GeForce 7800 GTX GPU)上進行計算，使用OLYMPUS SP350 Digital Camera以及相應的SDK開發(fā)包作為色彩測量設(shè)備，使用VNC軟件 實現(xiàn)遠程控制投影儀顯示畫面的功能。本例中，拍攝一幅最高精度的圖像需要15 秒左右，對每臺投影儀共拍攝72張，對每個投影儀的色彩校正全過程，包括拍攝、 亮度計算和校正計算，僅需要20分鐘左右的時間。
圖4為本發(fā)明在四川大學西區(qū)展廳柱面360度全景顯示墻系統(tǒng)中的應用實例， 其投影儀為EIKI系列投影儀。圖5為本發(fā)明在四川川大智勝股份有限公司的帶穹 頂?shù)臋C場虛擬搭臺仿真系統(tǒng)中的應用實例，其投影儀為Panasonic系列投影儀。
權(quán)利要求
1、一種獨立于幾何校正的任意光滑曲面屏幕多投影儀顯示墻色彩校正方法，其特征在于校正步驟先利用圖像對準算法得到投影儀圖像到相機圖像間的對應關(guān)系，再拍攝四組投影儀圖像在RGB三個通道中不同輸入下的投影圖像，然后利用圖像對準關(guān)系和拍攝結(jié)果計算投影儀每個像素點的色彩信息，最后聯(lián)合所有計算結(jié)果得到投影儀公共亮度響應區(qū)間，并通過GPU實時調(diào)整輸入達到色彩一致性校正效果。
2、 如權(quán)利要求1所述的校正方法，其特征在于所述先利用圖像對準算法得 到投影儀圖像到相機圖像間的對應關(guān)系的建立方法是1) 將CCD相機對準投影儀，使投影圖像能完整的被相機拍攝到，并固定其位置和朝向；2) 投影特征圖像，并使用CCD相機拍攝得到相機圖像；3) 利用特征識別的算法建立投影儀圖像到CCD相機圖像間的稀疏特征4點對 應關(guān)系；4) 利用細分網(wǎng)格加密算法將該稀疏對應點關(guān)系加密到稠密的像素級對應關(guān)系。
3、 如權(quán)利要求1所述的校正方法，其特征在于所述拍攝四組投影儀圖像在 RGB三個通道中不同輸入下的投影圖像的步驟是1) 令投影儀投影R通道最大亮度圖像，并進行多次不同曝光時間的拍攝；2) 令投影儀投影G通道最大亮度圖像，并進行多次不同曝光時間的拍攝；3) 令投影儀投影B通道最大亮度圖像，并進行多次不同曝光時間的拍攝；4) 令投影儀投影RGB通道最小亮度圖像，并進行多次不同曝光時間的拍攝；5) 令投影儀投影帶有R通道不同亮度值的色塊圖像，并進行多次不同曝光時 間的拍攝；6) 令投影儀投影帶有G通道不同亮度值的色塊圖像，并進行多次不同曝光時 間的拍攝；7) 令投影儀投影帶有B通道不同亮度值的色塊圖像，并進行多次不同曝光時 間的拍攝；8) 令投影儀投影帶有色塊位置特征的圖像，并進行一次拍攝。
4、 如權(quán)利要求1所述的校正方法，其特征在于利用圖像對準關(guān)系和拍攝結(jié)果計算投影儀每個像素點的色彩信息的步驟是-1) 利用圖像對準結(jié)果從拍攝圖像中提取出投影儀有效區(qū)域的色彩信息，并使 用高動態(tài)范圍技術(shù)HDR計算投影儀每個像素點最大和最小亮度信息；2) 利用特征點定位方式得到投影儀RGB三個通道在不同輸入下亮度離散點列， 并應用加權(quán)最小二乘曲線擬合方法得到投影儀RGB三個通道的亮度響應曲線；3) 聯(lián)合所有投影儀的計算結(jié)果，得到公共亮度響應曲線，并由此計算每個投 影儀的亮度衰減模板、平移模板和線性化查表函數(shù)。
5、 如權(quán)利要求1所述的校正方法，其特征在于所述利用GPU的像素著色器 達到對投影儀畫面逐像素的實時校正計算包括HDR計算、亮度離散點列的讀取、 加權(quán)最小二乘曲線擬合和GPU實時校正方式。
6、 如權(quán)利要求2所述的校正方法，其特征在于所述利用細分網(wǎng)格加密算法 將該稀疏對應點關(guān)系加密到稠密的像素級對應關(guān)系，是將在矩形域上的任何一個 網(wǎng)格都看成是由兩個正交方向上的曲線族構(gòu)成，給出曲線構(gòu)造形式，在每個網(wǎng)格 個點加入一個細分參數(shù)，將二維網(wǎng)格拓廣為三維網(wǎng)格，沿網(wǎng)格的兩個方向分別構(gòu) 造自適應4點插值細分曲線來加密網(wǎng)格，同時加入面點來形成新的網(wǎng)格，保持網(wǎng) 格兩個方向的位移平衡和細分后的網(wǎng)格疏密分布特征；對于邊界上的點采用鏡像 的辦法將網(wǎng)格內(nèi)點映射到邊界以外，成為虛擬點，消除邊界。
7、 如權(quán)利要求6所述的校正方法，其特征在于所述細分加密算法的具體描述在矩形域上的任何一個網(wǎng)格都可以看成是由兩個正交方向上的曲線族構(gòu)成，記為WHpf。 p，，…p^K'、o,i…W) Kf={pL ... p:"}(; = o,i..V)其中^為第/條"線，"為第y條v線，p;"x,),;4)"ei 2為網(wǎng)格格點，整個網(wǎng)格記為M4， /fc表示細分次數(shù)。在每個網(wǎng)格個點加入一個細分參數(shù)《，將二維網(wǎng)格拓廣為三維網(wǎng)格^=^+ # ^f'"'，沿""兩個方向分別構(gòu)造自適應4點插值細分曲線來加密網(wǎng)格，邊點構(gòu)造模式如下 對于網(wǎng)格中第f條W線，細分曲線遞歸地定義巧,"—Pi:。1 …P2:K!=0,1...W):<formula>formula see original document page 4</formula>對于網(wǎng)格中第7條v線，細分曲線遞歸地定義&'={！^ P。<formula>formula see original document page 4</formula>為了平衡"/v兩個方向的位移，并保持細分后的網(wǎng)格疏密分布特征，加入面點 與來形成新的網(wǎng)格<formula>formula see original document page 4</formula>所述對于邊界上的點采用鏡像的辦法將網(wǎng)格內(nèi)點映射到邊界以外，成為虛擬點，消除邊界是設(shè)網(wǎng)格中某條"曲線的左邊界三個頂點為I^《,P^構(gòu)造虛擬頂 點《，使其為K關(guān)于p,;,p,2中垂線的鏡像，則P,。 = K + (P,〖—K)+2K^—52)1(^-《)其中(*，*)表示向量內(nèi)積，||*||2表示向量的2范數(shù)，v線邊界的構(gòu)造式類似； 細分網(wǎng)格的自適應性由初始細分參數(shù)的確定來體現(xiàn)，設(shè)投影儀圖像到相機圖像間的稀疏特征點對應關(guān)系中某初始網(wǎng)格為W"P〖^ ，根據(jù)網(wǎng)格自身的性質(zhì)來確定自適應細分參數(shù)矩陣《)°=<，得到初始拓廣后的網(wǎng)格設(shè)M-1為對初始網(wǎng)格M°進行間隔采樣后的粗網(wǎng)格，期望通過優(yōu)化的方式尋找 合適的細分參數(shù)矩陣oTN使得由M-'按照(1) (2)式加密一次的結(jié)果盡量的逼近設(shè)S(0)):M-'二(p一(;cX)丁。'"。即為M-'在細分參數(shù)o下按照(1) (2)式加密一次的結(jié)果，則可尋找最優(yōu)的o作為細分參數(shù)矩陣o-'(3)對(3)式采用數(shù)值優(yōu)化算法求解to-1 =argminZS|K-P; m ''=1 )=1將(3)式求得的co-1與AT1結(jié)合得到拓廣后的粗網(wǎng)格1 = P卩1 =并按照(l) (2)式加密一次即可得到拓廣后的初始網(wǎng)格&°。
8、如權(quán)利要求5所述的校正方法，其特征在于 所述HDR計算步驟是1) 讀取圖像分辨HDR技術(shù)數(shù)次曝光；讀取相機響應曲線CRF;讀取文件名2) 申請權(quán)系數(shù)矩陣空間申請亮度矩陣空間；建立加權(quán)函數(shù)；3) 針對所有的矩陣進行運算，得到運算結(jié)果；所述亮度離散點列讀取的步驟是1) 確定采樣數(shù)量；確定領(lǐng)域讀取半徑；2) 根據(jù)采樣數(shù)量生成色塊特征圖像和RGB三個通道色塊亮度圖像；3) 投影色塊特征圖像，并使用自動曝光時間拍攝投影后的圖像；4) 分別投影RGB三個通道的色塊特征圖像，并使用手動控制曝光時間拍攝四 種不同曝光時間的投影后圖像；5) 利用變形網(wǎng)格恢復拍攝的變形圖像；6) 讀取投影區(qū)域最大、最小亮度；7) 利用HDR技術(shù)計算色塊亮度矩陣；8) 合成各通道與空間位置無關(guān)亮度比率矩陣9) 利用連通集合的手段定位色塊中心10) 讀取色塊亮度點列；所述加權(quán)最小二乘曲線擬合是事先排除噪聲和測量誤差的影響，利用曲線的 光滑性做二階導數(shù)的平滑處理在最小二乘意義下給出投影儀的連讀響應曲線函 數(shù)，然后構(gòu)造一新的光滑函數(shù)逼近目標；所述GPU實時校正實現(xiàn)方式是設(shè)待投影圖像存儲在紋理圖像處理器GL一TEXTUREO里，RGB各通道的衰減模板存儲在紋理圖像處理器GL—TEXTUREl的RGB 通道里，平移模板存儲在紋理圖像處理器GL一TEXTURE1的A通道里，RGB各通道的 逆線性化查表存儲在紋理圖像處理器GL一TEXTURE2的RGB通道里，存儲在紋理圖 像處理器GL—TEXTURE3的RGB通道里，利用GPU的Fragment Shader實時的對圖 像進行校正。
全文摘要
獨立于幾何校正的任意光滑曲面屏幕多投影儀顯示墻色彩校正方法屬計算機系統(tǒng)的圖像顯示處理。步驟是先利用圖像對準算法得到投影儀圖像到相機圖像間的對應關(guān)系；再拍攝四組投影儀圖像在RGB三個通道中不同輸入下的投影圖像；然后利用圖像對準關(guān)系和拍攝結(jié)果計算投影儀每個像素點的色彩信息；最后聯(lián)合所有計算結(jié)果得到投影儀公共亮度響應區(qū)間，通過GPU實時調(diào)整輸入達到色彩一致性校正效果。本發(fā)明脫離幾何校正結(jié)果，利用自適應的圖像對準算法建立投影儀圖像到CCD相機圖像間像素級的對準關(guān)系，可測量投影儀每個像素點的亮度信息，適應任意光滑投影屏幕。對準算法無需任何投影儀和相機以及屏幕曲面參數(shù)標定，具有簡潔、穩(wěn)定、自適應和速度快的特點。
文檔編號H04N9/64GK101621701SQ200910058009
公開日2010年1月6日 申請日期2009年1月4日 優(yōu)先權(quán)日2009年1月4日
發(fā)明者軍 張, 李曉峰, 王邦平 申請人:四川川大智勝軟件股份有限公司