專利名稱：基于sift特征與grnn網(wǎng)絡(luò)的立體視頻顏色校正方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體地，涉及基于尺度不變特征轉(zhuǎn)換 (Scale-invariant feature transform，簡(jiǎn)稱SIFT)特征與廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN，簡(jiǎn)稱 Generalized Regression Neural Network)的兄體視頻顏色校正萬(wàn)法。
背景技術(shù)：
在圖像處理技術(shù)領(lǐng)域，在進(jìn)行立體視頻采集吋，各個(gè)視點(diǎn)的攝像機(jī)經(jīng)常會(huì)出現(xiàn)局部或者整體的顏色差異，造成這種顏色差異的原因包括多種。通常我們假設(shè)物體表面符合漫反射條件，即物體表面的反射光的色度不隨三維空間視點(diǎn)的改變而變化，但實(shí)際情況并不完全符合漫反射條件。因此伴隨著各個(gè)視點(diǎn)間接受同樣的光照條件吋，也會(huì)產(chǎn)生干擾。另外攝像機(jī)參數(shù)設(shè)置、CCD或CMOS感光器件的噪音、相機(jī)快門速度和曝光時(shí)間抖動(dòng)也都會(huì)導(dǎo)致所得到各個(gè)視點(diǎn)視頻的顏色產(chǎn)生差異。因此由立體視頻顏色的多個(gè)攝像機(jī)拍攝到的各個(gè)視點(diǎn)視頻會(huì)出局部或整體的顏色差異，當(dāng)人們直接觀看這樣的立體視頻或立體圖像時(shí)，大腦在自動(dòng)拼接這些圖像時(shí)就會(huì)產(chǎn)生不舒適感。因此這些差異可能會(huì)影響到觀看效果，并導(dǎo)致場(chǎng)景深度信息恢復(fù)的錯(cuò)誤，從而影響到立體視頻的進(jìn)ー步處理。目前，顏色校正的算法較多，但大多數(shù)是針對(duì)單目圖像的顏色校正，也有ー些算法可以應(yīng)用于立體視頻圖像顏色校正，如文獻(xiàn)[1]-文獻(xiàn)[5]XuW.，Mulligan J. . Performance Evaluation of Color Correction Approaches for Automatic Multi-view Image and Video Stitching. CVPR^ 10， 2010， pp. 263 - 270 (Xu W. , Mulligan J..自動(dòng)多視點(diǎn)圖像和視頻拼接中顏色校正方法性能評(píng)價(jià)，計(jì)算機(jī)視覺與模式識(shí)別國(guó)際會(huì)議，2010年，頁(yè)碼263 - 270)\oung-Changしnang,Reid J. P. RGB calioration for color image analysis in machine vision. Image Processing, Oct 1996,5 (10):1414-1422 (Young-Chang Chang, Reid J. F.機(jī)器視覺中用于彩色圖像分析的RGB標(biāo)定，圖像處理雜志，1996年10月，頁(yè)碼 1414-1422)PorikliF, Divakaran Α. , Multi-camera calibration, object tracking and query generation. IEEE ICME' 03. 1:653-656 (Porikli F,Divakaran A.多相機(jī)標(biāo)定及對(duì)象跟蹤和查詢生成，多媒體國(guó)際會(huì)議及展覽，2003年，頁(yè)碼653-656)Unalb. , Yezzi A. , Soatto b. , blabaugh G. . A variational approach to problems in calibration oi multiple cameras. Pattern Analysis and Machine Intelligence, 2007，29(8):1322—1338 (Unal G.，Yezzi Α.，Soatto S.，Slabaugh G..多相機(jī)標(biāo)定問題中的可變方法，模式分析與機(jī)器智能雜志，2007年，頁(yè)碼1322-1338)姜浩，張蕾.一種基于直方圖匹配的立體視頻顏色校正算法.信息通信技木，2009 年05期
文獻(xiàn)[1]對(duì)這些目前存在的顏色校正算法進(jìn)行總結(jié)和分類，并對(duì)各類算法的局限性進(jìn)行評(píng)價(jià)。目前的顏色校正方法整體上可以分為基于模型參數(shù)(Model-based parametricapproaches)(Modeless non-parametric approaches) S^^Klh^yio基于模型方法可以包括全局模型和局部模型。全局模型方法假定在目標(biāo)圖像和校正圖像之間存在的顏色關(guān)系可以用ー個(gè)顏色校正矩陣或者函數(shù)來(lái)表示，利用這個(gè)校正矩陣與校正圖像進(jìn)行卷積就完成顏色校正的過程。這類算法的主要工作就是如何求取顏色校正矩陣或函數(shù)，這個(gè)參數(shù)的求取方法有很多，其中文獻(xiàn)[2]使用標(biāo)準(zhǔn)顏色板對(duì)攝像機(jī)系統(tǒng)進(jìn)行標(biāo)定，缺點(diǎn)是設(shè)置繁瑣，精確度易會(huì)受采集環(huán)境的干擾；文獻(xiàn)[3]通過計(jì)算兩幅圖像各個(gè)顏色通道之間的距離，構(gòu)造一個(gè)相關(guān)矩陣搜索最小距離路徑來(lái)找到校正函數(shù)，但校正函數(shù)不能保證完全正確；文獻(xiàn)[4]則使用一個(gè)已知形狀的顏色立方體，但其對(duì)設(shè)備和環(huán)境依賴性過強(qiáng)；局部模型算法需要求出兩幅圖像間的粗糙映射關(guān)系，然后利用各種分類方法對(duì)目標(biāo)圖像和校正圖像進(jìn)行分割，對(duì)分割的區(qū)域進(jìn)行單獨(dú)分析，再進(jìn)行不同的處理，會(huì)涉及到圖像分割算法。非參數(shù)方法假定沒有特定的參數(shù)函數(shù)能夠?qū)崿F(xiàn)顏色映射。通常使用的最多的方法是利用直方圖的信息重建顏色查找表進(jìn)行直接的映射，如文獻(xiàn)[5]提出如根據(jù)兩個(gè)圖像重疊區(qū)域直方圖進(jìn)行顏色直方圖映射，進(jìn)行視頻顏色校正的方法。上述目前存在的多種立體視頻圖像顏色校正方法，都存在各自的局限，或者應(yīng)用范圍有限，或者計(jì)算過程復(fù)雜，并且其中大部分并沒有考慮到校正圖像和參考圖像中重疊區(qū)域中遮擋部分對(duì)校正信息的影響。在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在應(yīng)用范圍小、計(jì)算過程復(fù)雜與精確性差等缺陷。

發(fā)明內(nèi)容
本發(fā)明的目的在干，針對(duì)上述問題，提出基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，以實(shí)現(xiàn)應(yīng)用范圍廣、計(jì)算過程簡(jiǎn)單、精確性好與穩(wěn)定性好的優(yōu)點(diǎn)。為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，包括
a、利用SIFT特征匹配提取法，分別提取待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)，計(jì)算出匹配特征點(diǎn)對(duì)，并建立用于反映待矯正視點(diǎn)圖像與參考圖像之間的顏色對(duì)應(yīng)關(guān)系的像素點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；
b、利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；
c、將待校正圖像輸入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，GRNN神經(jīng)網(wǎng)絡(luò)對(duì)輸入的待矯正圖像進(jìn)行顏色矯正處理，輸出顏色校正后的圖像。進(jìn)ー步地，所述步驟c具體包括
Cl、將待校正圖像的灰度值引入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，并分別與待校正圖像的R、G、 B分量作為構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)的三組輸入?yún)?shù)，對(duì)輸入?yún)?shù)進(jìn)行預(yù)處理；
將參考圖像的R、G、B值作與三組輸入?yún)?shù)相對(duì)應(yīng)的輸出值，構(gòu)建用于分別校正R、G、B 分量的三個(gè)GRNN子神經(jīng)網(wǎng)絡(luò)；
c2、分別將待校正圖像的R、G、B分量，輸入相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)，相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)對(duì)輸入的R、G、B分量進(jìn)行顏色矯正處理，輸出顏色校正后的輸出值；
c3、在分別對(duì)待校正圖像的R、G、B分量進(jìn)行三個(gè)通道的顏色校正之后，將所得顏色矯正后的三個(gè)通道合并成新的圖像，即顏色矯正之后的圖像。進(jìn)ー步地，在所述步驟c2與步驟c3之間，還包括
對(duì)同輸入分量對(duì)應(yīng)的輸出值，采取統(tǒng)計(jì)求均值處理，將得到平均值作為新的輸出值。進(jìn)ー步地，在所述步驟a之前，還包括選擇RGB顏色空間，對(duì)待校正視點(diǎn)圖像進(jìn)行顏色轉(zhuǎn)換。進(jìn)ー步地，所述待校正視點(diǎn)圖像默認(rèn)為經(jīng)幾何校正后的待校正視點(diǎn)圖像。本發(fā)明各實(shí)施例的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，由于包括利用SIFT特征匹配提取法，分別提取待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)， 計(jì)算出匹配特征點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；將待校正圖像輸入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，GRNN神經(jīng)網(wǎng)絡(luò)對(duì)輸入的待矯正圖像進(jìn)行顏色矯正處理，輸出顏色校正后的圖像；可以在不同視點(diǎn)圖像中尋找對(duì)應(yīng)區(qū)域，從對(duì)應(yīng)區(qū)域分析獲取映射關(guān)系，建立兩幅圖像間映射關(guān)系，使經(jīng)過校正后的圖像與參考圖像顏色一致；從而可以克服現(xiàn)有技術(shù)中應(yīng)用范圍小、計(jì)算過程復(fù)雜與精確性差的缺陷，以實(shí)現(xiàn)應(yīng)用范圍廣、計(jì)算過程簡(jiǎn)單、精確性好與穩(wěn)定性好的優(yōu)點(diǎn)。本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說(shuō)明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)ー步的詳細(xì)描述。


附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)ー步理解，并且構(gòu)成說(shuō)明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中
圖ι為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例的流程示意圖2為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法優(yōu)選實(shí)施例的流程示意圖3a-圖3c為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例中“ Racel”的SIFT提取結(jié)果示意4d為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例中“Racel”校正結(jié)果示意圖5為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例中 “Racel”參考視點(diǎn)(視點(diǎn)3，第0幀)與其他視點(diǎn)間歐氏距離比較曲線示意圖6a-圖6d為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例中“ FlamenCo2”校正結(jié)果示意圖7為根據(jù)本發(fā)明基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法實(shí)施例中 “Flamenc02”參考視點(diǎn)(視點(diǎn)2)與視點(diǎn)0間連續(xù)幀(第97-117幀)間歐氏距離比較曲線示意圖。
具體實(shí)施例方式以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說(shuō)明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定本發(fā)明。實(shí)施例一
根據(jù)本發(fā)明實(shí)施例，提供了基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法。如圖1所示，本實(shí)施例的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，包括
步驟100 利用SIFT特征匹配提取法，分別提取待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)，計(jì)算出匹配特征點(diǎn)對(duì)，并建立用于反映待矯正視點(diǎn)圖像與參考圖像之間的顏色對(duì)應(yīng)關(guān)系的像素點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；
在步驟100中，SIFT特征是一種電腦視覺的算法用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取出其位置、尺度、旋轉(zhuǎn)不變量，此算法由David Lowe在1999年所發(fā)表，2004年完善總結(jié)。其應(yīng)用范圍包含物體辨識(shí)、機(jī)器人地圖感知與導(dǎo)航、影像縫合、3D模型建立、手勢(shì)辨識(shí)、影像追蹤和動(dòng)作比對(duì)；
局部影像特征的描述與偵測(cè)可以幫助辨識(shí)物體，SIFT特征是基于物體上的一些局部外觀的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無(wú)關(guān)。對(duì)于光線、噪聲、些微視角改變的容忍度也相當(dāng)高?；谶@些特性，它們是高度顯著而且相對(duì)容易擷取，在母數(shù)龐大的特征數(shù)據(jù)庫(kù)中，很容易辨識(shí)物體而且鮮有誤認(rèn)。使用SIFT特征描述對(duì)于部分物體遮蔽的偵測(cè)率也相當(dāng)高，甚至只需要3個(gè)以上的SIFT物體特征就足以計(jì)算出位置與方位。在現(xiàn)今的電腦硬件速度下和小型的特征數(shù)據(jù)庫(kù)條件下，辨識(shí)速度可接近即時(shí)運(yùn)算。SIFT特征的信息量大，適合在海量數(shù)據(jù)庫(kù)中快速準(zhǔn)確匹配；
步驟102 利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；
步驟103 將待校正圖像輸入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，GRNN神經(jīng)網(wǎng)絡(luò)對(duì)輸入的待矯正圖像進(jìn)行顏色矯正處理，輸出顏色校正后的圖像。在上述步驟100-步驟103中，待校正視點(diǎn)圖像默認(rèn)為經(jīng)幾何校正后的待校正視點(diǎn)圖像。實(shí)施例二
如圖2所示，本實(shí)施例的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，包括步驟201 選擇RGB顏色空間，對(duì)待校正視點(diǎn)圖像進(jìn)行顏色轉(zhuǎn)換；步驟202 利用SIFT特征匹配提取法，分別提取幾何校正后的待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)，計(jì)算出匹配特征點(diǎn)對(duì)，并建立用于反映待矯正視點(diǎn)圖像與參考圖像之間的顏色對(duì)應(yīng)關(guān)系的像素點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；
步驟203 利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；
步驟204 將待校正圖像的灰度值引入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，并分別與待校正圖像的R、G、B分量作為構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)的三組輸入?yún)?shù)，對(duì)輸入?yún)?shù)進(jìn)行預(yù)處理；
將參考圖像的R、G、B值作與三組輸入?yún)?shù)相對(duì)應(yīng)的輸出值，構(gòu)建用于分別校正R、G、B分量的三個(gè)GRNN子神經(jīng)網(wǎng)絡(luò)；
步驟205 分別將待校正圖像的R、G、B分量，輸入相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)，相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)對(duì)輸入的R、G、B分量進(jìn)行顏色矯正處理，輸出顏色校正后的輸出值；
步驟206 對(duì)同輸入分量對(duì)應(yīng)的輸出值，采取統(tǒng)計(jì)求均值處理，將得到平均值作為新的輸出值；
步驟207 在分別對(duì)待校正圖像的R、G、B分量進(jìn)行三個(gè)通道的顏色校正之后，將所得顏色矯正后的三個(gè)通道合并成新的圖像，即顏色矯正之后的圖像。上述實(shí)施例一與實(shí)施例二，采用的顏色校正方法是一種基于圖像特征點(diǎn)匹配提取和神經(jīng)網(wǎng)絡(luò)構(gòu)造映射關(guān)系的顏色校正方法；算法首先利用SIFT特征匹配提取方法分別提取待校正視點(diǎn)圖像和參考圖像間的SIFT特征點(diǎn)，并找到其中匹配特征點(diǎn)對(duì)；當(dāng)兩幅圖像存在顏色差異時(shí)，這些匹配點(diǎn)對(duì)也會(huì)產(chǎn)生相關(guān)的顏色差異，而這些點(diǎn)對(duì)則能夠反映出目標(biāo)圖像與源圖像的對(duì)應(yīng)顏色關(guān)系；利用GRNN神經(jīng)網(wǎng)絡(luò)，結(jié)合匹配點(diǎn)的顏色值構(gòu)建出能反映出圖像間映射關(guān)系的神經(jīng)網(wǎng)絡(luò)；最后，利用已經(jīng)構(gòu)造好的GRNN神經(jīng)網(wǎng)絡(luò)，將待校正圖像作為輸入，輸出則是校正后的圖像，就完成顏色校正過程。發(fā)明算法的詳細(xì)過程如下
(1)對(duì)所要處理的圖像進(jìn)行顏色轉(zhuǎn)換。一般地，攝像機(jī)采集的視頻圖像可以以多種顏色空間格式進(jìn)行保存，比較常見的包括RGB空間、YUV空間和HIS(色調(diào)、飽和度、亮度)，考慮到后續(xù)SIFT特征點(diǎn)提取和GRNN網(wǎng)絡(luò)建立都需要用到灰度圖像，而RGB是現(xiàn)有的圖像設(shè)備最初采集到的顏色信息和最終顏色顯示所用的顏色空間，因此直接選擇RGB顏色空間進(jìn)行處理；
(2)利用SIFT特征提取算法分別對(duì)待校正圖像和參考圖像分別進(jìn)行SIFT特征點(diǎn)提取，并計(jì)算匹配點(diǎn)對(duì)。SIFT特征提取算法有很強(qiáng)的健壯性，對(duì)于圖像的旋轉(zhuǎn)、平移、亮度變化和一定程序的幾何形變和噪聲都有一定的穩(wěn)定性，因此在每幅圖像中一般都能提出上千個(gè)特征點(diǎn)，經(jīng)過匹配，一般都能找到數(shù)百個(gè)匹配點(diǎn)對(duì)；
(3)得到匹配點(diǎn)對(duì)后，接著構(gòu)建GRNN網(wǎng)絡(luò)?？紤]到RGB空間各個(gè)分量值之間存在高相關(guān)性，直接對(duì)R、G、B三個(gè)分量分別構(gòu)造GRNN網(wǎng)絡(luò)會(huì)帶來(lái)較大的誤差，因此本發(fā)明引入灰度值，分別和R、G、B三個(gè)分量共同構(gòu)建網(wǎng)絡(luò)。以R通道為例，由待校正圖像的R分量和待校正圖像的灰度值作為訓(xùn)練輸入樣本，參考圖像R值作為訓(xùn)練輸出樣本，從而構(gòu)造出GRNN網(wǎng)絡(luò)。由此構(gòu)造的GRNN網(wǎng)絡(luò)也與G、B存在相關(guān)性，同理也可以對(duì)另兩個(gè)分量構(gòu)造GRNN網(wǎng)絡(luò)，并利用神經(jīng)網(wǎng)絡(luò)對(duì)分量進(jìn)行處理。構(gòu)建GRNN時(shí)，首先對(duì)輸入?yún)?shù)進(jìn)行預(yù)處理，由于特征點(diǎn)對(duì)可能存在待參考圖像的兩個(gè)或多個(gè)特征點(diǎn)的分量值和灰度值相同，但參考圖像中對(duì)應(yīng)匹配點(diǎn)分量值不同，會(huì)對(duì)GRNN構(gòu)造產(chǎn)生不利干擾，增加映射網(wǎng)絡(luò)誤差，本發(fā)明對(duì)同輸入樣本對(duì)應(yīng)的輸出樣本采取統(tǒng)計(jì)求均值作為新的輸出樣本，以保證GRNN網(wǎng)絡(luò)構(gòu)造時(shí)的穩(wěn)定和圖像校正的合理性。在分別對(duì)三個(gè)分量通道進(jìn)行顏色校正之后，再將三個(gè)通道合并成新的圖像，即校正之后圖像。為了驗(yàn)證上述實(shí)施例一與實(shí)施例二提出的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法的有效性，利用MATLAB R2009a平臺(tái)，對(duì)該SIFT+GRNN算法進(jìn)行相關(guān)實(shí)驗(yàn)，實(shí)驗(yàn)使用的立體視頻序列為640 X 480的標(biāo)準(zhǔn)視頻“Racel”和“Flamenco2”?！癛acel”和“FlamenCo2”都由KDDI公司提供，文件格式都為4 2 0的YUV格式，視點(diǎn)編號(hào)都從0開始；不同的是“Racel”有8個(gè)視點(diǎn)，“FlamenCo2”有5個(gè)視點(diǎn)。實(shí)驗(yàn)時(shí)，從每組立體視頻中選擇最靠近中間的一個(gè)視點(diǎn)作為參考視點(diǎn)，而將其他的視點(diǎn)作為待校正視點(diǎn)，在本次實(shí)驗(yàn)中，在“Racel”中選擇視點(diǎn)3作為參考視點(diǎn)，在"Flamenco2"中選擇視點(diǎn)2作為參考視點(diǎn)。實(shí)驗(yàn)所采用的標(biāo)準(zhǔn)立體視頻的各個(gè)視點(diǎn)已經(jīng)存在顏色偏差，不需要對(duì)圖像進(jìn)行加擾。為了驗(yàn)證算法的有效性，將與圖像重疊區(qū)域直方圖匹配的方法進(jìn)行比較。對(duì)實(shí)驗(yàn)的結(jié)果從主觀評(píng)價(jià)和圖像間歐氏距離兩個(gè)方面進(jìn)行評(píng)價(jià)。顏色的數(shù)值表示和視覺對(duì)顏色的感知并不是一個(gè)線性對(duì)應(yīng)的關(guān)系，因此單純采用量化的方式去評(píng)價(jià)圖像顏色校正的效果是不全面的，主觀評(píng)價(jià)是評(píng)價(jià)顏色偏差最直接的方式和必須的方式。在理想情況下，經(jīng)過校正之后參考圖像和被校正圖像對(duì)應(yīng)點(diǎn)應(yīng)該保證顏色完全一致，但實(shí)際上這是不可能的。為了更有效地衡量顏色較正的效果，實(shí)驗(yàn)引入校正圖像與參考圖像對(duì)應(yīng)點(diǎn)的歐氏距離來(lái)進(jìn)行評(píng)估。這個(gè)距離越小，表示顏色偏差越小。公式如下
E- ,/(Λ -Ry2 + {G-G)7 + {B-E)2(1)
在公式(1)中，S，δ，1分別為R，G，B的平均值。當(dāng)待校正圖像與參考圖像進(jìn)行SIFT變換后，可以得到相應(yīng)的SIFT特征點(diǎn)，并尋找對(duì)應(yīng)的匹配點(diǎn)對(duì)，并對(duì)特征點(diǎn)進(jìn)行預(yù)處理，排除誤匹配，如圖3a-圖3c所示，為“Racel”中視點(diǎn)3和視點(diǎn)0的第0幀特征點(diǎn)匹配情況，匹配點(diǎn)對(duì)數(shù)較多且沒有看到誤匹配的情況發(fā)生，這反映了 SIFT特征匹配的穩(wěn)健高效。將特征點(diǎn)對(duì)中的待校正圖像的各通道顏色值和灰度值作為構(gòu)造GRNN的輸入樣本值，將參考圖像的對(duì)應(yīng)各通道顏色值作為構(gòu)造GRNN的輸出樣本值。其中，圖3a為原始圖像(視點(diǎn)0，第0幀)的SIFT特征點(diǎn)；圖北為參考圖像(視點(diǎn)3，第0幀)的SIFT特征點(diǎn)；圖3c為已匹配的SIFT特征點(diǎn)。為了比較本算法和直方圖匹配算法效果，可以設(shè)計(jì)兩組實(shí)驗(yàn)，其中一組在不同視點(diǎn)間在同一幀時(shí)的情況進(jìn)行比較，另一組在同一對(duì)視點(diǎn)在連續(xù)幀時(shí)顏色校對(duì)的情況進(jìn)行比較。第一組實(shí)驗(yàn)以“Racel”中視點(diǎn)3為參考視點(diǎn)，選擇第0幀對(duì)其他視點(diǎn)進(jìn)行較正，并與直方圖算法效果進(jìn)行比較。圖4a_圖4d為視點(diǎn)0被校正的結(jié)果，可以看到直方圖校正的多處顏色偏亮，尤其是右上角樹叢較為明顯；歐氏距離如圖5所示，對(duì)于大多數(shù)視點(diǎn)來(lái)說(shuō)，上述實(shí)施例算法的歐氏距離都要比直方圖小，這表示本文算法校正后的顏色偏差更小。其中，圖4a為原始圖像(視點(diǎn)0，第0幀)，圖4b為參考圖像(視點(diǎn)3，第0幀)，圖如為直方圖校正結(jié)果，圖4d為上述實(shí)施例一及實(shí)施例二所述方法校正結(jié)果。第二組實(shí)驗(yàn)以“Flamenco〗”視點(diǎn)2作為參考視點(diǎn)，視點(diǎn)0作為待校正視點(diǎn)，選取第97幀到第117幀分別進(jìn)行顏色校正，并與直方圖算法效果進(jìn)行比較。圖6a-圖6d為視點(diǎn)0第100幀被校正的結(jié)果，可以看到本文算法與參考圖像的相似度更高，而直方圖算法校正的整體顏色偏亮；歐氏距離如圖7所示，對(duì)于大多數(shù)情況下，上述實(shí)施例一與上述實(shí)施例二算法的歐氏距離都要比直方圖小，這表示實(shí)施例一與上述實(shí)施例二算法校正后的顏色偏差更小。其中，圖6a為原始圖像(視點(diǎn)0，第100幀)，圖6b為參考圖像(視點(diǎn)2，第100幀)，圖6c為直方圖校正結(jié)果，圖6d為上述實(shí)施例一及實(shí)施例二所述方法校正結(jié)果。
通過“Racel ”和“FlamenC02”兩組實(shí)驗(yàn)的比較，可以看到上述實(shí)施例一及實(shí)施例二的算法與直方圖校正方法相比，能更有效地進(jìn)行立體視頻顏色校正。上述實(shí)驗(yàn)，采用的顏色校正方法是一種基于圖像特征點(diǎn)匹配提取和神經(jīng)網(wǎng)絡(luò)構(gòu)造映射關(guān)系的顏色校正方法；具體包括1)利用SIFT特征匹配提取方法分別提取待校正視點(diǎn)圖像和參考圖像間的SIFT特征點(diǎn)，并找到其中匹配特征點(diǎn)對(duì)，從而建立能夠反映出目標(biāo)圖像與源圖像的對(duì)應(yīng)顏色關(guān)系的像素點(diǎn)對(duì)；2)利用GRNN神經(jīng)網(wǎng)絡(luò)，結(jié)合匹配點(diǎn)的顏色值構(gòu)建出能反映出圖像間映射關(guān)系的神經(jīng)網(wǎng)絡(luò)；3)將待校正圖像的灰度值引入神經(jīng)網(wǎng)絡(luò)，分別與待校正圖像的R、G、B分量作為各自神經(jīng)網(wǎng)絡(luò)的輸入，參考圖像的R、G、B值作為各自的輸出，從而構(gòu)建出用于分別校正R、G、B分量的3個(gè)GRNN網(wǎng)絡(luò)；4)針對(duì)參考圖像中兩個(gè)或多個(gè)特征點(diǎn)的R、G、B分量值和灰度值相同，但目標(biāo)圖像中對(duì)應(yīng)匹配點(diǎn)的分量值不同的問題，為減少GRNN網(wǎng)絡(luò)映射誤差，上述實(shí)施例對(duì)同輸入樣本對(duì)應(yīng)的輸出樣本采取統(tǒng)計(jì)求均值作為新的輸出樣本的方法，保證了 GRNN網(wǎng)絡(luò)構(gòu)造時(shí)的穩(wěn)定和圖像校正的合理性。綜上所述，本發(fā)明各實(shí)施例的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，重點(diǎn)是在于顏色校正，默認(rèn)輸入的各個(gè)視點(diǎn)的視頻圖像都已經(jīng)過幾何校正；顏色校正的目的就是使經(jīng)過校正后的圖像與參考圖像顏色一致，因此顏色校正的過程實(shí)質(zhì)也是建立兩幅圖像間映射關(guān)系的過程；由于各個(gè)視點(diǎn)的攝像機(jī)拍攝角度不同，因此各個(gè)視點(diǎn)圖像將有一部分表現(xiàn)不同的內(nèi)容，所以需要在不同視點(diǎn)圖像中尋找對(duì)應(yīng)區(qū)域，從對(duì)應(yīng)區(qū)域分析獲取映射關(guān)系。最后應(yīng)說(shuō)明的是以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，其特征在干，包括a、利用SIFT特征匹配提取法，分別提取待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)，計(jì)算出匹配特征點(diǎn)對(duì)，并建立用于反映待矯正視點(diǎn)圖像與參考圖像之間的顏色對(duì)應(yīng)關(guān)系的像素點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；b、利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；c、將待校正圖像輸入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，GRNN神經(jīng)網(wǎng)絡(luò)對(duì)輸入的待矯正圖像進(jìn)行顏色矯正處理，輸出顏色校正后的圖像。
2.根據(jù)權(quán)利要求1所述的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，其特征在干，所述步驟c具體包括Cl、將待校正圖像的灰度值引入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，并分別與待校正圖像的R、G、 B分量作為構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)的三組輸入?yún)?shù)，對(duì)輸入?yún)?shù)進(jìn)行預(yù)處理；將參考圖像的R、G、B值作與三組輸入?yún)?shù)相對(duì)應(yīng)的輸出值，構(gòu)建用于分別校正R、G、B 分量的三個(gè)GRNN子神經(jīng)網(wǎng)絡(luò)；c2、分別將待校正圖像的R、G、B分量，輸入相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)，相應(yīng)的GRNN子神經(jīng)網(wǎng)絡(luò)對(duì)輸入的R、G、B分量進(jìn)行顏色矯正處理，輸出顏色校正后的輸出值；c3、在分別對(duì)待校正圖像的R、G、B分量進(jìn)行三個(gè)通道的顏色校正之后，將所得顏色矯正后的三個(gè)通道合并成新的圖像，即顏色矯正之后的圖像。
3.根據(jù)權(quán)利要求2所述的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，其特征在干，在所述步驟c2與步驟c3之間，還包括對(duì)同輸入分量對(duì)應(yīng)的輸出值，采取統(tǒng)計(jì)求均值處理，將得到平均值作為新的輸出值。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，其特征在干，在所述步驟a之前，還包括選擇RGB顏色空間，對(duì)待校正視點(diǎn)圖像進(jìn)行顏色轉(zhuǎn)換。
5.根據(jù)權(quán)利要求4所述的基于HFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，其特征在于，所述待校正視點(diǎn)圖像默認(rèn)為經(jīng)幾何校正后的待校正視點(diǎn)圖像。
全文摘要
本發(fā)明公開了基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，包括利用SIFT特征匹配提取法，分別提取待校正視點(diǎn)圖像和參考圖像之間的SIFT特征點(diǎn)，計(jì)算出匹配特征點(diǎn)對(duì)，獲取匹配特征點(diǎn)對(duì)的顏色值；利用GRNN網(wǎng)絡(luò)，結(jié)合匹配特征點(diǎn)對(duì)的顏色值，構(gòu)建用于反映待校正視點(diǎn)圖像和參考圖像之間映射關(guān)系的GRNN神經(jīng)網(wǎng)絡(luò)；將待校正圖像輸入構(gòu)建好的GRNN神經(jīng)網(wǎng)絡(luò)，GRNN神經(jīng)網(wǎng)絡(luò)對(duì)輸入的待矯正圖像進(jìn)行顏色矯正處理，輸出顏色校正后的圖像。本發(fā)明所述基于SIFT特征與GRNN網(wǎng)絡(luò)的立體視頻顏色校正方法，具有應(yīng)用范圍廣、計(jì)算過程簡(jiǎn)單、精確性好與穩(wěn)定性好的優(yōu)點(diǎn)。
文檔編號(hào)G06N3/02GK102572450SQ20121000624
公開日2012年7月11日 申請(qǐng)日期2012年1月10日 優(yōu)先權(quán)日2012年1月10日
發(fā)明者呂朝輝, 張懿斌, 董躍 申請(qǐng)人:中國(guó)傳媒大學(xué)