專利名稱：視差圖的中值濾波匹配誤差校正方法和實(shí)施該方法的電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于3D視頻設(shè)備中的基于深度圖像繪制(Depth-Image-BasedRendering，簡(jiǎn)稱DIBR)技術(shù)領(lǐng)域，具體涉及一種視差圖的中值濾波匹配誤差校正方法和實(shí)施該方法的電路。
背景技術(shù)：
基于深度圖像繪制(Depth-Image-Based Rendering,簡(jiǎn)稱DIBR)技術(shù)根據(jù)參考圖像(reference image)及其對(duì)應(yīng)的深度圖像(depth image)來生成新視點(diǎn)圖像(目標(biāo)圖像)。與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之后僅需要傳送一路視頻及其深度圖像就可生成立體圖像對(duì)，而且可以很方便的實(shí)現(xiàn)二維和三維的切換正因?yàn)槿绱?，DIBR技術(shù)在3D電視立體圖像對(duì)(stereo pair)的生成中得到了廣泛應(yīng)用，它也引起了人們愈來愈濃厚的興趣。然而，由于可見性變化、計(jì)算的不精確、深度圖像的不準(zhǔn)確等各種原因，由DIBR技術(shù)生成的目標(biāo)圖像中可能會(huì)包含著許多誤匹配像素點(diǎn)。我們將這種錯(cuò)誤稱為匹配誤差(matching eiror)。匹配誤差將嚴(yán)重降低立體圖像對(duì)的質(zhì)量，造成人們不舒服的感覺。傳統(tǒng)電路消除目標(biāo)圖像匹配誤差，是直接對(duì)目標(biāo)圖像進(jìn)行濾波，雖然能夠有效的去除匹配誤差，但卻存在以下缺陷1)由于是對(duì)圖像進(jìn)行濾波，故上述兩種算法會(huì)造成圖像的整體模糊，圖像的邊緣變粗等問題；2)由于是對(duì)彩色圖像進(jìn)行濾波，因而需要對(duì)圖像的三個(gè)彩色分量分別濾波，計(jì)算量龐大、速度慢，消耗的硬件資源非常多。中國專利文獻(xiàn)CN102413347A于2012年4月11日公開了“一種基于DIBR的匹配誤差校正方法”，該方法通過對(duì)DIBR系統(tǒng)中產(chǎn)生的視差圖進(jìn)行中值濾波，然后，依據(jù)濾波后的視差圖校正目標(biāo)圖，得到匹配誤差較少的目標(biāo)圖。該方法解決了對(duì)目標(biāo)圖像進(jìn)行濾波造成的圖像模糊問題，同時(shí)由于僅對(duì)視差圖(二維矩陣)進(jìn)行濾波，計(jì)算量顯著減少。該方法不足之處在于沒有考慮到圖像邊緣的處理，同時(shí)由于中值濾波采用循環(huán)排序方法確定中值而延緩了處理速度。由于視頻圖像需要實(shí)時(shí)處理，圖像質(zhì)量要求全高清甚至是超高清，所以匹配誤差校正的電路處理速度要求非常高，同時(shí)電路占用資源少、穩(wěn)定。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題就是，依據(jù)中國專利文獻(xiàn)CN102413347A公開的對(duì)視差圖進(jìn)行中值濾波的原理，提供一種視差圖的中值濾波匹配誤差校正方法和實(shí)施該方法的電路，它能夠有效的濾除匹配誤差而不造成圖像的整體模糊，處理速度快，滿足視頻圖像實(shí)時(shí)處理的要求。要解決上述技術(shù)問題，
本發(fā)明提供一種視差圖的中值濾波匹配誤差校正方法，包括以下步驟
首先對(duì)模板窗矩陣的列或行元素同時(shí)排序；再對(duì)排序后矩陣的行或列元素同時(shí)排序，最后對(duì)對(duì)角線上的元素排序，獲得中值，該中值為模板窗口中心位置點(diǎn)的校正值。
本發(fā)明還提供一種實(shí)施上述方法的電路，包括大于I的奇數(shù)個(gè)列排序比較器、與列排序比較器相同數(shù)量的行排序比較器、以及I個(gè)對(duì)角線排序比較器；
列排序比較器的輸入端口分別輸入模板窗矩陣各列兀素值，列排序比較器的輸出端口依據(jù)從小到大的次序分別連接對(duì)應(yīng)的行排序比較器，從小數(shù)行排序比較器到大數(shù)行排序比較器的輸出端中分別引出從大大到小或者從小到大的一個(gè)數(shù)據(jù)端口連接對(duì)角線排序比較器的輸入端，對(duì)角線排序比較器輸出端的一個(gè)中間數(shù)據(jù)端口為輸出口。上述列排序比較器和行排序比較器是依據(jù)模板窗矩陣的行或列的數(shù)據(jù)輸入而命名的，或者說，列排序比較器與行排序比較器可以互換。由于本發(fā)明對(duì)視差圖進(jìn)行中值濾波，實(shí)現(xiàn)了濾除匹配誤差而不造成圖像的整體模糊，視差圖中值濾波采用列元素排序、行元素排序和對(duì)角線上的元素排序，這樣能實(shí)現(xiàn)并行處理，克服了背景技術(shù)的循環(huán)排序方法確定中值所導(dǎo)致的速度低，實(shí)現(xiàn)了快速處理圖像。本發(fā)明具有的優(yōu)點(diǎn)是能濾除匹配誤差而不造成圖像的整體模糊，處理速度快。


本發(fā)明的

如下
圖I為模板窗中元素位置的標(biāo)定圖2為本發(fā)明的中值濾波原理圖3為本發(fā)明的電路結(jié)構(gòu)圖4為本發(fā)明電路的輸入端、輸出端的功能布置圖5為圖3所示的電路時(shí)序分析圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行描述，需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。眾所周知，由于人的左右眼存在著視差，因此，當(dāng)看同一個(gè)物體時(shí)，左右眼看到的圖像是不一樣的。一般我們把左眼看到的圖像命名為參考圖像，右眼看到的圖像命名為目標(biāo)圖像(也可以反過來命名)，2D轉(zhuǎn)3D功能的實(shí)現(xiàn)就是通過輸入?yún)⒖紙D像，經(jīng)過系統(tǒng)處理后，產(chǎn)生目標(biāo)圖像，最后同時(shí)顯示參考圖像和目標(biāo)圖像，讓人感覺到3D的效果。DIBR系統(tǒng)是實(shí)現(xiàn)2D轉(zhuǎn)3D的功能的重要模塊，它需要外部輸入?yún)⒖紙D像的同時(shí)，還需要輸入深度圖像，經(jīng)過DIBR系統(tǒng)處理后，輸出目標(biāo)圖像。而在DIBR系統(tǒng)中，需要根據(jù)深度圖像產(chǎn)生視差圖像，但深度圖像往往是不準(zhǔn)確的，這將造成視差圖像存在匹配誤差，因此，需要對(duì)視差圖像進(jìn)行校正，以提高DIBR輸出的目標(biāo)圖像的質(zhì)量。視差圖像中值濾波的模板窗口可以為線形，方形，十字形等。標(biāo)準(zhǔn)的中值濾波器是由一個(gè)奇數(shù)大小尺寸的滑動(dòng)窗組成，通常為3X3或5X5窗口。本方法發(fā)明是首先對(duì)模板窗矩陣的列或行元素同時(shí)排序；再對(duì)排序后矩陣的行或列元素同時(shí)排序，最后對(duì)對(duì)角線上的元素排序，獲得中值，具體實(shí)現(xiàn)方法如下
以圖I所示的一個(gè)3X3模板窗為例，首先對(duì)3X3矩陣的三列元素排序，然后，對(duì)于列排序后的窗口的三行元素排序，最后，求對(duì)角線上三個(gè)元素的中值，所得中值就是9個(gè)元素的中值。圖I中的數(shù)字I、表示對(duì)模板窗中元素位置的標(biāo)定。如圖2所示，圖中的CMP (m、n、k)是一個(gè)三輸入的排序比較器，它實(shí)現(xiàn)的功能是，輸入m、n、k三個(gè)數(shù)據(jù)，輸出從小到大的三個(gè)數(shù)據(jù)，即輸出Min、Med、Max。排序比較器輸入的三個(gè)數(shù)據(jù)m、n、k，是根據(jù)圖I中的編號(hào)I、對(duì)應(yīng)輸入編號(hào)所在的數(shù)據(jù)，圖2中的CMP (1、4、7)表示輸入圖I中模板窗第一列的三個(gè)數(shù)據(jù)，即編號(hào)1、4、7所在位置的數(shù)據(jù)。圖2中的第一行，三個(gè)排序比較器CMP (m、n、k)完成的功能是，對(duì)每一列的數(shù)據(jù)進(jìn)行從小到大排序；圖2中的第二行，三個(gè)排序比較器CMP (m、n、k)完成的功能是，對(duì)列排序后的模板窗再進(jìn)行行排序；圖2中的第三行，排序比較器CMP (m、n、k)是對(duì)第二行輸出的模板窗的主對(duì)角線元素求其中值，這個(gè)中值就是中值濾波所要獲得的結(jié)果。需要說明的是，模板窗矩陣也可以先對(duì)行元素同時(shí)排序，后對(duì)列元素同時(shí)排序，最后對(duì)對(duì)角線上的元素排序獲得中值。依據(jù)專利文獻(xiàn)CN102413347A記載的基于DIBR的匹配誤差校正方法，在進(jìn)行中值濾波前，要對(duì)模板窗矩陣中空洞點(diǎn)進(jìn)行處理，如果空洞點(diǎn)個(gè)數(shù)小于預(yù)設(shè)值，才進(jìn)行中值濾波，否則不處理，直接輸出原視差圖像數(shù)據(jù)。當(dāng)視差圖中某一點(diǎn)的值為-128時(shí)，對(duì)應(yīng)的目標(biāo)圖像中的點(diǎn)我們稱其為空洞點(diǎn)。如果一個(gè)模板窗中的空洞點(diǎn)的個(gè)數(shù)大于等于預(yù)設(shè)值，則不進(jìn)行中值濾波排序，以防止將原來的非空洞點(diǎn)變成空洞。中值濾波后獲得視差圖像中值a，要進(jìn)行越界判斷。即檢查視差坐標(biāo)在參考圖像上的匹配點(diǎn)是否在參考圖像內(nèi)，若是，將輸入進(jìn)來的參考圖像像素拷貝到對(duì)應(yīng)的目標(biāo)圖像上；若不是，則舍棄中值a，保留模板窗中原來點(diǎn)的視差值，同時(shí)不拷貝參考圖像。由于模板窗矩陣所求出的中值是模板窗口中心位置點(diǎn)的校正值，那么對(duì)于圖像的邊緣行，即第一行、最后一行，模板窗口中心位置無法捕獲，該位置的像素不能獲得校正，此時(shí)，視差圖像邊緣行數(shù)據(jù)可以采用直接輸出的方式，這樣簡(jiǎn)化了運(yùn)算，提高了速度，且易于硬件實(shí)現(xiàn)。如圖3所示，實(shí)施本發(fā)明方法的電路包括三個(gè)行排序比較器、三個(gè)列排序比較器、以及一個(gè)對(duì)角線排序比較器；
三個(gè)行排序比較器的輸入端口分別輸入模板窗矩陣各行兀素值(1、2、3)、(4、5、6)、(7、8、9),行排序比較器的輸出端口依據(jù)從小min、中med到大max的次序分別連接對(duì)應(yīng)的列排序比較器，從小數(shù)min列排序比較器、中數(shù)med列排序比較器，到大數(shù)max列排序比較器的輸出端中分別引出從大max、中med到小min或者從小、中到大的一個(gè)數(shù)據(jù)端口連接對(duì)角線排序比較器的輸入端，對(duì)角線排序比較器輸出端的一個(gè)中間數(shù)據(jù)端口 med為輸出口。上述排序比較器通過多個(gè)比較器連接實(shí)現(xiàn)，例如一個(gè)3輸入排序比較器，可以通過3個(gè)2輸入的比較器連接實(shí)現(xiàn)。為了提高處理的速度，本發(fā)明的視差圖的中值濾波匹配誤差校正方法用硬件實(shí)現(xiàn)，如圖3所示，采用基于數(shù)據(jù)流水的方式，即先將串行數(shù)據(jù)轉(zhuǎn)換為3X3濾波的模板窗口，然后把數(shù)據(jù)送給本發(fā)明電路的排序比較器處理，之后，每隔一個(gè)時(shí)鐘周期模板窗平移一個(gè)像素位置，同時(shí)中值濾波子模塊將輸出一個(gè)中值。從圖3可知，從外部輸入到最后的中值輸出，只需要12個(gè)時(shí)鐘周期，并且以后每一個(gè)時(shí)鐘周期輸出一個(gè)中值，形成數(shù)據(jù)流水處理。如圖4所示，本發(fā)明電路的輸入端、輸出端的功能分布，具體列表如下表I是本發(fā)明的電路med_filter輸入、輸出端口列表
權(quán)利要求
1.一種視差圖的中值濾波匹配誤差校正方法，其特征在于包括以下步驟 首先對(duì)模板窗矩陣的列或行元素同時(shí)排序；再對(duì)排序后矩陣的行或列元素同時(shí)排序，最后對(duì)對(duì)角線上的元素排序，獲得中值。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于在中值濾波之前，選擇模板窗的空洞點(diǎn)個(gè)數(shù)小于預(yù)設(shè)值進(jìn)行中值濾波，空洞點(diǎn)個(gè)數(shù)/7大于或等于預(yù)設(shè)值不作處理，直接輸出原視差圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于在獲得視差圖中值后，檢查視差坐標(biāo)在參考圖像上的匹配點(diǎn)是否在參考圖像內(nèi)，若是，將輸入進(jìn)來的參考圖像像素拷貝到對(duì)應(yīng)的目標(biāo)圖像上；若不是，則舍棄中值a，保留模板窗中原來點(diǎn)的視差值，同時(shí)不拷貝參考圖像。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于對(duì)圖像視差圖像邊緣行數(shù)據(jù)不作處理，直接輸出。
5.一種實(shí)施權(quán)利要求I所述方法的電路，其特征在于包括大于I的奇數(shù)個(gè)列排序比較器、與列排序比較器相同數(shù)量的行排序比較器、以及I個(gè)對(duì)角線排序比較器； 列排序比較器的輸入端口分別輸入模板窗矩陣各列兀素值，列排序比較器的輸出端口依據(jù)從小到大的次序分別連接對(duì)應(yīng)的行排序比較器，從小數(shù)行排序比較器到大數(shù)行排序比較器的輸出端中分別引出從大大到小或者從小到大的一個(gè)數(shù)據(jù)端口連接對(duì)角線排序比較器的輸入端，對(duì)角線排序比較器輸出端的一個(gè)中間數(shù)據(jù)端口為輸出口。
全文摘要
本發(fā)明涉及一種視差圖的中值濾波匹配誤差校正方法和實(shí)施該方法的電路。該方法是首先對(duì)模板窗矩陣的列或行元素同時(shí)排序；再對(duì)排序后矩陣的行或列元素同時(shí)排序，最后對(duì)對(duì)角線上的元素排序，獲得中值。該電路包括大于1的奇數(shù)個(gè)列排序比較器、與列排序比較器相同數(shù)量的行排序比較器、以及1個(gè)對(duì)角線排序比較器。本發(fā)明具有的優(yōu)點(diǎn)是能濾除匹配誤差而不造成圖像的整體模糊，處理速度快，能滿足視頻圖像實(shí)時(shí)處理的要求。
文檔編號(hào)H04N13/00GK102932661SQ201210495689
公開日2013年2月13日 申請(qǐng)日期2012年11月29日 優(yōu)先權(quán)日2012年11月29日
發(fā)明者劉然, 譚偉敏, 謝輝, 田逢春, 譚迎春, 李博樂, 邰國欽, 郭平, 葛亮, 黃揚(yáng)帆, 甘平, 周慶, 陳恒鑫 申請(qǐng)人:重慶大學(xué)