本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種圖像處理方法及裝置。
背景技術(shù):
以視頻圖像為主的媒體數(shù)據(jù)傳輸在通信服務(wù)中占據(jù)了大量比例;同時,由于通信技術(shù)的日益進(jìn)步,使得高質(zhì)量、低延遲的視頻圖像數(shù)據(jù)傳輸變得可能。無線視頻傳輸是一種利用無線電波作為傳輸介質(zhì)來傳輸數(shù)據(jù)的方式,因其具有在阻擋、高速移動、不同地理環(huán)境下應(yīng)用以及使用靈活、成本低廉的優(yōu)勢而得到廣泛應(yīng)用。同時,由于媒體技術(shù)及其應(yīng)用的快速發(fā)展,出現(xiàn)了諸多視頻圖像應(yīng)用需求,而視頻圖像大量的數(shù)據(jù)流對實(shí)時傳輸有著較高的要求,高質(zhì)量低延遲的視頻圖像成為追求的目標(biāo),在視頻應(yīng)用系統(tǒng)、移動影視、無人機(jī)影視拍攝、以及無人機(jī)在電力巡檢、農(nóng)業(yè)保險、救災(zāi)方面的航拍監(jiān)測等領(lǐng)域得到了廣泛應(yīng)用,而這些應(yīng)用無一例外都需要較高質(zhì)量的圖像畫質(zhì)。因此,研究用于無線實(shí)時傳輸系統(tǒng)的圖像質(zhì)量改善方法是十分必要和重要的。
在現(xiàn)有的高清數(shù)字視頻圖像傳輸方案中,一般存在兩種方案,一是先將采集的高清視頻圖像數(shù)據(jù)通過編碼器編碼壓縮處理,以降低傳輸數(shù)據(jù)量,然后將壓縮視頻圖像數(shù)據(jù)通過OFDM(Orthogonal Frequency Division Multiplexing,正交頻分復(fù)用)等技術(shù)調(diào)制發(fā)射出去;二是將采集的高清視頻圖像數(shù)據(jù)做簡易處理后,直接發(fā)射出去。在第二類方案中,有采用傳輸DCT(Discrete Cosine Transformation,離散余弦變換)系數(shù)的方案,或?qū)σ曨l數(shù)據(jù)做BCH(Broadcast Channel,廣播信道)編碼,CRC(Cyclic Redundancy Check,循環(huán)冗余校驗)碼校驗編碼,奇偶校驗編碼等,該類方案傳輸實(shí)時性較好,然而若信道條件惡劣,加上信息保護(hù)能力有限,會造成接收圖像出現(xiàn)塊失真現(xiàn)象,表現(xiàn)出黑白塊、灰塊等特征。
對于近年來日益需求的高清視頻圖像應(yīng)用,如無人機(jī)測繪、無人機(jī)災(zāi)害現(xiàn)場勘查、無人機(jī)監(jiān)控、無人機(jī)環(huán)境監(jiān)測等,迫切需求一種高畫質(zhì)的圖像。因此給出用于無線實(shí)時傳輸系統(tǒng)的圖像質(zhì)量改善方法顯得十分必要。
為解決上述問題,目前,已有一些基于傳輸技術(shù)或圖像處理技術(shù)的提高圖像質(zhì)量的方案,但由于該類方案或額外增加信道保護(hù)機(jī)制,如附加信道編碼等,增加了傳輸壓力,提高了復(fù)雜度,沒有利用現(xiàn)有信息,或單純的從圖像處理角度做濾波等處理,未考慮傳輸、信息保護(hù)等造成的塊失真特點(diǎn)。因此,該類方法沒有充分利用現(xiàn)有信息,利用部分模塊之間引起的相關(guān)性,增加了成本與復(fù)雜度,在一些高清視頻圖像應(yīng)用要求較高的場合,將無法滿足要求。
因此,迫切需要研究用于無線實(shí)時傳輸系統(tǒng)的圖像質(zhì)量改善的簡便方法。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明提供了一種圖像處理方法及裝置,提供以簡便的方式改善圖像質(zhì)量。
本發(fā)明實(shí)施例為解決上述技術(shù)問題提供的技術(shù)方案如下:
本發(fā)明提供了一種圖像處理方法,包括如下步驟:識別圖像塊的校驗信息;識別所述圖像塊是否為黑白塊;以及當(dāng)識別到所述校驗信息指示所述圖像塊存在錯誤且識別到所述圖像塊為黑白塊時,對所述圖像塊的像素進(jìn)行校正。
其中,所述圖像塊為n*m大小的離散余弦變換DCT數(shù)據(jù)塊,其中n和m均為大于1的整數(shù)。
其中,所述識別圖像塊是否為黑白塊的步驟包括:當(dāng)所述圖像塊符合第一條件及第二條件時,則判定所述圖像塊為黑白塊;其中,所述第一條件包括:所述圖像塊中的n*m個像素的像素值中,最大像素值與最小像素值之差小于第一閾值;其中,所述第二條件包括:(A0j>(Hj+OUTER_THR))&&(Ak0>(Vk+OUTER_THR)),或者,(A0j<(Hj+OUTER_THR))&&(Ak0<(Vk+OUTER_THR));其中,j=0,1,…,m-1;k=0,1,…,n-1;其中,A0j表示所述圖像塊中最頂部m個像素的像素值;Ak0表示所述圖像塊中最左側(cè)的n個像素的像素值;其中,Hj表示與A0j相鄰的位于所述圖像塊外部的j個像素的像素值;Vk表示與Aj0相鄰的位于所述圖像塊外部的k個像素的像素值;其中,OUTER_THR為第二閾值,&&表示前后兩個條件同時成立。
其中,所述n,m均為8。
其中,所述對所述圖像塊進(jìn)行像素糾正的步驟,包括:對于所述圖像塊的各像素,以其鄰近像素來預(yù)估其像素值,從而更新所述圖像塊中的各像素的像素值。
其中,所述方法還包括:當(dāng)識別到所述校驗信息指示所述圖像塊不存在錯誤或者識別到所述圖像塊不為黑白塊時,控制不校正所述圖像塊的像素。
本發(fā)明實(shí)施例提供了一種圖像處理裝置,包括:提取模塊,用于提取圖像塊的校驗信息;判斷模塊,用于判斷所述圖像塊是否為黑白塊;以及圖像糾正模塊,用于當(dāng)所述提取模塊提取的校驗信息指示所述圖像塊存在錯誤且所述判斷模塊判斷到所述圖像塊為黑白塊時,對所述圖像塊的像素進(jìn)行校正。
其中,所述圖像塊為n*m大小的離散余弦變換DCT數(shù)據(jù)塊,其中n和m均為大于1的整數(shù)。
其中,所述判斷模塊,用于當(dāng)判斷到所述圖像塊符合第一條件及第二條件時,則判定所述圖像塊為黑白塊;其中,所述第一條件包括:所述圖像塊中的n*m個像素的像素值中,最大像素值與最小像素值之差小于第一閾值;其中,所述第二條件包括:(A0j>(Hj+OUTER_THR))&&(Ak0>(Vk+OUTER_THR)),或者,(A0j<(Hj+OUTER_THR))&&(Ak0<(Vk+OUTER_THR));其中,j=0,1,…,m-1;k=0,1,…,n-1;其中,A0j表示所述圖像塊中最頂部m個像素的像素值;Ak0表示所述圖像塊中最左側(cè)的n個像素的像素值;其中,Hj表示與A0j相鄰的位于所述圖像塊外部的j個像素的像素值;Vk表示與Aj0相鄰的位于所述圖像塊外部的k個像素的像素值;其中,OUTER_THR為第二閾值,&&表示前后兩個條件同時成立。
其中,所述圖像糾正模塊,用于對于所述圖像塊的各像素,以其鄰近像素來預(yù)估其像素值,從而更新所述圖像塊中的各像素的像素值。
本發(fā)明實(shí)施例,無需額外增加信道編碼等模塊就可以改善圖像質(zhì)量,因此降低了復(fù)雜度與成本消耗;并且,聯(lián)合校驗信息和黑白塊檢測結(jié)果,來對圖像的像素予以校正,而不盲目地做濾波處理,從而以便捷的方式改善了圖像質(zhì)量。
附圖說明
圖1是本發(fā)明的圖像處理方法的第一實(shí)施例的流程示意圖;
圖2是黑白塊的判斷參考圖;
圖3是錯誤黑白塊預(yù)測糾正方式的參考圖;
圖4是本發(fā)明實(shí)施例的比特流結(jié)構(gòu)示意圖;
圖5是本發(fā)明的圖像處理方法的第二實(shí)施例的流程示意圖;
圖6是本發(fā)明的圖像處理裝置的實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明所解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白,以下結(jié)合附圖及實(shí)施例,對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
如圖1所示,是本發(fā)明的圖像處理方法的第一實(shí)施例的流程示意圖。其中該圖像處理方法包括如下步驟:
步驟101:識別圖像塊的校驗信息。
步驟102:識別所述圖像塊是否為黑白塊。
步驟103:當(dāng)步驟101識別到校驗信息指示圖像塊存在錯誤且步驟102識別到圖像塊為黑白塊時,對圖像塊的像素進(jìn)行校正。
其中,本發(fā)明實(shí)施例可以應(yīng)用于高清視頻無線實(shí)時傳輸中,例如應(yīng)用于接收無線高清視頻圖像的裝置中,以改善接收到的圖像的質(zhì)量。
其中,本實(shí)施例中的圖像塊可以是接收的視頻圖像中的眾多圖像塊之一。一般而言,視頻圖像可以由眾多的圖像塊組成,而接收端在收到視頻圖像中,依次對視頻圖像中的各圖像塊進(jìn)行處理(例如采用本發(fā)明提供的方法進(jìn)行處理),以改善圖像質(zhì)量。
其中,在步驟101中,校驗信息例如可以是BCH碼、CRC碼或奇偶校驗碼等具有數(shù)據(jù)傳輸糾錯檢錯功能的編碼,通過該BCH碼、CRC碼或奇偶校驗碼可以確定該圖像塊是否存在錯誤。
其中,在步驟102中,可以根據(jù)黑白塊自身像素特點(diǎn)以及黑白塊與周圍鄰近像素的關(guān)系特點(diǎn)來判斷圖像塊是否為黑白塊。
其中,本發(fā)明實(shí)施例的圖像塊可以是DCT數(shù)據(jù)塊,例如大小為n*m的DCT數(shù)據(jù)塊,其中n和m均為大于1的整數(shù)。在一實(shí)施例中,n和m均為8,即圖像塊為8*8大小的DCT數(shù)據(jù)塊。
其中,在步驟102中,當(dāng)圖像塊符合第一條件和第二條件時,則判定圖像塊為黑白塊。其中,第一條件例如可以為圖像塊中的n*m個像素的像素值中,最大像素值與最小像素值之差小于第一閾值,例如第一閾值可以為160。
其中,第二條件包括:(A0j>(Hj+OUTER_THR))&&(Ak0>(Vk+OUTER_THR)),或者,(A0j<(Hj+OUTER_THR))&&(Ak0<(Vk+OUTER_THR));其中,j=0,1,…,m-1;k=0,1,…,n-1;其中,A0j表示所述圖像塊中最頂部m個像素的像素值;Ak0表示所述圖像塊中最左側(cè)的n個像素的像素值;其中,Hj表示與A0j相鄰的位于所述圖像塊外部的j個像素的像素值;Vk表示與Aj0相鄰的位于所述圖像塊外部的k個像素的像素值;其中,OUTER_THR為第二閾值,&&表示前后兩個條件同時成立。其中,第二閾值例如可以為5。
需要說明的是,接收的圖像中,對于位于首行首列的第一個圖像塊不作判定,對于位于邊界處的其余圖像塊,在滿足第一條件時,只需滿足第二條件的一部分即可,例如,若處于首行,則只需滿足Ak0>(Vk+OUTER_THR)或者Ak0<(Vk+OUTER_THR),即判定為黑白塊;若處于首列,則只需滿足A0j>(Hj+OUTER_THR)或者A0j<(Hj+OUTER_THR),即判定為黑白塊。
其中,當(dāng)m與n均等于8時,黑白塊的判定參考圖可以如圖2所示,在圖2中,Akj表示圖像塊中的像素,其中j=0,1,…,7;k=0,1,…,7。
其中,在步驟103中,可以根據(jù)該圖像塊周圍鄰近像素的像素值來預(yù)測當(dāng)前圖像塊的像素值,以進(jìn)行替換。例如,對于圖像塊的各像素,以其鄰近像素來預(yù)估其像素值,從而更新圖像塊中的各像素的像素值。
舉例而言,采用JPEG-LS非線性預(yù)測方法,若x為待糾正像素值,a,b,c代表其相鄰像素,具體位置關(guān)系如圖3所示,其預(yù)測方式如下所示:
1):若c>=max(a,b),則x=min(a,b);
2):若c<=min(a,b),則x=max(a,b);
3):其余情況,x=a+b-c。
依此類推,更新整個圖像塊的各個像素的像素值,以完成校正。特別地,若錯誤的圖像塊位于邊界,對于首行出現(xiàn)的錯誤的圖像塊,則采用鄰近的外部左側(cè)一列像素值做簡單替換;對于首列出現(xiàn)的錯誤的圖像塊,則采用鄰近的外部上方一行像素值做簡單替換。
本發(fā)明的圖像處理方法,無需額外增加信道編碼等模塊,因此可以降低復(fù)雜度與成本消耗,且當(dāng)檢測出了黑白塊且校驗信息顯示該塊存在錯誤,則通過圖像預(yù)測等手段對該塊像素值予以糾正,從而考慮了該類錯誤的特點(diǎn),而不盲目地做濾波處理,有益于無線實(shí)時傳輸系統(tǒng)的圖像質(zhì)量改善。
請參考圖3,是本發(fā)明的圖像處理方法的第二實(shí)施例的流程示意圖,其包括如下步驟:
步驟301:提取圖像塊。
步驟302:提取圖像塊的校驗信息。
步驟303:根據(jù)校驗信息,判斷圖像塊是否存在錯誤;若不存在錯誤,則結(jié)束流程;若存在錯誤,則執(zhí)行步驟304。
步驟304:判斷圖像塊是否為黑白塊;若判斷不為黑白塊,則結(jié)束流程;若判斷為黑白塊,則執(zhí)行步驟305。
步驟305:修正黑白塊。
本發(fā)明實(shí)施例,先利用校驗信息判斷該塊有無錯誤信息,然后根據(jù)圖像塊是否為黑白塊來決定是否對黑白塊進(jìn)行修正;需要說明的是,判斷是否為黑塊和判斷校驗信息是否指示存在錯誤的順序可以交換或者同時執(zhí)行。
本發(fā)明實(shí)施例利用接收端糾錯檢錯碼的檢錯狀態(tài)信息,避免增加額外的系統(tǒng)傳輸復(fù)雜度,而且由于參考了校驗信息,不會導(dǎo)致盲目修復(fù)掉不該修復(fù)的黑白圖像塊。本發(fā)明實(shí)施例對接收圖像不盲目濾波,只修復(fù)出現(xiàn)錯誤黑白塊的圖像部分,降低了復(fù)雜度。
本發(fā)明的另一個實(shí)施例是通過前處理方式消除圖像黑白錯誤塊,改善質(zhì)量。本實(shí)施例中,修改傳輸DCT系數(shù)的比特流結(jié)構(gòu),在不等保護(hù)的星座映射時,將會對比特流結(jié)構(gòu)中表征圖像重要信息的比特位做優(yōu)先保護(hù),即重要比特位將會映射為星座點(diǎn)復(fù)數(shù)的高比特位,抗干擾能力較強(qiáng),次要比特信息將會映射為星座點(diǎn)復(fù)數(shù)的低比特位。具體地,以8x8大小DCT系數(shù)塊為例,位于左上角的直流系數(shù)DC攜帶該塊圖像的重要信息,隨著DC(直流)系數(shù)依次往下,往右,剩余這些系數(shù)攜帶的圖像信息重要程度將逐步減弱,此外,游程編碼是使用符號值(val,包含絕對數(shù)值與正負(fù)號)和串長(len)來代替具有相同值的連續(xù)符號。本實(shí)施例中,將8x8DCT系數(shù)的前4個系數(shù)均優(yōu)先加強(qiáng)保護(hù),隨后對各個系數(shù)分組處理,對每個分組內(nèi)系數(shù)游程編碼后的串長優(yōu)先保護(hù),符號值做次要保護(hù),形成如圖4所示的比特流結(jié)構(gòu),然后將該比特流依次填充所要映射星座點(diǎn)復(fù)數(shù)的高低比特位(高比特位優(yōu)先),因而,不等保護(hù)的星座映射時,位于比特流結(jié)構(gòu)前邊的4個DCT系數(shù)的串長與符號值將會被映射為星座點(diǎn)復(fù)數(shù)的高比特位,得到強(qiáng)力保護(hù),其余系數(shù)的串長也將得到較強(qiáng)的保護(hù),這種比特流結(jié)構(gòu)將會加強(qiáng)圖像重要信息的保護(hù)強(qiáng)度,增強(qiáng)抗干擾能力,消除接收圖像出現(xiàn)黑白錯誤塊的現(xiàn)象,提高圖像質(zhì)量。其中,本發(fā)明實(shí)施例的比特流的結(jié)構(gòu)可以參考圖4所示。
如圖6所示,是本發(fā)明的圖像處理裝置600的實(shí)施例的結(jié)構(gòu)示意圖。其包括:提取模塊601,用于提取圖像塊的校驗信息;判斷模塊602,用于判斷所述圖像塊是否為黑白塊;以及圖像糾正模塊603,用于當(dāng)所述提取模塊提取的校驗信息指示所述圖像塊存在錯誤且所述判斷模塊判斷到所述圖像塊為黑白塊時,對所述圖像塊的像素進(jìn)行校正。其中,圖6所示的裝置對應(yīng)于前述的方法實(shí)施例,因此相關(guān)細(xì)節(jié)已在前面描述,在此不贅述。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過計算機(jī)程序來指令相關(guān)的硬件來完成,所述的程序可存儲于一計算機(jī)可讀取存儲介質(zhì)中,該程序在執(zhí)行時,可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory,ROM)或隨機(jī)存儲記憶體(Random Access Memory,RAM)等。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。