一種藍(lán)屏摳圖方法
【專利摘要】本發(fā)明公開(kāi)了一種藍(lán)屏摳圖方法，先將視頻傳遞到GPU中，通過(guò)在GPU中對(duì)視頻幀進(jìn)行藍(lán)屏摳圖處理，這樣提高了摳圖的速率。具體的講，先對(duì)視頻幀提取背景色，根據(jù)背景色，利用色差摳圖技術(shù)對(duì)藍(lán)屏圖像進(jìn)行不透明度處理，再經(jīng)過(guò)二值化處理后得到初始不透明度圖像，然后利用彩色圖像的梯度信息和改進(jìn)的聯(lián)合雙邊濾波器對(duì)初始不透明度進(jìn)行優(yōu)化得到最終不透明度圖像，最后對(duì)最終不透明度圖像進(jìn)行背景色溢出去除后回傳到CPU客戶端，通過(guò)顯示設(shè)備顯示。這樣在整個(gè)處理過(guò)程中大大減少了人工交互和參數(shù)的調(diào)整。
【專利說(shuō)明】一種藍(lán)屏摳圖方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視覺(jué)特效領(lǐng)域，更為具體地講，涉及一種藍(lán)屏摳圖方法。

【背景技術(shù)】
[0002]摳圖是指從圖像或視頻序列中精確地提取出前景對(duì)象的一種技術(shù)。摳圖技術(shù)作為視覺(jué)特效領(lǐng)域的一種關(guān)鍵技術(shù)，被廣泛地應(yīng)用于圖像編輯和電影制作等領(lǐng)域。但由于摳圖問(wèn)題的欠約束性，求解該問(wèn)題時(shí)需要增加額外的約束條件，因此在影視制作中，通常采用藍(lán)屏或者綠屏作為拍攝背景，以此來(lái)降低該問(wèn)題的求解難度，這種將藍(lán)屏或者綠屏作為背景的摳圖技術(shù)通常叫做藍(lán)屏摳圖技術(shù)。
[0003]藍(lán)屏摳圖發(fā)展到今天已經(jīng)產(chǎn)生了許多不同的技術(shù)。常見(jiàn)的藍(lán)屏摳圖技術(shù)主要有:亮度摳圖(Luma Keying)、差異摳圖(Difference Keying)、色度摳圖(Chroma Keying)、色差樞圖(Color Difference Keying)、3D 樞圖(3D Keying)。
[0004]亮度摳圖技術(shù)利用圖像的亮度信息來(lái)求解不透明度。對(duì)于給定的RGB三通道彩色圖像，先將其轉(zhuǎn)換到HLS顏色空間，然后取亮度通道L進(jìn)行二值化操作，得到的結(jié)果即為前景的不透明度。簡(jiǎn)單的硬閾值操作通常會(huì)造成邊緣和半透明信息的嚴(yán)重丟失，因此，在實(shí)際應(yīng)用中通常采取軟閾值操作，即定義一個(gè)漸變的范圍，使得不透明度從O到I平緩變化。由于該技術(shù)在摳圖過(guò)程中只考慮了圖像的亮度信息，而沒(méi)有考慮圖像的顏色信息，因此，對(duì)于大多數(shù)圖像，該方法效果不夠理想。
[0005]差異摳圖技術(shù)利用前景圖像與背景圖像的差異求解不透明度。差異摳圖技術(shù)對(duì)背景沒(méi)有嚴(yán)格的限制，不僅適用于單色背景，對(duì)于背景顏色復(fù)雜的情況同樣適用。然而，由于差異摳圖技術(shù)需要背景圖像已知，因此其使用范圍受到了一定的限制。
[0006]色度摳圖技術(shù)利用圖像的顏色信息求解不透明度。對(duì)于給定的RGB三通道彩色圖像，首先將其轉(zhuǎn)換到HLS空間，然后對(duì)H通道進(jìn)行閾值分割求取不透明度。在實(shí)際應(yīng)用中，受光照等環(huán)境因素的影響，背景顏色會(huì)出現(xiàn)一定的波動(dòng)，因此需要設(shè)置一個(gè)軟閾值。然而，H通道雖然能較好地區(qū)分顏色信息，但是對(duì)于壓縮的視頻幀，H通道常常出現(xiàn)塊狀效應(yīng)(blocky)。為了提高摳圖精度，通常將色度(H)、亮度(L)、飽和度(S)三個(gè)通道結(jié)合起來(lái)。與單一通道的摳圖技術(shù)相比，聯(lián)合H、L、S三通道的摳圖技術(shù)要更準(zhǔn)確，不足之處是需要調(diào)節(jié)的參數(shù)較多，人工交互比較大。
[0007]色差摳圖技術(shù)利用R、G、B三通道的顏色差異來(lái)求解不透明度。以藍(lán)屏視頻為例，對(duì)于輸入視頻幀I，其不透明度表示為a = Ib-MAX(IE, IG) 0色差摳圖技術(shù)比較簡(jiǎn)單，速度較快且不需要進(jìn)行閾值判斷，然而，效果不夠理想。
[0008]3D摳圖技術(shù)是指在三維顏色空間(RGB、HLS等)，根據(jù)像素的空間距離求解不透明度。由于背景的顏色變化范圍較小，因此可以在三維空間中定義一個(gè)3D形狀將前景和背景區(qū)分開(kāi)來(lái)。該3D形狀可以是球體，立方體，橢球體等。以簡(jiǎn)單的球體為例，為了獲得漸變的不透明度，需要定義一大一小兩個(gè)球體，小球體里面的像素為背景，大球體以外的像素為前景，介于兩者之間的像素屬于過(guò)度區(qū)域，不透明度在O到I之間變化。3D摳圖技術(shù)雖然能取得較好的效果，但是速度和人工交互仍然有待進(jìn)一步提高。
[0009]從以上分析可以看出，現(xiàn)有的藍(lán)屏摳圖技術(shù)在摳圖速度，摳圖質(zhì)量和人工交互上不能同時(shí)取得理想的效果，因此，對(duì)藍(lán)屏摳圖技術(shù)進(jìn)行深入研究是很有必要的。


【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種藍(lán)屏摳圖方法，通過(guò)在GPU中對(duì)視頻幀進(jìn)行藍(lán)屏摳圖處理，具有摳圖速度快，摳圖效果好，且不需要調(diào)整太多的參數(shù)和人工交互等優(yōu)點(diǎn)。
[0011]為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明一種藍(lán)屏摳圖方法，其特征在于，包括以下步驟:
[0012](I)、傳遞視頻到GPU
[0013]對(duì)GPU進(jìn)行初始化；在CPU端通過(guò)視頻輸入、輸出接口向GPU端申請(qǐng)紋理內(nèi)存、常量?jī)?nèi)存和全局內(nèi)存；
[0014]CPU端申請(qǐng)內(nèi)存成功后，再次通過(guò)視頻輸入、輸出接口將視頻幀傳遞到紋理內(nèi)存，將視頻的參數(shù)向量傳遞到常量?jī)?nèi)存，同時(shí)將選取的一幅背景合成圖像傳遞到全局內(nèi)存；
[0015](2)、GPU的并行計(jì)算線程塊對(duì)視頻進(jìn)行處理
[0016]從紋理內(nèi)存中讀取視頻幀，從常量?jī)?nèi)存中讀取視頻的參數(shù)向量到GPU的并行計(jì)算線程塊，在GPU的并行計(jì)算線程塊中分別對(duì)所有視頻幀進(jìn)行處理；
[0017](2.1)、提取背景色
[0018]將視頻的第一幀圖像作為藍(lán)屏圖像，再讀取視頻的參數(shù)向量得到藍(lán)屏圖像的結(jié)構(gòu)信息；
[0019]將視頻的第一幀圖像從RGB顏色空間轉(zhuǎn)換到轉(zhuǎn)換到HLS顏色空間，對(duì)HLS顏色空間中H通道的圖像顏色進(jìn)行顏色直方圖統(tǒng)計(jì)，將顏色直方圖中出現(xiàn)頻率最大的顏色作為背景色；
[0020](2.2)、獲取藍(lán)屏圖像的初始不透明度
[0021]參照步驟(2.1)得到的背景色，利用色差摳圖技術(shù)對(duì)藍(lán)屏圖像的每個(gè)像素點(diǎn)進(jìn)行不透明度處理，即通過(guò)公式a ' i = Iikey-MAXdi, I’)，得到a ' i，其中，i = 1，2，…，η，η表示藍(lán)屏圖像中像素點(diǎn)的個(gè)數(shù)，Iikey表示像素點(diǎn)在BRG空間內(nèi)與背景色相同的通道顏色值，
Ii,I’ i分別表示像素點(diǎn)在BRG空間內(nèi)另外兩個(gè)通道顏色值，所有的a / i組成一幅Trimap圖，再對(duì)Trimap圖中的每個(gè)像素點(diǎn)進(jìn)行二值化處理，得到每個(gè)點(diǎn)的初始不透明度Qi，所有的a i組成一幅初始不透明度圖像；
[0022](2.3)、利用藍(lán)屏圖像的梯度信息對(duì)初始不透明度圖像進(jìn)行邊緣補(bǔ)充
[0023]在RGB空間的藍(lán)屏圖像的梯度信息為:

【權(quán)利要求】
1.一種藍(lán)屏摳圖方法，其特征在于，包括以下步驟: (1)、傳遞視頻到GPU 對(duì)GPU進(jìn)行初始化；在CPU端通過(guò)視頻輸入、輸出接口向GPU端申請(qǐng)紋理內(nèi)存、常量?jī)?nèi)存和全局內(nèi)存； CPU端申請(qǐng)內(nèi)存成功后，再次通過(guò)視頻輸入、輸出接口將視頻幀傳遞到紋理內(nèi)存,將視頻的參數(shù)向量傳遞到常量?jī)?nèi)存，同時(shí)將選取的一幅背景合成圖像傳遞到全局內(nèi)存； (2)、GPU的并行計(jì)算線程塊對(duì)視頻進(jìn)行處理 從紋理內(nèi)存中讀取視頻幀，從常量?jī)?nèi)存中讀取視頻的參數(shù)向量到GPU的并行計(jì)算線程塊，在GPU的并行計(jì)算線程塊中分別對(duì)所有視頻幀進(jìn)行處理； (2.1)、提取背景色 將視頻的第一幀圖像作為藍(lán)屏圖像，再讀取視頻的參數(shù)向量得到藍(lán)屏圖像的結(jié)構(gòu)信息； 將視頻的幀圖像從RGB顏色空間轉(zhuǎn)換到轉(zhuǎn)換到HLS顏色空間，對(duì)HLS顏色空間中H通道的圖像顏色進(jìn)行顏色直方圖統(tǒng)計(jì)，將顏色直方圖中出現(xiàn)頻率最大的顏色作為背景色； (2.2)、獲取藍(lán)屏圖像的初始不透明度 參照步驟(2.1)得到的背景色，利用色差摳圖技術(shù)對(duì)藍(lán)屏圖像的每個(gè)像素點(diǎn)進(jìn)行不透明度處理，即通過(guò)公式a' i = Iikey-MMdi, I’i)，得到a ' i，其中，i = 1，2，…，η, η表示藍(lán)屏圖像中像素點(diǎn)的個(gè)數(shù)，Iilrey表示像素點(diǎn)在BRG空間內(nèi)與背景色相同的通道顏色值，Ii,I’i分別表示像素點(diǎn)在BRG空間內(nèi)另外兩個(gè)通道顏色值，所有的α，3且成一幅Trimap圖，再對(duì)Trimap圖中的每個(gè)像素點(diǎn)進(jìn)行二值化處理，得到每個(gè)點(diǎn)的初始不透明度Qi,所有的a i組成一幅初始不透明度圖像； (2.3)、利用彩色圖像的梯度信息對(duì)初始不透明度圖像進(jìn)行邊緣補(bǔ)充 在RGB空間的藍(lán)屏圖像的梯度信息為: 「I? "2
V) 二I 2[(&, +gw)+(g,x -g>；r)cos 1Θ + 2SxrSm2#]I Ca) θττ =Iarctan , 2gy—γ(b)
2 其中，F(xiàn)e(x，y)表示藍(lán)屏圖像的不透明度，0xy表示藍(lán)屏圖像在坐標(biāo)(x，y)處最大變化率的方向，gxx、gyy和gxy的計(jì)算公式如下:
SR 2 BG2 cS 2
*…................................0? 一: ,Λ-S
m.0x (\x
I1-> BR" SG - 55".X g = T + T + T⑷
ον oy cy
ΓΡ r.r； r.r； PR Γβ Afxi7 ~+ —+ —— w Xy^■/.%今?.ax ax cv ex cy 根據(jù)公式(b)得到Fe (x, y)兩個(gè)相隔90°的角度值，即公式(b)與兩個(gè)正交方向的每個(gè)像素點(diǎn)相關(guān)，則對(duì)于每個(gè)像素點(diǎn)，取Fe (x, y)兩個(gè)正交方向的角度值，將兩個(gè)角度值的最大值記為Fi ； 比較每個(gè)像素點(diǎn)的Fi值與a i值，取兩者之間的最大值作為每個(gè)像素點(diǎn)邊緣補(bǔ)充后的不透明度，即Ciinew = MAX(CiDFi),所有的Ciinrat組成一幅邊緣補(bǔ)充后的不透明度圖像； (2.4)、利用改進(jìn)的聯(lián)合雙邊濾波器對(duì)邊緣補(bǔ)充后的不透明度圖像進(jìn)行濾波優(yōu)化將邊緣補(bǔ)充后的不透明度圖像作為噪聲圖像，再將藍(lán)屏圖像的結(jié)構(gòu)信息傳遞到噪聲圖像中，通過(guò)改進(jìn)的聯(lián)合雙邊濾波器進(jìn)行濾波處理；
其中，函數(shù)/_ = ￡>技/2σ'2，指數(shù)中的丨_表示范數(shù)，σ s表示高斯核寬度參數(shù)；p表示一個(gè)像素點(diǎn)，Ω(ρ)表示以P為中心的鄰域窗口，q表示Ω(ρ)中的像素點(diǎn)，函數(shù)g{l)^e^!2e , t表示顏色差，t = I (p)-1 (q)表示兩個(gè)像素點(diǎn)在R、G、B通道的顏色差，I (P)表示輸入的RGB藍(lán)屏圖像中像素點(diǎn)P的顏色值，a (q)表示q像素點(diǎn)的邊緣補(bǔ)充后的不透明度，ajb(p)表示P像素點(diǎn)在進(jìn)行濾波之后的不透明度，通過(guò)對(duì)每個(gè)像素點(diǎn)進(jìn)行濾波優(yōu)化，得到最終的不透明度圖像； (2.5)、去除背景色溢出及圖像合成 將最終的不透明度圖像與藍(lán)屏圖像進(jìn)行與操作，得到前景圖像F，然后從GPU的全局內(nèi)存中讀取背景合成圖像，再與前景圖像通過(guò)合成方程C= aF+(l-a)B合成，得到初始合成圖像C，其中F代表前景圖像，B代表背景合成圖像，a代表最終的不透明度圖像； 將初始合成圖像C中的每個(gè)像素點(diǎn)在H通道的顏色值與背景色的顏色值進(jìn)行比較，如果它們的差異值小于1，即需要抑制背景色溢出，則通過(guò)式(e)來(lái)降低像素點(diǎn)的飽和度，f(hpixel) =AXsin(2 Ji X (hkey+(0.25_hpixel)))-(Α_1.5)(e) 其中，f(hpiMl)為飽和度的降低程度，hkey表示圖像中背景色的顏色值，‘^表示像素點(diǎn)的顏色值，A為常數(shù)； 如果像素點(diǎn)H通道的顏色值與背景色的顏色值的差異大于或等于1，則像素點(diǎn)的飽和度保持不變； 通過(guò)對(duì)初始合成圖像C中每一個(gè)像素點(diǎn)進(jìn)行處理，得到最終合成圖像，再將最終合成圖像回傳到CPU中緩存； 當(dāng)?shù)谝粠瑘D像處理完成后，按照步驟(2.1)~(2.5)處理繼續(xù)處理第二幀圖像，直到所有的視頻幀圖像處理完成后，通過(guò)視頻輸入、輸出接口將合成的圖像利用顯示設(shè)備顯示； (3)、內(nèi)存釋放 當(dāng)圖像顯示結(jié)束后釋放CPU和GPU上分配的內(nèi)存空間。
2.根據(jù)權(quán)利要求1所述的藍(lán)屏摳圖方法，其特征在于，所述的藍(lán)屏圖像結(jié)構(gòu)信息包括:圖像長(zhǎng)度、寬度以及像素點(diǎn)的個(gè)數(shù)。
3.根據(jù)權(quán)利要求1所述的藍(lán)屏摳圖方法，其特征在于，所述的二值化處理為:設(shè)閥值M，當(dāng)像素點(diǎn)的不透明度大于或等于閥值M時(shí)，將不透明度值設(shè)為O，即為背景，當(dāng)像素點(diǎn)的不透明度小于閾值M時(shí)，將不透明度值設(shè)為1，即前景。
【文檔編號(hào)】G06T7/00GK104200470SQ201410436813
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2014年8月29日 優(yōu)先權(quán)日:2014年8月29日
【發(fā)明者】胡紹湘, 詹肇楷, 陳奮 申請(qǐng)人:電子科技大學(xué)