欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種視頻分割中陰影的自適應(yīng)檢測及消除方法

文檔序號(hào):7750345閱讀:238來源:國知局
專利名稱:一種視頻分割中陰影的自適應(yīng)檢測及消除方法
技術(shù)領(lǐng)域
本發(fā)明涉及一種視頻分割中的處理方法,特別涉及一種自適應(yīng)的融合陰影邊緣特 性及空間位置特征來檢測并消除陰影的方法。
背景技術(shù)
以MPEG-4為代表的第二代視頻編碼標(biāo)準(zhǔn),其基于對象的編碼和交互功能促使語 義視頻對象(V0P)分割這一項(xiàng)挑戰(zhàn)性的難題,逐漸成為視頻處理領(lǐng)域中的研究熱點(diǎn)。視頻 對象分割技術(shù)作為視頻處理和視頻分析的關(guān)鍵環(huán)節(jié),不僅在模式識(shí)別、計(jì)算機(jī)視覺領(lǐng)域中 得到了廣泛應(yīng)用,而且在視頻檢索、視頻編碼、多媒體交互等新興領(lǐng)域中也越來越重要。在智能視頻監(jiān)控、交通監(jiān)控或視頻會(huì)議等許多應(yīng)用中,運(yùn)動(dòng)物體產(chǎn)生的陰影給運(yùn) 動(dòng)物體的準(zhǔn)確提取帶來了很大的困難。陰影具有兩個(gè)重要的視覺特征1.顯著地異于背景 被理解為前景;2.陰影與產(chǎn)生陰影的目標(biāo)具有相同的運(yùn)動(dòng)屬性。正是由于這兩個(gè)原因,陰 影很容易被誤檢為前景,從而導(dǎo)致目標(biāo)的合并和丟失,以及形狀的扭曲。因此,陰影的檢測 及消除非常有意義。目前,陰影的檢測主要有基于模型的方法和基于特征的方法?;谀P偷姆椒ɡ?用場景、目標(biāo)、光照條件的先驗(yàn)信息,建立陰影模型,對三維運(yùn)動(dòng)目標(biāo)模型的棱、線、角進(jìn)行 匹配,但是實(shí)際中這些先驗(yàn)信息不易得到,所以這類方法適用性差,算法時(shí)間復(fù)雜度較高, 通常在特定場景下使用,如航空圖像理解與視頻監(jiān)控;基于特征的方法直接采用圖像的亮 度、色度、飽和度、紋理、幾何特點(diǎn)等信息來進(jìn)行判斷。這種方法比較常用,但也存在一些 問題。比如采用基于顏色特征法時(shí),當(dāng)目標(biāo)與陰影顏色相似,利用色度不變性就會(huì)失效, 無法分辨出陰影。Cucchiara等將RGB顏色空間轉(zhuǎn)到HSV顏色空間中,并依據(jù)亮度變化 大于色度變化的準(zhǔn)則進(jìn)行陰影檢測及去除,對顏色信息依賴性很強(qiáng),適用范圍容易受限制 (參見 Cucchiara,R.,Grana,C.,Piccardi, M.,Prati,A.,Sirotti,S. Improving shadow suppression in moving object detection with HSV colorinformation[C]. 2001 IEEE Intelligent Transportation Systems ConferenceProceedings,Oakland,CA,USA,August 25-29,2001,334-339.)。Yinghua Lu等對可能陰影區(qū)的像素點(diǎn)進(jìn)行釆樣來估計(jì)整體陰影 的三個(gè)比值特征,計(jì)算量非常大(參見Yinghua Lu,Huijie Xin,Jun Kong, Bingbing Li, Yan Wang. Shadow removal basedon shadow direction and shadow attributes[C]. International Conference onComputational Intelligence for Modeling Control and Automation andlnternational Conference on Intelligent Agents Web Technologies andlnternational Commerce(CIMCA’ 06),Sydney,Australia,November 28-December 01, 2006,37)。潘翔在彩色分割的基礎(chǔ)上通過聯(lián)合藍(lán)波段信息和HIS空間信息進(jìn)行陰影檢測, 這種方法無法分離黑色物體和陰影,準(zhǔn)確性及魯棒性較差(參見潘翔.基于彩色信息和邊 緣特征的運(yùn)動(dòng)陰影檢測[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2004,38 (4) :389-391,407.)。針對基于特征的方法中存在的問題,本發(fā)明方法在HSV空間陰影檢測的基礎(chǔ)上, 利用陰影的邊緣特性和空間位置特征相結(jié)合的方法來消除陰影,該方法計(jì)算量小,易于實(shí)
5現(xiàn),尤其在色度不變性失效的情況下,能夠自適應(yīng)地定位陰影所在方位,并準(zhǔn)確剔除陰影, 保留完整的運(yùn)動(dòng)目標(biāo)。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是(1)視頻對象分割過程中陰影位置的自適應(yīng)檢測問題;(2)采用色度不變性抑制陰影無效時(shí),如何準(zhǔn)確剔除陰影,保留完整的運(yùn)動(dòng)目標(biāo)。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種自適應(yīng)的融合陰影邊緣特性及 空間位置特征檢測消除陰影的方法,包括以下步驟(1)運(yùn)動(dòng)變化檢測及運(yùn)動(dòng)模板的生成采用對稱幀累計(jì)幀差法大致檢測出運(yùn)動(dòng)變 化區(qū)域,通過靜止指數(shù)構(gòu)建運(yùn)動(dòng)模板;(2)背景模型的建立及更新通過亮度統(tǒng)計(jì)的方式建立背景模型,并結(jié)合步驟(1) 中生成的運(yùn)動(dòng)模板進(jìn)行背景模型的更新;(3)前景檢測及邊緣提取將采用背景差分法提取到的前景區(qū)域與灰度圖像的 Sobel邊緣檢測結(jié)果相融合,提取前景區(qū)域的邊緣;(4)陰影的檢測與剔除將步驟⑶中提取到的前景區(qū)域邊緣圖在HSV色彩空間 中進(jìn)行陰影抑制;再將邊緣圖分別向水平和垂直方向投影,通過統(tǒng)計(jì)邊緣點(diǎn)的分布情況來 確定陰影的大致位置及搜索方向;沿搜索方向在疑似陰影區(qū)域剔除虛假的邊緣鄰接點(diǎn),搜 索到真正的陰影與運(yùn)動(dòng)對象的邊緣鄰接位置;剔除陰影點(diǎn),對存留的運(yùn)動(dòng)目標(biāo)邊緣進(jìn)行填 充及適當(dāng)?shù)男螒B(tài)學(xué)處理。本發(fā)明與現(xiàn)有技術(shù)相比所具有的優(yōu)點(diǎn)在于本方法在傳統(tǒng)基于色度不變性理論的 陰影抑制方法的基礎(chǔ)上,采用邊緣點(diǎn)作為操作對象,計(jì)算量小,并且能根據(jù)邊緣點(diǎn)的分布情 況自適應(yīng)地定位陰影,尤其是在傳統(tǒng)方法失效的情況下,仍然能夠準(zhǔn)確剔除陰影點(diǎn),保留完 整準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。同時(shí),該方法較傳統(tǒng)方法更加可靠、魯棒性更強(qiáng)。


圖1是本發(fā)明一種視頻分割中陰影的自適應(yīng)檢測及消除方法的流程圖;圖2是“Table”視頻序列的前景提取結(jié)果;其中(a)表示“Table”視頻序列的第 1幀;(b)表示“Table”視頻序列第3幀;(c)表示去除陰影前“Table”視頻序列第1幀提 取到的Alpha平面;(d)表示去除陰影前“Table”視頻序列第3幀提取到的Alpha平面; (e)表示去除陰影前“Table”視頻序列第1幀提取到的視頻對象平面;(f)表示去除陰影前 “Table”視頻序列第3幀提取到的視頻對象平面;圖3是“Table”視頻序列前景邊緣提取結(jié)果;其中(a)表示去除陰影前“Table” 視頻序列第1幀前景邊緣提取結(jié)果;(b)表示去除陰影前“Table”視頻序列第3幀前景邊 緣提取結(jié)果;圖4是“Table”視頻序列前景邊緣圖在HSV空間陰影抑制后的結(jié)果;其中(a)表示 “Table”視頻序列第1幀前景邊緣圖在HSV空間陰影抑制后的結(jié)果;其中(b)表示“Table” 視頻序列第3幀前景邊緣圖在HSV空間陰影抑制后的結(jié)果;圖5是“Table”視頻序列第1幀經(jīng)HSV空間陰影抑制后的邊緣圖向水平和垂直方向投影的結(jié)果;其中(a)表示“Table”視頻序列第1幀經(jīng)HSV空間陰影抑制后的邊緣圖向 水平方向投影的結(jié)果;(b)表示“Table”視頻序列第1幀經(jīng)HSV空間陰影抑制后的邊緣圖 向垂直方投影結(jié)果;圖6是“Table”視頻序列第3幀經(jīng)HSV空間陰影抑制后的邊緣圖向水平和垂直方 向投影的結(jié)果;其中(a)表示“Table”視頻序列第3幀經(jīng)HSV空間陰影抑制后的邊緣圖向 水平方向投影的結(jié)果;(b)表示“Table”視頻序列第3幀經(jīng)HSV空間陰影抑制后的邊緣圖 向垂直方向投影的結(jié)果;圖7是“Table”視頻序列陰影去除結(jié)果對比圖;其中(a)表示“Table”視頻序列 第1幀經(jīng)HSV空間陰影抑制后提取的視頻對象平面;(b)表示“Table”視頻序列第3幀經(jīng) HSV空間陰影抑制后提取的視頻對象平面;(c)表示“Table”視頻序列第1幀采用本發(fā)明方 法剔除陰影后提取的視頻對象平面;(d)表示“Table”視頻序列第3幀采用本發(fā)明方法剔 除陰影后提取的視頻對象平面;圖8是“Table”視頻序列陰影去除結(jié)果對比圖;其中(a)表示“Silent”視頻序列 的第10幀;(b)表示“Silent”視頻序列的第13幀;(c)表示“Silent”視頻序列第10幀經(jīng) HSV空間陰影抑制后提取的視頻對象平面;(d)表示“Silent”視頻序列第13幀經(jīng)HSV空間 陰影抑制后提取的視頻對象平面;(e)表示“Silent”視頻序列第10幀采用本發(fā)明方法剔 除陰影后提取的視頻對象平面;(f)表示“Silent”視頻序列第13幀采用本發(fā)明方法剔除 陰影后提取的視頻對象平面;圖9是自拍視頻序列采用本發(fā)明方法去除陰影后視頻對象的提取結(jié)果;其中(a) 表示“Men”視頻序列的第4幀;(b)表示“Men”視頻序列的第93幀;(c)表示“Men”視頻序 列的第4幀采用本發(fā)明方法剔除陰影后提取的視頻對象平面;(d)表示“Men”視頻序列的 第93幀采用本發(fā)明方法剔除陰影后提取的視頻對象平面;(e)表示“Wait”視頻序列的第 54幀;(f)表示“Wait”視頻序列的第58幀;(g)表示“Wait”視頻序列的第54幀采用本發(fā) 明方法剔除陰影后提取的視頻對象平面;(h)表示“Wait”視頻序列的第58幀采用本發(fā)明 方法剔除陰影后提取的視頻對象平面;圖10是Table視頻序列的前15幀采用本發(fā)明方法和僅通過HSV空間陰影抑制后 視頻對象提取結(jié)果的SA對比圖;圖11是Silent視頻序列的前15幀采用本發(fā)明方法和僅通過HSV空間陰影抑制 后視頻對象提取結(jié)果的SA對比圖。
具體實(shí)施例方式下面結(jié)合附圖及具體實(shí)施方式
進(jìn)一步詳細(xì)介紹本發(fā)明。本發(fā)明視頻分割中一種陰影的自適應(yīng)檢測及消除方法,包括以下步驟步驟1.運(yùn)動(dòng)變化檢測及運(yùn)動(dòng)模板的生成采用對稱幀累計(jì)幀差法大致檢測出運(yùn) 動(dòng)變化區(qū)域,通過靜止指數(shù)構(gòu)建運(yùn)動(dòng)模板。設(shè)視頻序列灰度化后fk(x,y)、fk+s (x, y)分別表示點(diǎn)(x,y)在第k幀、第k+ 6幀
的像素值,S為對稱幀距,則第k幀的累計(jì)幀差結(jié)果dk(x,y),即運(yùn)動(dòng)變化區(qū)域,可表示為 其中1\,T2為幀差閾值,其取值根據(jù)視頻序列中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度、幅度,以及 噪聲分布情況來選取,具體實(shí)現(xiàn)時(shí)可通過多次實(shí)驗(yàn)來確定。abs()為取絕對值操作。幀差累 計(jì)雖然在一定程度上反映了運(yùn)動(dòng)目標(biāo)的輪廓及區(qū)域,但是也反映了累計(jì)的噪聲。因此,需要 進(jìn)行一定的濾波去噪處理。在去噪處理之后,本發(fā)明提出一種通過靜止指數(shù)獲取運(yùn)動(dòng)模板的方法。具體思路 為首先根據(jù)實(shí)時(shí)性的要求,選取去噪后的一段視頻序列(也可以是整個(gè)視頻序列),假設(shè) *n_NumFrame幀,每幀的尺寸為Width X Height ;然后遍歷所有幀,統(tǒng)計(jì)像素點(diǎn)(X,Y)在11_ NumFrame幀內(nèi)處于靜止?fàn)顟B(tài)的次數(shù)n_StatiC (X,Y),即靜止指數(shù);最后判斷該像素點(diǎn)的靜 止指數(shù)n_Static(X,Y)是否達(dá)到0. 93Xn_NumFrame,若達(dá)到,則標(biāo)記像素點(diǎn)(X,Y)為前景 點(diǎn),否則為背景點(diǎn),從而得該視頻段內(nèi)的運(yùn)動(dòng)模板PMask (X,Y),即if (dk(x, y) == 255) n_Static (X,Y) = n_Static (X,Y) +1其中(x,X∈
;y, Y ∈
;k ∈ [1,n_\NumFrame]) 步驟2.背景模型的建立及更新通過亮度統(tǒng)計(jì)的方式建立背景模型,并結(jié)合步驟 1中生成的運(yùn)動(dòng)模板進(jìn)行背景模型的更新。背景模型的獲取最簡單的方法是在場景沒有運(yùn)動(dòng)目標(biāo)的情況下獲得,但在實(shí)際應(yīng) 用中很難滿足這種要求,因此需要有一種方法能夠在場景存在運(yùn)動(dòng)目標(biāo)的情況下自適應(yīng)地 獲取背景并及時(shí)更新。本發(fā)明方法采用統(tǒng)計(jì)建模的方法來構(gòu)建背景模型。具體的建模策略 為首先,統(tǒng)計(jì)在ruNumFrame內(nèi)像素點(diǎn)(X,Y)處每種像素值出現(xiàn)的次數(shù),然后,將在該點(diǎn)處 出現(xiàn)頻率最高的像素值作為該點(diǎn)的背景像素值BkgroimcKX,Y)。設(shè)n_NumFrame幀內(nèi)像素點(diǎn)(X,Y)處出現(xiàn)的像素值用集合G(X,Y)表示G (X,Y) = {G,, G2. . Gk | 0 < k ≤ n_NumFrame)則該點(diǎn)的背景像素Bkground(X, Y) = {Gt \ Count (Gj ≥ Count (Gj), 0 < i ≤ k,j = 1,2. i-l, i+1,…k}其中Count ()為取像素個(gè)數(shù)操作。結(jié)合權(quán)利要求2中生成的運(yùn)動(dòng)模板PMask(X,Y)進(jìn)行背景更新,將非運(yùn)動(dòng)區(qū)域的背 景像素用當(dāng)前幀對應(yīng)像素值fn(x,y)替換,運(yùn)動(dòng)區(qū)域點(diǎn)背景像素值用Bkgr0imd(X,Y)替換。 則第n幀(x,y)處的背景更新為 其中Bkgr0imdn(X,y)表示第n幀點(diǎn)(x,y)背景更新后的像素值,fn(x, y)為原始 視頻序列中第n幀點(diǎn)(x,y)處的像素值。步驟3.前景檢測及邊緣提取將采用背景差分法提取到的前景區(qū)域與灰度圖像 的Sobel邊緣檢測結(jié)果相融合,提取前景區(qū)域的邊緣。在上述步驟完成的基礎(chǔ)上就可以采用背景差法提取運(yùn)動(dòng)目標(biāo)pV0Palphan(x, y) = (abs) (fn(x, y) -Bkgroundn(x, y))然后進(jìn)行二值化及適當(dāng)?shù)男螒B(tài)學(xué)開閉操作,得到較為完整的運(yùn)動(dòng)目標(biāo),圖2為Table視頻序列第1、3幀運(yùn)動(dòng)目標(biāo)提取結(jié)果。從圖2中可以明顯的看到,運(yùn)動(dòng)目標(biāo)本身比較完整,但是陰影也被誤認(rèn)為運(yùn)動(dòng)目 標(biāo)而檢測出來,使得提取結(jié)果發(fā)生了嚴(yán)重的誤檢。所以,必須在此基礎(chǔ)上消除陰影。圖3為圖2中第1、3幀提取到的前景進(jìn)行邊緣檢測及二值顯化的結(jié)果。通過大量的實(shí)驗(yàn)及觀察,可以發(fā)現(xiàn)陰影的邊緣信息與目標(biāo)邊緣信息相比較而言, 陰影的邊緣信息較為簡單,并集中在外輪廓上?;陉幱斑吘壍倪@種特性,本發(fā)明嘗試在提 取邊緣(包括運(yùn)動(dòng)目標(biāo)和陰影的邊緣)的基礎(chǔ)上檢測并剔除陰影邊緣,然后根據(jù)保留的邊 緣重構(gòu)運(yùn)動(dòng)目標(biāo)。這種方法能大大減少計(jì)算量,易于陰影的檢測。步驟4.陰影的檢測與剔除將步驟3中提取到的前景區(qū)域邊緣圖在HSV色彩空間 中進(jìn)行陰影抑制;再將邊緣圖分別向水平和垂直方向投影,通過統(tǒng)計(jì)邊緣點(diǎn)的分布情況來 確定陰影大致位置及搜索方向;沿搜索方向在疑似陰影區(qū)域剔除虛假的邊緣鄰接點(diǎn),搜索 到真正的陰影與運(yùn)動(dòng)對象的邊緣鄰接位置;剔除陰影點(diǎn),對存留的運(yùn)動(dòng)目標(biāo)邊緣進(jìn)行填充 及適當(dāng)?shù)男螒B(tài)學(xué)處理?,F(xiàn)有的基于顏色特征的陰影檢測法主要集中在RGB空間或HSV空間。在RGB空間 中,人的感知差別和計(jì)算差別一致性很差,并且RGB三分量具有互相關(guān)性,所以檢測效果較 差。而在HSV顏色空間中具有較好的顏色感知一致性,能夠精確地反映灰度和色彩信息。 在陰影檢測時(shí),相對于背景區(qū)域來說,V分量會(huì)變小,發(fā)生較大的變化,是判別陰影的重要參 數(shù),S分量具有較低的值,同背景的差異為負(fù),H分量通常不會(huì)變化。本發(fā)明在陰影檢測與剔 除時(shí),首先采用基于HSV色彩空間的方法進(jìn)行初步剔除。具體方法如下 式中a,0,TS,TH分別表示亮度、飽和度、色度分量的閾值,一般0 < a < 0 < 1。在視頻序列Table中,選取a = 0. 1,3 = 0. 9,Ts = TH = 0. 2,則第1、3幀去除 陰影后如圖4所示。從圖4中可以分析出在HSV空間剔除陰影時(shí),一般情況下能取得較好的結(jié)果,但是 當(dāng)背景的亮度較低時(shí),陰影覆蓋上后亮度變化很小,部分陰影會(huì)很難去除。同時(shí),運(yùn)動(dòng)目標(biāo) 中部分像素點(diǎn)也會(huì)被錯(cuò)誤剔除。針對這兩種情況,本發(fā)明在HSV空間陰影檢測的基礎(chǔ)上提 出一種融合空間位置的陰影去除方法。前面提到,在背景紋理信息不復(fù)雜的情況下,大部分的陰影區(qū)域內(nèi)部邊緣較少,邊 緣信息主要集中在外輪廓上。所以,在經(jīng)過HSV空間陰影去除后,未檢測到的陰影的外輪廓 更加稀疏。另外,通過大量觀察發(fā)現(xiàn),陰影的外輪廓一般與運(yùn)動(dòng)目標(biāo)是鄰接的。以上提到的 這兩點(diǎn)分別為陰影的邊緣特性及空間特性。我們可以首先通過空間特性采用比重法定位陰 影的大致位置,然后通過邊緣特性精確判斷陰影位置像素的分布情況來進(jìn)一步去除殘留的 陰影。其具體的實(shí)現(xiàn)步驟如下1.首先將初步去除陰影后的邊緣視頻序列pV0Palphan(X,y)的每幀進(jìn)行水平和垂 直方向的投影,然后,從左到右,從上到下統(tǒng)計(jì)邊緣圖像中縱向和橫向的像素分布情況。if (pV0Palphan(x, y) = = 255)Horizontaln[i] = Horizontaln[i]+1 ;
Verticaljj] = VerticalJ j]+1 ;(i G
,j G
,n G [1,n_NumFrame])其中,Horizontalji]表示第n邊緣圖向水平方向投影后第i行被標(biāo)記為目標(biāo)點(diǎn) 的個(gè)數(shù),Verticaljj]表示第n邊緣圖向垂直方向投影后第j列被標(biāo)記為目標(biāo)點(diǎn)的個(gè)數(shù)。 Table視頻序列第1、3幀的橫向和縱向像素的分布情況如圖5和圖6所示。2.判斷陰影的大致位置,確定搜索方向。找到HorizontaIJi]不為0時(shí)i對應(yīng)的 最小值in,min和最大值in,max,及Verticaln[j]不為0時(shí)j對應(yīng)的最小值jn, min和最大值jn, _。陰影的大致位置及搜索方向的對應(yīng)關(guān)系如表1所示 表1陰影位置與搜索方向的對應(yīng)關(guān)系其中定義如下: 3.按照搜索方向及步驟1中的縱向、橫向統(tǒng)計(jì)結(jié)果分別搜索縱向和橫向可能的陰 影與運(yùn)動(dòng)目標(biāo)的鄰接位置,搜索策略為對HorizontaIJi] (i G
),如果不為 0且與之相鄰的后4個(gè)值均小于10,則認(rèn)為i為可能的縱向鄰接點(diǎn);如果該值為0,則繼續(xù) 向下搜索。對Verticaln[j] (j G
),如果不為0且與之相鄰的后4個(gè)值均小于 10,則認(rèn)為j為可能的橫向鄰接點(diǎn);如果該值為0,則繼續(xù)向下搜索。4.當(dāng)搜索到步驟3中所指的可能的i或j時(shí),實(shí)際上,i或j很可能為運(yùn)動(dòng)目標(biāo)的
Height
尖點(diǎn)位置,所以必須通過比重法進(jìn)一步確認(rèn)如果^ Horizontal^] <T,,則認(rèn)為i < k
k=i Height-、
〈Height之間含有陰影,轉(zhuǎn)入執(zhí)行步驟5;如果;^ /fon_ZO to/ [A:]k:r3,則認(rèn)為i處僅僅
k-i
Width-]
是運(yùn)動(dòng)目標(biāo)的尖點(diǎn)位置,需返回步驟3繼續(xù)搜索;如果2; Vertical^j]<T4,則認(rèn)為j < k
k=J
Width-\
< Width之間含有陰影,則轉(zhuǎn)入執(zhí)行步驟5 ;如果;S ^rticaln[j] > T4,則認(rèn)為j處僅僅是運(yùn)
動(dòng)目標(biāo)的尖點(diǎn)位置,需返回步驟3繼續(xù)搜索。5.陰影位置確定后,統(tǒng)計(jì)陰影所在區(qū)域的橫向和縱向每一行及每一列的像素值,若存在像素滿足設(shè)定比例的情況則在邊緣圖中去除該點(diǎn)(即將該點(diǎn)置為0)。注意,這里是 對進(jìn)行HSV空間陰影抑制前提取出的邊緣圖進(jìn)行陰影點(diǎn)的剔除,這也正是保持運(yùn)動(dòng)目標(biāo)提 取完整的關(guān)鍵所在。6.對存留的運(yùn)動(dòng)目標(biāo)邊緣進(jìn)行適當(dāng)?shù)奶畛浼靶螒B(tài)學(xué)處理,通過alpha平面映射得 到視頻對象平面。為了驗(yàn)證方法的有效性,本發(fā)明方法選取了含運(yùn)動(dòng)陰影的兩類視頻序列(如表2 所示)進(jìn)行了實(shí)驗(yàn)。 表2進(jìn)行實(shí)驗(yàn)的兩類視頻參數(shù)圖7為Table視頻序列的第1、3幀僅采用HSV空間陰影抑制法和采用本發(fā)明方法 進(jìn)行陰影去除的結(jié)果對比圖。圖8為Slient視頻序列的第10、13幀僅采用HSV空間陰影 抑制法和采用本發(fā)明方法進(jìn)行陰影去除的結(jié)果對比圖。圖7視頻序列中背景和運(yùn)動(dòng)目標(biāo)對比度明顯,但是當(dāng)陰影覆蓋到背景上后亮度變 化并不大,這時(shí)如果仍然只采用HSV陰影檢測法會(huì)導(dǎo)致一部分陰影邊緣未被檢測出來而被 誤檢為運(yùn)動(dòng)目標(biāo)。圖8不僅陰影覆蓋到背景上后亮度變化小,而且背景復(fù)雜、與運(yùn)動(dòng)目標(biāo)色 彩很相近,這樣不僅色彩不變性失效導(dǎo)致陰影漏檢誤檢,還會(huì)使部分運(yùn)動(dòng)目標(biāo)的邊緣被誤 檢為陰影而剔除。從上面的對比圖中可以看出,本發(fā)明方法很好地克服了這些缺點(diǎn),成功地 檢測出完整準(zhǔn)確的運(yùn)動(dòng)目標(biāo),具有較強(qiáng)的魯棒性。為了進(jìn)一步驗(yàn)證本發(fā)明方法對陰影方向的自適應(yīng)性,自行拍攝了兩種含不同方向 陰影的視頻序列進(jìn)行實(shí)驗(yàn)。其結(jié)果如圖9所示。為了客觀評價(jià)本發(fā)明方法的正確性和有效性,我們采用在MPEG-4核心實(shí)驗(yàn)中由 Wollborn等提出的評價(jià)準(zhǔn)則進(jìn)行評價(jià)。該準(zhǔn)則定義每幀的分割對象掩膜的空間準(zhǔn)確度 SA (spatial accuracy)為 式中,和分別表示第t幀的參考分割和實(shí)際分割算法所得到的對 象模板; 代表二值的“異或”操作。SA的取值范圍為W,l]??臻g準(zhǔn)確度反映了每一幀的 分割結(jié)果與參考分割模板之間的形狀相似程度。SA越接近于1,表明分割越準(zhǔn)確;SA越接 近于0,表明分割越不準(zhǔn)確。我們通過手工方式來獲取參考分割的對象模板。圖10和圖11分別為Table視頻 序列和Silent視頻序列的前15幀采用本發(fā)明方法和僅通過HSV空間陰影抑制后視頻對象 提取的結(jié)果SA對比圖。
從圖10中可以看出,如果僅采用HSV空間陰影抑制法去除陰影,Table視頻序列 的前15幀對象提取的精度只在0. 11 0. 38之間,提取準(zhǔn)確度非常差,結(jié)果無法使用。而 采用本發(fā)明方法去除陰影能夠?qū)⑻崛【缺3衷?. 62 0. 80之間,達(dá)到了比較滿意的效 果。同樣,圖11中也顯示出采用本發(fā)明方法Silent視頻序列的提取結(jié)果更加精確,每幀的 準(zhǔn)確度都在0. 90以上。表3、表4分別是自拍視頻序列Men和Wait的前14幀采用本發(fā)明方法進(jìn)行陰影剔 除的結(jié)果精確度。 表3視頻序列Men前14幀采用本發(fā)明方法進(jìn)行陰影剔除的結(jié)果精確度 表4視頻序列Wait前14幀采用本發(fā)明方法進(jìn)行陰影剔除的結(jié)果精確度
以上實(shí)驗(yàn)表明,本發(fā)明方法與其它方法相比,在采用色度不變性準(zhǔn)則失效或背景 與運(yùn)動(dòng)目標(biāo)顏色相近的情況下,仍然能準(zhǔn)確地定位陰影的方位,對各個(gè)方向的陰影都能較 好地去除,同時(shí)保持運(yùn)動(dòng)目標(biāo)的完整性。實(shí)驗(yàn)證明,該方法計(jì)算量小,魯棒性強(qiáng)。
權(quán)利要求
應(yīng)用于視頻對象分割中的一種陰影的自適應(yīng)檢測及消除方法,其特征在于包括以下步驟(1)運(yùn)動(dòng)變化檢測及運(yùn)動(dòng)模板的生成采用對稱幀累計(jì)幀差法大致檢測出運(yùn)動(dòng)變化區(qū)域,通過靜止指數(shù)構(gòu)建運(yùn)動(dòng)模板;(2)背景模型的建立及更新通過亮度統(tǒng)計(jì)的方式建立背景模型,并結(jié)合步驟(1)中生成的運(yùn)動(dòng)模板進(jìn)行背景模型的更新;(3)前景檢測及邊緣提取將采用背景差分法提取到的前景區(qū)域與灰度圖像的Sobel邊緣檢測結(jié)果相融合,提取前景區(qū)域的邊緣;(4)陰影的檢測與剔除將步驟(3)中提取到的前景區(qū)域邊緣圖在HSV色彩空間中進(jìn)行陰影抑制;再將邊緣圖分別向水平和垂直方向投影,通過統(tǒng)計(jì)邊緣點(diǎn)的分布情況來確定陰影大致位置及搜索方向;沿搜索方向在疑似陰影區(qū)域剔除虛假的邊緣鄰接點(diǎn),搜索到真正的陰影與運(yùn)動(dòng)對象的邊緣鄰接位置;剔除陰影點(diǎn),對存留的運(yùn)動(dòng)目標(biāo)邊緣進(jìn)行填充及適當(dāng)?shù)男螒B(tài)學(xué)處理。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于所述步驟(1)的運(yùn)動(dòng)變化檢測及運(yùn)動(dòng)模板 的生成,主要內(nèi)容包括先計(jì)算對稱幀的累計(jì)幀差,進(jìn)行噪聲抑制后,統(tǒng)計(jì)每個(gè)像素點(diǎn)在整 個(gè)視頻序列中處于靜止的次數(shù),即靜止指數(shù),然后建立運(yùn)動(dòng)模板;具體步驟如下⑴設(shè)視頻序列灰度化后fk(x, y)、fk+5 (χ, y)分別表示點(diǎn)(χ, y)在第k幀、第k+ δ幀 的像素值,δ為對稱幀距,則第k幀的累計(jì)幀差結(jié)果dk(x,y),即運(yùn)動(dòng)變化區(qū)域,可表示為 [255 if(abs(fk+s (χ, y) - fk (χ,力)> ^ 11 abs{fk_s (χ, y) — fk (χ, y)) > T2) =else其中T1, T2為幀差閾值,其取值根據(jù)視頻序列中運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)速度、幅度,以及噪聲 分布情況來選取,具體實(shí)現(xiàn)時(shí)可通過多次實(shí)驗(yàn)來確定。abs()為取絕對值操作;( )獲取靜止指數(shù),建立運(yùn)動(dòng)模板首先,根據(jù)實(shí)時(shí)性的要求,選取去噪后的一段視頻 序列,假設(shè)共n_NumFrame幀,每幀的尺寸為WidthXHeight ;然后,遍歷該段視頻序列內(nèi)的 所有幀,統(tǒng)計(jì)像素點(diǎn)(X,Y)在!^燦??!^儀!^幀內(nèi)處于靜止?fàn)顟B(tài)的次數(shù)n_StatiC(X,Y),即靜止 指數(shù);最后判斷該像素點(diǎn)的靜止指數(shù)n_Static(X,Y)是否達(dá)到0. 93Xn_NumFrame,若達(dá)到, 則標(biāo)記像素點(diǎn)(X,Y)為前景點(diǎn),否則為背景點(diǎn),從而得到該視頻段內(nèi)的運(yùn)動(dòng)模板PMask(X, Y),即 其中(
3.根據(jù)權(quán)利要求1所述的方法,其特征在于所述步驟(2)的背景模型的建立及更新,其 具體步驟如下⑴設(shè)像素點(diǎn)(X,Y)在!^!!!^!^!^幀內(nèi)出現(xiàn)的像素值用集合G(X,Y)表示, 則該點(diǎn)的背景像素 其中CoimtO為取像素個(gè)數(shù)操作;( )結(jié)合權(quán)利要求2中生成的運(yùn)動(dòng)模板PMask(X,Y)進(jìn)行背景更新,將非運(yùn)動(dòng)區(qū)域的背景像素值用當(dāng)前幀對應(yīng)像素值替換,運(yùn)動(dòng)區(qū)域點(diǎn)背景像素值用(i)中生成的背景像素值Bkground (X, Y)替換;即第η幀(x,y)處的背景更新為 其中Bkgroimdn(x,y)表示第η幀點(diǎn)(x,y)背景更新后的像素值,fn(x, y)為原始視頻 序列中第η幀點(diǎn)(X,y)處的像素值。
4.根據(jù)權(quán)利要求1所述的方法,其特征在于所述步驟(4)的陰影位置及搜索方向的確 定方法,具體包括在背景紋理信息不復(fù)雜的情況下,大部分的陰影區(qū)域內(nèi)部邊緣較少,邊緣信息主要集 中在外輪廓上;所以,在經(jīng)過HSV空間陰影去除后,未檢測到的陰影的外輪廓更加稀疏;另外,通過大量觀察發(fā)現(xiàn),陰影的外輪廓一般與運(yùn)動(dòng)目標(biāo)是鄰接的;利用上述兩點(diǎn)提到陰影的 邊緣特性及空間特性,可以大致確定陰影的位置及搜索方向;假設(shè)在HSV空間進(jìn)行陰影抑制后的邊緣視頻序列為pVOPalphaJx,y),將該邊緣視頻序 列的每幀分別向水平和垂直方向進(jìn)行投影,然后,從左到右,從上到下統(tǒng)計(jì)邊緣圖像中縱向 和橫向的像素分布情況 其中,Horizontalji]表示第η幀邊緣圖向水平方向投影后第i行被標(biāo)記為目標(biāo)點(diǎn)的 個(gè)數(shù),VerticalJj]表示第η幀邊緣圖向垂直方向投影后第j列被標(biāo)記為目標(biāo)點(diǎn)的個(gè)數(shù); 找到HorizontaIJi]不為O時(shí)i對應(yīng)的最小值in,min和最大值in, max,及Verticaln[j] 不為O時(shí)j對應(yīng)的最小值jn,min和最大值jn,max ;陰影的大致位置及搜索方向的對應(yīng)關(guān)系如 下表所示
5.根據(jù)權(quán)利要求1所述的方法,其特征在于所述步驟(4)的陰影與運(yùn)動(dòng)物體邊緣鄰接 位置的確定方法按照搜索方向及縱向、橫向統(tǒng)計(jì)結(jié)果分別搜索縱向和橫向可能的陰影與運(yùn)動(dòng)目標(biāo)的鄰 接位置,搜索策略為對HorizontaIJi] (i e [O, Height-1]),如果不為O且與之相鄰的 后4個(gè)值均小于10,則認(rèn)為i為可能的縱向鄰接點(diǎn);如果該值為0,則繼續(xù)向下搜索。對 Verticaljj] (j e
),如果不為0且與之相鄰的后4個(gè)值均小于10,則認(rèn)為j 為可能的橫向鄰接點(diǎn);如果該值為0,則繼續(xù)向下搜索。
6.根據(jù)權(quán)利要求1所述的方法,其特征在于所述步驟(4)的虛假鄰接點(diǎn)剔除方法,具體 包括當(dāng)搜索到權(quán)利5中所指的可能的i或j時(shí),實(shí)際上,i或j很可能為運(yùn)動(dòng)目標(biāo)的尖點(diǎn)位置,所以必須通過比重法進(jìn)一步確認(rèn)如果 ,則認(rèn)為i<k〈Height之間含有陰影;如果 ;,則認(rèn)為i處僅僅是運(yùn)動(dòng)目標(biāo)的尖點(diǎn)位置,需重新搜索;如果 ,則認(rèn)為j < k < Width之間含有陰影;如果 ;,則認(rèn)為j處僅僅是運(yùn)動(dòng)目標(biāo)的尖點(diǎn)位置,需重新搜索。
全文摘要
本發(fā)明公開了視頻對象分割中一種陰影的自適應(yīng)檢測及消除方法,包括如下步驟首先,采用累計(jì)幀差大致檢測出運(yùn)動(dòng)變化區(qū)域,通過靜止指數(shù)構(gòu)建運(yùn)動(dòng)模板;然后,統(tǒng)計(jì)亮度信息建立背景模型并結(jié)合運(yùn)動(dòng)模板進(jìn)行更新,采用背景差分及Sobel算子檢測前景及其邊緣;將檢測到的邊緣圖像分別進(jìn)行水平和垂直投影,統(tǒng)計(jì)邊緣圖像分布情況并結(jié)合陰影邊緣特性及空間位置大致確定陰影位置和搜索方向;最后,沿搜索方向在疑似陰影區(qū)域采用比重法精確定位陰影點(diǎn),從而準(zhǔn)確去除陰影。本發(fā)明所公布的陰影檢測及消除方法結(jié)合了陰影的邊緣及空間位置特性,計(jì)算量小,魯棒性強(qiáng),在色度不變性失效的情況下,仍然能夠自適應(yīng)地定位陰影區(qū)域,并準(zhǔn)確剔除陰影點(diǎn)。
文檔編號(hào)H04N5/14GK101854467SQ201010188469
公開日2010年10月6日 申請日期2010年5月24日 優(yōu)先權(quán)日2010年5月24日
發(fā)明者祝世平, 馬麗 申請人:北京航空航天大學(xué)
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1
永德县| 临夏县| 南投市| 绵竹市| 平顶山市| 醴陵市| 凌海市| 离岛区| 黑河市| 邛崃市| 牡丹江市| 乐清市| 桓台县| 台中市| 慈利县| 广西| 宁津县| 峨眉山市| 东源县| 来安县| 屏东市| 黎川县| 宁德市| 布拖县| 无极县| 滕州市| 含山县| 怀柔区| 虹口区| 石阡县| 本溪市| 金昌市| 泌阳县| 琼结县| 天祝| 东乌| 循化| 宣城市| 都江堰市| 鹰潭市| 镇巴县|