專利名稱：一種視頻信號(hào)的關(guān)注度分析系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及視頻信號(hào)的關(guān)注度分析系統(tǒng)。
背景技術(shù)：
視覺(jué)關(guān)注度模型通過(guò)模擬人眼對(duì)場(chǎng)景圖像的感知機(jī)理，找到圖像/視頻中人眼感 興趣的區(qū)域，目前其已廣泛的應(yīng)用于人眼關(guān)注點(diǎn)搜索、圖像分割、圖像壓縮、圖像自適應(yīng)剪 切、視頻對(duì)象跟蹤、視頻檢索、視頻編碼、3D場(chǎng)景透視等領(lǐng)域。1980年美國(guó)普林斯頓大學(xué)心理學(xué)教授Arme Treisman在文獻(xiàn)1中通過(guò)對(duì)人眼視 覺(jué)系統(tǒng)進(jìn)行模擬實(shí)驗(yàn)得出顏色、方向和亮度是人類視覺(jué)系統(tǒng)最關(guān)注的特征，并在此基礎(chǔ)上 提出了特征融合的理論，它是人類視覺(jué)模型的一個(gè)重要的理論基礎(chǔ)。1998年，Itti等人在 文獻(xiàn)2中對(duì)視覺(jué)注意中的選擇和轉(zhuǎn)移工作機(jī)制進(jìn)行了開(kāi)創(chuàng)性的研究，提出了可計(jì)算的視覺(jué) 注意模型框架，采用特征融合的方式計(jì)算關(guān)注度圖，并將關(guān)注度值大的區(qū)域作為關(guān)注區(qū)域。 2003年，Itti在文獻(xiàn)3中，結(jié)合圖像關(guān)注度模型，并通過(guò)考慮前后2幀視頻信號(hào)的運(yùn)動(dòng)特征 和閃爍特征，提出視頻信號(hào)的關(guān)注度模型。但是Itti模型僅用了前后2幀進(jìn)行運(yùn)動(dòng)參數(shù)的 提取，能夠捕獲的物體速度范圍有限，當(dāng)運(yùn)動(dòng)物體速度較慢時(shí)容易造成漏判。另外，其基于 幀差法的運(yùn)動(dòng)特征檢測(cè)，容易將活動(dòng)物體的內(nèi)部標(biāo)識(shí)成低關(guān)注度區(qū)域，從而造成誤判。2005年，Wen-Huang Cheng在文獻(xiàn)4中，針對(duì)Itti模型對(duì)緩慢運(yùn)動(dòng)處理不佳的缺 點(diǎn)，將視頻序列分段，利用中值濾波得到時(shí)間分段的關(guān)注度圖，但這種方法對(duì)于運(yùn)動(dòng)劇烈的 序列效果不好。另外，2009年Chang Liu等在文獻(xiàn)5中，利用像素的統(tǒng)計(jì)模型將空域關(guān)注度 和時(shí)域關(guān)注度融合，從而解決當(dāng)運(yùn)動(dòng)物體速度較慢時(shí)容易造成漏判的問(wèn)題，但是其前提條 件是統(tǒng)計(jì)窗口必須和前景對(duì)象的大小匹配，因此在實(shí)際應(yīng)用中并不具備普適性。本發(fā)明專利申請(qǐng)通過(guò)利用多幀參考，對(duì)傳統(tǒng)方法的運(yùn)動(dòng)特征提取進(jìn)行了擴(kuò)展，使 得運(yùn)動(dòng)特征在時(shí)域上包含更多的尺度，能更精確的描述前景對(duì)象的運(yùn)動(dòng)信息，減少漏判的 可能性。同時(shí)，該系統(tǒng)在關(guān)注度計(jì)算模塊中，用空域關(guān)注度圖對(duì)運(yùn)動(dòng)關(guān)注度進(jìn)行了增強(qiáng)，解 決了傳統(tǒng)方法將活動(dòng)物體的內(nèi)部標(biāo)識(shí)成低關(guān)注度區(qū)域的問(wèn)題。實(shí)驗(yàn)結(jié)果表明，在關(guān)注區(qū)域 提取的準(zhǔn)確率上，該系統(tǒng)較傳統(tǒng)方法有大幅提高。文獻(xiàn) 1 :Treisman，Α. Μ. Gelade G. “A feature-integration theory of attention.，，CognitivePsychology，vol. 12，no. 1, pp. 97-136，1980.文 獻(xiàn) 2 :L Itti，C. Koch, E. Niebur. “A model of saliency-based visual attention for rapidscene analysis. “ IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 20，no. 11，pp. 1254—1259，Nov. 1998.文 獻(xiàn) 3 :L· Itti, N. Dhavale, F· Pighin，"Realistic avatar eye and head animation using aneurobiological model of visual attention.，，In Proceedings of SPIE 48th Annual InternationalSymposium on Optical Science and Technology, vol. 5200，pp.64-78August，2003.文 ^ 4 :W. H. Cheng, W. T. Chu, J. L. Wu. “A visual attention based
5region-of-interestdetermination framework for video sequences. ”IEICE Transaction on Information and Systems, vol. 88, no.7,pp.1578-1586,2005.文獻(xiàn)5 :Chang Liu, PongC. Yuen, Guoping Qiu,"Object motion detection using informationtheoretic spatio-temporal saliency,，，Pattern Recognition, vol.42, issue 11，pp.2897-2906，2009.

發(fā)明內(nèi)容
針對(duì)上述存在的技術(shù)問(wèn)題，本發(fā)明的目的是提供一種視頻信號(hào)的關(guān)注度分析系 統(tǒng)，找到視頻中人眼感興趣的區(qū)域，從而為后續(xù)的視頻處理奠定基礎(chǔ)。為達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案一種視頻信號(hào)的關(guān)注度分析系統(tǒng)，包括-基于多參考幀的關(guān)注度特征提取模塊，該模塊進(jìn)一步包括亮度特征提取子模塊，用于提取當(dāng)前視頻幀不同尺度的亮度特征集合；顏色特征提取子模塊，用于提取當(dāng)前視頻幀不同尺度的顏色特征集合；方向特征提取子模塊，用于提取當(dāng)前視頻幀不同方向上的不同尺度的方向特征集 合；基于多參考幀的運(yùn)動(dòng)特征提取子模塊，用于提取當(dāng)前視頻幀不同方向上的不同尺 度的運(yùn)動(dòng)特征集合；閃爍特征提取子模塊，用于提取當(dāng)前視頻幀和前一幀圖像間的不同尺度的閃爍特 征；-基于空域連續(xù)性的關(guān)注度圖計(jì)算模塊，該模塊進(jìn)一步包括空域關(guān)注度子圖計(jì)算子模塊，用于利用亮度、顏色和方向通道的特征集合計(jì)算各 自通道的關(guān)注度子圖，并生成空域關(guān)注度子圖；運(yùn)動(dòng)關(guān)注度子圖計(jì)算子模塊，用于利用當(dāng)前幀的運(yùn)動(dòng)特征集合計(jì)算初步的運(yùn)動(dòng)關(guān) 注度子圖；基于空域連續(xù)性的運(yùn)動(dòng)關(guān)注度子圖增強(qiáng)子模塊，用于利用已生成的空域關(guān)注度子 圖對(duì)運(yùn)動(dòng)關(guān)注度子圖進(jìn)行修正，得到最終的運(yùn)動(dòng)關(guān)注度子圖；閃爍關(guān)注度子圖計(jì)算子模塊，用于利用閃爍特征生成閃爍關(guān)注度子圖；關(guān)注度子圖合并子模塊，用于將空域、運(yùn)動(dòng)和閃爍關(guān)注度子圖合并，生成最終的關(guān) 注度圖。所述亮度特征提取子模塊，通過(guò)下述公式獲得設(shè)Lev是圖像高斯金字塔的分解層數(shù)，其取值是由用戶自己設(shè)定的正整數(shù)，另設(shè) r(o),g(o),b(o)分別為圖像高斯金字塔中第σ層的紅、綠、藍(lán)三個(gè)分量，由下式求得亮 度特征Ι(σ)，形成Lev層特征子圖Ι(σ) = (r ( σ ) +g ( σ ) +b ( σ )) /3其中，σ為正整數(shù)，且σ e [l，Lev]。所述顏色特征提取子模塊，通過(guò)下述公式獲得設(shè)r(0)，g(0)，b(0)分別為圖像高斯金字塔中第σ層的紅、綠、藍(lán)三個(gè)分量，圖 像高斯金字塔中第。層的紅、綠、藍(lán)，黃四個(gè)基色R(。)，G(o)，B(O)，Y(O)通過(guò)下述公式獲得 R(a) = (Γ(σ)
2
Γ(σ) + δ(σ) 2
2
Κσ) I Γ(σ) - 0(σ) = Β(σ) = φ(σ) Υ(σ)
Γ(σ) + 2
Κσ)與紅綠色對(duì)應(yīng)的RG ( ο )、與藍(lán)黃色對(duì)應(yīng)的BY ( ο )通過(guò)下述公式獲得RG(o ) = (R(o )-G(o ))BY ( σ ) = (B ( σ ) -Y ( σ ))。所述方向特征提取子模塊中方向特征0( ο，θ)是對(duì)亮度特征Ι(σ)上用方向θ 的Gabor函數(shù)濾波得到的Gabor金字塔，其中，θ是Gabor函數(shù)的方向參數(shù)，由用戶自行選 擇。所述閃爍特征提取子模塊中，閃爍特征值Fi ( σ )由當(dāng)前幀的亮度特征Ii ( ο )和前 一幀的亮度特征Ih ( σ )對(duì)應(yīng)位置像素點(diǎn)的強(qiáng)度值相減得到Fi(O) = Ili(O)-Ii^1(O)其中，設(shè)當(dāng)前幀為第i幀，前一幀為第i_l幀。所述基于多參考幀的運(yùn)動(dòng)特征提取子模塊中，每個(gè)時(shí)空域尺度上運(yùn)動(dòng)特征Rn( σ， θ，ρ)由下式求出^(σ , θ，ρ) = | “σ，0)*Sp(o，θ )-Ιρ(σ , 0)^(0, θ)其中，Κσ，θ)是當(dāng)前幀的亮度特征I在尺度σ上用方向θ的Gabor函數(shù)濾 波的特征圖，S^o , Θ)是Κσ，Θ)在方向θ上的偏移，i為當(dāng)前幀的幀號(hào)，ρ為參考幀 的幀號(hào)；設(shè)有η幀參考幀，則ρ = il11—1，當(dāng)參考幀并非當(dāng)前幀的前一幀時(shí)，即P不等于i-1 時(shí)，σ不再?gòu)? Lev進(jìn)行遍歷，而僅用σ = 1的圖像求Rn( σ，θ，ρ)?；诳沼蜻B續(xù)性的運(yùn)動(dòng)關(guān)注度子圖增強(qiáng)子模塊，通過(guò)以下子步驟實(shí)現(xiàn)①得到當(dāng)前幀的空域關(guān)注度圖SMspatialSMspatial = w1*SMi+w2*SMc+w3*SM0其中，Wl、W2和W3是加權(quán)系數(shù)，SM1為亮度關(guān)注度子圖，SMc為顏色關(guān)注度子圖，SM0 為方向關(guān)注度子圖；②根據(jù)一定的閾值T1，將運(yùn)動(dòng)關(guān)注度高的點(diǎn)標(biāo)明出來(lái)，設(shè)某一高運(yùn)動(dòng)關(guān)注度值的 點(diǎn)為Hi，其中i為當(dāng)前點(diǎn)在關(guān)注度圖中的序號(hào)，則高運(yùn)動(dòng)關(guān)注度值的點(diǎn)集為InJ ；根據(jù)一定 的閾值T2,將空域關(guān)注度高的點(diǎn)標(biāo)明出來(lái)，設(shè)某一高空域關(guān)注度值的點(diǎn)為Hli,則此高空域關(guān) 注度值的點(diǎn)集為ImJ ；③設(shè)運(yùn)動(dòng)的前景物體的點(diǎn)集為{qj，貝U {qj = {nj Π {mj，并設(shè)置
/(0 = ι , m=ο, "ω
7
其中，f(t)是一個(gè)二值函數(shù)，t為關(guān)注度子圖中的每個(gè)點(diǎn)。④針對(duì)運(yùn)動(dòng)的前景物體的每一個(gè)點(diǎn)設(shè)其鄰域?yàn)長(zhǎng)，其取值由用戶自己設(shè)置。在 其鄰域進(jìn)行搜索，將屬于同一前景物體的點(diǎn)設(shè)為關(guān)注點(diǎn)
權(quán)利要求
一種視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，包括 基于多參考幀的關(guān)注度特征提取模塊，該模塊進(jìn)一步包括亮度特征提取子模塊，用于提取當(dāng)前視頻幀不同尺度的亮度特征集合；顏色特征提取子模塊，用于提取當(dāng)前視頻幀不同尺度的顏色特征集合；方向特征提取子模塊，用于提取當(dāng)前視頻幀不同方向上的不同尺度的方向特征集合；基于多參考幀的運(yùn)動(dòng)特征提取子模塊，用于提取當(dāng)前視頻幀不同方向上的不同尺度的運(yùn)動(dòng)特征集合；閃爍特征提取子模塊，用于提取當(dāng)前視頻幀和前一幀圖像間的不同尺度的閃爍特征； 基于空域連續(xù)性的關(guān)注度圖計(jì)算模塊，該模塊進(jìn)一步包括空域關(guān)注度子圖計(jì)算子模塊，用于利用亮度、顏色和方向通道的特征集合計(jì)算各自通道的關(guān)注度子圖，并生成空域關(guān)注度子圖；運(yùn)動(dòng)關(guān)注度子圖計(jì)算子模塊，用于利用當(dāng)前幀的運(yùn)動(dòng)特征集合計(jì)算初步的運(yùn)動(dòng)關(guān)注度子圖；基于空域連續(xù)性的運(yùn)動(dòng)關(guān)注度子圖增強(qiáng)子模塊，用于利用已生成的空域關(guān)注度子圖對(duì)運(yùn)動(dòng)關(guān)注度子圖進(jìn)行修正，得到最終的運(yùn)動(dòng)關(guān)注度子圖；閃爍關(guān)注度子圖計(jì)算子模塊，用于利用閃爍特征生成閃爍關(guān)注度子圖；關(guān)注度子圖合并子模塊，用于將空域、運(yùn)動(dòng)和閃爍關(guān)注度子圖合并，生成最終的關(guān)注度圖。
2.根據(jù)權(quán)利要求1所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述亮度特征提 取子模塊，通過(guò)下述公式獲得設(shè)Lev是圖像高斯金字塔的分解層數(shù)，其取值是由用戶自己設(shè)定的正整數(shù)，另設(shè) r(o),g(o),b(o)分別為圖像高斯金字塔中第σ層的紅、綠、藍(lán)三個(gè)分量，由下式求得亮 度特征Ι(σ)，形成Lev層特征子圖 1(0) = (r(o)+g(o)+b(o))/3 其中，σ為正整數(shù)，且σ e [l，Lev]。
3.根據(jù)權(quán)利要求2所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述顏色特征提 取子模塊，通過(guò)下述公式獲得設(shè)r(0)，g(0)，b(0)分別為圖像高斯金字塔中第σ層的紅、綠、藍(lán)三個(gè)分量，圖像高 斯金字塔中第ο層的紅、綠、藍(lán)，黃四個(gè)基色R(0)，G(O)，B(O)，Y(O)通過(guò)下述公式獲 得Β{σ) = φ{(diào)σ)-^}ψΞ )7(σ) = Γ(σ)+^(σ)-丨咖)產(chǎn) I - Κσ)與紅綠色對(duì)應(yīng)的RG(O)、與藍(lán)黃色對(duì)應(yīng)的BY(O)通過(guò)下述公式獲得RG(o) = (R(o)-G(o))BY ( σ ) = (B ( σ ) -Y ( σ ))。
4.根據(jù)權(quán)利要求2或3所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述方向特征 提取子模塊中方向特征0( ο，θ )是對(duì)亮度特征I(O)上用方向θ的Gabor函數(shù)濾波得到 的Gabor金字塔，其中，θ是Gabor函數(shù)的方向參數(shù)，由用戶自行選擇。
5.根據(jù)權(quán)利要求2-4中任一項(xiàng)所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述 閃爍特征提取子模塊中，閃爍特征值Fi ( σ )由當(dāng)前幀的亮度特征Ii ( ο )和前一幀的亮度特 征Ih ( σ )對(duì)應(yīng)位置像素點(diǎn)的強(qiáng)度值相減得到Fi(Q) = Ili(O)-IH(O)其中，設(shè)當(dāng)前幀為第i幀，前一幀為第i_l幀。
6.根據(jù)權(quán)利要求2-5中任一項(xiàng)所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述 基于多參考幀的運(yùn)動(dòng)特征提取子模塊中，每個(gè)時(shí)空域尺度上運(yùn)動(dòng)特征Rn(o，θ，ρ)由下式 求出Ri(o , θ ,ρ) = Ι^σ , θ ) *sp ( σ , θ )-Ιρ(σ , 0)^(0, θ)其中，Ii(。，θ)是當(dāng)前幀的亮度特征I在尺度σ上用方向θ的Gabor函數(shù)濾波的 特征圖，SiO，Θ)是IiO，Θ)在方向θ上的偏移，i為當(dāng)前幀的幀號(hào)，ρ為參考幀的幀 號(hào)；設(shè)有η幀參考幀，則ρ = I^n-1,當(dāng)參考幀并非當(dāng)前幀的前一幀時(shí)，即P不等于i_l時(shí)， σ不再?gòu)? Lev進(jìn)行遍歷，而僅用σ = 1的圖像求Rn( σ，θ，ρ)。
7.根據(jù)權(quán)利要求1所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，基于空域連續(xù)性 的運(yùn)動(dòng)關(guān)注度子圖增強(qiáng)子模塊，通過(guò)以下子步驟實(shí)現(xiàn)①得到當(dāng)前幀的空域關(guān)注度圖SMspatialSMspatial = w1*SMi+W2*SMc+W3*SM0其中，Wl、W2和W3是加權(quán)系數(shù)，SM1為亮度關(guān)注度子圖，SMc為顏色關(guān)注度子圖，SM0為方 向關(guān)注度子圖；②根據(jù)一定的閾值T1,將運(yùn)動(dòng)關(guān)注度高的點(diǎn)標(biāo)明出來(lái)，設(shè)某一高運(yùn)動(dòng)關(guān)注度值的點(diǎn)為 Hi，其中i為當(dāng)前點(diǎn)在關(guān)注度圖中的序號(hào)，則高運(yùn)動(dòng)關(guān)注度值的點(diǎn)集為{%}；根據(jù)一定的閾 值T2,將空域關(guān)注度高的點(diǎn)標(biāo)明出來(lái)，設(shè)某一高空域關(guān)注度值的點(diǎn)為!V則此高空域關(guān)注度 值的點(diǎn)集為ImJ ；③設(shè)運(yùn)動(dòng)的前景物體的點(diǎn)集為{qj，則{qj= {nj Π {mj，并設(shè)置/(O = 1 , te{qi}m=ο, t€{qi)其中，f(t)是一個(gè)二值函數(shù)，t為關(guān)注度子圖中的每個(gè)點(diǎn)；④針對(duì)運(yùn)動(dòng)的前景物體的每一個(gè)點(diǎn)設(shè)其鄰域?yàn)長(zhǎng)，其取值由用戶自己設(shè)置。在其鄰 域進(jìn)行搜索，將屬于同一前景物體的點(diǎn)設(shè)為關(guān)注點(diǎn) (ρ) = 0 P^Lq, IfP^ k}門} and | SMspatial (p) - SMspatial ) |> threshold\f(p) = 1 P^Lqi if pe [Yii} η } or | SMspatml (ρ) - SMspatial (仏)|< threshold其中P為Qi鄰域L中的每一個(gè)點(diǎn)，threshold是用戶自己設(shè)置的閾值；⑤得到關(guān)注度點(diǎn)的集合{%}，則{uj= {t|f(t) = 1}；⑥然后得到運(yùn)動(dòng)關(guān)注點(diǎn)集{TSJ, {TsJ = {uj U {nj ；⑦將ITSJ-InJ中的點(diǎn)的關(guān)注度值設(shè)置為InJ中關(guān)注度的平均值，由此得到增強(qiáng)后的 運(yùn)動(dòng)關(guān)注度圖SMtm。
8.根據(jù)權(quán)利要求1所述的視頻信號(hào)的關(guān)注度分析系統(tǒng)，其特征在于，所述關(guān)注度子圖 合并子模塊，通過(guò)下述公式獲得SM= λ ^SMspatial+A2^SMtm+A3^SMf其中，λ”入2和λ 3是加權(quán)系數(shù)，SM當(dāng)前幀的關(guān)注度圖，SMf為閃爍關(guān)注度子圖。
全文摘要
本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及視頻信號(hào)的關(guān)注度分析系統(tǒng)。本發(fā)明包括基于多參考幀的關(guān)注度特征提取模塊，和基于空域連續(xù)性的關(guān)注度圖計(jì)算模塊。其中，基于多參考幀的關(guān)注度特征提取模塊進(jìn)一步包括亮度特征提取子模塊、顏色特征提取子模塊、方向特征提取子模塊、基于多參考幀的運(yùn)動(dòng)特征提取子模塊、閃爍特征提取子模塊；基于空域連續(xù)性的關(guān)注度圖計(jì)算模塊進(jìn)一步包括空域關(guān)注度子圖計(jì)算子模塊、運(yùn)動(dòng)關(guān)注度子圖計(jì)算子模塊、基于空域連續(xù)性的運(yùn)動(dòng)關(guān)注度子圖增強(qiáng)子模塊、閃爍關(guān)注度子圖計(jì)算子模塊、關(guān)注度子圖合并子模塊。本發(fā)明力求在不明顯增加計(jì)算復(fù)雜度的情況下，大幅提升關(guān)注區(qū)域提取的準(zhǔn)確率。
文檔編號(hào)G06K9/46GK101950362SQ201010281140
公開(kāi)日2011年1月19日 申請(qǐng)日期2010年9月14日 優(yōu)先權(quán)日2010年9月14日
發(fā)明者劉如浩, 夏洋, 王中元, 胡瑞敏, 胡金暉, 蘇引, 黃震坤 申請(qǐng)人:武漢大學(xué)