基于全局運動估計的視頻顯著性檢測方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于視頻檢測技術(shù)領(lǐng)域，具體涉及一種基于全局運動估計的視頻顯著性檢 測方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)技術(shù)和通信技術(shù)的蓬勃發(fā)展，人們?nèi)粘Ｉ钪蝎@取和交流的信息越來 越多。這些信息包含文本、圖像、音頻和視頻等，由于視頻含有信息量大和內(nèi)容豐富，因此視 頻成為主要的信息載體。而如此龐大的信息在傳輸和存儲時會受到帶寬和容量限制，因此 需要根據(jù)信息受體人眼的視覺特性對其進(jìn)行處理，提取出人眼關(guān)注的部分。視頻顯著性檢 測就是根據(jù)人眼視覺特性對視頻信息分析的重要機(jī)制，其在視頻處理中可用于物體檢測、 目標(biāo)跟蹤、視頻編碼等。
[0003] 人眼視覺注意機(jī)制可分為自底向上和自頂向下兩種，自底向上的機(jī)制是數(shù)據(jù)驅(qū)動 的，即沒有任何先驗知識，僅由低層信息（如亮度、色度和對比度等）得到，而自頂向下的機(jī) 制是任務(wù)驅(qū)動，需要有一定先驗知識。由于低層信息獲得較為容易且一般缺乏先驗知識，故 現(xiàn)有視頻顯著性檢測大多基于自底向上的視覺機(jī)制。
[0004] 視頻顯著性檢測按其特征來源可分為壓縮域和非壓縮域方法?，F(xiàn)有的視頻顯 著性檢測模型大多是在非壓縮域?qū)崿F(xiàn)的，如Itti等（LaurentItti，ChristofKoch，and ErnstNiebur,"Amodelofsaliency-basedvisualattentionforrapidscene analysis,"IEEETransactionsonpatternanalysisandmachineintelligence ，vol.20，no.ll，pp. 1254 - 1259, 1998.)提出的基于靈長類早期視覺系統(tǒng)的顯著性檢 測模型，Hare1(JonathanHarel,ChristofKoch,andPietroPerona, "Graph-based visualsaliency，"inAdvancesinneuralinformationprocessing systems, 2006,pp. 545 - 552.)提出的基于圖論的方法，Guo等（ChenleiGuoandLiming Zhang,"Anovelmultiresolutionspatiotemporalsaliencydetectionmodelandits applicationsinimageandvideocompression,''ImageProcessing,IEEETransactions on，vol. 19,no. 1，pp. 185 - 198, 2010.)提出的基于相位的顯著性檢測模型。這些模型所提 取的信息均來自于未壓縮的像素域，像素域中包含大量視頻信息如亮度、色度、紋理等，因 此在像素域中需要高計算復(fù)雜度獲取顯著性圖。再者，視頻傳輸和存儲都是壓縮后的碼流， 壓縮視頻應(yīng)用廣泛主要得益于減小存儲空間和提升傳輸速度，因此壓縮域視頻顯著性檢測 更有利于應(yīng)用到實時處理場景中。
[0005] 壓縮域視頻顯著性檢測主要利用離散余弦變換（DCT)系數(shù)和運動矢量 (MVs)計算每個塊的顯著性大小。Muthuswamy等（KarthikMuthuswamyandDeepu Rajan,"Salientmotiondetectionincompresseddomain, "IEEESignalProcessing Letters,vol. 20,pp. 996 - 999, 2013.)提出一種雙層結(jié)構(gòu)算法用于辨別顯著性運動，但 是沒有解決多種特征條件下顯著性圖的融合問題。Fang(YumingFang,ZhouWang,and ffeisiLin,"Videosaliencyincorporatingspatiotemporalcuesanduncertainty weighting, "inMultimediaandExpo(ICME), 2013IEEEInternationalConference on.IEEE, 2013,pp. 1 - 6.)等提出基于局部不確定性度量的自適應(yīng)融合方法能取得較好的 檢測效果，但是該方法在計算權(quán)重時需預(yù)先知道真實顯著性圖，該因素阻礙了此法的實際 應(yīng)用，且該方法不適用于視頻中存在全局運動的場景。
[0006] 綜上所述，現(xiàn)有的視頻顯著性檢測方法中，壓縮域方法較少，未考慮全局運動對檢 測結(jié)果的影響，且多種特征下顯著性圖融合技術(shù)不夠完善，不能充分發(fā)揮每種特征條件下 檢測結(jié)果的優(yōu)勢。如何去除全局運動的影響和多特征顯著性圖自適應(yīng)融合是視頻顯著性檢 測中迫切需要解決的問題。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種設(shè)計合理、主觀視覺效果好且 能夠準(zhǔn)確檢測視頻顯著性區(qū)域的基于全局運動估計的視頻顯著性檢測方法。
[0008] 本發(fā)明解決其技術(shù)問題是采取以下技術(shù)方案實現(xiàn)的：
[0009] 一種基于全局運動估計的視頻顯著性檢測方法，包括以下步驟：
[0010] 步驟1、提取壓縮碼流中空域特征和時域特征，利用二維高斯權(quán)重函數(shù)和空域特征 得到空域顯著性圖；
[0011] 步驟2、利用級聯(lián)結(jié)構(gòu)濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到 粗略時域顯著性圖，并根據(jù)宏塊信息對粗略時域顯著性圖進(jìn)行優(yōu)化；
[0012] 步驟3、根據(jù)人眼視覺特性和時空域顯著性圖的特征自適應(yīng)融合時域和空域顯著 性圖像得到圖像顯著區(qū)域。
[0013] 而且，步驟1所述的時域特征包括對應(yīng)時域特征的運動矢量，所述空域特征包括 以下五個分量：
[0014] ⑴、亮度特征L，對應(yīng)于亮度的直流分量；
[0015](2)、色度特征Q，對應(yīng)于色度Cb的直流分量；
[0016] (3)、色度特征C2，對應(yīng)于色度(；的直流分量；
[0017] (4)、結(jié)構(gòu)特征T，對應(yīng)于亮度的所有交流分量的和；
[0018] (5)、邊緣特征E，對應(yīng)于亮度中與直流分量最接近的兩個交流分量的和。
[0019] 而且，步驟1所述利用二維高斯函數(shù)和空域特征得到空域顯著性圖的具體方法包 括以下步驟：
[0020] ⑴針對每種特征fG{L，Q，C2,T，E}，計算當(dāng)前塊與相鄰塊絕對特征對比度％ :
[0021]
【主權(quán)項】
1. 一種基于全局運動估計的視頻顯著性檢測方法，其特征在于包括以下步驟： 步驟1、提取壓縮碼流中空域特征和時域特征，利用二維高斯權(quán)重函數(shù)和空域特征得到 空域顯著性圖； 步驟2、利用級聯(lián)結(jié)構(gòu)濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到粗略 時域顯著性圖，并根據(jù)宏塊信息對粗略時域顯著性圖進(jìn)行優(yōu)化； 步驟3、根據(jù)人眼視覺特性和時空域顯著性圖的特征自適應(yīng)融合時域和空域顯著性圖 像得到圖像顯著區(qū)域。
2. 根據(jù)權(quán)利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟1所述的時域特征包括對應(yīng)時域特征的運動矢量，所述空域特征包括以下五個分量： (1) 、亮度特征L，對應(yīng)于亮度的直流分量； (2) 、色度特征C1，對應(yīng)于色度Cb的直流分量； (3) 、色度特征C2，對應(yīng)于色度(；的直流分量； (4) 、結(jié)構(gòu)特征T，對應(yīng)于亮度的所有交流分量的和； (5) 、邊緣特征E，對應(yīng)于亮度中與直流分量最接近的兩個交流分量的和。
3. 根據(jù)權(quán)利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟1所述利用二維高斯函數(shù)和空域特征得到空域顯著性圖的具體方法包括以下步驟： ⑴針對每種特征f e {L，C1, C2, T，E}，計算當(dāng)前塊與相鄰塊絕對特征對比度:
式中，f JP L分別表示當(dāng)前塊和相鄰塊的特征值； ⑵利用二維高斯權(quán)重函數(shù)計算每個相鄰塊對應(yīng)的權(quán)重：
式中，dxij和dyij分別表示當(dāng)前塊和相鄰塊在水平和垂直方向上的空間距離，〇 ,和〇 y 分別表征二維高斯函數(shù)水平和垂直方向上的標(biāo)準(zhǔn)差； ⑶計算第i個塊在特征f下的顯著性值：
⑷將空域特征五個分量下的顯著性值融合成空域顯著性圖：
式中，Ss表示對應(yīng)視頻每一幀的整體空域顯著性，K是特征的數(shù)目（K = 5)，N()是歸一 化操作，每種空域特征分量下的顯著性值歸一化至[〇, 1]，減小其絕對數(shù)值大小的影響。
4. 根據(jù)權(quán)利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟2所述利用級聯(lián)結(jié)構(gòu)濾除屬于全局運動的背景運動矢量得到粗略時域顯著性圖的方法 包括如下步驟： ⑴將視頻幀劃分成統(tǒng)一大小4X4的塊，獲取每個塊的運動矢量； ⑵顯著性區(qū)域出現(xiàn)在圖像邊緣概率低，因此移除邊緣塊； ⑶級聯(lián)結(jié)構(gòu)第一級，比較當(dāng)前塊和其水平垂直方向上運動矢量平均相對差值RDmag:
式中MV表示當(dāng)前塊運動矢量MVjP其相鄰8個塊的運動矢量組成的矩陣，（·）表示矩 陣對應(yīng)元素相乘再求和，將每個塊的RDmag與給定閾值比較，低于閾值的塊被認(rèn)為是具有全 局運動的背景塊予以移除； ⑷級聯(lián)結(jié)構(gòu)第二級，比較當(dāng)前塊和其對角線方向上運動矢量平均相對差，設(shè)定一個比 較閾值，低于閾值的塊被認(rèn)為是具有全局運動的背景塊予以移除； (5)經(jīng)上述步驟后剩余塊的運動矢量用于粗略計算每個塊的時域顯著性值：
式中MFa?和分別表示當(dāng)前塊i運動矢量的水平和垂直分量。
5. 根據(jù)權(quán)利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：所 述步驟2根據(jù)宏塊信息對粗略時域顯著性圖進(jìn)行優(yōu)化按如下數(shù)學(xué)模型進(jìn)行： St= S ,MFi 式中MFi表示當(dāng)前塊所對應(yīng)宏塊的編碼信息，如對應(yīng)宏塊是inter模式，則取值為1，如 為intra或skip模式則取值為0,通過宏塊編碼信息MFi對時域顯著性值S ,進(jìn)行修正得到 優(yōu)化后的時域顯著性值St。
6. 根據(jù)權(quán)利要求1所述的基于全局運動估計的視頻顯著性檢測方法，其特征在于：步 驟3所沭自適應(yīng)融合時域和空域顯著件圖像得到圖像顯著區(qū)域通過如下數(shù)學(xué)模型進(jìn)行：
式中SJPSt分別表示空域和時域顯著性值，μ和〇表示顯著性平均值和標(biāo)準(zhǔn)差，如 果μ大，σ小，則其所占權(quán)重大，反之則小。
【專利摘要】本發(fā)明涉及一種基于全局運動估計的視頻顯著性檢測方法，其特點是包括以下步驟：提取壓縮碼流中空域特征和時域特征，利用二維高斯權(quán)重函數(shù)和空域特征得到空域顯著性圖；利用級聯(lián)結(jié)構(gòu)濾除屬于全局運動的背景運動矢量，基于剩余運動矢量得到粗略時域顯著性圖，并根據(jù)宏塊信息對粗略時域顯著性圖進(jìn)行優(yōu)化；根據(jù)人眼視覺特性和時空域顯著性圖的特征自適應(yīng)融合時域和空域顯著性圖像得到圖像顯著區(qū)域。本發(fā)明設(shè)計合理，其在空域顯著性及時域顯著性檢測中考慮的特征種類齊全，使得最終顯著性圖更加符合人眼的主觀感知質(zhì)量，其魯棒性高，不依賴于視頻內(nèi)容變化，有較強(qiáng)的可擴(kuò)展性，如加入其他特征也可用本發(fā)明的融合方式。
【IPC分類】H04N19-51, H04N19-107
【公開號】CN104869421
【申請?zhí)枴緾N201510301092
【發(fā)明人】白旭, 徐俊, 任婧婧
【申請人】北京牡丹電子集團(tuán)有限責(zé)任公司數(shù)字電視技術(shù)中心
【公開日】2015年8月26日
【申請日】2015年6月4日