專利名稱：一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法
技術領域：
本發(fā)明屬于視頻圖像處理技術領域，具體涉及一種視頻圖像顯著性檢測方法。
背景技術：
從復雜的場景中識別出重要的目標是人類視覺神經(jīng)系統(tǒng)的一項基礎功能。例如，在駕車時交通信號燈能引起人眼注意，藍天上飛過的飛機能引起人眼的注意，夜間海平面上的燈塔能引起人眼的注意。依賴這項功能我們可以將注意力集中于關鍵部位以達到更好的分析效果。顯著性檢測是使計算機系統(tǒng)能模仿人眼的注意力機制，通過相應的計算過程，將視頻圖像中的重要部分凸顯出來，是一個“發(fā)現(xiàn)”的過程。利用顯著性檢測的結果，可以優(yōu)先分配各種緊缺資源，例如在較小的手機顯示屏幕上顯示較大的圖片，可以優(yōu)先顯示其重要的部分；在計算資源不足時，可優(yōu)先對顯著部分進行識別、跟蹤等計算。顯著性檢測的最終結果是生成顯著性映射圖像(Saliency map)，也稱顯著性圖。顯著性圖是一種概率分布的描述圖，圖中越亮的部分概率值越大，也即該像素的顯著性越大。顯著性圖可以應用于計算機視覺的各個領域，如自適應壓縮，圖像分割，圖像檢索，目標識別等，也可以用于交通管理，安防監(jiān)控，機器人環(huán)境感知等實時場景。Itti等西方學者于1998年提出了基于視覺注意機制的快速場景分析模型，首次將顯著性的概念納入了機器視覺領域。此后，針對靜止圖像的靜態(tài)顯著性檢測方法蓬勃發(fā)展起來。靜態(tài)顯著性由顏色、邊緣、梯度、形狀等圖像屬性綜合作用而成，具有獨特性、不可預測性及奇異性，其感知機理與視覺神經(jīng)緊密聯(lián)系。Achanta等人于2009年提出頻域調(diào)整顯著性區(qū)域分析方法，該方法從頻域分析角度出發(fā)，使用顏色和光照信息來獲得中心周圍對比度，進而得到顯著性映射結果。Cheng等于2011年提出了基于全局對比度的顯著性區(qū)域檢測方法，該方法利用輸入圖像的顏色統(tǒng)計特征進行直方圖對比從而得到顯著性目標，此方法還可進一步按空間距離進行加權得到區(qū)域?qū)Ρ榷葯z測方法。靜態(tài)顯著性檢測方法目前已經(jīng)比較成熟，對于視頻圖像的靜態(tài)顯著性檢測，其靜態(tài)顯著性圖可以通過各種成熟的檢測方法獲得。中國專利文獻201010623832. O公開了一種基于顯著性特征的目標識別方法，該方法通過分析目標的幾何特征來得到顯著性值；中國專利文獻201110335538. 4公開了一種顯著性物體快速檢測方法，該方法通過小波變換和中心-周邊直方圖算法來獲得顯著性信息上述靜態(tài)顯著性檢測方法僅依賴圖像的顏色或?qū)Ρ榷忍卣鞯刃畔⑦M行分析，能較好地處理前、背景顏色對比分明的靜態(tài)單幅圖像，但對于擁有復雜的運動場景的連續(xù)視頻圖像，特別是前景運動目標與背景顏色較為相似的視頻圖像，常常無法得到正確的結果。此夕卜，人眼對于運動的物體具有更高的關注度，而只考慮顏色等靜態(tài)特征的分析方法在處理視頻時往往不能得到客觀公正的結果。因此，通過對視頻中目標進行運動特征的分析，可以大大提高視頻顯著性分析的正確性。出于這樣的考慮，出現(xiàn)了針對視頻的動態(tài)顯著性檢測方法。
Wixson等人于2000年提出方向恒定流檢測方法，但其假定目標沿直線運動的約束，難以適應于大多數(shù)應用場景。Mahadevan等人于2010年提出中心環(huán)繞時空顯著性檢測方法，它的結果強烈依賴于檢測窗口的大小，并且對較大的前景物體容易產(chǎn)生檢測失效。Gopalakrishnan于2012年提出線性動態(tài)輪廓的運動顯著性檢測方法,該方法僅能感知目標的大體位置，不能生成完整的輪廓，精確度較差。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，其能克服相機抖動帶來的干擾使得視頻場景中運動的重要物體能被有效地凸顯出來，從而得到顯著性映射圖，為進一步的跟蹤監(jiān)控或是視頻壓縮提供基礎。為解決上述技術問題，本發(fā)明提供了一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，包括以下步驟
S1:根據(jù)靜態(tài)顯著性檢測方法獲得視頻圖像的靜態(tài)顯著性圖；S2:根據(jù)連續(xù)的視頻幀提取場景的光流向量場；S3:通過聚類方法對光流向量場進行初步分類并拋棄最大分類區(qū)塊；S4:將視頻圖像從RGB顏色空間轉換到HSV顏色空間；S5:根據(jù)HSV顏色空間H分量中對應顏色在輸入圖像中出現(xiàn)的頻率，生成顏色直方圖；S6:針對光流向量場有效分類區(qū)塊中的每個向量，根據(jù)其所在像素點的顏色將其范數(shù)投射到顏色直方圖的相應區(qū)間中去，得到每個顏色區(qū)間的運動尺度變量；S7:通過規(guī)范化運動尺度變量，得到每種顏色的運動顯著性值并投影到原圖像生成運動顯著性圖。S8:運動顯著性圖與靜態(tài)顯著性圖線性加權相加得到最終顯著性圖。其中，所述步驟S3中，通過聚類方法對光流向量場進行初步分類并拋棄最大分類區(qū)塊?？刹捎矛F(xiàn)有任一成熟聚類方法實現(xiàn)。查找最大分類區(qū)塊即查找向量個數(shù)最多的分類區(qū)塊，這只需要對每個分類區(qū)塊中的向量進行計數(shù)即可實現(xiàn)。找到最大分類區(qū)塊后將其中的向量設為無效，因為這通常是由攝像機晃動帶來的運動噪聲，拋棄這些噪聲可以提高下面步驟計算的準確性。而其他剩余分類區(qū)塊中的向量均為有效向量，這些分類區(qū)塊為有效分類區(qū)塊。其中，所述步驟S5中，根據(jù)HSV顏色空間中的H分量，生成顏色直方圖，公式為h (rk) =nk，其中rk是顏色區(qū)間內(nèi)的第k種顏色，nk是圖像中顏色為rk的像素數(shù)。其中，所述步驟S6中，針對光流向量場有效分類區(qū)塊中的每個向量，根據(jù)其所在像素點的顏色，將其范數(shù)投射到顏色直方圖的相應區(qū)間中去，即將其的模加到相應區(qū)間的運動尺度變量上，公式為
權利要求
1.一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，包括以下步驟 Si獲取視頻圖像的靜態(tài)顯著性圖； S2:利用所述視頻圖像中連續(xù)的視頻幀提取場景的光流向量場； S3:通過聚類方法對光流向量場進行分類并拋棄最大分類區(qū)塊； S4:將所述視頻圖像從RGB顏色空間轉換到HSV顏色空間； S5:根據(jù)所述HSV顏色空間H分量中對應顏色在視頻圖像中出現(xiàn)的頻率，生成顏色直方圖； S6:針對所述光流向量場分類區(qū)塊中的每個向量，根據(jù)其所在像素點的顏色將其范數(shù)投射到所述顏色直方圖的相應區(qū)間中去，得到每個顏色區(qū)間的運動尺度變量； S7:規(guī)范化所述運動尺度變量，得到每種顏色的運動顯著性值并投影到原圖像生成運動顯著性圖； S8:將所述運動顯著性圖與靜態(tài)顯著性圖線性加權相加，得到最終顯著性圖，即可實現(xiàn)對視頻圖像的顯著性檢測。
2.根據(jù)權利要求1所述的一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，其特征在于，所述的步驟S8中，相加的公式如下
3.根據(jù)權利要求1或2所述的一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，其特征在于，所述步驟S5中，根據(jù)HSV顏色空間中的H分量，生成顏色直方圖的公式為 h (rk) = nk, 其中，rk是顏色區(qū)間內(nèi)的第k種顏色，nk是圖像中顏色為rk的像素數(shù)，k為顏色種數(shù)。
4.根據(jù)權利要求1-3之一所述的一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，其特征在于， 所述步驟S7中，所述規(guī)范化的公式如下
5.根據(jù)權利要求1-4之一所述的一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，其特征在于，所述步驟S6中，得到每個顏色區(qū)間的運動尺度變量的公式為 m(rk) = h ^{mvj2+Unvy)2 其中，P為向量(mvx，mvy)所在的像素點的顏色值，m(rk)為顏色區(qū)間rk的尺度向量。
全文摘要
本發(fā)明公開了一種基于運動顏色關聯(lián)的視頻圖像顯著性檢測方法，包括獲得視頻圖像的靜態(tài)顯著性圖；提取場景的光流向量場；對光流向量場進行初步分類并拋棄最大分類區(qū)塊；將視頻圖像從RGB顏色空間轉換到HSV顏色空間；根據(jù)HSV顏色空間H分量中對應顏色在輸入圖像中出現(xiàn)的頻率，生成顏色直方圖；針對光流向量場有效分類區(qū)塊中的每個向量，將其范數(shù)投射到顏色直方圖的相應區(qū)間中去，得到每個顏色區(qū)間的運動尺度變量；得到每種顏色的運動顯著性值并投影到原圖像生成運動顯著性圖；將運動顯著性圖與靜態(tài)顯著性圖相加得到最終顯著性圖。本發(fā)明的方法可以有效地將運動特征納入顯著性考慮范圍，在現(xiàn)有的運動視頻測試集上能取得優(yōu)于傳統(tǒng)方法的結果。
文檔編號G06K9/62GK103020992SQ201210450679
公開日2013年4月3日 申請日期2012年11月12日 優(yōu)先權日2012年11月12日
發(fā)明者宋寶, 鄒騰躍, 唐小琦, 王金, 葉伯生, 凌文鋒, 熊爍, 王小釗, 李明磊 申請人:華中科技大學