專利名稱：基于方向性跟蹤窗口的像素標號傳播方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種像素標號傳播方法，尤其涉及一種基于方向性跟蹤窗口的像素標號傳播方法。
背景技術(shù)：
視頻幀間的標號傳播是視頻處理，尤其是視頻編輯中常見的問題。標號通?？杀硎疽曨l處理的結(jié)果，標號傳播可以理解為已知某一幀的結(jié)果，對其它幀的結(jié)果進行求解的過程。比如在區(qū)域跟蹤和前景分割中，用戶可以通過交互獲得某一幀的結(jié)果，再利用標號傳播獲得其它視頻幀的結(jié)果。標號傳播通常采用以下三種方法1、基于圖像匹配的方法基于圖像匹配的方法首先將輸入幀與目標的幀的圖像進行配準，再依據(jù)像素的對應關(guān)系將輸入幀的像素標號拷貝到目標幀。因此，這一類的標號傳播方法等價于進行圖像匹配。圖像匹配是計算機視覺中的經(jīng)典問題，一般采用光流跟蹤進行。由于遮擋、邊緣模糊等的影響，精確的圖像匹配很難得到?；诰植刻卣鞯墓饬鞣椒ú贿m用于圖像的平坦區(qū)域，而基于全局優(yōu)化的方法又對遮擋等造成的視頻不連續(xù)性很敏感。因此，雖然理論上標號傳播可以等價于圖像匹配，但實際上這一類方法較少被獨立應用，通常都只是用于獲得一個初始結(jié)果。2、基于全局分類器的方法基于全局分類器的方法首先對每個像素提取其特征，并依據(jù)像素在特征空間的距離和鄰接關(guān)系，在特征空間完成標號的傳播。所謂全局分類器，是指目標幀的所有像素都共享同一分類器，而與像素的位置無關(guān)。這一類方法的一個典型例子是基于全局顏色分布的視頻分割，該方法以像素顏色作為特征，首先以已知標號的前景和背景像素顏色為樣本，獲得前景和背景在顏色空間的分布函數(shù)，再基于分布函數(shù)對未知像素進行分類?；谌址诸惼鞯姆椒ê雎粤讼袼氐目臻g位置關(guān)系，而直接在特征空間對標號進行傳播，這使得其在特征具有二義性的區(qū)域很容易出錯，比如在前景和背景顏色相似的區(qū)域，基于全局顏色分布的視頻分割方法會產(chǎn)生大量的錯誤。不過，由于忽略了像素的空間位置關(guān)系，并可以在較大范圍進行采樣，也使得基于全局特征分布的方法可以較好地處理視頻中的時間不連續(xù)性(即由于遮擋、拓撲變化、快速運動等導致的新出現(xiàn)區(qū)域)。3、基于局部分類器的方法在Adobe After Effects 5中新引入的RotoBrush工具采用了局部分類器進行標號傳播其目的是為了克服全局分類器在特征具有二義性的區(qū)域容易出錯的缺點，與全局分類器不同，每個局部分類器只覆蓋目標圖像的一個局部區(qū)域，而訓練局部分類器的樣本則來自于輸入圖像的對應區(qū)域。這實際上是利用像素空間位置關(guān)系的一種方式。另一方面，由于局部分類器所覆蓋的區(qū)域比全局分類器要小得多，因此特征分布也相對較為簡單，從而進一步降低了其出錯的可能性。本發(fā)明所解決的技術(shù)問題有別于常見的視覺跟蹤，一種非參數(shù)化模型的視覺跟蹤方法，No. 200910080381. 8和視頻目標標記實時多目標標記及質(zhì)心運算方法，No. 200510047785. 9，以及特征點跟蹤一種顯微序列圖像的多特征點跟蹤方法，No. 201010516768. 6。視覺跟蹤和目標標記都可歸結(jié)為對區(qū)域的標記問題，而像素標號傳播需要對每個像素進行標記，因此與視頻分割關(guān)系更為緊密。本發(fā)明也可直接用于視頻分割。特征點跟蹤屬于圖像匹配的方法，但只處理視頻中少部分易于跟蹤的像素，不能被用于像素標號傳播。本發(fā)明所采用的方向性窗口主要是為了更好地利用顏色分布，因此與特征跟蹤和圖像匹配都有本質(zhì)的區(qū)別。采用局部分類器的一個關(guān)鍵步驟是定義每個分類器的覆蓋區(qū)域，即跟蹤窗口。跟蹤窗口越大，每個窗口內(nèi)的特征分布就越復雜，且包含二義特征的可能性就越大，這將導致與全局分類器類似的問題；跟蹤窗口越小，則對二義特征的魯棒性會越好，但同時會導致對視頻幀間的局部不連續(xù)性敏感，在快速運動和新出現(xiàn)的區(qū)域更容易出錯；現(xiàn)有的局部分類器都采用規(guī)則形狀的跟蹤窗口即正方形或圓形跟蹤窗口，但是在同時面臨二義特征和幀間不連續(xù)問題時很難獲得令人滿意的效果；本發(fā)明所公開的方向性跟蹤窗口，將有助于克服局部分類器的這一缺點。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了解決上述問題，提供一種基于方向性跟蹤窗口的像素標號傳播方法，它具有有效利用空間下文關(guān)系和減少由二義特征導致錯誤的優(yōu)點。為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種基于方向性跟蹤窗口的像素標號傳播方法，具體步驟為步驟一將輸入圖像中的待傳播區(qū)域膨脹30-70像素，結(jié)果作為目標圖像中的待標記區(qū)域；步驟二 對所有指定的方向，在目標圖像中沿每個方向布置跟蹤窗口，使每個方向上的跟蹤窗口都完全覆蓋待標記區(qū)域；步驟三對每個跟蹤窗口，以跟蹤窗口在輸入幀中覆蓋的像素為樣本，以像素顏色為特征，對每一種標號L建立相應的高斯混合模型P (X |l)以表示其顏色分布，X為待標記像素的顏色；所述標號表示對像素分成的類的標記，每一類用一個標號來標記；步驟四對每個跟蹤窗口，計算其所覆蓋的每個待標記像素屬于每種標號的概率；步驟五對每個跟蹤窗口，計算其對每個待標記像素所估計概率的置信度；步驟六依次處理所有方向上的所有跟蹤窗口 ；步驟七對每個待標記像素，記錄覆蓋該像素的所有跟蹤窗口對其計算出的概率和置信度，以置信度最大的窗口所輸出的概率確定該像素的標號。所述跟蹤窗口的寬度確定、長度可變的跟蹤窗口，所述跟蹤窗口的寬度為W個像素。步驟二的具體步驟為(2-1)首先布置水平跟蹤窗口，自頂向下掃描到包含待標記區(qū)域的第一行，記為r0 ;分別以第A行和第r(l+W-l行為第一個跟蹤窗口的上端和下端；計算這些行中待標記像素的起始列和結(jié)束列，即從左往右掃描，包含第一個待標記像素的列為起始列，包含最后一個待標記像素的列為結(jié)束列，并分別設(shè)為第一個跟蹤窗口的左端和右端；以第A+2W/3行為第2個跟蹤窗口的起始行，以第r(l+2(k-l)W/3為第k個跟蹤窗口的起始行(相鄰的跟蹤窗口之間有W/3的重疊區(qū)域)，采用同樣的方式布置后續(xù)的跟蹤窗口，直到所有待標記像素被完全覆蓋為止，k為自然數(shù)；(2-2)對其它任意方向Θ，可先將目標圖像順時針旋轉(zhuǎn)Θ度，按照步驟(2-1)中布置水平跟蹤窗口的方法布置跟蹤窗口，再將目標圖像逆時針旋轉(zhuǎn)Θ度，獲得Θ方向上的跟蹤窗口。步驟三的高斯混合模型P (XIL)的具體形式為;Φ IL) = ^mkN(nk,ak)，其中N為
k 二I
正態(tài)分布，^ k, σ k分別為其均值和方差，Cok為第k項的權(quán)重,K為高斯項的個數(shù),一般取為
3-5之間，參數(shù)Jik, ok, (Ok都可以通過期望值最大化(Expectation-Maxmization)算法得到。步驟四的具體步驟為(4-1)記跟蹤窗口內(nèi)標號I的像素顏色分布為p(x|L = I)，由步驟三所得的高斯混合模型來計算；(4-2)設(shè)標號的個數(shù)為M，則待標記像素i屬于標號I的概率為
權(quán)利要求
1.一種基于方向性跟蹤窗口的像素標號傳播方法，其特征是，具體步驟為步驟一將輸入圖像中的待傳播區(qū)域膨脹30-70像素，結(jié)果作為目標圖像中的待標記區(qū)域；步驟二 對所有指定的方向，在目標圖像中沿每個方向布置跟蹤窗口，使每個方向上的跟蹤窗口都完全覆蓋待標記區(qū)域；步驟三對每個跟蹤窗口，以跟蹤窗口在輸入幀中覆蓋的像素為樣本，以像素顏色為特征，對每一種標號L建立相應的高斯混合模型P (XIL)以表不其顏色分布；步驟四對每個跟蹤窗口，計算其所覆蓋的每個待標記像素屬于每種標號的概率； 步驟五對每個跟蹤窗口，計算其對每個待標記像素所估計概率的置信度；步驟六依次處理所有方向上的所有跟蹤窗口 ；步驟七對每個待標記像素，記錄覆蓋該像素的所有跟蹤窗口對其計算出的概率和置信度，以置信度最大的窗口所輸出的概率確定該像素的標號。
2.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述跟蹤窗口的寬度確定、長度可變的方向性窗口，所述跟蹤窗口的寬度為W個像素。
3.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述步驟二的具體步驟為(2-1)首先布置水平跟蹤窗口，自頂向下掃描到包含待標記區(qū)域的第一行，記為A ;分別以第A行和第A+W-1行為第一個跟蹤窗口的上端和下端；計算這些行中待標記像素的起始列和結(jié)束列，即從左往右掃描，包含第一個待標記像素的列為起始列，包含最后一個待標記像素的列為結(jié)束列，并分別設(shè)為第一個跟蹤窗口的左端和右端；以第A+2W/3行為第2個跟蹤窗口的起始行，以第4+2 (k-1) W/3為第k個跟蹤窗口的起始行，相鄰的跟蹤窗口之間有W/3的重疊區(qū)域，采用同樣的方式布置后續(xù)的跟蹤窗口，直到所有待標記像素被完全覆蓋為止，k為自然數(shù)；(2-2)對其它任意方向Θ，可先將目標圖像順時針旋轉(zhuǎn)Θ度，按照步驟(2-1)中布置水平跟蹤窗口的方法布置跟蹤窗口，再將目標圖像逆時針旋轉(zhuǎn)Θ度，獲得Θ方向上的跟蹤窗P。
4.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述步驟三的高斯混合模型P(XlL)的具體形式為/ΗΛ /,) = /4Λ/(Α,Α)，其中N為正態(tài)分布，fe 二I^ k, Ok分別為其均值和方差，COk為第k項的權(quán)重，K為高斯項的個數(shù)，參數(shù)3Ik, Ok, COk都通過期望值最大化算法得到。
5.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述步驟四的具體步驟為(4-1)記跟蹤窗口內(nèi)標號I的像素顏色分布的高斯混合模型為p(x|L = I)；(4-2)設(shè)標號的個數(shù)為M,則待標記像素i屬于標號I的概率為
6.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述步驟五的具體方法為跟蹤窗口所覆蓋的每個待標記像素i所估計屬于跟蹤窗口內(nèi)標號I概率的置信度為
7.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述同一方向的窗口相互平行。
8.如權(quán)利要求1所述基于方向性跟蹤窗口的像素標號傳播方法，其特征是，所述同一方向的相鄰窗口之間沒有間隙且有一定的重疊區(qū)域。
全文摘要
本發(fā)明公開了一種基于方向性狹長跟蹤窗口的像素標號傳播方法，具體步驟為步驟一確定目標圖像中的待標記區(qū)域；步驟二在目標圖像中布置跟蹤窗口，使跟蹤窗口覆蓋待標記區(qū)域；步驟三以跟蹤窗口在輸入圖像中覆蓋的像素為樣本，對每類標號建立高斯混合模型；步驟四計算跟蹤窗口所覆蓋的每個待標記像素屬于每個標號的概率密度；步驟五計算跟蹤窗口對每個待標記像素所估計概率的置信度；步驟六處理所有方向上的所有跟蹤窗口；步驟七根據(jù)每個窗口所覆蓋的待標記像素屬于每種標號的概率和置信度，確定該待標記像素所屬的標號。本發(fā)明具有有效利用空間下文關(guān)系和減少由二義特征導致的錯誤。
文檔編號G06T7/20GK102999921SQ20121045243
公開日2013年3月27日 申請日期2012年11月9日 優(yōu)先權(quán)日2012年11月9日
發(fā)明者鐘凡, 秦學英, 彭群生, 孟祥旭 申請人:山東大學