專利名稱：一種分割獲取前景圖像的方法、裝置和攝像頭的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種分割獲取前景圖像的方 法、裝置和攝像頭。
背景技術(shù)：
前景提取是視頻處理中常常會采用的一種技術(shù)。如圖1所示，現(xiàn)有技術(shù)下，
采用graph-cut (圖分割)算法對圖像進(jìn)行分割，從而獲取圖像的前景，步驟 包括
步驟Sll、初始化視頻圖像的一系列背景圖像，形成背景像素的顏色模型 P(X) = 7V(//,:E)，顏色特征可以取為一維亮度分量，也可以取為R,QB多維顏色 信息，模型可以取為高斯模型，也可以取為混合高斯模型；
步驟S12、確定前景像素；
確定前景像素的過程可以如下計算前景圖像和背景圖像的像素差值(灰 度差或顏色差)，與預(yù)先設(shè)置的閾值進(jìn)行比較，獲得不同于背景圖像的像素， 將這些不同于背景圖像的像素認(rèn)定為前景像素；
步驟S13、依據(jù)上述步驟獲得的前景像素，形成這些像素顏色分量的混合 高斯模型；建立混合高斯模型的方法有很多，可以參考現(xiàn)有技術(shù)；
步驟S14、計算用于標(biāo)識像素屬于前景和背景的概率的第一連接能量； 依據(jù)背景顏色高斯模型和前景混合高斯模型，獲取輸入圖像中的所有像素
屬于前景混合高斯模型力和背景顏色高斯模型A的概率，經(jīng)歸一化后分別得
到該像素對應(yīng)節(jié)點在圖像中與前景和背景節(jié)點的第一連接能量，用于標(biāo)識像素
屬于前景和背景的概率；歸一化方法可以取屬于前景的概率為^' = ~^，取
屬于背景的概率為仏'=^一；
步驟S15、計算輸入圖像相鄰像素間的顏色分量差值向量；步驟S16、計算用于標(biāo)識相鄰像素間屬于同一類屬的概率；依據(jù)輸入圖像與相鄰像素的水平邊緣強(qiáng)度和垂直邊緣強(qiáng)度，獲取輸入圖像中所有像素與相鄰像素間的第二連接能量，用于標(biāo)識相鄰像素間屬于同 一類屬
的概率；第二連接能量可以定義為A(x,，;0"xp(-其中x,，x《為兩個相鄰
像素，-為常數(shù)，《為兩個相鄰像素間的顏色分量差向量的二范數(shù)。第二連接
能量用于在進(jìn)行圖分割時，當(dāng)兩個相鄰像素被分為不同類屬時的懲罰能量；
步驟S17、依據(jù)所述第一連接能量和第二連接能量，采用graph-cut算法獲取各像素對背景和前景的歸屬，從而得到視頻圖像中的前景像素標(biāo)識，即可
得到前景圖像；
依據(jù)獲得的所有節(jié)點間的第一連接能量和第二連接能量，采用graph-cut算法進(jìn)行最小分割(min-cut)/最大流(max-flow),得到輸入圖像中的前景和背景像素，從而形成視頻圖像的前景圖像。
可以看出，現(xiàn)有技術(shù)雖然能采用graph-cut算法較好地進(jìn)行前景分割并提取前景圖像，但是，由于需要計算每幅圖像的所有像素的第一連接能量和第二連接能量，然后才能分割獲取前景和背景像素，計算量非常大，因此前景圖像的提取速度相對比較慢，無法滿足實時處理視頻的需要。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明所要解決的技術(shù)問題是提供一種分割獲取前景圖像的方法，以解決現(xiàn)有技術(shù)由于需要進(jìn)行大量計算而導(dǎo)致前景圖像的提取速度相對比較慢的問題。
相應(yīng)的，本發(fā)明還提供了一種分割獲取前景圖像的裝置和才聶像頭，以保證上述方法在實際中的應(yīng)用。
為了解決上述問題，本發(fā)明公開了一種分割獲取前景圖像的方法，包括
將上一幅圖像作為當(dāng)前圖像的第 一參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像；
將當(dāng)前圖像與所述第 一參考圖像和第二參考圖像比較，依據(jù)比較結(jié)果確定待處理像素區(qū)域；
分割獲得每個待處理像素區(qū)域的前景圖像；拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的前景圖像。優(yōu)選的，所述將當(dāng)前圖像與第一參考圖像和第二參考圖像比較，依據(jù)比較
結(jié)果確定待處理像素區(qū)域包括
將所述當(dāng)前圖像與第一參考圖像作差運算，并與預(yù)設(shè)的閾值進(jìn)行比較，獲取幀間變化像素標(biāo)識，形成幀間變化像素標(biāo)識圖像；
將幀間變化像素標(biāo)識圖像與所述第二參考圖像進(jìn)行或運算，得到所述當(dāng)前圖像的待更新像素標(biāo)識圖像；
將待更新像素標(biāo)識圖像中相連接的像素歸為 一個區(qū)域，并采用其最小外接矩形作為 一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處理像素區(qū)域。
優(yōu)選的，按照以下步驟分割獲得每個待處理像素區(qū)域的前景圖像獲取背景像素模型；
獲取待處理像素區(qū)域的前景模型；計算待處理像素區(qū)域的第 一連接能量；計算待處理像素區(qū)域的第二連接能量；
采用圖分割算法對區(qū)域內(nèi)像素進(jìn)行前景分割，獲取待處理像素區(qū)域的前景分割結(jié)果。
優(yōu)選的，所述獲取待處理像素區(qū)域的前景模型包括
對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像中該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則，認(rèn)定為同于背景；
對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前圖像的像素和背景像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不同于背景，并更新不同于背景像素標(biāo)識；
匯總待處理像素區(qū)域內(nèi)所有不同于背景的像素，形成待處理像素區(qū)域的前
景模型。
優(yōu)選的，按照以下步驟計算待處理像素區(qū)域的第一連接能量對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，根據(jù)所述第二參考圖像來
9決定其第一連接能量；如果該像素在所述第二參考圖像中屬于前景，則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值；如果該像素在所述第二參考圖像中屬于背景，則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值；
對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，根據(jù)所述待處理像素區(qū)域的前景模型和背景像素模型，獲取該像素屬于前景和背景的概率，經(jīng)歸一化后得到該像素對應(yīng)節(jié)點在所述當(dāng)前圖像中與前景和背景節(jié)點的第一連接能量。優(yōu)選的，所述計算待處理像素區(qū)域的第二連接能量包括對于待處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用所述第二參考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；
如果待處理像素區(qū)域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則計算當(dāng)前圖像相鄰像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰4象素間的第二連接能量。
優(yōu)選的，所述計算當(dāng)前圖像相鄰像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像素間的第二連接能量包括
對所述當(dāng)前圖像的每個像素計算其與右側(cè)相鄰像素的顏色差值向量；對所述當(dāng)前圖像的每個像素計算其與下方相鄰像素的顏色差值向量；對當(dāng)前像素，采用四鄰域定義方式，計算其與左邊像素、右邊像素、上方像素、下方像素的二范數(shù)，作為當(dāng)前像素的第二連接能量。
優(yōu)選的，背景像素模型采用混合高斯模型；前景模型釆用高斯模型。依據(jù)本發(fā)明另一實施例，還公開了一種分割獲取前景圖像的裝置，包括待處理區(qū)域確定單元，用于將上一幅圖像作為當(dāng)前圖像的第 一參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，比較當(dāng)前圖像與所述第 一參考圖像和第二參考圖像，依據(jù)比較結(jié)果確定待處理像素區(qū)域；區(qū)域前景分割單元，用于分割獲得每個待處理像素區(qū)域的前景圖像；前景圖像拼接單元，用于拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的前景圖像。
優(yōu)選的，所述待處理區(qū)域獲取單元包括待更新像素標(biāo)識圖像獲取模塊和待
10處理像素區(qū)域劃分模塊，其中
待更新像素標(biāo)識圖像獲取模塊用于將所述當(dāng)前圖像與第 一參考圖像作差運算，并與預(yù)設(shè)的閾值進(jìn)行比較，獲取幀間變化像素標(biāo)識，形成幀間變化像素標(biāo)識圖像；然后，將幀間變化像素標(biāo)識圖像與所述第二參考圖像作或運算，得到所述當(dāng)前圖像的待更新像素標(biāo)識圖像；
待處理像素區(qū)域劃分模塊用于將待更新像素標(biāo)識圖像獲取模塊生成的待更新像素標(biāo)識圖像中相連接的像素歸為一個區(qū)域，并采用其最小外接矩形作為一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處理像素區(qū)域。
優(yōu)選的，所述區(qū)域前景分割單元包括，背景像素模型獲取模塊、區(qū)域前景模型獲取模塊、第一連接能量計算模塊、第二連接能量計算模塊、區(qū)域前景圖像分割模塊，其中
背景像素模型獲取模塊用于獲取背景圖像的顏色模型；
區(qū)域前景模型獲取模塊用于獲取待處理像素區(qū)域前景模型；對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像中該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則，認(rèn)定為同于背景；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前圖像的像素和背景像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不同于背景，并更新不同于背景像素標(biāo)識；然后，匯總待處理像素區(qū)域內(nèi)所有不同于背景的像素，形成待處理像素區(qū)域的前景模型；
第一連接能量計算模塊用于計算待處理像素區(qū)域的第一連接能量；對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，根據(jù)所述第二參考圖像的前景分割結(jié)杲來決定其第一連接能量；如果該像素在所述第二參考圖像中屬于前景，則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值；如果該像素在所述第二參考圖像中屬于背景，則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，根據(jù)所述待處理像素區(qū)域的前景模型和背景像素模型，獲取該像素屬于前景和背景的概率，經(jīng)歸一化后得到該像素對應(yīng)節(jié)點在所述當(dāng)前圖像中與前景和背景節(jié)點的第一連接能量；第二連接能量計算模塊用于計算待處理像素區(qū)域的第二連接能量；對于待
處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用所述第二參
考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；如果待處理像素區(qū)域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則計算當(dāng)前圖像相鄰像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像素間的第二連接能量；
區(qū)域前景圖像分割模塊用于采用圖分割算法對區(qū)域內(nèi)像素進(jìn)行前景分割，獲取待處理像素區(qū)域的前景分割結(jié)果。
依據(jù)本發(fā)明又一實施例，還公開了一種攝像頭，所述攝像頭包括分割獲取前景圖像的裝置，所述裝置包括
待處理區(qū)域確定單元，用于將上一幅圖像作為當(dāng)前圖像的第 一參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，比較當(dāng)前圖像與所述第 一參考圖像和第二參考圖像，依據(jù)比較結(jié)果確定待處理像素區(qū)域；
區(qū)域前景分割單元，用于分割獲得每個待處理像素區(qū)域的前景圖像；
前景圖像拼接單元，用于拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的前景圖像。
與現(xiàn)有技術(shù)相比，本發(fā)明在現(xiàn)有g(shù)raph-cut算法分割前景的基礎(chǔ)上，針對視頻圖像，利用幀間信息，只對可能發(fā)生變化的區(qū)域進(jìn)行重新分割，減少了待處理圖像區(qū)域的面積，從而減少了分割提取前景圖像所需的計算量，較大地提高了前景圖像的分割獲取速度。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖l是現(xiàn)有技術(shù)分割獲取前景圖像的方法流程圖；圖2是本發(fā)明一種分割獲取前景圖像的方法實施例流程圖；圖3是本發(fā)明一種分割獲取前景圖像的裝置實施例結(jié)構(gòu)框圖。
1具體實施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和具體實施方式
對本發(fā)明作進(jìn)一步詳細(xì)的說明。
本發(fā)明提供的技術(shù)方案在現(xiàn)有g(shù)raph - cut算法分割前景的基礎(chǔ)上，針對視 頻圖像，利用幀間信息，只對可能發(fā)生變化的區(qū)域進(jìn)行重新分割，減少了待處 理圖像區(qū)域的面積，從而減少了構(gòu)建圖像時求取第一連接能量和第二連接能量 所需的運算。
參照圖2，示出了本發(fā)明一種分割獲取前景圖像的方法實施例流程圖，具 體包括如下步驟
步驟201:將上一幅圖像作為當(dāng)前圖像的第一參考圖像，將上一幅圖像的 前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像；
其中，當(dāng)前圖像為視頻圖像的第一幅圖像時，將第一幅圖像作為第二幅圖 像的第一參考圖像；計算第一幅圖像的第一連接能量和第二連接能量，采用 graph-cut算法獲取第一幅圖像的前景標(biāo)識圖像，將該前景標(biāo)識圖像作為第二幅 圖像的第二參考圖像；
當(dāng)所述當(dāng)前圖像為視頻圖像的第N幅(N為整數(shù)，且N》3)圖像時，所 述第一參考圖像為第(N-1)幅圖像，所述第二參考圖像為步驟204生成的 第(N-1)幅圖像的前景標(biāo)識圖像；
步驟202:將當(dāng)前圖像與所述第一參考圖像和第二參考圖像比較，依據(jù)比 較結(jié)果確定待處理像素區(qū)域；
將當(dāng)前圖像與所述第 一參考圖像和第二參考圖像比較，確定待處理像素區(qū) 域的流程可以為
首先，將所述當(dāng)前圖像與第一參考圖像作差運算，并與預(yù)設(shè)的闊值進(jìn)行比 較，獲取幀間變化像素標(biāo)識，即幀間變化像素標(biāo)識，形成幀間變化像素標(biāo)識圖 像；
然后，將幀間變化像素標(biāo)識圖像與所述第二參考圖像進(jìn)行或運算，得到所 述當(dāng)前圖像的待更新像素標(biāo)識圖像；
最后，將待更新像素標(biāo)識圖像中相連接的像素歸為一個區(qū)域，并采用其最
13小外接矩形作為一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處 理像素區(qū)域。
本發(fā)明優(yōu)選實施例中，在獲取幀間變化像素區(qū)域的^e出上，與前幀圖像的 前景標(biāo)識圖像進(jìn)行或運算，可獲得完整的連通區(qū)域，避免產(chǎn)生很多微小的小塊 區(qū)域而影響前景圖像的分割提取效果。
步驟203:分割獲得每個待處理像素區(qū)域的前景圖像；
步驟204:拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的整 體前景圖像，并將該整體前景圖像確定為新的參考圖像。
上述步驟203中，分割獲得每個待處理像素區(qū)域的前景圖像的流程可以
為
步驟2031:獲取背景模型；可以采用背景圖像獲得背景像素的顏色模型； 顏色特征可以取為一維亮度分量，也可以取為RGB多維顏色信息，模型可以 取為高斯模型，也可以取為混合高斯模型；較優(yōu)的實施例是采用混合高斯模型 來為背景建模。
步驟2032:獲取待處理像素區(qū)域前景模型；
對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像中 該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則，認(rèn) 定為同于背景；
對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前圖像的像素和 背景像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不同于背景，并 更新不同于背景像素標(biāo)識；
然后，匯總待處理像素區(qū)域內(nèi)所有不同于背景的像素，形成待處理像素區(qū) 域前景模型；
前景沖莫型可以采用任意顏色統(tǒng)計才莫型來描述，較優(yōu)的實施例是采用混合高 斯模型來進(jìn)行前景建沖莫。
步驟2033:計算待處理像素區(qū)域的第一連接能量；
所述第一連接能量用于確定每個像素被分為前景點或背景點的懲罰能量， 在此采用該像素屬于前景模型或背景模型的概率來描述。幀間變化的像素，根據(jù)所述第二參考圖像的
前景分割結(jié)果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬于
前景，則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值，與背景節(jié)點連
接能量設(shè)為預(yù)設(shè)最小值；如果該像素在所述第二參考圖像中屬于背景，則該像 素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值，與背景節(jié)點連接能量設(shè)為預(yù) 設(shè)最大值；
對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，根據(jù)所述待處理像素區(qū)域 的前景混合高斯模型和背景像素高斯模型，獲取該像素屬于前景和背景的概 率，經(jīng)歸一化后得到該像素對應(yīng)節(jié)點在所述當(dāng)前圖像中與前景和背景節(jié)點的第 一連接能量；
背景模型和前景模型可以采用高斯模型也可以采用混合高斯模型，可以為 每個像素建立一個模型，也可以為整個背景圖像建立一個顏色模型。更優(yōu)的實 施例是為每個像素建立一個高斯模型，而為背景圖像建立一個混合高斯模型。 確定每個像素屬于和前景節(jié)點連接的能量時，采用其屬于該點高斯模型的概率 和其屬于背景混合高斯模型的概率的加權(quán)和作為其第一連接能量。
步驟2034:計算待處理像素區(qū)域的第二連接能量；
對于待處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用 所述第二參考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；如果待 處理像素區(qū)域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則計算當(dāng)前圖 像相鄰像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像 素間的第二連接能量；
如果為每個像素都按照定義計算一遍上述第二連接能量，由于相鄰像素間 差被計算了兩次，存在冗余運算，為了快速計算，采用如下方法
第一步，對圖像中的每個像素計算其與右側(cè)相鄰像素的顏色差值向量《；
以采用RGB色度空間為例，對當(dāng)前位置(x,力，其與右側(cè)像素的顏色分量 分別為(i ,，G,，B,)和(i r，Gr，A)，則顏色差值向量為=(A - -G,，A -瑪)；
第二步，對圖像中的每個像素計算其與下方相鄰像素的顏色差值向量g;
以采用RGB色度空間為例，對當(dāng)前位置(x,力，其與下方像素的顏色分量分別為(《，G,，A)和(^,(^，A)，則顏色差值向量為《(x,y) = (i A -《,S -G,，A -g); 最后，對當(dāng)前像素(x，力，釆用四鄰域定義方式，計算其與左邊像素的第二
連接能量為A^7W(((X-l,力)，其與右邊像素的連接能量為A^777(《(X,力)，其與上
方像素的連接能量為A^m(《(x-1,力)，其與下方像素的連接能量為 M m(^0:,力)；其中M)，()為取范數(shù)操:作。從而將本來需要的四次操作，簡化 為對每點只需要兩次操作。
步驟2035:對區(qū)域內(nèi)像素采用圖分割算法進(jìn)行前景分割，獲取待處理像 素區(qū)域的前景分割結(jié)果。
本發(fā)明優(yōu)選實施例中，在計算不同于背景的像素時，利用未發(fā)生幀間變化 的像素的前幀信息來減少運算；在計算前景節(jié)點和背景節(jié)點之間的第一連接能 量時，對于未發(fā)生幀間變化的像素，采用前一幀圖像的前景分割結(jié)果來獲取前 景節(jié)點和背景節(jié)點的連接能量；在計算相鄰像素之間的第二連接能量時，對于 均未發(fā)生幀間變化的像素對，采用前一幀圖像的第二連接能量來作為當(dāng)前幀圖 像的第二連接能量；從而，可以充分利用幀間信息，減少了待處理圖像區(qū)域的 面積，進(jìn)而減少分割提取前景圖像所需的計算量
參照圖3，示出了本發(fā)明一種分割獲取前景圖像的裝置實施例結(jié)構(gòu)框圖， 具體包括如下單元
單元31:待處理區(qū)域獲取單元，用于將上一幅圖像作為當(dāng)前圖像的第一 參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，將當(dāng) 前圖像與所述第一參考圖像和第二參考圖像比較，并依據(jù)比較結(jié)果確定待處理 像素區(qū)域；待處理區(qū)域獲取單元31由待更新像素標(biāo)識圖像獲取^t塊和待處理 像素區(qū)域劃分模塊組成，其中
待更新像素標(biāo)識圖像獲取模塊用于將所述當(dāng)前圖像與第一參考圖像作差 運算，并與預(yù)設(shè)的閾值進(jìn)行比較，獲取幀間變化像素標(biāo)識，形成幀間變化像素 標(biāo)識圖像；然后，將幀間變化像素標(biāo)識圖像與所述第二參考圖像進(jìn)行或運算， 得到所述當(dāng)前圖像的待更新像素標(biāo)識圖像；
待處理像素區(qū)域劃分模塊用于將待更新像素標(biāo)識圖像獲取模塊生成的待
16更新像素標(biāo)識圖像中相連接的像素歸為一個區(qū)域，并采用其最小外接矩形作為 一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處理像素區(qū)域。
單元32:區(qū)域前景分割單元，用于分割待處理區(qū)域獲取單元31生成的每 個待處理像素區(qū)域，獲得每個待處理像素區(qū)域的前景圖像；區(qū)域前景分割單元 32由區(qū)域前景高斯混合模型獲取模塊、第一連接能量計算模塊、第二連接能 量計算模塊、區(qū)域前景圖像分割模塊組成，其中
區(qū)域前景高斯混合模型獲取模塊用于獲取待處理像素區(qū)域前景高斯混合 模型；對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像 中該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則， 認(rèn)定為同于背景；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前 圖像的像素和背景像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不 同于背景，并更新不同于背景像素標(biāo)識；然后，匯總待處理像素區(qū)域內(nèi)所有不 同于背景的4象素，形成待處理像素區(qū)域前景混合高斯模型；
第一連接能量計算模塊用于計算待處理像素區(qū)域的第一連接能量；對于棒 處理像素區(qū)域中未發(fā)生幀間變化的像素，根據(jù)所述第二參考圖像的前景分割結(jié) 果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬于前景，則該 像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為最大，與背景節(jié)點連接能量設(shè)為最??； 如果該像素在所述第二參考圖像中屬于背景，則該像素對應(yīng)節(jié)點與前景節(jié)點連 接能量設(shè)為最小，與背景節(jié)點連接能量設(shè)為最大；對于待處理像素區(qū)域中發(fā)生 了幀間變化的像素，根據(jù)所述待處理像素區(qū)域的前景混合高斯模型和背景像素 高斯模型，獲取該像素屬于前景和背景的概率，經(jīng)歸一化后得到該像素對應(yīng)節(jié) 點在所述當(dāng)前圖像中與前景和背景節(jié)點的第一連接能量；
第二連接能量計算模塊用于計算待處理像素區(qū)域的第二連接能量；對于待 處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用所述第二參 考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；如果待處理像素區(qū) 域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則計算當(dāng)前圖像相鄰像素 間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像素間的第二 連接能量；區(qū)域前景圖像分割模塊4用于對區(qū)域內(nèi)像素采用圖分割算法進(jìn)行前景分 割，獲取^寺處理像素區(qū)域的前景分割結(jié)果。
單元33:前景圖像拼接單元，用于拼接區(qū)域前景分割單元32分割出的各 個待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的整體前景圖像。
在本發(fā)明公開的又一裝置實施例中，所述第二連接能量計算模塊在計算第 二連接能量時，為避免相鄰像素間差值被計算兩次，采用如下方法
首先，對所述當(dāng)前圖像中的每個像素計算其與右側(cè)相鄰像素的顏色差值向 量《；以RGB色度空間為例，對當(dāng)前位置(x,力，其與右側(cè)像素的顏色分量分 別為(《,G, ， A)和(, Gr, A),則顏色差《直向量為《O，力=— i ,, Gr - G,, 5r - 5,);
然后，對所述當(dāng)前圖像中的每個像素計算其與下方相鄰像素的顏色差值向 量g;以RGB色度空間為例，對當(dāng)前位置(x,力，其與下方像素的顏色分量分 別為(A,G,，A)和(^,G,A)，則顏色差值向量為g(x,力=(7 A -i ,，GA -G,，A -A);
最后，對當(dāng)前像素(x,力，采用四鄰域定義方式，計算其與左邊像素的第二 連接能量為A^w(《0-l,力)，其與右邊像素的連接能量為A^w(《(jc，力)，其與上 方像素的連接能量為油，(《(x-l,力)，其與下方像素的連接能量為 iVom(^;(x，力)；其中A^m()為取范數(shù)操作。從而將本來需要的四次操作，簡化 為對每點只需要兩次才喿作。
本發(fā)明還公開了 一種包含有分割獲取前景圖像裝置的攝像頭，分割獲取前 景圖像的裝置包括如下單元
單元31:待處理區(qū)域獲取單元，用于將上一幅圖像作為當(dāng)前圖像的第一 參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，將當(dāng) 前圖像與所述第 一參考圖像和第二參考圖像比較，并依據(jù)比較結(jié)果確定待處理 像素區(qū)域；
單元32:區(qū)域前景分割單元，用于分割待處理區(qū)域獲取單元31生成的每 個待處理像素區(qū)域，獲得每個待處理像素區(qū)域的前景圖像；
單元33:前景圖像拼接單元，用于拼接區(qū)域前景分割單元32分割出的各 個待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的整體前景圖像，并將該整 體前景圖像確定為新的參考圖像。本說明書中的各個實施例均采用遞進(jìn)的方式描述，每個實施例重點說明的 都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即 可。對于系統(tǒng)實施例而言，由于其與方法實施例基本相似，所以描述的比較簡 單，相關(guān)之處參見方法實施例的部分說明即可。
以上對本發(fā)明所提供的一種分割獲取前景圖像的方法、裝置和攝像頭，進(jìn)
述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時， 對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式
及應(yīng)用范圍 上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
權(quán)利要求
1、一種分割獲取前景圖像的方法，其特征在于，包括將上一幅圖像作為當(dāng)前圖像的第一參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像；將當(dāng)前圖像與所述第一參考圖像和第二參考圖像比較，依據(jù)比較結(jié)果確定待處理像素區(qū)域；分割獲得每個待處理像素區(qū)域的前景圖像；拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的前景圖像。
2、 如權(quán)利要求1所述的方法，其特征在于，所述將當(dāng)前圖像與第一參考 圖像和第二參考圖像比較，依據(jù)比較結(jié)果確定待處理像素區(qū)域包括將所述當(dāng)前圖像與第一參考圖像作差運算，并與預(yù)設(shè)的閾值進(jìn)行比較，獲 取幀間變化像素標(biāo)識，形成幀間變化像素標(biāo)識圖像；將幀間變化像素標(biāo)識圖像與所述第二參考圖像進(jìn)行或運算，得到所述當(dāng)前 圖像的待更新像素標(biāo)識圖像；將待更新像素標(biāo)識圖像中相連接的像素歸為一個區(qū)域，并采用其最小外接 矩形作為一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處理像素 區(qū)域。
3、 如權(quán)利要求1或2所述的方法，其特征在于，按照以下步驟分割獲得 每個待處理像素區(qū)域的前景圖像獲取背景像素模型；獲取待處理像素區(qū)域的前景模型； 計算待處理像素區(qū)域的第 一連接能量； 計算待處理像素區(qū)域的第二連接能量；采用圖分割算法對區(qū)域內(nèi)像素進(jìn)行前景分割，獲取待處理像素區(qū)域的前景 分割結(jié)果。
4、 如權(quán)利要求3所述的方法，其特征在于，所述獲取待處理像素區(qū)域的 前景模型包括對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像中該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則，認(rèn)定為同于背景；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前圖像的像素和 背景像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不同于背景，并 更新不同于背景像素標(biāo)識；匯總待處理像素區(qū)域內(nèi)所有不同于背景的像素，形成待處理像素區(qū)域的前景模型。
5、 如權(quán)利要求3所述的方法，其特征在于，所述計算待處理像素區(qū)域的 第一連接能量的步驟包括對于待處理像素區(qū)域中未發(fā)生幀間變化的像素，根據(jù)所述第二參考圖像來 決定其第一連接能量；如果該像素在所述第二參考圖像中屬于前景，則該像素 對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè) 最小值；如果該像素在所述第二參考圖像中屬于背景，則該像素對應(yīng)節(jié)點與前 景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，根據(jù)所述待處理像素區(qū)域 的前景模型和背景像素模型，獲取該像素屬于前景和背景的概率，經(jīng)歸一化后 得到該像素對應(yīng)節(jié)點在所述當(dāng)前圖像中與前景和背景節(jié)點的第一連接能量。
6、 如權(quán)利要求3所述的方法，其特征在于，所述計算待處理像素區(qū)域的 第二連接能量的步驟包括對于待處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用 所述第二參考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；如果待處理像素區(qū)域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則 計算當(dāng)前圖像相鄰像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像 素與相鄰像素間的第二連接能量。
7、 如權(quán)利要求6所述的方法，其特征在于，所述計算當(dāng)前圖像相鄰像素 間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像素間的第二 連接能量包括對所述當(dāng)前圖像的每個像素計算其與右側(cè)相鄰像素的顏色差值向量；對所述當(dāng)前圖像的每個像素計算其與下方相鄰像素的顏色差值向量； 對當(dāng)前像素，采用四鄰域定義方式，計算其與左邊像素、右邊像素、上方 像素、下方像素的二范數(shù)，作為當(dāng)前像素的第二連接能量。
8、 如權(quán)利要求3所述的方法，其特征在于，所述背景像素模型采用混合 高斯模型；所述前景模型采用高斯模型。
9、 一種分割獲取前景圖像的裝置，其特征在于，包括待處理區(qū)域確定單元，用于將上一幅圖像作為當(dāng)前圖像的第 一參考圖像， 將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，比較當(dāng)前圖像與 所述第 一參考圖像和第二參考圖像，依據(jù)比較結(jié)果確定待處理像素區(qū)域； 區(qū)域前景分割單元，用于分割獲得每個待處理像素區(qū)域的前景圖像； 前景圖像拼接單元，用于拼接所有待處理像素區(qū)域的前景圖像，形成所述 當(dāng)前圖像的前景圖像。
10、 如權(quán)利要求9所述的裝置，其特征在于，所述待處理區(qū)域獲取單元包 括待更新像素標(biāo)識圖像獲取模塊和待處理像素區(qū)域劃分模塊，其中所述待更新像素標(biāo)識圖像獲取模塊用于將所述當(dāng)前圖像與第 一參考圖像 作差運算，并與預(yù)設(shè)的閾值進(jìn)行比較，獲取幀間變化像素標(biāo)識，形成幀間變化 像素標(biāo)識圖像；然后，將幀間變化像素標(biāo)識圖像與所述第二參考圖像作或運算， 得到所述當(dāng)前圖像的待更新像素標(biāo)識圖像；所述待處理像素區(qū)域劃分模塊用于將待更新像素標(biāo)識圖像獲取模塊生成 的待更新像素標(biāo)識圖像中相連接的像素歸為一個區(qū)域，并采用其最小外接矩形 作為一個待處理像素區(qū)域的方式，獲得所述當(dāng)前圖像的一個個待處理像素區(qū) 域。
11、 如權(quán)利要求9或IO所述的裝置，其特征在于，所述區(qū)域前景分割單 元包括背景像素模型獲取模塊、區(qū)域前景模型獲取模塊、第一連接能量計算模 塊、第二連接能量計算模塊和區(qū)域前景圖像分割模塊，其中所述背景像素模型獲取模塊用于獲取背景圖像的顏色模型； 所述區(qū)域前景模型獲取模塊用于獲取待處理像素區(qū)域前景模型；對于待處 理像素區(qū)域中未發(fā)生幀間變化的像素，如果所述第二參考圖像中該像素不同于背景，則將所述當(dāng)前圖像的該像素標(biāo)識為不同于背景，否則，認(rèn)定為同于背景; 對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，將所述當(dāng)前圖像的像素和背景 像素顏色的差，與預(yù)設(shè)的閾值進(jìn)行比較，判定該像素是否不同于背景，并更新 不同于背景像素標(biāo)識；然后，匯總待處理像素區(qū)域內(nèi)所有不同于背景的像素， 形成待處理像素區(qū)域的前景模型；所述第一連接能量計算模塊用于計算待處理像素區(qū)域的第一連接能量；對 于待處理像素區(qū)域中未發(fā)生幀間變化的像素，根據(jù)所述第二參考圖像的前景分 割結(jié)果來決定其第一連接能量；如果該像素在所述第二參考圖像中屬于前景， 則該像素對應(yīng)節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最大值，與背景節(jié)點連接能量 設(shè)為預(yù)設(shè)最小值；如果該像素在所述第二參考圖像中屬于背景，則該像素對應(yīng) 節(jié)點與前景節(jié)點連接能量設(shè)為預(yù)設(shè)最小值，與背景節(jié)點連接能量設(shè)為預(yù)設(shè)最大 值；對于待處理像素區(qū)域中發(fā)生了幀間變化的像素，根據(jù)所述待處理像素區(qū)域 的前景模型和背景像素模型，獲取該像素屬于前景和背景的概率，經(jīng)歸一化后 得到該像素對應(yīng)節(jié)點在所述當(dāng)前圖像中與前景和背景節(jié)點的第一連接能量；所述第二連接能量計算模塊用于計算待處理像素區(qū)域的第二連接能量；對 于待處理像素區(qū)域中相鄰的兩個像素，如果均未發(fā)生幀間變化，則采用所述第 二參考圖像的第二連接能量作為所述當(dāng)前圖像的第二連接能量；如果待處理像 素區(qū)域中相鄰兩個像素中，至少有一個發(fā)生了幀間變化，則計算當(dāng)前圖像相鄰 像素間的顏色差值向量的二范數(shù)，作為所述當(dāng)前圖像中該像素與相鄰像素間的 笫二連接能量；所述區(qū)域前景圖像分割模塊用于采用圖分割算法對區(qū)域內(nèi)像素進(jìn)行前景 分割，獲取待處理像素區(qū)域的前景分割結(jié)果。
12、 一種攝像頭，其特征在于，所述攝像頭包括有分割獲取前景圖像的裝 置，所述裝置包括-.待處理區(qū)域確定單元，用于將上一幅圖像作為當(dāng)前圖像的第 一參考圖像， 將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像，比較當(dāng)前圖像與 所述第 一參考圖像和第二參考圖像，依據(jù)比較結(jié)果確定待處理像素區(qū)域；區(qū)域前景分割單元，用于分割獲得每個待處理像素區(qū)域的前景圖像；前景圖像拼接單元，用于拼接所有待處理像素區(qū)域的前景圖像，形成所述 當(dāng)前圖像的前景圖像。
全文摘要
本發(fā)明提供了一種分割獲取前景圖像的方法、裝置和攝像頭，所述方法包括將上一幅圖像作為當(dāng)前圖像的第一參考圖像，將上一幅圖像的前景標(biāo)識圖像作為當(dāng)前圖像的第二參考圖像；將當(dāng)前圖像與所述第一參考圖像和第二參考圖像比較，依據(jù)比較結(jié)果確定待處理像素區(qū)域；分割獲得每個待處理像素區(qū)域的前景圖像；拼接所有待處理像素區(qū)域的前景圖像，形成所述當(dāng)前圖像的前景圖像。本發(fā)明方案利用視頻圖像的幀間信息，只對可能發(fā)生變化的區(qū)域進(jìn)行重新分割，減少了待處理圖像區(qū)域的面積，從而減少了分割提取前景圖像所需的計算量，較大地提高了前景圖像的分割獲取速度。
文檔編號G06T5/00GK101510304SQ20091008095
公開日2009年8月19日 申請日期2009年3月30日 優(yōu)先權(quán)日2009年3月30日
發(fā)明者謝東海, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司