專利名稱：用于分割的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于將圖像序列的第一圖像的第一像素指定給段的分割裝置。
本發(fā)明進(jìn)一步涉及一種將圖像序列的第一圖像的第一像素指定給一個(gè)段的方法。
本發(fā)明還涉及一種圖像處理設(shè)備，它包括-用于接收圖像序列的接收裝置；-用于將圖像序列的第一圖像的第一像素指定給一個(gè)段的分割裝置；和-由分割裝置控制的圖像處理單元。
在許多圖像處理和圖案識別工作中，分割是基本的步驟。分割是為圖像中的像素決定與有限段集合中的一個(gè)段的從屬關(guān)系的過程，其中一個(gè)段是像素的連接的集合。從屬關(guān)系可以根據(jù)顏色、亮度、紋理或其它屬性來確定。像素之間的對應(yīng)性度量稱為一致性。通常，段的意思是“對象在場景中的投射圖像”。
為了壓縮、深度或運(yùn)動(dòng)估計(jì)、對象跟蹤、或視頻分割的其它目的，分割處理理想地應(yīng)當(dāng)滿足以下兩個(gè)要求-分割應(yīng)當(dāng)至少是像素精確的；和-分割應(yīng)當(dāng)時(shí)間上穩(wěn)定只要段在圖像中可見，就應(yīng)當(dāng)能夠被“跟蹤”。事實(shí)上，段理想地應(yīng)當(dāng)沿場景“運(yùn)動(dòng)”，并且其形狀的輪廓不應(yīng)有很大變化。由噪聲、遮擋、變焦和不同視角引起的圖像中的小變化不應(yīng)造成段形狀的突然變化。這避免了例如視頻流處理后閃爍這樣的偽像。
可以考慮兩種極端，其中每一種僅滿足一個(gè)要求-每幀獨(dú)立地精確的分割。該分割可以是像素精確的，但是由于噪聲或其它原因，分割通常時(shí)間上不穩(wěn)定，即連續(xù)圖像之間沒有一對一的對應(yīng)關(guān)系。
-一個(gè)幀被分割，并且這些段在全部后續(xù)圖像中不斷地形成場景(例如通過移位或變形)。這保證了穩(wěn)定性，但是不能處理后來進(jìn)入場景的新對象。
在開始段落中說明的那種方法的實(shí)施例從J.G.Choi等人在1997年4月IEEE Transactions on Circuits and Systems for VideoTechnology，vol.7，no.2上的文章“ Spatio-Temporal VideoSegmentation Using a Joint Similarity Measure”可得知。該文章描述了形態(tài)時(shí)空分割算法。該算法同時(shí)合并了亮度和運(yùn)動(dòng)信息并使用例如形態(tài)濾波器之類的形態(tài)工具和分水嶺算法。為了完成分割的程序由三個(gè)步驟組成聯(lián)合標(biāo)記提取、邊界確定、和基于運(yùn)動(dòng)的區(qū)域融合。首先，聯(lián)合標(biāo)記提取識別運(yùn)動(dòng)和亮度中一致區(qū)域的出現(xiàn)，其中提出了一種簡單的聯(lián)合標(biāo)記提取技術(shù)。第二，通過分水嶺算法確定時(shí)空邊界。為此，提出了一種聯(lián)合相似性方法。最后，使用基于運(yùn)動(dòng)的區(qū)域融合進(jìn)行多余區(qū)域的刪除。該算法的核心是形態(tài)時(shí)空分割的聯(lián)合相似性方法。時(shí)空分割的聯(lián)合相似性方法是亮度差加運(yùn)動(dòng)差的加權(quán)和。它定義為相似性相似性＝β(亮度差)+(1-β)k運(yùn)動(dòng)差 (1)其中k是比例因數(shù)而β是加權(quán)因數(shù)。加權(quán)因數(shù)允許將更大的重要性給與亮度差或運(yùn)動(dòng)差。亮度差是所考慮像素和已經(jīng)指定給區(qū)域的像素的平均之間的灰度差。運(yùn)動(dòng)差是像素(x，y)的估計(jì)運(yùn)動(dòng)矢量和由區(qū)域的運(yùn)動(dòng)模型在像素(x，y)產(chǎn)生的運(yùn)動(dòng)矢量之間的運(yùn)動(dòng)誤差。通過同時(shí)合并空間和時(shí)間信息，能夠獲得視覺上有意義的分割結(jié)果。但是該算法在新對象進(jìn)入場景時(shí)效果不好，即時(shí)間上不穩(wěn)定。
本發(fā)明的目的是提供一種在開始段落描述的那種分割裝置，它被安排為進(jìn)行相對時(shí)間穩(wěn)定的、像素精確的分割。
實(shí)現(xiàn)本發(fā)明在于用于將圖像序列的第一圖像的第一像素指定給段的分割裝置包括-指定單元，用于根據(jù)第一圖像將第一一致值指定給第一像素，并將第二一致值指定給圖像序列的第二圖像的第二像素，第一像素和第二像素通過運(yùn)動(dòng)矢量相關(guān)聯(lián)；一平均單元，用于通過平均第一一致值和第二一致值計(jì)算第一像素的平均一致值；和-比較單元，用于比較平均一致值和閾值，以便將第一像素指定給段。
本發(fā)明的一個(gè)重要方面是第一像素是否屬于一個(gè)段的確定是根據(jù)基于多個(gè)圖像的像素計(jì)算的平均一致值進(jìn)行的。所述多個(gè)圖像的像素之間的關(guān)系由對于所述多個(gè)像素所屬圖像確定的運(yùn)動(dòng)矢量定義。運(yùn)動(dòng)矢量對應(yīng)于在捕獲可應(yīng)用運(yùn)動(dòng)矢量的各圖像的時(shí)間間隔中的一部分對象的移位。在按照現(xiàn)有技術(shù)的分割方法中，一致值根據(jù)一個(gè)圖像的像素計(jì)算亮度差是所考慮像素和已經(jīng)指定給區(qū)域的像素平均之間的灰度差。使用平均一致值的優(yōu)點(diǎn)是具有時(shí)間穩(wěn)定性，同時(shí)仍然能夠進(jìn)行像素精確的分割。通常，例如由噪聲引起的、圖像序列中從一個(gè)圖像到下一圖像的像素值中的波動(dòng)，導(dǎo)致分割中的不穩(wěn)定性。這主要由閾值化步驟(即比較步驟)造成。通過使用平均一致值，能夠減少波動(dòng)的影響。
已經(jīng)計(jì)算平均一致值以后，比較單元比較該平均一致值和閾值。依照一致性的類型和分割的類型，如果平均一致值在閾值之上或之下，第一像素被指定給段。閾值可以是預(yù)定值。優(yōu)選地，閾值根據(jù)要分割圖像的特性來計(jì)算。
用于將第一一致值指定給第一像素的指定單元可以設(shè)計(jì)為根據(jù)比較第一像素附近像素的亮度值或色度值(例如方差值或最大算子或其它非線性算子)來計(jì)算該值。不過，像素的亮度值或色度值也可以用作一致值。
按照本發(fā)明的分割裝置的一個(gè)實(shí)施例被安排為還通過考慮序列的另外圖像的更多一致值來計(jì)算平均一致值。該實(shí)施例的優(yōu)點(diǎn)是能夠?qū)崿F(xiàn)噪聲的更多減少。優(yōu)選地，分割裝置被安排為執(zhí)行平均一致值的遞歸計(jì)算。這是指根據(jù)與該當(dāng)前圖像有關(guān)的一致值和為先前計(jì)算的圖像計(jì)算的平均一致值來計(jì)算當(dāng)前圖像(例如第一圖像)的平均一致值。使用遞歸方法的分割裝置的優(yōu)點(diǎn)是只需相對很小的存儲器來存儲另外圖像的更多一致值。
在按照本發(fā)明的分割裝置的一個(gè)實(shí)施例中，平均單元被安排為計(jì)算加權(quán)平均一致性。為此，平均單元具有一個(gè)接口，通過它能夠控制加權(quán)因子。該加權(quán)因子在加權(quán)平均一致值中確定第一一致值和另一一致值之間的比例。另一一致值是指例如第二一致值或更多的一致值。計(jì)算加權(quán)平均一致值的優(yōu)點(diǎn)是它允許在一方面主要基于單個(gè)圖像的像素精確分割和另一方面基于多個(gè)圖像的時(shí)間穩(wěn)定分割之間進(jìn)行平衡。
按照本發(fā)明的分割裝置的一個(gè)實(shí)施例的特征在于分割裝置被安排為在像素基礎(chǔ)上控制加權(quán)因子，加權(quán)因子影響對加權(quán)平均一致值的計(jì)算的加權(quán)。加權(quán)因子對于一整幅圖像可以是固定的。但是，當(dāng)具有有關(guān)所考慮圖像之一中的像素一致值質(zhì)量的知識時(shí)，優(yōu)選地對平均做相應(yīng)的適配。用質(zhì)量指示符也能夠指示沒有有效的一致值。這會(huì)在例如場景中的對象遮擋時(shí)發(fā)生。例如，特定運(yùn)動(dòng)矢量的質(zhì)量是相應(yīng)像素一致值質(zhì)量的良好指示。
按照本發(fā)明的分割裝置的一個(gè)實(shí)施例包括運(yùn)動(dòng)估計(jì)單元，用于估計(jì)運(yùn)動(dòng)矢量，運(yùn)動(dòng)估計(jì)單元被比較單元控制。要求運(yùn)動(dòng)估計(jì)單元提供運(yùn)動(dòng)矢量。原理上，這可以是任何類型的運(yùn)動(dòng)估計(jì)單元，例如基于塊的運(yùn)動(dòng)估計(jì)單元。但是，運(yùn)動(dòng)估計(jì)單元優(yōu)選地是基于段的運(yùn)動(dòng)估計(jì)單元。在該實(shí)施例中，比較單元的輸出(即段)被提供給運(yùn)動(dòng)估計(jì)單元，以便估計(jì)出相對良好的運(yùn)動(dòng)矢量。
按照本發(fā)明的分割裝置的一個(gè)實(shí)施例的特征在于包括用于估計(jì)運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元，并且特征在于運(yùn)動(dòng)估計(jì)單元被設(shè)計(jì)為控制加權(quán)因子。如上所述，運(yùn)動(dòng)矢量的質(zhì)量是所指定的一致值質(zhì)量的指示。通過向平均單元提供與運(yùn)動(dòng)矢量的質(zhì)量有關(guān)的指示符，平均單元能夠控制加權(quán)因子。
分割裝置的修改及其變化可以與所描述的方法和圖像處理設(shè)備的修改和變化相對應(yīng)。
按照本發(fā)明的分割裝置、方法和圖像處理設(shè)備的這些和其它方面將就下文所述的執(zhí)行方案和實(shí)施例并參考附圖來說明和變得清楚，其中

圖1示意性示出了按照本發(fā)明的分割裝置的一個(gè)實(shí)施例，它被安排為計(jì)算加權(quán)平均一致值；圖2示意性示出了分割裝置的一個(gè)實(shí)施例，它包括被比較單元控制的運(yùn)動(dòng)估計(jì)單元；圖3示意性示出了分割裝置的一個(gè)實(shí)施例，它具有被運(yùn)動(dòng)估計(jì)單元控制的平均單元；和圖4示意性示出了按照本發(fā)明的圖像處理設(shè)備的一個(gè)實(shí)施例。
相應(yīng)的參考號在所有附圖中具有相同的意義。
圖1示意性示出了按照本發(fā)明的分割裝置100的一個(gè)實(shí)施例。用于將圖像序列的第一圖像的第一像素指定給段的分割裝置100包括-指定單元102，用于根據(jù)第一圖像將第一一致值指定給第一像素，并將第二一致值指定給圖像序列的第二圖像的第二像素；-運(yùn)動(dòng)補(bǔ)償單元104，用于圖像序列的第二圖像的運(yùn)動(dòng)補(bǔ)償；-平均單元103，用于通過平均第一一致值和第二一致值來計(jì)算第一像素的加權(quán)平均一致值；和-比較單元106，用于比較平均一致值和閾值，以便將第一像素指定給段。
運(yùn)動(dòng)估計(jì)單元108向運(yùn)動(dòng)補(bǔ)償單元104提供運(yùn)動(dòng)矢量。任選地，分割裝置100包括運(yùn)動(dòng)估計(jì)單元108。
首先，將提供分割裝置的操作的數(shù)學(xué)描述。第二，通過由分割裝置100連續(xù)進(jìn)行的步驟簡要描述各分離單元102-108的工作。
用Ht(x，y)表示像素位置(x，y)處標(biāo)為t的圖像的一致值。對比現(xiàn)有技術(shù)分割方法，分割不是根據(jù)Ht(x，y)，而是根據(jù)在公式2中定義的量 H^t(x,y)=αH~t-1(x,y)+(1-α)Ht(x,y)---(2)]]>其中 在公式3中定義H~t-1(x,y)=Ht-1(x+Δx,y+Δy)---(3)]]>這是指對于具有坐標(biāo)(x，y)的特定像素，先前圖像的運(yùn)動(dòng)補(bǔ)償?shù)囊恢轮岛彤?dāng)前圖像的一致值通過計(jì)算加權(quán)平均來合并。
下面，將通過由分割裝置100連續(xù)進(jìn)行的步驟簡要描述各分離單元102-108的工作。圖像It-1，It，It+1，It+2，…在輸入連接器116被提供給運(yùn)動(dòng)估計(jì)單元108，以便計(jì)算運(yùn)動(dòng)矢量。這為每個(gè)像素給出運(yùn)動(dòng)矢量(Δx，Δy)。圖像It-1，It，It+1，It+2，…還提供給分割裝置100的輸入連接器110。指定單元102給It的每個(gè)像素指定一致值Ht(x，y)。然后，平均單元103通過平均一致值Ht(x，y)和先前確定的一致值 計(jì)算加權(quán)平均一致值 然后，將平均一致值 提供給比較單元106，用于比較平均一致值和閾值，以便將具有坐標(biāo)(x，y)的像素指定給特定段。任選地，其它分割步驟由比較單元106執(zhí)行例如生長、腐蝕、膨脹之類的形態(tài)運(yùn)算。分割結(jié)果是指示相應(yīng)像素屬于哪個(gè)段的值的矩陣。該分割結(jié)果在輸出連接器112提供。平均一致值 還提供給運(yùn)動(dòng)補(bǔ)償單元104，以便計(jì)算 即 的用于以后圖像分割的運(yùn)動(dòng)補(bǔ)償?shù)陌姹尽?br> 平均單元103包括具有連接器114的控制接口，通過它能夠提供加權(quán)因子α的適當(dāng)值。α的值在0到1之間。當(dāng)α＝0時(shí)，對當(dāng)前圖像的分割不考慮其它圖像的一致值。當(dāng)α＝1時(shí)，對當(dāng)前圖像的分割僅考慮其它圖像的一致值。任選地，在像素基礎(chǔ)上控制該加權(quán)因子α(x，y)。參見圖3。這是指公式2應(yīng)重寫為H~t(x,y)=α(x,y)H~t-1(x,y)+(1-α(x,y))Ht(x,y)---(4)]]>運(yùn)動(dòng)估計(jì)單元108任選地包括也提供運(yùn)動(dòng)矢量的輸出連接器113。這是指通過該輸出連接器，運(yùn)動(dòng)補(bǔ)償單元104以外的其它單元能夠訪問運(yùn)動(dòng)矢量。連同圖4，描述了這些運(yùn)動(dòng)矢量能夠外部加到分割裝置404。
圖2示意性示出了分割裝置200的一個(gè)實(shí)施例，它包括由比較單元106控制的運(yùn)動(dòng)估計(jì)單元108。在按照本發(fā)明的該實(shí)施例中，運(yùn)動(dòng)估計(jì)單元108被安排為由分割裝置200定義的段計(jì)算運(yùn)動(dòng)矢量。反之亦然，分割裝置200被安排為根據(jù)由運(yùn)動(dòng)估計(jì)單元108估計(jì)的運(yùn)動(dòng)矢量計(jì)算新的段。由于該相互依賴性，應(yīng)當(dāng)根據(jù)單個(gè)圖像進(jìn)行初始分割，而不用管運(yùn)動(dòng)。根據(jù)由該初始分割找到的段，能夠估計(jì)運(yùn)動(dòng)矢量來處理隨后的圖像。剩下的是該分割裝置200的工作，基本上和結(jié)合圖1所描述的分割裝置100的工作相同。
圖3示意性示出了分割裝置300的實(shí)施例，它具有由運(yùn)動(dòng)估計(jì)單元108控制的平均單元103。加權(quán)在像素基礎(chǔ)上來控制，即該分割裝置300能夠應(yīng)用方程式4。向運(yùn)動(dòng)補(bǔ)償單元104和平均單元103提供運(yùn)動(dòng)矢量。此外，向平均單元103提供有關(guān)運(yùn)動(dòng)矢量的信息。所述信息是指有關(guān)運(yùn)動(dòng)矢量質(zhì)量的指示，例如運(yùn)動(dòng)矢量的匹配誤差。如果特定運(yùn)動(dòng)矢量的質(zhì)量高，那么相應(yīng)加權(quán)因子α(x，y)的值可以設(shè)置為高的值。但是，如果特定運(yùn)動(dòng)矢量的質(zhì)量低，那么相應(yīng)加權(quán)因子α(x，y)的值可以設(shè)置為低的值。
圖4示意性示出了按照本發(fā)明的圖像處理設(shè)備400的實(shí)施例。圖像處理設(shè)備400包括-接收裝置402，用于接收圖像序列。接收的信號可以是經(jīng)天線或電纜接收的廣播信號，但也可以是來自例如VCR(錄像機(jī))或數(shù)字多用盤(DVD)的存儲設(shè)備的信號。在輸入連接器408提供信號。
-如結(jié)合圖1、圖2或圖3所描述的分割裝置404；和-由分割裝置404控制的圖像處理單元406。圖像處理單元406可以是視頻編碼器，例如MPEG編碼器。通過已經(jīng)分割圖像，能夠用比其它段高的精確度編碼一些段。這在例如視頻會(huì)議系統(tǒng)中是有利的，在該系統(tǒng)中對人臉的編碼方式不同于背景。
或者，圖像處理單元406可以被安排為執(zhí)行深度估計(jì)。已知，運(yùn)動(dòng)估計(jì)方法的步驟之后可以是計(jì)算步驟，以獲得深度估計(jì)的方法?？紤]以下的問題給定由具有已知運(yùn)動(dòng)的攝像機(jī)得到的靜態(tài)場景的圖像序列，應(yīng)當(dāng)恢復(fù)深度信息。圖像序列中的所有明顯運(yùn)動(dòng)由視差產(chǎn)生。一個(gè)段和另一個(gè)段之間運(yùn)動(dòng)的差表示深度差。實(shí)際上，通過分析兩幅連續(xù)的圖像，能夠計(jì)算在時(shí)間t的給定圖像段和在t+1的同一個(gè)段之間的視差。該視差對應(yīng)于場景不同部分的運(yùn)動(dòng)。在攝像機(jī)平移的情況中，前景中的對象移動(dòng)得比背景中的多。通過應(yīng)用幾何關(guān)系，可以從運(yùn)動(dòng)推出深度信息。此概念由P.Wilinski和C.van Overveld在1998年奧地利Alpbach的Proceedings of Image and MultidimensionalSignal Processing Workshop 159-162頁中的文章“Depth frommotion using confidence based block matching”中說明。
注意，上述實(shí)施例是說明而不是限制本發(fā)明，本領(lǐng)域技術(shù)人員能夠在不偏離所附權(quán)利要求書范圍的前提下設(shè)計(jì)替代的實(shí)施例。在權(quán)利要求書中，置于括號中的參考符號不構(gòu)成對權(quán)利要求的限制。單詞‘包括’不排除存在權(quán)利要求中沒有列出的元件或步驟。元件之前的單詞‘一個(gè)’不排除存在多個(gè)這種元件。本發(fā)明能夠通過包括幾個(gè)不同元件的硬件和適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉幾個(gè)裝置的裝置權(quán)利要求中，這幾個(gè)裝置能夠由同一項(xiàng)硬件包含。
權(quán)利要求
1.一種用于將圖像序列的第一圖像的第一像素指定給一個(gè)段的分割裝置(100，200，300)，包括-指定單元(102)，用于根據(jù)第一圖像將第一一致值指定給第一像素，并將第二一致值指定給圖像序列的第二圖像的第二像素，第一像素和第二像素通過運(yùn)動(dòng)矢量相關(guān)聯(lián)；-平均單元(103)，用于通過對第一一致值和第二一致值求平均來計(jì)算第一像素的平均一致值；和-比較單元(106)，用于將平均一致值和閾值進(jìn)行比較，以便將第一像素指定給該段。
2.如權(quán)利要求1所述的分割裝置(100，200，300)，其特征在于分割裝置(100，200，300)被安排為還通過考慮序列的另外圖像的另外的一致值來計(jì)算平均一致值。
3.如權(quán)利要求1所述的分割裝置(100，200，300)，其特征在于平均單元(103)被安排為計(jì)算加權(quán)平均一致值。
4.如權(quán)利要求3所述的分割裝置(200，300)，其特征在于分割裝置(200，300)被安排為在像素的基礎(chǔ)上控制加權(quán)因子，該加權(quán)因子影響用于計(jì)算加權(quán)平均一致值的加權(quán)。
5.如權(quán)利要求1所述的分割裝置(200，300)，其特征在于包括用于估計(jì)運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元(108)，并且運(yùn)動(dòng)估計(jì)單元(108)由比較單元(106)控制。
6.如權(quán)利要求3所述的分割裝置(300)，其特征在于包括用于估計(jì)運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元(108)，并且運(yùn)動(dòng)估計(jì)單元(108)被設(shè)計(jì)來控制加權(quán)因子。
7.一種將圖像序列的第一圖像的第一像素指定給一個(gè)段的方法，包括-指定步驟，用于根據(jù)第一圖像將第一一致值指定給第一像素，并將第二一致值指定給圖像序列的第二圖像的第二像素，并且第一像素和第二像素通過運(yùn)動(dòng)矢量相關(guān)聯(lián)；-平均步驟，用于通過對第一一致值和第二一致值求平均來計(jì)算第一像素的平均一致值；-用于比較步驟，將平均一致值和預(yù)定閾值進(jìn)行比較，以便確定第一像素是否屬于該段。
8.一種圖像處理設(shè)備(400)，包括-接收裝置(402)，用于接收圖像序列，-分割裝置(404)，用于將圖像序列的第一圖像的第一像素指定給一個(gè)段，該分割裝置包括*指定單元(102)，用于根據(jù)第一圖像將第一一致值指定給第一像素，并將第二一致值指定給圖像序列的第二圖像的第二像素，第一像素和第二像素通過運(yùn)動(dòng)矢量相關(guān)聯(lián)；*平均單元(103)，用于通過對第一一致值和第二一致值求平均來計(jì)算第一像素的平均一致值；和*比較單元(106)，用于將平均一致值和預(yù)定閾值進(jìn)行比較，以便確定第一像素是否屬于該段；和-圖像處理單元(406)，它由分割裝置(100，200，300)控制。
9.如權(quán)利要求8所述的圖像處理設(shè)備(400)，其特征在于圖像處理單元(400)被設(shè)計(jì)用于解碼圖像。
10.如權(quán)利要求8所述的圖像處理設(shè)備(400)，其特征在于圖像處理單元(400)被設(shè)計(jì)用于執(zhí)行深度估計(jì)。
全文摘要
用于將圖像序列的第一圖像的第一像素指定給段的分割裝置(100，200，300)包括指定單元(102)，用于根據(jù)第一圖像將第一一致值指定給第一像素；平均單元(103)，用于通過平均第一一致值和第二一致值計(jì)算第一像素的平均一致值，其中第二一致值是對圖像序列的第二圖像的第二像素確定的，第一像素和第二像素通過運(yùn)動(dòng)矢量相關(guān)聯(lián)；和比較單元(106)，用于比較平均一致值和閾值，以便將第一像素指定給段。
文檔編號G06T7/20GK1628323SQ03803327
公開日2005年6月15日 申請日期2003年1月23日 優(yōu)先權(quán)日2002年2月6日
發(fā)明者F·E·埃恩斯特, C·瓦雷坎普 申請人:皇家飛利浦電子股份有限公司