檢測(cè)方法及檢測(cè)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是有關(guān)于圖像處理，特別是有關(guān)于檢測(cè)在視頻序列的多個(gè)圖像中的前景區(qū)域。
【背景技術(shù)】
[0002]運(yùn)動(dòng)估計(jì)(mot1n estimat1n)廣泛地用于圖像處理的方法中，例如，用于在預(yù)測(cè)或插值的影像中預(yù)測(cè)或插值移動(dòng)物體。為了計(jì)算影像的每一部分，必須解決遮擋的問(wèn)題。除了檢測(cè)影像的遮擋區(qū)域以外，也需要識(shí)別出前景區(qū)域或背景區(qū)域的位置，如此可確定用于預(yù)測(cè)遮擋區(qū)域的參數(shù)。
[0003]遮擋區(qū)域(occlus1n area)是在一個(gè)幀中可見(jiàn)的部分場(chǎng)景，但由于前景物體的妨礙，使得遮擋區(qū)域在多個(gè)連續(xù)影像的一個(gè)相鄰幀中變得不可見(jiàn)。連續(xù)影像中的每一個(gè)影像可以是由影像系統(tǒng)所捕獲的圖像或是基于捕獲的圖像所獲得的插值影像。對(duì)于由相機(jī)所捕獲的連續(xù)影像來(lái)說(shuō)，遮擋區(qū)域的存在是由于在物體與相機(jī)之間的相對(duì)位置的改變而導(dǎo)致的。當(dāng)影像的一些部分變?yōu)椴豢梢?jiàn)時(shí)，由于投射的關(guān)系，背景物體的至少一部分被較接近于相機(jī)的前景物體所遮蔽。反過(guò)來(lái)說(shuō)，若前景物體在場(chǎng)景中位于較遠(yuǎn)離相機(jī)的地方，則部分背景變?yōu)槲幢徽诒?。變?yōu)楸徽诒位蛭幢徽诒蔚牟糠直尘拔矬w稱(chēng)作為遮擋區(qū)域。當(dāng)此區(qū)域變?yōu)楸徽诒位蛭幢徽诒螘r(shí)，在鄰近影像中唯一相配的區(qū)域則無(wú)法通過(guò)運(yùn)動(dòng)估計(jì)來(lái)找到。因此，遮蔽的問(wèn)題必須特別留意，否則在時(shí)序插值中會(huì)產(chǎn)生假影(artifact)。
[0004]在現(xiàn)有技術(shù)中，遮擋檢測(cè)是基于在兩個(gè)連續(xù)影像之間與兩個(gè)運(yùn)動(dòng)向量相關(guān)的像素差異來(lái)進(jìn)行的(美國(guó)專(zhuān)利US7995793B2)。兩個(gè)運(yùn)動(dòng)向量中的一個(gè)可能等于0，其對(duì)應(yīng)相對(duì)于相機(jī)靜止的背景。圖1為以?xún)蓚€(gè)運(yùn)動(dòng)向量為基礎(chǔ)的遮擋檢測(cè)的示意圖。該兩個(gè)運(yùn)動(dòng)向量為在影像系統(tǒng)所捕獲兩個(gè)連續(xù)幀(幀(t)與幀(t+Ι))之間的兩個(gè)運(yùn)動(dòng)向量。幀(t+δ)是根據(jù)幀(t)與幀(t+Ι)而在時(shí)序上插值的。確定兩個(gè)運(yùn)動(dòng)向量(即運(yùn)動(dòng)向量MVl與運(yùn)動(dòng)向量MV2)，來(lái)描述在兩個(gè)幀之間的運(yùn)動(dòng)，其中運(yùn)動(dòng)向量MVl = 0，其對(duì)應(yīng)于背景區(qū)域的零向量。
[0005]幀(t+ δ )通過(guò)根據(jù)這兩個(gè)運(yùn)動(dòng)向量中的一個(gè)來(lái)投影幀(t)與幀(t+Ι)而形成的。舉例來(lái)說(shuō)，由于在幀(t)中的區(qū)域101與在幀(t+Ι)中的區(qū)域121之間較好的匹配可通過(guò)使用運(yùn)動(dòng)向量MVl來(lái)獲得，因此，在幀(t+δ)中的區(qū)域111是根據(jù)運(yùn)動(dòng)向量MVl來(lái)將區(qū)域101投射至區(qū)域121而形成的。同樣地，由于在幀⑴中的區(qū)域102與在幀(t+Ι)中的區(qū)域122之間較好的匹配可通過(guò)使用運(yùn)動(dòng)向量MV2來(lái)獲得，因此，在幀(t+δ)中的區(qū)域112是根據(jù)運(yùn)動(dòng)向量MV2來(lái)將區(qū)域102投射至區(qū)域122而形成的。然而，對(duì)于在幀(t+δ)中的區(qū)域113而言，沒(méi)有任何運(yùn)動(dòng)向量可導(dǎo)致在幀(t)與幀(t+Ι)的對(duì)應(yīng)區(qū)域之間的較好匹配。換句話(huà)說(shuō)，不論使用這兩個(gè)運(yùn)動(dòng)向量中的哪一個(gè)，對(duì)于在幀⑴和幀(t+Ι)中與幀(t+δ)的區(qū)域113相關(guān)聯(lián)的對(duì)應(yīng)區(qū)域而言，具有較大的像素差異。
[0006]除了檢測(cè)遮擋區(qū)域的位置以外，可確定在鄰近影像中的參數(shù)以進(jìn)行遮擋區(qū)域的預(yù)測(cè)。當(dāng)遮擋區(qū)域中的影像內(nèi)容是來(lái)自將被遮蔽或變成未被遮蔽的對(duì)應(yīng)區(qū)域時(shí)，對(duì)應(yīng)區(qū)域的位置應(yīng)該被識(shí)別出。最近被遮蔽或變?yōu)槲凑诒蔚膶?duì)應(yīng)區(qū)域相鄰于鄰近影像的背景區(qū)域，其中該鄰近影像是用來(lái)預(yù)測(cè)相鄰于當(dāng)前幀中遮擋區(qū)域的背景區(qū)域。因此，此對(duì)應(yīng)區(qū)域的位置可間接地通過(guò)確定相鄰于遮擋區(qū)域的前景區(qū)域或背景區(qū)域來(lái)確定。
[0007]圖2為在三個(gè)連續(xù)幀中預(yù)測(cè)一個(gè)影像的參考區(qū)塊的示意圖。該參考區(qū)塊用于形成一個(gè)插值幀的每一個(gè)區(qū)塊。幀210根據(jù)鄰近的幀200與幀220來(lái)插值。幀200與幀220為由影像系統(tǒng)所捕獲的兩個(gè)連續(xù)幀。在此例子中，在幀200與幀220中，左邊物體對(duì)應(yīng)背景區(qū)域，而右邊物體對(duì)應(yīng)于前景區(qū)域。如圖2所示，在幀200中，區(qū)塊k至區(qū)塊b 7位于背景區(qū)域，而區(qū)塊b8至區(qū)塊b 19是位于前景區(qū)域。在幀220中，區(qū)塊c C1至區(qū)塊c 5位于背景區(qū)域，而區(qū)塊C12至區(qū)塊c 19是位于前景區(qū)域。幀220的區(qū)塊c 6至區(qū)塊c η位于將被前景區(qū)域遮蔽的區(qū)域或變成未被前景區(qū)域所遮蔽的區(qū)域。若執(zhí)行由幀200至幀220的運(yùn)動(dòng)估計(jì)，區(qū)塊(:6至區(qū)塊C11是位于幀220中最近未被遮蔽的區(qū)域。另一方面，若執(zhí)行由幀220至幀200的運(yùn)動(dòng)估計(jì)，區(qū)塊C6至區(qū)塊c ^則為將被變?yōu)楸徽诒蔚膮^(qū)域。在幀200與幀220中的相匹配區(qū)塊可用于在幀210中區(qū)塊的插值。在幀200與幀220中相匹配區(qū)塊之間的關(guān)系可通過(guò)使用運(yùn)動(dòng)估計(jì)技術(shù)來(lái)判斷。舉例來(lái)說(shuō)，如圖2的雙向箭頭所示，可自背景區(qū)域得到運(yùn)動(dòng)向量MVbW及可自前景區(qū)域得到運(yùn)動(dòng)向量MVf。可使用區(qū)塊為基礎(chǔ)的運(yùn)動(dòng)估計(jì)，且此技術(shù)在其技術(shù)領(lǐng)域中為已知的。因此，在此不加以詳細(xì)說(shuō)明。請(qǐng)注意，每一個(gè)箭頭的長(zhǎng)度與任何運(yùn)動(dòng)向量的長(zhǎng)度之間不具有關(guān)聯(lián)。在此例子中，幀220中的區(qū)塊Ctl、區(qū)塊C1、區(qū)塊C2、區(qū)塊C3、區(qū)塊c4，、與區(qū)塊(:5分別與幀200中的區(qū)塊1^2、區(qū)塊b3、區(qū)塊b4、區(qū)塊b5、區(qū)塊b6、與區(qū)塊卜相匹配。同樣地，區(qū)塊c12、區(qū)塊c13、區(qū)塊c14、區(qū)塊c15、區(qū)塊c16、區(qū)塊c17、區(qū)塊C18、與區(qū)塊C19分別與區(qū)塊區(qū)塊b8、區(qū)塊b9、區(qū)塊b1(l、區(qū)塊bn、區(qū)塊b12、區(qū)塊b13、區(qū)塊b14、與區(qū)塊b15相匹配。對(duì)于在幀220中將被遮蔽或變?yōu)槲幢徽诒蔚膮^(qū)域而言，在幀200中沒(méi)有區(qū)塊可匹配區(qū)塊C6、區(qū)塊c7、區(qū)塊c8、區(qū)塊c9、區(qū)塊Cltl、與區(qū)塊C11。
[0008]幀210根據(jù)幀200與幀220而插值獲得的。在幀200與幀220中每一對(duì)相匹配的區(qū)塊可作為兩個(gè)參考區(qū)塊，以形成幀210中的一個(gè)插值區(qū)塊。在插值幀的前景區(qū)域或背景區(qū)域中的區(qū)塊可根據(jù)在此兩個(gè)鄰近幀中的對(duì)應(yīng)兩個(gè)參考區(qū)塊來(lái)形成。然而，當(dāng)在幀200中沒(méi)有發(fā)現(xiàn)相匹配的區(qū)塊時(shí)，在幀210中的遮擋的區(qū)塊&7、區(qū)塊a8、與區(qū)塊&9只可根據(jù)在幀220中將被遮蔽或變?yōu)槲幢徽诒蔚膶?duì)應(yīng)區(qū)域來(lái)預(yù)測(cè)。遮擋的區(qū)塊a7、區(qū)塊a8、與區(qū)塊&9應(yīng)可分別根據(jù)區(qū)塊C6、區(qū)塊C7、與區(qū)塊(:8來(lái)預(yù)測(cè)。遮擋的區(qū)塊a 7、區(qū)塊a8、區(qū)塊a9與對(duì)應(yīng)參考的區(qū)塊c6、區(qū)塊c7、區(qū)塊C8之間的關(guān)系可由在圖2中以虛線(xiàn)箭頭來(lái)呈現(xiàn)的運(yùn)動(dòng)向量MV (^來(lái)獲得。運(yùn)動(dòng)向量MVm相同于給予幀210與幀220的背景區(qū)域之間的關(guān)系的運(yùn)動(dòng)向量，例如用來(lái)表示由區(qū)塊&6至區(qū)塊C5的關(guān)系的運(yùn)動(dòng)向量。如圖2所示，在幀220中的參考區(qū)域相鄰于，用來(lái)預(yù)測(cè)幀210中遮擋區(qū)域的鄰近背景區(qū)域的背景區(qū)域。
[0009]在圖2中，運(yùn)動(dòng)向量MVb或運(yùn)動(dòng)向量MVf的尺寸僅指示在幀200與幀220中的相匹配區(qū)塊。運(yùn)動(dòng)向量MVm指示在幀210與幀220中的遮擋區(qū)塊和對(duì)應(yīng)的參考區(qū)塊。在運(yùn)動(dòng)估計(jì)的技術(shù)領(lǐng)域中已知，區(qū)塊匹配是在二維空間中執(zhí)行，并且運(yùn)動(dòng)向量通常包括水平成分以及垂直成分。每一個(gè)區(qū)塊對(duì)應(yīng)一個(gè)二維的像素?cái)?shù)組。在圖2中的一維圖示僅用于簡(jiǎn)潔說(shuō)明。此外，當(dāng)區(qū)塊％、區(qū)塊匕、與區(qū)塊Ci以垂直對(duì)齊來(lái)繪制時(shí)，其并非暗示運(yùn)動(dòng)向量尺寸是由區(qū)塊尺寸來(lái)量測(cè)。舉例來(lái)說(shuō)，圖2可能對(duì)應(yīng)在水平方向的匹配。水平區(qū)塊可對(duì)應(yīng)八個(gè)像素。如圖2所示，盡管前景區(qū)域中的區(qū)塊匕與區(qū)塊ci+4相匹配時(shí)，并非必然暗示水平運(yùn)動(dòng)向量為32個(gè)像素(即4x8 = 32個(gè)像素)。
[0010]圖3為在三個(gè)連續(xù)幀中預(yù)測(cè)一個(gè)影像的參考區(qū)塊的另一示例的示意圖。該參考區(qū)塊形成一個(gè)插值幀中每一個(gè)區(qū)塊。不同于圖2所顯示的例子，在幀300與幀320中，右邊的物體對(duì)應(yīng)背景區(qū)域，而左邊的物體對(duì)應(yīng)前景區(qū)域。因此，在幀300中，區(qū)塊k至區(qū)塊b7位于前景區(qū)域，而區(qū)塊b8至區(qū)塊b 19位于背景區(qū)域。在幀320中，區(qū)塊c C1至區(qū)塊c 5位于前景區(qū)域，而區(qū)塊C12至區(qū)塊c 19位于背景區(qū)域。
[0011]幀310是根據(jù)兩個(gè)捕獲的幀300與幀320來(lái)插值獲得的。遮擋的區(qū)塊a7、區(qū)塊a8、與區(qū)塊知應(yīng)分別根據(jù)區(qū)塊c 9、區(qū)塊Cltl、與區(qū)塊C11來(lái)預(yù)測(cè)。遮擋的區(qū)塊a 7、區(qū)塊a8、區(qū)塊a9與區(qū)塊C9、區(qū)塊Cltl、區(qū)塊C1 i之間的關(guān)系可由運(yùn)動(dòng)向量MV ?來(lái)獲得。在此例子中，運(yùn)動(dòng)向量MVqb相同于給予幀310與幀320的背景區(qū)域之間的關(guān)系的運(yùn)動(dòng)向量，例如用來(lái)表示由區(qū)塊a1Q至