專利名稱：迭代運(yùn)動(dòng)分割的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于同時(shí)從多個(gè)圖像中提取一個(gè)背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理方法和圖像處理裝置。

背景技術(shù)：
在從多個(gè)圖像中提取背景圖像和作為前景圖像的對(duì)象圖像的多種技術(shù)中，有一種利用了三維信息的方法。在該方法中，使用立體攝像機(jī)、測(cè)距儀等來(lái)獲得圖像場(chǎng)景的三維信息，并且基于所獲得的三維信息將背景圖像和對(duì)象圖像彼此分開(kāi)。然而，這種技術(shù)需要一種測(cè)量三維信息的裝置。
也有一種不使用三維信息，用于提取背景圖像和作為前景圖像的對(duì)象圖像的技術(shù)。例如，在非專利文檔1(Chris Stauffer和EricGrimson，“Adaptive Background Mixture Models for Real-timeTracking”，IEEE Computer Society Conference Computer Vision andPattern Recognition，第246至252頁(yè)，1999)中說(shuō)明的技術(shù)能對(duì)像素中的時(shí)間變化進(jìn)行概率性建模以進(jìn)行背景區(qū)分，該技術(shù)靈活支持像素中的時(shí)間變化。該技術(shù)能以一種可靠的方式將背景圖像和對(duì)象圖像彼此分開(kāi)。
此外，非專利文檔2(John Winn和Andrew Blake，“GenerativeAffine Localisation and Tracking”，Neural Information ProcessingSystems，第17期，第1505至1512頁(yè)，2004年)和非專利文檔3(JohnWinn和Christopher Bishop，“Variational Message Passing”，Journal ofMachine Learning Research，第6卷，第661至694頁(yè)，2005年)提出了一種用于從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)(hidden parameter)的下列要素的技術(shù)背景圖像、一個(gè)對(duì)象圖像、一個(gè)對(duì)象圖像的形狀以及一個(gè)對(duì)象圖像的運(yùn)動(dòng)。在該技術(shù)中，使用作為輸入的圖像，通過(guò)聯(lián)合優(yōu)化提取定義為隱藏參數(shù)的多個(gè)參數(shù)。因?yàn)榧词乖诔霈F(xiàn)噪聲或?qū)ο笮螤畎l(fā)生改變的情況下多個(gè)隱藏參數(shù)仍以互補(bǔ)方式運(yùn)作，該技術(shù)能夠魯棒地進(jìn)行參數(shù)提取。該技術(shù)的另一個(gè)優(yōu)點(diǎn)是在背景區(qū)分處理過(guò)程中不必進(jìn)行諸如設(shè)定門(mén)限或加權(quán)能量函數(shù)的參數(shù)調(diào)整。
然而，在上述非專利文檔1至3中說(shuō)明的這些技術(shù)都有一個(gè)問(wèn)題，其不能以可靠方式同時(shí)提取多個(gè)對(duì)象以及這些對(duì)象中每一個(gè)對(duì)象的運(yùn)動(dòng)。
由非專利文檔1提供的圖像處理方法是一種用于將背景圖像與另一對(duì)象分開(kāi)的技術(shù)，這樣當(dāng)該圖像中存在多個(gè)對(duì)象時(shí)，不可能將它們作為單個(gè)對(duì)象提取出來(lái)。為了能夠分別提取，該技術(shù)要求額外使用一種分割技術(shù)，該分割技術(shù)利用關(guān)于這些對(duì)象的諸如色彩和運(yùn)動(dòng)的信息。
同時(shí)，由非專利文檔2和3提供的圖像處理方法只能從圖像信息中同時(shí)提取多個(gè)隱藏參數(shù)。然而，在圖像中包括的對(duì)象數(shù)目越多，要解決的隱藏參數(shù)數(shù)目就越多。還有其它原因也使隱藏參數(shù)的數(shù)目增加。例如，由于攝像機(jī)運(yùn)動(dòng)增加了隱藏參數(shù)的數(shù)目，諸如用于適應(yīng)運(yùn)動(dòng)中復(fù)雜性的運(yùn)動(dòng)參數(shù)和出于改進(jìn)圖像質(zhì)量的目的對(duì)圖像質(zhì)量惡化進(jìn)行建模的圖像惡化參數(shù)。這些參數(shù)的使用意味著進(jìn)一步擴(kuò)大搜索空間。這會(huì)導(dǎo)致局部最小值，從而會(huì)增加無(wú)法獲得期望解的風(fēng)險(xiǎn)。例如，使用這種技術(shù)提取兩個(gè)或多個(gè)對(duì)象圖像，以將多個(gè)對(duì)象作為在局部最小值處的一個(gè)對(duì)象提取而終結(jié)。這樣，必須避免局部最小值。避免局部最小值的最重要的措施之一是對(duì)由隱藏參數(shù)組成的廣泛搜索空間上施加約束。然而，雖然預(yù)先提供有關(guān)圖像場(chǎng)景的知識(shí)來(lái)當(dāng)作約束可以作為一項(xiàng)避免局部最小值的有效措施，但缺點(diǎn)是可應(yīng)用的圖像場(chǎng)景受限。因此，利用先前給出的關(guān)于輸入圖像的知識(shí)進(jìn)行監(jiān)督學(xué)習(xí)是不可取的。
發(fā)明公開(kāi) 就上述問(wèn)題而言，本發(fā)明的目標(biāo)是提供能同時(shí)從多個(gè)圖像提取背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)，并且不會(huì)產(chǎn)生局部最小值，也就是說(shuō)以可靠方式進(jìn)行提取的圖像處理方法和圖像處理裝置。
為了解決上述問(wèn)題，本發(fā)明是從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理方法，該圖像處理方法包括接受多個(gè)圖像的輸入的圖像輸入步驟；基于多個(gè)圖像和表示至少一個(gè)隱藏參數(shù)的約束的約束條件(constraint enforcement)參數(shù)，使用迭代學(xué)習(xí)法來(lái)估計(jì)隱藏參數(shù)的隱藏參數(shù)估計(jì)步驟；將來(lái)自隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果用做訓(xùn)練信號(hào)，學(xué)習(xí)有關(guān)隱藏參數(shù)的約束條件參數(shù)的約束條件參數(shù)學(xué)習(xí)步驟，以及；促使隱藏參數(shù)的估計(jì)和約束條件參數(shù)的學(xué)習(xí)迭代進(jìn)行的互補(bǔ)學(xué)習(xí)步驟，在使用了約束條件參數(shù)學(xué)習(xí)步驟中給出的學(xué)習(xí)結(jié)果的隱藏參數(shù)估計(jì)步驟中進(jìn)行隱藏參數(shù)的估計(jì)，在使用了隱藏參數(shù)估計(jì)步驟中給出的隱藏參數(shù)估計(jì)結(jié)果的約束條件參數(shù)學(xué)習(xí)步驟中進(jìn)行約束條件參數(shù)的學(xué)習(xí)；以及在互補(bǔ)學(xué)習(xí)步驟中進(jìn)行迭代學(xué)習(xí)后輸出隱藏參數(shù)估計(jì)步驟中所估計(jì)的隱藏參數(shù)的輸出步驟。
應(yīng)注意到，不僅可以將本發(fā)明具體實(shí)施為上述圖像處理方法，而且還可以實(shí)施為將上述步驟作為其組成部件包括在內(nèi)的圖像處理裝置；使計(jì)算機(jī)執(zhí)行這些步驟的程序；以及存儲(chǔ)該程序的、諸如CD-ROM的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
上述方法、裝置等使得有可能以不導(dǎo)致局部最小值，也就是說(shuō)以可靠的方式，從多個(gè)圖像中同時(shí)提取背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)。由于可以避免局部最小值，所以可以額外使用諸如攝像機(jī)運(yùn)動(dòng)參數(shù)的額外隱藏參數(shù)。
附圖簡(jiǎn)要說(shuō)明 可以結(jié)合說(shuō)明本實(shí)施例特定實(shí)施例的所附各圖，從下列說(shuō)明中能夠清楚地闡明本發(fā)明的這些以及其它目標(biāo)、優(yōu)勢(shì)和特點(diǎn)。在所附各圖中

圖1是示出如本發(fā)明第一個(gè)實(shí)施例所述圖像處理裝置基本結(jié)構(gòu)的圖； 圖2是示出如本發(fā)明第一個(gè)實(shí)施例所述圖像處理裝置執(zhí)行的基本操作的流程圖； 圖3是示出如本發(fā)明第一個(gè)實(shí)施例所述隱藏參數(shù)估計(jì)單元執(zhí)行的示例性處理的圖； 圖4是示出如本發(fā)明第一個(gè)實(shí)施例所述的隱藏參數(shù)估計(jì)單元執(zhí)行的示例性處理的圖； 圖5是示出如本發(fā)明第一個(gè)實(shí)施例所述的互補(bǔ)學(xué)習(xí)單元執(zhí)行的示例性處理的圖； 圖6是示出如本發(fā)明第一個(gè)實(shí)施例所述的隱藏參數(shù)估計(jì)結(jié)果的圖； 圖7是示出如本發(fā)明第一個(gè)實(shí)施例的第一變體所述的圖像處理裝置的示例性結(jié)構(gòu)的圖； 圖8是示出如本發(fā)明第一個(gè)實(shí)施例的第一變體所述的圖像處理裝置所執(zhí)行操作的流程圖； 圖9是示出如本發(fā)明第一個(gè)實(shí)施例的第二變體所述的圖像處理裝置的示例性結(jié)構(gòu)的圖； 圖10是示出如本發(fā)明第一個(gè)實(shí)施例的第二變體所述的圖像處理裝置所執(zhí)行操作的流程圖； 圖11是示出如本發(fā)明第一個(gè)實(shí)施例的第三變體所述的圖像處理裝置的示例性結(jié)構(gòu)的圖； 圖12是示出如本發(fā)明第一個(gè)實(shí)施例的第三變體所述的合成復(fù)合圖像示例的圖； 圖13是示出本發(fā)明第二個(gè)實(shí)施例中圖像處理裝置結(jié)構(gòu)的圖； 圖14是示出本發(fā)明第二個(gè)實(shí)施例中圖像處理裝置所執(zhí)行操作的流程圖； 圖15是示出本發(fā)明第二個(gè)實(shí)施例中中間時(shí)間圖像合成單元的圖； 圖16是示出本發(fā)明第二個(gè)實(shí)施例中中間時(shí)間圖像合成示例的圖； 圖17是示出本發(fā)明第三個(gè)實(shí)施例中圖像處理裝置結(jié)構(gòu)的圖； 圖18是示出本發(fā)明第三個(gè)實(shí)施例中圖像處理裝置所執(zhí)行操作的圖； 圖19是示出本發(fā)明第三個(gè)實(shí)施例中多余對(duì)象擦除示例的圖； 圖20是示出本發(fā)明第四個(gè)實(shí)施例中圖像處理裝置結(jié)構(gòu)的圖； 圖21是示出本發(fā)明第四個(gè)實(shí)施例中圖像處理裝置所執(zhí)行操作的流程圖； 圖22是示出本發(fā)明第五個(gè)實(shí)施例中隱藏參數(shù)估計(jì)單元的示例性處理的圖；以及 圖23是示出本發(fā)明第六個(gè)實(shí)施例中互補(bǔ)學(xué)習(xí)單元的示例性處理的圖。
實(shí)現(xiàn)本發(fā)明的最佳模式 本發(fā)明的一個(gè)實(shí)施例是從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀和每個(gè)對(duì)象圖像的運(yùn)動(dòng)的一種圖像處理方法，該圖像處理方法包括接受多個(gè)圖像的輸入的圖像輸入步驟；使用一種迭代學(xué)習(xí)法，基于多個(gè)圖像和表示至少一個(gè)隱藏參數(shù)條件的約束條件參數(shù)來(lái)估計(jì)隱藏參數(shù)的隱藏參數(shù)估計(jì)步驟；將來(lái)自隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果當(dāng)作訓(xùn)練信號(hào)使用，來(lái)學(xué)習(xí)與隱藏參數(shù)有關(guān)的約束條件參數(shù)的約束條件參數(shù)學(xué)習(xí)步驟，以及；促使隱藏參數(shù)的估計(jì)和約束條件參數(shù)學(xué)習(xí)迭代進(jìn)行的互補(bǔ)學(xué)習(xí)步驟，在隱藏參數(shù)估計(jì)步驟中進(jìn)行隱藏參數(shù)的估計(jì)，該隱藏參數(shù)估計(jì)步驟使用約束條件參數(shù)學(xué)習(xí)步驟中給出的學(xué)習(xí)結(jié)果，在約束條件參數(shù)學(xué)習(xí)步驟中進(jìn)行約束條件參數(shù)的學(xué)習(xí)，該約束條件參數(shù)學(xué)習(xí)步驟使用隱藏參數(shù)估計(jì)步驟中給出的隱藏參數(shù)的估計(jì)結(jié)果；以及在互補(bǔ)學(xué)習(xí)步驟中進(jìn)行迭代學(xué)習(xí)后輸出隱藏參數(shù)估計(jì)步驟中所估計(jì)的隱藏參數(shù)的輸出步驟。
使用表示至少一個(gè)隱藏參數(shù)約束的約束條件參數(shù)來(lái)估計(jì)隱藏參數(shù)，并且這樣有可能在避免局部最小值的同時(shí)從多個(gè)圖像中同時(shí)提取一個(gè)背景圖像、至少兩個(gè)對(duì)象圖像、對(duì)象圖像的形狀和對(duì)象圖像的運(yùn)動(dòng)。
在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，約束條件參數(shù)是與下列條件中的至少一個(gè)條件有關(guān)的參數(shù)每個(gè)對(duì)象圖像的區(qū)域尺寸、每個(gè)對(duì)象圖像的顏色、以及在每個(gè)對(duì)象圖像中包括的像素運(yùn)動(dòng)。
關(guān)于每個(gè)對(duì)象圖像區(qū)域的尺寸、每個(gè)對(duì)象圖像的顏色以及在每個(gè)對(duì)象中包括的每個(gè)像素的運(yùn)動(dòng)的信息，對(duì)于隱藏參數(shù)估計(jì)是很好的約束條件，并且對(duì)避免局部最小值有效。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在約束條件參數(shù)學(xué)習(xí)步驟中，從多個(gè)圖像中選取鄰近像素變成一對(duì)，并且評(píng)估各像素屬于背景圖像的圖像區(qū)域還是屬于每個(gè)對(duì)象的圖像區(qū)域，根據(jù)各個(gè)像素是屬于不同對(duì)象還是各個(gè)像素屬于同一對(duì)象，將不同的約束分別應(yīng)用于隱藏參數(shù)。
當(dāng)這些像素屬于不同對(duì)象時(shí)以及當(dāng)這些像素屬于同一對(duì)象時(shí)，將不同約束應(yīng)用于隱藏參數(shù)，這樣就有可能有效地分離和提取多個(gè)對(duì)象圖像。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，約束條件參數(shù)學(xué)習(xí)步驟包括將來(lái)自隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，基于能量最小化方法學(xué)習(xí)約束條件參數(shù)。
通過(guò)將隱藏參數(shù)估計(jì)步驟中的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，可以將約束條件參數(shù)自動(dòng)同時(shí)與隱藏參數(shù)一起提取。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，通過(guò)概率分布來(lái)表示每個(gè)隱藏參數(shù)。
通過(guò)以概率分布表示每個(gè)隱藏參數(shù)，提高了對(duì)對(duì)象圖像的形狀和對(duì)象圖像的復(fù)雜運(yùn)動(dòng)中的變化的容差。
本發(fā)明的另一個(gè)優(yōu)選實(shí)施例還包括接收作為輸出步驟中輸出的隱藏參數(shù)的背景圖像和每個(gè)對(duì)象圖像，并通過(guò)將每個(gè)對(duì)象圖像疊加到接收到的背景圖像上來(lái)重新合成圖像的復(fù)合圖像合成步驟；計(jì)算在復(fù)合圖像合成步驟中所合成的圖像與每個(gè)輸入圖像之間誤差的誤差計(jì)算步驟；以及當(dāng)在誤差計(jì)算步驟中所計(jì)算的誤差等于或大于所指定的誤差時(shí)增加輸入圖像數(shù)目，并使隱藏參數(shù)估計(jì)步驟和約束條件參數(shù)學(xué)習(xí)步驟再次使用增加的輸入圖像迭代進(jìn)行，或者向用戶顯示輸入圖像數(shù)目不足的圖像數(shù)目判斷步驟。
這樣，可以確定適當(dāng)提取隱藏參數(shù)所必須的輸入圖像數(shù)目。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，輸出步驟進(jìn)一步包括分別保存或輸出作為隱藏參數(shù)的背景圖像和每個(gè)對(duì)象圖像的圖像數(shù)據(jù)分割步驟。
通過(guò)分別保持所提取的背景圖像和每個(gè)對(duì)象圖像，僅僅從背景圖像和對(duì)象圖像中選擇并存儲(chǔ)了必要的圖像；通過(guò)將這些必要的圖像輸出到外部，可以將這些圖像作為圖形要素有效地存儲(chǔ)并輸出。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在圖像輸入步驟中，可以接受以時(shí)間系列排列的多個(gè)圖像輸入，并且該圖像處理方法還包括中間時(shí)間圖像合成步驟，該步驟接收作為輸出步驟中輸出的隱藏參數(shù)的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，使用背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)在各輸入圖像之間的中間時(shí)間內(nèi)合成對(duì)象圖像，并且通過(guò)將該中間時(shí)間的對(duì)象圖像疊加在相應(yīng)時(shí)間的背景圖像上來(lái)合成一個(gè)中間時(shí)間圖像。
這樣，可以使用所提取的背景圖像、對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)來(lái)合成中間時(shí)間圖像。這樣，有可能合成出比輸入圖像序列更高時(shí)間分辨率的圖像。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，在隱藏參數(shù)估計(jì)步驟中，保持了點(diǎn)擴(kuò)展函數(shù)的參數(shù)，將表示圖像惡化到何等程度的參數(shù)作為一個(gè)隱藏參數(shù)，并且通過(guò)估計(jì)點(diǎn)擴(kuò)展函數(shù)的逆函數(shù)，可以用比輸入圖像更高的圖像質(zhì)量合成背景圖像和對(duì)象圖像。
這樣，可以以比輸入圖像更高的圖像質(zhì)量來(lái)提取背景圖像和對(duì)象圖像。
本發(fā)明的另一個(gè)優(yōu)選實(shí)施例還包括像素值內(nèi)插步驟，該步驟接收作為輸出步驟中輸出的隱藏參數(shù)的背景圖像和每個(gè)對(duì)象圖像，當(dāng)接收到的背景圖像和對(duì)象圖像的像素值的可靠性較低時(shí)，使用鄰近區(qū)域內(nèi)像素值來(lái)內(nèi)插各像素值。
這樣，通過(guò)在要提取的背景圖像和每個(gè)對(duì)象圖像的像素值未被定義時(shí)使用鄰近像素進(jìn)行內(nèi)插，可以以更少的噪聲提取背景圖像和每個(gè)對(duì)象圖像。
本發(fā)明的另一個(gè)優(yōu)選實(shí)施例還包括在監(jiān)視器中顯示作為輸出步驟中輸出的隱藏參數(shù)的對(duì)象圖像或?qū)ο髨D像的形狀，使得允許用戶選擇至少一個(gè)已顯示的對(duì)象的對(duì)象顯示步驟；以及通過(guò)將不對(duì)應(yīng)于用戶所選取的對(duì)象圖像或?qū)ο髨D像的形狀的對(duì)象圖像疊加在背景圖像上來(lái)擦除用戶所選擇的對(duì)象，并合成出將所擦除的對(duì)象區(qū)域埋置在背景圖像中的圖像的圖像合成步驟。
這樣，接觸一次就可以擦除用戶所選擇的不必要的對(duì)象圖像，并且可以合成出其中將所擦除區(qū)域埋置在背景圖像中的一個(gè)圖像。
在本發(fā)明的另一個(gè)優(yōu)選實(shí)施例中，將攝像機(jī)運(yùn)動(dòng)引起的背景圖像運(yùn)動(dòng)作為一個(gè)隱藏參數(shù)包括在內(nèi)。
這樣，可以同時(shí)提取針對(duì)攝像機(jī)運(yùn)動(dòng)進(jìn)行了調(diào)節(jié)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)。
下面將參考所附各圖說(shuō)明本發(fā)明的多個(gè)實(shí)施例。
(第一個(gè)實(shí)施例) 圖1是示出了第一個(gè)實(shí)施例中圖像處理裝置的結(jié)構(gòu)的圖。圖1中的圖像處理裝置以可靠方式從多個(gè)圖像同時(shí)提取定義為隱藏參數(shù)的下列要素背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)。該圖像處理裝置包括圖像輸入單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104以及輸出單元105。
圖像輸入單元101是接受多個(gè)圖像輸入的處理單元。此處，這些圖像不必都以時(shí)間順序輸入。
隱藏參數(shù)估計(jì)單元102是將包括在輸入的多個(gè)圖像中的背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)定義為隱藏參數(shù)，并基于多個(gè)圖像和約束條件參數(shù)通過(guò)迭代學(xué)習(xí)來(lái)估計(jì)隱藏參數(shù)的處理單元，每個(gè)約束條件參數(shù)表示在隱藏參數(shù)上的至少一個(gè)約束。
約束條件參數(shù)學(xué)習(xí)單元103是將隱藏參數(shù)估計(jì)單元102獲得的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，學(xué)習(xí)與隱藏參數(shù)有關(guān)的約束條件參數(shù)的處理單元。在本實(shí)施例中，約束條件參數(shù)學(xué)習(xí)單元103學(xué)習(xí)與對(duì)象有關(guān)的約束條件參數(shù)，諸如每個(gè)對(duì)象圖像區(qū)域的尺寸、每個(gè)對(duì)象圖像的顏色、每個(gè)對(duì)象圖像中所包括像素的運(yùn)動(dòng)，以及諸如此類。因?yàn)榧s束條件參數(shù)學(xué)習(xí)單元103將隱藏參數(shù)估計(jì)單元102獲得的估計(jì)結(jié)果用作訓(xùn)練信號(hào)來(lái)學(xué)習(xí)約束條件參數(shù)，約束條件參數(shù)學(xué)習(xí)單元103有可能實(shí)現(xiàn)無(wú)需訓(xùn)練信號(hào)的約束條件參數(shù)自動(dòng)學(xué)習(xí)。出于此原因，不必事先提供有關(guān)場(chǎng)景的知識(shí)，并且這樣也不會(huì)對(duì)可用場(chǎng)景有所限制。
互補(bǔ)學(xué)習(xí)單元104是使下列操作迭代執(zhí)行的處理單元基于約束條件參數(shù)學(xué)習(xí)單元103所學(xué)習(xí)的約束條件參數(shù)，由隱藏參數(shù)估計(jì)單元102執(zhí)行的隱藏參數(shù)估計(jì)；以及基于隱藏參數(shù)估計(jì)單元102獲得的隱藏參數(shù)估計(jì)結(jié)果，由約束條件參數(shù)學(xué)習(xí)單元103執(zhí)行的約束條件參數(shù)學(xué)習(xí)。更具體地說(shuō)，互補(bǔ)學(xué)習(xí)單元104將約束條件參數(shù)學(xué)習(xí)單元103學(xué)習(xí)的與對(duì)象有關(guān)的約束條件參數(shù)發(fā)送給隱藏參數(shù)估計(jì)單元102。然后，隱藏參數(shù)估計(jì)單元102使用由互補(bǔ)學(xué)習(xí)單元104發(fā)送的約束條件參數(shù)，再次提取隱藏參數(shù)。通過(guò)迭代進(jìn)行這些操作，有可能同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)，同時(shí)避免局部最小值。
輸出單元105是在互補(bǔ)學(xué)習(xí)單元104進(jìn)行的迭代學(xué)習(xí)之后，輸出隱藏參數(shù)估計(jì)單元102所估計(jì)的隱藏參數(shù)的處理單元。換句話說(shuō)，輸出單元105將本圖像處理裝置所同時(shí)提取的背景圖像、至少兩個(gè)或更多對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)作為本裝置執(zhí)行處理的結(jié)果輸出到外部。
注意，可以以諸如具有CPU、RAM、ROM、I/O端口、硬盤(pán)、顯示器以及諸如此類的計(jì)算機(jī)上所執(zhí)行程序這樣的軟件形式實(shí)現(xiàn)該圖像處理裝置的每個(gè)組成要素(圖像輸入單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104以及輸出單元105)，或者可以以諸如電子電路的硬件形式來(lái)實(shí)現(xiàn)每個(gè)組成要素。同樣情況適用于其它實(shí)施例中的圖像處理裝置。
參考圖2的流程圖，將以提取兩個(gè)對(duì)象作為示例情況來(lái)說(shuō)明本發(fā)明的圖像處理方法。應(yīng)當(dāng)注意到下列說(shuō)明也很容易擴(kuò)展到提取三個(gè)或更多個(gè)對(duì)象的情況。
首先，在S201中，圖像輸入單元101接受多個(gè)輸入圖像。
接著，在S202中，隱藏參數(shù)估計(jì)單元102估計(jì)每個(gè)隱藏參數(shù)。此處，參考圖3說(shuō)明隱藏參數(shù)。假設(shè)每個(gè)輸入圖像X301由噪聲β302、背景b303、對(duì)象1的圖像f1304、對(duì)象2的圖像f2305、對(duì)象1的運(yùn)動(dòng)T1306、對(duì)象2的運(yùn)動(dòng)T2307、對(duì)象1的形狀概率π1308、對(duì)象2的形狀概率π2309、對(duì)象1的形狀m1310以及對(duì)象2的形狀m2311組成。換句話說(shuō)，噪聲β302、背景b303、對(duì)象1的圖像f1304、對(duì)象2的圖像f2304、對(duì)象1的運(yùn)動(dòng)T1306、對(duì)象2的運(yùn)動(dòng)T2307、對(duì)象1的形狀概率π1308、對(duì)象2的形狀概率π2309、對(duì)象1的形狀m1310以及對(duì)象2的形狀m2311都是隱藏參數(shù)。當(dāng)本方法擴(kuò)展到提取三個(gè)或多個(gè)對(duì)象時(shí)，可以簡(jiǎn)單增加對(duì)象的圖像f1、該對(duì)象的形狀概率π1、該對(duì)象的運(yùn)動(dòng)Ti以及該對(duì)象的形狀mi。同時(shí)，當(dāng)考慮攝像機(jī)運(yùn)動(dòng)時(shí)，可以以與存在有大量對(duì)象時(shí)相同的方式來(lái)處理本方法。如圖4所示，可以將攝像機(jī)的運(yùn)動(dòng)Tb401、背景的形狀概率πb402以及背景的形狀mb403作為隱藏參數(shù)簡(jiǎn)單添加到圖3所示結(jié)構(gòu)上。接著，返回參考圖3，將詳細(xì)說(shuō)明找到隱藏參數(shù)的方法。此處，將非專利文獻(xiàn)2中說(shuō)明的、作為一種變分近似(variational approximation)法的方法用于說(shuō)明估計(jì)隱藏參數(shù)的方法。然而，因?yàn)橹恍枰[藏參數(shù)估計(jì)的中間結(jié)果，可以使用任何方法，只要它是一種通過(guò)迭代學(xué)習(xí)來(lái)估計(jì)隱藏參數(shù)的方法。
可以以下列等式1至3表示圖3中所示結(jié)構(gòu) P(x，f，b，β，π，T，m)＝P(x|f，b，β，T，m)P(m|π，T)P(f)P(b)P(β)P(T)P(π) ...等式1 假設(shè)以高斯分布對(duì)每個(gè)輸入圖像x301建模，則可以將其表示為 ...等式2 在該等式中，N表示高斯分布，δ(m＝i)表示一個(gè)德?tīng)査瘮?shù)。因?yàn)閮H保持形狀信息，所以以二進(jìn)制的形式表示每個(gè)對(duì)象的形狀m。
...等式3 這里，δ(m＝i)表示一個(gè)德?tīng)査瘮?shù)。它這里表示對(duì)象2的形狀m2311位于最靠近攝像機(jī)的位置處。
雖然以將噪聲β302建模為伽馬分布、將背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305每個(gè)建模為高斯分布、將對(duì)象1的運(yùn)動(dòng)T1306、對(duì)象2的運(yùn)動(dòng)T2307、對(duì)象1的形狀m1310以及對(duì)象2的形狀m2311每個(gè)建模為離散分布，并將對(duì)象1的形狀概率π1308和對(duì)象2的形狀概率π2309每個(gè)建模為貝它分布的假設(shè)來(lái)說(shuō)明本實(shí)施例，但并非將它們限制于以這些分布建模，這樣可以簡(jiǎn)單推導(dǎo)出所假設(shè)的這些分布類型的適當(dāng)?shù)母碌仁健?br> 非專利文獻(xiàn)2的第3頁(yè)上說(shuō)明的方法定義了下列相關(guān)表達(dá)，將Q作為要獲得的每個(gè)隱藏參數(shù)的分布，將H作為所有隱藏參數(shù)的代表。
...等式4 在該等式中，表示lnP(H，x)的期望值，從中排除掉與每個(gè)隱藏參數(shù)自身分布相關(guān)的Q(Hi)。注意，可以使用等式2和等式3將等價(jià)于等式1對(duì)數(shù)的lnP(H，x)展開(kāi)為下列等式 ...等式5 從等式4與等式5之間的關(guān)系可以推導(dǎo)出用于獲得每個(gè)隱藏參數(shù)的更新等式。通過(guò)將使用等式6到等式26所進(jìn)行的更新定義為一個(gè)更新，有可能通過(guò)迭代進(jìn)行更新來(lái)估計(jì)每個(gè)隱藏參數(shù)。
首先說(shuō)明估計(jì)噪聲β302的方法。下面說(shuō)明假設(shè)在背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305中包含了不同噪聲的情況。因?yàn)榧僭O(shè)噪聲β302以伽馬分布建模，可以分別將為背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305獲得的伽馬分布參數(shù)表示為(uβ_b，vβ_b)，(uβ_f1，vβ_f1)，(uβ_f2，vβ_f2)。這些參數(shù)的獲得對(duì)應(yīng)于隱藏參數(shù)的估計(jì)，對(duì)于每個(gè)輸入圖像來(lái)說(shuō)，(uβ_b，vβ_b)，(uβ_f1，vβ_f1)，(uβ_f2，vβ_f2)都有一組參數(shù)值。換句話說(shuō)，為每個(gè)輸入圖像獲得與噪聲β302有關(guān)的輸入數(shù)目的一組隱藏參數(shù)。使用下述更新等式來(lái)獲得背景b303的噪聲β302的參數(shù)。注意，<θ>表示θ的期望值。
...等式6 ...等式7 對(duì)象1的圖像f1304的噪聲β302的參數(shù)表示如下 ...等式8 ...等式9 使用下列更新等式來(lái)估計(jì)對(duì)象2的圖像f2305的噪聲β302的參數(shù) ...等式10 ...等式11 如上所述，通過(guò)使用等式6到等式11來(lái)重復(fù)參數(shù)更新，獲得了噪聲β302的參數(shù)。
接著，說(shuō)明隱藏參數(shù)估計(jì)單元102在對(duì)背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305的參數(shù)進(jìn)行估計(jì)時(shí)使用的估計(jì)方法。這里，假設(shè)將背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305建模為高斯分布，并且將它們各自要獲得的高斯分布參數(shù)(u，v)表示為(uf2，vf2)，(uf1，vf1)，(ub，vb)。每個(gè)(uf2，vf2)，(uf1，vf1)，(ub，vb)對(duì)應(yīng)于一個(gè)像素，而且通過(guò)為各個(gè)圖像中多個(gè)像素計(jì)算(uf2，vf2)，(uf1，vf1)，(ub，vb)，從多個(gè)輸入圖像估計(jì)背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305中每一個(gè)的圖像。
使用下列更新等式來(lái)估計(jì)背景b303的參數(shù) ...等式12 ...等式13 可以分別使用等式12和等式13來(lái)獲得背景b303的高斯分布參數(shù)(ub，vb)。
類似地，使用下列更新等式來(lái)估計(jì)對(duì)象1的圖像f1304的參數(shù) ...等式14 ...等式15 可以以相同方式獲得對(duì)象1的圖像f1304的參數(shù)。也可以使用下列更新等式來(lái)獲得對(duì)象2的圖像f2305的參數(shù) ...等式16 ...等式17 如上所述，通過(guò)使用等式12到等式17重復(fù)參數(shù)更新，獲得了背景b 303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305各自的隱藏參數(shù)。
接著，將說(shuō)明隱藏參數(shù)估計(jì)單元102在估計(jì)對(duì)象1的運(yùn)動(dòng)T1306和對(duì)象2的運(yùn)動(dòng)T2307的參數(shù)中使用的估計(jì)方法。此處，假設(shè)將對(duì)象1的運(yùn)動(dòng)T1306和對(duì)象2的運(yùn)動(dòng)T2307建模為離散分布。T1和T2分別表示對(duì)象1的圖像f1304和對(duì)象2的圖像f2305的像素移動(dòng)到的下一個(gè)圖像中的像素。換句話說(shuō)，估計(jì)了所有輸入圖像的運(yùn)動(dòng)。參數(shù)更新實(shí)現(xiàn)如下 ...等式18 ...等式19 如上所述，通過(guò)使用等式18和等式19重復(fù)參數(shù)更新，估計(jì)了對(duì)象1的運(yùn)動(dòng)T1306和對(duì)象2的運(yùn)動(dòng)T2307。
接著，將說(shuō)明隱藏參數(shù)估計(jì)單元102在估計(jì)對(duì)象1的形狀概率π1308和對(duì)象2的形狀概率π2309中使用的估計(jì)方法。這里，假設(shè)將對(duì)象1的形狀概率π1308和對(duì)象2的形狀概率π2309建模為貝它分布，并將它們各自要獲得的貝它分布參數(shù)(u，v)表示為(uπ2，vπ2)，(uπ1，vπ1)。每個(gè)(uπ2，vπ2)，(uπ1，vπ1)對(duì)應(yīng)于一個(gè)像素，并且這樣通過(guò)為各個(gè)圖像中多個(gè)像素計(jì)算(uπ2，vπ2)，(uπ1，vπ1)，估計(jì)對(duì)象1的形狀概率π1308和對(duì)象2的形狀概率π2309每一個(gè)的圖像。
使用下列更新等式來(lái)估計(jì)對(duì)象1的形狀概率π1308的參數(shù) ...等式20 ...等式21 類似地，可以對(duì)對(duì)象2的形狀概率π2309的參數(shù)估計(jì)如下 ...等式22 ...等式23 如上所述，通過(guò)使用等式20到等式23來(lái)重復(fù)參數(shù)更新，估計(jì)對(duì)象1的形狀概率π1308和對(duì)象2的形狀概率π2309各自的隱藏參數(shù)。
接著，將說(shuō)明隱藏參數(shù)估計(jì)單元102在估計(jì)對(duì)象1的形狀m1310和對(duì)象2的形狀m2311中所使用的估計(jì)方法。假設(shè)將對(duì)象1的形狀m1310和對(duì)象2的形狀m2311建模為離散分布。這里，將多個(gè)輸入圖像的對(duì)象形狀信息保持為對(duì)象1的形狀m1310和對(duì)象2的形狀m2311。參數(shù)更新實(shí)現(xiàn)如下 ...等式24 ...等式25 ...等式26 這里，使用上述等式24和等式25來(lái)獲得對(duì)象1的形狀m1310和對(duì)象2的形狀m2311，或者可替換地，在如下列等式表示的約束下將這些參數(shù)歸一化之后，可以使用等式26獲得對(duì)象1的形狀m1310和對(duì)象2的形狀m2311 mb+m1+m2＝1 ...等式27 如上所述，正如等式6到等式26所示，可以通過(guò)基于變分近似的迭代學(xué)習(xí)來(lái)估計(jì)每個(gè)隱藏參數(shù)。
接著，在步驟S203中，如圖5所示，隱藏參數(shù)估計(jì)單元102將S202中獲得的隱藏參數(shù)估計(jì)結(jié)果發(fā)送給約束條件參數(shù)學(xué)習(xí)單元103。雖然下面說(shuō)明了將作為某些隱藏參數(shù)的對(duì)象1的形狀m1310和對(duì)象2的形狀m2311用于學(xué)習(xí)約束條件參數(shù)的情況，但學(xué)習(xí)并不局限于使用對(duì)象的形狀來(lái)進(jìn)行，并且可以使用上述其它任意隱藏參數(shù)。
接著，在S204中，約束條件參數(shù)學(xué)習(xí)單元103將S203中發(fā)送的隱藏參數(shù)估計(jì)結(jié)果作為訓(xùn)練信號(hào)來(lái)學(xué)習(xí)約束條件參數(shù)。本實(shí)施例說(shuō)明了將對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的所估計(jì)的隱藏參數(shù)用作訓(xùn)練信號(hào)Q(mi)501，以學(xué)習(xí)與對(duì)象1的形狀m1310和對(duì)象2的形狀m2311相關(guān)的約束條件參數(shù)。首先，將對(duì)象1的形狀是形狀m1310的概率pc(m＝1|x)和對(duì)象2的形狀是形狀m2311的概率pc(m＝2|x)重新定義為約束條件參數(shù)。換句話說(shuō)，除了隱藏參數(shù)估計(jì)單元估計(jì)的隱藏參數(shù)之外，約束條件參數(shù)學(xué)習(xí)單元還學(xué)習(xí)了每個(gè)約束條件參數(shù)pc(mi|x)。
將對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的約束條件參數(shù)pc(mi|x)分別表示如下 pc(m＝1|x)＝exp(-w1TΨ) ...等式28 pc(m＝2|x)＝exp(-w2TΨ) ...等式29 ...等式30 在該等式中，pc(m＝0|x)與背景有關(guān)，并且Z是個(gè)歸一化的常量，可以將其表示如下 Z＝exp(-w1TΨ)+exp(-w2TΨ)+1...等式31 在該等式中，Ψ表示當(dāng)獲得約束條件參數(shù)時(shí)要使用的輸入矢量。例如，表示對(duì)象尺寸的像素位置信息、表示對(duì)象顏色的像素顏色信息以及表示對(duì)象運(yùn)動(dòng)的像素運(yùn)動(dòng)信息對(duì)應(yīng)于Ψ。稍后將說(shuō)明其細(xì)節(jié)。
接著，基于等式28到等式30，可以將L1(m)表示為 L1(m)＝＜{p(m＝0|x)}δ(m＝0){p(m＝1|x)}δ(m＝1){p(m＝2|x)}δ(m＝2)＞Q(m) ...等式32 然后，將L1(m)的對(duì)數(shù)表示如下 ...等式33 在該等式中，Q(mi)表示S203中從隱藏參數(shù)估計(jì)單元102發(fā)送的隱藏參數(shù)估計(jì)結(jié)果。那么，通過(guò)推導(dǎo)在等式33中產(chǎn)生logL1(m)的最小值的w1，w2的值，約束條件參數(shù)學(xué)習(xí)單元103學(xué)習(xí)表示為等式28至等式30的約束條件參數(shù)。作為示例，說(shuō)明了推導(dǎo)w1值的方法。
...等式34 當(dāng)w1的值使得公式34中的

被計(jì)算為零時(shí)，這也就意味著約束條件參數(shù)pc(mi|x)502與隱藏參數(shù)估計(jì)單元估計(jì)的Q(mi)501相同。換句話說(shuō)，將Q(mi)501用作訓(xùn)練信號(hào)來(lái)學(xué)習(xí)約束條件參數(shù)pc(mi|x)502。此外，等式34提供了無(wú)需事先提供有關(guān)場(chǎng)景的知識(shí)而自動(dòng)實(shí)現(xiàn)約束條件參數(shù)學(xué)習(xí)的優(yōu)點(diǎn)。因此，結(jié)果是可用的圖像場(chǎng)景不受限制。
下面給出計(jì)算w1值的一個(gè)具體示例。這里，將說(shuō)明使用牛頓-拉夫遜方法的示例情況，但是也可以使用其它的能量最小化方法來(lái)產(chǎn)生等式34中

的最小值。
可替換地，如隱藏參數(shù)估計(jì)單元102的情況中那樣，在約束條件參數(shù)學(xué)習(xí)單元103中可以將要學(xué)習(xí)的約束條件參數(shù)描述為隱藏參數(shù)，使得約束條件參數(shù)學(xué)習(xí)單元103學(xué)習(xí)上述約束條件參數(shù)。這將在第六個(gè)實(shí)施例中進(jìn)行說(shuō)明。
假設(shè)，將要被最小化的函數(shù)表示為如下等式，M×N表示圖像的尺寸 ...等式35 然后，使用牛頓-拉夫遜方法推導(dǎo)如下 ...等式36 ...等式37 以上述方式進(jìn)行了w1的計(jì)算。注意，在等式37中，g(w1t)表示一階微分，而H(w1t)表示一個(gè)赫賽函數(shù)(Hessian)。通過(guò)上述處理，可以估計(jì)出如等式28至等式30表示的約束條件參數(shù)pc(mi|x)502。
可以以相同方式計(jì)算w2的值，這樣不再重復(fù)其說(shuō)明。
這里，提供了用于獲得約束條件參數(shù)的等式28和等式29中使用的輸入矢量Ψ的具體示例。例如，當(dāng)使用像素位置信息來(lái)表示對(duì)象尺寸時(shí)，將Ψ表示為如下等式 ...等式38 在該等式中，1表示偏項(xiàng)，并且a，b表示從輸入圖像中獲得的像素位置值。
當(dāng)用于表示對(duì)象的像素顏色信息時(shí)，將Ψ表示為如下等式 ...等式39 在該等式中，可以將從輸入圖像中獲得的各像素的顏色值用于表示c1，c2，...cK，或者可以把從輸入圖像獲得的顏色值映射到由K多維高斯分布表示的空間上，使得將每個(gè)高斯分布均值間的距離用作輸入矢量。在非專利文獻(xiàn)4(Andrew Webb“Statistical Pattern RecognitionSecond Edition”JOHN WILEY & SONS，LTD)的第372頁(yè)上詳細(xì)說(shuō)明了該方法。
當(dāng)用于表示像素移動(dòng)信息時(shí)，將Ψ表示為如下等式 ...等式40 在該等式中，fx1，fy1，...fxK，fyK表示圖像中各像素的運(yùn)動(dòng)矢量?？商鎿Q地，也可以使用通過(guò)用非專利文獻(xiàn)5(Jianbo Shi和Carlo Tomasi，“Good Features to Track”，IEEE Conference on Computer Vision andPattern Recognition，第593-600頁(yè)，1994年)中說(shuō)明的跟蹤技術(shù)提取的運(yùn)動(dòng)矢量。
當(dāng)學(xué)習(xí)約束條件參數(shù)時(shí)，也有可能使用上述多種信息的組合。例如可以將等式38到等式40中表示的多個(gè)輸入矢量作為一個(gè)并置的矢量來(lái)處理；可以對(duì)于每種類型的輸入信息定義等式28到等式30，以便對(duì)于這種輸入信息估計(jì)約束條件參數(shù)；并且可以將權(quán)重分配給每種類型輸入信息的約束條件參數(shù)。
這里，將說(shuō)明等式28和等式29的變體。首先，約束條件參數(shù)學(xué)習(xí)單元103從一個(gè)圖像選擇形成一對(duì)的兩個(gè)像素。接著，約束條件參數(shù)學(xué)習(xí)單元103確定每個(gè)像素是否屬于對(duì)象1的形狀m1310、對(duì)象2的形狀m2311或者其它背景，這樣可以根據(jù)這些像素是屬于不同對(duì)象還是屬于相同對(duì)象來(lái)學(xué)習(xí)不同的約束條件參數(shù)。
這里，假設(shè)將約束條件參數(shù)表示為p′c(mi|x)，將對(duì)象1的約束條件參數(shù)和對(duì)象2的約束條件參數(shù)分別表示為如下等式 ...等式41 ...等式42 在上述等式中，j表示像素i的相鄰像素。
使用相鄰像素所屬對(duì)象的對(duì)象信息，有可能降低兩個(gè)像素之間的獨(dú)立性，并且這樣可以以更有效的方式分離和提取多個(gè)對(duì)象。
下面說(shuō)明了使用約束條件參數(shù)pc(mi|x)的一個(gè)示例，但可以使用p′c(mi|x)代替pc(mi|x)。
接著，在S205中，互補(bǔ)學(xué)習(xí)單元104將約束條件參數(shù)pc(mi|x)502發(fā)送給參數(shù)估計(jì)單元102，如圖5所示。然后，進(jìn)行與S202相同的處理過(guò)程。這里，約束條件參數(shù)pc(mi|x)作為用于獲得對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的約束。更具體地，使用下列等式代替等式24和等式25 ...等式43 ...等式44 這些等式使隱藏參數(shù)估計(jì)單元102能估計(jì)隱藏參數(shù)，同時(shí)避免局部最小值。雖然上面說(shuō)明是在學(xué)習(xí)對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的約束條件參數(shù)的情況下給出的，但是也有可能如等式43和等式44的情況那樣將約束條件參數(shù)加到其它隱藏參數(shù)上。此外，即使在為了同時(shí)優(yōu)化所有的隱藏參數(shù)只把約束條件參數(shù)加到對(duì)象1形狀m1310和對(duì)象2的形狀m2311上的情況下，隱藏參數(shù)估計(jì)單元102也能夠?qū)⒈苊饩植孔钚≈档男Ч麛U(kuò)展到其它隱藏參數(shù)上。因此，有可能對(duì)隱藏參數(shù)進(jìn)行估計(jì)，同時(shí)在無(wú)需直接將約束條件參數(shù)加到作為要獲得的隱藏參數(shù)的背景b303、對(duì)象1的圖像f1304、，對(duì)象2的圖像f2305、對(duì)象1的運(yùn)動(dòng)T1306以及對(duì)象2的運(yùn)動(dòng)T2307之上的情況下避免局部最小值。
最后，在隱藏參數(shù)估計(jì)單元102和約束條件參數(shù)學(xué)習(xí)單元103在互補(bǔ)學(xué)習(xí)單元104的控制下重復(fù)S202至S205的處理過(guò)程N(yùn)次預(yù)定次數(shù)之后，在S206中輸出單元105將隱藏參數(shù)估計(jì)單元102的估計(jì)結(jié)果作為圖像輸出。圖6示出了從輸入圖像301獲得的背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305的一個(gè)示例?；诟鱾€(gè)高斯分布參數(shù)(uf2，vf2)，(uf1，vf1)，(ub，vb)確定了背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305，可以通過(guò)等式12到等式17的計(jì)算來(lái)為每個(gè)像素確定這些高斯分布參數(shù)。更具體地，可以將高斯分布的均值uf2，uf1，ub用作各個(gè)像素值。
這里，如圖6所示，從多個(gè)輸入圖像中合成了背景b303的示例、對(duì)象1的圖像f1304的示例以及對(duì)象2的圖像f2305的示例。出于此原因，使用Tf來(lái)合成對(duì)應(yīng)于各輸入圖像的對(duì)象1的圖像序列601和對(duì)象2的圖像序列602。更具體地，通過(guò)分別基于對(duì)象1的運(yùn)動(dòng)T1306和對(duì)象2的運(yùn)動(dòng)T2307平移合成的對(duì)象1的圖像f1304和對(duì)象2的f2305的像素，來(lái)合成圖像序列601和圖像序列602。注意，可以將所估計(jì)的對(duì)象1的形狀m1310和對(duì)象2的形狀m2311應(yīng)用于已使用Tf合成的圖像。在此情況下，因?yàn)樵搼?yīng)用等同于使用形狀信息對(duì)圖像進(jìn)行屏蔽，所以有望達(dá)到噪聲去除效果。
以上述結(jié)構(gòu)，有可能從多個(gè)圖像中同時(shí)估計(jì)出背景圖像、至少兩個(gè)或多個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)。
此外，在圖7中，根據(jù)本發(fā)明第一個(gè)實(shí)施例的第一變體，通過(guò)在圖像處理裝置中所示的輸出單元105中提供圖像數(shù)據(jù)分割單元701，輸出單元105有可能分別存儲(chǔ)背景b303、對(duì)象1的圖像序列601以及對(duì)象2的圖像序列602，或?qū)⑺鼈冚敵?傳輸)給外部。參考圖8的流程圖，其解釋了在S801中輸出單元105分別傳輸背景b303、對(duì)象1的圖像序列601和對(duì)象2的圖像序列602的一個(gè)圖像。這使得有可能減少與包括在N-1個(gè)圖像中的背景區(qū)域信息等價(jià)的背景區(qū)域信息，其中N是使用固定攝像機(jī)時(shí)輸入圖像的數(shù)目。同時(shí)，在只有對(duì)象運(yùn)動(dòng)重要的情況下，例如運(yùn)動(dòng)分析裝置和運(yùn)動(dòng)監(jiān)控裝置的情況下，有可能僅傳輸對(duì)象1的圖像序列601和對(duì)象2的圖像序列602。正如這樣說(shuō)明的，可以有效地實(shí)現(xiàn)圖像的存儲(chǔ)和傳輸。
接著，給出了如本發(fā)明第一個(gè)實(shí)施例的第二變體所述的圖像處理裝置的說(shuō)明。第二變體是通過(guò)將確定輸入圖像數(shù)目的功能添加到第一個(gè)實(shí)施例中而得到的實(shí)施例。
在第一個(gè)實(shí)施例中說(shuō)明的圖像處理方法中，適當(dāng)提取隱藏參數(shù)所需的輸入圖像數(shù)目很大程度上取決于圖像場(chǎng)景，這樣不易于事先確定輸入圖像數(shù)目。例如，當(dāng)多個(gè)輸入圖像包含運(yùn)動(dòng)很少的物體時(shí)，沒(méi)有可能提取適當(dāng)?shù)谋尘皥D像。出于此原因，有必要根據(jù)輸入圖像確定圖像的合適數(shù)目。
圖9示出了第一個(gè)實(shí)施例的第二變體中所執(zhí)行的處理過(guò)程的圖。第二變體的圖像處理裝置是除了第一個(gè)實(shí)施例的圖像處理裝置的功能之外還含有根據(jù)輸入圖像確定適當(dāng)圖像數(shù)目的功能的裝置，該處理裝置包括圖像處理單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104、輸出單元105、復(fù)合圖像合成單元901、誤差計(jì)算單元902以及圖像數(shù)目確定單元903。因?yàn)閺膱D像輸入單元101到輸出單元105的組成要素與第一實(shí)施例中的組成要素相同，所以不再重復(fù)對(duì)它們的說(shuō)明。
如圖6所示，隱藏參數(shù)估計(jì)單元102基于作為隱藏參數(shù)提取的背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305、還有基于對(duì)象1的運(yùn)動(dòng)T1306和對(duì)象2的運(yùn)動(dòng)T2307，根據(jù)各個(gè)輸入圖像合成對(duì)象1的圖像序列601和對(duì)象2的圖像序列602。當(dāng)然，可以將隱藏參數(shù)估計(jì)單元102估計(jì)的對(duì)象1的形狀m1310和對(duì)象2的形狀m2311應(yīng)用于合成圖像。
復(fù)合圖像合成單元901是接受作為由隱藏參數(shù)估計(jì)單元102通過(guò)輸出單元105輸出的隱藏參數(shù)的背景圖像和各對(duì)象圖像，并且通過(guò)將各對(duì)象圖像疊加在接收的背景圖像上來(lái)合成一個(gè)新圖像的處理單元。在本實(shí)施例中，復(fù)合圖像合成單元901使用背景b303、對(duì)象1的圖像序列601以及對(duì)象2的圖像序列602，合成了與輸入圖像數(shù)目相同數(shù)目的復(fù)合圖像。
誤差計(jì)算單元902是計(jì)算每個(gè)輸入圖像和每個(gè)由復(fù)合圖像合成單元901合成的復(fù)合圖像之間的誤差的處理單元。
圖像數(shù)目確定單元903是當(dāng)誤差計(jì)算單元902所計(jì)算的誤差等于或大于預(yù)定值時(shí)，使用增加了數(shù)目的輸入圖像，使隱藏參數(shù)估計(jì)單元102和約束條件參數(shù)學(xué)習(xí)單元103重復(fù)它們處理過(guò)程的處理單元。圖像數(shù)目確定單元903將計(jì)算得到的誤差值與預(yù)定值進(jìn)行比較，在計(jì)算的誤差值大于預(yù)定值的情況下，向輸入圖像單元101發(fā)送一個(gè)新信號(hào)，促使以增加了的圖像數(shù)目再次進(jìn)行處理。同時(shí)，當(dāng)計(jì)算的誤差值小于預(yù)定值時(shí)，圖像數(shù)目確定單元903結(jié)束處理過(guò)程。
同時(shí)，正如圖11所示本發(fā)明第一個(gè)實(shí)施例的第三變體所述的圖像處理裝置的情況，可以額外提供用戶輸入單元1101，這就有可能通知用戶輸入圖像數(shù)目不足的事實(shí)，并且提示用戶以增加了數(shù)目的輸入圖像再次進(jìn)行這些處理。
圖10是示出了如本發(fā)明第一個(gè)實(shí)施例的第二變體所述的圖像處理裝置所進(jìn)行操作的流程圖。參考該流程圖，下面說(shuō)明在本發(fā)明的圖像處理方法中確定輸入圖像數(shù)目的示例。
S201到S206進(jìn)行的處理與第一個(gè)實(shí)施例中的處理相同，所以就不重復(fù)它們的說(shuō)明。
接著，在S1001中，復(fù)合圖像合成單元901基于背景b303、對(duì)象1的圖像序列601以及對(duì)象2的圖像序列602，以如下方式合成復(fù)合圖像st。如圖12所示，復(fù)合圖像合成單元901通過(guò)在背景b303上疊加對(duì)象1的圖像序列601來(lái)合成復(fù)合圖像序列A1201。這里的疊加指的是以對(duì)象1的圖像序列601中一個(gè)圖像的對(duì)應(yīng)像素值來(lái)代替背景圖像和對(duì)象1的圖像序列601中該圖像的共同位置的相同像素。接著，復(fù)合圖像合成單元901通過(guò)將對(duì)象2的圖像序列602疊加到復(fù)合圖像序列A1201上來(lái)合成一個(gè)復(fù)合圖像序列B1202。這里的疊加指的是以對(duì)象2的圖像序列602中一個(gè)圖像的對(duì)應(yīng)像素值來(lái)代替復(fù)合圖像序列A1201中一個(gè)圖像和對(duì)象2的圖像序列602中的該圖像的共同位置的相同像素。注意，由等式3的定義來(lái)確定進(jìn)行疊加的次序?？梢詫⑸厦嬲f(shuō)明應(yīng)用于增加了對(duì)象數(shù)目以及如圖4所示考慮了攝像機(jī)運(yùn)動(dòng)的情況。
接著，在S1002中，誤差計(jì)算單元902以如下方式計(jì)算復(fù)合圖像序列B 1202中每個(gè)圖像st和每個(gè)輸入圖像xt之間的誤差 ...等式45 在該等式中，t表示分配個(gè)每個(gè)輸入圖像和每個(gè)復(fù)合圖像的編號(hào)。應(yīng)該注意到，如果在每個(gè)輸入圖像和每個(gè)復(fù)合圖像之間有合適的對(duì)應(yīng)關(guān)系，它是足夠的，因此它們不必以時(shí)間順序放置。M，N表示圖像尺寸。可以使用諸如S/N方法的另一種計(jì)算方法來(lái)進(jìn)行每個(gè)復(fù)合圖像和每個(gè)輸入圖像之間的誤差計(jì)算。
接著，當(dāng)誤差值Err超過(guò)預(yù)定值時(shí)，圖像數(shù)目確定單元903將計(jì)算的誤差值Err與預(yù)定值相比較，并且在S1003中將要求添加輸入圖像的信號(hào)發(fā)送給圖像輸入單元101。那么使用增加了數(shù)目的輸入圖像，再次從S201進(jìn)行各項(xiàng)處理?？商鎿Q地，如圖11所示，用戶輸入單元1101可以將表示輸入圖像數(shù)目不足的信息顯示給用戶。
正如上面這樣，有可能確定可以適當(dāng)提取隱藏參數(shù)的輸入圖像數(shù)目。
(第二個(gè)實(shí)施例) 在本實(shí)施例中，說(shuō)明了一種使用第一個(gè)實(shí)施例中所述的圖像處理方法的中間時(shí)間圖像合成方法，其用于通過(guò)使用作為隱藏參數(shù)提取的對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象的運(yùn)動(dòng)來(lái)在輸入圖像之間的中間時(shí)間合成對(duì)象圖像，并通過(guò)將中間時(shí)間的對(duì)象圖像疊加在該時(shí)期內(nèi)的背景圖像上，產(chǎn)生中間時(shí)間圖像。
圖13示出了第二個(gè)實(shí)施例中的圖像處理裝置的結(jié)構(gòu)。
該圖像處理裝置是除了第一個(gè)實(shí)施例中圖像處理裝置的各項(xiàng)功能外還具有合成中間時(shí)間圖像功能的裝置，其包括圖像輸入單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104、輸出單元105以及中間時(shí)間圖像合成單元1301。圖像輸入單元101接受以時(shí)間順序排列的多個(gè)圖像。注意，從隱藏參數(shù)估計(jì)單元102到互補(bǔ)學(xué)習(xí)單元104的各個(gè)單元與第一個(gè)實(shí)施例相同，這樣就不作重復(fù)說(shuō)明。
中間時(shí)間圖像合成單元1301是接收背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，使用所接收的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)在輸入圖像的中間時(shí)間合成一個(gè)對(duì)象圖像，并且通過(guò)將中間時(shí)間的對(duì)象圖像疊加在該時(shí)間的背景圖像上合成中間時(shí)間圖像的處理單元。在本實(shí)施例中，中間時(shí)間圖像合成單元1301使用了隱藏參數(shù)估計(jì)單元102中作為隱藏參數(shù)提取的背景b303、對(duì)象圖像f1304、對(duì)象2的圖像f2305、對(duì)象1的運(yùn)動(dòng)T1306以及對(duì)象2的運(yùn)動(dòng)T2307，并且通過(guò)合成對(duì)應(yīng)于中間時(shí)間的對(duì)象圖像并將其疊加在背景圖像上來(lái)合成與至少兩個(gè)輸入圖像的中間時(shí)間對(duì)應(yīng)的圖像。注意，當(dāng)考慮了攝像機(jī)運(yùn)動(dòng)時(shí)，通過(guò)將如圖4所示的背景b303作為移動(dòng)對(duì)象來(lái)對(duì)待，可以合成基于攝像機(jī)運(yùn)動(dòng)的中間時(shí)間圖像。
如圖15所示，中間時(shí)間圖像合成單元1301配置有對(duì)象中間時(shí)間圖像合成單元1501和對(duì)象圖像疊加單元1502。對(duì)象中間時(shí)間圖像合成單元1501是接收背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，并使用接收到的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)來(lái)合成輸入圖像的中間時(shí)間處的對(duì)象圖像的處理單元。對(duì)象圖像疊加單元1502是通過(guò)將對(duì)象中間時(shí)間圖像合成單元1501合成的中間時(shí)間處的對(duì)象圖像疊加到中間時(shí)間處的背景圖像上來(lái)合成中間時(shí)間圖像的處理單元。
下面，用圖14的流程圖來(lái)詳細(xì)說(shuō)明本發(fā)明的圖像處理方法。
首先，在S201處接受以時(shí)間順序輸入的多個(gè)圖像。這里，每個(gè)圖像保持有時(shí)間相關(guān)信息。
S202至S206的各項(xiàng)處理與第一個(gè)實(shí)施例中的處理相同，所以不再重復(fù)對(duì)它們的說(shuō)明。
接著，在S1401中，對(duì)象中間時(shí)間圖像合成單元1501使用了在圖15所示S206中獲得的背景b303、對(duì)象1的圖像f1304、對(duì)象2的圖像f2305、對(duì)象1的運(yùn)動(dòng)T1306以及對(duì)象2的運(yùn)動(dòng)T2307來(lái)合成中間時(shí)間處的對(duì)象圖像。這里，如圖16所示，說(shuō)明了以n倍時(shí)間分辨率來(lái)合成中間時(shí)間圖像f′1t+i和f′1t+j的一種方法。注意，將與時(shí)間連續(xù)的輸入圖像相對(duì)應(yīng)的對(duì)象圖像表示為f1t、f1t+n和f1t+2n。首先，通過(guò)使用第一個(gè)實(shí)施例中圖6所示的對(duì)象1的運(yùn)動(dòng)T1306來(lái)移動(dòng)對(duì)象1的圖像f1304中每個(gè)像素，可以合成t時(shí)刻的對(duì)象圖像f1t1601、t+n時(shí)刻的對(duì)象圖像f1t+n1602以及t+2n時(shí)刻的對(duì)象圖像f1t+2n1603。這樣，通過(guò)如下等式估計(jì)中間時(shí)間的運(yùn)動(dòng)T′1t+i、并使用所估計(jì)的對(duì)象1的運(yùn)動(dòng)T′1t+i以及使用對(duì)象1的圖像f1304，可以以與用于合成對(duì)象圖像f1t1601等的相同方法來(lái)合成對(duì)象1的中間時(shí)間圖像f′1t+i1604。
...等式46 注意，中間時(shí)間圖像f′1t+j1605是相同的，這樣不再重復(fù)說(shuō)明。
此外， ...等式47 ...等式48 ...等式49 這樣，有可能將加速度考慮在內(nèi)，估計(jì)對(duì)象1的運(yùn)動(dòng)T′1t+i。這在對(duì)象的運(yùn)動(dòng)發(fā)生改變時(shí)特別有效。也有可能在該情況下，以相似于對(duì)象圖像f1t1601的方法使用所估計(jì)的對(duì)象1的運(yùn)動(dòng)T′1t+i來(lái)合成中間時(shí)間圖像f′1t+i1604。對(duì)象2的中間時(shí)間圖像的合成也是相同的。
接著，在S1402中，通過(guò)將合成的中間時(shí)間的對(duì)象圖像疊加在背景圖像上來(lái)合成中間時(shí)間圖像。首先，可以通過(guò)使用輸入圖像本身或通過(guò)執(zhí)行與圖9的復(fù)合圖像合成單元901中的復(fù)合圖像合成處理相似的處理過(guò)程，來(lái)合成與該輸入圖像相同時(shí)刻的圖像。隨后，以與用于對(duì)象1的中間時(shí)間圖像f′1t+j1604的復(fù)合圖像合成單元901相同的方式，將合成的中間時(shí)間處的圖像對(duì)象1的中間時(shí)間圖像f′1t+i1604和f′1t+j1605疊加在背景b303上。
在對(duì)象2的圖像上執(zhí)行與在使用對(duì)象1的圖像合成的復(fù)合圖像上所執(zhí)行的相同類型的疊加。注意，疊加的次序遵循(等式3)中的定義。同樣，當(dāng)對(duì)象數(shù)目增加或如圖4所示包含了攝像機(jī)的運(yùn)動(dòng)，則可以以相同方式處理該疊加。
如上所述，可以使用提取的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象的運(yùn)動(dòng)來(lái)合成中間時(shí)間圖像。這樣，有可能以相比輸入圖像序列更高的時(shí)間分辨率來(lái)合成圖像。通過(guò)在諸如視頻攝像機(jī)或TV的AV設(shè)備中包含該圖像處理方法，還可以使用攝取的圖像或記錄的視頻合成具有更高時(shí)間分辨率的圖像。
(第三個(gè)實(shí)施例) 在本實(shí)施例中，使用第一個(gè)實(shí)施例中說(shuō)明的圖像處理方法將作為隱藏參數(shù)提取的對(duì)象圖像或?qū)ο髨D像的形狀顯示在監(jiān)視器或諸如此類上的方法，使用戶能選取所顯示對(duì)象之一，擦除用戶已選的對(duì)象圖像，并合成其中所擦除的對(duì)象區(qū)域埋置在背景圖像中的圖像。
圖17示出了第三個(gè)實(shí)施例中進(jìn)行的各項(xiàng)處理的圖。該圖像處理裝置包括圖像輸入單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104、輸出單元105、對(duì)象顯示單元1701、用戶輸入單元1702以及圖像合成單元1703。圖像輸入單元101到互補(bǔ)學(xué)習(xí)單元104的各單元與第一個(gè)實(shí)施例相同，這樣不再重復(fù)說(shuō)明。
對(duì)象顯示單元1701是把作為提取作為隱藏參數(shù)的對(duì)象圖像或?qū)ο髨D像形狀顯示在監(jiān)視器或諸如此類上，并在本實(shí)施例中使用隱藏參數(shù)估計(jì)單元102所提取的作為隱藏參數(shù)的背景圖像b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305來(lái)合成至少一個(gè)復(fù)合圖像，并且以彼此可辨別的方式顯示對(duì)象1的圖像f1304和對(duì)象2的圖像f2305的處理單元。
用戶輸入單元1702是從用戶獲得在對(duì)象顯示單元1701所顯示的對(duì)象中的至少一個(gè)選擇，并且在本實(shí)施例中，用戶從對(duì)象顯示單元1701顯示的對(duì)象圖像中選擇了不必需的對(duì)象圖像。
圖像合成單元1703是一種處理單元，其通過(guò)疊加與用戶已選擇的對(duì)象圖像或?qū)ο髨D像的形狀不相對(duì)應(yīng)的對(duì)象圖像來(lái)刪除用戶所選擇的對(duì)象，并合成出其中所刪除對(duì)象區(qū)域埋置在背景圖像中的圖像；在本實(shí)施例中，通過(guò)將用戶未選擇的對(duì)象圖像疊加在背景圖像上來(lái)擦除用戶所選擇的對(duì)象，并且合成了其中所擦除的對(duì)象區(qū)域埋置在背景圖像內(nèi)的圖像。
下面，用圖18的流程圖詳細(xì)解釋本發(fā)明中的圖像處理方法。S201至S206的各項(xiàng)處理與第一個(gè)實(shí)施例相同，這樣不必重復(fù)它們的說(shuō)明。
接著，在S1801處，使用隱藏參數(shù)估計(jì)單元102作為隱藏參數(shù)提取的背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305，合成了至少一個(gè)復(fù)合圖像。更具體地，將對(duì)象1的圖像f1304疊加在背景b303上。這里，疊加指的是以對(duì)象1的圖像f1304的像素值來(lái)代替該圖像中相同位置處的像素值。接著，將對(duì)象2的圖像f2305疊加在已疊加的圖像上。這里，應(yīng)當(dāng)妥善安排對(duì)象1的圖像f1304和對(duì)象2的圖像f2305，使得它們盡可能少地出現(xiàn)交迭。隨后，如圖19中的顯示圖像A1901和顯示圖像B1902所示，用戶彩色編碼了對(duì)象1的圖像1903和對(duì)象2的圖像1904，使得它們易于區(qū)分，并且將它們顯示在監(jiān)視器或諸如此類上。
接著，在S1802處，用戶從顯示在監(jiān)視器或諸如此類上的復(fù)合圖像中選擇不必需的對(duì)象圖像。這里，使用諸如視頻攝像機(jī)、TV等AV設(shè)備或通過(guò)調(diào)節(jié)遙控器和諸如此類上的鍵盤(pán)或諸如此類、通過(guò)以鼠標(biāo)點(diǎn)擊作出可能的選擇，或通過(guò)與監(jiān)視器或視頻攝像機(jī)裝配在一起的接觸面板直接選擇，來(lái)選擇單獨(dú)的特定對(duì)象圖像。不必需的對(duì)象數(shù)目不限。例如，通過(guò)將所有對(duì)象圖像選擇為不必需的對(duì)象，可以獲得背景圖像本身。
接著，在S1803中，圖像合成單元1703擦除了用戶所選擇的對(duì)象，并且合成了其中所擦除的對(duì)象區(qū)域埋置在背景圖像內(nèi)中的圖像。在圖19中，示出了不必需對(duì)象擦除序列1905，當(dāng)用戶將對(duì)象2的圖像1904選擇作為不必需對(duì)象時(shí)合成了該不必需對(duì)象擦除序列1905。更具體地，合成了使用用戶未選擇的對(duì)象圖像的對(duì)象圖像序列，并且順序地將該對(duì)象圖像序列疊加到背景b303上。圖像合成的順序與復(fù)合圖像合成單元901相同，這樣不再重復(fù)說(shuō)明。注意，疊加順序遵循(等式3)中的定義，然而，對(duì)于用戶未選擇的對(duì)象圖像不進(jìn)行處理。同樣，當(dāng)如圖4所示對(duì)象數(shù)目增加或包括了攝像機(jī)運(yùn)動(dòng)時(shí)，可以以相同方式處理交迭。
這里，作為隱藏參數(shù)提取的背景圖像以及各對(duì)象圖像是消除了遮擋效應(yīng)的圖像，遮擋效應(yīng)指的是由于一個(gè)對(duì)象覆蓋了另一個(gè)對(duì)象，背景或?qū)ο蟮囊徊糠种械南袼匦畔⑾?。這樣，即使當(dāng)被擦除的對(duì)象圖像隱藏了部分背景和另一對(duì)象的部分，可以合成出消除了該隱藏效應(yīng)的圖像序列。
這樣，不僅通過(guò)一次接觸擦除了由用戶從至少一個(gè)圖像中選擇的不必需對(duì)象，而且可以合成其中所擦除的區(qū)域埋置在背景圖像中的圖像序列。這樣，當(dāng)以視頻拍攝或諸如此類形式拍攝了不必需的對(duì)象時(shí)，后來(lái)可以再現(xiàn)已擦除了該對(duì)象的視頻。
(第四個(gè)實(shí)施例) 在本實(shí)施例中，說(shuō)明了一種方法，其可以以相對(duì)較少的噪聲提取背景圖像和對(duì)象圖像，并且當(dāng)所提取背景圖像和每個(gè)對(duì)象圖像的像素值不恒定并且在第一到第三個(gè)實(shí)施例中置信水平低時(shí)，通過(guò)用鄰近區(qū)域內(nèi)的像素值內(nèi)插背景圖像和每個(gè)對(duì)象圖像的像素值，來(lái)合成中間時(shí)間圖像。這里，將中間時(shí)間圖像的合成描述為一個(gè)示例，但本發(fā)明可以應(yīng)用于從第一至第三個(gè)實(shí)施例的任意示例中。
圖20示出了第四個(gè)實(shí)施例中圖像處理裝置的結(jié)構(gòu)。該圖像處理裝置是除了第一個(gè)實(shí)施例中圖像處理裝置的功能以外，還包含使用像素內(nèi)插合成中間時(shí)間圖像的功能的裝置，其包括圖像輸入單元101、隱藏參數(shù)估計(jì)單元102、約束條件參數(shù)學(xué)習(xí)單元103、互補(bǔ)學(xué)習(xí)單元104、輸出單元105以及中間時(shí)間圖像合成單元1301a。中間時(shí)間圖像合成單元1301由像素值內(nèi)插單元2001、對(duì)象中間時(shí)間圖像合成單元1501以及對(duì)象圖像疊加單元1502組成。像素值內(nèi)插單元2001是接收輸出單元105輸出的作為隱藏參數(shù)的背景圖像和每個(gè)對(duì)象圖像，并當(dāng)所接收的背景圖像和每個(gè)對(duì)象圖像的像素值的可靠性低時(shí)使用鄰近區(qū)域像素值來(lái)內(nèi)插像素值的處理單元；在本實(shí)施例中，像素值內(nèi)插單元2001基于隱藏參數(shù)估計(jì)單元102中提取的背景圖像和對(duì)象圖像的高斯分布參數(shù)的精度，用鄰近像素值來(lái)內(nèi)插低可靠性的像素值。注意，在對(duì)象中間時(shí)間圖像合成單元1501和對(duì)象圖像疊加單元1502中，使用由像素值內(nèi)插單元內(nèi)插的像素值而不是隱藏參數(shù)估計(jì)單元102所提取圖像的像素值來(lái)合成中間時(shí)間圖像。
下面，用圖21中的流程圖來(lái)詳細(xì)說(shuō)明本發(fā)明中的圖像處理方法。S201至S205的各項(xiàng)處理與第一個(gè)實(shí)施例相同，這樣不再重復(fù)它們的說(shuō)明。
接著，在S2101中，像素值內(nèi)插單元2001使用通過(guò)在S206處在隱藏參數(shù)估計(jì)單元102中計(jì)算(等式12)至(等式17)的等式所獲得的背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305的高斯分布參數(shù)(uf2，vf2)，(uf1，vf1)，(ub，vb)來(lái)確定像素值的可靠性。具體地，將vf2，vf1，vb用作像素值可靠性的判定基礎(chǔ)。注意，vf2，vf1，vb是為每個(gè)像素獲得的、作為倒數(shù)分布(reciprocal distribution)的精度。隨后，根據(jù)vf2，vf1，vb與預(yù)設(shè)門(mén)限值TH_P的關(guān)系評(píng)估每個(gè)像素的可靠性。
接著，在S2102中，用鄰近像素值和精度來(lái)內(nèi)插精度小于門(mén)限值TH_P的像素。
...等式50 這里，j表示4或8個(gè)與要進(jìn)行內(nèi)插的像素相鄰的像素?？梢砸韵嗤绞接?jì)算uf1_new和ub_new，不再重復(fù)它們的說(shuō)明。
同樣，像素值的內(nèi)插方法并不限于(等式50)，其可以是使用與像素值可靠性有關(guān)的信息的任何方法。
隨后，在S2103中，使用替代背景b303、對(duì)象1的圖像f1304以及對(duì)象2的圖像f2305分別內(nèi)插的圖像來(lái)合成復(fù)合圖像。該復(fù)合圖像的合成與第一個(gè)實(shí)施例中的S1001、第二個(gè)實(shí)施例中的S1402、第三個(gè)實(shí)施例中的S1801等相同，這樣不再重復(fù)說(shuō)明。
如上所述，當(dāng)作為隱藏參數(shù)提取的每個(gè)像素中的像素值的可靠性較低時(shí)，根據(jù)鄰近區(qū)域內(nèi)像素值的可靠性來(lái)內(nèi)插像素值，可以提取具有較小噪聲的背景圖像和每個(gè)對(duì)象圖像。這樣，也可能合成具有較小噪聲的中間時(shí)間圖像。
(第五個(gè)實(shí)施例) 在本實(shí)施例中，說(shuō)明了一種方法，其定義了點(diǎn)擴(kuò)展函數(shù)中的參數(shù)，該函數(shù)將圖像的模糊表示為第一至第四個(gè)實(shí)施例中的一個(gè)隱藏參數(shù)，并且用于以重建輸入圖像的質(zhì)量來(lái)提取背景圖像和每個(gè)對(duì)象圖像。
本實(shí)施例中的圖像處理裝置是這樣一種裝置，其除了第一至第四實(shí)施例中的圖像處理裝置的功能以外，還具有提取具有相比輸入圖像使用點(diǎn)擴(kuò)展函數(shù)修改后的圖像質(zhì)量的背景圖像和對(duì)象圖像的功能，并且除了包含在第一至第四個(gè)實(shí)施例中的隱藏參數(shù)估計(jì)單元102之外還包含有隱藏參數(shù)估計(jì)單元102a。
因?yàn)橹挥须[藏參數(shù)估計(jì)單元102a與第一至第四個(gè)實(shí)施例不同，下面說(shuō)明隱藏參數(shù)估計(jì)單元102a。
除了在第一至第四個(gè)實(shí)施例中的隱藏參數(shù)估計(jì)單元102的功能之外，隱藏參數(shù)估計(jì)單元102a還具有保持點(diǎn)擴(kuò)展函數(shù)參數(shù)的功能，該參數(shù)將圖像惡化過(guò)程表示為一個(gè)隱藏參數(shù)，該單元通過(guò)估計(jì)該函數(shù)的逆函數(shù)，合成具有相比輸入圖像更好質(zhì)量的背景圖像和對(duì)象圖像。
取代圖3而使用圖22的結(jié)構(gòu)。這里，除了圖3示出的隱藏參數(shù)之外，假設(shè)本發(fā)明配置有背景b303的點(diǎn)擴(kuò)展函數(shù)φb2201、對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)φf(shuō)12202以及對(duì)象2的圖像f2305的點(diǎn)擴(kuò)展函數(shù)φf(shuō)22203。
這里，以如下等式所示的二維高斯分布來(lái)定義背景b303的點(diǎn)擴(kuò)展函數(shù)。...等式51 這里，(xb，yb)是背景圖像中的每個(gè)像素位置，并且(sx_b，sy_b)是高斯分布中的平均像素。下面等式基于點(diǎn)擴(kuò)展函數(shù)表示圖像的惡化。
bnew(xb，yb)＝b(xb，yb)*φb(xb，yb) ...等式52 這里，b(xb，yb)表示一個(gè)惡化后的圖像，bnew(xb，yb)表示惡化前的高質(zhì)量圖像，φb(xb，yb)表示使bnew(xb，yb)惡化的點(diǎn)擴(kuò)展函數(shù)。此外，如下所述，通過(guò)將bnew(xb，yb)視為要估計(jì)的增強(qiáng)質(zhì)量圖像，將b(xb，yb)視為與從第一至第四個(gè)實(shí)施例中所獲得圖像相同的圖像，可以將等式52中的圖像惡化等式應(yīng)用于圖像質(zhì)量增強(qiáng)。換句話說(shuō)，通過(guò)找到點(diǎn)擴(kuò)展函數(shù)φb(xb，yb)的逆函數(shù)，以b(xb，yb)作為輸入圖像，可以獲得質(zhì)量增強(qiáng)的圖像bnew(xb，yb)。在(圖52)中卷積計(jì)算的右邊簡(jiǎn)單進(jìn)行頻域相乘，如下圖53所示，這樣 B(fx，fy)＝Bnew(fx，fy)Φb(fx，fy) ...等式53 這里，B、Bnew和Φb分別是b、bnew和

的傅立葉變換輸出。
因此，通過(guò)下面等式可以得到Bnew Bnew(fx，fy)＝B(fx，fy)/Φb(fx，fy) ...等式54 通過(guò)將傅立葉逆變換應(yīng)用于該等式，可以得到bnew(xb，yb)。
在隱藏參數(shù)估計(jì)單元102a中，背景b303可以獲得模糊校正的圖像作為背景bnew?？梢砸韵嗤绞蕉x對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)和對(duì)象2的圖像f2305的點(diǎn)擴(kuò)展函數(shù)。
下面，說(shuō)明了找到用于質(zhì)量增強(qiáng)圖像bnew(xb，yb)的點(diǎn)擴(kuò)展函數(shù)以作為隱藏參數(shù)估計(jì)單元102中一個(gè)隱藏參數(shù)的方法。
可以用點(diǎn)擴(kuò)展函數(shù)φb，φf(shuō)1，φf(shuō)2以下列方式重寫(xiě)(等式1)和(等式2)。
P(x，f，b，β，π，T，m)＝P(x|f，b，β，T，m，φ)P(m|π，T)P(f)P(b)P(β)P(T)P(π)P(φ) ...等式55 ...等式56 從該關(guān)系可知，可以使用(等式12)和(等式13)中的逆點(diǎn)擴(kuò)展函數(shù)φb來(lái)重寫(xiě)用于質(zhì)量增強(qiáng)背景圖像bnew2204、對(duì)象1的質(zhì)量增強(qiáng)圖像f1new2205以及對(duì)象2的質(zhì)量增強(qiáng)圖像f2new2206的更新等式。注意，假設(shè)質(zhì)量增強(qiáng)背景圖像bnew2204、對(duì)象1的質(zhì)量增強(qiáng)圖像f1new2205以及對(duì)象2的質(zhì)量增強(qiáng)圖像f2new2206具有高斯分布，并且說(shuō)明了所求的每個(gè)高斯分布參數(shù)為(unew_b，vnew_b)，(unew_f2，vnew_f2)，(unew_f1，vnew_f1)的示例。
...等式57 ...等式58 可以以與對(duì)象1的增強(qiáng)質(zhì)量圖像f1new2205的高斯分布參數(shù)(unew_f1，vnew_f1)和對(duì)象2的增強(qiáng)質(zhì)量圖像f2new2206的高斯分布參數(shù)(unew_f1，vnew_f1)被使用的相同方式，用(等式14)至(等式17)的點(diǎn)擴(kuò)展函數(shù)φb的逆函數(shù)來(lái)表示這些等式。
接著，可以以與噪聲β302相同的方式，獲得背景b303的點(diǎn)擴(kuò)展函數(shù)參數(shù)φb2201、對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)參數(shù)φf(shuō)22202和對(duì)象2的圖像f2305的點(diǎn)擴(kuò)展函數(shù)參數(shù)φf(shuō)22203的每個(gè)圖像的一組參數(shù)。換句話說(shuō)，可以獲得說(shuō)明圖像數(shù)目的隱藏參數(shù)。這樣，因?yàn)榭梢詫?等式51)表示為高斯分布參數(shù)，有可能用按照與(等式12)至(等式17)相同的方式估計(jì)高斯分布參數(shù)的更新等式將隱藏參數(shù)估計(jì)如下。
...等式59 ...等式60 這里，σx_b是(等式51)中∑b的x方向元素。同樣，可以以與(等式59)和(等式60)相同的方式計(jì)算y方向元素。
當(dāng)然，可以以相同方式找到對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)參數(shù)φf(shuō)12202和對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)參數(shù)φf(shuō)22203。
隨后，通過(guò)定義(等式52)中的函數(shù)，并且通過(guò)將背景b303定義為背景bnew，隱藏參數(shù)估計(jì)單元102可以獲得一個(gè)圖像，其中修復(fù)了模糊效應(yīng)，尤其是有關(guān)光學(xué)模糊的效應(yīng)。以相同方式可以定義對(duì)象1的圖像f1304的點(diǎn)擴(kuò)展函數(shù)和對(duì)象2的圖像f2305的點(diǎn)擴(kuò)展函數(shù)。
注意，該圖像處理裝置是針對(duì)(圖51)中以高斯分布來(lái)說(shuō)明點(diǎn)擴(kuò)展函數(shù)的情況進(jìn)行說(shuō)明的，但是也可以與第一個(gè)實(shí)施例中運(yùn)動(dòng)T1和T2一樣假設(shè)為離散分布。
使用上述處理，不僅有可能從多個(gè)圖像中估計(jì)背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)，同時(shí)避免局部最小值，也有可能在估計(jì)出背景圖像和每個(gè)對(duì)象圖像的點(diǎn)擴(kuò)展函數(shù)參數(shù)的同時(shí)，以相比輸入圖像更高圖像質(zhì)量來(lái)提取背景圖像和每個(gè)對(duì)象圖像。
此外，通過(guò)將這些處理過(guò)程與第二個(gè)實(shí)施例中所述方法相結(jié)合，可以比輸入圖像序列提高時(shí)間分辨率，并且可以增強(qiáng)圖像的質(zhì)量。通過(guò)把圖像處理方法封裝進(jìn)諸如視頻攝像機(jī)或TV的AV設(shè)備中，可以從所攝取的圖像或記錄的運(yùn)動(dòng)圖像中合成出具有更高時(shí)間分辨率以及增強(qiáng)圖像質(zhì)量的圖像。
(第六個(gè)實(shí)施例) 在本實(shí)施例中，說(shuō)明了使用與第一個(gè)實(shí)施例不同的方法進(jìn)行如S204中所描述的第一個(gè)實(shí)施例中約束條件參數(shù)學(xué)習(xí)單元103的學(xué)習(xí)的示例。
本實(shí)施例中圖像處理裝置包括了約束條件參數(shù)學(xué)習(xí)單元103a，以代替第一個(gè)實(shí)施例圖像處理裝置中所包括的約束條件參數(shù)學(xué)習(xí)單元103。
約束條件參數(shù)學(xué)習(xí)單元103a是選擇與該像素鄰近的一個(gè)像素作為一對(duì)，確定每個(gè)像素是否屬于背景圖像或每個(gè)對(duì)象圖像區(qū)域，并且當(dāng)各個(gè)像素屬于不同對(duì)象以及當(dāng)各個(gè)像素屬于同一對(duì)象時(shí)分別對(duì)隱藏參數(shù)施加不同的約束。下面，用圖23解釋約束條件參數(shù)學(xué)習(xí)單元的各項(xiàng)操作。
在S203中，隱藏參數(shù)估計(jì)單元102將S202中估計(jì)的隱藏參數(shù)估計(jì)結(jié)果傳輸給約束條件參數(shù)學(xué)習(xí)單元103a，如圖23所示。這里，說(shuō)明了將作為隱藏參數(shù)的對(duì)象1的形狀m1310和對(duì)象2的形狀m2311用于學(xué)習(xí)約束條件參數(shù)的示例。然而，約束條件參數(shù)的學(xué)習(xí)不限于對(duì)象的形狀，也可以是上面提到的隱藏參數(shù)。
接著，在S204處，將S203中傳輸?shù)碾[藏參數(shù)的估計(jì)結(jié)果作為訓(xùn)練信號(hào)，并學(xué)習(xí)約束條件參數(shù)。下面，說(shuō)明了以對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的隱藏參數(shù)估計(jì)結(jié)果作為訓(xùn)練信號(hào)Q(mi)501，來(lái)學(xué)習(xí)與對(duì)象1的形狀m1310和對(duì)象2的形狀m2311有關(guān)的約束條件參數(shù)的示例。用圖23說(shuō)明約束條件參數(shù)學(xué)習(xí)單元103。該約束條件參數(shù)學(xué)習(xí)單元103配置有像素位置信息L2301、兩個(gè)像素的像素間信息dij2302、對(duì)象尺寸參數(shù)wL2303以及配對(duì)參數(shù)wd2304。這里，像素位置信息L2301保持了從輸入圖像所獲得的像素的位置信息。隨后，兩個(gè)像素的像素間信息dij2302保持了與輸入圖像中兩像素之間的亮度信息有關(guān)的信息。同樣，在對(duì)象尺寸參數(shù)wL2303中，學(xué)習(xí)了基于像素位置信息L2301表示對(duì)象尺寸的約束條件參數(shù)。配對(duì)參數(shù)wd2304對(duì)兩個(gè)像素信息dij2302中各像素是屬于背景圖像區(qū)域還是一個(gè)對(duì)象圖像區(qū)域進(jìn)行評(píng)估。當(dāng)各像素屬于不同對(duì)象以及當(dāng)各像素屬于相同對(duì)象時(shí)，學(xué)習(xí)不同的約束條件參數(shù)。
這里，通過(guò)學(xué)習(xí)對(duì)象尺寸參數(shù)wL2303和配對(duì)參數(shù)wd2304，約束條件參數(shù)學(xué)習(xí)單元103a學(xué)習(xí)了約束條件參數(shù)。正如第一個(gè)實(shí)施例中所提到的，當(dāng)然也可以使用像素運(yùn)動(dòng)信息。
這里，將使用了像素位置信息L2301和對(duì)象尺寸參數(shù)wL2303之間關(guān)系的約束條件參數(shù)表示為如下等式 pc(m＝1|L)＝exp{-wL1(L-wL2)2} ...等式61 pc(m＝2|L)＝exp{-wL3(L-wL4)2} ...等式62 這里，L是每個(gè)像素的位置。找到對(duì)象尺寸參數(shù)(wL1，...wL4)2303意味著學(xué)習(xí)約束條件參數(shù)。
接著，將兩像素的像素間信息dij2302和配對(duì)參數(shù)wd2304之間的關(guān)系表示為如下等式。
...等式63 換句話說(shuō)，在找到配對(duì)參數(shù)2304的過(guò)程中，也學(xué)習(xí)了約束條件參數(shù)。
如上所述，可以把(等式61)至(等式63)的等式中所表示的約束條件參數(shù)認(rèn)為是以均值和精度作為參數(shù)的高斯分布。換句話說(shuō)，通過(guò)高斯分布的更新等式，(等式12)至(等式17)以及類似更新等式，可以學(xué)習(xí)約束條件參數(shù)。
接著，在S205處將約束條件參數(shù)pc(mi|x)502發(fā)送給如圖23所示的隱藏參數(shù)估計(jì)單元102。隨后，進(jìn)行如S202中的處理。在該點(diǎn)處，約束條件參數(shù)pc(mi|x)作為用于找到對(duì)象1的形狀m1310和對(duì)象2的形狀m2311的約束。更具體地，通過(guò)在隱藏參數(shù)估計(jì)單元中以與(等式43)相同的方式將約束條件參數(shù)pc(mi|x)加到更新等式上來(lái)進(jìn)行處理。
這樣，隱藏參數(shù)估計(jì)單元102可以估計(jì)隱藏參數(shù)，同時(shí)避免局部最小值。這里，針對(duì)對(duì)象1的形狀m1310和對(duì)象2的形狀m2311說(shuō)明了約束條件參數(shù)的學(xué)習(xí)，但是也有可能以與(等式43)和(等式44)相同的方式將約束界限加到另外的隱藏參數(shù)上。此外，在隱藏參數(shù)估計(jì)單元102中，即使當(dāng)只把約束條件參數(shù)加到對(duì)象1的形狀m1310和對(duì)象2的形狀m2311時(shí)，也可以將避免局部最小值的功效作用于其它隱藏參數(shù)，從而同時(shí)優(yōu)化所有隱藏參數(shù)。這樣，無(wú)需直接將約束條件參數(shù)加到作為要找到的隱藏參數(shù)的背景b303、對(duì)象1的圖像f1304、對(duì)象2的圖像f2305、對(duì)象1的運(yùn)動(dòng)T1306以及對(duì)象2的運(yùn)動(dòng)T2307之上，就可以估計(jì)避免了局部最小值的隱藏參數(shù)。
接著，在重復(fù)S202到S205一定次數(shù)N之后，在S206處將隱藏參數(shù)估計(jì)單元所估計(jì)的結(jié)果作為圖像輸出。下面與第一個(gè)實(shí)施例相同，所以不再重復(fù)描述。
如上所述，有可能從多個(gè)圖像中同時(shí)估計(jì)背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)，同時(shí)避免局部最小值。
上面，基于各實(shí)施例和修改中的示例說(shuō)明了如本發(fā)明所述的圖像處理方法和圖像處理裝置，然而，本發(fā)明不限于這些實(shí)施例和修改。本領(lǐng)域技術(shù)人員會(huì)很容易知道，有可能在示例性實(shí)施例中有很多修改，而不會(huì)實(shí)質(zhì)上偏離本發(fā)明的創(chuàng)新啟示和優(yōu)點(diǎn)。
同樣，將每個(gè)實(shí)施例中各組成要素任意組合得到的結(jié)構(gòu)都包括在本發(fā)明內(nèi)。例如，通過(guò)合并第二和第三個(gè)實(shí)施例，可以實(shí)現(xiàn)一種具有編輯功能的圖像處理裝置，其用于擦除中間時(shí)間圖像合成單元1301合成的中間時(shí)間圖像中用戶選擇的對(duì)象圖像；這種圖像處理裝置也包括在本發(fā)明內(nèi)。
工業(yè)實(shí)用性 可以將本發(fā)明用作從多個(gè)圖像中同時(shí)提取背景圖像和對(duì)象圖像的圖像處理裝置，尤其是可以用作從多個(gè)圖像中同時(shí)提取背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)，同時(shí)避免局部最小值的圖像處理裝置。還可以將本發(fā)明用作封裝在諸如運(yùn)動(dòng)分析裝置、監(jiān)視裝置、視頻攝像機(jī)或TV的AV設(shè)備中的圖像處理裝置等。
權(quán)利要求
1、一種從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理方法，所述圖像處理方法包括
圖像輸入步驟，接受多個(gè)圖像的輸入；
隱藏參數(shù)估計(jì)步驟，基于所述多個(gè)圖像和表示至少一個(gè)隱藏參數(shù)的條件的約束條件參數(shù)，使用迭代學(xué)習(xí)法來(lái)估計(jì)隱藏參數(shù)；
約束條件參數(shù)學(xué)習(xí)步驟，使用來(lái)自所述隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果作為訓(xùn)練信號(hào)，來(lái)學(xué)習(xí)與所述隱藏參數(shù)有關(guān)的約束條件參數(shù)，以及；
互補(bǔ)學(xué)習(xí)步驟，促使迭代進(jìn)行隱藏參數(shù)的估計(jì)以及約束條件參數(shù)的學(xué)習(xí)，在使用了在所述約束條件參數(shù)學(xué)習(xí)步驟中給出的學(xué)習(xí)結(jié)果的所述隱藏參數(shù)估計(jì)步驟中進(jìn)行隱藏參數(shù)的估計(jì)，在使用了在所述隱藏參數(shù)估計(jì)步驟中給出的隱藏參數(shù)的估計(jì)結(jié)果的所述約束條件參數(shù)學(xué)習(xí)步驟中進(jìn)行約束條件參數(shù)的學(xué)習(xí)；以及
輸出步驟，在所述互補(bǔ)學(xué)習(xí)步驟中進(jìn)行迭代學(xué)習(xí)之后，輸出所述隱藏參數(shù)估計(jì)步驟中估計(jì)的所述隱藏參數(shù)。
2、如權(quán)利要求1所述的圖像處理方法，
其中，所述約束條件參數(shù)是與下列條件中至少一個(gè)條件有關(guān)的參數(shù)每個(gè)對(duì)象圖像的區(qū)域尺寸、每個(gè)對(duì)象圖像的顏色以及包含在每個(gè)對(duì)象圖像中的像素運(yùn)動(dòng)。
3、如權(quán)利要求1所述的圖像處理方法，
其中，在所述約束條件參數(shù)學(xué)習(xí)步驟中，從所述多個(gè)圖像中選取鄰近像素作為一對(duì)，并且評(píng)估各像素是屬于背景圖像的圖像區(qū)域還是屬于每個(gè)對(duì)象的圖像區(qū)域，并且根據(jù)所述各像素屬于不同對(duì)象還是所述各像素屬于同一對(duì)象，分別將不同的約束應(yīng)用于所述隱藏參數(shù)。
4、如權(quán)利要求1所述的圖像處理方法，
其中，所述約束條件參數(shù)學(xué)習(xí)步驟包括將來(lái)自所述隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，基于能量最小化方法來(lái)學(xué)習(xí)所述約束條件參數(shù)。
5、如權(quán)利要求1所述的圖像處理方法，
其中，通過(guò)概率分布表示每個(gè)隱藏參數(shù)。
6、如權(quán)利要求1所述的圖像處理方法，還包括
復(fù)合圖像合成步驟，接收在所述輸出步驟中作為隱藏參數(shù)輸出的背景圖像和每個(gè)對(duì)象圖像，并通過(guò)將每個(gè)對(duì)象圖像疊加在所接收的背景圖像上來(lái)重新合成圖像；
誤差計(jì)算步驟，計(jì)算在所述復(fù)合圖像合成步驟中合成的圖像與每個(gè)輸入圖像之間的誤差；以及
圖像數(shù)目判斷步驟，當(dāng)所述誤差計(jì)算步驟中計(jì)算的誤差等于或大于指定值時(shí)增加輸入圖像的數(shù)目，并促使所述隱藏參數(shù)估計(jì)步驟和所述約束條件參數(shù)學(xué)習(xí)步驟使用增加的輸入圖像再次迭代地進(jìn)行處理，或向用戶顯示輸入圖像的數(shù)目不足。
7、如權(quán)利要求1所述的圖像處理方法，
其中，所述輸出步驟還包括
圖像數(shù)據(jù)分割步驟，分別保存或輸出作為隱藏參數(shù)的背景圖像和每個(gè)對(duì)象圖像。
8、如權(quán)利要求1所述的圖像處理方法，
其中，在所述圖像輸入步驟中，接受以時(shí)間順序排列的多個(gè)圖像輸入，并且所述圖像處理方法還包括
中間時(shí)間圖像合成步驟，用于
接收在所述輸出步驟中作為隱藏參數(shù)輸出的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，
使用所述背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)在多個(gè)輸入圖像之間的中間時(shí)間內(nèi)合成對(duì)象圖像，以及
通過(guò)將所述中間時(shí)間的對(duì)象圖像疊加在相應(yīng)時(shí)間的背景圖像上來(lái)合成中間時(shí)間圖像。
9、如權(quán)利要求1所述的圖像處理方法，
其中，在所述隱藏參數(shù)估計(jì)步驟中，保持了點(diǎn)擴(kuò)展函數(shù)的參數(shù)，該參數(shù)表示了作為一個(gè)隱藏參數(shù)的圖像惡化程度，并且通過(guò)估計(jì)該點(diǎn)擴(kuò)展函數(shù)的逆函數(shù)，以比輸入圖像更高的圖像質(zhì)量合成背景圖像和對(duì)象圖像。
10、如權(quán)利要求1所述的圖像處理方法，還包括
像素值內(nèi)插步驟，接收在所述輸出步驟中作為隱藏參數(shù)輸出的背景圖像和每個(gè)對(duì)象圖像，并且當(dāng)所接收的背景圖像和對(duì)象圖像的像素值的可靠性低時(shí)，使用鄰近區(qū)域內(nèi)的像素值內(nèi)插所述像素值。
11、如權(quán)利要求1所述的圖像處理方法，還包括
對(duì)象顯示步驟，將在所述輸出步驟中作為隱藏參數(shù)輸出的對(duì)象圖像或?qū)ο髨D像的形狀顯示在監(jiān)視器上，以允許用戶選擇至少一個(gè)所顯示的對(duì)象；以及
圖像合成步驟，通過(guò)將與用戶選定的對(duì)象圖像或?qū)ο髨D像的形狀不對(duì)應(yīng)的對(duì)象圖像疊加在背景圖像上來(lái)擦除所述用戶選定的對(duì)象，并且合成其中所擦除的對(duì)象區(qū)域埋置在所述背景圖像中的圖像。
12、如權(quán)利要求1所述的圖像處理方法，其中
將由攝像機(jī)運(yùn)動(dòng)引起的背景圖像運(yùn)動(dòng)作為隱藏參數(shù)之一。
13、一種從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理裝置，所述圖像處理方法包括
圖像輸入單元，用于接受多個(gè)圖像的輸入；
隱藏參數(shù)估計(jì)單元，用于使用迭代學(xué)習(xí)法，基于所述多個(gè)圖像和表示至少一個(gè)隱藏參數(shù)的條件的約束條件參數(shù)來(lái)估計(jì)隱藏參數(shù)；
約束條件參數(shù)學(xué)習(xí)單元，用于將來(lái)自所述隱藏參數(shù)估計(jì)單元的估計(jì)結(jié)果作為訓(xùn)練信號(hào)，學(xué)習(xí)與所述隱藏參數(shù)有關(guān)的約束條件參數(shù)，以及；
互補(bǔ)學(xué)習(xí)單元，用于促使迭代地進(jìn)行隱藏參數(shù)的估計(jì)以及約束條件參數(shù)的學(xué)習(xí)，所述隱藏參數(shù)估計(jì)單元進(jìn)行隱藏參數(shù)的估計(jì)，其使用了由所述約束條件參數(shù)學(xué)習(xí)單元給出的學(xué)習(xí)結(jié)果，所述約束條件參數(shù)學(xué)習(xí)單元進(jìn)行約束條件參數(shù)的學(xué)習(xí)，其使用了由所述隱藏參數(shù)估計(jì)單元給出的隱藏參數(shù)的估計(jì)結(jié)果；以及
輸出單元，用于在所述互補(bǔ)學(xué)習(xí)單元中進(jìn)行迭代學(xué)習(xí)之后，輸出所述隱藏參數(shù)估計(jì)單元中估計(jì)的所述隱藏參數(shù)。
14、如權(quán)利要求13所述的圖像處理裝置，還包括
中間時(shí)間圖像合成單元，用于
接收從所述輸出單元作為隱藏參數(shù)輸出的背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，
使用所述背景圖像、對(duì)象圖像、對(duì)象圖像的形狀以及對(duì)象圖像的運(yùn)動(dòng)，在多個(gè)輸入圖像之間的中間時(shí)間內(nèi)合成對(duì)象圖像，以及
通過(guò)將所述中間時(shí)間的對(duì)象圖像疊加在相應(yīng)時(shí)間的背景圖像上來(lái)合成中間時(shí)間圖像。
15、如權(quán)利要求13所述的圖像處理裝置，還包括
對(duì)象顯示單元，用于將在所述輸出單元中作為隱藏參數(shù)輸出的對(duì)象圖像或?qū)ο髨D像的形狀顯示在監(jiān)視器上，以允許用戶選擇至少一個(gè)所顯示的對(duì)象；以及
圖像合成單元，用于通過(guò)將與用戶選定的對(duì)象圖像或?qū)ο髨D像的形狀不對(duì)應(yīng)的對(duì)象圖像疊加在背景圖像上來(lái)擦除所述用戶選定的對(duì)象，并且合成其中所擦除的對(duì)象區(qū)域埋置在背景圖像中的圖像。
16、一種從多個(gè)圖像中同時(shí)提取定義為隱藏參數(shù)的背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理程序，所述圖像處理程序使計(jì)算機(jī)執(zhí)行如下步驟
圖像輸入步驟，接受多個(gè)圖像的輸入；
隱藏參數(shù)估計(jì)步驟，基于所述多個(gè)圖像和表示至少一個(gè)隱藏參數(shù)的條件的約束條件參數(shù)，使用迭代學(xué)習(xí)法來(lái)估計(jì)隱藏參數(shù)；
約束條件參數(shù)學(xué)習(xí)步驟，將來(lái)自所述隱藏參數(shù)估計(jì)步驟的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，來(lái)學(xué)習(xí)與所述隱藏參數(shù)有關(guān)的約束條件參數(shù)；以及
互補(bǔ)學(xué)習(xí)步驟，促使迭代地進(jìn)行隱藏參數(shù)的估計(jì)以及約束條件參數(shù)的學(xué)習(xí)，在使用了在所述約束條件參數(shù)學(xué)習(xí)步驟中給出的學(xué)習(xí)結(jié)果的所述隱藏參數(shù)估計(jì)步驟中進(jìn)行隱藏參數(shù)的估計(jì)，在使用了在所述隱藏參數(shù)估計(jì)步驟中給出的隱藏參數(shù)的估計(jì)結(jié)果的所述約束條件參數(shù)學(xué)習(xí)步驟中進(jìn)行約束條件參數(shù)的學(xué)習(xí)；以及
輸出步驟，在所述互補(bǔ)學(xué)習(xí)步驟中進(jìn)行迭代學(xué)習(xí)之后，輸出在所述隱藏參數(shù)估計(jì)步驟中估計(jì)的隱藏參數(shù)。
全文摘要
一種從多個(gè)圖像中同時(shí)獲得并提取背景圖像、至少兩個(gè)對(duì)象圖像、每個(gè)對(duì)象圖像的形狀以及每個(gè)對(duì)象圖像的運(yùn)動(dòng)的圖像處理裝置，該圖像裝置包括接受多個(gè)圖像的輸入的圖像輸入單元(101)；基于多個(gè)圖像以及表示至少一個(gè)隱藏參數(shù)的條件的約束條件參數(shù)，使用迭代學(xué)習(xí)法估計(jì)隱藏參數(shù)的隱藏參數(shù)估計(jì)單元(102)；將隱藏參數(shù)估計(jì)單元的估計(jì)結(jié)果用作訓(xùn)練信號(hào)，學(xué)習(xí)與隱藏參數(shù)有關(guān)的約束條件參數(shù)的約束條件參數(shù)學(xué)習(xí)單元(103)以及利用隱藏參數(shù)的學(xué)習(xí)結(jié)果，促使迭代地進(jìn)行隱藏參數(shù)的估計(jì)和約束條件參數(shù)的學(xué)習(xí)的互補(bǔ)學(xué)習(xí)單元(104)。
文檔編號(hào)G06K9/00GK101292264SQ200680024001
公開(kāi)日2008年10月22日 申請(qǐng)日期2006年12月1日 優(yōu)先權(quán)日2006年12月1日
發(fā)明者巖崎正宏, A·塔亞南坦, R·奇波拉 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社