專利名稱：圖像處理裝置、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理圖像的裝置、方法、以及程序。更具體地說，它們通過利用由多個(gè)像素所組成的且由具有時(shí)間積分效果的圖像傳感器所獲取的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且通過利用所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像，它們產(chǎn)生了具有比該圖像更高時(shí)間分辨率的圖像。它們通過利用所檢測(cè)的運(yùn)動(dòng)矢量還可減輕在圖像中的運(yùn)動(dòng)對(duì)象中所存在的運(yùn)動(dòng)模糊。
背景技術(shù)：
根據(jù)諸如電視電影轉(zhuǎn)換中的2-3下拉系統(tǒng)這樣的傳統(tǒng)幀速轉(zhuǎn)換系統(tǒng)，周期地執(zhí)行一系列的使影片一個(gè)幀的圖像重復(fù)兩次這樣的處理以及使其重復(fù)三次這樣的處理，以將幀速轉(zhuǎn)換成另一幀速。如公開號(hào)為2002-199349的日本專利申請(qǐng)中所公開的，通過對(duì)于與具有轉(zhuǎn)換前幀速的學(xué)生圖像信號(hào)有關(guān)的特性的每個(gè)分類而言學(xué)習(xí)具有轉(zhuǎn)換后幀速的教師圖像信號(hào)與具有轉(zhuǎn)換前幀速的相應(yīng)學(xué)生圖像信號(hào)之間的關(guān)系，以通過利用由于該學(xué)習(xí)所獲得的預(yù)測(cè)系數(shù)來將具有轉(zhuǎn)換前幀速的圖像信號(hào)轉(zhuǎn)換成具有轉(zhuǎn)換后幀速的圖像信號(hào)，可獲得已實(shí)現(xiàn)了自然運(yùn)動(dòng)的高清晰度時(shí)間分辨率圖像的信號(hào)。
同時(shí)，為了執(zhí)行與這種幀速轉(zhuǎn)換不同的圖像處理，在某些情況下這些不同圖像處理中需要運(yùn)動(dòng)矢量，以便如果為每個(gè)圖像處理對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)并使用該運(yùn)動(dòng)矢量，那么其需要復(fù)雜的結(jié)構(gòu)。此外，如果未對(duì)圖像處理中所使用的運(yùn)動(dòng)矢量進(jìn)行適當(dāng)檢測(cè)，那么該圖像處理將不能獲得諸如已實(shí)現(xiàn)了自然運(yùn)動(dòng)的高清晰度圖像這樣的所期望圖像。

發(fā)明內(nèi)容
鑒于上述，為了通過利用運(yùn)動(dòng)矢量而有效地執(zhí)行圖像處理并且通過該圖像處理而獲得所期望的圖像，本發(fā)明所涉及的用于對(duì)圖像進(jìn)行處理的裝置包括運(yùn)動(dòng)矢量檢測(cè)裝置，用于通過利用由多個(gè)像素所組成的且通過具有時(shí)間積分效果的圖像傳感器所獲取的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建裝置，用于通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的圖像；以及運(yùn)動(dòng)模糊減輕圖像(motion-blurring-mitigated image)產(chǎn)生裝置，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值時(shí)，其中所述每個(gè)像素在對(duì)象運(yùn)動(dòng)時(shí)在其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該運(yùn)動(dòng)模糊減輕圖像產(chǎn)生裝置用于通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
本發(fā)明所涉及的用于對(duì)圖像進(jìn)行處理的方法包括運(yùn)動(dòng)矢量檢測(cè)步驟，用于通過利用由具有時(shí)間積分效果的圖像傳感器所獲取的且由多個(gè)像素所組成的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建步驟，用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟中所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的圖像；以及運(yùn)動(dòng)模糊減輕圖像產(chǎn)生步驟，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值時(shí)，其中所述每個(gè)像素在對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該步驟用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
本發(fā)明所涉及的程序可使計(jì)算機(jī)執(zhí)行下述步驟運(yùn)動(dòng)矢量檢測(cè)步驟，用于通過利用由具有時(shí)間積分效果的圖像傳感器所獲取的且由多個(gè)像素所組成的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建步驟，用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟中所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的圖像；以及運(yùn)動(dòng)模糊減輕圖像產(chǎn)生步驟，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值時(shí)，其中所述每個(gè)像素在對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該步驟用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
在本發(fā)明中，通過利用由多個(gè)像素所組成的且由具有時(shí)間積分效果的圖像傳感器所獲取的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，以便可對(duì)具有高時(shí)間分辨率的圖像的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。通過利用所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像，可產(chǎn)生具有高時(shí)間分辨率的圖像。此外，假定運(yùn)動(dòng)對(duì)象的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值，其中所述每個(gè)像素在對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，通過利用根據(jù)曝光時(shí)間所校正的運(yùn)動(dòng)矢量可減輕運(yùn)動(dòng)對(duì)象中所存在的運(yùn)動(dòng)模糊。此外，通過使運(yùn)動(dòng)模糊已減輕的運(yùn)動(dòng)模糊減輕圖像作為由多個(gè)像素所組成的圖像，可產(chǎn)生具有更高時(shí)間分辨率的圖像。
根據(jù)本發(fā)明，通過利用由多個(gè)像素所組成的且由具有時(shí)間積分效果的圖像傳感器所獲取的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，以便可使用所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像以產(chǎn)生這樣的圖像，該圖像具有比由多個(gè)像素所組成的圖像更高的時(shí)間分辨率。此外，假定圖像中的運(yùn)動(dòng)對(duì)象的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值，其中所述每個(gè)像素在對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，根據(jù)所檢測(cè)的運(yùn)動(dòng)矢量可減輕運(yùn)動(dòng)對(duì)象中所存在的運(yùn)動(dòng)模糊。由此不必在產(chǎn)生具有高時(shí)間分辨率的圖像的處理中以及減輕運(yùn)動(dòng)模糊的處理中分別執(zhí)行單獨(dú)的運(yùn)動(dòng)矢量檢測(cè)，從而使得利用簡(jiǎn)單結(jié)構(gòu)即可產(chǎn)生具有高時(shí)間分辨率的圖像并且減輕運(yùn)動(dòng)模糊。
此外，通過利用運(yùn)動(dòng)模糊已減輕的運(yùn)動(dòng)模糊減輕圖像來產(chǎn)生具有高時(shí)間分辨率的圖像，以便可以抑制具有高時(shí)間分辨率的圖像的運(yùn)動(dòng)模糊。
此外，通過利用其每一個(gè)均是由多個(gè)像素所組成的且由圖像傳感器所獲取的多個(gè)圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且在分配過程中使用這個(gè)所檢測(cè)的運(yùn)動(dòng)矢量，以便可為具有高時(shí)間分辨率的圖像產(chǎn)生運(yùn)動(dòng)矢量，從而適當(dāng)?shù)禺a(chǎn)生具有高時(shí)間分辨率的圖像。此外，根據(jù)曝光時(shí)間對(duì)所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正，以便即使執(zhí)行快門操作等，也可適當(dāng)?shù)販p輕運(yùn)動(dòng)模糊。
此外，通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量，可確定出所要產(chǎn)生的圖像中的目標(biāo)像素的運(yùn)動(dòng)矢量，從圖像傳感器所獲取的圖像中提取與目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素作為類別抽頭(class tap)，并且根據(jù)該類別抽頭的像素值來確定與目標(biāo)像素相對(duì)應(yīng)的一個(gè)類別。此外，假定在具有與圖像傳感器所獲取的圖像相對(duì)應(yīng)的時(shí)間分辨率的第一圖像與具有比第一圖像更高時(shí)間分辨率的第二圖像之間，根據(jù)所確定的類別使用用于從與第二圖像中的目標(biāo)像素相對(duì)應(yīng)的第一圖像的多個(gè)像素中預(yù)測(cè)出目標(biāo)像素的預(yù)測(cè)系數(shù)，從圖像傳感器所獲取的圖像中提取與所要產(chǎn)生的圖像中的目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素，并且通過對(duì)預(yù)測(cè)系數(shù)和預(yù)測(cè)抽頭執(zhí)行一維線性組合而產(chǎn)生與該目標(biāo)像素相對(duì)應(yīng)的一預(yù)測(cè)值，從而產(chǎn)生具有高時(shí)間分辨率的圖像。這可獲得其中已實(shí)現(xiàn)了自然運(yùn)動(dòng)的具有更高時(shí)間分辨率的高清晰度圖像。


圖1給出了本發(fā)明所應(yīng)用的系統(tǒng)的結(jié)構(gòu)方框圖；圖2給出了圖像傳感器所拍攝的圖像的示意圖；圖3A和3B給出了所拍攝的圖像的示意圖；圖4說明性地給出了像素值在時(shí)間方向上的劃分操作的示意圖；圖5給出了用于對(duì)圖像進(jìn)行處理的裝置的結(jié)構(gòu)方框圖；圖6給出了運(yùn)動(dòng)矢量檢測(cè)部分的結(jié)構(gòu)方框圖；圖7給出了運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分的結(jié)構(gòu)方框圖；
圖8給出了區(qū)域標(biāo)識(shí)部分的結(jié)構(gòu)方框圖；圖9給出了從圖像存儲(chǔ)器中讀出的圖像數(shù)據(jù)的示意圖；圖10給出了區(qū)域判斷處理的示意圖；圖11給出了混合比計(jì)算部分的結(jié)構(gòu)方框圖；圖12給出了理想混合比的示意圖；圖13給出了前景/背景分離部分的結(jié)構(gòu)方框圖；圖14給出了運(yùn)動(dòng)模糊調(diào)節(jié)部分的結(jié)構(gòu)方框圖；圖15給出了調(diào)節(jié)處理單元的示意圖；圖16給出了運(yùn)動(dòng)模糊已減輕的像素值的位置示意圖；圖17給出了用于對(duì)圖像進(jìn)行處理的裝置的另一結(jié)構(gòu)示意圖；圖18給出了用于對(duì)圖像進(jìn)行處理的裝置的操作流程圖；圖19給出了運(yùn)動(dòng)模糊減輕圖像的產(chǎn)生處理的流程圖；圖20給出了運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分的另一結(jié)構(gòu)的方框圖；圖21給出了處理區(qū)域的示意圖；圖22A和22B的每一個(gè)均給出了用于對(duì)處理區(qū)域進(jìn)行設(shè)置的一個(gè)示例的示意圖；圖23說明性地給出了處理區(qū)域中的實(shí)際世界變量在時(shí)間方向上的混合的示意圖；圖24A-24C的每一個(gè)均給出了對(duì)象進(jìn)行運(yùn)動(dòng)這樣一個(gè)示例的示意圖；圖25A-25F的每一個(gè)均給出了對(duì)對(duì)象進(jìn)行追蹤的已擴(kuò)展的顯示圖像的示意圖；圖26給出了用于對(duì)圖像進(jìn)行處理的裝置的又一結(jié)構(gòu)的方框圖；圖27給出了空間分辨率創(chuàng)建部分的結(jié)構(gòu)的方框圖；圖28給出了學(xué)習(xí)設(shè)備的結(jié)構(gòu)方框圖；圖29給出了對(duì)空間分辨率創(chuàng)建處理進(jìn)行組合的情況下的操作(前半部分)流程圖；圖30給出了在對(duì)空間分辨率創(chuàng)建處理進(jìn)行組合的情況下的操作(后半部分)流程圖；
圖31給出了用于對(duì)圖像進(jìn)行處理的裝置的又一結(jié)構(gòu)方框圖；圖32給出了運(yùn)動(dòng)矢量檢測(cè)部分的另一結(jié)構(gòu)的方框圖；圖33說明性地給出了運(yùn)動(dòng)矢量分配處理；圖34給出了時(shí)間分辨率創(chuàng)建部分的結(jié)構(gòu)示意圖；圖35A和35B說明性地給出了時(shí)間模式值確定部分的每個(gè)操作；圖36給出了類別像素組的示意圖；圖37說明性地給出了類別值確定處理；圖38給出了時(shí)間分辨率創(chuàng)建處理的流程圖；圖39給出了抽頭中心位置確定處理的流程圖；圖40給出了學(xué)習(xí)設(shè)備的結(jié)構(gòu)方框圖；圖41給出了用于學(xué)習(xí)預(yù)測(cè)系數(shù)的處理流程圖；圖42給出了在對(duì)時(shí)間分辨率創(chuàng)建處理進(jìn)行組合的情況下的操作流程圖；以及圖43給出了可進(jìn)行區(qū)域選擇的情況下的操作流程圖。
具體實(shí)施例方式
下面參考附圖對(duì)本發(fā)明的一個(gè)實(shí)施例進(jìn)行描述。圖1給出了本發(fā)明所應(yīng)用的系統(tǒng)的結(jié)構(gòu)方框圖。由攝像機(jī)等所構(gòu)成的圖像傳感器10對(duì)實(shí)際世界進(jìn)行拍攝，所述圖像傳感器10裝配有是固態(tài)圖像感測(cè)設(shè)備的電荷耦合器件(CCD)區(qū)域傳感器或者CMOS區(qū)域傳感器。例如，如圖2所示，當(dāng)與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf在圖像傳感器10和與背景相對(duì)應(yīng)的對(duì)象OBb之間沿箭頭方向“A”運(yùn)動(dòng)時(shí)，圖像傳感器10對(duì)與背景相對(duì)應(yīng)的對(duì)象OBb以及與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf進(jìn)行拍攝。
該圖像傳感器10是由其每一個(gè)均具有時(shí)間積分效果的多個(gè)檢測(cè)元件構(gòu)成的，并且因此在曝光時(shí)間內(nèi)對(duì)每個(gè)檢測(cè)元件根據(jù)入射光所產(chǎn)生的電荷進(jìn)行積分。也就是說，圖像傳感器10在將入射光轉(zhuǎn)換成電荷的過程中執(zhí)行光電轉(zhuǎn)換，以便以一個(gè)幀周期為單位對(duì)其進(jìn)行積聚。根據(jù)所積聚的電荷量，可產(chǎn)生像素?cái)?shù)據(jù)，并且此后使用這個(gè)像素?cái)?shù)據(jù)以產(chǎn)生具有期望幀速的圖像數(shù)據(jù)DVa，并且將該數(shù)據(jù)提供給用于對(duì)圖像進(jìn)行處理的裝置20。圖像傳感器10進(jìn)一步具有快門功能，以便如果通過根據(jù)快門速度來調(diào)節(jié)曝光時(shí)間而產(chǎn)生了圖像數(shù)據(jù)DVa，那么可向用于處理圖像的裝置20提供曝光時(shí)間參數(shù)HE，該參數(shù)表示曝光時(shí)間。這個(gè)曝光時(shí)間參數(shù)HE以例如“0”至“1.0”的值來表示一個(gè)幀周期中的快門打開時(shí)間，當(dāng)不使用快門功能時(shí)將該值設(shè)置為1.0，并且當(dāng)快門時(shí)間是幀周期的1/2時(shí)將該值設(shè)置為0.5。
用于處理圖像的裝置20提取由于在圖像傳感器10上施加的時(shí)間積分效果而掩藏在圖像數(shù)據(jù)DVa中的重要信息，并且利用這個(gè)重要信息以減輕由于在與運(yùn)動(dòng)前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf上所產(chǎn)生的時(shí)間積分效果所造成的運(yùn)動(dòng)模糊。應(yīng)當(dāng)注意的是，向用于處理圖像的裝置20提供有區(qū)域選擇信息HA，以用于選擇其內(nèi)的運(yùn)動(dòng)模糊已減輕的圖像區(qū)域。
圖3說明性地給出了圖像數(shù)據(jù)DVa所給出的拍攝圖像的示意圖。圖3A給出了通過對(duì)與運(yùn)動(dòng)前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象以及與靜止的背景相對(duì)應(yīng)的對(duì)象OBb進(jìn)行拍攝所獲得的圖像。在這里，假定與前景相對(duì)應(yīng)的對(duì)象OBf在箭頭方向“A”上橫向運(yùn)動(dòng)。
圖3B給出了沿著圖3A中的虛線所示的線L的圖像與時(shí)間之間的關(guān)系。在運(yùn)動(dòng)對(duì)象OBf沿著線L所運(yùn)動(dòng)的長(zhǎng)度例如多達(dá)九個(gè)像素并且其在一個(gè)曝光時(shí)間內(nèi)運(yùn)動(dòng)了多達(dá)五個(gè)像素的情況下，當(dāng)曝光時(shí)間結(jié)束時(shí)，當(dāng)幀周期開始時(shí)其位于像素位置P21的前端以及其位于像素位置P13的后端分別運(yùn)動(dòng)到像素位置P25和P17。此外，如果未使用快門功能，那么一個(gè)幀內(nèi)的曝光時(shí)間與一個(gè)幀周期相等，以便當(dāng)下一幀周期開始時(shí)，其前端和后端分別位于像素位置P26和P18。為了簡(jiǎn)單說明起見，假定除非另有規(guī)定否則不使用快門功能。
因此，在沿著線L的幀周期中，位于像素位置P12之前的部分以及位于像素位置P26之后的部分構(gòu)成了僅是由背景成分所組成的背景區(qū)。此外，位于像素位置P17-P21之間的部分構(gòu)成了僅是由前景成分所組成的前景區(qū)。位于像素位置P13-P16之間的部分以及位于像素位置P22-P25之間的部分各自均構(gòu)成了混合有前景成分和背景成分的混合區(qū)。將混合區(qū)分成隨著時(shí)間的流逝而由前景覆蓋了背景成分的覆蓋背景區(qū)、以及隨著時(shí)間的流逝而呈現(xiàn)出背景成分的未覆蓋背景區(qū)。應(yīng)當(dāng)注意的是，在圖3B中，在前景對(duì)象前進(jìn)的方向上位于前景對(duì)象前端側(cè)上的混合區(qū)是覆蓋背景區(qū)，并且位于其后端側(cè)上的混合區(qū)是未覆蓋背景區(qū)。因此，圖像數(shù)據(jù)DVa包含有這樣的圖像，即該圖像包括一前景區(qū)、一背景區(qū)、一覆蓋背景區(qū)、或者一未覆蓋背景區(qū)。
應(yīng)當(dāng)注意的是，一個(gè)幀在時(shí)間上是很短的，以便在與一前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf是剛性的并且以相同速度運(yùn)動(dòng)的假定之下，如圖4所示，一個(gè)曝光時(shí)間之內(nèi)的像素值受到時(shí)間方向上的劃分，以使其除以虛擬劃分?jǐn)?shù)目而劃分為相等的時(shí)間間隔。
根據(jù)與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象在一個(gè)幀周期中的運(yùn)動(dòng)量v來設(shè)置虛擬劃分?jǐn)?shù)目。例如，如果一個(gè)幀周期中的運(yùn)動(dòng)量v如上所述是五個(gè)像素，那么根據(jù)運(yùn)動(dòng)量v而將虛擬劃分?jǐn)?shù)目設(shè)置為“5”，以將一個(gè)幀周期劃分成五個(gè)相等的時(shí)間間隔。
此外，在一個(gè)幀周期中，假定在對(duì)與背景相對(duì)應(yīng)的對(duì)象OBb進(jìn)行拍攝時(shí)所獲得的像素位置Px的像素值為Bx，并且假定在對(duì)與前景相對(duì)應(yīng)的且沿著線L具有九個(gè)像素長(zhǎng)度的運(yùn)動(dòng)對(duì)象OBf進(jìn)行靜止拍攝時(shí)所獲得的像素的像素值為F09(前端側(cè))至F01(后端側(cè))。
在這種情況下，例如，由等式1給出像素位置P15的像素值DP15DP15＝B15/v+B15/v+F01/v+F02/v+F03/v...(1)這個(gè)像素位置P15包含有兩個(gè)劃分虛擬時(shí)間(幀周期/v)的背景成分以及三個(gè)劃分虛擬時(shí)間的前景成分，從而使背景成分的混合比α是2/5。類似的，例如，像素位置P22包含有一個(gè)劃分虛擬時(shí)間的背景成分以及四個(gè)劃分虛擬時(shí)間的前景成分，從而使混合比α是1/5。
因?yàn)榧俣ㄅc前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象是剛性的并且以相同速度運(yùn)動(dòng)以便可在下一幀向右五個(gè)像素來顯示前景的圖像，因此例如第一劃分虛擬時(shí)間中的像素位置P13的前景成分(F01/v)分別與第二劃分虛擬時(shí)間中的像素位置P14的前景成分、第三劃分虛擬時(shí)間中的像素位置P15的前景成分、第四劃分虛擬時(shí)間中的像素位置P16的前景成分、以及第五劃分虛擬時(shí)間中的像素位置P17的前景成分相同。第一劃分虛擬時(shí)間中的像素位置P14的前景成分(F02/v)至第一劃分虛擬時(shí)間中的像素位置P21的前景成分(F09/v)與前景成分(F01/v)的情況完全相同。
因此，可通過使用等式2中所示出的混合比α來給出每個(gè)像素位置的像素值DP。在等式2中，“FE”表示前景成分的總和。
DP＝α·B+FE...(2)因?yàn)榍熬俺煞诌@樣運(yùn)動(dòng)，因此在一個(gè)幀周期中將不同前景成分彼此相加，以便使與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的前景區(qū)包含有運(yùn)動(dòng)模糊。因此，用于處理圖像的裝置20提取混合比α作為掩藏在圖像數(shù)據(jù)DVa中的重要信息，并且使用該混合比α產(chǎn)生這樣的圖像數(shù)據(jù)DVout，在該圖像數(shù)據(jù)DVout中與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)模糊已減輕。
圖5給出了用于對(duì)圖像進(jìn)行處理的裝置20的結(jié)構(gòu)方框圖。將提供給裝置20的圖像數(shù)據(jù)DVa依次提供給運(yùn)動(dòng)矢量檢測(cè)部分30以及運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。此外，將區(qū)域選擇信息HA和曝光時(shí)間參數(shù)HE提供給運(yùn)動(dòng)矢量檢測(cè)部分30。此外，將隨后所描述的從存儲(chǔ)器55所讀出的圖像數(shù)據(jù)DVm提供給運(yùn)動(dòng)矢量檢測(cè)部分30。運(yùn)動(dòng)矢量檢測(cè)部分30根據(jù)區(qū)域選擇信息HA來順序地提取要受到運(yùn)動(dòng)模糊減輕處理的處理區(qū)域。它還通過利用圖像數(shù)據(jù)DVa或者圖像數(shù)據(jù)DVm的處理區(qū)域中的圖像數(shù)據(jù)來對(duì)與處理區(qū)域中的運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)矢量MVC進(jìn)行檢測(cè)，并且將其提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。例如，它對(duì)與在時(shí)間上連續(xù)出現(xiàn)的至少第一和第二圖像的任何一個(gè)中的運(yùn)動(dòng)對(duì)象的位置相對(duì)應(yīng)的目標(biāo)像素進(jìn)行設(shè)置，以通過利用第一和第二圖像來對(duì)與該目標(biāo)像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。此外，它產(chǎn)生了表示處理區(qū)域的處理區(qū)域信息HZ并且將該信息提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。此外，它根據(jù)前景中對(duì)象的運(yùn)動(dòng)來更新區(qū)域選擇信息HA，以使處理區(qū)域隨著運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)而運(yùn)動(dòng)。
運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40根據(jù)動(dòng)作矢量MV、處理區(qū)域信息HZ、以及圖像數(shù)據(jù)Dva來指定一區(qū)域或者計(jì)算混合比，并且使用所計(jì)算的混合比將前景成分與背景成分彼此相分離。此外，它對(duì)所分離的前景成分的圖像執(zhí)行運(yùn)動(dòng)模糊調(diào)節(jié)以產(chǎn)生前景成分圖像數(shù)據(jù)DBf，該前景成分圖像數(shù)據(jù)DBf是運(yùn)動(dòng)模糊減輕對(duì)象圖像的圖像數(shù)據(jù)。此外，它將基于前景成分圖像數(shù)據(jù)DBf的運(yùn)動(dòng)模糊減輕前景區(qū)圖像組合到基于背景成分圖像數(shù)據(jù)DBb的背景圖像中以產(chǎn)生運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVout。將該圖像數(shù)據(jù)DVout提供給存儲(chǔ)器55以及未示出的圖像顯示裝置。在這種情況下，能夠?qū)⑹沁\(yùn)動(dòng)模糊減輕對(duì)象圖像的前景區(qū)圖像組合到與所檢測(cè)的運(yùn)動(dòng)矢量MVC相對(duì)應(yīng)的空間-時(shí)間位置上，以向沿著運(yùn)動(dòng)對(duì)象軌跡的一位置輸出運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊減輕圖像。也就是說，當(dāng)通過利用在時(shí)間上連續(xù)出現(xiàn)的至少第一和第二圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)時(shí)，將運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊減輕圖像組合到一個(gè)圖像中的與所檢測(cè)的運(yùn)動(dòng)矢量相對(duì)應(yīng)的一目標(biāo)像素的位置上或者組合到與另一圖像中的一目標(biāo)像素相對(duì)應(yīng)的位置上。
圖6給出了運(yùn)動(dòng)矢量檢測(cè)部分30的結(jié)構(gòu)方框圖。將區(qū)域選擇信息HA提供給處理區(qū)域設(shè)置部分31。此外，將圖像數(shù)據(jù)DVa和從存儲(chǔ)器55所讀出的圖像數(shù)據(jù)DVm提供給圖像數(shù)據(jù)檢測(cè)部分32。此外，將曝光時(shí)間參數(shù)HE提供給運(yùn)動(dòng)矢量校正部分34。
處理區(qū)域設(shè)置部分31根據(jù)區(qū)域選擇信息HA順序地提取要受到運(yùn)動(dòng)模糊減輕處理的處理區(qū)域，并且將表示處理區(qū)域的處理區(qū)域信息HZ提供給檢測(cè)部分33和運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。此外，它利用隨后所描述的由檢測(cè)部分33所檢測(cè)的運(yùn)動(dòng)矢量MVO來更新區(qū)域選擇信息HA，從而可按照下述方式來對(duì)運(yùn)動(dòng)模糊已減輕的圖像區(qū)域進(jìn)行追蹤，所述方式是使其滿足運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)。
圖像數(shù)據(jù)選擇部分32將圖像數(shù)據(jù)DVa提供給檢測(cè)部分33，直到能夠通過利用從存儲(chǔ)器55所讀出的圖像數(shù)據(jù)DVm來對(duì)運(yùn)動(dòng)矢量MV進(jìn)行檢測(cè)為止，并且當(dāng)能夠通過利用從存儲(chǔ)器55所讀出的圖像數(shù)據(jù)DVm對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)時(shí)，它將從存儲(chǔ)器55所讀出的圖像數(shù)據(jù)DVm提供給檢測(cè)部分33。
檢測(cè)部分33使用例如塊匹配法、梯度法、相位相關(guān)法、Pel遞歸算法等對(duì)處理區(qū)域信息HZ所表示的處理區(qū)域執(zhí)行運(yùn)動(dòng)矢量檢測(cè)，并且將所檢測(cè)的運(yùn)動(dòng)矢量MV提供給運(yùn)動(dòng)矢量校正部分34?；蛘?，檢測(cè)部分33從多個(gè)時(shí)間方向上的外圍幀的圖像數(shù)據(jù)中檢測(cè)出在區(qū)域選擇信息HA所示區(qū)域中所設(shè)置的追蹤點(diǎn)的外圍，例如檢測(cè)出具有與區(qū)域選擇信息HA所示區(qū)域相同的圖像特征量的區(qū)域(一個(gè)或多個(gè))，從而計(jì)算追蹤點(diǎn)處的運(yùn)動(dòng)矢量MV并且將其提供給處理區(qū)域設(shè)置部分31。
檢測(cè)部分33所輸出的運(yùn)動(dòng)矢量MV包含有與運(yùn)動(dòng)量(標(biāo)準(zhǔn))以及運(yùn)動(dòng)方向(角度)相對(duì)應(yīng)的信息。該運(yùn)動(dòng)量是指這樣的值，該值表示與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的圖像的位置變化。例如，如果與一前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf在緊接著作為參考的某個(gè)幀之后的一幀中在橫向上運(yùn)動(dòng)了move-x并且在縱向上運(yùn)動(dòng)了move-y，那么通過等式3可獲得其運(yùn)動(dòng)量。通過等式4還可獲得其運(yùn)動(dòng)方向。向一個(gè)處理區(qū)域僅提供一對(duì)運(yùn)動(dòng)量和運(yùn)動(dòng)方向。
運(yùn)動(dòng)方向＝tan-1(move-y/move-x)...(4)運(yùn)動(dòng)矢量校正部分34利用曝光時(shí)間參數(shù)HE來對(duì)運(yùn)動(dòng)矢量MV進(jìn)行校正。提供給運(yùn)動(dòng)矢量校正部分34的運(yùn)動(dòng)矢量MV是如上所述的幀間(inter-frame)運(yùn)動(dòng)矢量。然而，利用幀內(nèi)(intra-frame)運(yùn)動(dòng)矢量來對(duì)隨后所描述的運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40所使用的運(yùn)動(dòng)矢量進(jìn)行處理，使得如果當(dāng)因?yàn)槭褂每扉T功能而使一個(gè)幀內(nèi)的曝光時(shí)間比一個(gè)幀周期短時(shí)使用幀間運(yùn)動(dòng)矢量，那么不能正確地執(zhí)行運(yùn)動(dòng)模糊減輕處理。因此，將按照曝光時(shí)間與一個(gè)幀周期的比例所校正的、是幀間運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量MV作為運(yùn)動(dòng)矢量MVC提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。
圖7給出了運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40的結(jié)構(gòu)方框圖。區(qū)域標(biāo)識(shí)部分41產(chǎn)生下述信息(以下簡(jiǎn)稱為“區(qū)域信息”)AR并且將其提供給混合比計(jì)算部分42、前景/背景分離部分43、以及運(yùn)動(dòng)模糊調(diào)節(jié)部分44，其中所述信息表示根據(jù)圖像數(shù)據(jù)DVa所顯示的圖像中的處理區(qū)域信息HZ所示的處理區(qū)域中的每個(gè)像素屬于前景區(qū)、背景區(qū)、以及混合區(qū)中的哪一個(gè)。
混合比計(jì)算部分42根據(jù)圖像數(shù)據(jù)DVa以及從區(qū)域標(biāo)識(shí)部分41提供的區(qū)域信息AR來計(jì)算混合區(qū)中的背景成分的混合比，并且將所計(jì)算的混合比提供給前景/背景分離部分43。
前景/背景分離部分43根據(jù)區(qū)域標(biāo)識(shí)部分41所提供的區(qū)域信息AR以及混合比計(jì)算部分42所提供的混合比α，將圖像數(shù)據(jù)DVa分離成僅由前景成分所組成的前景成分圖像數(shù)據(jù)DBe以及僅由背景成分所組成的背景成分圖像數(shù)據(jù)DBb，并且將前景成分圖像數(shù)據(jù)DBe提供給運(yùn)動(dòng)模糊調(diào)節(jié)部分44。
運(yùn)動(dòng)模糊調(diào)節(jié)部分44根據(jù)運(yùn)動(dòng)矢量MVC所示的運(yùn)動(dòng)量以及區(qū)域信息AR來確定調(diào)節(jié)處理單元，所述調(diào)節(jié)處理單元表示包含在前景成分圖像數(shù)據(jù)DBe之中的至少一個(gè)像素。調(diào)節(jié)處理單元是用于對(duì)要受到運(yùn)動(dòng)模糊減輕處理的一組像素進(jìn)行指定的數(shù)據(jù)。
運(yùn)動(dòng)模糊調(diào)節(jié)部分44根據(jù)前景/背景分離部分43所提供的前景成分圖像、運(yùn)動(dòng)矢量檢測(cè)部分30所提供的運(yùn)動(dòng)矢量MVC和其區(qū)域信息AR、以及調(diào)節(jié)處理單元來減輕包含在前景成分圖像數(shù)據(jù)DBe之中的運(yùn)動(dòng)模糊。它將這個(gè)運(yùn)動(dòng)模糊減輕的前景成分圖像數(shù)據(jù)DBf提供給輸出部分45。
圖8給出了區(qū)域標(biāo)識(shí)部分41的結(jié)構(gòu)方框圖。圖像存儲(chǔ)器411以幀為單位存儲(chǔ)所輸入的圖像數(shù)據(jù)DVa。如果將要處理幀#n，則圖像存儲(chǔ)器411存儲(chǔ)在時(shí)間上出現(xiàn)于幀#n之前兩個(gè)幀的幀#n-2、出現(xiàn)于幀#n之前一個(gè)幀的幀#n-1、幀#n、出現(xiàn)于幀#n之后一個(gè)幀的幀#n+1、以及出現(xiàn)于幀#n之后兩個(gè)幀的幀#n+2。
靜止/運(yùn)動(dòng)判斷部分412從圖像存儲(chǔ)器411中讀取與幀#n的處理區(qū)域信息HZ所指定的區(qū)域相同的區(qū)域中的幀#n-2、#n-1、#n+1、以及#n+2的圖像數(shù)據(jù)，并且計(jì)算所讀出的圖像數(shù)據(jù)項(xiàng)之間的幀間絕對(duì)差值。它根據(jù)這個(gè)幀間絕對(duì)差值是否高于預(yù)置閾值Th來判斷是運(yùn)動(dòng)部分或者靜止部分中的哪一個(gè)，并且將表示該判斷結(jié)果的靜止/運(yùn)動(dòng)判斷信息SM提供給區(qū)域判斷部分413。
圖9給出了從圖像存儲(chǔ)器411所讀取的圖像數(shù)據(jù)。應(yīng)當(dāng)注意的是圖9給出了這樣一種情況，即讀取沿著處理區(qū)域信息HZ所示區(qū)域中的一行的像素位置P01-P37的圖像數(shù)據(jù)。
靜止/運(yùn)動(dòng)判斷部分412獲得兩個(gè)連續(xù)幀的每個(gè)像素的幀間絕對(duì)差值，判斷幀間絕對(duì)差值是否高于預(yù)置閾值Th，并且如果幀間絕對(duì)差值高于閾值Th，那么判定其是“運(yùn)動(dòng)的”，或者如果不高于閾值Th，那么判定其是“靜止的”。
區(qū)域判斷部分413通過利用在靜止/運(yùn)動(dòng)判斷部分412處所獲得的判斷結(jié)果來執(zhí)行圖10所示的區(qū)域判斷處理，以判斷處理區(qū)域信息HZ所標(biāo)識(shí)的區(qū)域的每個(gè)像素是屬于靜止區(qū)、覆蓋背景區(qū)、未覆蓋背景區(qū)、以及運(yùn)動(dòng)區(qū)中的哪一個(gè)。
例如，首先，對(duì)于作為對(duì)幀#n-1和#n的靜止/運(yùn)動(dòng)判斷的結(jié)果而被判定為靜止的像素，判定這種像素是靜止區(qū)的像素。此外，對(duì)于作為對(duì)幀#n和#n+1的靜止/運(yùn)動(dòng)判斷的結(jié)果而被確定為靜止的像素，也判定這種像素是靜止區(qū)的像素。
接下來，對(duì)于作為對(duì)幀#n-2和#n-1的靜止/運(yùn)動(dòng)判斷的結(jié)果而被判定為靜止但是作為對(duì)幀#n-1和#n的靜止/運(yùn)動(dòng)判斷的結(jié)果而被判定為運(yùn)動(dòng)的像素，判定該像素是覆蓋背景區(qū)的像素。此外，對(duì)于作為對(duì)幀#n和#n+1的靜止/運(yùn)動(dòng)判斷的結(jié)果而被判定為運(yùn)動(dòng)但是作為對(duì)幀#n+1和#n+2的靜止/運(yùn)動(dòng)判斷的結(jié)果而被判定為靜止的像素，判定該像素是未覆蓋背景區(qū)的像素。
此后，對(duì)于作為對(duì)幀#n-1和#n的靜止/運(yùn)動(dòng)判斷以及對(duì)幀#n和#n+1的靜止/運(yùn)動(dòng)判斷的結(jié)果而被確定為是運(yùn)動(dòng)的像素，判定這種像素是運(yùn)動(dòng)區(qū)的像素。
應(yīng)當(dāng)注意的是存在這樣一些情況，即，即使背景成不被包含在其之中，位于覆蓋背景區(qū)中的運(yùn)動(dòng)區(qū)側(cè)上或者位于未覆蓋背景區(qū)中的運(yùn)動(dòng)區(qū)側(cè)上的像素也被分別確定為是覆蓋背景區(qū)或者未覆蓋背景區(qū)。例如，作為對(duì)幀#n-2和#n-1的靜止/運(yùn)動(dòng)判斷的結(jié)果而判定圖9中的像素位置P21是靜止的，但是作為對(duì)幀#n-1和#n的靜止/運(yùn)動(dòng)判斷的結(jié)果而判定該像素位置P21是運(yùn)動(dòng)的，并且因此即使背景成分不被包含在其中，也可判定其是覆蓋背景區(qū)。作為對(duì)幀#n和#n+1的靜止/運(yùn)動(dòng)判斷的結(jié)果而判定另一像素位置P17是運(yùn)動(dòng)的，但是作為對(duì)幀#n+1和#n+2的靜止/運(yùn)動(dòng)判斷的結(jié)果而判定該像素位置P17是靜止的，并且因此即使背景成分不被包含在其中，也可判定其是未覆蓋背景區(qū)。因此，將位于覆蓋背景區(qū)中的運(yùn)動(dòng)區(qū)側(cè)上的每個(gè)像素以及位于未覆蓋背景區(qū)中的運(yùn)動(dòng)區(qū)側(cè)上的每個(gè)像素校正成運(yùn)動(dòng)量區(qū)域的像素，可準(zhǔn)確地執(zhí)行對(duì)每個(gè)像素的區(qū)域判斷。通過這樣執(zhí)行區(qū)域判斷，可產(chǎn)生表示每個(gè)像素屬于靜止區(qū)、覆蓋背景區(qū)、未覆蓋背景區(qū)、以及運(yùn)動(dòng)區(qū)中的哪一個(gè)的區(qū)域信息AR，并且將其提供給混合比計(jì)算部分42、前景/背景分離部分43、以及運(yùn)動(dòng)模糊調(diào)節(jié)部分44。
應(yīng)當(dāng)注意的是，區(qū)域標(biāo)識(shí)部分41可采用未覆蓋背景區(qū)的區(qū)域信息與覆蓋背景區(qū)的區(qū)域信息的邏輯和，從而產(chǎn)生混合區(qū)的區(qū)域信息，以便使區(qū)域信息AR可表示每個(gè)像素屬于靜止區(qū)、混合區(qū)、以及運(yùn)動(dòng)區(qū)中的哪一個(gè)。
圖11給出了混合比計(jì)算部分42的結(jié)構(gòu)方框圖。估算混合比處理部分421通過根據(jù)圖像數(shù)據(jù)DVa，對(duì)覆蓋背景區(qū)執(zhí)行操作來計(jì)算每個(gè)像素的估算混合比αc，并且將所計(jì)算的估算混合比αc提供給混合比確定部分423。另一估算混合比處理部分422通過根據(jù)圖像數(shù)據(jù)DVa對(duì)未覆蓋背景區(qū)執(zhí)行操作來計(jì)算每個(gè)像素的估算混合比αu，并且將所計(jì)算的估算混合比αu提供給混合比確定部分423。
混合比確定部分423根據(jù)估算混合比處理部分421、422所分別提供的估算混合比αc和αu以及區(qū)域標(biāo)識(shí)部分41所提供的區(qū)域信息AR來設(shè)置背景成分的混合比α。如果目標(biāo)像素屬于運(yùn)動(dòng)區(qū)，那么混合比確定部分423將混合比α設(shè)置為0(α＝0)。另一方面，如果目標(biāo)像素屬于靜止區(qū)，那么將混合比設(shè)置為1(α＝1)。如果目標(biāo)像素屬于覆蓋背景區(qū)，那么將估算混合比處理部分421所提供的估算混合比αc設(shè)置為混合比α；并且如果目標(biāo)像素屬于未覆蓋背景區(qū)，那么將估算混合比處理部分422所提供的估算混合比αu設(shè)置為混合比α。將這樣設(shè)置的混合比α提供給前景/背景分離部分43。
在這里，如果幀周期很短，并且因此假定與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象是剛性的并且在該幀周期中以相同速度運(yùn)動(dòng)，那么屬于混合區(qū)的像素的混合比α根據(jù)像素位置的變化而線性地變化。在這種情況下，如圖12所示，混合區(qū)中的理想混合比α的梯度θ可被表示為與前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象的幀周期中的運(yùn)動(dòng)量的倒數(shù)。也就是說，混合比α在靜止區(qū)中具有值“1”，在運(yùn)動(dòng)區(qū)中具有值“0”，并且在混合區(qū)中在“0”至“1”的范圍內(nèi)變化。
在幀#n-1中的像素位置P24的像素值是B24的假定之下，可由下列等式5來表示圖9所示的覆蓋背景區(qū)中的像素位置P24的像素值DP24DP24＝3B24/v+F08/v+F09/v=3/v·B24+Σi=0809Fi/v...(5)]]>該像素值DP24包含有3/v的背景成分，以便當(dāng)運(yùn)動(dòng)量v是“5”(v＝5)時(shí)的混合比α是3/5(α＝3/5)。
也就是說，可由下式6來表示覆蓋背景區(qū)中的像素位置Pg的像素值Dgc。應(yīng)當(dāng)注意的是，“Bg”表示幀#n-1中的像素位置Pg的像素值，并且“FEg”表示像素位置Pg處的前景成分的總和。
Dgc＝αc·Bg+FEg ...(6)此外，如果假定具有像素值Dgc的像素位置處的幀#n+1中的像素值是Fg并且該像素位置處的Fg/v的值均彼此相同，則FEg＝(1-αc)Fg。也就是說，可將等式6變成下列等式7Dgc＝αc·Bg+(1-αc)Fg ...(7)可將等式7變成下列等式8αc＝(Dgc-Fg)/(Bg-Fg)...(8)在等式8中，Dgc、Bg、以及Fg是已知的，以便估算混合比處理部分421通過利用幀#n-1、#n、以及#n+1的像素值可獲得覆蓋背景區(qū)中的像素的估算混合比αc。
此外，就未覆蓋背景區(qū)而言，與覆蓋背景區(qū)的情況相類似，如果假定未覆蓋背景區(qū)中的像素值是DPu，那么可獲得下列等式9αu＝(Dgu-Bg)/(Fg-Bg) ...(9)在等式9中，Dgu、Bg、以及Fg是已知的，以便估算混合比處理部分422通過利用幀#n-1、#n、以及#n+1的像素值可獲得未覆蓋背景區(qū)中的像素的估算混合比αu。
如果區(qū)域信息AR表示靜止區(qū)，那么混合比確定部分423將混合比α設(shè)置為1(α＝1)，并且如果其表示運(yùn)動(dòng)區(qū)，那么將該比率設(shè)置為0(α＝0)，然后輸出該比率。此外，如果區(qū)域信息AR表示覆蓋背景區(qū)或者未覆蓋背景區(qū)，那么分別輸出估算混合比處理部分421所計(jì)算的估算混合比αc或者估算混合比處理部分422所計(jì)算的估算混合比αu作為混合比α。
圖13給出了前景/背景分離部分43的結(jié)構(gòu)方框圖。將提供給前景/背景分離部分43的圖像數(shù)據(jù)DVa以及區(qū)域標(biāo)識(shí)部分41所提供的區(qū)域信息AR提供給分離部分431、開關(guān)部分432、以及另一開關(guān)部分433。將混合比計(jì)算部分42所提供的混合比α提供給分離部分431。
根據(jù)區(qū)域信息AR，分離部分431從圖像數(shù)據(jù)DVa中分離出覆蓋背景區(qū)和未覆蓋背景區(qū)中的像素的數(shù)據(jù)。根據(jù)所分離的數(shù)據(jù)以及混合比α，它使已產(chǎn)生運(yùn)動(dòng)的前景對(duì)象與處于靜止的背景成分彼此相分離，以將是前景對(duì)象成分的前景成分提供給合成部分434，并且將背景成分提供給另一合成部分435。
例如，在圖9的幀#n中，像素位置P22-P25屬于覆蓋背景區(qū)，并且如果該像素位置P22-P25分別具有α22-α25，那么在幀#n-1中的像素位置P22的像素值是“B22j”的假定之下，可由下式10來表示像素位置P22的像素值DP22DP22＝B22/v+F06/v+F07/v+F08/v+F09/v＝α22·B22j+F06/v+F07/v+F08/v+F09/v...(10)可由下式11來表示幀#n中的像素位置P22的前景成分FE22
FE22＝F06/v+F07/v+F08/v+F09/v＝DP22-α22·B22j...(11)也就是說，如果假定幀#n-1中的像素位置Pg的像素值是“Bgj”，那么利用下式12可獲得幀#n中的覆蓋背景區(qū)中的像素位置Pg的前景成分FEgcFEgc＝DPg-αc·Bgj ...(12)此外，與覆蓋背景區(qū)中的前景成分FEgc的情況類似，還可獲得未覆蓋背景區(qū)中的前景成分FEgu。
例如，在幀#n中，如果假定幀#n+1中的像素位置P16的像素值是“B16k”，那么可由下式13來表示未覆蓋背景區(qū)中的像素位置P16的像素值DP16DP16＝B16/v+F01/v+F02/v+F03/v+F04/v＝α16·B16k+F01/v+F02/v+F03/v+F04/v ...(13)可由下式14來表示幀#n中的像素位置P16的前景成分FE16FE16＝F01/v+F02/v+F03/v+F04/v＝DP16-α16·B16k ...(14)也就是說，如果假定幀#n+1中的像素位置Pg的像素值是“Bgk”，那么利用下式15可獲得幀#n中的未覆蓋背景區(qū)中的像素位置Pgu的前景成分FEguFEgu＝DPg-αu·Bk ...(15)分離部分431由此通過利用圖像數(shù)據(jù)DVa、區(qū)域標(biāo)識(shí)部分41所產(chǎn)生的區(qū)域信息AR、以及混合比計(jì)算部分所計(jì)算的混合比α可使前景成分與背景成分彼此相分離。
開關(guān)部分432根據(jù)區(qū)域信息AR進(jìn)行開關(guān)控制，從而從圖像數(shù)據(jù)DVa中選擇運(yùn)動(dòng)區(qū)中的一像素的數(shù)據(jù)并且將其提供給合成部分434。開關(guān)部分433根據(jù)區(qū)域信息AR進(jìn)行開關(guān)控制，從而從圖像數(shù)據(jù)DVa中選擇靜止區(qū)中的一像素的數(shù)據(jù)并且將其提供給合成部分435。
合成部分434通過利用分離部分431所提供的前景對(duì)象的成分以及開關(guān)部分432所提供的運(yùn)動(dòng)區(qū)的數(shù)據(jù)來對(duì)前景成分圖像數(shù)據(jù)DBe進(jìn)行合成，并且將其提供給運(yùn)動(dòng)模糊調(diào)節(jié)部分44。此外，在處理中首先執(zhí)行的用以產(chǎn)生前景成分圖像數(shù)據(jù)DBe的初始化過程中，合成部分434將像素值全為0的原始數(shù)據(jù)存儲(chǔ)在內(nèi)置幀存儲(chǔ)器中，并且用圖像數(shù)據(jù)改寫該原始數(shù)據(jù)。因此，與背景區(qū)相對(duì)應(yīng)的部分將是原始數(shù)據(jù)的狀態(tài)。
合成部分435通過利用分離部分431所提供的背景成分以及開關(guān)部分433所提供的靜止區(qū)的數(shù)據(jù)來對(duì)背景成分圖像數(shù)據(jù)DBb進(jìn)行合成并且將其提供給輸出部分45。此外，在處理中首先執(zhí)行的用以產(chǎn)生背景成分圖像數(shù)據(jù)DBb的初始化過程中，合成部分435將像素值全為0的圖像存儲(chǔ)在內(nèi)置幀存儲(chǔ)器中，并且用圖像數(shù)據(jù)改寫該原始數(shù)據(jù)。因此，與前景區(qū)相對(duì)應(yīng)的部分將是原始數(shù)據(jù)的狀態(tài)。
圖14給出了運(yùn)動(dòng)模糊調(diào)節(jié)部分44的結(jié)構(gòu)方框圖。將運(yùn)動(dòng)矢量檢測(cè)部分30所提供的運(yùn)動(dòng)矢量MVC提供給調(diào)節(jié)處理單元確定部分441以及建模部分442。將區(qū)域標(biāo)識(shí)部分41所提供的區(qū)域信息AR提供給調(diào)節(jié)處理單元確定部分441。將前景/背景分離部分43所提供的前景成分圖像數(shù)據(jù)DBe提供給補(bǔ)加部分444。
調(diào)節(jié)處理單元確定部分441根據(jù)區(qū)域信息AR和運(yùn)動(dòng)矢量MVC，將前景成分圖像中的排列在從覆蓋背景區(qū)朝向未覆蓋背景區(qū)的運(yùn)動(dòng)方向上的連續(xù)像素設(shè)置為調(diào)節(jié)處理單元。或者，將排列在從未覆蓋背景區(qū)朝向覆蓋背景區(qū)的運(yùn)動(dòng)方向上的連續(xù)像素設(shè)置為調(diào)節(jié)處理單元。它將表示所設(shè)置的調(diào)節(jié)處理單元的調(diào)節(jié)處理單元信息HC提供給建模部分442以及補(bǔ)加部分444。圖15給出了在例如將圖9的幀#n中的每個(gè)像素位置P13-P25設(shè)置為調(diào)節(jié)處理單元的情況下的調(diào)節(jié)處理單元。值得注意的是，如果運(yùn)動(dòng)方向與橫向或者縱向方向不同，那么通過在調(diào)節(jié)處理單元確定部分441中執(zhí)行仿射變換可將運(yùn)動(dòng)方向改變?yōu)闄M向或者縱向方向，以按照與其是橫向或者縱向之一的情況相同的方式來執(zhí)行處理。
建模部分442根據(jù)運(yùn)動(dòng)矢量MVC以及所設(shè)置的調(diào)節(jié)處理單元信息HC來執(zhí)行建模。在該建模過程中，能夠預(yù)先存儲(chǔ)與包含在調(diào)節(jié)處理單元之中的像素?cái)?shù)目、圖像數(shù)據(jù)DVa在時(shí)間方向上的虛擬劃分?jǐn)?shù)目、以及像素特定的前景成分的數(shù)目相對(duì)應(yīng)的多個(gè)模型，以便根據(jù)調(diào)節(jié)處理單元以及像素值的時(shí)間方向上的虛擬劃分?jǐn)?shù)目來選擇用于指定圖像數(shù)據(jù)Dva與前景成分之間的相關(guān)性的模型MD。
建模部分442將所選擇的模型MD提供給等式產(chǎn)生部分443。等式產(chǎn)生部分443根據(jù)建模部分442所提供的模型MD產(chǎn)生一等式。如上所述，假定調(diào)節(jié)處理單元是幀#n中的像素位置P13-P25、運(yùn)動(dòng)量v是“五個(gè)像素”、并且虛擬劃分?jǐn)?shù)目是“五”，那么可由下式16-28來表示處于調(diào)節(jié)處理單元之內(nèi)的像素位置C01上的前景成分FE01以及各個(gè)像素位置C02-C13上的前景成分FE02-FE13FE01＝F01/v...(16)FE02＝F02/v+F01/v ...(17)FE03＝F03/v+F02/v+F01/v...(18)FE04＝F04/v+F03/v+F02/v+F01/v ...(19)FE05＝F05/v+F04/v+F03/v+F02/v+F01/v...(20)FE06＝F06/v+F05/v+F04/v+F03/v+F02/v...(21)FE07＝F07/v+F06/v+F05/v+F04/v+F03/v...(22)FE08＝F08/v+F07/v+F06/v+F05/v+F04/v...(23)FE09＝F09/v+F08/v+F07/v+F06/v+F05/v...(24)FE10＝F09/v+F08/v+F07/v+F06/v ...(25)FE11＝F09/v+F08/v+F07/v...(26)FE12＝F09/v+F08/v ...(27)FE13＝F09/v...(28)等式產(chǎn)生部分443改變所產(chǎn)生的等式以產(chǎn)生新的等式。等式產(chǎn)生部分443產(chǎn)生了下列等式29-41FE01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v ...(29)FE02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(30)
FE03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(31)FE04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(32)FE05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(33)FE06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v+0·F09/v...(34)FE07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v+0·F09/v...(35)FE08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+0·F09/v...(36)FE09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(37)FE10＝0·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(38)FE11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v+1·F09/v...(39)FE12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v+1·F09/v...(40)FE13＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+1·F09/v...(41)還可在下列等式42中表示這些等式29-41FEj=Σi=0109aij·Fi/v···(42)]]>在等式42中，“j”表示調(diào)節(jié)處理單元中的像素位置。在該示例中，j采用值1-13中的任何一個(gè)。此外，“i”表示前景成分的位置。在該示例中，i采用值1-9中的任何一個(gè)。根據(jù)i和j的值，aij采用值0和1中的任何一個(gè)。
考慮到誤差，等式42可由下列等式43來表示FEj=Σi=0109aij·Fi/v+ej···(43)]]>在等式43中，ej表示包含在目標(biāo)像素Cj之中的誤差?？蓪⒌仁?3改寫成下列等式44ej=FEj-Σi=0109aij·Fi/v···(44)]]>為了應(yīng)用最小平方法，將該誤差的平方和E定義為如下列等式45所給出的E=Σj=0113ej2···(45)]]>為了將誤差降低到最小，使由于用于誤差的平方和E的變量Fk所造成的偏微分值為0，從而可獲得Fk以使其滿足下列等式46∂E∂Fk=2·Σj=0113ej·(∂ej/∂Fk)]]>=2·Σj=0113((FEj-Σi=0109aij·Fi/v)·(-akj/v))=0]]>…(46)在等式46中，運(yùn)動(dòng)量v是固定的，以便可獲得下列等式47Σj=0113akj·(FEj-Σi=009aij·Fi/v)=0···(47)]]>展開等式47并對(duì)其進(jìn)行移項(xiàng)以提供下列等式48Σj=0113(akj·Σi=0109aij·Fi)=v·Σj=0113akj·FEj···(48)]]>通過以整數(shù)1-9中的任何一個(gè)代替其中的k而將等式48擴(kuò)展為九個(gè)等式。接著通過利用一個(gè)矩陣可將所獲得的這九個(gè)等式表示為一個(gè)等式。該等式被稱為標(biāo)準(zhǔn)方程。
下列等式49給出了等式產(chǎn)生部分443根據(jù)最小平方法所產(chǎn)生的標(biāo)準(zhǔn)方程的一個(gè)示例543210000454321000345432100234543210123454321012345432001234543000123454000012345·F01F02F03F04F05F06F07F08F09=v·Σi=0105FEiΣi=0206FEiΣi=0307FEiΣi=0408FEiΣi=0509FEiΣi=0610FEiΣi=0711FEiΣi=0812FEiΣi=0913FEi]]>…(49)如果將這個(gè)等式49表示為A·F＝v·FE，那么處于建模時(shí)間點(diǎn)上的A和v是已知的。此外，通過在補(bǔ)加過程中輸入像素值可得知FE，留下F是未知的。
由此通過利用基于最小平方法的標(biāo)準(zhǔn)方程可計(jì)算前景成分F，因此可消除包含在像素值FE之中的誤差。等式產(chǎn)生部分443將由此所產(chǎn)生的標(biāo)準(zhǔn)方程提供給補(bǔ)加部分444。
根據(jù)調(diào)節(jié)處理單元確定部分441所提供的調(diào)節(jié)處理單元信息HC，補(bǔ)加部分444將前景成分圖像數(shù)據(jù)DBe設(shè)置到等式產(chǎn)生部分443所提供的矩陣中。此外，補(bǔ)加部分444向計(jì)算部分445提供其內(nèi)設(shè)置有圖像數(shù)據(jù)的矩陣。
計(jì)算部分445計(jì)算下述前景成分Fi/V以產(chǎn)生其內(nèi)的運(yùn)動(dòng)模糊已減輕的前景的像素值F01-F09，在所述前景成分中通過根據(jù)諸如消除法(sweeping out)(高斯約旦消除)這樣的求解方法來執(zhí)行處理而減輕了運(yùn)動(dòng)模糊。通過利用調(diào)節(jié)處理單元的中心作為基準(zhǔn)對(duì)像素值F01-F09的圖像位置進(jìn)行設(shè)置，在例如一個(gè)幀周期的半階段時(shí)將由此所產(chǎn)生的這些像素值F01-F09提供給輸出部分45，以便使前景成分圖像位置不會(huì)改變。也就是說，如圖16所示，利用像素值F01-F09作為像素位置C03-C11的圖像數(shù)據(jù)的各個(gè)項(xiàng)，可在一個(gè)幀周期的1/2時(shí)間時(shí)將其內(nèi)的運(yùn)動(dòng)模糊已減輕的前景成分圖像的圖像數(shù)據(jù)DVafc提供給輸出部分45。
應(yīng)當(dāng)注意的是，如果給出了偶數(shù)個(gè)像素值，例如當(dāng)獲得了像素值F01-F08時(shí)，計(jì)算部分445輸出中央的兩個(gè)像素值F04和F05中的任何一個(gè)作為調(diào)節(jié)處理單元的中心。此外，如果因?yàn)閳?zhí)行快門操作而使一個(gè)幀內(nèi)的曝光時(shí)間比一個(gè)幀周期要短，那么在曝光時(shí)間的半階段時(shí)將其提供給輸出部分45。
輸出部分45將運(yùn)動(dòng)模糊調(diào)節(jié)部分44所提供的前景成分圖像數(shù)據(jù)DBf組合到前景/背景分離部分43所提供的背景成分圖像數(shù)據(jù)DBb中以產(chǎn)生圖像數(shù)據(jù)DVout并將其輸出。將因此所產(chǎn)生的圖像數(shù)據(jù)DVout提供給存儲(chǔ)器55。在這種情況下，將其內(nèi)的運(yùn)動(dòng)模糊已減輕的前景成分圖像組合到與運(yùn)動(dòng)矢量檢測(cè)部分30所檢測(cè)的運(yùn)動(dòng)矢量MVC相對(duì)應(yīng)的空間-時(shí)間位置上。也就是說，將運(yùn)動(dòng)模糊已減輕的前景成分圖像組合到處理區(qū)域信息HZ所表示的、根據(jù)運(yùn)動(dòng)矢量MVC所設(shè)置的位置上，可在運(yùn)動(dòng)模糊調(diào)節(jié)之前將所適當(dāng)設(shè)置的運(yùn)動(dòng)模糊已減輕的前景成分圖像輸出到一圖像位置上。
存儲(chǔ)器55存儲(chǔ)輸出部分45所提供的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVout。將存儲(chǔ)在其中的圖像數(shù)據(jù)作為圖像數(shù)據(jù)DVm提供給運(yùn)動(dòng)矢量檢測(cè)部分30。
由此，通過產(chǎn)生圖像中的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊已減輕的運(yùn)動(dòng)模糊減輕圖像，并且通過利用該運(yùn)動(dòng)模糊減輕圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，可通過降低由于下述圖像中存在的運(yùn)動(dòng)模糊所造成的影響來準(zhǔn)確地對(duì)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，其中所述圖像基于圖像傳感器10所提供的圖像數(shù)據(jù)DVa。
此外，在一圖像的處理區(qū)域中，假定在圖像的處理區(qū)域中當(dāng)運(yùn)動(dòng)對(duì)象根據(jù)運(yùn)動(dòng)矢量運(yùn)動(dòng)時(shí)在時(shí)間上對(duì)下述每個(gè)像素的像素值進(jìn)行積分，所述每個(gè)像素中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，則執(zhí)行建模，以提取前景對(duì)象成分與背景對(duì)象成分之間的混合比作為重要信息，從而通過利用該重要信息而使運(yùn)動(dòng)對(duì)象的成分分離，以根據(jù)已分離的運(yùn)動(dòng)對(duì)象的成分來準(zhǔn)確地減輕運(yùn)動(dòng)模糊。
此外，因?yàn)楦鶕?jù)運(yùn)動(dòng)矢量而將其內(nèi)的運(yùn)動(dòng)模糊已減輕的運(yùn)動(dòng)對(duì)象的圖像輸出到目標(biāo)像素的位置或者與該目標(biāo)像素相對(duì)應(yīng)的位置，因此可將運(yùn)動(dòng)對(duì)象的圖像輸出到適當(dāng)位置。
同時(shí)，還可通過利用軟件來減輕運(yùn)動(dòng)模糊。作為用于對(duì)圖像進(jìn)行處理的裝置的另一結(jié)構(gòu)，圖17給出了通過利用軟件來減輕運(yùn)動(dòng)模糊的這樣一種情況。中央處理單元(CPU)61根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM)62或者存儲(chǔ)部分63之中的程序來執(zhí)行各種處理。該存儲(chǔ)部分63是由例如硬盤組成的以存儲(chǔ)CPU61所執(zhí)行的程序以及各類數(shù)據(jù)。隨機(jī)存取存儲(chǔ)器(RAM)64適當(dāng)?shù)卮鎯?chǔ)在對(duì)CPU61所執(zhí)行的程序或者各類數(shù)據(jù)進(jìn)行處理時(shí)所使用的數(shù)據(jù)等。CPU61、ROM62、存儲(chǔ)部分63、以及RAM64通過總線65而彼此相連。
輸入接口部分66、輸出接口部分67、通信部分68、以及驅(qū)動(dòng)器69通過總線65與CPU61相連。諸如鍵盤、指示設(shè)備(例如鼠標(biāo))、或者麥克風(fēng)之類的輸入設(shè)備與輸入接口66相連。另一方面，諸如顯示器或者揚(yáng)聲器這樣的輸出設(shè)備與輸出接口部分67相連。CPU61根據(jù)通過輸入接口部分66所輸入的命令而執(zhí)行各類處理。此后，CPU61通過輸出接口部分67輸出由于該處理所獲得的圖像、語音等等。通信部分68通過互聯(lián)網(wǎng)或者任何其他網(wǎng)絡(luò)與外部設(shè)備進(jìn)行通信。這個(gè)通信部分68用于接收從圖像傳感器10所輸出的圖像數(shù)據(jù)DVa、獲取程序等等。當(dāng)將磁盤、光盤、磁光盤、或者半導(dǎo)體存儲(chǔ)器裝配在驅(qū)動(dòng)器69上時(shí)，驅(qū)動(dòng)器69驅(qū)動(dòng)它以獲取記錄在其上或其內(nèi)的程序或數(shù)據(jù)。根據(jù)需要，將所獲取的程序或數(shù)據(jù)傳送到存儲(chǔ)部分63以將其存儲(chǔ)在其中。
下面參考圖18的流程圖對(duì)用于處理圖像的裝置的操作進(jìn)行描述。在步驟ST1，CPU 61通過輸入部分、通信部分等獲取圖像傳感器10所產(chǎn)生的圖像數(shù)據(jù)DVa，并且可使存儲(chǔ)部分63將所獲取的圖像數(shù)據(jù)DVa存儲(chǔ)在其中。
在步驟ST2，CPU61判斷是否可通過利用運(yùn)動(dòng)模糊減輕圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。如果存儲(chǔ)部分63或RAM64中未存儲(chǔ)有與要對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)所需的幀數(shù)目一樣多的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)，并且因此不能通過利用運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，那么處理轉(zhuǎn)到步驟ST3。如果存儲(chǔ)有與要對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)所需的幀數(shù)目一樣多的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)，并且因此可通過利用所存儲(chǔ)的圖像數(shù)據(jù)來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，那么處理轉(zhuǎn)到步驟ST4。
在步驟ST3，CPU61將在步驟ST1所獲取的圖像數(shù)據(jù)DVa設(shè)置為運(yùn)動(dòng)矢量檢測(cè)數(shù)據(jù)，并且處理轉(zhuǎn)到步驟ST5。另一方面，在步驟ST4，CPU61將所存儲(chǔ)的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVm設(shè)置為運(yùn)動(dòng)矢量檢測(cè)數(shù)據(jù)，并且處理轉(zhuǎn)到步驟ST5。
在步驟ST5，CPU 61按照來自外部的指令對(duì)處理區(qū)域進(jìn)行設(shè)置。
在步驟ST6，CPU 61通過利用運(yùn)動(dòng)矢量檢測(cè)數(shù)據(jù)來對(duì)與在步驟ST5所確定的處理區(qū)域中的前景相對(duì)應(yīng)的運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)。
在步驟ST7，CPU 61獲取曝光時(shí)間參數(shù)，并且處理轉(zhuǎn)到步驟ST8，在步驟ST8中根據(jù)曝光時(shí)間參數(shù)對(duì)在步驟ST6所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正，并且此后處理轉(zhuǎn)到步驟ST9。
在步驟ST9，CPU 61根據(jù)所校正的運(yùn)動(dòng)矢量來執(zhí)行運(yùn)動(dòng)模糊減輕對(duì)象圖像產(chǎn)生處理以便減輕運(yùn)動(dòng)對(duì)象OBf中的運(yùn)動(dòng)模糊，并且產(chǎn)生運(yùn)動(dòng)對(duì)象中的運(yùn)動(dòng)模糊已減輕的圖像數(shù)據(jù)。圖19給出了用于運(yùn)動(dòng)模糊減輕對(duì)象圖像的產(chǎn)生處理的流程圖。
在步驟ST15，CPU61對(duì)在步驟ST5所確定的處理區(qū)域執(zhí)行區(qū)域標(biāo)識(shí)處理，以判斷所確定的處理區(qū)域中的像素屬于背景區(qū)、前景區(qū)、覆蓋背景區(qū)、以及未覆蓋背景區(qū)中的哪一個(gè)，從而產(chǎn)生區(qū)域信息。在區(qū)域信息的產(chǎn)生過程中，如果幀#n受到該處理，那么幀#n-2、#n-1、#n、#n+1、以及#n+2的圖像數(shù)據(jù)用于計(jì)算其幀間絕對(duì)差值。根據(jù)這個(gè)幀間絕對(duì)差值是否大于預(yù)置閾值Th，判斷其是包含在運(yùn)動(dòng)部分還是靜止部分之中，并且根據(jù)該判斷結(jié)果來執(zhí)行區(qū)域判斷，從而產(chǎn)生區(qū)域信息。
在步驟ST16，CPU61通過利用在步驟ST15所產(chǎn)生的區(qū)域信息執(zhí)行混合比計(jì)算處理，以對(duì)處理區(qū)域中的每個(gè)像素計(jì)算表示包含背景成分的比率的混合比α，并且處理轉(zhuǎn)到步驟ST17。在混合比α的計(jì)算過程中，對(duì)于覆蓋背景區(qū)或未覆蓋背景區(qū)中的像素而言，幀#n-1、#n、以及#n+1的像素值用于獲得估算混合比αc。此外，對(duì)于背景區(qū)而言將混合比α設(shè)置為“1”，并且對(duì)于前景區(qū)而言將混合比α設(shè)置為“0”。
在步驟ST17，根據(jù)在步驟ST15所產(chǎn)生的區(qū)域信息以及在步驟ST16所計(jì)算的混合比α，CPU61執(zhí)行前景/背景分離處理，以便使處理區(qū)域中的圖像數(shù)據(jù)分離成僅由前景成分所組成的前景成分圖像數(shù)據(jù)以及僅由背景成分所組成的背景成分圖像數(shù)據(jù)。也就是說，它通過對(duì)幀#n中的覆蓋背景區(qū)執(zhí)行上述等式12的操作并且對(duì)其中的未覆蓋背景區(qū)執(zhí)行上述等式15的操作，可獲得前景成分，以使圖像數(shù)據(jù)分離成前景成分圖像數(shù)據(jù)以及僅由背景成分所組成的背景成分圖像數(shù)據(jù)。
在步驟ST18，CPU61根據(jù)在步驟ST8所獲得的校正后運(yùn)動(dòng)矢量以及在步驟ST15所產(chǎn)生的區(qū)域信息來執(zhí)行運(yùn)動(dòng)模糊調(diào)節(jié)處理，以確定表示包含在前景成分圖像數(shù)據(jù)之中的至少一個(gè)像素的調(diào)節(jié)處理單元，從而減輕包含在步驟ST17所分離的前景成分圖像數(shù)據(jù)之中的運(yùn)動(dòng)模糊。也就是說，它根據(jù)運(yùn)動(dòng)矢量MVC、處理區(qū)域信息HZ、以及區(qū)域信息AR來設(shè)置調(diào)節(jié)處理單元，并且根據(jù)運(yùn)動(dòng)矢量MVC、以及所設(shè)置的調(diào)節(jié)處理單元來執(zhí)行建模以產(chǎn)生標(biāo)準(zhǔn)方程。它將圖像數(shù)據(jù)設(shè)置到所產(chǎn)生的標(biāo)準(zhǔn)方程，并且根據(jù)消除法(高斯-約旦消除法)在其上執(zhí)行處理以產(chǎn)生運(yùn)動(dòng)模糊減輕對(duì)象圖像的圖像數(shù)據(jù)，也就是說產(chǎn)生運(yùn)動(dòng)模糊已減輕的前景成分圖像數(shù)據(jù)。
在步驟ST10，CPU61對(duì)下述處理的結(jié)果執(zhí)行輸出處理以產(chǎn)生并輸出作為該處理結(jié)果的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVout，所述處理是由于在步驟ST17所分離的背景成分圖像數(shù)據(jù)而對(duì)一圖像執(zhí)行將在步驟ST18所產(chǎn)生的運(yùn)動(dòng)模糊減輕前景成分圖像數(shù)據(jù)組合到與在步驟ST8所獲得的運(yùn)動(dòng)矢量相對(duì)應(yīng)的空間-時(shí)間位置中。
在步驟ST11，CPU61判斷運(yùn)動(dòng)模糊減輕處理是否應(yīng)當(dāng)結(jié)束。在這種情況下，如果要對(duì)下一幀的圖像執(zhí)行運(yùn)動(dòng)模糊減輕處理，那么處理回到步驟ST2，并且如果不執(zhí)行運(yùn)動(dòng)模糊減輕處理，那么該處理結(jié)束。由此還可通過利用軟件來執(zhí)行運(yùn)動(dòng)模糊減輕處理。
雖然上述實(shí)施例已經(jīng)獲得了其運(yùn)動(dòng)模糊將要被減輕的對(duì)象的運(yùn)動(dòng)矢量，并且將包含有其運(yùn)動(dòng)模糊將要被減輕的對(duì)象的處理區(qū)域分離成靜止區(qū)、運(yùn)動(dòng)區(qū)、混合區(qū)等，以通過利用運(yùn)動(dòng)區(qū)和混合區(qū)的圖像數(shù)據(jù)來執(zhí)行運(yùn)動(dòng)模糊減輕處理，但是無需對(duì)前景、背景、以及混合區(qū)進(jìn)行標(biāo)識(shí)即可通過獲得每個(gè)像素的運(yùn)動(dòng)矢量執(zhí)行運(yùn)動(dòng)模糊減輕處理而減輕運(yùn)動(dòng)模糊。
在這種情況下，運(yùn)動(dòng)矢量檢測(cè)部分30可獲得目標(biāo)像素的運(yùn)動(dòng)矢量并且將其提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。此外，它將表示目標(biāo)像素的像素位置的處理區(qū)域信息HD提供給輸出部分。
圖20給出了無需對(duì)前景、背景、以及混合區(qū)進(jìn)行標(biāo)識(shí)即可減輕運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分的結(jié)構(gòu)。運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40a中的處理區(qū)域設(shè)置部分48按照下述方式對(duì)其運(yùn)動(dòng)模糊將要被減輕的圖像上的目標(biāo)像素設(shè)置處理區(qū)域，所述方式是使這個(gè)處理區(qū)域與該目標(biāo)像素的運(yùn)動(dòng)矢量的運(yùn)動(dòng)方向?qū)R，并且此后處理區(qū)域設(shè)置部分48將其通知給計(jì)算部分49。此外，它將目標(biāo)像素的位置提供給輸出部分45a。圖21給出了這樣一個(gè)處理區(qū)域，該處理區(qū)域被設(shè)置成以目標(biāo)像素為中心在運(yùn)動(dòng)方向上具有(2N+1)個(gè)像素。圖22給出了對(duì)處理區(qū)域進(jìn)行設(shè)置的示例；如果相對(duì)于其運(yùn)動(dòng)模糊將要被減輕的運(yùn)動(dòng)對(duì)象OBf的像素而言運(yùn)動(dòng)矢量例如如箭頭B所示橫向延伸，那么如圖22A所示將處理區(qū)域WA設(shè)置成橫向。另一方面，如果運(yùn)動(dòng)矢量?jī)A斜延伸，那么如圖22B所示將處理區(qū)域WA設(shè)置成適當(dāng)角度的方向。然而，為了傾斜地設(shè)置處理區(qū)域，必須通過插值法等獲得與處理區(qū)域的像素位置相對(duì)應(yīng)的像素值。
在這種情況下，在處理區(qū)域中，如圖23所示，實(shí)際世界變量(Y-8，...，Y0，...，Y8)按照時(shí)間順序(time-wise)混合。應(yīng)當(dāng)注意的是圖23給出了這樣一種情況，其中將運(yùn)動(dòng)量v設(shè)置成5(v＝5)，并且處理區(qū)域包括13個(gè)像素(N＝6，其中N是用于目標(biāo)像素的處理寬度的像素?cái)?shù)目)。
計(jì)算部分49對(duì)該處理區(qū)域執(zhí)行實(shí)際世界估算，以僅輸出所估算的實(shí)際世界的中心像素變量Y0作為其運(yùn)動(dòng)模糊已消除的目標(biāo)像素的像素值。
在這里假定處理區(qū)域中的像素的像素值是X-N，X-N+1，...，X0，...，XN-1，XN，那么可建立諸如等式50所示的(2N+1)個(gè)混合等式。在該等式中，常數(shù)h表示通過使運(yùn)動(dòng)量乘以(1/2)所獲得的整數(shù)部分的值(其小數(shù)位被舍去)。
Σi=t-ht+h(Yi/v)=Xt···(50)]]>(t＝-N，··，0，··，N)然而，將要獲得的有(2N+v)個(gè)實(shí)際世界變量(Y-N-h，Y0，YN+ h)。也就是說，等式數(shù)目小于變量數(shù)目，從而使得根據(jù)等式50不可能獲得實(shí)際世界變量(Y-N-h，Y0，YN+h)。
因此，通過利用下列等式51而使等式數(shù)目增加以大于實(shí)際世界變量的數(shù)目，利用最小平方法可獲得實(shí)際世界變量的值，其中所述等式51是使用空間相關(guān)的約束方程。
Yt-Yt+1＝0 ...(51)(t＝-N-h，...，0，...，N+h-1)也就是說，通過利用下述總共(4N+v)個(gè)等式可獲得(2N+v)個(gè)未知的實(shí)際世界變量(Y-N-h，...，Y0，...，YN+h)，上述等式是通過將等式50所表示的(2n+1)個(gè)混合等式與等式51所表示的(2N+V-1)個(gè)約束方程累加在一起所獲得的。
應(yīng)當(dāng)注意的是通過按照使這些等式中所存在的誤差的平方和最小化這樣的方式來執(zhí)行估算，當(dāng)執(zhí)行運(yùn)動(dòng)模糊減輕圖像產(chǎn)生處理時(shí)可抑制實(shí)際世界中的像素值的波動(dòng)。
下列等式52表示如圖23所示對(duì)處理區(qū)域進(jìn)行設(shè)置這樣一種情況，其中將等式中所存在的誤差添加到各個(gè)等式50和51上。
...(52)可將等式52變成等式53，以便獲得如等式55所示的Y(＝Y(jié)i)，該Y可使等式54所給出的誤差的平方和E最小。在等式55中，T表示轉(zhuǎn)置矩陣。
AY＝X+e ...(53)E＝|e|2＝∑emi2+∑ebi2...(54)Y＝(ATA)-1ATX...(55)
應(yīng)當(dāng)注意的是，誤差的平方和例如是由等式56給出的，以便通過對(duì)誤差的平方和進(jìn)行偏微分，使得偏微分值可以是如等式57所給出的0，因此可獲得使誤差的平方和最小化的等式55。
E＝(A·Y-×)T(A·Y-X)＝Y(jié)T·AT·A·Y-2·YT·AT·X+XT·X...(56)∂E∂Y=2(AT·A·Y-AT·X)=0···(57)]]>對(duì)等式55執(zhí)行線性組合，可分別獲得實(shí)際世界變量(Y-N-h，...，Y0，...，YN+h)，以輸出中心像素變量Y0的像素值作為目標(biāo)像素的像素值。例如，計(jì)算部分49存儲(chǔ)預(yù)先為每個(gè)運(yùn)動(dòng)量所獲得的矩陣(ATA)-1AT，并且根據(jù)與該運(yùn)動(dòng)量相對(duì)應(yīng)的矩陣以及處理區(qū)域中的像素的像素值而將中心像素變量Y0的像素值輸出作為目標(biāo)值。對(duì)處理區(qū)域中的所有像素執(zhí)行這種處理，可獲得用戶所指定的整個(gè)屏幕或整個(gè)區(qū)域的、其每一個(gè)之內(nèi)的運(yùn)動(dòng)模糊已減輕的實(shí)際世界變量。
雖然上述實(shí)施例通過按照使AY＝X+e中的誤差的平方和E最小化這樣的方式使用最小平方法而獲得了實(shí)際世界變量(Y-N-h，...，Y0，...，YN+h)，但是可給出下列等式58以便使等式數(shù)目等于變量數(shù)目。通過將這個(gè)等式表示為AY＝X并且將其改成Y＝A-1X，可獲得實(shí)際世界變量(Y-N-h，...，Y0，...，YN+h)。
1/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v00000000000001/v1/v1/v1/v1/v1-100000000000000001-100000000000000001-100000000000000001-1000000000000Y-8Y-7Y-6Y-5Y-4Y-3Y-2Y-1Y0Y1Y2Y3Y4Y5Y6Y7Y8=X-6X-5X-4X-3X-2X-1X0X1X2X3X4X5X60000]]>...(58)輸出部分45a將計(jì)算部分49所獲得的中心像素變量Y0的像素值帶入在處理區(qū)域信息HZ所示的區(qū)域中所設(shè)置的、由運(yùn)動(dòng)矢量檢測(cè)部分30所提供的目標(biāo)像素的像素值。此外，如果因?yàn)楸硎境隽吮尘皡^(qū)或者混合區(qū)而不能獲得中心像素變量Y0，那么在執(zhí)行運(yùn)動(dòng)模糊減輕圖像的產(chǎn)生處理之前的目標(biāo)像素的像素值用于產(chǎn)生圖像數(shù)據(jù)DVout。
按照這種方式，即使對(duì)每個(gè)像素來說運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)彼此不同，也可通過利用與目標(biāo)像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量來估算實(shí)際世界，因此可執(zhí)行準(zhǔn)確的運(yùn)動(dòng)模糊減輕圖像產(chǎn)生處理。例如，即使假定運(yùn)動(dòng)對(duì)象是剛性的，也可減輕運(yùn)動(dòng)對(duì)象的圖像的運(yùn)動(dòng)模糊。
同時(shí)，在上述實(shí)施例中，減輕運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)模糊以顯示其圖像，以便如圖24所示即使當(dāng)運(yùn)動(dòng)對(duì)象OBf按照?qǐng)D24A、24B、以及24C的順序運(yùn)動(dòng)時(shí)，也可在對(duì)其進(jìn)行追蹤時(shí)減輕運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)模糊，因此可顯示其內(nèi)的運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)模糊已減輕的良好圖像。然而或者，通過對(duì)圖像的顯示位置進(jìn)行控制以便根據(jù)運(yùn)動(dòng)對(duì)象OBf使運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)模糊減輕圖像位于屏幕的預(yù)定位置上，可對(duì)該圖像進(jìn)行顯示以便對(duì)運(yùn)動(dòng)對(duì)象OBf進(jìn)行追蹤。
在這種情況下，運(yùn)動(dòng)矢量檢測(cè)部分30根據(jù)運(yùn)動(dòng)矢量MV使在區(qū)域選擇信息HA所示區(qū)域中所設(shè)置的追蹤點(diǎn)運(yùn)動(dòng)，以將表示這個(gè)運(yùn)動(dòng)之后的追蹤點(diǎn)的坐標(biāo)信息HG提供給輸出部分45。輸出部分45產(chǎn)生圖像數(shù)據(jù)DVout以便使坐標(biāo)信息HG所示的追蹤點(diǎn)位于屏幕的預(yù)定位置上。由此可對(duì)圖像進(jìn)行顯示，就好象對(duì)運(yùn)動(dòng)對(duì)象OBf正進(jìn)行追蹤一樣。
此外，即使運(yùn)動(dòng)對(duì)象OBf如圖25A-25C所示運(yùn)動(dòng)，也可當(dāng)如圖25D-25F所示對(duì)運(yùn)動(dòng)對(duì)象OBf進(jìn)行追蹤時(shí)，根據(jù)作為在區(qū)域選擇信息HA所示區(qū)域中所設(shè)置的追蹤點(diǎn)這樣的運(yùn)動(dòng)對(duì)象OBf而利用運(yùn)動(dòng)模糊減輕圖像數(shù)據(jù)DVout產(chǎn)生擴(kuò)展圖像，并且按照使追蹤點(diǎn)位于屏幕上的預(yù)定位置這樣的方式來對(duì)其進(jìn)行顯示，可輸出運(yùn)動(dòng)對(duì)象OBf的擴(kuò)展圖像。在這種情況下，因?yàn)閷?duì)運(yùn)動(dòng)對(duì)象OBf的擴(kuò)展圖像進(jìn)行顯示以直至該圖像的圖像幀的大小，因此即使顯示圖像運(yùn)動(dòng)以便使追蹤點(diǎn)位于屏幕的預(yù)定位置上，也可防止在屏幕上出現(xiàn)未顯示部分。此外，在擴(kuò)展圖像產(chǎn)生過程中，通過使其內(nèi)的運(yùn)動(dòng)模糊已減輕的像素的像素值重復(fù)可產(chǎn)生擴(kuò)展圖像。例如，通過使每個(gè)像素值重復(fù)兩次，可產(chǎn)生其縱向和橫向尺寸加倍的擴(kuò)展圖像。此外，通過使用相鄰像素的平均值等作為新的像素值，可在相鄰像素之間放置新的像素以產(chǎn)生擴(kuò)展圖像。此外，通過利用運(yùn)動(dòng)模糊減輕圖像創(chuàng)建空間分辨率，可輸出運(yùn)動(dòng)模糊更小的高清晰度擴(kuò)展圖像。下面對(duì)執(zhí)行空間分辨率創(chuàng)建以產(chǎn)生擴(kuò)展圖像這樣一種情況進(jìn)行描述。
圖26給出了用于對(duì)圖像進(jìn)行處理的裝置的另一結(jié)構(gòu)，通過此裝置可執(zhí)行空間分辨率創(chuàng)建以允許輸出擴(kuò)展圖像。應(yīng)該注意的是，在圖26中與圖5中的部件相對(duì)應(yīng)的相似部件是由相似符號(hào)來表示的，并省略對(duì)其的詳細(xì)說明。
將運(yùn)動(dòng)矢量檢測(cè)部分30所產(chǎn)生的坐標(biāo)信息HG提供給空間分辨率創(chuàng)建部分70。此外，還將運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40所輸出的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVout提供給空間分辨率創(chuàng)建部分70。
圖27給出了空間分辨率創(chuàng)建部分的結(jié)構(gòu)。將運(yùn)動(dòng)模糊減輕圖像數(shù)據(jù)DVout提供給空間分辨率創(chuàng)建部分70。
空間分辨率創(chuàng)建部分70包括類別分類部分71，用于對(duì)圖像數(shù)據(jù)DVout的目標(biāo)像素進(jìn)行分類；預(yù)測(cè)系數(shù)存儲(chǔ)器72，用于輸出與類別分類部分71的分類結(jié)果相對(duì)應(yīng)的預(yù)測(cè)系數(shù)；預(yù)測(cè)計(jì)算部分73，用于通過利用預(yù)測(cè)系數(shù)存儲(chǔ)器72所輸出的預(yù)測(cè)系數(shù)以及圖像數(shù)據(jù)DVout來執(zhí)行預(yù)測(cè)計(jì)算而產(chǎn)生插值像素?cái)?shù)據(jù)DH；以及擴(kuò)展圖像輸出部分74，用于根據(jù)運(yùn)動(dòng)矢量檢測(cè)部分30所提供的坐標(biāo)信息HG而讀取與顯示像素一樣多的對(duì)象OBj的圖像并且輸出擴(kuò)展圖像的圖像數(shù)據(jù)DVz。
將圖像數(shù)據(jù)DVout提供給類別分類部分71中的類別像素組剪切部分711、預(yù)測(cè)計(jì)算部分73中的預(yù)測(cè)像素組剪切部分731、以及擴(kuò)展圖像輸出部分74。類別像素組剪切部分711剪切掉為了表示運(yùn)動(dòng)程度而進(jìn)行類別分類(運(yùn)動(dòng)類別)所必需的像素。將類別像素組剪切部分711所剪切的像素組提供給類別值確定部分712。類別值確定部分712計(jì)算與類別像素組剪切部分711所剪切的像素組的像素?cái)?shù)據(jù)有關(guān)的幀間差，并且例如通過對(duì)這些均值與多個(gè)預(yù)置閾值進(jìn)行比較而對(duì)這些幀間差的絕對(duì)均值進(jìn)行分類，從而確定類別值CL。
預(yù)測(cè)系數(shù)存儲(chǔ)器72將預(yù)測(cè)系數(shù)存儲(chǔ)在其中，并且將與類別分類部分71所確定的類別值CL相對(duì)應(yīng)的預(yù)測(cè)系數(shù)KE提供給預(yù)測(cè)計(jì)算部分73。
預(yù)測(cè)計(jì)算部分73中的預(yù)測(cè)像素組剪切部分731剪切掉圖像數(shù)據(jù)DVout當(dāng)中的在預(yù)測(cè)計(jì)算中所使用的像素?cái)?shù)據(jù)(即預(yù)測(cè)抽頭)TP，并且將其提供給計(jì)算處理部分732。計(jì)算處理部分732通過利用預(yù)測(cè)系數(shù)存儲(chǔ)器72所提供的預(yù)測(cè)系數(shù)KE以及預(yù)測(cè)抽頭TP來執(zhí)行一維線性操作，從而計(jì)算與目標(biāo)像素相對(duì)應(yīng)的插值像素?cái)?shù)據(jù)DH，并且將其提供給擴(kuò)展圖像輸出部分74。
擴(kuò)展圖像輸出部分74通過從圖像數(shù)據(jù)Dvout和插值像素?cái)?shù)據(jù)DH中讀取與顯示尺寸一樣多的像素?cái)?shù)據(jù)而產(chǎn)生擴(kuò)展圖像的圖像數(shù)據(jù)DVz并將其輸出，以便使基于坐標(biāo)信息HG的位置可位于屏幕的預(yù)定位置上。
通過這樣產(chǎn)生擴(kuò)展圖像并且利用所產(chǎn)生的插值像素?cái)?shù)據(jù)DH以及圖像數(shù)據(jù)DVout，可輸出其中運(yùn)動(dòng)模糊已減輕的擴(kuò)展高質(zhì)量圖像。例如，通過產(chǎn)生插值像素?cái)?shù)據(jù)DH并且使橫向和縱向像素?cái)?shù)目加倍，可輸出這樣的其運(yùn)動(dòng)模糊已減輕的高質(zhì)量圖像以便使運(yùn)動(dòng)對(duì)象OBf的縱向和橫向加倍。
應(yīng)當(dāng)注意的是可以通過利用圖28所示的學(xué)習(xí)設(shè)備來創(chuàng)建存儲(chǔ)在預(yù)測(cè)系數(shù)存儲(chǔ)器72中的預(yù)測(cè)系數(shù)。還應(yīng)當(dāng)注意的是在圖28中與圖27中的部件相對(duì)應(yīng)的相似部件是由相似符號(hào)來表示的。
學(xué)習(xí)設(shè)備75包括類別分類部分71、預(yù)測(cè)系數(shù)存儲(chǔ)器72、以及系數(shù)計(jì)算部分76。向類別分類部分71和系數(shù)計(jì)算部分76的每一個(gè)提供通過降低教師圖像的像素?cái)?shù)目所產(chǎn)生的學(xué)生圖像的圖像數(shù)據(jù)GS。
類別分類部分71通過利用類別像素組剪切部分711從學(xué)生圖像的圖像數(shù)據(jù)GS中剪切掉為類別分類所必需的像素，并且通過利用這個(gè)組的像素?cái)?shù)據(jù)來對(duì)所剪切的像素組進(jìn)行分類，從而確定其類別值。
系數(shù)計(jì)算部分76中的學(xué)生像素組剪切部分761從學(xué)生圖像的圖像數(shù)據(jù)GS中剪切掉在計(jì)算預(yù)測(cè)系數(shù)過程中所使用的像素?cái)?shù)據(jù)，并且將其提供給預(yù)測(cè)系數(shù)學(xué)習(xí)部分762。
預(yù)測(cè)系數(shù)學(xué)習(xí)部分762通過利用教師圖像的圖像數(shù)據(jù)GT、來自學(xué)生像素組剪切部分761的圖像數(shù)據(jù)、以及預(yù)測(cè)系數(shù)而為由類別分類部分71所提供的類別值所示的每個(gè)類別產(chǎn)生一標(biāo)準(zhǔn)方程。此外，它通過利用諸如消除法這樣的一般矩陣解法而按照預(yù)測(cè)系數(shù)來對(duì)標(biāo)準(zhǔn)方程進(jìn)行求解，并且將所獲得的系數(shù)存儲(chǔ)在預(yù)測(cè)系數(shù)存儲(chǔ)器72中。
圖29和30均給出了對(duì)空間分辨率創(chuàng)建處理進(jìn)行組合這樣一種情況的操作流程圖。
在步驟ST21，CPU61獲取圖像數(shù)據(jù)DVa，并且處理轉(zhuǎn)到步驟ST22。
在步驟ST22，CPU61對(duì)處理區(qū)域進(jìn)行設(shè)置，并且處理轉(zhuǎn)到步驟ST23。
在步驟ST23，CPU61將變量i設(shè)置為0(i＝0)，并且處理轉(zhuǎn)到步驟ST24。
在步驟ST24，CPU61判斷變量i是否不等于0(i≠0)。如果不是i≠0，那么處理轉(zhuǎn)到步驟ST25，并且如果i≠0，那么處理轉(zhuǎn)到步驟ST29。
在步驟ST25，CPU61對(duì)與在步驟ST22所設(shè)置的處理區(qū)域有關(guān)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且處理轉(zhuǎn)到步驟ST26。
在步驟ST26，CPU61獲取曝光時(shí)間參數(shù)，并且處理轉(zhuǎn)到步驟ST27，在該步驟中根據(jù)曝光時(shí)間參數(shù)對(duì)在步驟ST25所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正，并且處理轉(zhuǎn)到步驟ST28。
在步驟ST28，CPU61通過利用校正后運(yùn)動(dòng)矢量以及圖像數(shù)據(jù)DVa來執(zhí)行圖19所示的運(yùn)動(dòng)模糊減輕對(duì)象圖像產(chǎn)生處理，以產(chǎn)生運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊減輕圖像，并且處理轉(zhuǎn)到步驟ST33。
在步驟ST33，CPU61對(duì)該處理結(jié)果執(zhí)行存儲(chǔ)處理，并且與圖18的步驟ST10相類似，在與在步驟ST27所獲得的運(yùn)動(dòng)矢量相對(duì)應(yīng)的時(shí)間-空間位置處將運(yùn)動(dòng)模糊減輕前景圖像的圖像數(shù)據(jù)組合到背景成分?jǐn)?shù)據(jù)中，從而作為該處理的結(jié)果而產(chǎn)生圖像數(shù)據(jù)DVout。此外，它將圖像數(shù)據(jù)Dvout作為處理結(jié)果存儲(chǔ)在存儲(chǔ)部分63或RAM64中，并且處理轉(zhuǎn)到步驟ST34。
在步驟ST34，CPU61根據(jù)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)而使處理區(qū)域運(yùn)動(dòng)以對(duì)追蹤后處理區(qū)域進(jìn)行設(shè)置，并且處理轉(zhuǎn)到步驟ST35。在追蹤后處理區(qū)域的設(shè)置過程中，例如，檢測(cè)并使用運(yùn)動(dòng)對(duì)象OBf的運(yùn)動(dòng)矢量MV?；蛘?，使用在步驟ST25或ST29所檢測(cè)的運(yùn)動(dòng)矢量。
在步驟ST35，CPU61將變量i設(shè)置為i+1(i＝i+1)，并且處理轉(zhuǎn)到步驟ST36。
在步驟ST36，CPU61判斷是否存儲(chǔ)了與所檢測(cè)的運(yùn)動(dòng)矢量一樣多的處理結(jié)果。如果在該步驟判定未存儲(chǔ)有與用于允許對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)的幀數(shù)目一樣多的運(yùn)動(dòng)模糊減輕圖像數(shù)據(jù)Dvout，那么處理回到步驟ST24。
如果處理從步驟ST36回到步驟ST24以使CPU61執(zhí)行其處理，那么變量i不等于0(i≠0)以致于處理轉(zhuǎn)到步驟ST29，在該步驟中對(duì)與在步驟ST34所設(shè)置的追蹤后處理區(qū)域有關(guān)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)并且處理轉(zhuǎn)到步驟ST30。
在步驟ST30-ST32，CPU61執(zhí)行與在步驟ST26-ST28所執(zhí)行的處理相同的處理，并且處理轉(zhuǎn)到步驟ST33。CPU61重復(fù)從步驟ST33開始的處理，直到在步驟ST36判定存儲(chǔ)了與所檢測(cè)的運(yùn)動(dòng)矢量一樣多的處理結(jié)果為止，因此處理從圖30的步驟ST36轉(zhuǎn)到步驟ST37。
在步驟ST37，CPU61將變量i設(shè)置為0(i＝0)，并且處理轉(zhuǎn)到步驟ST38。
在步驟ST38，PU21判斷i是否不等于0(i≠0)，并且如果不是i≠0，那么處理轉(zhuǎn)到步驟ST39，并且如果i≠0，那么處理轉(zhuǎn)到步驟43。
在步驟ST39，CPU61通過利用所存儲(chǔ)的處理結(jié)果來對(duì)與在步驟ST22所設(shè)置的處理區(qū)域有關(guān)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且處理轉(zhuǎn)到步驟ST40。
在步驟ST40，CPU61獲取曝光時(shí)間參數(shù)，并且處理轉(zhuǎn)到步驟ST41，在該步驟中根據(jù)曝光時(shí)間參數(shù)對(duì)在步驟ST39所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正，并且處理轉(zhuǎn)到步驟ST42。
在步驟ST42，CPU61通過利用校正后運(yùn)動(dòng)矢量以及圖像數(shù)據(jù)DVa來執(zhí)行運(yùn)動(dòng)模糊減輕對(duì)象圖像產(chǎn)生處理，以產(chǎn)生其中運(yùn)動(dòng)模糊已減輕的運(yùn)動(dòng)對(duì)象的圖像，并且處理轉(zhuǎn)到步驟ST47。
在步驟ST47，與步驟ST33相類似，CPU61輸出該處理結(jié)果并且對(duì)其進(jìn)行存儲(chǔ)，以產(chǎn)生作為處理結(jié)果的圖像數(shù)據(jù)DVout，并且將其輸出。此外，它將所產(chǎn)生的圖像數(shù)據(jù)DVout存儲(chǔ)在存儲(chǔ)部分63或RAM64中。
在步驟ST48，CPU61通過利用在步驟ST47所產(chǎn)生的圖像數(shù)據(jù)DVout來執(zhí)行空間分辨率創(chuàng)建處理，以按照下述方式產(chǎn)生具有顯示屏尺寸的擴(kuò)展圖像的圖像數(shù)據(jù)DVz，所述方式是使坐標(biāo)信息HG所示的位置位于屏幕的恒定位置上。
在步驟ST49，與步驟ST34相類似，CPU61設(shè)置追蹤后處理區(qū)域，并且處理轉(zhuǎn)到步驟ST50。
在步驟ST50，CPU61將變量i設(shè)置為i+1(i＝i+1)，并且處理轉(zhuǎn)到步驟ST51。
在步驟ST51，CPU61判斷處理是否已結(jié)束。如果處理未結(jié)束，那么處理回到步驟ST38。
如果處理從步驟ST51回到步驟ST38以使CPU61執(zhí)行步驟ST38的處理，那么變量i不等于0(i≠0)，因此處理轉(zhuǎn)到步驟ST43，在該步驟中通過利用所存儲(chǔ)的處理結(jié)果來對(duì)與追蹤后處理區(qū)域有關(guān)的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且處理轉(zhuǎn)到步驟ST44。
在步驟ST44-ST46，CPU61執(zhí)行與步驟ST40-ST42相同的處理，并且處理轉(zhuǎn)到步驟ST47，在該步驟中執(zhí)行從步驟ST47開始的處理。此后，如果圖像數(shù)據(jù)DVa已結(jié)束或者執(zhí)行其完成操作，那么在步驟ST51判定操作已結(jié)束并且結(jié)束處理。
此外，它不但可通過使用運(yùn)動(dòng)模糊減輕圖像數(shù)據(jù)DVout來執(zhí)行空間分辨率創(chuàng)建，而且還可執(zhí)行公開號(hào)為2002-199349的日本專利申請(qǐng)中所公開的時(shí)間分辨率創(chuàng)建，從而產(chǎn)生具有高時(shí)間分辨率的高質(zhì)量圖像。圖31給出了下述裝置的結(jié)構(gòu)，所述裝置用于對(duì)圖像進(jìn)行處理，由此可實(shí)現(xiàn)幀速轉(zhuǎn)換，同時(shí)可執(zhí)行時(shí)間分辨率創(chuàng)建。在圖31中，與圖5中的部件相對(duì)應(yīng)的相似部件是由相似符號(hào)來表示的，并且將省略對(duì)其的詳細(xì)說明。
將表示時(shí)間分辨率創(chuàng)建前后的幀速的頻率信息HF提供給運(yùn)動(dòng)矢量檢測(cè)部分30a以及時(shí)間分辨率創(chuàng)建部分90。如圖32所示，運(yùn)動(dòng)矢量檢測(cè)部分30a包括圖6所示的上述運(yùn)動(dòng)矢量檢測(cè)部分30以及添加到其上的運(yùn)動(dòng)矢量分配部分35。在圖32中，與圖6中的部件相對(duì)應(yīng)的相似部件是由相似符號(hào)來表示的，并且將省略對(duì)其的詳細(xì)說明。
根據(jù)運(yùn)動(dòng)矢量MV，運(yùn)動(dòng)矢量分配部分35根據(jù)所提供的頻率信息HF而產(chǎn)生最新所產(chǎn)生的幀圖像的運(yùn)動(dòng)矢量MVD。例如，通過利用運(yùn)動(dòng)矢量MV，它將運(yùn)動(dòng)矢量分配給最新所產(chǎn)生的幀圖像的像素，并且將分配后運(yùn)動(dòng)矢量MVD提供給時(shí)間分辨率創(chuàng)建部分90。
頻率信息HF是這樣的信息，該信息表示諸如兩倍速度轉(zhuǎn)換、2.5倍速度轉(zhuǎn)換、所謂的用于將24P圖像轉(zhuǎn)換成60P圖像的24-60轉(zhuǎn)換等這樣的幀頻率轉(zhuǎn)換速率。
下面對(duì)在頻率信息HF表示例如幀的兩倍速度轉(zhuǎn)換這樣一種情況下用于分配運(yùn)動(dòng)矢量的處理進(jìn)行描述。在這種情況下，如圖33所示，最新在圖像數(shù)據(jù)DVa的兩個(gè)幀RFa與RFb之間產(chǎn)生了兩個(gè)幀RFn0和RFn1的圖像。將最新產(chǎn)生的兩個(gè)幀的每個(gè)圖像設(shè)置為目標(biāo)幀。對(duì)于目標(biāo)幀的每個(gè)像素而言，運(yùn)動(dòng)矢量分配部分35從運(yùn)動(dòng)矢量檢測(cè)部分30所提供的圖像數(shù)據(jù)DVa的運(yùn)動(dòng)矢量MV中檢測(cè)出所提供的運(yùn)動(dòng)矢量MV中的橫穿運(yùn)動(dòng)矢量，并且將所檢測(cè)的運(yùn)動(dòng)矢量分配為目標(biāo)幀圖像的運(yùn)動(dòng)矢量MVC。例如，如果在目標(biāo)幀PFn0的像素PGn0x中，例如運(yùn)動(dòng)矢量MV-j橫穿像素PGn0x的圖像區(qū)域PWn0x，那么將該運(yùn)動(dòng)矢量MV-j分配為像素PGn0x的運(yùn)動(dòng)矢量MVC-n0x。此外，如果有多個(gè)運(yùn)動(dòng)矢量橫穿，那么計(jì)算這多個(gè)橫穿運(yùn)動(dòng)矢量的平均值并對(duì)其進(jìn)行分配。此外，如果未檢測(cè)到橫穿運(yùn)動(dòng)矢量，那么計(jì)算分配給外圍或鄰近像素的運(yùn)動(dòng)矢量的平均值或使其加權(quán)并且計(jì)算其平均值以對(duì)其進(jìn)行分配。按照這種方式，將運(yùn)動(dòng)矢量分配給每個(gè)目標(biāo)幀的所有像素。
此外，將運(yùn)動(dòng)矢量檢測(cè)部分30a所產(chǎn)生的處理區(qū)域信息HZ和運(yùn)動(dòng)矢量MVC提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40。此外，不僅將從存儲(chǔ)器55所讀取的圖像數(shù)據(jù)DVm提供給運(yùn)動(dòng)矢量檢測(cè)部分30a，而且還提供給圖像數(shù)據(jù)選擇部分85。
圖像數(shù)據(jù)選擇部分85選擇圖像傳感器10所提供的圖像數(shù)據(jù)DVa與從存儲(chǔ)器55所讀取的圖像數(shù)據(jù)DVm中的任何一個(gè)，并且將其作為圖像數(shù)據(jù)DVs提供給時(shí)間分辨率創(chuàng)建部分90。
時(shí)間分辨率創(chuàng)建部分90根據(jù)圖像數(shù)據(jù)DVs、運(yùn)動(dòng)矢量MVD、以及頻率信息HF而創(chuàng)建具有期望幀速的圖像數(shù)據(jù)DVt。
圖34給出了時(shí)間分辨率創(chuàng)建部分的結(jié)構(gòu)。時(shí)間分辨率創(chuàng)建部分90包括類別分類部分91，用于對(duì)圖像數(shù)據(jù)DVs的目標(biāo)像素進(jìn)行分類；預(yù)測(cè)系數(shù)存儲(chǔ)器92，用于輸出與類別分類部分91的類別分類結(jié)果相對(duì)應(yīng)的預(yù)測(cè)系數(shù)；以及預(yù)測(cè)計(jì)算部分93，用于通過利用預(yù)測(cè)系數(shù)存儲(chǔ)器92所輸出的預(yù)測(cè)系數(shù)以及圖像數(shù)據(jù)DVs來執(zhí)行預(yù)測(cè)計(jì)算而產(chǎn)生幀插值像素?cái)?shù)據(jù)。
將圖像數(shù)據(jù)DVs提供給類別分類部分91中的類別像素組剪切部分913以及預(yù)測(cè)計(jì)算部分93中的預(yù)測(cè)像素組剪切部分931。將頻率信息HF提供給時(shí)間模式值確定部分911。此外，將分配給所要?jiǎng)?chuàng)建的幀中的目標(biāo)像素的運(yùn)動(dòng)矢量MVD提供給時(shí)間模式值確定部分911以及位置模式值確定部分915。
時(shí)間模式值確定部分911根據(jù)所提供的頻率信息HF來確定表示所要?jiǎng)?chuàng)建的幀的時(shí)間位置的時(shí)間模式值TM，并且將其提供給抽頭中心位置確定部分912、位置模式值確定部分915、以及預(yù)測(cè)系數(shù)存儲(chǔ)器92。圖35示意性地給出了其每個(gè)均用于說明時(shí)間模式值確定部分911的操作的示意圖。時(shí)間模式值確定部分911根據(jù)轉(zhuǎn)換前后的頻率來確定與所要?jiǎng)?chuàng)建的目標(biāo)幀的時(shí)間位置有關(guān)的時(shí)間模式值。
圖35A示出了幀頻率加倍這樣一種情況。在這種情況下，如上所述，在圖像數(shù)據(jù)DVa的兩個(gè)幀RFa與RFb之間創(chuàng)建作為目標(biāo)幀的兩個(gè)幀RFn0和RFn1。根據(jù)所要?jiǎng)?chuàng)建的兩個(gè)幀RFn0和RFn1的任何一個(gè)，給定模式0或模式1。例如，在兩個(gè)幀中，為了創(chuàng)建位于其他時(shí)間之前的目標(biāo)幀RFn0中的像素值，將時(shí)間模式值設(shè)置為0，并且為了創(chuàng)建另一目標(biāo)幀RFn1中的像素值，將時(shí)間模式值設(shè)置為1。另一方面，圖35B示出了在轉(zhuǎn)換過程中使幀頻乘以2.5這樣一種情況，在這種情況下在目標(biāo)幀的四種時(shí)間位置上創(chuàng)建像素值，以便根據(jù)所要?jiǎng)?chuàng)建的任何一個(gè)幀位置的系數(shù)，時(shí)間模式值采用0至3中的任何一個(gè)。
抽頭中心位置確定部分912使用運(yùn)動(dòng)矢量MVD以確定時(shí)間模式值TM所示的目標(biāo)幀中的目標(biāo)像素的運(yùn)動(dòng)矢量。也就是說，如果運(yùn)動(dòng)矢量分配部分35已將運(yùn)動(dòng)矢量分配給最新所產(chǎn)生的幀圖像的像素，那么它選擇與該目標(biāo)像素相對(duì)應(yīng)的運(yùn)動(dòng)矢量。根據(jù)所確定的運(yùn)動(dòng)矢量，對(duì)分別位于與目標(biāo)幀中的目標(biāo)像素相對(duì)應(yīng)的圖像數(shù)據(jù)DVs前后的兩個(gè)幀中的位置進(jìn)行檢測(cè)，并且將其設(shè)置為抽頭中心位置TC。
類別像素組剪切部分913使用抽頭中心位置TC作為基準(zhǔn)，以從分別位于目標(biāo)幀前后的圖像數(shù)據(jù)DVs的兩個(gè)幀當(dāng)中剪切掉為了表示運(yùn)動(dòng)程度而進(jìn)行類別分類所必需的像素，并且將其提供給類別值確定部分914。
圖36給出了類別像素組剪切部分913根據(jù)上述抽頭中心位置TC所取出的類別像素組的若干示例。應(yīng)當(dāng)注意的是，在附圖中，由實(shí)心圓圈表示抽頭中心位置TC的像素，并由其內(nèi)有“X”的圓圈表示位于抽頭中心位置TC周圍并且用作類別像素的像素。從分別位于相應(yīng)目標(biāo)幀前后的圖像數(shù)據(jù)DVs的兩個(gè)幀當(dāng)中剪切掉該類別像素組。
類別值確定部分914對(duì)類別像素組剪切部分913所剪切的像素組的像素?cái)?shù)據(jù)計(jì)算幀間差，并且例如對(duì)這些幀間差的絕對(duì)平均值與多個(gè)預(yù)置閾值進(jìn)行比較以對(duì)其進(jìn)行分類，從而確定類別值CM。
圖37示意性地給出了類別值確定處理。類別值確定部分914根據(jù)例如一位ADRC(適應(yīng)性動(dòng)態(tài)范圍編碼)來對(duì)所剪切的類別像素組的像素值進(jìn)行編碼，并且將下述值設(shè)置為類別值，在所述值中假定該編碼的結(jié)果(位串)是整數(shù)值。
應(yīng)當(dāng)注意的是如果由8位來表示像素值，那么可采用0-255中的任何一個(gè)作為像素值。在圖37中假定從分別位于目標(biāo)幀前后的圖像數(shù)據(jù)DVs的兩個(gè)幀的每一個(gè)中剪切掉5個(gè)像素，并且總共10個(gè)像素構(gòu)成了類別像素組。這10個(gè)像素的類別像素值的最大值與最小值之間的差值構(gòu)成了動(dòng)態(tài)范圍DR。因?yàn)橐晃籄DRC，因此可將通過使動(dòng)態(tài)范圍DR減半所獲得的值設(shè)置為中間值CLV，以便可檢查類別像素值是大于還是小于該中間值CLV。如果類別像素值小于中間值CLV，那么將其編碼成“0”，并且如果類別像素值不小于中間值CLV，那么將其編碼成“1”。在圖37的示例中，由于一位ADRC的結(jié)果所編碼的位串值是0000100001。將該位串的整數(shù)值(＝33)設(shè)置為類別值。
為了減小類別數(shù)目，通過使每個(gè)位的編碼結(jié)果的位串反轉(zhuǎn)所獲得的值可用作類別值。在這種情況下，類別數(shù)目減半。此外，如果將抽頭排列成縱向/橫向?qū)ΨQ，那么對(duì)像素值進(jìn)行重排以執(zhí)行相同計(jì)算，從而可分別使類別數(shù)目減半。
位置模式值確定部分915根據(jù)抽頭中心位置TC、運(yùn)動(dòng)矢量MVD、以及時(shí)間模式值TM來確定位置模式值HM，并且將其提供給預(yù)測(cè)系數(shù)存儲(chǔ)器92。根據(jù)橫穿目標(biāo)幀上的目標(biāo)像素的運(yùn)動(dòng)矢量以及該目標(biāo)像素的位置來設(shè)置抽頭中心位置TC，以便如果表示每個(gè)像素中心的位置用作整數(shù)網(wǎng)格點(diǎn)位置，那么在某些情況下相對(duì)于整數(shù)網(wǎng)格點(diǎn)位置而言抽頭中心位置TC具有小數(shù)部分(不大于像素間距離)的偏移。因此，位置模式值確定部分915通過根據(jù)該小數(shù)部分偏移而執(zhí)行類別分類來確定位置模式值。應(yīng)當(dāng)注意的是，如果幀頻率增大5倍并且一個(gè)運(yùn)動(dòng)矢量橫穿目標(biāo)像素，那么相對(duì)于整數(shù)網(wǎng)格點(diǎn)而言的小數(shù)部分偏移進(jìn)入0、0.2、0.4、0.6、以及0.8這5個(gè)模式的任何一個(gè)。如果在每個(gè)橫向或縱向方向上給出了這種小數(shù)部分偏移，那么可以是5×5＝25種組合，以便根據(jù)與小數(shù)部分偏移相對(duì)應(yīng)的任何一個(gè)組合來確定位置模式值HM。
預(yù)測(cè)系數(shù)存儲(chǔ)器92讀取與提供給它的時(shí)間模式值TM、位置模式值HM、以及類別值CM的組合相對(duì)應(yīng)的預(yù)測(cè)系數(shù)KF，并且將該系數(shù)提供給預(yù)測(cè)計(jì)算部分93中的計(jì)算處理部分932。
預(yù)測(cè)計(jì)算部分93中的預(yù)測(cè)像素組剪切部分931從相對(duì)于抽頭中心位置確定部分912所確定的抽頭中心位置TC而言的轉(zhuǎn)換前圖像數(shù)據(jù)DVs中剪切掉在預(yù)測(cè)計(jì)算過程中所使用的預(yù)測(cè)抽頭TF，并且將其提供給計(jì)算處理部分932。計(jì)算處理部分932通過利用預(yù)測(cè)系數(shù)存儲(chǔ)器92所提供的預(yù)測(cè)系數(shù)KF以及預(yù)測(cè)抽頭TF來執(zhí)行一維線性操作，從而產(chǎn)生轉(zhuǎn)換后圖像數(shù)據(jù)DVt。
通過這樣利用在運(yùn)動(dòng)模糊減輕圖像產(chǎn)生處理之后的圖像數(shù)據(jù)DVm對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)并且通過利用所檢測(cè)的運(yùn)動(dòng)矢量創(chuàng)建時(shí)間分辨率，可在幀速轉(zhuǎn)換之后的圖像中準(zhǔn)確地顯示運(yùn)動(dòng)。此外，如果圖像數(shù)據(jù)選擇部分85選擇圖像數(shù)據(jù)DVm作為圖像數(shù)據(jù)DVs，那么通過利用運(yùn)動(dòng)模糊已減輕的圖像可產(chǎn)生新幀的圖像。例如，如果圖像數(shù)據(jù)DVout具有24幀/秒，則可執(zhí)行時(shí)間分辨率創(chuàng)建，從而產(chǎn)生運(yùn)動(dòng)模糊已減輕的60幀/秒的圖像的圖像數(shù)據(jù)DVt。此外，如果將圖像數(shù)據(jù)DVa選為圖像數(shù)據(jù)DVs，那么圖像數(shù)據(jù)DVt給出了這樣的圖像，該圖像具有通過圖像傳感器10所獲得的圖像的轉(zhuǎn)換幀速。
圖38給出了通過軟件實(shí)現(xiàn)的時(shí)間分辨率創(chuàng)建處理的流程圖。在步驟ST61，CPU61根據(jù)頻率信息HF來確定時(shí)間模式值TM。在步驟ST62，CPU61執(zhí)行用于確定抽頭中心位置的處理。
圖39給出了抽頭中心位置確定處理的流程圖。在步驟ST621，CPU61確定目標(biāo)幀上的目標(biāo)像素的位置。在步驟ST622，CPU61計(jì)算與目標(biāo)像素相對(duì)應(yīng)的位置。也就是說，根據(jù)在時(shí)間模式值TM所示的目標(biāo)幀中所設(shè)置的目標(biāo)像素的運(yùn)動(dòng)矢量，以小數(shù)位精度計(jì)算與分別位于目標(biāo)幀前后的圖像數(shù)據(jù)DVs的兩個(gè)幀中的目標(biāo)像素相對(duì)應(yīng)的位置。在步驟ST623，將下述像素位置確定為抽頭中心位置TC，所述像素位置最靠近與目標(biāo)像素相對(duì)應(yīng)的所計(jì)算位置。
在完成抽頭中心位置確定處理之后，在步驟ST63，CPU61確定位置模式值HM。在確定位置模式值HM的過程中，在步驟ST622以小數(shù)位精度計(jì)算計(jì)算與目標(biāo)像素相對(duì)應(yīng)的位置，并且將該位置與最近像素位置之間的差值轉(zhuǎn)換成位置模式值HM。
在步驟ST64，CPU61根據(jù)在步驟ST62和步驟ST65所確定的抽頭中心位置TC來剪切類別像素組，CPU61根據(jù)所剪切的類別像素值組來確定類別值CM。
在步驟ST66，CPU61根據(jù)在步驟ST62所確定的抽頭中心位置TC來剪切預(yù)測(cè)像素組。在步驟ST67，CPU61根據(jù)類別值CM、位置模式值HM、以及時(shí)間模式值TM來讀取預(yù)測(cè)系數(shù)。在步驟ST68，CPU61對(duì)預(yù)測(cè)像素組中的多個(gè)像素以及預(yù)測(cè)系數(shù)執(zhí)行一維線性組合(預(yù)測(cè)計(jì)算)，以產(chǎn)生目標(biāo)幀中的目標(biāo)像素的數(shù)據(jù)。在步驟ST69，CPU61輸出所產(chǎn)生的目標(biāo)像素的數(shù)據(jù)以作為圖像數(shù)據(jù)DVt。
在步驟ST70，CPU61判斷目標(biāo)幀中的像素是否都已被處理。如果未處理，那么處理回到步驟ST62，并且如果目標(biāo)幀中的像素均已被處理，那么結(jié)束該處理。
通過利用圖40所示的學(xué)習(xí)設(shè)備可創(chuàng)建存儲(chǔ)在預(yù)測(cè)系數(shù)存儲(chǔ)器92中的預(yù)測(cè)系數(shù)。應(yīng)當(dāng)注意的是在圖40中與圖34中的部件相對(duì)應(yīng)的相似部件是由相似符號(hào)來表示的。
首先，通過利用教師圖像(其與目標(biāo)幀的圖像相對(duì)應(yīng))的圖像數(shù)據(jù)GT來對(duì)幀速進(jìn)行轉(zhuǎn)換以產(chǎn)生學(xué)生圖像(其與圖像數(shù)據(jù)DVs的圖像相對(duì)應(yīng))的圖像數(shù)據(jù)GS，以便將圖像數(shù)據(jù)GS提供給類別分類部分94和系數(shù)計(jì)算部分95。
類別分類部分94中的運(yùn)動(dòng)矢量檢測(cè)部分941對(duì)預(yù)定數(shù)目的幀之間的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且將其提供給抽頭中心位置確定部分912以及位置模式值確定部分915。抽頭中心位置確定部分912如上所述確定抽頭中心位置，并且將其提供給類別像素組取出部分913以及學(xué)生像素組取出部分951。
學(xué)生像素取出部分951根據(jù)抽頭中心位置而從圖像數(shù)據(jù)GS當(dāng)中剪切掉由多個(gè)學(xué)生像素所組成的學(xué)生像素組。將所剪切的學(xué)生像素組提供給預(yù)測(cè)系數(shù)學(xué)習(xí)部分952。
類別像素取出部分913根據(jù)抽頭中心位置而取出由多個(gè)學(xué)生像素所組成的類別像素組。將所取出的類別像素組提供給類別值確定部分914。類別值確定部分914如上所述根據(jù)類別像素組來確定類別值。將所確定的類別值提供給預(yù)測(cè)系數(shù)學(xué)習(xí)部分952。
位置模式值確定部分915如上所述根據(jù)抽頭中心位置、運(yùn)動(dòng)矢量、以及時(shí)間模式來確定位置模式值并且將其提供給預(yù)測(cè)系數(shù)學(xué)習(xí)部分952。此外，根據(jù)時(shí)間模式值，教師像素剪切部分942剪切掉教師像素。將所剪切的教師像素提供給預(yù)測(cè)系數(shù)學(xué)習(xí)部分952。
預(yù)測(cè)系數(shù)學(xué)習(xí)部分952使用提供給它的時(shí)間模式值、位置模式值、類別值、學(xué)生學(xué)習(xí)組、以及教師像素，以學(xué)習(xí)用于根據(jù)學(xué)生像素組來預(yù)測(cè)教師像素的預(yù)測(cè)系數(shù)。在學(xué)習(xí)預(yù)測(cè)系數(shù)的過程中，確定預(yù)測(cè)系數(shù)，以便當(dāng)根據(jù)對(duì)學(xué)生像素以及多個(gè)預(yù)測(cè)系數(shù)的一維線性操作來估算預(yù)測(cè)值時(shí)，可使教師圖像中的預(yù)測(cè)值與真實(shí)值之間的誤差的平方和最小化。通過實(shí)際計(jì)算方法，確定預(yù)測(cè)系數(shù)，以便使通過對(duì)與誤差平方和有關(guān)的等式執(zhí)行偏微分所獲得的值成為0。在這種情況下，建立上述標(biāo)準(zhǔn)方程，并且通過諸如消除法這樣的一般矩陣解法來對(duì)其進(jìn)行求解以計(jì)算預(yù)測(cè)系數(shù)。將所計(jì)算的預(yù)測(cè)系數(shù)存儲(chǔ)在預(yù)測(cè)系數(shù)存儲(chǔ)器92中。
圖41給出了通過利用軟件來學(xué)習(xí)預(yù)測(cè)系數(shù)的處理流程圖。在步驟ST81，CPU61通過利用教師圖像的圖像數(shù)據(jù)來對(duì)幀速進(jìn)行轉(zhuǎn)換以產(chǎn)生學(xué)生圖像的圖像數(shù)據(jù)。在步驟ST82，CPU61根據(jù)頻率信息來確定時(shí)間模式值。
在步驟ST83，CPU61對(duì)教師圖像的運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且在步驟ST84，根據(jù)時(shí)間模式值和運(yùn)動(dòng)矢量來確定抽頭中心位置。
在步驟ST85，CPU61根據(jù)運(yùn)動(dòng)矢量、抽頭中心位置、時(shí)間模式值來確定位置模式值。
在步驟ST86，CPU61根據(jù)抽頭中心位置的信息來從學(xué)生圖像當(dāng)中剪切掉類別像素組。在步驟ST87，CPU61根據(jù)類別像素組來確定類別值。在步驟ST88，CPU61根據(jù)抽頭中心位置的信息來從學(xué)生圖像當(dāng)中剪切掉學(xué)生像素組。在步驟ST89，CPU61從教師圖像當(dāng)中剪切掉教師像素。
步驟ST90-ST95構(gòu)成了根據(jù)最小平方法來學(xué)習(xí)預(yù)測(cè)系數(shù)的處理。也就是說，確定預(yù)測(cè)系數(shù)，以便當(dāng)根據(jù)對(duì)學(xué)生像素與多個(gè)預(yù)測(cè)系數(shù)的一維線性組合來估算預(yù)測(cè)值時(shí)可使教師圖像中的預(yù)測(cè)值與真實(shí)值之間的誤差平方和最小化。通過實(shí)際計(jì)算方法，確定預(yù)測(cè)系數(shù)，以便使通過對(duì)與誤差平方和有關(guān)的等式執(zhí)行偏微分所獲得的值成為0。在這種情況下，建立一標(biāo)準(zhǔn)方程并且通過諸如消除法這樣的一般矩陣解法來對(duì)其進(jìn)行求解以計(jì)算預(yù)測(cè)系數(shù)。
在步驟ST90，CPU61執(zhí)行用于將數(shù)據(jù)補(bǔ)加到用于每個(gè)類別的標(biāo)準(zhǔn)方程上的處理。在步驟ST91，CPU61確定幀中的像素是否都已被處理。如果未被處理，那么處理回到步驟ST84(確定抽頭中心位置)。如果幀中的像素都已被處理，那么處理轉(zhuǎn)到步驟ST92。在步驟ST92，CPU61確定圖像中的幀是否都已被處理。如果未被處理，該處理回到步驟ST82，并且如果幀均已被處理，那么處理轉(zhuǎn)到步驟ST93。在步驟ST93，CPU61確定輸入圖像是否都已被處理。如果未被處理，那么處理回到步驟ST81。如果輸入圖像均已被處理，那么處理轉(zhuǎn)到步驟ST94。在步驟ST94，CPU61通過消除法來對(duì)標(biāo)準(zhǔn)方程進(jìn)行求解，并且在步驟ST95輸出所獲得的預(yù)測(cè)系數(shù)以便將其存儲(chǔ)在預(yù)測(cè)系數(shù)存儲(chǔ)器92中。
圖42給出了對(duì)上述時(shí)間分辨率創(chuàng)建處理進(jìn)行組合這樣一種情況下的操作流程圖。
在步驟ST101，CPU61確定是否存儲(chǔ)有與所檢測(cè)的運(yùn)動(dòng)矢量一樣多的用于減輕運(yùn)動(dòng)矢量的處理結(jié)果。如果未存儲(chǔ)，那么處理回到步驟ST101，并且如果存儲(chǔ)有與所檢測(cè)的運(yùn)動(dòng)矢量一樣多的處理結(jié)果，那么處理轉(zhuǎn)到步驟ST102。
在步驟ST102，CPU61使用所存儲(chǔ)的處理結(jié)果以對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且處理轉(zhuǎn)到步驟ST103。
在步驟ST103，CPU61使用所檢測(cè)的運(yùn)動(dòng)矢量以將運(yùn)動(dòng)矢量分配給所最新創(chuàng)建的幀中的每個(gè)像素，并且處理轉(zhuǎn)到步驟ST104。
在步驟ST104，CPU61根據(jù)在運(yùn)動(dòng)矢量減輕處理中所獲得的曝光時(shí)間參數(shù)來對(duì)運(yùn)動(dòng)矢量進(jìn)行校正，并且處理轉(zhuǎn)到步驟ST105。
在步驟ST105，CPU61根據(jù)所存儲(chǔ)的處理結(jié)果和在步驟ST104所獲得的運(yùn)動(dòng)矢量執(zhí)行時(shí)間分辨率創(chuàng)建處理，以產(chǎn)生具有時(shí)間分辨率創(chuàng)建后幀速的圖像數(shù)據(jù)DVt，并且處理轉(zhuǎn)到步驟ST106。
在步驟ST106，如果圖像數(shù)據(jù)DVa還未結(jié)束或者操作未結(jié)束，那么處理回到步驟ST102，并且如果圖像數(shù)據(jù)DVa已結(jié)束或者操作已結(jié)束，那么判定操作已完成并且結(jié)束該處理。
由此，利用運(yùn)動(dòng)模糊減輕圖像可準(zhǔn)確地對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，因此通過利用所檢測(cè)的運(yùn)動(dòng)矢量可獲得具有較小運(yùn)動(dòng)模糊的高時(shí)間分辨率圖像。
此外，如果將下述區(qū)域選擇信息HA提供給圖像處理裝置20，所述區(qū)域選擇信息HA表示要受到運(yùn)動(dòng)模糊處理的圖像區(qū)域，那么運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分40對(duì)根據(jù)區(qū)域選擇信息HA所選擇的區(qū)域執(zhí)行運(yùn)動(dòng)模糊減輕處理。此外，根據(jù)運(yùn)動(dòng)矢量檢測(cè)部分30所檢測(cè)的運(yùn)動(dòng)矢量MV，使處理區(qū)域連續(xù)運(yùn)動(dòng)。也就是說，運(yùn)動(dòng)矢量檢測(cè)部分30可對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行追蹤。按照這種方式，僅僅通過根據(jù)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)來首先設(shè)置一區(qū)域，可按照與運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)相匹配的方式使受到處理的圖像區(qū)域運(yùn)動(dòng)，并且可僅減輕包括有運(yùn)動(dòng)對(duì)象的區(qū)域的運(yùn)動(dòng)模糊，因此可有效減輕運(yùn)動(dòng)模糊。
圖43給出了在選擇了運(yùn)動(dòng)模糊將要減輕的區(qū)域這樣一種情況下的操作流程圖。
在步驟ST111，CPU61通過輸入部分、通信部分等獲取圖像傳感器10所產(chǎn)生的圖像數(shù)據(jù)DVa，并且可將所獲取的圖像數(shù)據(jù)DVa存儲(chǔ)在存儲(chǔ)部分63中。
在步驟ST112，CPU61對(duì)每個(gè)像素的運(yùn)動(dòng)矢量MV進(jìn)行檢測(cè)，并且處理轉(zhuǎn)到步驟ST113。
在步驟ST113，CPU61獲取曝光時(shí)間參數(shù)HE，并且處理轉(zhuǎn)到步驟ST114，在該步驟中根據(jù)曝光時(shí)間參數(shù)HE來對(duì)在步驟ST112所檢測(cè)的運(yùn)動(dòng)矢量MV進(jìn)行校正，由此產(chǎn)生運(yùn)動(dòng)矢量MVB。
在步驟ST115，CPU61確定是否選擇了其中將要減輕運(yùn)動(dòng)模糊的圖像區(qū)域。如果未選擇該圖像區(qū)域，那么處理轉(zhuǎn)到步驟ST116，在該步驟中對(duì)整個(gè)屏幕執(zhí)行運(yùn)動(dòng)模糊減輕圖像產(chǎn)生處理以產(chǎn)生圖像數(shù)據(jù)DVct，并且此后處理轉(zhuǎn)到步驟ST119。如果已選擇了該圖像區(qū)域，那么處理轉(zhuǎn)到步驟ST117，在該步驟中對(duì)所選擇的區(qū)域進(jìn)行更新。例如，通過根據(jù)所選區(qū)域中的運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)而使其運(yùn)動(dòng)模糊將被減輕的所選區(qū)域運(yùn)動(dòng)，所選區(qū)域可對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行追蹤。在步驟ST118，對(duì)根據(jù)運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)而運(yùn)動(dòng)的所選區(qū)域執(zhí)行運(yùn)動(dòng)模糊減輕圖像產(chǎn)生處理以產(chǎn)生圖像數(shù)據(jù)DVct，并且處理轉(zhuǎn)到步驟ST119。
在步驟ST119，CPU61確定是否存儲(chǔ)有與執(zhí)行時(shí)間分辨率創(chuàng)建的幀數(shù)目一樣多的運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVct。如果未存儲(chǔ)，那么處理回到步驟ST112，并且如果已存儲(chǔ)，那么處理轉(zhuǎn)到步驟ST120。
在步驟ST120，根據(jù)頻率信息HF，CPU61通過利用在步驟ST112所檢測(cè)的運(yùn)動(dòng)矢量MV將運(yùn)動(dòng)矢量分配給所要產(chǎn)生的幀的像素，因此產(chǎn)生運(yùn)動(dòng)矢量MVC。
在步驟ST121，通過利用頻率信息HF、運(yùn)動(dòng)模糊減輕圖像的圖像數(shù)據(jù)DVct、以及所分配的運(yùn)動(dòng)矢量MVC，CPU61執(zhí)行時(shí)間分辨率創(chuàng)建處理以產(chǎn)生將要最新創(chuàng)建的幀的圖像數(shù)據(jù)DVft。
在步驟ST122，CPU61確定該處理是否應(yīng)結(jié)束。如果圖像數(shù)據(jù)DVa仍未結(jié)束或者仍未執(zhí)行結(jié)束操作，那么處理回到步驟ST112。如果圖像數(shù)據(jù)DVa已結(jié)束或者已執(zhí)行了結(jié)束操作，那么結(jié)束該處理。
通過這樣執(zhí)行該處理，可減輕根據(jù)區(qū)域選擇信息HA所選擇的區(qū)域的運(yùn)動(dòng)模糊，并且使用運(yùn)動(dòng)模糊減輕圖像以便可執(zhí)行時(shí)間分辨率創(chuàng)建。
工業(yè)實(shí)用性如上所述，本發(fā)明所涉及的用于處理圖像的裝置、用于處理圖像的方法、以及其程序可用在運(yùn)動(dòng)矢量的檢測(cè)以及通過利用所檢測(cè)的運(yùn)動(dòng)矢量的圖像處理過程中，由此非常適用于對(duì)運(yùn)動(dòng)對(duì)象的圖像處理。
權(quán)利要求
1.一種用于對(duì)圖像進(jìn)行處理的裝置，所述裝置包括運(yùn)動(dòng)矢量檢測(cè)裝置，用于通過利用由多個(gè)像素所組成的且通過具有時(shí)間積分效果的圖像傳感器所獲取的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建裝置，用于通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的一圖像；以及運(yùn)動(dòng)模糊減輕圖像產(chǎn)生裝置，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值的情況下，其中所述每個(gè)像素在運(yùn)動(dòng)對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該運(yùn)動(dòng)模糊減輕圖像產(chǎn)生裝置用于通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
2.根據(jù)權(quán)利要求1的用于對(duì)圖像進(jìn)行處理的裝置，其中運(yùn)動(dòng)矢量檢測(cè)裝置通過利用其每一個(gè)均是由多個(gè)像素所組成的且由圖像傳感器所獲取的多個(gè)圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且根據(jù)所檢測(cè)的運(yùn)動(dòng)矢量為具有更高時(shí)間分辨率的圖像產(chǎn)生一運(yùn)動(dòng)矢量以將該運(yùn)動(dòng)矢量提供給時(shí)間分辨率創(chuàng)建裝置。
3.根據(jù)權(quán)利要求1的用于對(duì)圖像進(jìn)行處理的裝置，其中運(yùn)動(dòng)矢量檢測(cè)裝置通過利用其每一個(gè)均是由多個(gè)像素所組成的且由圖像傳感器所獲取的多個(gè)圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，根據(jù)曝光時(shí)間對(duì)所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正，并且將其提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生裝置。
4.根據(jù)權(quán)利要求1的用于對(duì)圖像進(jìn)行處理的裝置，其中時(shí)間分辨率創(chuàng)建裝置使用運(yùn)動(dòng)模糊減輕圖像以產(chǎn)生具有比運(yùn)動(dòng)模糊減輕圖像更高時(shí)間分辨率的圖像。
5.根據(jù)權(quán)利要求4的用于對(duì)圖像進(jìn)行處理的裝置，其中時(shí)間分辨率創(chuàng)建裝置包括類別確定裝置，用于通過利用運(yùn)動(dòng)矢量檢測(cè)裝置所檢測(cè)的運(yùn)動(dòng)矢量來確定所要?jiǎng)?chuàng)建的具有更高時(shí)間分辨率的圖像中的目標(biāo)像素的運(yùn)動(dòng)矢量，從運(yùn)動(dòng)模糊減輕圖像中提取與目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素作為類別抽頭，并且根據(jù)類別抽頭的像素值來確定與目標(biāo)像素相對(duì)應(yīng)的類別；存儲(chǔ)裝置，用于在第一圖像與第二圖像之間為每個(gè)類別學(xué)習(xí)下述預(yù)測(cè)系數(shù)以對(duì)所產(chǎn)生的用于每個(gè)類別的預(yù)測(cè)系數(shù)進(jìn)行存儲(chǔ)，所述預(yù)測(cè)系數(shù)每個(gè)都用于根據(jù)第一圖像中的多個(gè)像素來預(yù)測(cè)目標(biāo)像素，所述第一圖像具有與運(yùn)動(dòng)模糊減輕圖像相對(duì)應(yīng)的時(shí)間分辨率，所述第二圖像具有比第一圖像更高的時(shí)間分辨率，所述第一圖像中的所述多個(gè)像素與第二圖像中的目標(biāo)像素相對(duì)應(yīng)；以及預(yù)測(cè)值產(chǎn)生裝置，用于從存儲(chǔ)裝置中檢測(cè)出與類別確定裝置所確定的類別相對(duì)應(yīng)的預(yù)測(cè)系數(shù)，從運(yùn)動(dòng)模糊減輕圖像中提取與所要產(chǎn)生的圖像中的目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素作為預(yù)測(cè)抽頭，并且根據(jù)從存儲(chǔ)裝置中所檢測(cè)的預(yù)測(cè)系數(shù)與預(yù)測(cè)抽頭的一維線性組合而產(chǎn)生與目標(biāo)像素相對(duì)應(yīng)的預(yù)測(cè)值。
6.一種用于對(duì)圖像進(jìn)行處理的方法，所述方法包括運(yùn)動(dòng)矢量檢測(cè)步驟，用于通過利用由具有時(shí)間積分效果的圖像傳感器所獲取的由多個(gè)像素所組成的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建步驟，用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟中所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的圖像；以及運(yùn)動(dòng)模糊減輕圖像產(chǎn)生步驟，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值的情況下，其中所述每個(gè)像素在運(yùn)動(dòng)對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該步驟用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
7.根據(jù)權(quán)利要求6的用于對(duì)圖像進(jìn)行處理的方法，其中在運(yùn)動(dòng)矢量檢測(cè)步驟，通過利用其每一個(gè)均是由多個(gè)像素所組成的且由圖像傳感器所獲取的多個(gè)圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且根據(jù)所檢測(cè)的運(yùn)動(dòng)矢量為具有更高時(shí)間分辨率的圖像產(chǎn)生一運(yùn)動(dòng)矢量并將該運(yùn)動(dòng)矢量提供給時(shí)間分辨率創(chuàng)建步驟。
8.根據(jù)權(quán)利要求6的用于對(duì)圖像進(jìn)行處理的方法，其中在運(yùn)動(dòng)矢量檢測(cè)步驟，通過利用其每一個(gè)均是由多個(gè)像素所組成的且由圖像傳感器所獲取的多個(gè)圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)，并且根據(jù)曝光時(shí)間對(duì)所檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行校正并將其提供給運(yùn)動(dòng)模糊減輕圖像產(chǎn)生步驟。
9.根據(jù)權(quán)利要求6的用于對(duì)圖像進(jìn)行處理的方法，其中在時(shí)間分辨率創(chuàng)建步驟，使用運(yùn)動(dòng)模糊減輕圖像以產(chǎn)生具有比運(yùn)動(dòng)模糊減輕圖像更高時(shí)間分辨率的圖像。
10.根據(jù)權(quán)利要求9的用于對(duì)圖像進(jìn)行處理的方法，其中時(shí)間分辨率創(chuàng)建步驟包括類別確定步驟，用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟所檢測(cè)到的運(yùn)動(dòng)矢量來確定所要?jiǎng)?chuàng)建的具有更高時(shí)間分辨率的圖像中的目標(biāo)像素的運(yùn)動(dòng)矢量，從運(yùn)動(dòng)模糊減輕圖像中提取與目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素作為類別抽頭，并且根據(jù)類別抽頭的像素值來確定與目標(biāo)像素相對(duì)應(yīng)的類別；存儲(chǔ)步驟，用于在第一圖像與第二圖像之間為每個(gè)類別學(xué)習(xí)下述預(yù)測(cè)系數(shù)以對(duì)所產(chǎn)生的用于每個(gè)類別的預(yù)測(cè)系數(shù)進(jìn)行存儲(chǔ)，所述預(yù)測(cè)系數(shù)每個(gè)都用于根據(jù)第一圖像中的多個(gè)像素來預(yù)測(cè)目標(biāo)像素，所述第一圖像具有與運(yùn)動(dòng)模糊減輕圖像相對(duì)應(yīng)的時(shí)間分辨率，所述第二圖像具有比第一圖像更高的時(shí)間分辨率，第一圖像中的所述多個(gè)像素與第二圖像中的目標(biāo)像素相對(duì)應(yīng)；以及預(yù)測(cè)值產(chǎn)生步驟，用于從存儲(chǔ)步驟中檢測(cè)出與類別確定步驟所確定的類別相對(duì)應(yīng)的預(yù)測(cè)系數(shù)，從運(yùn)動(dòng)模糊減輕圖像中提取與所要產(chǎn)生的圖像中的目標(biāo)像素相對(duì)應(yīng)的多個(gè)像素作為預(yù)測(cè)抽頭，并且根據(jù)從存儲(chǔ)步驟中所檢測(cè)到的預(yù)測(cè)系數(shù)與預(yù)測(cè)抽頭的一維線性組合而產(chǎn)生與目標(biāo)像素相對(duì)應(yīng)的預(yù)測(cè)值。
11.一種可使計(jì)算機(jī)執(zhí)行下述步驟的程序運(yùn)動(dòng)矢量檢測(cè)步驟，用于通過利用由具有時(shí)間積分效果的圖像傳感器所獲取的由多個(gè)像素所組成的圖像來對(duì)運(yùn)動(dòng)矢量進(jìn)行檢測(cè)；時(shí)間分辨率創(chuàng)建步驟，用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟中所檢測(cè)的運(yùn)動(dòng)矢量以及由多個(gè)像素所組成的圖像而產(chǎn)生具有比由多個(gè)像素所組成的圖像更高時(shí)間分辨率的圖像；以及運(yùn)動(dòng)模糊減輕的圖像產(chǎn)生步驟，在假定圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值是通過在時(shí)間方向上對(duì)下述每個(gè)像素的像素值進(jìn)行積分所獲得的值的情況下，其中所述每個(gè)像素在運(yùn)動(dòng)對(duì)象運(yùn)動(dòng)時(shí)其中不存在與運(yùn)動(dòng)對(duì)象相對(duì)應(yīng)的運(yùn)動(dòng)模糊，該步驟用于通過利用在運(yùn)動(dòng)矢量檢測(cè)步驟所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
全文摘要
運(yùn)動(dòng)矢量確定部分(30a)通過利用其每一個(gè)均由多個(gè)像素所組成的且通過具有時(shí)間積分效果的圖像傳感器所獲取的圖像來確定運(yùn)動(dòng)矢量。時(shí)間分辨率創(chuàng)建部分(90)通過使用所確定的運(yùn)動(dòng)矢量以及其每一個(gè)均由多個(gè)像素所組成的圖像而產(chǎn)生具有高時(shí)間分辨率的圖像。運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分(40)獲得圖像中的運(yùn)動(dòng)對(duì)象的像素的像素值，作為通過對(duì)其中不存在對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的像素的像素值進(jìn)行偏移同時(shí)在時(shí)間上進(jìn)行積分而獲得的值。運(yùn)動(dòng)模糊減輕圖像產(chǎn)生部分(40)然后利用所檢測(cè)的運(yùn)動(dòng)矢量來產(chǎn)生其中已經(jīng)減輕了運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊減輕圖像。
文檔編號(hào)G06T5/20GK1765123SQ20058000013
公開日2006年4月26日 申請(qǐng)日期2005年2月10日 優(yōu)先權(quán)日2004年2月13日
發(fā)明者近藤哲二郎, 金丸昌憲 申請(qǐng)人:索尼株式會(huì)社