專利名稱：用以決定插補(bǔ)畫面的移動(dòng)向量的影像處理方法及其相關(guān)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種影像處理機(jī)制，尤指一種用以決定一插補(bǔ)區(qū)塊的一移動(dòng)向量的影
像處理方法及其相關(guān)裝置。
背景技術(shù)：
目前傳統(tǒng)影像插補(bǔ)機(jī)制在決定一插補(bǔ)畫面中一插補(bǔ)區(qū)塊的移動(dòng)向量時(shí)，系直接以 區(qū)塊比對(duì)算法(block matching algorithm)的運(yùn)算結(jié)果來決定其移動(dòng)向量，并據(jù)此產(chǎn)生該 插補(bǔ)區(qū)塊的影像。請(qǐng)參考圖l，其系為區(qū)塊比對(duì)算法的操作示意圖。如圖l所示，影像畫面 F2、 F3系為輸入影像中前、后兩張的畫面，而畫面Finter系為傳統(tǒng)影像插補(bǔ)機(jī)制所產(chǎn)生的 一插補(bǔ)畫面，A' L'系代表影像畫面F2、F3中的背景影像，圖中的虛線箭頭系表示背景影 像移動(dòng)的方向，而實(shí)線箭頭則表示一前景物體移動(dòng)的方向，在影像畫面F2中F' I'的背 景影像被該前景物體所遮蓋住，而在下一張影像畫面F3中則是C' F'的背景影像被該前 景物體所遮蓋??；由于區(qū)塊比對(duì)算法可在前、后兩張影像畫面F2、 F3中皆可找到背影影像 A' 、 B' 、 J' 、 K' 、 L'，所以，可決定出相對(duì)應(yīng)區(qū)塊的正確目標(biāo)移動(dòng)向量，并將背景影像A' 、 B'、 J'、K'、L'呈現(xiàn)于畫面Finter上(如圖l所示)；另外，區(qū)塊比對(duì)算法亦可在前、后兩張影 像畫面F2、F3中找到前景物體的影像，因此，可決定出相對(duì)應(yīng)區(qū)塊的正確目標(biāo)移動(dòng)向量，并 將前景物體的影像呈現(xiàn)于畫面Finter上。 然而，在決定區(qū)域Rinter與Rinter'內(nèi)的插補(bǔ)區(qū)塊的目標(biāo)移動(dòng)向量時(shí)，理想上 區(qū)域Rinter與Rinter'內(nèi)的插補(bǔ)區(qū)塊的目標(biāo)移動(dòng)向量應(yīng)系為背景移動(dòng)向量以使得區(qū)域 Rinter與Rinter'內(nèi)可呈現(xiàn)出背景影像，例如，區(qū)域Rinter理想上應(yīng)呈現(xiàn)背景影像C' 、D'， 而區(qū)域Rinter'理想上應(yīng)呈現(xiàn)背景影像H'、 I'，然而，實(shí)際上，由于區(qū)塊比對(duì)算法在影像畫 面F3中找不到背景影像C'、D'(已被前景物體所蓋住)，而在影像畫面F2中找不到背景影 像H'、 I'(原本被前景物體所蓋住)，所以，區(qū)塊比對(duì)算法并無法以一般影像比對(duì)的方式?jīng)Q 定出正確的移動(dòng)向量，造成插補(bǔ)區(qū)域Rinter、 Rinter'實(shí)際所呈現(xiàn)的影像失真，當(dāng)應(yīng)用于畫 面更新頻率(frame rate)轉(zhuǎn)換時(shí)，傳統(tǒng)影像插補(bǔ)機(jī)制將會(huì)大幅降低輸出影像的質(zhì)量。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種用以決定插補(bǔ)畫面的移動(dòng)向量的影像處
理方法及其相關(guān)裝置，有助于提升執(zhí)行畫面更新頻率轉(zhuǎn)換運(yùn)作的影像質(zhì)量。 為了解決以上技術(shù)問題，本發(fā)明提供了如下技術(shù)方案 本發(fā)明提供一種影像處理方法。該影像處理方法用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)決定一 插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的移動(dòng)向量，其中該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組成， 而該影像處理方法包含有下列步驟依據(jù)復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)原始移動(dòng)向量，決定一區(qū) 塊的一影像差異值；依據(jù)一維空間復(fù)數(shù)連續(xù)區(qū)塊復(fù)數(shù)鄰近區(qū)塊的復(fù)數(shù)影像差異值，決定該 一維空間復(fù)數(shù)連續(xù)區(qū)塊的復(fù)數(shù)左移動(dòng)向量及復(fù)數(shù)右移動(dòng)向量；依據(jù)該一維空間復(fù)數(shù)連續(xù)區(qū)塊的該些左移動(dòng)向量或該些右移動(dòng)向量，決定該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一 起始位置；以及依據(jù)該起始位置及前一張插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一起始位 置，選擇該該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中每一區(qū)塊的相對(duì)應(yīng)左移動(dòng)向量或其相 對(duì)應(yīng)右移動(dòng)向量作為每一 區(qū)塊的移動(dòng)向量。 本發(fā)明提供一種影像處理方法。該影像處理方法系使用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)決
定一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的移動(dòng)向量，其中該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組
成，而該影像處理方法包含有分別決定該插補(bǔ)畫面中一區(qū)塊的一第一候選向量與一第二
候選向量及一前一插補(bǔ)畫面中一區(qū)塊的第一候選向量與第二候選向量；分別利用該插補(bǔ)畫
面及該前一插補(bǔ)畫面的復(fù)數(shù)第一候選向量及復(fù)數(shù)第二候選向量的其中之一，以決定該插補(bǔ)
畫面的影像覆蓋區(qū)/影像顯露區(qū)的一起始位置及該前一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露
區(qū)的一起始位置；以及依據(jù)該插補(bǔ)畫面中影像覆蓋區(qū)/影像顯露區(qū)的該起始位置及該前一
插補(bǔ)畫面中影像覆蓋區(qū)/影像顯露區(qū)的該起始位置，以決定位于該插補(bǔ)畫面的影像覆蓋區(qū)
/影像顯露區(qū)中該區(qū)塊的移動(dòng)向量為該第一候選向量與該第二候選向量其中之一。 本發(fā)明提供一種影像處理裝置。該影像處理裝置用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)決定一
插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的移動(dòng)向量，其中該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組成，
而該影像處理裝置包含有一儲(chǔ)存單元與一計(jì)算單元，以及該計(jì)算單元更包括一候選向量產(chǎn)
生模塊及一移動(dòng)向量決定模塊。該儲(chǔ)存單元系用于至少儲(chǔ)存該插補(bǔ)畫面的一前一原始畫面
與一后一原始畫面以及一前一插補(bǔ)畫面的一起始位置；該候選向量產(chǎn)生模塊系用于決定該
插補(bǔ)畫面的復(fù)數(shù)區(qū)塊的復(fù)數(shù)第一候選向量與復(fù)數(shù)第二候選向量；該移動(dòng)向量決定模塊系依
據(jù)該插補(bǔ)畫面的該些區(qū)塊的該些第一候選向量、該些第二候選向量與該前一插補(bǔ)畫面的該
起始位置，決定位于該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一區(qū)塊的移動(dòng)向量。 本發(fā)明采用的用以決定插補(bǔ)畫面的移動(dòng)向量的影像處理方法及其相關(guān)裝置針對(duì)
插補(bǔ)畫面中屬于影像覆蓋區(qū)或影像顯露區(qū)的區(qū)塊，可正確地計(jì)算出該區(qū)塊的目標(biāo)移動(dòng)向
量，使得以該目標(biāo)移動(dòng)向量來進(jìn)行影像插補(bǔ)時(shí)可得到較佳的影像，有助于提升執(zhí)行畫面更
新頻率轉(zhuǎn)換運(yùn)作的影像質(zhì)量。


圖1為傳統(tǒng)區(qū)塊比對(duì)算法的操作示意圖。 圖2為本發(fā)明的影像處理裝置的第一實(shí)施例的組件示意圖。 圖3(a)為圖2所示的影像處理裝置的操作流程圖。 圖3(b)為圖2所示的影像處理裝置的第二實(shí)施例的操作流程圖。 圖4為圖2所示的計(jì)算單元進(jìn)行畫面更新頻率轉(zhuǎn)換時(shí)所產(chǎn)生的輸出影像的示意圖。 圖5(a)為圖2所示的計(jì)算單元計(jì)算代表移動(dòng)向量變異程度的數(shù)值的范例示意圖。
圖5(b)為包含有多個(gè)移動(dòng)向量變異值的第一數(shù)值曲線CV的范例示意圖。
圖6(a)為圖2所示的計(jì)算單元使用候選向量MV1進(jìn)行區(qū)塊比對(duì)運(yùn)算所分別計(jì)算 出的區(qū)塊比對(duì)差值曲線DCV的范例示意圖。 圖6(b)為圖2所示的計(jì)算單元使用候選向量MV2進(jìn)行區(qū)塊比對(duì)運(yùn)算所分別計(jì)算 出的區(qū)塊比對(duì)差值曲線DCV'的范例示意圖。
圖7為圖2所示的計(jì)算單元所決定出的起始位置PI P4與PI' P4'的范例示 意圖。主要組件符號(hào)說明
具體實(shí)施例方式
首先，為方便閱讀，以下系將前一張影像畫面中并未被前景物體遮住但卻在下一 張影像畫面中被前景物體所遮住的背景影像區(qū)域，稱作影像覆蓋區(qū)(covered area)，并將 前一張影像畫面中被前景物體遮住但卻在下一張影像畫面中出現(xiàn)(未被前景物體所遮住) 的背景影像區(qū)域，稱作影像顯露區(qū)(uncovered area);舉例來說，圖1所示的背景影像C'、 D'、E'系為影像覆蓋區(qū)，而背景影像G'、H'、I'系為影像顯露區(qū)；請(qǐng)注意，以上定義僅用以方 便說明本發(fā)明的實(shí)施例的操作，并非本發(fā)明的限制。 請(qǐng)搭配參照?qǐng)D2與圖3(a)，其分別繪示本發(fā)明第一實(shí)施例的影像處理裝置200及 其相關(guān)操作步驟的流程；為了方便說明，以下系搭配圖3(a)的步驟來說明圖2的影像處理 裝置200的操作，需注意的是，倘若大體上可達(dá)到相同的結(jié)果，并不需要一定照?qǐng)D3(a)所示 的流程中的步驟順序來進(jìn)行，且圖3(a)所示的步驟不一定要連續(xù)進(jìn)行，亦即其它步驟亦可 插入其中。如圖2所示，影像處理裝置200包含有一計(jì)算單元205與一儲(chǔ)存單元210，影像 處理裝置200用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)決定一插補(bǔ)畫面的至少影像覆蓋區(qū)/影像顯露區(qū)的 移動(dòng)向量，而該插補(bǔ)畫面系由復(fù)數(shù)個(gè)區(qū)塊所組成；其中儲(chǔ)存單元210系用于至少儲(chǔ)存一插 補(bǔ)畫面的前一張?jiān)籍嬅媾c其后一張?jiān)籍嬅嬉约扒耙粡埐逖a(bǔ)畫面中影像覆蓋區(qū)/影像 顯露區(qū)的一起始位置(starting position/point)，計(jì)算單元205則耦接至儲(chǔ)存單元210， 并包含一候選向量產(chǎn)生模塊215、一移動(dòng)向量決定模塊220與一影像產(chǎn)生模塊225，候選向 量產(chǎn)生模塊215用于決定該插補(bǔ)畫面的復(fù)數(shù)區(qū)塊的復(fù)數(shù)第一候選向量(亦稱為左移動(dòng)向 量)與復(fù)數(shù)第二候選向量(亦稱為右移動(dòng)向量)，而移動(dòng)向量決定模塊220系依據(jù)該插補(bǔ)畫 面的該些區(qū)塊的該些左移動(dòng)向量、右移動(dòng)向量與該前一張插補(bǔ)畫面的該起始位置，來決定 位于該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的每一區(qū)塊的相對(duì)應(yīng)移動(dòng)向量，以及影像產(chǎn)生 模塊225系依據(jù)移動(dòng)向量決定模塊220所決定的移動(dòng)向量來產(chǎn)生該插補(bǔ)畫面的影像覆蓋區(qū) /影像顯露區(qū)中每一區(qū)塊的影像。 詳細(xì)來說，候選向量產(chǎn)生模塊215更包含一影像差異值產(chǎn)生模塊2151與一候選向 量決定模塊2152，影像差異值產(chǎn)生模塊2151系依據(jù)一區(qū)塊的復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)原始 移動(dòng)向量來決定該區(qū)塊的一影像差異值(步驟305)，候選向量決定模塊2152則依據(jù)一維空 間復(fù)數(shù)連續(xù)區(qū)塊的復(fù)數(shù)影像差異值分別決定該復(fù)數(shù)連續(xù)區(qū)塊的該些左移動(dòng)向量與該些右 移動(dòng)向量(步驟310)。此外，移動(dòng)向量決定模塊220則包含一起始位置決定模塊2201與 一向量選擇模塊2202，起始位置決定模塊2201系利用該插補(bǔ)畫面的該復(fù)數(shù)個(gè)區(qū)塊的該些 左移動(dòng)向量及該些右移動(dòng)向量的其中之一，來計(jì)算該復(fù)數(shù)個(gè)區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)



200影像處理裝置
210儲(chǔ)存單元
220移動(dòng)向量決定模塊
2151影像差異值產(chǎn)生模塊
2201起始位置決定模塊
205計(jì)算單元 215候選向量產(chǎn)生模塊 225影像產(chǎn)生模塊 2152候選向量決定模塊 2202向量選擇模塊差值，并依據(jù)該些復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值的數(shù)值變化來決定該插補(bǔ)畫面的該起始位置(步驟 315)，以及向量選擇模塊2202系依據(jù)該插補(bǔ)畫面的該起始位置與該前一插補(bǔ)畫面的該起 始位置來產(chǎn)生一參考向量，并比較該參考向量與該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中 每一區(qū)塊的該相對(duì)應(yīng)左、右移動(dòng)向量，選取該相對(duì)應(yīng)左、右移動(dòng)向量與該參考向量較不相近 的其中之一來作為該每一區(qū)塊的目標(biāo)移動(dòng)向量(步驟320)。 請(qǐng)注意，第一實(shí)施例的原始移動(dòng)向量系依據(jù)前一張?jiān)籍嬅婕昂笠粡堅(jiān)籍嬅孢M(jìn) 行區(qū)塊比對(duì)所獲得，而決定該插補(bǔ)畫面的該起始位置的步驟(亦即步驟315)可先利用該些 左移動(dòng)向量及該些右移動(dòng)向量其中之一，來計(jì)算該復(fù)數(shù)個(gè)區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差 值，接著再依據(jù)所計(jì)算的該些區(qū)塊比對(duì)差值的數(shù)值變化來決定該起始位置，詳細(xì)操作將于 后續(xù)說明。值得注意的是，在第一實(shí)施例中影像處理裝置200并未決定前一插補(bǔ)畫面的影 像覆蓋區(qū)/影像顯露區(qū)的起始位置，換言之，其系假設(shè)在已得知前一插補(bǔ)畫面的影像覆蓋 區(qū)/影像顯露區(qū)的起始位置的狀況下，僅計(jì)算目前該張插補(bǔ)畫面中影像覆蓋區(qū)/影像顯露 區(qū)的起始位置，而不需額外計(jì)算前一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的起始位置。
此外，在本發(fā)明的第二實(shí)施例中，搭配參照?qǐng)D3(b)的流程圖，圖2的候選向量產(chǎn)生 模塊215亦可被設(shè)計(jì)用來決定一第一插補(bǔ)畫面的至少一第一插補(bǔ)區(qū)塊的候選向量(分別稱 為左、右移動(dòng)向量)MV1、 MV2 (步驟405)，以及決定一第二插補(bǔ)畫面的至少一第二插補(bǔ)區(qū)塊 的候選向量MV1' 、 MV2'(步驟410)，實(shí)作上在本實(shí)施例中候選向量產(chǎn)生模塊215對(duì)第一、 第二插補(bǔ)畫面中的每一插補(bǔ)區(qū)塊皆產(chǎn)生相對(duì)應(yīng)的兩候選向量，每一區(qū)塊的大小例如包含有 8X8的像素范圍；此外，移動(dòng)向量決定模塊220系被設(shè)計(jì)為至少分別使用第一插補(bǔ)區(qū)塊的 一候選向量(例如MV1)與第二插補(bǔ)區(qū)塊的一候選向量(例如MV1')來計(jì)算第一、第二插 補(bǔ)畫面的復(fù)數(shù)個(gè)插補(bǔ)區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值(步驟415與步驟420)，并將該等 區(qū)塊比對(duì)差值儲(chǔ)存至儲(chǔ)存單元210中，接著再依據(jù)前述該等區(qū)塊比對(duì)差值的數(shù)值變化來決 定第一插補(bǔ)畫面中至少一起始位置與第二插補(bǔ)畫面中至少一起始位置(步驟425)，其中該 兩起始位置系為一影像覆蓋區(qū)或一影像顯露區(qū)的邊緣位置，移動(dòng)向量決定模塊220會(huì)依據(jù) 第一插補(bǔ)畫面中該起始位置與第二插補(bǔ)畫面中該起始位置來決定第二插補(bǔ)區(qū)塊的目標(biāo)移 動(dòng)向量(步驟430)，其中第一、第二插補(bǔ)畫面之間至少存在一非影像插補(bǔ)所產(chǎn)生的畫面，亦 即，第一插補(bǔ)畫面可以是第二插補(bǔ)畫面前一張影像插補(bǔ)所產(chǎn)生的畫面，舉例來說，請(qǐng)參照?qǐng)D 4，其所繪示為圖2所示的計(jì)算單元205對(duì)多個(gè)輸入影像(圖框或圖場(chǎng)，在此僅繪示Fn-l、 Fn、Fn+l)進(jìn)行畫面更新頻率轉(zhuǎn)換(frame rate conversion)以產(chǎn)生多個(gè)輸出影像，例如， 圖框Fn-l、Fn、Fn+l等系為60Hz的輸入圖框，計(jì)算單元205系將該等輸入圖框進(jìn)行畫面更 新頻率轉(zhuǎn)換以產(chǎn)生具有120Hz的圖框；頻率60Hz與120Hz非本發(fā)明的限制。下述的操作雖 以第二實(shí)施例為例進(jìn)行說明，然其操作亦適用于第一實(shí)施例，為省略篇幅，不另贅述。
實(shí)際上處理時(shí)，影像處理裝置200系于畫面Fn-l、 Fn中產(chǎn)生一插補(bǔ)畫面(第一插 補(bǔ)畫面F')，并于畫面Fn、 Fn+1中產(chǎn)生另一插補(bǔ)畫面(第二插補(bǔ)畫面F")，第二插補(bǔ)畫面 F"即是目前欲插補(bǔ)出的畫面而第一插補(bǔ)畫面F'是前一張影像插補(bǔ)所產(chǎn)生的畫面；在另一 實(shí)施例中，第一插補(bǔ)畫面亦可以是第二插補(bǔ)畫面F"后一張影像插補(bǔ)所產(chǎn)生的畫面，此不違 背本發(fā)明的技術(shù)精神。以圖4的影像畫面Fn-l、Fn、Fn+l為例子來說，前景物體的移動(dòng)方向 系由右至左水平移動(dòng)，而背景影像系由左至右水平移動(dòng)；需注意的是，在此為方便說明系僅 以水平移動(dòng)的例子作為說明，然而，任一特定方向(垂直方向或畫面的對(duì)角方向等)的影像
8移動(dòng)皆可使用本發(fā)明的實(shí)施例進(jìn)行處理。 以下敘述系先對(duì)候選向量產(chǎn)生模塊215針對(duì)每一插補(bǔ)畫面(包括F' 、F"等)的每 一插補(bǔ)區(qū)塊產(chǎn)生兩候選向量的實(shí)際運(yùn)作來進(jìn)行說明；于此，畫面F'系指第一插補(bǔ)畫面，而 畫面F"系指第二插補(bǔ)畫面。首先，影像差異值產(chǎn)生模塊2151會(huì)依據(jù)區(qū)塊比對(duì)算法(block matching algorithm)計(jì)算所有插補(bǔ)區(qū)塊的移動(dòng)向量，再以每一個(gè)所計(jì)算出的移動(dòng)向量與 其復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)個(gè)移動(dòng)向量，來計(jì)算移動(dòng)向量的混亂程度，以算出一數(shù)值曲線，其 中，以本實(shí)施例來說，該數(shù)值曲線系為沿某一插補(bǔ)區(qū)塊水平方向的移動(dòng)向量混亂程度的剖 面所形成的曲線，該數(shù)值曲線即為一維空間復(fù)數(shù)個(gè)連續(xù)區(qū)塊的差異值，而該混亂程度代表 移動(dòng)向量的變異值(motion vector variance)，亦即，該數(shù)值曲線包含有沿著一特定方向 上代表不同移動(dòng)向量變異程度的復(fù)數(shù)個(gè)數(shù)值。請(qǐng)參照?qǐng)D5(a)，圖5(a)是本發(fā)明計(jì)算代表 移動(dòng)向量變異程度的數(shù)值的范例示意圖；例如，若第一插補(bǔ)區(qū)塊與其復(fù)數(shù)個(gè)鄰近區(qū)塊(如 圖5(a)所示，位于5X5的區(qū)塊范圍)依區(qū)塊比對(duì)算法所計(jì)算出的復(fù)數(shù)個(gè)移動(dòng)向量分別是 MV00與MV-2-2 MV22，則根據(jù)該等移動(dòng)向量可計(jì)算出一移動(dòng)向量變異值MVJAR，其算法 是取該等移動(dòng)向量中最大水平分量減去其中最小水平分量所得的絕對(duì)值，再加上該等移動(dòng) 向量中最大垂直分量減去其中最小垂直分量所得的絕對(duì)值，MV—VAR可利用以下的等式表示
之MV_VAR= |MAX(MVX)_MIN(MVX) | +1 MAX (MVy) _MIN(MVy) |等式(1) 其中MVx和MVy分別代表水平分量(x軸分量)與垂直分量(y軸分量)。需注意
的是，5X5的區(qū)塊范圍并非是本發(fā)明的限制，其亦可利用NXN或是NXM的區(qū)塊范圍來實(shí)作
之，其中參數(shù)N與M皆是正整數(shù)且N不等于M ;此外，計(jì)算移動(dòng)向量變異值MV_VAR的方式亦
可改用等式(2)或等式(3)來實(shí)現(xiàn)MV_VAR = | MAX (MVX) -MIN (MVX) | +1 MAX (MVy) -MIN (MVy) | +SAD
等式(2) MV_VAR = a X {| MAX (MVX) -MIN (MVX) | +1 MAX (MVy) -MIN (MVy) |} + P X SAD
等式(3) 其中數(shù)值SAD系為第一插補(bǔ)區(qū)塊依照區(qū)塊比對(duì)法所算出的一區(qū)塊比對(duì)差值，參數(shù) a、 13系為加權(quán)參數(shù)；凡可用以計(jì)算代表移動(dòng)向量變異程度的數(shù)值的任一實(shí)施變化，皆屬 于本發(fā)明的范疇。由上所述，依據(jù)等式(D、等式(2)或等式(3)其中之一，計(jì)算單元205逐 一針對(duì)不同的插補(bǔ)區(qū)塊進(jìn)行計(jì)算，如此可得出第一數(shù)值曲線CV，如圖5(b)所示。
圖5(b)所繪示為是本發(fā)明包含有多個(gè)移動(dòng)向量變異值的第一數(shù)值曲線CV。 MBOO 系為第一插補(bǔ)區(qū)塊，而在圖5(b)中候選向量決定模塊2152系決定出第一插補(bǔ)區(qū)塊MB00的 兩候選向量MV1、MV2，首先，以背景或前景影像移動(dòng)的方向(例如水平方向)來看，候選向量 決定模塊2152在空間上延著第一插補(bǔ)區(qū)塊MBOO的兩側(cè)復(fù)數(shù)個(gè)(例如兩側(cè)各六個(gè)，MB10 MB60與MB-10 MB-60)區(qū)塊的相對(duì)應(yīng)移動(dòng)向量變異值，在該等相對(duì)應(yīng)移動(dòng)向量變異值范圍 內(nèi)取出一極大值(例如圖5(b)所示之VARmax)，并在該等相對(duì)應(yīng)移動(dòng)向量變異值范圍內(nèi)找 出該極大值VARmax左、右兩側(cè)的極小值所對(duì)應(yīng)到的區(qū)塊，例如，可找到區(qū)塊MB-40與MB50， 而此左、右兩區(qū)塊MB-40與MB50分別利用區(qū)塊比對(duì)算法所計(jì)算的移動(dòng)向量即作為第一插補(bǔ) 區(qū)塊MBOO的兩候選向量MV1、MV2，換句話說，第一插補(bǔ)區(qū)塊MB00的候選向量MV1系對(duì)應(yīng)至 位于第一數(shù)值曲線CV的極大值VARmax的左側(cè)的極小值VARmin，亦稱候選向量MV1為第一動(dòng)向量，而其候選向量MV2系對(duì)應(yīng)至位于第一數(shù)值曲線CV的極大值 VARmax的右側(cè)的極小值VARmin'，亦稱候選向量MV2為第一插補(bǔ)區(qū)塊MBOO的右移動(dòng)向量，； 而候選向量MV1、 MV2的其中之一系對(duì)應(yīng)至背景移動(dòng)向量(background motionvector)，而 其另一則對(duì)應(yīng)于前景移動(dòng)向量(foreground motion vector)，這是因?yàn)閷儆谟跋窀采w區(qū)或 影像顯露區(qū)的插補(bǔ)區(qū)塊周圍的移動(dòng)向量變異值將會(huì)相當(dāng)大，而左、右兩側(cè)的最小移動(dòng)向量 變異值所對(duì)應(yīng)的影像區(qū)塊，其會(huì)對(duì)應(yīng)于一前景移動(dòng)向量或一背景移動(dòng)向量，視其位于影像 覆蓋區(qū)或影像顯露區(qū)而定。因此，若第一插補(bǔ)區(qū)塊MBOO系位于影像覆蓋區(qū)與影像顯露區(qū)的 其中之一，則其候選向量MV-1、 MV2的其中之一對(duì)應(yīng)于背景移動(dòng)向量，而其另一對(duì)應(yīng)于前景 移動(dòng)向量；需注意的是，本發(fā)明的實(shí)施例中的兩候選向量(或稱左、右移動(dòng)向量)實(shí)質(zhì)上分 別是一前景向量與一背景向量，實(shí)際運(yùn)算時(shí)一區(qū)塊的兩候選向量可能并非恰好是前景、背 景向量，然本發(fā)明的影像處理裝置200亦可適用于此一情況中。藉由上述的操作，候選向量 決定模塊2152可計(jì)算出第一插補(bǔ)畫面F'中每一插補(bǔ)區(qū)塊的相對(duì)應(yīng)兩候選向量MV1與MV2。
請(qǐng)參照?qǐng)D6(a)，其所繪示為本發(fā)明的起始位置決定模塊2201使用第一插補(bǔ)畫面 F'的每一插補(bǔ)區(qū)塊的左候選向量MV1進(jìn)行區(qū)塊比對(duì)運(yùn)算所分別計(jì)算出的對(duì)應(yīng)于第一插補(bǔ) 畫面F'的復(fù)數(shù)個(gè)插補(bǔ)區(qū)塊的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值(以圖6(a)所示的曲線DCV表示)；依據(jù) 該等區(qū)塊比對(duì)差值DCV的數(shù)值變化，起始位置決定模塊2201可決定出第一插補(bǔ)畫面F'的復(fù) 數(shù)個(gè)起始位置，而該等起始位置系位于影像覆蓋區(qū)(或影像顯露區(qū))的邊緣，因此可用于判 斷出影像覆蓋區(qū)(或影像顯露區(qū))的實(shí)際影像區(qū)域。實(shí)作上，針對(duì)曲線DCV(包含有使用候 選向量MV1所算出的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值)，起始位置決定模塊2201系偵測(cè)其數(shù)值變化的 大小，當(dāng)曲線DCV(包含有使用候選向量MV1所算出的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值)中一由左至右 的數(shù)值變化由小至大改變且包含達(dá)到一預(yù)定值TH的一區(qū)塊比對(duì)差值時(shí)，起始位置決定模 塊2201會(huì)以該區(qū)塊比對(duì)差值所對(duì)應(yīng)的區(qū)塊位置來作為該第一插補(bǔ)畫面中一起始位置，亦 稱為影像覆蓋區(qū)(或影像顯露區(qū))的起始點(diǎn)；例如，以圖6(a)來說，起始位置決定模塊2201 系將區(qū)塊比對(duì)差值Dl所對(duì)應(yīng)的起始位置Pl以及區(qū)塊比對(duì)差值D2所對(duì)應(yīng)的起始位置P2決 定為可判斷出影像覆蓋區(qū)(或影像顯露區(qū))的邊緣位置，這是因?yàn)橐杂跋癞嬅鍲n-l、Fn中 的水平方向來說，前景物體系由右至左移動(dòng)，而背景影像系由左至右移動(dòng)，使用影像范圍R1 內(nèi)的區(qū)塊的候選向量MV1 (此時(shí)實(shí)際上系對(duì)應(yīng)于背景移動(dòng)向量)來計(jì)算其所對(duì)應(yīng)到的一區(qū) 塊比對(duì)差值，系取第一插補(bǔ)畫面F'之前、后兩張影像畫面Fn-l、 Fn的影像范圍Rl'與Rl" 內(nèi)的影像來計(jì)算，而因?yàn)橛跋穹秶鶵l'與Rl"的影像系為相同/相似的背景影像，所以影像 范圍R1所對(duì)應(yīng)到的計(jì)算出的區(qū)塊比對(duì)差值皆相當(dāng)??；當(dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊實(shí)際 系位于影像覆蓋區(qū)時(shí)(例如影像范圍R2內(nèi)的區(qū)塊)，則使用候選向量MV1(此時(shí)實(shí)際上仍對(duì) 應(yīng)于背景移動(dòng)向量)所計(jì)算出的區(qū)塊比對(duì)差值會(huì)開始變大，這是因?yàn)樵谇?、后兩張影像?面F1、F2的影像范圍R2'與R2"內(nèi)找不到相同或相似的影像，其中影像范圍R2'內(nèi)系背景 影像，影像范圍R2"內(nèi)系前景影像；以影像范圍Rl與R2之間的一起始位置所對(duì)應(yīng)的計(jì)算出 的區(qū)塊比對(duì)差值來說，其數(shù)值變化將由左至右、由小至大突然增加而大于預(yù)定值TH，因此區(qū) 塊比對(duì)差值D1所對(duì)應(yīng)的起始位置P1即是影像覆蓋區(qū)(或影像顯露區(qū))的一邊緣位置，請(qǐng) 注意，此時(shí)僅知起始位置Pl系影像覆蓋區(qū)或影像顯露區(qū)的邊緣位置，需待計(jì)算單元205后 續(xù)進(jìn)行其它運(yùn)算始能得知起始位置Pl實(shí)際系為影像覆蓋區(qū)的邊緣位置。
此外，使用影像范圍R3內(nèi)的區(qū)塊的候選向量MV1(此時(shí)實(shí)際上系對(duì)應(yīng)于前景移動(dòng)
10向量)來計(jì)算其所對(duì)應(yīng)到的一區(qū)塊比對(duì)差值，會(huì)取影像畫面Fn-l、Fn的影像范圍R3'與R3" 內(nèi)的影像來計(jì)算，而因?yàn)橛跋穹秶鶵3'與R3"的影像系為相同/相似的前景影像，所以影像 范圍R3所對(duì)應(yīng)到的計(jì)算出的區(qū)塊比對(duì)差值皆相當(dāng)小；當(dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊實(shí)際 系位于影像顯露區(qū)時(shí)(例如影像范圍R4內(nèi)的區(qū)塊)，則使用候選向量MV1(此時(shí)實(shí)際上仍對(duì) 應(yīng)于前景移動(dòng)向量)所計(jì)算出的區(qū)塊比對(duì)差值會(huì)開始變大，這是因?yàn)樵谟跋癞嬅鍲1、 F2的 影像范圍R4'與R4"內(nèi)找不到相同或相似的影像，其中影像范圍R4'內(nèi)系前景影像，影像范 圍R4"內(nèi)系背景影像；以影像范圍R3與R4之間的一起始位置所對(duì)應(yīng)的計(jì)算出的區(qū)塊比對(duì) 差值來說，其數(shù)值變化將由左至右、由小至大突然增加而大于預(yù)定值TH，因此區(qū)塊比對(duì)差值 D2所對(duì)應(yīng)的起始位置P2即是影像覆蓋區(qū)(或影像顯露區(qū))的一邊緣位置，請(qǐng)注意，此時(shí)僅 知起始位置P2系影像覆蓋區(qū)或影像顯露區(qū)的邊緣位置，需待計(jì)算單元205后續(xù)進(jìn)行其它運(yùn) 算始能得知起始位置P2實(shí)際系為影像顯露區(qū)的邊緣位置。 同理，如圖6(b)所示，起始位置決定模塊2201可使用第一插補(bǔ)畫面F'的每一插 補(bǔ)區(qū)塊的右候選向量MV2進(jìn)行區(qū)塊比對(duì)運(yùn)算，以分別計(jì)算出的對(duì)應(yīng)于第一插補(bǔ)畫面F'的復(fù) 數(shù)個(gè)插補(bǔ)區(qū)塊的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值(以圖6(b)所示的曲線DCV'表示)；依據(jù)該等區(qū)塊 比對(duì)差值DCV'的數(shù)值變化，起始位置決定模塊2201可決定出第一插補(bǔ)畫面F'中兩起始位 置P3、P4，而該等起始位置系位于影像覆蓋區(qū)(或影像顯露區(qū))的邊緣，因而可用于判斷出 影像覆蓋區(qū)(或影像顯露區(qū))的實(shí)際影像區(qū)域。實(shí)作上，針對(duì)曲線DCV'，起始位置決定模 塊2201系偵測(cè)其數(shù)值變化的大小，當(dāng)曲線DCV'(包含使用候選向量MV2所算出的復(fù)數(shù)個(gè) 區(qū)塊比對(duì)差值)中一由左至右的數(shù)值變化由大至小改變且包含達(dá)到一預(yù)定值TH'的一區(qū)塊 比對(duì)差值時(shí)，起始位置決定模塊2201會(huì)以該區(qū)塊比對(duì)差值所對(duì)應(yīng)的區(qū)塊位置來作為該第 一插補(bǔ)畫面中一起始位置，亦稱為影像覆蓋區(qū)(或影像顯露區(qū))的起始點(diǎn)；例如，以圖6(b) 來說，起始位置決定模塊2201會(huì)將區(qū)塊比對(duì)差值D3所對(duì)應(yīng)的起始位置P3以及區(qū)塊比對(duì)差 值D4所對(duì)應(yīng)的起始位置P4決定為可判斷出影像覆蓋區(qū)(或影像顯露區(qū))的邊緣位置，這 是因?yàn)楫?dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊實(shí)際系位于影像覆蓋區(qū)時(shí)(例如影像范圍R5內(nèi)的區(qū) 塊)，使用影像范圍R5內(nèi)的區(qū)塊的候選向量MV2(此時(shí)實(shí)際上系對(duì)應(yīng)于前景移動(dòng)向量)來 計(jì)算其所對(duì)應(yīng)到的一區(qū)塊比對(duì)差值，系取影像畫面Fn-l、 Fn的影像范圍R5'與R5"內(nèi)的影 像來計(jì)算，而因?yàn)橛跋穹秶鶵5'與R5"的影像系為不同的背景影像，所以影像范圍R5所對(duì) 應(yīng)到的計(jì)算出的區(qū)塊比對(duì)差值皆較大；而當(dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊位于前景物體影像 區(qū)域時(shí)(例如影像范圍R6內(nèi)的區(qū)塊)，則使用候選向量MV2(此時(shí)實(shí)際上仍對(duì)應(yīng)于前景移 動(dòng)向量)所計(jì)算出的一區(qū)塊比對(duì)差值會(huì)變小，這是因?yàn)樵趦蓮堄跋癞嬅鍲1、 F2的影像范圍 R6'與R6"內(nèi)的影像系為相同的前景物體影像；因此，對(duì)于影像范圍R5與R6之間的一起始 位置P3所對(duì)應(yīng)的計(jì)算出的區(qū)塊比對(duì)差值D3來說，其數(shù)值變化將由左至右、由大至小突然減 少而小于預(yù)定值TH'，因此區(qū)塊比對(duì)差值D3所對(duì)應(yīng)的起始位置P3即是影像覆蓋區(qū)(或影像 顯露區(qū))的一邊緣位置，請(qǐng)注意，此時(shí)僅知起始位置P3系影像覆蓋區(qū)或影像顯露區(qū)的邊緣 位置，需待計(jì)算單元205后續(xù)進(jìn)行其它運(yùn)算始能得知起始位置P3實(shí)際系為影像覆蓋區(qū)的邊 緣位置。 此外，當(dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊實(shí)際系位于影像顯露區(qū)時(shí)(例如影像范圍R7 內(nèi)的區(qū)塊)，使用影像范圍R7內(nèi)的區(qū)塊的候選向量MV2(此時(shí)實(shí)際上系對(duì)應(yīng)于背景移動(dòng)向 量)來計(jì)算其所對(duì)應(yīng)到的一區(qū)塊比對(duì)差值，會(huì)取影像畫面Fn-l、Fn的影像范圍R7'與R7"內(nèi)的影像來計(jì)算，而因?yàn)橛跋穹秶鶵7'與R7"的影像系為不同的影像，其中影像范圍R7'內(nèi)系 為前景物體影像，而影像范圍R7"內(nèi)系為背景影像，所以影像范圍R7所對(duì)應(yīng)到的計(jì)算出的 區(qū)塊比對(duì)差值皆相當(dāng)大；而當(dāng)所計(jì)算的影像范圍內(nèi)的區(qū)塊實(shí)際系位于背景影像區(qū)域時(shí)(例 如影像范圍R8內(nèi)的區(qū)塊)，則使用候選向量MV2(此時(shí)實(shí)際上仍對(duì)應(yīng)于背景移動(dòng)向量)所計(jì) 算出的一區(qū)塊比對(duì)差值會(huì)開始變小，這是因?yàn)橛跋穹秶鶵8'與R8"內(nèi)系為相同/相似的背 景影像；因此，對(duì)于影像范圍R7與R8之間的一起始位置P4所對(duì)應(yīng)的計(jì)算出的區(qū)塊比對(duì)差 值D4來說，其數(shù)值變化將由左至右、由大至小突然減少而小于預(yù)定值TH'，因此區(qū)塊比對(duì)差 值D4所對(duì)應(yīng)的起始位置P4即是影像覆蓋區(qū)(或影像顯露區(qū))的一邊緣位置，請(qǐng)注意，此時(shí) 僅知起始位置P4系影像覆蓋區(qū)或影像顯露區(qū)的邊緣位置，需待計(jì)算單元205后續(xù)進(jìn)行其它 運(yùn)算始能得知起始位置P4實(shí)際系為影像顯露區(qū)的邊緣位置。 如上所述，起始位置決定模塊2201系對(duì)第一插補(bǔ)畫面中每一插補(bǔ)區(qū)塊使用其左、 右兩候選向量MV1、 MV2進(jìn)行區(qū)塊比對(duì)運(yùn)算來得到該等區(qū)塊比對(duì)差值(例如圖6(a)所示的 曲線DCV與圖6(b)所示的曲線DCV');起始位置決定模塊2201亦可對(duì)第二插補(bǔ)畫面中的 每一插補(bǔ)區(qū)塊使用其左、右兩候選向量MV1'、 MV2'進(jìn)行區(qū)塊比對(duì)運(yùn)算來得到另外復(fù)數(shù)個(gè)區(qū) 塊比對(duì)差值，并同樣利用該等另外的區(qū)塊比對(duì)差值來得到影像覆蓋區(qū)(或影像顯露區(qū))的 邊緣起始位置(或稱起始點(diǎn))P1' P4';由于其運(yùn)算過程類似于前述的運(yùn)算過程，因此在 此不另贅述。 在起始位置決定模塊2201計(jì)算出起始位置Pl P4以及Pl' P4'后，向量選擇 模塊2202依據(jù)起始位置Pl P4以及Pl' P4'已可得知第一插補(bǔ)畫面與第二插補(bǔ)畫面 中一影像覆蓋區(qū)(或一影像顯露區(qū))實(shí)際存在的區(qū)域，例如，向量選擇模塊2202依據(jù)起始 位置P1(或P1')往右側(cè)并依據(jù)起始位置P3(或P3')往左側(cè)所找到的影像區(qū)域，即是第一 插補(bǔ)畫面(或第二插補(bǔ)畫面)中的影像覆蓋區(qū)或影像顯露區(qū)，而依據(jù)起始位置P2(或P2') 往右側(cè)并依據(jù)起始位置P4(或P4')往左側(cè)所找到的影像區(qū)域，即是第一插補(bǔ)畫面(或第二 插補(bǔ)畫面)中的影像覆蓋區(qū)或影像顯露區(qū)，值得注意的是，此處所找到的影像區(qū)域尚未被 確認(rèn)為一影像覆蓋區(qū)或一影像顯露區(qū)，僅知其為影像覆蓋區(qū)與影像顯露區(qū)的其中之一，需 另依據(jù)所找到的影像區(qū)域內(nèi)的區(qū)塊的候選向量MV1'、MV2'的向量差來進(jìn)一步地判斷該影像 區(qū)域系為影像覆蓋區(qū)或系為影像顯露區(qū)，其詳細(xì)運(yùn)作于稍后描述；此外，當(dāng)候選向量MV1'、 MV2'的向量差愈大時(shí)，影像覆蓋區(qū)(或影像顯露區(qū))的實(shí)際影像區(qū)域亦會(huì)愈大，反之亦然。
承上所述，起始位置決定模塊2201在計(jì)算出起始位置Pl P4與Pl' P4'后， 向量選擇模塊2202可依據(jù)起始位置P1 P4與P1' P4'來決定上述第二插補(bǔ)區(qū)塊的目 標(biāo)移動(dòng)向量，該目標(biāo)移動(dòng)向量系用來決定/產(chǎn)生第二插補(bǔ)區(qū)塊的實(shí)際影像。具體來說，請(qǐng)參 照?qǐng)D7，其系為起始位置決定模塊2201所決定的起始位置P1 P4與P1' P4'的范例示 意圖；向量選擇模塊2202會(huì)分別參考Pl與Pl' 、P2與P2' 、P3與P3'以及P4與P4'來算出 參考向量V1 V4，以依據(jù)參考向量V1 V4中至少其一從第二插補(bǔ)區(qū)塊的候選向量MV1'、 MV2'中選取其中之一來決定該目標(biāo)移動(dòng)向量，其中參考向量V1 V4皆對(duì)應(yīng)或相近于前景 移動(dòng)向量，而實(shí)作上，向量選擇模塊2202系比較參考向量VI V4中至少其一與候選向量 MV1' 、 MV2'，當(dāng)參考向量VI V4其中之一相近于候選向量MV1' 、 MV2'的其中之一時(shí)，向量 選擇模塊2202會(huì)選取候選向量MV1'、MV2'的另一來作為該目標(biāo)移動(dòng)向量，因此，若第二插 補(bǔ)區(qū)塊實(shí)際位于影像覆蓋區(qū)或影像顯露區(qū)，則所決定出的目標(biāo)移動(dòng)向量會(huì)對(duì)應(yīng)或相近于背景移動(dòng)向量，例如，若第二插補(bǔ)區(qū)塊系為圖7所示的MB，則候選向量MV1'系對(duì)應(yīng)或相近于 背景移動(dòng)向量而候選向量MV2'則對(duì)應(yīng)或相近于前景移動(dòng)向量，如此，向量選擇模塊2202會(huì) 選取對(duì)應(yīng)或相近于背景移動(dòng)向量的候選向量MV1'作為目標(biāo)移動(dòng)向量，并依此所決定的目標(biāo) 移動(dòng)向量來產(chǎn)生插補(bǔ)區(qū)塊MB的影像；而若第二插補(bǔ)區(qū)塊系為圖7所示的MB'，則候選向量 MV1'系對(duì)應(yīng)或相近于前景移動(dòng)向量而候選向量MV2'則對(duì)應(yīng)或相近于背景移動(dòng)向量，向量選 擇模塊2202會(huì)選取對(duì)應(yīng)或相近于背景移動(dòng)向量的候選向量MV2'作為目標(biāo)移動(dòng)向量，并依 此所決定的目標(biāo)移動(dòng)向量來產(chǎn)生插補(bǔ)區(qū)塊MB'的影像。 此外，若第二插補(bǔ)區(qū)塊實(shí)際并非位于影像覆蓋區(qū)或影像顯露區(qū)，則向量選擇模塊 2202仍可決定出正確的移動(dòng)向量，例如，若第二插補(bǔ)區(qū)塊系為圖7所示的MB"，則其候選向 量MV1'、MV2'皆系對(duì)應(yīng)或相近于背景移動(dòng)向量，因此，無論是否依據(jù)參考向量V1 V4來 決定插補(bǔ)區(qū)塊MB"的目標(biāo)移動(dòng)向量，向量選擇模塊2202任意挑選其兩第二候選向量MV1'、 MV2'其中之一作為其目標(biāo)移動(dòng)向量，實(shí)際上對(duì)于插補(bǔ)區(qū)塊MB"來說皆是得以產(chǎn)生較佳背 景影像畫面的移動(dòng)向量；另外，若第二插補(bǔ)區(qū)塊系為圖7所示的MB'"，則其候選向量MV1'、 MV2'皆系對(duì)應(yīng)或相近于前景移動(dòng)向量，向量選擇模塊2202任意挑選兩候選向量MV1' 、MV2' 其中之一作為其目標(biāo)移動(dòng)向量，實(shí)際上對(duì)于插補(bǔ)區(qū)塊MB'"來說皆是得以產(chǎn)生較佳前景物體 影像畫面的移動(dòng)向量。 在另一實(shí)施例中，亦可僅藉由單一參考向量從第二插補(bǔ)區(qū)塊的候選向量MV1'、 MV2'中選取其中之一來決定該目標(biāo)移動(dòng)向量，而此亦落入本發(fā)明的范疇；需注意的是，在此 實(shí)施例中，例如若僅藉由參考向量VI來決定目標(biāo)移動(dòng)向量，則向量選擇模塊2202不需計(jì)算 出參考向量V2 V4，然而，仍需決定出起始位置Pl P4與Pl' P4'，以便判斷影像覆蓋 區(qū)與影像顯露區(qū)的實(shí)際影像區(qū)域，換言之，本發(fā)明的實(shí)施例僅藉由決定兩起始位置(Pl與 Pl' 、 P2與P2' 、 P3與P3'及P4與P4'其中一組)，即可決定出第二插補(bǔ)區(qū)塊的目標(biāo)移動(dòng)向 產(chǎn)生第二插補(bǔ)區(qū)塊的影像的實(shí)際運(yùn)作則詳述于下。首先，由于本發(fā)明的實(shí)施例主 要系以水平移動(dòng)影像的例子作為說明，因此以移動(dòng)向量由左至右的方向?yàn)檎?，反之，其相?duì) 的方向(由右至左)則為負(fù)；然而，此非本發(fā)明的限制，凡在二維平面空間上以某一特定方 向?yàn)檎?，再以其相?duì)方向?yàn)樨?fù)的例子，皆符合本發(fā)明的精神。計(jì)算單元205系以第二插補(bǔ)區(qū) 塊的一候選向量減去其另一候選向量所得到的向量差，來判斷第二插補(bǔ)區(qū)塊系落于影像覆 蓋區(qū)或系落于影像顯露區(qū)，請(qǐng)?jiān)俅螀⒖紙D7，舉例來說，對(duì)于圖7中插補(bǔ)區(qū)塊MB而言，計(jì)算單 元205內(nèi)的影像產(chǎn)生模塊225將插補(bǔ)區(qū)塊MB的候選向量MV1'減去其候選向量MV2'，所得 到的向量差為正，因此判斷插補(bǔ)區(qū)塊MB系屬于影像覆蓋區(qū)，接著依照所決定的目標(biāo)移動(dòng)向 量至第二插補(bǔ)畫面的前一張非插補(bǔ)畫面Fn中取得相對(duì)應(yīng)區(qū)塊的影像來作為插補(bǔ)區(qū)塊MB的 影像；另外，對(duì)于圖7中插補(bǔ)區(qū)塊MB'，影像產(chǎn)生模塊225將插補(bǔ)區(qū)塊MB'的候選向量MV1' 減去其候選向量MV2'，所得到的向量差為負(fù)，因此判斷區(qū)塊MB系屬于影像顯露區(qū)，接著依 照所決定的目標(biāo)移動(dòng)向量至第二插補(bǔ)畫面之后一張非插補(bǔ)畫面Fn+1中取得一相對(duì)應(yīng)區(qū)塊 的影像來作為插補(bǔ)區(qū)塊MB'的影像；換言之，由于可利用第二插補(bǔ)區(qū)塊的兩候選向量的向 量差來判斷第二插補(bǔ)區(qū)塊系落入一影像覆蓋區(qū)或系落入一影像顯露區(qū)，所以，影像產(chǎn)生模 塊225可利用判斷的結(jié)果，自第二插補(bǔ)畫面之前一張非插補(bǔ)畫面的影像與后一張非插補(bǔ)畫 面的影像中擇一作為第二插補(bǔ)區(qū)塊的影像。
綜上所述，針對(duì)插補(bǔ)畫面中屬于影像覆蓋區(qū)或影像顯露區(qū)的區(qū)塊，本發(fā)明的實(shí)施 例中的影像處理裝置200可正確地計(jì)算出該區(qū)塊的目標(biāo)移動(dòng)向量，使得以該目標(biāo)移動(dòng)向 量來進(jìn)行影像插補(bǔ)時(shí)可得到較佳的影像，有助于提升執(zhí)行畫面更新頻率轉(zhuǎn)換運(yùn)作的影像質(zhì) 以上所述僅為本發(fā)明的較佳實(shí)施例，凡依本發(fā)明申請(qǐng)專利范圍所做的均等變化與 修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。
權(quán)利要求
一種影像處理方法，用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)，決定一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的移動(dòng)向量，該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組成，其特征在于，該影像處理方法包含有依據(jù)復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)原始移動(dòng)向量，決定一區(qū)塊的一影像差異值；依據(jù)一維空間復(fù)數(shù)連續(xù)區(qū)塊復(fù)數(shù)鄰近區(qū)塊的復(fù)數(shù)影像差異值，決定該一維空間復(fù)數(shù)連續(xù)區(qū)塊的復(fù)數(shù)左移動(dòng)向量及復(fù)數(shù)右移動(dòng)向量；依據(jù)該一維空間復(fù)數(shù)連續(xù)區(qū)塊的該些左移動(dòng)向量或該些右移動(dòng)向量，決定該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一起始位置；以及依據(jù)該起始位置及一前一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一起始位置，選擇該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中每一區(qū)塊的一相對(duì)應(yīng)左移動(dòng)向量或一相對(duì)應(yīng)右移動(dòng)向量作為每一區(qū)塊的移動(dòng)向量。
2. 如權(quán)利要求1所述的影像處理方法，其特征在于，該些原始移動(dòng)向量系依據(jù)一前一 原始畫面及一后一原始畫面進(jìn)行區(qū)塊比對(duì)所獲得。
3. 如權(quán)利要求1所述的影像處理方法，其特征在于，決定該插補(bǔ)畫面的影像覆蓋區(qū)/影 像顯露區(qū)的該起始位置的步驟包含有利用該些左移動(dòng)向量及該些右移動(dòng)向量的其中之一，來計(jì)算該些連續(xù)區(qū)塊所對(duì)應(yīng)的復(fù) 數(shù)個(gè)區(qū)塊比對(duì)差值；以及依據(jù)該些區(qū)塊比對(duì)差值的數(shù)值變化來決定該起始位置。
4. 如權(quán)利要求1所述的影像處理方法，其特征在于，選擇該該插補(bǔ)畫面的影像覆蓋區(qū) /影像顯露區(qū)中每一區(qū)塊的該相對(duì)應(yīng)左移動(dòng)向量或該相對(duì)應(yīng)右移動(dòng)向量作為每一區(qū)塊的該 移動(dòng)向量的步驟包含有參考該插補(bǔ)畫面的該起始位置與該前一插補(bǔ)畫面的該起始位置來產(chǎn)生一參考向量；以及比較該參考向量與該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中每一區(qū)塊的該相對(duì)應(yīng)左、 右移動(dòng)向量；以及當(dāng)該參考向量相近于該相對(duì)應(yīng)左、右移動(dòng)向量的其中之一時(shí)，選取該相對(duì)應(yīng)左、右移動(dòng) 向量的另一作為該移動(dòng)向量。
5. —種影像處理方法，用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)，決定一插補(bǔ)畫面的影像覆蓋區(qū)/影 像顯露區(qū)的移動(dòng)向量，該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組成，其特征在于，該影像處理方法包含 有分別決定該插補(bǔ)畫面中一區(qū)塊的一第一候選向量與一第二候選向量及一前一插補(bǔ)畫 面中一區(qū)塊的一第一候選向量與一第二候選向量；分別利用該插補(bǔ)畫面及該前一插補(bǔ)畫面的復(fù)數(shù)第一候選向量與復(fù)數(shù)第二候選向量的 其中之一，以決定該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一起始位置及該前一插補(bǔ)畫面 的影像覆蓋區(qū)/影像顯露區(qū)的一起始位置；以及依據(jù)該插補(bǔ)畫面中該起始位置及該前一插補(bǔ)畫面中該起始位置，決定位于該插補(bǔ)畫面 的影像覆蓋區(qū)/影像顯露區(qū)中該區(qū)塊的移動(dòng)向量為該第一候選向量與該第二候選向量其 中之一。
6. 如權(quán)利要求5所述的影像處理方法，其特征在于，決定該插補(bǔ)畫面中該區(qū)塊的該第一、第二候選向量及該前一插補(bǔ)畫面中該區(qū)塊的該第一、第二候選向量的步驟包含有依據(jù)該插補(bǔ)畫面/該前一插補(bǔ)畫面中該區(qū)塊的復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)原始移動(dòng)向量，決定該區(qū)塊的一影像差異值；以及依據(jù)一維空間復(fù)數(shù)連續(xù)區(qū)塊的復(fù)數(shù)影像差異值，分別決定該復(fù)數(shù)連續(xù)區(qū)塊的該第一候選向量與該第二候選向量。
7. 如權(quán)利要求6所述的影像處理方法，其特征在于，該些原始移動(dòng)向量系依據(jù)一前一原始畫面及一后一原始畫面進(jìn)行區(qū)塊比對(duì)所獲得。
8. 如權(quán)利要求5所述的影像處理方法，其特征在于，決定該插補(bǔ)畫面中該起始位置及該前一插補(bǔ)畫面中該起始位置的步驟包含有利用該插補(bǔ)畫面及該前一插補(bǔ)畫面的該些第一、第二候選向量的其中之一，來計(jì)算該插補(bǔ)畫面中復(fù)數(shù)個(gè)區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值及該前一插補(bǔ)畫面中復(fù)數(shù)個(gè)區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值；以及分別依據(jù)該插補(bǔ)畫面中該些區(qū)塊比對(duì)差值的數(shù)值變化與該前一插補(bǔ)畫面中該些區(qū)塊比對(duì)差值的數(shù)值變化，來決定該插補(bǔ)畫面中該起始位置與該前一插補(bǔ)畫面中該起始位置。
9. 如權(quán)利要求5所述的影像處理方法，其特征在于，決定位于該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中該區(qū)塊的移動(dòng)向量為該第一、第二候選向量其中之一的步驟包含有參考該插補(bǔ)畫面的該起始位置與該前一插補(bǔ)畫面的該起始位置來產(chǎn)生一參考向量；以及比較該參考向量與該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中該區(qū)塊的該第一、第二候選向量；以及當(dāng)該參考向量相近于該第一、第二候選向量的其中之一時(shí)，選取該第一、第二候選向量的另一來作為該區(qū)塊的該目標(biāo)移動(dòng)向量。
10. 如權(quán)利要求5所述的影像處理方法，其特征在于，決定該插補(bǔ)畫面及該前一插補(bǔ)畫面中該些區(qū)塊的該些第一候選向量與該些第二候選向量包含有依據(jù)一區(qū)塊比對(duì)法(block matching algorithm)計(jì)算該些區(qū)塊的復(fù)數(shù)移動(dòng)向量；依據(jù)該些區(qū)塊的該些移動(dòng)向量，計(jì)算一數(shù)值曲線；以及依據(jù)該數(shù)值曲線來決定該些區(qū)塊的該些第一候選向量與該些第二候選向量，其中該些第一候選向量系對(duì)應(yīng)至位于該數(shù)值曲線的一極大值的左側(cè)的一極小值，以及該些第二候選向量系對(duì)應(yīng)至位于該數(shù)值曲線的該極大值的右側(cè)的一極小值。
11. 如權(quán)利要求5所述的影像處理方法，其特征在于，其另包含有依據(jù)該區(qū)塊的該第一、第二候選向量之差與該移動(dòng)向量，決定利用一前一原始畫面與一后一原始畫面的其中之一進(jìn)行影像插補(bǔ)。
12. —種影像處理裝置，用于進(jìn)行運(yùn)動(dòng)畫面插補(bǔ)時(shí)，決定一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的移動(dòng)向量，該插補(bǔ)畫面由復(fù)數(shù)個(gè)區(qū)塊所組成，其特征在于，該影像處理裝置包含有一儲(chǔ)存單元，用于至少儲(chǔ)存該插補(bǔ)畫面的一前一原始畫面與一后一原始畫面以及一前一插補(bǔ)畫面的一起始位置；以及一計(jì)算單元，耦接至該儲(chǔ)存單元，包含有一候選向量產(chǎn)生模塊，用于決定該插補(bǔ)畫面的復(fù)數(shù)區(qū)塊的復(fù)數(shù)第一候選向量與復(fù)數(shù)第二候選向量；以及一移動(dòng)向量決定模塊，依據(jù)該插補(bǔ)畫面的該些區(qū)塊的該些第一候選向量、該些第二候選向量與該前一插補(bǔ)畫面的該起始位置，決定位于該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的一區(qū)塊的一移動(dòng)向量。
13. 如權(quán)利要求12所述的影像處理裝置，其特征在于，該候選向量產(chǎn)生模塊包含有一影像差異值產(chǎn)生模塊，依據(jù)該區(qū)塊的復(fù)數(shù)個(gè)鄰近區(qū)塊的復(fù)數(shù)原始移動(dòng)向量，決定該區(qū)塊的一影像差異值；以及一候選向量決定模塊，依據(jù)一維空間復(fù)數(shù)連續(xù)區(qū)塊的復(fù)數(shù)影像差異值，分別決定該些連續(xù)區(qū)塊的復(fù)數(shù)第一候選向量與復(fù)數(shù)第二候選向量。
14. 如權(quán)利要求12所述的影像處理裝置，其特征在于，該移動(dòng)向量決定模塊包含有一起始位置決定模塊，利用該插補(bǔ)畫面中該些區(qū)塊的該些第一候選向量及該些第二候選向量的其中之一，來計(jì)算該些區(qū)塊所對(duì)應(yīng)的復(fù)數(shù)個(gè)區(qū)塊比對(duì)差值，并依據(jù)該些區(qū)塊比對(duì)差值的數(shù)值變化來決定該插補(bǔ)畫面的一起始位置；以及一向量選擇模塊，依據(jù)該插補(bǔ)畫面的該起始位置與該前一插補(bǔ)畫面的該起始位置來產(chǎn)生一參考向量，并比較該參考向量與該插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)中該區(qū)塊的該第一、第二候選向量，選取該第一、第二候選向量與該參考向量較不相近的其中之一作為該區(qū)塊的該移動(dòng)向量。
全文摘要
本發(fā)明公開了一種用以決定插補(bǔ)畫面的移動(dòng)向量的影像處理方法及其相關(guān)裝置，有助于提升執(zhí)行畫面更新頻率轉(zhuǎn)換運(yùn)作的影像質(zhì)量。該影像處理方法包含依據(jù)復(fù)數(shù)個(gè)鄰近區(qū)塊的原始移動(dòng)向量決定一區(qū)塊的影像差異值；依據(jù)一維空間復(fù)數(shù)連續(xù)區(qū)塊的差異值決定該復(fù)數(shù)連續(xù)區(qū)塊的左移動(dòng)向量及右移動(dòng)向量；依據(jù)該復(fù)數(shù)連續(xù)區(qū)塊的左移動(dòng)向量或右移動(dòng)向量決定影像覆蓋區(qū)/影像顯露區(qū)的起始位置；以及依據(jù)該起始位置及前一插補(bǔ)畫面的影像覆蓋區(qū)/影像顯露區(qū)的起始位置，選擇影像覆蓋區(qū)/影像顯露區(qū)中各區(qū)塊的左移動(dòng)向量或該右移動(dòng)向量作為該移動(dòng)向量。
文檔編號(hào)H04N5/14GK101753795SQ200810183419
公開日2010年6月23日 申請(qǐng)日期2008年12月16日 優(yōu)先權(quán)日2008年12月16日
發(fā)明者林于森, 許得衛(wèi), 陳仲怡 申請(qǐng)人:晨星軟件研發(fā)(深圳)有限公司;晨星半導(dǎo)體股份有限公司