圖像處理設(shè)備、圖像處理方法和程序的制作方法
【專(zhuān)利摘要】本發(fā)明提供了計(jì)算具有高可靠度的全局運(yùn)動(dòng)向量(GMV)的方法和裝置。計(jì)算對(duì)應(yīng)于塊的局部運(yùn)動(dòng)向量(LMV)、以及作為每個(gè)塊的LMV的可靠度指標(biāo)的塊權(quán)重，并根據(jù)塊權(quán)重計(jì)算全局運(yùn)動(dòng)向量(GMV)。針對(duì)關(guān)注塊和與關(guān)注塊鄰近的鄰近塊計(jì)算對(duì)應(yīng)于塊的局部運(yùn)動(dòng)向量(LMV)的可靠度，還計(jì)算關(guān)注塊和鄰近塊的局部運(yùn)動(dòng)向量(LMV)的相似度，并通過(guò)應(yīng)用可靠度和相似度執(zhí)行的計(jì)算處理來(lái)計(jì)算塊權(quán)重。通過(guò)該特征，可以高效地計(jì)算具有高可靠度的全局運(yùn)動(dòng)向量(GMV)。
【專(zhuān)利說(shuō)明】圖像處理設(shè)備、圖像處理方法和程序
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及一種圖像處理設(shè)備、圖像處理方法和程序。具體地，本公開(kāi)涉及用于執(zhí)行檢測(cè)圖像中的運(yùn)動(dòng)向量的處理的圖像處理設(shè)備、圖像處理方法和程序。
【背景技術(shù)】
[0002]在諸如運(yùn)動(dòng)圖像的壓縮的圖像編碼中，檢測(cè)運(yùn)動(dòng)向量，并執(zhí)行基于運(yùn)動(dòng)向量信息的數(shù)據(jù)壓縮處理。在被稱(chēng)作圖像編碼系統(tǒng)的MPEG系統(tǒng)中，例如，執(zhí)行將每個(gè)幀分割成塊并針對(duì)當(dāng)前幀和參考幀的對(duì)應(yīng)塊中的每個(gè)塊檢測(cè)運(yùn)動(dòng)向量的處理。然而，當(dāng)塊單位的運(yùn)動(dòng)向量信息包括在壓縮數(shù)據(jù)中時(shí)，數(shù)據(jù)量增大。當(dāng)通過(guò)例如平搖、傾斜和手抖等來(lái)移動(dòng)攝像裝置時(shí)，各個(gè)塊的多數(shù)運(yùn)動(dòng)向量是共同的。在這種情況下，可以通過(guò)不設(shè)置塊單位的運(yùn)動(dòng)向量而是設(shè)置對(duì)應(yīng)于單個(gè)幀的單個(gè)運(yùn)動(dòng)向量并執(zhí)行編碼處理，來(lái)減少數(shù)據(jù)量。
[0003]塊單位的單獨(dú)的運(yùn)動(dòng)向量被稱(chēng)作局部運(yùn)動(dòng)向量(LMV)，并且對(duì)應(yīng)于單個(gè)幀的單個(gè)運(yùn)動(dòng)向量被稱(chēng)作全局運(yùn)動(dòng)向量(GMV)。例如在MPEG-4中采用使用全局運(yùn)動(dòng)向量(GMV)的數(shù)據(jù)編碼。
[0004]例如，如圖1(a)所示，存在在時(shí)間t0和tl處拍攝的兩個(gè)幀圖像10和11。這兩個(gè)幀是通過(guò)例如平搖、傾斜、手抖等移動(dòng)攝像裝置而拍攝的幀，并且如附圖所示拍攝圖像整體地移動(dòng)。
[0005]當(dāng)對(duì)這種圖像進(jìn)行編碼時(shí)，每個(gè)幀被分割成例如n像素Xn像素的多個(gè)塊。常規(guī)地，通過(guò)檢測(cè)各個(gè)塊單位的運(yùn)動(dòng)向量(MV)，S卩，局部運(yùn)動(dòng)向量(LMV)，執(zhí)行使用塊單位的各個(gè)運(yùn)動(dòng)向量的數(shù)據(jù)壓縮和恢復(fù)處理。然而，當(dāng)通過(guò)平搖、傾斜、手抖等移動(dòng)攝像裝置時(shí)，如圖1 (b)所示,任何每個(gè)塊的運(yùn)動(dòng)向量變?yōu)榛旧舷嗤南蛄俊?br> [0006]在這種情況下，如圖1(c)所示，通過(guò)執(zhí)行使用表示整個(gè)屏幕的運(yùn)動(dòng)的單個(gè)運(yùn)動(dòng)向量21的圖像編碼，可以極大提高編碼效率。表示整個(gè)屏幕的運(yùn)動(dòng)的這樣的向量被稱(chēng)作全局運(yùn)動(dòng)向量(GMV)。
[0007]全局運(yùn)動(dòng)向量(GMV)可以被表示為下述數(shù)據(jù):所述數(shù)據(jù)使用不僅伴隨有簡(jiǎn)單的平行移動(dòng)而且伴隨有使用多個(gè)參數(shù)的旋轉(zhuǎn)、放大和縮小的仿射變換和投影陰影變換(projection shadow transformation)的數(shù)據(jù),如附圖所示。如上所述,作為應(yīng)用全局運(yùn)動(dòng)向量(GMV)的編碼方法，采用MPEG-4等。
[0008]在MPEG-4中，應(yīng)用全局運(yùn)動(dòng)向量(GMV)，采用使用全局運(yùn)動(dòng)補(bǔ)償(GMC)的圖像編碼方法作為標(biāo)準(zhǔn)，在編碼裝置(編碼器)側(cè)檢測(cè)全局運(yùn)動(dòng)向量(GMV)，并通過(guò)使用從解碼裝置(解碼器)側(cè)傳送的全局運(yùn)動(dòng)向量(GMV)執(zhí)行基于全局運(yùn)動(dòng)補(bǔ)償(GMC)的恢復(fù)。
[0009]全局運(yùn)動(dòng)向量(GMV)在圖2所示的當(dāng)前幀與參考幀之間的對(duì)應(yīng)相似像素位置(x，y)和(x’，y’)的關(guān)系中被表示為使用平行移動(dòng)、旋轉(zhuǎn)、放大、縮小、仿射變換、投影陰影變換等的數(shù)據(jù)，并且通常單個(gè)全局運(yùn)動(dòng)向量(GMV)被應(yīng)用于單個(gè)幀圖像。應(yīng)注意，屏幕可以被分割成均具有例如大于正常塊大小的片(Piece)，并且可以針對(duì)各個(gè)片設(shè)置全局運(yùn)動(dòng)向量(GMV)。也就是，對(duì)于幀圖像，全局運(yùn)動(dòng)向量(GMV)的數(shù)目不限于一個(gè)，并且可以采用下述配置:其中針對(duì)幀圖像中包括的多個(gè)塊設(shè)置作為共同運(yùn)動(dòng)向量的單個(gè)全局運(yùn)動(dòng)向量(GMV)，或針對(duì)單個(gè)幀設(shè)置多個(gè)全局運(yùn)動(dòng)向量(GMV)。
[0010]在僅表示例如平行移動(dòng)(平移)的向量的情況下，全局運(yùn)動(dòng)向量(GMV)通過(guò)使用兩個(gè)參數(shù)Iiatl, aj表示如下。
[0011]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 局部運(yùn)動(dòng)向量計(jì)算部，其將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計(jì)算對(duì)應(yīng)于每個(gè)設(shè)置的塊的運(yùn)動(dòng)向量作為局部運(yùn)動(dòng)向量(LMV)； 塊權(quán)重計(jì)算部，其把塊權(quán)重計(jì)算為對(duì)應(yīng)于每個(gè)塊的所述局部運(yùn)動(dòng)向量(LMV)的可靠性指標(biāo)；以及 全局運(yùn)動(dòng)向量計(jì)算部，其輸入所述局部運(yùn)動(dòng)向量(LMV)和所述塊權(quán)重并計(jì)算全局運(yùn)動(dòng)向量(GMV)，所述全局運(yùn)動(dòng)向量(GMV)是所述幀圖像中包括的所述多個(gè)塊的共同運(yùn)動(dòng)向量， 其中，所述塊權(quán)重計(jì)算部計(jì)算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場(chǎng)塊中的每個(gè)塊對(duì)應(yīng)的所述局部運(yùn)動(dòng)向量(LMV)的可靠度、以及所述目標(biāo)塊和每個(gè)近場(chǎng)塊的所述局部運(yùn)動(dòng)向量(LMV)之間的相似度，并通過(guò)應(yīng)用所述可靠度和所述相似度的算術(shù)處理來(lái)計(jì)算所述塊權(quán)重。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部提取所述可靠度高的近場(chǎng)塊作為可靠近場(chǎng)塊，從所述可靠近場(chǎng)塊之中提取所述相似度高的相似塊，并執(zhí)行將所述相似塊與所述可靠近場(chǎng)塊之比設(shè)置為所述目標(biāo)塊的權(quán)重的處理。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部通過(guò)應(yīng)用基于對(duì)應(yīng)于各個(gè)塊的所述局部運(yùn)動(dòng)向量(LMV)而關(guān)聯(lián)的塊之間的絕對(duì)像素值差之和來(lái)計(jì)算所述可靠度。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部通過(guò)應(yīng)用基于對(duì)應(yīng)于各個(gè)塊的所述局部運(yùn)動(dòng)向量(L MV)而關(guān)聯(lián)的塊的特征點(diǎn)數(shù)目或方差來(lái)計(jì)算所述可靠度。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部通過(guò)確定所述目標(biāo)塊和所述近場(chǎng)塊的每個(gè)局部運(yùn)動(dòng)向量(LMV)是否近似于對(duì)應(yīng)于一個(gè)全局運(yùn)動(dòng)的旋轉(zhuǎn)的運(yùn)動(dòng)向量(GMV)，來(lái)執(zhí)行所述相似度的計(jì)算。
6.根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部通過(guò)在考慮到所述圖像處理設(shè)備中的圖像校正部能夠校正旋轉(zhuǎn)的容許旋轉(zhuǎn)角度的情況下確定所述目標(biāo)塊和所述近場(chǎng)塊的每個(gè)局部運(yùn)動(dòng)向量(LMV)是否在所述容許旋轉(zhuǎn)角度內(nèi)近似于對(duì)應(yīng)于所述全局運(yùn)動(dòng)的旋轉(zhuǎn)的運(yùn)動(dòng)向量(GMV)，來(lái)執(zhí)行所述相似度的計(jì)算。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部通過(guò)使所述目標(biāo)塊的可靠度與將下述值的相加的結(jié)果除以所述近場(chǎng)塊的可靠度的相加值的結(jié)果相乘來(lái)計(jì)算所述塊權(quán)重:所述值是通過(guò)將所述目標(biāo)塊與所述近場(chǎng)塊之間的相似度與所述近場(chǎng)塊的可靠度相乘而獲得的。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部計(jì)算將下述值的相加的結(jié)果除以所述近場(chǎng)塊的可靠度的相加值的結(jié)果以作為所述塊權(quán)重:所述值是通過(guò)使所述目標(biāo)塊與所述近場(chǎng)塊之間的相似度與近場(chǎng)塊的可靠度相乘而獲得的。
9.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述塊權(quán)重計(jì)算部計(jì)算將所述目標(biāo)塊與所述近場(chǎng)塊之間的相似度的相加值除以所述近場(chǎng)塊的可靠度的相加值的結(jié)果以作為所述塊權(quán)重。
10.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述全局運(yùn)動(dòng)向量計(jì)算部通過(guò)應(yīng)用成本計(jì)算表達(dá)式來(lái)計(jì)算用于使成本最小化的所述全局運(yùn)動(dòng)向量(GMV)的參數(shù)，其中對(duì)應(yīng)于各個(gè)塊的所述局部運(yùn)動(dòng)向量(LMV)和各個(gè)塊權(quán)重被應(yīng)用于所述成本計(jì)算表達(dá)式。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備，其中，所述全局運(yùn)動(dòng)向量計(jì)算部計(jì)算考慮了平移和旋轉(zhuǎn)的三軸順應(yīng)的全局運(yùn)動(dòng)向量的參數(shù)、或考慮了仿射變換的六軸順應(yīng)的全局運(yùn)動(dòng)向量的參數(shù)。
12.—種由圖像處理設(shè)備執(zhí)行的圖像處理方法，所述圖像處理方法包括: 局部運(yùn)動(dòng)向量計(jì)算步驟，其中局部運(yùn)動(dòng)向量計(jì)算部將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計(jì)算對(duì)應(yīng)于每個(gè)設(shè)置的塊的運(yùn)動(dòng)向量作為局部運(yùn)動(dòng)向量(LMV)； 塊權(quán)重計(jì)算步驟，其中塊權(quán)重計(jì)算部把塊權(quán)重計(jì)算為對(duì)應(yīng)于每個(gè)塊的所述局部運(yùn)動(dòng)向量(LMV)的可靠性指標(biāo)；以及 全局運(yùn)動(dòng)向量計(jì)算步驟，其中全局運(yùn)動(dòng)向量計(jì)算部輸入所述局部運(yùn)動(dòng)向量(LMV)和所述塊權(quán)重并計(jì)算全局運(yùn)動(dòng)向量(GMV)，所述全局運(yùn)動(dòng)向量(GMV)是所述幀圖像中包括的所述多個(gè)塊的共同運(yùn)動(dòng)向量， 其中，在所述塊權(quán)重計(jì)算步驟中，所述塊權(quán)重計(jì)算部計(jì)算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場(chǎng)塊中的每個(gè)塊對(duì)應(yīng)的所述局部運(yùn)動(dòng)向量(LMV)的可靠度、以及所述目標(biāo)塊和每個(gè)近場(chǎng)塊的所述局部運(yùn)動(dòng)向量(LMV)之間的相似度，并通過(guò)應(yīng)用所述可靠度和所述相似度的算術(shù)處理來(lái)計(jì)算所述塊權(quán)重。
13.一種程序，所述程序使圖像處理設(shè)備執(zhí)行圖像處理: 局部運(yùn)動(dòng)向量計(jì)算步驟，使局部運(yùn)動(dòng)向量計(jì)算部將作為幀圖像的分割區(qū)域的塊設(shè)置為在所述幀圖像中在所述塊之間夾有間隔，并計(jì)算對(duì)應(yīng)于每個(gè)設(shè)置的塊的運(yùn)動(dòng)向量作為局部運(yùn)動(dòng)向量(LMV)； 塊權(quán)重計(jì)算步驟，使塊權(quán)重計(jì)算部把塊權(quán)重計(jì)算為對(duì)應(yīng)于每個(gè)塊的所述局部運(yùn)動(dòng)向量(LMV)的可靠性指標(biāo)；以及 全局運(yùn)動(dòng)向量計(jì)算步驟，使全局運(yùn)動(dòng)向量計(jì)算部輸入所述局部運(yùn)動(dòng)向量(LMV)和所述塊權(quán)重并計(jì)算全局運(yùn)動(dòng)向量(GMV)，所述全局運(yùn)動(dòng)向量(GMV)是所述幀圖像中包括的所述多個(gè)塊的共同運(yùn)動(dòng)向量， 其中，在所述塊 權(quán)重計(jì)算步驟中，通過(guò)計(jì)算與目標(biāo)塊和與所述目標(biāo)塊鄰近的近場(chǎng)塊中的每個(gè)塊對(duì)應(yīng)的所述局部運(yùn)動(dòng)向量(LMV)的可靠度、以及所述目標(biāo)塊和每個(gè)近場(chǎng)塊的所述局部運(yùn)動(dòng)向量(LMV)之間的相似度，通過(guò)應(yīng)用所述可靠度和所述相似度的算術(shù)處理來(lái)計(jì)算所述塊權(quán)重。
【文檔編號(hào)】H04N19/51GK103765898SQ201280040885
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2012年7月23日 優(yōu)先權(quán)日:2011年9月2日
【發(fā)明者】玉山研, 半田正樹(shù), 江山碧輝 申請(qǐng)人:索尼公司