專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法，并且特別地，涉及一種防止計(jì)算量的增加的圖像處理設(shè)備和圖像處理方法。
背景技術(shù)：
近年來，廣泛地使用了這樣的技術(shù)該技術(shù)使用諸如MPEG (運(yùn)動(dòng)圖像專家組)2或 H. 264和MPEG-4第10部分(高級(jí)視頻編碼)(在下文中稱為“H. 264/AVC")的壓縮編碼方法對(duì)圖像進(jìn)行壓縮編碼，封裝并傳送圖像，以及在接收端對(duì)圖像進(jìn)行解碼。因此，用戶可以觀看高質(zhì)量的運(yùn)動(dòng)圖像。另外，在MPEG2標(biāo)準(zhǔn)中，使用線性插值處理執(zhí)行具有像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。相比之下，在H. ^4/AVC標(biāo)準(zhǔn)中，使用6抽頭(tap)HR(有限脈沖響應(yīng)濾波器)濾波器執(zhí)行具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。此外，在MPEG2標(biāo)準(zhǔn)中，在幀運(yùn)動(dòng)補(bǔ)償模式的情況下，以每16 X 16像素為單位執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。相比之下，在場(chǎng)運(yùn)動(dòng)補(bǔ)償模式的情況下，針對(duì)第一和第二場(chǎng)中的每個(gè)場(chǎng)以每16X8像素為單位執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。相比之下，在H. 264/AVC標(biāo)準(zhǔn)中，能夠基于可變的塊大小執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。即，在H. 264/AVC標(biāo)準(zhǔn)中，包括16 X 16像素的宏塊被分成16 X 16分區(qū)、16 X 8分區(qū)、 8X16分區(qū)以及8X8分區(qū)之一。分區(qū)中的每個(gè)能夠具有獨(dú)立的運(yùn)動(dòng)向量信息。另外，8X8 分區(qū)可以被分成8 X 8子分區(qū)、8 X 4子分區(qū)、4X 8子分區(qū)以及4X 4子分區(qū)之一。子分區(qū)中的每個(gè)能夠具有獨(dú)立的運(yùn)動(dòng)向量信息。然而，在H. ^4/AVC標(biāo)準(zhǔn)中，當(dāng)基于可變的塊大小執(zhí)行上述具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理時(shí)，不利地生成大量的運(yùn)動(dòng)向量信息項(xiàng)。如果直接編碼這些運(yùn)動(dòng)向量信息項(xiàng)，則降低編碼效率。因此，提出了這樣的技術(shù)該技術(shù)在解碼圖像內(nèi)搜索與模板區(qū)域的解碼圖像高度相關(guān)的圖像區(qū)域，并且基于搜索到的區(qū)域和預(yù)定位置關(guān)系執(zhí)行預(yù)測(cè)，其中該模板區(qū)域的解碼圖像是解碼圖像的部分并且與要用預(yù)定位置關(guān)系解碼的區(qū)域的圖像相鄰(參考PTL1)。在該技術(shù)中，解碼圖像用于匹配。因此，通過預(yù)先確定搜索區(qū)，可以在編碼設(shè)備和解碼設(shè)備中執(zhí)行相同的處理。即，通過甚至在解碼設(shè)備中執(zhí)行上述預(yù)測(cè)/補(bǔ)償處理，運(yùn)動(dòng)向量信息不需要被包括在從編碼設(shè)備接收的圖像壓縮信息中。因此，可以防止編碼效率的降低。引用列表專利文獻(xiàn)PTLl 日本未審查專利申請(qǐng)公布第2007-43651號(hào)

發(fā)明內(nèi)容
技術(shù)問題
如上所指出的，PTLl中描述的技術(shù)不僅在編碼設(shè)備中而且在解碼設(shè)備中需要預(yù)測(cè) /補(bǔ)償處理。在這樣的情況下，為了獲得極好的編碼效率，需要具有足夠大小的搜索區(qū)域。 然而，如果增大搜索區(qū)域，則不僅編碼設(shè)備中而且解碼設(shè)備中的計(jì)算量增加。特別地，在B片(slice)中，ListO (列表0)和Listl (列表1)需要運(yùn)動(dòng)搜索。因此，計(jì)算量顯著增加。因此，本發(fā)明旨在防止計(jì)算量的增加。問題的解決方案根據(jù)本發(fā)明的一個(gè)方面，圖像處理設(shè)備包括運(yùn)動(dòng)預(yù)測(cè)單元，其被配置成使用以預(yù)定位置關(guān)系與第一目標(biāo)塊相鄰并且從解碼圖像生成的模板來搜索幀的第一目標(biāo)塊的運(yùn)動(dòng)向量；以及搜索中心計(jì)算單元，其被配置成使用運(yùn)動(dòng)預(yù)測(cè)單元在ListO參考幀中搜索到的與第一目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息、該幀與ListO參考幀之間的時(shí)間距離信息和該幀與 Listl參考幀之間的時(shí)間距離信息，來計(jì)算Listl參考幀的搜索中心。運(yùn)動(dòng)預(yù)測(cè)單元使用該模板，在搜索中心計(jì)算單元計(jì)算出的Listl參考幀的搜索中心周圍的預(yù)定搜索區(qū)域內(nèi)，搜索第一目標(biāo)塊的運(yùn)動(dòng)向量。搜索中心計(jì)算單元能夠通過根據(jù)該幀與ListO參考幀之間的時(shí)間距離信息以及該幀與Listl參考幀之間的時(shí)間距離信息，對(duì)運(yùn)動(dòng)預(yù)測(cè)單元在ListO參考幀中搜索到的與第一目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息進(jìn)行縮放，來計(jì)算Listl參考幀的搜索中心。搜索中心計(jì)算單元能夠通過將關(guān)于第一目標(biāo)塊的縮放后的運(yùn)動(dòng)向量信息舍入為整數(shù)像素精度來計(jì)算Listl參考幀的搜索中心。POC(圖像序列號(hào))可以用作時(shí)間距離信息。圖像處理設(shè)備還能夠包括解碼單元，其被配置成對(duì)編碼后的運(yùn)動(dòng)向量信息進(jìn)行解碼；以及第二運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元，其被配置成使用由解碼單元解碼后的幀的第二目標(biāo)塊的運(yùn)動(dòng)向量來生成預(yù)測(cè)圖像。運(yùn)動(dòng)預(yù)測(cè)單元能夠使用第二目標(biāo)塊來搜索幀的第二目標(biāo)塊的運(yùn)動(dòng)向量，并且圖像處理設(shè)備還能夠包括圖像選擇單元，其被配置成選擇基于由運(yùn)動(dòng)預(yù)測(cè)單元搜索到的第一目標(biāo)塊的運(yùn)動(dòng)向量的預(yù)測(cè)圖像、和基于由運(yùn)動(dòng)預(yù)測(cè)單元搜索到的第二目標(biāo)塊的運(yùn)動(dòng)向量的預(yù)測(cè)圖像之一。根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于在圖像處理設(shè)備中使用的圖像處理方法。該方法包括運(yùn)動(dòng)預(yù)測(cè)步驟，用于使用以預(yù)定位置關(guān)系與目標(biāo)塊相鄰并且從解碼圖像生成的模板來搜索幀的目標(biāo)塊的運(yùn)動(dòng)向量；以及搜索中心計(jì)算步驟，用于使用通過運(yùn)動(dòng)預(yù)測(cè)步驟在ListO參考幀中搜索到的與目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息、該幀與ListO參考幀之間的時(shí)間距離信息和該幀與Listl參考幀之間的時(shí)間距離信息，來計(jì)算Listl參考幀的搜索中心。在運(yùn)動(dòng)預(yù)測(cè)步驟中，使用模板在計(jì)算出的Listl參考幀的搜索中心周圍的預(yù)定搜索區(qū)域內(nèi)搜索目標(biāo)塊的運(yùn)動(dòng)向量。根據(jù)本發(fā)明的一個(gè)方面，使用以預(yù)定位置關(guān)系與目標(biāo)塊相鄰并且從解碼圖像生成的模板來搜索幀的目標(biāo)塊的運(yùn)動(dòng)向量。另外，使用運(yùn)動(dòng)預(yù)測(cè)單元在ListO參考幀中搜索到的與目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息、該幀與ListO參考幀之間的時(shí)間距離信息和該幀與 Listl參考幀之間的時(shí)間距離信息，計(jì)算Listl參考幀的搜索中心。此外，使用模板在Listl 參考幀的搜索中心周圍的預(yù)定搜索區(qū)域內(nèi)搜索目標(biāo)塊的運(yùn)動(dòng)向量。
4
本發(fā)明的有利效果根據(jù)本發(fā)明的上述方面，可以對(duì)圖像進(jìn)行編碼和解碼。另外，根據(jù)本發(fā)明的上述其它方面，能夠防止計(jì)算量的增加。


圖1是根據(jù)本發(fā)明的實(shí)施例的圖像編碼設(shè)備的配置的方框圖。圖2示出了可變長(zhǎng)度塊大小運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。圖3示出了具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。圖4是示出由圖1中示出的圖像編碼設(shè)備執(zhí)行的編碼處理的流程圖。圖5是示出在圖4示出的步驟S21中執(zhí)行的預(yù)測(cè)處理的流程圖。圖6是示出在圖5示出的步驟S31中執(zhí)行的幀內(nèi)預(yù)測(cè)(intra-prediction)處理的流程圖。圖7示出了幀內(nèi)預(yù)測(cè)的方向。圖8示出了幀內(nèi)預(yù)測(cè)。圖9是示出在圖5示出的步驟S32中執(zhí)行的幀間運(yùn)動(dòng)預(yù)測(cè)(intermotion prediction)處理的流程圖。圖10示出了用于生成運(yùn)動(dòng)向量信息的方法的示例。圖11是示出在圖5示出的步驟S33中執(zhí)行的幀間模板運(yùn)動(dòng)預(yù)測(cè)(inter-template motionprediction)處理的流程圖。圖 12 示出了幀間模板匹配(inter-template matching)方法。圖13詳細(xì)示出了在圖11示出的步驟S71至步驟S73中執(zhí)行的處理。圖14是根據(jù)本發(fā)明的實(shí)施例的圖像解碼設(shè)備的配置的框圖。圖15是示出由圖14中示出的圖像解碼設(shè)備執(zhí)行的解碼處理的流程圖。圖16是示出在圖15示出的步驟S138中執(zhí)行的預(yù)測(cè)處理的流程圖。圖17是示出在圖16示出的步驟S175中執(zhí)行的幀間模板運(yùn)動(dòng)預(yù)測(cè)處理的流程圖。圖18示出了擴(kuò)展的宏塊大小的示例。圖19是根據(jù)本發(fā)明的電視接收機(jī)的主要配置的示例的方框圖。圖20是根據(jù)本發(fā)明的手機(jī)的主要配置的示例的方框圖。圖21是根據(jù)本發(fā)明的硬盤記錄器的主要配置的示例的方框圖。圖22是根據(jù)本發(fā)明的攝像機(jī)的主要配置的示例的方框圖。
具體實(shí)施例方式以下參照附圖描述本發(fā)明的實(shí)施例。圖1示出了根據(jù)本發(fā)明的實(shí)施例的圖像編碼設(shè)備的配置。圖像編碼設(shè)備51包括 A/D轉(zhuǎn)換單元61、重排序屏幕緩沖器62、計(jì)算單元63、正交變換單元64、量化器單元65、無損編碼單元66、累積緩沖器67、逆量化器單元68、逆正交變換單元69、計(jì)算單元70、去塊濾波器(de-bl0Ckingfilter)71、幀存儲(chǔ)器72、開關(guān)73、幀內(nèi)預(yù)測(cè)單元74、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元75、模板運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元76、L1 (Listl)搜索中心計(jì)算單元77、預(yù)測(cè)圖像選擇單元78 以及速率控制單元79。
圖像編碼設(shè)備51使用例如H. 264和MPEG-4第10部分(高級(jí)視頻編碼)(在下文中稱為“H. 264/AVC")標(biāo)準(zhǔn)對(duì)圖像進(jìn)行壓縮編碼。在H. 264/AVC標(biāo)準(zhǔn)中，使用可變的塊大小執(zhí)行運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償。即，如圖2所示， 在H. ^4/AVC標(biāo)準(zhǔn)中，包括16X16像素的宏塊被分成16 X 16分區(qū)、16 X 8分區(qū)、8 X 16分區(qū)以及8X8分區(qū)之一。每個(gè)分區(qū)能夠具有獨(dú)立的運(yùn)動(dòng)向量信息。另外，如圖2所示，8X8分區(qū)能夠被分成8X8子分區(qū)、8X4子分區(qū)、4X8子分區(qū)以及4X4子分區(qū)之一。每個(gè)子分區(qū)能夠具有獨(dú)立的運(yùn)動(dòng)向量信息。另外，在H. 264/AVC標(biāo)準(zhǔn)中，使用6抽頭FIR(有限脈沖響應(yīng)濾波器)濾波器執(zhí)行具有1/4像素精度的運(yùn)動(dòng)預(yù)測(cè)和補(bǔ)償處理。接下來參照?qǐng)D3描述在H. 264/AVC標(biāo)準(zhǔn)中具有亞像素(sub-pixel)精度的預(yù)測(cè)/補(bǔ)償處理。在圖3示出的示例中，位置A表示整數(shù)精度的像素的位置，位置b、c以及d表示 1/2像素精度的像素的位置，并且位置el、e2以及e3表示1/4像素精度的像素的位置。在以下描述中，首先如下定義Clip ()。[數(shù)學(xué)式1]
權(quán)利要求
1.一種圖像處理設(shè)備，包括運(yùn)動(dòng)預(yù)測(cè)單元，其被配置成使用模板來搜索幀的第一目標(biāo)塊的運(yùn)動(dòng)向量，其中，所述模板以預(yù)定位置關(guān)系與所述第一目標(biāo)塊相鄰并且所述模板是從解碼圖像生成的；以及搜索中心計(jì)算單元，其被配置成使用所述運(yùn)動(dòng)預(yù)測(cè)單元在LiStO參考幀中搜索到的與所述第一目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息、所述幀與所述ListO參考幀之間的時(shí)間距離信息、 和所述幀與Listl參考幀之間的時(shí)間距離信息，來計(jì)算所述Listl參考幀的搜索中心；其中，所述運(yùn)動(dòng)預(yù)測(cè)單元使用所述模板，在所述搜索中心計(jì)算單元計(jì)算出的所述Listl 參考幀的搜索中心周圍的預(yù)定搜索區(qū)域內(nèi)，搜索所述第一目標(biāo)塊的運(yùn)動(dòng)向量。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述搜索中心計(jì)算單元通過根據(jù)所述幀與所述ListO參考幀之間的時(shí)間距離信息以及所述幀與所述Listl參考幀之間的時(shí)間距離信息，對(duì)所述運(yùn)動(dòng)預(yù)測(cè)單元在所述ListO參考幀中搜索到的與所述第一目標(biāo)塊有關(guān)的所述運(yùn)動(dòng)向量信息進(jìn)行縮放，來計(jì)算所述Listl參考幀的搜索中心。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述搜索中心計(jì)算單元通過將關(guān)于所述第一目標(biāo)塊的縮放后的運(yùn)動(dòng)向量信息舍入為整數(shù)像素精度，來計(jì)算所述Listl參考幀的搜索中心。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，將圖像序列號(hào)POC用作所述時(shí)間距離信息。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括解碼單元，其被配置成對(duì)編碼后的運(yùn)動(dòng)向量信息進(jìn)行解碼；以及第二運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償單元，其被配置成使用所述解碼單元解碼的所述幀的第二目標(biāo)塊的運(yùn)動(dòng)向量來生成預(yù)測(cè)圖像。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括 圖像選擇單元；其中，所述運(yùn)動(dòng)預(yù)測(cè)單元使用第二目標(biāo)塊搜索所述幀的所述第二目標(biāo)塊的運(yùn)動(dòng)向量， 并且其中，所述圖像選擇單元選擇基于所述運(yùn)動(dòng)預(yù)測(cè)單元搜索到的所述第一目標(biāo)塊的運(yùn)動(dòng)向量的預(yù)測(cè)圖像和基于所述運(yùn)動(dòng)預(yù)測(cè)單元搜索到的所述第二目標(biāo)塊的運(yùn)動(dòng)向量的預(yù)測(cè)圖像之一。
7.一種用于在圖像處理設(shè)備中使用的圖像處理方法，所述方法包括運(yùn)動(dòng)預(yù)測(cè)步驟，用于使用模板來搜索幀的目標(biāo)塊的運(yùn)動(dòng)向量，其中，所述模板以預(yù)定位置關(guān)系與所述目標(biāo)塊相鄰并且是從解碼圖像生成的；以及搜索中心計(jì)算步驟，用于使用通過所述運(yùn)動(dòng)預(yù)測(cè)步驟在ListO參考幀中搜索到的與所述目標(biāo)塊有關(guān)的運(yùn)動(dòng)向量信息、所述幀與所述ListO參考幀之間的時(shí)間距離信息和所述幀與Listl參考幀之間的時(shí)間距離信息，來計(jì)算所述Listl參考幀的搜索中心；其中，在所述運(yùn)動(dòng)預(yù)測(cè)步驟中，使用所述模板在計(jì)算出的所述Listl參考幀的搜索中心周圍的預(yù)定搜索區(qū)域內(nèi)搜索所述目標(biāo)塊的運(yùn)動(dòng)向量。
全文摘要
本發(fā)明涉及一種能夠防止計(jì)算量的增加的圖像處理設(shè)備和圖像處理方法。L1搜索中心計(jì)算單元(77)使用在L0參考幀中搜索到的運(yùn)動(dòng)向量tmmvL0、時(shí)間軸t上目標(biāo)幀和L0參考幀之間的距離tL0以及時(shí)間軸t上目標(biāo)幀和L1參考幀之間的距離tL1，計(jì)算L1參考幀的運(yùn)動(dòng)搜索中心。模板運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元(76)在L1搜索中心計(jì)算單元(77)計(jì)算出的L1參考幀的搜索中心周圍的預(yù)定區(qū)域EL1內(nèi)執(zhí)行運(yùn)動(dòng)搜索，執(zhí)行補(bǔ)償處理并且生成預(yù)測(cè)圖像。本發(fā)明可應(yīng)用于使用例如H.264/AVC標(biāo)準(zhǔn)執(zhí)行編碼的圖像編碼設(shè)備。
文檔編號(hào)H04N7/32GK102160382SQ20098013662
公開日2011年8月17日 申請(qǐng)日期2009年9月24日 優(yōu)先權(quán)日2008年9月24日
發(fā)明者佐藤數(shù)史, 矢崎陽(yáng)一 申請(qǐng)人:索尼公司