專利名稱：適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置及解碼裝置和用于運 ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通過以塊為單位進行運動估計來體現(xiàn)運動補償?shù)囊曨l編解碼器(CODEC)的運動檢索區(qū)域(Motion Search)的生成方法,更詳細地涉及,對在現(xiàn)有的運動估計中使用的運動檢索區(qū)域，通過在現(xiàn)有的運動檢索區(qū)域以外，追加制作添加由于攝像機等影像輸入裝置的運動或者事物的運動等而產(chǎn)生的運動模糊噪音(motion blurnoise)的運動檢索區(qū)域和去除該運動模糊噪音的運動檢索區(qū)域，在多個運動檢索區(qū)域中選擇效率更好的運動檢索區(qū)域，來能夠提高視頻編解碼器的壓縮效率的方法。
背景技術(shù)：
一般，適用通過運動估計的運動補償方法的視頻編碼器，如圖I所示，包括減法器10，其用于求得輸入的影像和經(jīng)過運動補償?shù)挠跋裥盘栔g的差分信號；變換部(transform) 20，其根據(jù)預(yù)定的既定函數(shù)，對在上述減法器10中求得的差分信號進行變換；量化部(Quantization) 30,其對在變換部20變換的影像信號進行量化；編碼部(entropycoding)40，其對在量化部30量化的影像信息進行編碼；以及運動補償單元，其對在量化部30量化的影像信號進行反向信號處理，由此執(zhí)行運動補償。運動補償單元包括反量化部(Inverse Quantization) 50,其對在量化部30量化的影像信號進行反量化；反變換部60，其對在變換部20變換的信號進行反變換；加法器70，其加上運動補償?shù)挠跋?，用于生成從在反變換部60變換的影像中復(fù)原的影像；幀存儲器80;運動估計部90，其從與以前影像或輸入的未來影像之間的參考影像中估計運動，來生成運動矢量(mosion vector);以及運動補償部100,其用于利用在運動估計部90生成的運動矢量來進行運動補償。普通的視頻編碼方法以一張影像為單位分類為幀內(nèi)(Intra-frame)和幀間(Inter-frame )，在幀內(nèi)進行幀內(nèi)宏塊編碼，在幀間將選擇幀內(nèi)宏塊和幀間宏塊中效率更好的宏塊。幀間宏塊編碼從當前輸入的影像的之前或者之后的影像中獲取運動檢索區(qū)域，執(zhí)行運動估計(motion estimation),并將該運動檢索區(qū)域的差分影像(residual frame)按變換(transform)及量化(Quantization)、熵編碼的順序來進行編碼，由此提高壓縮效率。在下一個影像需要有參考影像的情況下，在熵編碼之前通過反量化及反變換(Inverse Transform)來生成復(fù)原影像(Recontructed frame),并將該復(fù)原影像用作參考影像。而且，在H. 264的情況下，在反變換部60之后形成去塊濾波器(Deblockingfilter),以能夠得到更加清晰的參考影像。在這里，變換部20在動態(tài)圖像專家組4部分2 (MPEG4 part2)的情況下，使用離散余弦變換(DCT,Discrete Cosine Transform)作為變換,使用可變長編碼(VLC,VariableLength Coding)作為編碼部40的熵編碼。在H. 264/高級視頻編碼(AVC)的情況下，使用整數(shù)變換(IntegerTransform)作為變換，使用基于上下文的自適應(yīng)可變長編碼(CAVLC)或者基于上下文的自適應(yīng)二進制算術(shù)編碼(CABAC)作為熵編碼。并且，也會使用去塊濾波器(Deblocking filter)。通常，用視頻設(shè)備拍攝的結(jié)果影像的各幀由于攝像機的每秒幀數(shù)(FPS)及快門速度和拍攝設(shè)備的運動或手發(fā)抖等外部因素或者拍攝物的運動等原因，在相當數(shù)量的幀中產(chǎn)生的規(guī)定方向的運動模糊(Motion-Blur)有可能對影像整體造成運動模糊，也有可能只產(chǎn)生在某個特定部分。由于沒有對這種現(xiàn)象的應(yīng)對方案，因而會降低視頻壓縮效率。

發(fā)明內(nèi)容
技術(shù)問題
在用視頻拍攝設(shè)備拍攝時，由于拍攝設(shè)備的運動或者拍攝物的運動等外部因素，會產(chǎn)生影像的運動模糊。但是，這種運動模糊有可能發(fā)生在整個影像中，也有可能只發(fā)生在某個特定部分。因此，本發(fā)明的目的在于，以作為編碼的單位的塊為單位，通過運動模糊濾波器(Motion Blur Filter)和去運動模糊濾波器(MotionDeblur Filter)對運動檢索區(qū)域執(zhí)行濾波，以塊為單位，制作多個運動檢索區(qū)域，由此與對整個影像執(zhí)行濾波的情況相比，獲得更高的壓縮效率。解決問題的手段為此，本發(fā)明的利用參考影像執(zhí)行運動估計的視頻編碼器，其特征在于，包括一個以上的多個運動模糊濾波器及去運動模糊濾波器，根據(jù)運動的程度及角度，對用于原來運動估計的塊單位運動檢索區(qū)域生成追加的參考影像的運動檢索區(qū)域；幀存儲器，分別對應(yīng)于上述運動模糊濾波器及去運動模糊濾波器而設(shè)置；運動檢索區(qū)域生成控制單元，其根據(jù)已設(shè)定的模糊模式選擇運動模糊濾波器及去運動模糊濾波器，來對原來的運動檢索區(qū)域生成追加的模糊模式運動檢索區(qū)域；運動估計及模式選擇控制單元，其對生成的運動檢索區(qū)域和新追加的運動檢索區(qū)域分別執(zhí)行運動估計，并計算該運動估計過程的費用來選擇要適用于運動補償?shù)哪：Ｊ?；以及運動補償單元，其根據(jù)由運動估計及模式選擇控制部所選擇的模糊模式來執(zhí)行運動補償。如上所述的本發(fā)明的編碼器的運動估計及補償過程，其特征在于，包括模糊模式選擇過程，設(shè)定用于根據(jù)運動程度及角度來對原來的參考影像生成追加的檢索區(qū)域的模糊模式，并根據(jù)已設(shè)定的模糊模式來選擇運動模糊濾波器及去模糊濾波器；濾波過程，通過基于所選擇的模糊模式的運動模糊濾波器及去模糊濾波器來生成運動檢索區(qū)域；運動估計過程，對原來的運動檢索區(qū)域和通過上述濾波過程生成的運動檢索區(qū)域進行運動估計；以及運動補償過程，通過比較在運動估計后產(chǎn)生的費用，選擇具有最小值的模糊模式來進行運動補償。另一方面，本發(fā)明的執(zhí)行運動補償?shù)囊曨l解碼器，其特征在于，包括濾波器選擇控制單元，其從已解碼的影像信號中抽取模糊模式信息，通過根據(jù)所抽取的模糊模式信息，選擇運動模糊濾波器或去運動模糊濾波器來生成及控制運動檢索區(qū)域；一個以上的多個運動模式濾波器及去運動模糊濾波器，用于生成運動檢索區(qū)域；幀存儲器，分別對應(yīng)于上述運動模糊濾波器及去運動模糊濾波器而設(shè)置；運動補償單元，其根據(jù)從解碼的影像信息抽取的運動信息和所生成的運動檢索區(qū)域，進行運動補償。這種本發(fā)明的解碼器的運動補償過程，其特征在于，包括從已解碼的影像信號中抽取模糊模式的過程；根據(jù)所抽取的模糊模式信息，通過運動模糊濾波器或者去運動模糊濾波器來生成運動檢索區(qū)域的過程；根據(jù)所生成的運動檢索區(qū)域進行運動補償?shù)倪^程。發(fā)明的效果本發(fā)明將當前視頻編解碼器中為了減少時間重復(fù)性(Temporalredundancy)而使用的運動估計及補償?shù)倪^程中用到的大多數(shù)參考影像的運動模糊現(xiàn)象，對塊單位的參考影像的運動檢索區(qū)域進行加減，由此與對整個影像的運動模糊現(xiàn)象進行加減的情況相比，減少更多的時間重復(fù)性，從而有效減少比特生成量，進而增加編碼器的壓縮效率。
本發(fā)明并不局限于在上述舉例而提出的MPEG4、H. 264/AVC的情況，而是作為能夠適用于執(zhí)行所有幀間估計的視頻編解碼器的算法，就變換而言能夠適用于除了離散余弦變換(DCT)以外的微波(Wavelet)等，就熵編碼而言能夠適用于具有多種算法的所有編解碼器。


圖I是表示普通的視頻編碼器的結(jié)構(gòu)的框圖。圖2是表示本發(fā)明的適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置的結(jié)構(gòu)的框圖。圖3是表示本發(fā)明的用于運動補償?shù)倪x擇性運動檢索區(qū)域決定方法的過程的圖。圖4是表示本發(fā)明的適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置的結(jié)構(gòu)的框圖。
具體實施例方式首先，參照附圖2中所示的實施例，對重復(fù)的部分用相同的附圖標記進行處理來對本發(fā)明的適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置如下進行說明。上述視頻壓縮編碼裝置包括減法器10，其用于求得輸入的影像和經(jīng)過運動補償?shù)挠跋裥盘栔g的差分信號；變換部20，其根據(jù)預(yù)定的既定函數(shù)，對在上述減法器10中求得的差分信號進行變換；量化部30，其對在變換部20變換的影像信號進行量化；編碼部40，其對在量化部30量化的影像信息進行編碼；以及運動補償單元，其對在量化部30量化的影像信號進行反向信號處理，由此執(zhí)行運動補償。運動補償單元包括反量化部(Inverse Quantization) 50,其對在量化部30量化的影像信號進行反量化；反變換部60，其對在變換部20變換的信號執(zhí)行反變換；加法器70，其加上運動補償?shù)挠跋?，用于生成從在反變換部60變換的影像中復(fù)原的影像；幀存儲器80 ;—個以上的多個運動模糊濾波器110及去運動模糊濾波器120，其根據(jù)運動程度及角度，對通過反變換部60反變換的原來參考影像的塊單位運動檢索區(qū)域生成追加的運動檢索區(qū)域；模糊幀存儲器130及去模糊幀存儲器140，分別對應(yīng)于上述運動模糊濾波器110及去運動模糊濾波器120而設(shè)置；運動檢索區(qū)域生成控制單元150，其根據(jù)設(shè)定的模糊模式來選擇運動模糊濾波器110及去運動模糊濾波器120，來生成運動檢索區(qū)域；運動估計及模式選擇控制部90’，其對所有從模糊幀存儲器130及去模糊幀存儲器140接收的所生成的運動檢索區(qū)域和從幀存儲器80接收的原來的參考影像的運動檢索區(qū)域執(zhí)行運動估計，并計算該運動估計過程的費用，來選擇要適用于運動補償?shù)哪Ｊ?；以及運動補償部100’，其根據(jù)由運動估計及模式選擇控制部90’所選擇的模式來執(zhí)行運動補償。對如上所述的本發(fā)明的動作過程進行詳細說明，如下。如同在以往的背景技術(shù)中所表明，視頻編碼方法以一張影像為單位分類為幀內(nèi)(Intra-frame)和巾貞間(Inter-frame),在巾貞內(nèi)進行巾貞內(nèi)宏塊編碼,在巾貞間將選擇巾貞內(nèi)宏塊和幀間宏塊中效率更好的宏塊。幀間宏塊編碼從當前輸入的影像的之前或者之后的影像中的參考影像中獲取 運動檢索區(qū)域，執(zhí)行運動估計(motion estimation),并將該運動檢索區(qū)域的差分影像(residual frame)按變換(Transform)及量化(Quantization)及熵編碼的順序來進行編碼，由此提高壓縮效率。這時，本發(fā)明考慮到在進行運動估計并進行運動補償?shù)倪^程中，由于在參考影像中可能出現(xiàn)的運動模糊而使壓縮效率下降的問題，以參考影像的塊為單位，對運動檢索區(qū)域有意執(zhí)行運動模糊和去運動模糊濾波，來以追加的塊為單位制作多個追加的運動檢索區(qū)域，對包括原來的運動檢索區(qū)域在內(nèi)的運動檢索區(qū)域進行運動估計，來能夠通過差分影像數(shù)據(jù)少的運動檢索區(qū)域的運動估計值形成運動補償。這考慮到運動模糊可能在整個影像中出現(xiàn)或者只在某個特定部分產(chǎn)生的問題，以便對作為視頻編碼單位的塊單位的運動檢索區(qū)域執(zhí)行運動模糊和去運動模糊濾波，而不是對整個參考影像執(zhí)行運動模糊和去運動模糊濾波，由此能夠提高壓縮效率。在運動檢索區(qū)域生成控制部150中，根據(jù)內(nèi)部已設(shè)定的程序模式，選擇運動模糊濾波器110及去運動模糊濾波器120，來生成模糊模式。模糊模式信息由運動大小(長度、強度)、運動方向、濾波器的種類信息組成，通過選擇η個運動模糊濾波器110和m個去運動模糊濾波器120來生成(n+m)個模糊模式。上述運動大小(長度、強度)用于設(shè)定要使用于濾波器的濾波器抽頭的數(shù)量，運動方向是指橫向、縱向、對角線方向等的濾波器抽頭的方向(能夠支持360度全方向)，濾波器的種類信息表示使用基于濾波器抽頭的均勻(uniform)濾波器還是使用點擴散函數(shù)(PSF，PointSpread Function)濾波器等的信息。經(jīng)過反變換部60復(fù)原的影像，通過幀存儲器80傳達到運動模糊濾波器110及去運動模糊濾波器120，并通過如上所述選擇的運動模糊濾波器110及去運動模糊濾波器120濾波，來對復(fù)原的影像的塊單位運動檢索區(qū)域制作多個運動檢索影像。之后，在運動估計及模式選擇部90’中，對從幀存儲器80、通過運動模糊濾波器110及去運動模糊濾波器120得到濾波并存儲的模糊幀存儲器130及去模糊幀存儲器140傳達的各運動檢索區(qū)域進行運動估計，并計算各執(zhí)行步驟的費用(cost)，以選擇最佳的模式。圖3表示如上所述的利用參考影像的運動估計過程，該運動估計過程包括運動模式選擇過程，選擇用于根據(jù)運動的大小(長度、強度)、運動的方向?qū)υ瓉韰⒖加跋竦倪\動檢索區(qū)域生成追加的運動檢索區(qū)域的運動模糊濾波器及去模糊濾波器；濾波過程，根據(jù)所選擇的模糊模式的運動模糊濾波器及去模糊濾波器來生成運動檢索區(qū)域；運動估計過程，對原來運動檢索區(qū)域和通過上述濾波過程生成的運動檢索區(qū)域進行運動估計；以及運動補償過程，通過比較在運動估計后產(chǎn)生的費用，選擇具有最小值的模糊模式來進行運動補償。就生成模糊模式而言，運動檢索區(qū)域生成控制部150對原來的運動檢索區(qū)域設(shè)定運動大小(強度、長度)、運動方向、濾波器的種類，并在運動模糊濾波器100設(shè)定η個模式，在去運動模糊濾波器120設(shè)定m個模式。以設(shè)定的η個模式制作添加各模式的模糊的動作檢索區(qū)域，以m個模式制作去除各模式的模糊的動作檢索區(qū)域。在運動估計及模式選擇控制部90’中，與現(xiàn)有的運動檢索區(qū)域一同執(zhí)行n+m+1個運動估計，并通過計算各執(zhí)行步驟的費用，來選擇費用少的模式作為最佳模式。圖4表示本發(fā)明的適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置的結(jié)構(gòu)。 上述視頻壓縮解碼裝置包括解碼部200，其對輸入的流執(zhí)行反熵編碼(entropydecoding);反量化部210，其對在解碼部200解碼的影像信號執(zhí)行反量化；反變換部220，其對經(jīng)過反量化的影像信號反向執(zhí)行編碼過程中的變換過程；加法器230，其加上運動補償?shù)挠跋?，用于生成?fù)原影像；濾波器選擇控制部240，其從通過解碼部200解碼的影像信號抽取模糊模式信息，并通過利用所抽取的信息選擇及控制運動模糊濾波器250或去運動模糊濾波器260來生成運動檢索區(qū)域；一個以上的多個運動模糊濾波器250及去運動模糊濾波器260，用于生成運動檢索區(qū)域；多個幀存儲器270，分別對應(yīng)于運動模糊濾波器250及去運動模糊濾波器260而設(shè)置；以及運動補償部280，其對從各幀存儲器270傳達的運動檢索區(qū)域進行運動補償。如上所述的本發(fā)明的解碼器，其特征在于，能夠從在本發(fā)明的編碼器編碼的影像信號抽取通過編碼過程輸入的模糊模式信息，并通過所抽取的信息生成參考影像，以能夠?qū)崿F(xiàn)運動補償。上述過程包括從已解碼的影像信號中抽取模糊模式的過程；根據(jù)所抽取的模糊模式，通過運動模糊濾波器或者去運動模糊濾波器來生成運動檢索區(qū)域的過程；根據(jù)所生成的運動檢索區(qū)域進行運動補償?shù)倪^程。解碼器通過在解碼部200對輸入的流執(zhí)行反熵編碼，以使輸入的流解碼，并對其進行反量化、反變換來從運動補償?shù)挠跋裰袠?gòu)成復(fù)原影像。這時，在濾波器選擇控制部240中，從已解碼的影像信號中抽取已輸入的模糊模式信息。模糊模式信息以與編碼器相設(shè)定好的形態(tài)存在于解碼器的內(nèi)部，從所抽取的模糊模式信息中選擇是否進行運動模糊濾波還是進行去運動模糊濾波，并通過取得與運動大小(長度、強度)、方向(角度)、濾波器的種類相關(guān)的信息。通過上述信息，濾波器選擇控制部240對已解碼的參考影像的運動檢索區(qū)域執(zhí)行運動模糊濾波或者去運動模糊濾波，來得到添加或者去除運動模糊雜音的新的參考影像，并提供給運動補償部280。運動補償部280利用這種參考影像來執(zhí)行運動補償。
權(quán)利要求
1.一種適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置，其特征在于， 就適用通過運動估計的運動補償方法的視頻編碼器而言，包括 一個以上的多個運動模糊濾波器及去運動模糊濾波器，對用于原來運動估計的塊單位運動檢索區(qū)域生成追加的運動檢索區(qū)域； 幀存儲器，分別對應(yīng)于上述運動模糊濾波器及去運動模糊濾波器而設(shè)置； 運動檢索區(qū)域生成控制單元，其根據(jù)已設(shè)定的模糊模式選擇運動模糊濾波器及去運動模糊濾波器，來對原來的運動檢索區(qū)域生成追加的模糊模式運動檢索區(qū)域； 運動估計及模式選擇控制單元，其對生成的運動檢索區(qū)域和新追加的運動檢索區(qū)域分別執(zhí)行運動估計，并計算該運動估計過程的費用來選擇要適用于運動補償?shù)哪：Ｊ?；以? 運動補償單元，其根據(jù)由運動估計及模式選擇控制部所選擇的模糊模式來執(zhí)行運動補m\-ΖΧ ο
2.根據(jù)權(quán)利要求I所述的適用利用運動檢索區(qū)域的運動補償方法的視頻壓縮編碼裝置，其特征在于，在上述運動檢索區(qū)域生成控制單元內(nèi)設(shè)定的模糊模式包含運動的大小(長度、強度)、運動方向及濾波器的種類信息。
3.一種用于運動補償?shù)倪x擇性運動檢索區(qū)域的決定方法，其特征在于， 就估計運動并根據(jù)所估計的運動來進行運動補償?shù)膲嚎s編碼裝置的運動估計及運動補償過程而言，包括 模糊模式選擇過程，設(shè)定用于根據(jù)運動程度及角度來對原來的參考影像生成追加的運動檢索區(qū)域的模糊模式，并根據(jù)已設(shè)定的模糊模式來選擇運動模糊濾波器及去模糊濾波器； 濾波過程，通過基于所選擇的模糊模式的運動模糊濾波器及去模糊濾波器來生成運動檢索區(qū)域； 運動估計過程，對原來參考影像的運動檢索區(qū)域和通過上述濾波過程生成的運動檢索區(qū)域進行運動估計；以及 運動補償過程，通過比較在運動估計后產(chǎn)生的費用，選擇具有最小值的模糊模式來進行運動補償。
4.根據(jù)權(quán)利要求3所述的用于運動補償?shù)倪x擇性運動檢索區(qū)域決定方法，其特征在于， 就上述模糊模式選擇過程而言，模糊模式包含運動的大小(長度、強度)、運動的方向、濾波器的種類信息。
5.一種適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮解碼裝置，其特征在于， 就執(zhí)行運動補償?shù)囊曨l解碼器而言，包括 濾波器選擇控制單元，其從已解碼的影像信號中抽取模糊模式信息，通過根據(jù)所抽取的模糊模式信息選擇運動模糊濾波器或去運動模糊濾波器來生成及控制運動檢索區(qū)域；一個以上的多個運動模糊濾波器及去運動模糊濾波器，用于生成運動檢索區(qū)域； 幀存儲器，其分別對應(yīng)上述運動模糊濾波器及去運動模糊濾波器而設(shè)置；運動補償單元，其根據(jù)所生成的運動檢索區(qū)域，進行運動補償。
6.根據(jù)權(quán)利要求5所述的適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮解碼裝置，其特征在于，上述模糊模式信息包含運動的大小(長度、強度)、運動方向、濾波器的種類信息。
7.一種適用利用選擇性運動檢索區(qū)域的運動補償方法的視頻壓縮編碼及解碼裝置，其特征在于， 就適用運動估計及補償方法的壓縮編碼及解碼裝置而言， 通過對用于原來的運動估計的塊單位運動檢索區(qū)域，構(gòu)成一個以上的多個運動模糊濾波器及去運動模糊濾波器，來生成追加的運動檢索區(qū)域；對所生成的運動檢索區(qū)域和新追加的運動檢索區(qū)域分別執(zhí)行運動估計；通過計算該運動估計過程的費用，選擇適用于運動補償?shù)倪\動估計值，執(zhí)行運動補償來將視頻壓縮編碼；構(gòu)成一個以上的多個運動模糊濾波器及去運動模糊濾波器；從壓縮編碼的影像中選擇對運動模糊或去運動模糊的濾波器信息，并根據(jù)所抽取的信息選擇上述運動模糊濾波器或去運動模糊濾波器來生成運動檢索區(qū)域，并由此進行運動補償來對視頻進行解碼。
全文摘要
本發(fā)明涉及通過運動估計來體現(xiàn)運動補償?shù)囊曨l編解碼器的參考影像的生成方法。用視頻設(shè)備拍攝的結(jié)果影像的各幀因攝像機的每秒幀數(shù)及快門速度和拍攝設(shè)備的運動或手抖等外因或拍攝物的運動等原因而在大量幀中產(chǎn)生規(guī)定方向的運動模糊。對這種影像執(zhí)行運動估計時，因在參考影像中產(chǎn)生運動模糊而在輸入影像中不產(chǎn)生運動模糊的情況，或者在參考影像中無運動模糊而在輸入影像中有運動模糊的情況下，差分影像值會變大，將帶來壓縮效率不高的結(jié)果。本發(fā)明通過制作對參考影像有意執(zhí)行運動模糊和去運動模糊濾波的追加的多個參考影像，對原來的參考影像和追加的多個參考影像執(zhí)行運動估計時，選擇差分影像數(shù)據(jù)少的參考影像作為最終參考影像，能夠提高壓縮效率。
文檔編號H04N7/32GK102907099SQ201080066908
公開日2013年1月30日 申請日期2010年5月20日 優(yōu)先權(quán)日2010年5月20日
發(fā)明者高晉, 安宰德, 金成勛, 金仁權(quán) 申請人:星河通信株式會社