進(jìn)行影像編碼預(yù)測(cè)的方法及采用該方法的影像編碼裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供一種用于影像編碼預(yù)測(cè)的方法及采用該方法的影像編碼裝置。該方法包含接收與一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者；計(jì)算多個(gè)候選者中的一第一候選者的失真類(lèi)型代價(jià)；以及對(duì)于多個(gè)候選者中的每一其他候選者，計(jì)算多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度以及一資料存取需求度以計(jì)算其一失真類(lèi)型代價(jià)；以及如果資料存取需要度不超過(guò)資料存取可用度，計(jì)算目前候選者的失真類(lèi)型代價(jià)；否則，選擇具有計(jì)算出的最小失真類(lèi)型代價(jià)的候選者作為目前預(yù)測(cè)目標(biāo)的一匹配候選者。因此，可改善因?yàn)榇嫒⊥獠看鎯?chǔ)器而造成的編碼效能增進(jìn)停滯。
【專(zhuān)利說(shuō)明】進(jìn)行影像編碼預(yù)測(cè)的方法及采用該方法的影像編碼裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明是關(guān)于影像編碼，特別是關(guān)于進(jìn)行影像編碼的預(yù)測(cè)的方法及采用該方法的影像編碼裝置。
【背景技術(shù)】
[0002]近來(lái)的視訊編碼標(biāo)準(zhǔn)采用移動(dòng)向量預(yù)測(cè)而提供顯著的視訊編碼效能進(jìn)步。移動(dòng)向量預(yù)測(cè)通過(guò)使用空間上及時(shí)間上相鄰移動(dòng)向量的統(tǒng)計(jì)冗余達(dá)成降低比特率。
[0003]于進(jìn)行一目前區(qū)塊的移動(dòng)向量預(yù)測(cè)時(shí)，其相鄰移動(dòng)向量形成一候選者集。目前區(qū)塊為高效率視訊編碼(High Efficiency Video Coding, HEVC)標(biāo)準(zhǔn)的編碼樹(shù)單元(CodingTree Unit, CTU)的切割(partition),或是為 H.264 先進(jìn)視訊編碼(Advanced VideoCoding, AVC)標(biāo)準(zhǔn)的巨集區(qū)塊的切割等。對(duì)于各自對(duì)應(yīng)一目前區(qū)塊的每一候選者集，并且對(duì)于目前候選者集中的每一候選者，計(jì)算其失真類(lèi)型代價(jià)以選擇具有最小失真類(lèi)型代價(jià)的候選者用于預(yù)測(cè)目前區(qū)塊的移動(dòng)向量。
[0004]失真類(lèi)型的代價(jià)是通過(guò)計(jì)算正進(jìn)行其移動(dòng)向量預(yù)測(cè)的目前區(qū)塊以及候選移動(dòng)向量的參考區(qū)塊的像素強(qiáng)度差獲得。為了獲得候選移動(dòng)向量的參考區(qū)塊的像素強(qiáng)度，須通過(guò)系統(tǒng)總線自外部存儲(chǔ)器讀取參考區(qū)塊的像素，因此，失真類(lèi)型的代價(jià)可能會(huì)受到存儲(chǔ)器資料存取頻寬的限制以及與其他系統(tǒng)模組共用存儲(chǔ)器資源所造成資料存取時(shí)間變異的影響。
[0005]為了達(dá)成更高的編碼效能，需要增加被評(píng)估的編碼樹(shù)單元或是巨集區(qū)塊的切割的種類(lèi)以及候選者集中相鄰移動(dòng)向量的數(shù)量，然而，隨著候選者的數(shù)量的增加，存儲(chǔ)器資料存取卻成為影像編碼裝置中的效能瓶頸。圖1顯示HEVC的合并模式(merge mode)所需的存儲(chǔ)器資料存取的模擬結(jié)果以及時(shí)脈率為133MHz的典型雙資料速率2 (Double DataRate2, DDR2)存儲(chǔ)器的資料存取頻寬的比較圖。于合并模式中，HEVC通過(guò)傳遞所選擇的候選者的序號(hào)的訊息以及省略剩余訊號(hào)的編碼達(dá)成更多的比特率降低。然而，對(duì)于每一候選者集卻需要評(píng)估五個(gè)候選者。于此模擬中，CTU的大小為64x64像素，最大的切割深度為4，訊框率為30訊框/秒，移動(dòng)估測(cè)的搜尋范圍為±8像素，以及不對(duì)稱(chēng)的移動(dòng)切割為打開(kāi)。橫軸表示不同的訊框解析度，縱軸表示存儲(chǔ)器資料存取頻寬。如圖1所示，對(duì)于較大的訊框解析度序列，例如訊框解析度1080P及以上，合并模式所需的存儲(chǔ)器資料存取遠(yuǎn)超過(guò)典型DDR2存儲(chǔ)器所能負(fù)荷。
[0006]因此，亟需避免因存取外部存儲(chǔ)器所造成的編碼效能增進(jìn)停滯的狀況。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供一種用于進(jìn)行影像編碼預(yù)測(cè)的方法以及采用該方法的影像編碼裝置，其依據(jù)經(jīng)過(guò)動(dòng)態(tài)調(diào)整的存儲(chǔ)器資料存取條件下所計(jì)算的失真類(lèi)型代價(jià)，從用于預(yù)測(cè)的候選者集選擇一候選者。
[0008]依據(jù)一實(shí)施例，一種進(jìn)行影像編碼預(yù)測(cè)的方法包含下列步驟:接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者，其中，多個(gè)候選者與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性；計(jì)算多個(gè)候選者中的一第一候選者的失真類(lèi)型代價(jià)；以及對(duì)于多個(gè)候選者中的每一其他候選者，計(jì)算多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度以及一資料存取需求度以計(jì)算其一失真類(lèi)型代價(jià)；以及如果資料存取需要度不超過(guò)資料存取可用度，計(jì)算目前候選者的失真類(lèi)型代價(jià)；否則，選擇具有計(jì)算出的最小失真類(lèi)型代價(jià)的候選者作為目前預(yù)測(cè)目標(biāo)的一匹配候選者。
[0009]依據(jù)一實(shí)施例，一種影像編碼裝置包含:一系統(tǒng)及外部存儲(chǔ)器控制器，其與一系統(tǒng)總線耦接以存取一外部存儲(chǔ)器；一失真類(lèi)型代價(jià)計(jì)算模組，其與系統(tǒng)及存儲(chǔ)器控制器耦接；以及一資料存取條件計(jì)算模組，其與系統(tǒng)及外部存儲(chǔ)器控制器耦接，其中，系統(tǒng)及外部存儲(chǔ)器控制器是用于接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者，其中，多個(gè)候選者與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性；控制失真類(lèi)型代價(jià)計(jì)算模組計(jì)算多個(gè)候選者中的一第一候選者的失真類(lèi)型代價(jià)；以及對(duì)于多個(gè)候選者中的每一其他候選者，計(jì)算多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度以及一資料存取需求度以計(jì)算其一失真類(lèi)型代價(jià)；以及如果資料存取需要量不超過(guò)資料存取可用度，計(jì)算目前候選者的失真類(lèi)型代價(jià)；否則，選擇具有計(jì)算出的最小失真類(lèi)型代價(jià)的候選者作為目前預(yù)測(cè)目標(biāo)的一匹配候選者。
[0010]本發(fā)明的有益功效在于:由于其依據(jù)經(jīng)過(guò)動(dòng)態(tài)調(diào)整的存儲(chǔ)器資料存取條件下所計(jì)算的失真類(lèi)型代價(jià)，自用于預(yù)測(cè)的候選者集選擇一候選者。因此，可改善外部存儲(chǔ)器資料存取所造成的編碼效能增進(jìn)停滯的狀況。另外，當(dāng)候選者集為一候選移動(dòng)向量集，其可依據(jù)每一候選者所取得的一統(tǒng)計(jì)距離衡量值，以進(jìn)一步增進(jìn)編碼效能。
[0011]以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述，但不作為對(duì)本發(fā)明的限定。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0012]圖1所示為HEVC標(biāo)準(zhǔn)的合并模式中的所需的存儲(chǔ)器資料存取頻寬以及時(shí)脈率為133MHz的典型的DDR2存儲(chǔ)器的頻寬。
[0013]圖2所示為本發(fā)明一實(shí)施例的影像編碼裝置的示意方塊圖。
[0014]圖3所示為本發(fā)明一實(shí)施例的候選者選擇方法的流程圖。
[0015]圖4所示為本發(fā)明一實(shí)施例的多種預(yù)測(cè)目標(biāo)的示意圖。
[0016]圖5所示為本發(fā)明一實(shí)施例的候選者移動(dòng)向量用于預(yù)測(cè)目前預(yù)測(cè)目標(biāo)的移動(dòng)向量示意圖。
[0017]圖6所示為本發(fā)明一實(shí)施例用于計(jì)算資料存取條件的時(shí)序圖。
[0018]圖7所示為本發(fā)明一實(shí)施例的用于預(yù)測(cè)目前預(yù)測(cè)目標(biāo)的預(yù)測(cè)區(qū)塊的候選者位置的示意圖。
[0019]圖8所示為本發(fā)明一實(shí)施例的候選者選擇單元的示意方塊圖。
[0020]圖9所示為本發(fā)明一實(shí)施例有進(jìn)行候選者優(yōu)先順序排列的候選者選擇方法的流程圖。
[0021]圖10所示為本發(fā)明一實(shí)施例有進(jìn)行候選者優(yōu)先順序排列的候選者選擇單元的示意方塊圖。
[0022]其中，附圖標(biāo)記
[0023]2影像編碼裝置[0024]21預(yù)測(cè)單元
[0025]221系統(tǒng)及外部存儲(chǔ)器控制器
[0026]22候選者選擇單元
[0027]222失真類(lèi)型代價(jià)計(jì)算模組
[0028]23外部存儲(chǔ)器
[0029]223資料存取條件計(jì)算模組
[0030]224距離計(jì)算模組
[0031 ]225候選者優(yōu)先順序排列模組
[0032]226排列順序優(yōu)化的候選者集緩沖存儲(chǔ)器
[0033]231用于存取外部存儲(chǔ)器的系統(tǒng)總線
[0034]24轉(zhuǎn)換及量化單元
[0035]25熵編碼單元
[0036]26反向量化及轉(zhuǎn)換單元
[0037]27濾波單元
[0038]51目前預(yù)測(cè)目標(biāo)
[0039]vl_v5候選移動(dòng)向量
【具體實(shí)施方式】
[0040]下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明技術(shù)方案進(jìn)行詳細(xì)的描述，以更進(jìn)一步了解本發(fā)明的目的、方案及功效，但并非作為本發(fā)明所附權(quán)利要求保護(hù)范圍的限制。
[0041]圖2所示為本發(fā)明一實(shí)施例的影像編碼裝置2的示意方塊圖。影像編碼裝置2是依據(jù)一視訊編碼標(biāo)準(zhǔn)，例如高效率視訊編碼(High Efficiency Video Coding, HEVC)標(biāo)準(zhǔn)、先進(jìn)視訊編碼(Advanced Video Coding, AVC)標(biāo)準(zhǔn)等,進(jìn)行操作。一般來(lái)說(shuō)，本發(fā)明所敘述的方法是針對(duì)ffiVC，但本領(lǐng)域中具有通常知識(shí)者亦可據(jù)此所敘述的方法也可應(yīng)用于其他的視訊編碼方法。
[0042]HEVC標(biāo)準(zhǔn)為影像區(qū)塊制定新的名稱(chēng)。進(jìn)一步來(lái)說(shuō)，影像區(qū)塊(或是其切割)是稱(chēng)為編碼單元(Coding Unit,⑶)。對(duì)于HEVC標(biāo)準(zhǔn)而言，影像切片(slice)可劃分成編碼樹(shù)單元(Coding Tree Unit，CTU)，并且依據(jù)HEVC切割方式，編碼樹(shù)單元可繼續(xù)劃分成越來(lái)越小的編碼單元，并且不同的編碼單元可繼續(xù)劃分成所謂的預(yù)測(cè)單元(Prediction Unit，PU)。于本發(fā)明中，編碼樹(shù)單元、編碼單元及預(yù)測(cè)單元均屬于影像區(qū)塊。
[0043]圖2所示的影像編碼裝置2可以任何適當(dāng)?shù)木幋a手段實(shí)施，例如一或多微處理器、數(shù)字訊號(hào)處理器、特定應(yīng)用集成電路、可編程閘陣列、離散邏輯、軟件、硬件、固件或其組合。
[0044]請(qǐng)參照?qǐng)D2，依據(jù)本發(fā)明的一實(shí)施例，影像編碼裝置2包含一預(yù)測(cè)單元21、一候選者選擇單元22、一外部存儲(chǔ)器23、一轉(zhuǎn)換及量化單元24、一熵編碼單元25、一反向量化及轉(zhuǎn)換單元26以及一濾波器單元27。影像編碼裝置2取得一正要被編碼的目前影像的編碼樹(shù)單元，以及輸出一編碼后的比特流。目前影像可為一視訊框或是視訊切割。
[0045]請(qǐng)參照?qǐng)D2，對(duì)于目前影像的每一編碼樹(shù)單元，預(yù)測(cè)單元21為畫(huà)面內(nèi)預(yù)測(cè)、畫(huà)面間預(yù)測(cè)的移動(dòng)估測(cè)及/或畫(huà)面間預(yù)測(cè)的移動(dòng)向量預(yù)測(cè)建立候選者集。就畫(huà)面內(nèi)預(yù)測(cè)而言，候選者集是根據(jù)目前影像中相鄰編碼單元或預(yù)測(cè)單元的位置建立。就畫(huà)面間預(yù)測(cè)的移動(dòng)估測(cè)而言，候選者集是根據(jù)先前或是后來(lái)的參考影像中的編碼單元或預(yù)測(cè)單元的位置建立。就畫(huà)面間預(yù)測(cè)的移動(dòng)向量預(yù)測(cè)而言，候選者集是根據(jù)目前影像及/或先前或是后來(lái)的參考影像的相鄰移動(dòng)向量建立。接著，對(duì)于所進(jìn)行的畫(huà)面內(nèi)預(yù)測(cè)、畫(huà)面間預(yù)測(cè)的移動(dòng)估測(cè)及/或畫(huà)面間預(yù)測(cè)的移動(dòng)向量預(yù)測(cè)，候選者選擇單元22依據(jù)經(jīng)過(guò)動(dòng)態(tài)調(diào)整的存儲(chǔ)器資料存取條件下所計(jì)算的失真類(lèi)型代價(jià)，自候選者集選擇一候選者。于進(jìn)行畫(huà)面內(nèi)預(yù)測(cè)或畫(huà)面間預(yù)測(cè)的移動(dòng)估測(cè)時(shí)，可基于所選的候選者補(bǔ)償目前的編碼樹(shù)單元以產(chǎn)生預(yù)測(cè)用區(qū)塊。因此，如上所述，候選者選擇單元22不僅可適用于例如HEVC標(biāo)準(zhǔn)的合并模式的移動(dòng)向量預(yù)測(cè)，并且可調(diào)整為用于移動(dòng)估測(cè)或畫(huà)面內(nèi)預(yù)測(cè)。
[0046]請(qǐng)參照?qǐng)D2，于產(chǎn)生預(yù)測(cè)用區(qū)塊后，取得目前編碼樹(shù)單元及預(yù)測(cè)用區(qū)塊的差異為剩余資料。剩余資料可經(jīng)由轉(zhuǎn)換及量化單元24轉(zhuǎn)換成轉(zhuǎn)換系數(shù)并量化?？刹捎玫霓D(zhuǎn)換方式包含離散余弦轉(zhuǎn)換(Discrete Cosine Transformation, DCT)及整數(shù)轉(zhuǎn)換(IntegerTransform)、小波轉(zhuǎn)換(Wavelet Transform)等。量化轉(zhuǎn)換后的系數(shù)的程序是用于限制任何所取得的轉(zhuǎn)換系數(shù)的比特?cái)?shù)。接著，熵編碼單元25可對(duì)目前影像經(jīng)轉(zhuǎn)換及量化的剩余資料進(jìn)行熵編碼以取得編碼的比特流。熵編碼后的比特流可更包含預(yù)測(cè)資訊，例如指出所采用的預(yù)測(cè)方式的預(yù)測(cè)模式、一或多從移動(dòng)估測(cè)而來(lái)的移動(dòng)向量，以及一或多從移動(dòng)向量預(yù)測(cè)而來(lái)的移動(dòng)向量或是移動(dòng)向量序號(hào)?？刹捎玫撵鼐幋a方法包含全文自適應(yīng)二進(jìn)制算數(shù)編碼(Context Adaptive Binary Arithmetic Coding, CABAC)及全文自適應(yīng)可變長(zhǎng)度編碼(Context Adaptive Variable Length Coding, CAVLC)等。
[0047]請(qǐng)參照?qǐng)D2，為能產(chǎn)生畫(huà)面間預(yù)測(cè)的參考影像，經(jīng)轉(zhuǎn)換及量化的剩余資料可輸入反向量化及轉(zhuǎn)換單元26，反向量化及轉(zhuǎn)換單元26進(jìn)行轉(zhuǎn)換及量化單元24的反向操作。反向量化及轉(zhuǎn)換單元26所重建的剩余資料與預(yù)測(cè)單元21所產(chǎn)生的預(yù)測(cè)用區(qū)塊是用于重建編碼樹(shù)單元。重建的編碼樹(shù)單元被提供至濾波器單元27以產(chǎn)生供儲(chǔ)存于外部存儲(chǔ)器23的重建影像，濾波器單元27包含一去塊濾波器以及一可適性回路濾波器及/或一或多內(nèi)嵌式回路濾波器。
[0048]于本發(fā)明中，候選者選擇單元22與預(yù)測(cè)單元21為分開(kāi)。或者，候選者選擇單元22亦可整合于預(yù)測(cè)單元21中。
[0049]圖3所示為本發(fā)明一實(shí)施例的候選者選擇單元22的候選者選擇方法的流程圖。請(qǐng)參照?qǐng)D3，候選者選擇方法包含下列步驟:于步驟31中，接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者{c0，cl,...,C (n-1)}，其中，多個(gè)候選者{c0，cl,...,C (n-1)}與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性。于步驟32中，初始化序號(hào)i及iBest為0并且初始化一最小失真類(lèi)型代價(jià)DCostmn為于步驟33中，計(jì)算多個(gè)候選者{cO, cl,...，c (n-1)}中具有序號(hào)i的目前候選者的失 真類(lèi)型代價(jià)DCost。因?yàn)榇藭r(shí)序號(hào)i與0相同，目前候選者為第一候選者CO。于步驟34中，如果目前候選者的失真類(lèi)型代價(jià)DCost小于最小的失真類(lèi)型代價(jià)DCostMin，于步驟35中，將序號(hào)iBest設(shè)為i以及將最小的失真類(lèi)型代價(jià)DCostMin設(shè)為DCost。
[0050]接著，多個(gè)候選者{cO, cl,..., c (n-1)}中的每一其他候選者{cl,...，c(n_l)}進(jìn)行下列動(dòng)作。于步驟36中，計(jì)算資料存取可用度DAAvailability以及資料存取需求度DAK__nt以計(jì)算多個(gè)候選者IcO, cl,...，c (n-1)}中其他候選者{cl,..., c (n-1)}中具有序號(hào)i+1的候選者的一失真類(lèi)型代價(jià)。于步驟37中，如果資料存取需要度DAltequirarent不超過(guò)資料存取可用度DAAvailability，于步驟38中，增加序號(hào)i，接著為具有序號(hào)i的目前候選者重復(fù)步驟33、34以及可能重復(fù)步驟35 ;否則，選擇序號(hào)為iBest且具有計(jì)算出的最小失真類(lèi)型代價(jià)DCostmn的候選者作為目前預(yù)測(cè)目標(biāo)的一匹配候選者。須注意的是，在序號(hào)i于步驟38增加前，步驟36中具有序號(hào)i+1的候選者，與在序號(hào)i于步驟38增加后，步驟33中具有序號(hào)i的候選者相同。[0051]本發(fā)明的第一實(shí)施例的部分步驟將于下詳述。于步驟31中，接收與一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者{cO，cl,...,C (n-1)}，其中，多個(gè)候選者{cO，cl,...,C (n-1)}與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性。依據(jù)一實(shí)施例，圖2所示的預(yù)測(cè)單元21對(duì)于目前影像的目前最大編碼樹(shù)單元，進(jìn)行畫(huà)面間預(yù)測(cè)的移動(dòng)向量預(yù)測(cè)的候選者集建立，每一候選者集包含多個(gè)候選者。依據(jù)一實(shí)施例，候選者集是在HEVC的合并模式中建立。于此實(shí)施例中，預(yù)測(cè)目標(biāo)為一目前最大編碼樹(shù)單元(或是巨集區(qū)塊)的切割，其可為一編碼單元或是預(yù)測(cè)單元，目前預(yù)測(cè)目標(biāo)則是正在評(píng)估的目前編碼單元或預(yù)測(cè)單元，以及候選者為用于預(yù)測(cè)目前編碼單元及預(yù)測(cè)單元的移動(dòng)向量的候選移動(dòng)向量。圖4所示為本發(fā)明一實(shí)施例的各種預(yù)測(cè)目標(biāo)的示意圖。圖5所示為本發(fā)明一實(shí)施例用于預(yù)測(cè)一目前預(yù)測(cè)目標(biāo)的移動(dòng)向量的候選移動(dòng)向量的示意圖。如圖4所示，目前編碼樹(shù)單元的切割方式可有數(shù)種。依據(jù)一實(shí)施例，如果最大切割深度為1，具有64X64像素的目前編碼樹(shù)單元可保持為單一編碼單元或是切割為兩個(gè)64 X 32預(yù)測(cè)單元，兩個(gè)32 X 64預(yù)測(cè)單元，一個(gè)16 X 64預(yù)測(cè)單元以及一個(gè)48 X 64預(yù)測(cè)單元，一個(gè)48 X 64預(yù)測(cè)單元以及一個(gè)16 X 64預(yù)測(cè)單元，或是其他種類(lèi)的切割。如果最大切割深度為2，具有64X64像素的目前編碼樹(shù)單元可切割為4個(gè)32X32編碼單元，以及每一 32X32編碼單元可保持為單一編碼單元或是繼續(xù)切割為兩個(gè)32 X 16預(yù)測(cè)單元，兩個(gè)16 X 32預(yù)測(cè)單元，一個(gè)8 X 32預(yù)測(cè)單元以及一個(gè)24 X 32預(yù)測(cè)單元，一個(gè)24 X 32預(yù)測(cè)單元以及一個(gè)8 X 32預(yù)測(cè)單元，或是其他種類(lèi)的切割。如果最大切割深度為3，32 X 32編碼單元可繼續(xù)切割為4個(gè)16 X 16編碼單元，以及每一 16 X 16編碼單元可保持為單一編碼單元或是繼續(xù)切割為兩個(gè)16X8預(yù)測(cè)單元，兩個(gè)8X 16預(yù)測(cè)單元，四個(gè)8X8編碼單元，一個(gè)4X 16預(yù)測(cè)單元、一個(gè)12 X 16預(yù)測(cè)單元、一個(gè)12 X 16預(yù)測(cè)單元以及一個(gè)4X16預(yù)測(cè)單元，一個(gè)16X4預(yù)測(cè)單元、一個(gè)16 X 12預(yù)測(cè)單元、一個(gè)16 X 12預(yù)測(cè)單元以及一個(gè)16X4預(yù)測(cè)單元,或其他種類(lèi)的切割。依據(jù)一實(shí)施例，為目前預(yù)測(cè)目標(biāo)51 (其可為圖4所示的任一切割)所建立的候選者集包含圖5所示的6個(gè)候選移動(dòng)向量v0-v5的其中5個(gè)。候選移動(dòng)向量vO及vl的位置相鄰于目前預(yù)測(cè)目標(biāo)51的左下半部，候選移動(dòng)向量v2及v3的位置相鄰于目前預(yù)測(cè)目標(biāo)51的右上半部，候選移動(dòng)向量v4的位置在一參考影像中的對(duì)應(yīng)編碼單元或預(yù)測(cè)單元，以及候選移動(dòng)向量v5的位置相鄰于目前預(yù)測(cè)目標(biāo)51的左上半部。如果任一候選移動(dòng)向量v0-v3為無(wú)效，可以候選移動(dòng)向量v5補(bǔ)充候選者集。候選者v0-v3及v5與目前預(yù)測(cè)目標(biāo)51具有空間上的相關(guān)性，以及候選者v4與目前預(yù)測(cè)目標(biāo)51具有時(shí)間上的相關(guān)性。如果有m個(gè)預(yù)測(cè)目標(biāo)，每一個(gè)預(yù)測(cè)目標(biāo)PTO，PT1，...或PTm均有各自的候選者集，而候選者選擇方法可對(duì)每一個(gè)預(yù)測(cè)目標(biāo)進(jìn)行。
[0052]于步驟33中，計(jì)算多個(gè)候選者{CO，Cl，...,c(n-l)}中具有序號(hào)i的目前候選者的失真類(lèi)型代價(jià)DCost，失真類(lèi)型代價(jià)DCost是依據(jù)下式所得出的結(jié)果算出:
[0053]失真代價(jià)=EE 11 (Pixcurr(x, y))_I (Pixref (X，，y’))I (I)
[0054]其中，1(.)表示用于獲得像素強(qiáng)度的函數(shù)、？^。--(1，7)表示一目前像素位于目前影像中的目前預(yù)測(cè)目標(biāo)中的位置(X，y)、Pixref (x'，y’)表示一參考像素位于相關(guān)于目前候選者的位置(X’，y’)。取得目前預(yù)測(cè)目標(biāo)的像素以及目前候選者的參考像素均需要通過(guò)外部存儲(chǔ)器的資料存取。由于評(píng)估每一個(gè)候選者都需要計(jì)算失真類(lèi)型代價(jià)，需要評(píng)估的候選者越多，所需要的存儲(chǔ)器頻寬越高。依據(jù)一實(shí)施例，失真類(lèi)型代價(jià)為通過(guò)下式計(jì)算的比特率-失真代價(jià)函數(shù):
[0055]RDCost = Distortion Cost+ A ? R(ci) (2)
[0056]其中，RDCost表示比特率-失真代價(jià)函數(shù)、入表示拉格朗日(Lagrange)參數(shù)、R(Ci)表示一函數(shù)用于獲得目前候選者Ci所需的比特率。
[0057]于步驟36中，計(jì)算資料存取可用度DAAvailability以及資料存取需求度DA_uiMmt以計(jì)算多個(gè)候選者IcO, cl,...，c (n-1)}中其他候選者{cl,...，c (n-1)}中具有序號(hào)i+1的候選者的一失真類(lèi)型代價(jià)。資料存取可用度DAAvailability以及資料存取需求度DAltequiranmt是用于資料存取條件的評(píng)估。圖6所示為依據(jù)本發(fā)明一實(shí)施例用于計(jì)算資料存取條件的時(shí)序圖。資料存取可用度DAAvailability是依據(jù)進(jìn)行編碼影像的一個(gè)單位區(qū)域的一分配時(shí)間TimeT(rtal內(nèi)的一可用時(shí)間TimeAvailable算出，影像的一個(gè)單位區(qū)域?yàn)橐蛔畲缶幋a單元(largest coding unit,LCU)。
[0058]TimeAvailable — Timelotal-Timeused (3)
[0059]其中TimeAvailable表示可用時(shí)間；TimeT()tal表示進(jìn)行編碼影像的最大編碼單元的分配時(shí)間Jimeused表示為進(jìn)行包含計(jì)算每一相對(duì)于目前預(yù)測(cè)目標(biāo)PTk為先前預(yù)測(cè)目標(biāo)PTO,…，or PT (k-1)的每一候選者cO, cl,…或c (n_l)的動(dòng)作以及每一相對(duì)于目前預(yù)測(cè)目標(biāo)PTk的目前候選者c (i+1)為先前候選者cO,…，或ci的動(dòng)作的一已用時(shí)間TimeUsed。如圖6所示，將以上動(dòng)作的所用時(shí)間是累積至`TimeUsed。依據(jù)一實(shí)施例，其他動(dòng)作的所用時(shí)間例如顯示于圖2的預(yù)測(cè)單元21的動(dòng)作所用時(shí)間亦可累積至TimeUs6d。
[0060]依據(jù)本發(fā)明的一軟件實(shí)施例，資料存取可用度DAAvailability以及資料存取需求度DAK6(luiM16nt是以時(shí)間表示并且資料存取可用度為可用時(shí)間TimeAvailabl6，以及資料存取需求度DA_uiMmt為進(jìn)行包含計(jì)算目前候選者c(i+l)的失真類(lèi)型代價(jià)的動(dòng)作的一需求時(shí)間
Tim?ReqUired。
[0061]依據(jù)本發(fā)明的一第二實(shí)施例，圖3所示的部分步驟將于下詳述。于步驟31中，接收與一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者{cO，Cl,...，c(n-l)}，其中，多個(gè)候選者{cO, cl,..., c (n-1)}與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性。依據(jù)一實(shí)施例，對(duì)于目前影像的目前編碼樹(shù)單元，圖2所示的預(yù)測(cè)單元21進(jìn)行畫(huà)面間預(yù)測(cè)的移動(dòng)向量預(yù)測(cè)的候選者集建立，每一候選者集包含多個(gè)候選者。依據(jù)一實(shí)施例，候選者集是依據(jù)一'決速區(qū)塊匹配方法如三步搜尋方法建立，快速區(qū)塊匹配方法是于選擇的位置上進(jìn)行區(qū)塊匹配。于本實(shí)施例中，預(yù)測(cè)目標(biāo)為一目前最大編碼樹(shù)單元(或是巨集區(qū)塊)的切割，其可為一編碼單元或是預(yù)測(cè)單元，目前預(yù)測(cè)目標(biāo)則是正在評(píng)估的目前編碼樹(shù)單元或預(yù)測(cè)單元，以及候選者為用于預(yù)測(cè)目前編碼單元及預(yù)測(cè)單元的移動(dòng)向量的候選移動(dòng)向量。圖4所示為本發(fā)明一實(shí)施例的各種預(yù)測(cè)目標(biāo)的示意圖。各種切割型態(tài)已詳述如上，于此不贅述。圖7所示為本發(fā)明一實(shí)施例中用于預(yù)測(cè)目前預(yù)測(cè)目標(biāo)的預(yù)測(cè)用方塊的候選位置示意圖。如圖7所示，于三步搜尋方法的第一步中，建立一用于預(yù)測(cè)目前預(yù)測(cè)目標(biāo)的候選者集，目前預(yù)測(cè)目標(biāo)可為任一圖4所示的切割，候選者集包含方塊部分的候選位置1-9 ;三步搜尋方法的第二步中，建立目前預(yù)測(cè)目標(biāo)的精致化候選者集，其包含三角形部分的候選位置10-17 ;以及三步搜尋方法的第三步中，建立目前預(yù)測(cè)目標(biāo)的更精致化候選者集，其包含圓形部分的候選位置18-25。所有的候選者1-25與目前預(yù)測(cè)目標(biāo)具有時(shí)間上的相關(guān)性，因此，如果有m個(gè)預(yù)測(cè)目標(biāo)，每一個(gè)預(yù)測(cè)目標(biāo)0，1，...或m均有各自的三個(gè)候選者集，而候選者選擇方法可對(duì)每一個(gè)預(yù)測(cè)目標(biāo)的每一候選者集進(jìn)行，或是候選者選擇方法可僅對(duì)每一預(yù)測(cè)目標(biāo)的更細(xì)致化候選者集進(jìn)行。
[0062]第一實(shí)施例的步驟33及36的詳細(xì)說(shuō)明亦適用于第二實(shí)施例，故于此不再贅述。
[0063]圖8所示為本發(fā)明的一硬件實(shí)施例的候選者選擇單元22的示意方塊圖。請(qǐng)參照?qǐng)D8，依據(jù)一實(shí)施例，候選者選擇單元22包含一系統(tǒng)及外部存儲(chǔ)器控制器221，一失真類(lèi)型代價(jià)計(jì)算模組222以及一資料存取條件計(jì)算模組223。如圖2所示，系統(tǒng)及外部存儲(chǔ)器控制器221與系統(tǒng)總線231耦接以存取一外部存儲(chǔ)器23。失真類(lèi)型代價(jià)計(jì)算模組222及資料存取條件計(jì)算模組223與系統(tǒng)及外部存儲(chǔ)器控制器221耦接。
[0064]請(qǐng)參照?qǐng)D8，系統(tǒng)及外部存儲(chǔ)器控制器221是用于進(jìn)行下列動(dòng)作。第一，可自一候選者緩沖存儲(chǔ)器211接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者{cO, cl,...,C (n-1)}，其中，多個(gè)候選者{c0，cl,...,C (n-1)}與目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性?；蛘撸鄠€(gè)候選者{c0，cl，...，c (n-1)}亦可一對(duì)一接收。不同的預(yù)測(cè)模式中所接收的候選者的詳細(xì)說(shuō)明已提供如上，于此省略不贅述。接著，失真類(lèi)型代價(jià)計(jì)算模組222計(jì)算多個(gè)候選者{c0，cl，...，c (n-1)}中的一第一候選者cO的失真類(lèi)型代價(jià)。依據(jù)一實(shí)施例，系統(tǒng)及外部存儲(chǔ)器控制器221從外部存儲(chǔ)器存取目前預(yù)測(cè)目標(biāo)的像素Pixc^以及第一候選者cO的參考像素Pixref控制，并且產(chǎn)生一控制訊號(hào)ctl I以及提供像素Pix。-以及Pixraf以控制失真類(lèi)型代價(jià)計(jì)算模組222計(jì)算多個(gè)候選者{cO, cl,...，c (n-1)}中的一第一候選者CO的失真類(lèi)型代價(jià)。計(jì)算失真類(lèi)型代價(jià)的方式已詳細(xì)說(shuō)明如上，于此不再贅述。
[0065]接著，對(duì)于多個(gè)候選者{c0，..., cn}中的每一其他候選者{cl，..., cn}進(jìn)行以下的動(dòng)作。資料存取條件計(jì)算模組223，其與該系統(tǒng)及外部存儲(chǔ)器控制器耦接，其中，該系統(tǒng)及外部存儲(chǔ)器控制器223是用于計(jì)算該多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度DAAvailability以及一資料存取需求度DA_uiMmt以供系統(tǒng)及外部存儲(chǔ)器控制器221控制失真類(lèi)型代價(jià)計(jì)算模組222計(jì)算多個(gè)候選者{c0，Cl,...,c (n-1)}中其他候選者{cl，...，c (n-1)}的一失真類(lèi)型代價(jià)。如果資料存取需要量DA_uiMmtF超過(guò)資料存取可用度DAAvailability，控制失真類(lèi)型代價(jià)計(jì)算模組222計(jì)算目前候選者的失真類(lèi)型代價(jià)。如果資料存取需要量DAltequirarent超過(guò)資料存取可用度DAAvailability，選擇具有計(jì)算出的最小失真類(lèi)型代價(jià)的候選者作為目前預(yù)測(cè)目標(biāo)的一匹配候選者。
[0066依據(jù)一實(shí)施例，為供資料存取條件計(jì)算模組223計(jì)算目前候選者的資料存取可用度DAAvailability以及資料存取需求度DA_uiMmt，執(zhí)行下列動(dòng)作。請(qǐng)參照?qǐng)D6及8，系統(tǒng)及外部存儲(chǔ)器控制器221接收一系統(tǒng)時(shí)脈率0)以及計(jì)算一以時(shí)脈周期為單位表示的已用時(shí)間CLKusejd,其為進(jìn)行包含計(jì)算每一相對(duì)于目前預(yù)測(cè)目標(biāo)PTk為先前預(yù)測(cè)目標(biāo)PT0,…，或PT (k-1)的每一候選者c0，cl，…或c(n-l)以及每一相對(duì)于目前預(yù)測(cè)目標(biāo)PTk的候選者c (i+1)為先前候選者c0，…，或ci的失真類(lèi)型代價(jià)的動(dòng)作的已用時(shí)間。
[0067]接續(xù)上述，資料存取條件計(jì)算模組223接收系統(tǒng)及外部存儲(chǔ)器控制器221所產(chǎn)生的控制訊號(hào)ctl2，以及從系統(tǒng)及外部存儲(chǔ)器控制器221接收已用時(shí)間CLKUs6d。資料存取條件計(jì)算模組223亦接收進(jìn)行編碼影像的一個(gè)單位區(qū)域(編碼樹(shù)單元)的分配時(shí)間CLKT()tal，其以時(shí)脈周期為單位表示，以及接收與目前預(yù)測(cè)目標(biāo)相關(guān)的一寬度W。-以及一高度H。-，以及系統(tǒng)總線231的頻寬BitsBUS。分配時(shí)間CLKT()tal可通過(guò)下式計(jì)算:
【權(quán)利要求】
1.一種進(jìn)行影像編碼預(yù)測(cè)的方法，其特征在于，包含下列步驟: 接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者，其中，該多個(gè)候選者與該目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性； 計(jì)算該多個(gè)候選者中的一第一候選者的失真類(lèi)型代價(jià)；以及 對(duì)于該多個(gè)候選者中的每一其他候選者， 計(jì)算該多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度以及一資料存取需求度以計(jì)算其一失真類(lèi)型代價(jià)；以及 如果該資料存取需要度不超過(guò)該資料存取可用度，計(jì)算該目前候選者的該失真類(lèi)型代價(jià)；否則，選擇具有計(jì)算出的最小該失真類(lèi)型代價(jià)的該候選者作為該目前預(yù)測(cè)目標(biāo)的一匹配候選者。
2.如權(quán)利要求1所述的方法，其特征在于，該資料存取可用度是依據(jù)進(jìn)行編碼該影像的一個(gè)單位區(qū)域的一分配時(shí)間內(nèi)的一可用時(shí)間算出，該可用時(shí)間是依據(jù)下式計(jì)算:
TimeAvaiiabie — Timelotal-Timeused 其中，TimeAvailable表示該可用時(shí)間；TimeT()tal表示進(jìn)行編碼該影像的一個(gè)單位區(qū)域的該分配時(shí)間；TimeUsed表示為進(jìn)行包含計(jì)算每一相對(duì)于該目前預(yù)測(cè)目標(biāo)為先前預(yù)測(cè)目標(biāo)的每一候選者的動(dòng)作以及每一相對(duì)于該目前預(yù)測(cè)目標(biāo)的該目前候選者為先前候選者的動(dòng)作的一已用時(shí)間。
3.如權(quán)利要求2所述的方法，其特征在于，該資料存取可用度以及該資料存取需求度是以時(shí)間表示，以及該資料存取可用度為該可用時(shí)間，以及該資料存取需求度為進(jìn)行包含計(jì)算該目前候選者的該失真類(lèi)型代價(jià)的動(dòng)作的一需求時(shí)間。
4.如權(quán)利要求1所述的方法，其特征在于，該目前預(yù)測(cè)目標(biāo)為該影像中的一區(qū)域的一移動(dòng)向量，以及該多個(gè)候選者為一包含多個(gè)用于預(yù)測(cè)該目前預(yù)測(cè)目標(biāo)的候選移動(dòng)向量的候選移動(dòng)向量集，以及該方法進(jìn)一步包含: 計(jì)算該候選移動(dòng)向量集中的每一候選移動(dòng)向量相對(duì)于其他候選移動(dòng)向量的一統(tǒng)計(jì)距離衡量值；以及 依據(jù)該候選移動(dòng)向量集中的每一候選移動(dòng)向量的該距離衡量值進(jìn)行該候選移動(dòng)向量集的優(yōu)先順序排列。
5.如權(quán)利要求4所述的方法,其特征在于，該候選移動(dòng)向量集中的一待量候選者的該距離衡量值是依據(jù)下式計(jì)算:
n—1 A=E dij
j=o 其中，Di表示該待量候選者的該距離衡量值；n表示該候選移動(dòng)向量集中的候選移動(dòng)向量的數(shù)目，以及du表示該候選移動(dòng)向量集中具有序號(hào)i的該待量候選者與具有序號(hào)j的一候選移動(dòng)向量的距離，且Clij是依據(jù)下式計(jì)算:
dij = vix-vjx I+ I vjy-vjy 其中，vix與viy分別表示該待量候選者的X與y部分；以及vjx與vjy分別表示具有序號(hào)j的該候選移動(dòng)向量的X與y部分。
6.如權(quán)利要求4所述的方法,其特征在于，該候選移動(dòng)向量集中的一待量候選者的該距離衡量值是依據(jù)下式計(jì)算:Di = Ivix-MVcenterxHviy-MVcentery 其中，Di表示該待量候選者的該距離衡量值；vix與viy分別表示該待量候選者的X與y部分；以及MVfcnte-x與MVemto-y分別表不一移動(dòng)向量中心的X與y部分。
7.如權(quán)利要求6所述的方法，其特征在于，該移動(dòng)向量中心的X與y部分分別是依據(jù)下式計(jì)算:

8.如權(quán)利要求6所述的方法，其特征在于，該移動(dòng)向量中心的X與y部分分別是依據(jù)下式計(jì)算:
9.如權(quán)利要求1所述的方法，其特征在于，針對(duì)該目前預(yù)測(cè)目標(biāo)所接收的多個(gè)候選者為用于預(yù)測(cè)高效率視訊編碼的合并模式中的一目前編碼單元或預(yù)測(cè)單元的候選移動(dòng)向量。
10.如權(quán)利要求1所述的方法，其特征在于，針對(duì)該目前預(yù)測(cè)目標(biāo)所接收的多個(gè)候選者是用于預(yù)測(cè)以一快速區(qū)塊匹配方法所取得的該影像的一目前巨集區(qū)塊或子區(qū)塊的候選位置。
11.一影像編碼裝置，其特征在于，包含: 一系統(tǒng)及外部存儲(chǔ)器控制器，其與一系統(tǒng)總線耦接以存取一外部存儲(chǔ)器； 一失真類(lèi)型代價(jià)計(jì)算模組，其與該系統(tǒng)及存儲(chǔ)器控制器耦接；以及 一資料存取條件計(jì)算模組，其與該系統(tǒng)及外部存儲(chǔ)器控制器耦接，其中，該系統(tǒng)及外部存儲(chǔ)器控制器是用于接收與一影像的一目前預(yù)測(cè)目標(biāo)相關(guān)的多個(gè)候選者，其中，該多個(gè)候選者與該目前預(yù)測(cè)目標(biāo)具有空間上或時(shí)間上的相關(guān)性； 控制該失真類(lèi)型代價(jià)計(jì)算模組計(jì)算該多個(gè)候選者中的一第一候選者的失真類(lèi)型代價(jià)；以及 對(duì)于該多個(gè)候選者中的每一其他候選者，計(jì)算該多個(gè)候選者中其他候選者中的一目前候選者的一資料存取可用度以及一資料存取需求度以計(jì)算其一失真類(lèi)型代價(jià)；以及 如果該資料存取需要量不超過(guò)該資料存取可用度，計(jì)算該目前候選者的該失真類(lèi)型代價(jià)；否則，選擇具有計(jì)算出的最小該失真類(lèi)型代價(jià)的該候選者作為該目前預(yù)測(cè)目標(biāo)的一匹配候選者。
12.如權(quán)利要求11所述的裝置，其特征在于，該資料存取條件計(jì)算模組是依據(jù)進(jìn)行編碼該影像的一個(gè)單位區(qū)域的一分配時(shí)間內(nèi)的一可用時(shí)間算出該資料存取可用度，該可用時(shí)間是依據(jù)下式計(jì)算:
CLKAvailable — CLKlotal-CLKused 其中，CLKAvaila-表示該可用時(shí)間，其以時(shí)脈周期為單位表示；CLKT(rtal表示進(jìn)行編碼該影像的一個(gè)單位區(qū)域的該分配時(shí)間，其以時(shí)脈周期為單位表示；CLKused表示為進(jìn)行包含計(jì)算每一相對(duì)于該目前預(yù)測(cè)目標(biāo)為先前預(yù)測(cè)目標(biāo)的每一候選者的動(dòng)作以及每一相對(duì)于該目前預(yù)測(cè)目標(biāo)的該目前候選者為先前候選者的動(dòng)作的一已用時(shí)間，其以時(shí)脈周期為單位表/Jn o
13.如權(quán)利要求11所述的裝置，其特征在于，該資料存取條件計(jì)算模組是以下式計(jì)算該資料存取可用度以及該資料存取需求度:
14.如權(quán)利要求11所述的裝置，其特征在于，該目前預(yù)測(cè)目標(biāo)為該影像中的一區(qū)域的一移動(dòng)向量，以及該多個(gè)候選者為一包含多個(gè)用于預(yù)測(cè)該目前預(yù)測(cè)目標(biāo)的候選移動(dòng)向量的候選移動(dòng)向量集，以及該裝置進(jìn)一步包含: 一距離計(jì)算模組，用于計(jì)算該候選移動(dòng)向量集中的每一候選移動(dòng)向量相對(duì)于其他候選移動(dòng)向量的一統(tǒng)計(jì)距離衡量值；以及 一候選者優(yōu)先順序排列模組，其與該系統(tǒng)及外部存儲(chǔ)器控制器耦接，并且是用于依據(jù)該候選移動(dòng)向量集中的每一候選移動(dòng)向量的該距離衡量值進(jìn)行該候選移動(dòng)向量集的優(yōu)先順序排列。
15.如權(quán)利要求14所述的裝置，其特征在于，該候選移動(dòng)向量集中的一待量候選者的該距離衡量值是依據(jù)下式計(jì)算:
16.如權(quán)利要求14所述的裝置，其中，該候選移動(dòng)向量集中的一待量候選者的該距離衡量值是依據(jù)下式計(jì)算:
Di = vix-MVCenter_x I +1 viy-MVCenter+y 其中，Di表示該待量候選者的該距離衡量值；vix與viy分別表示該待量候選者的X與y部分；以及MVfcnte-x與MVemto-y分別表不一移動(dòng)向量中心的X與y部分。
17.如權(quán)利要求16所述的裝置，其特征在于，該移動(dòng)向量中心的X與y部分分別是依據(jù)下式計(jì)算:
18.如權(quán)利要求16所述的裝置，其特征在于，該移動(dòng)向量中心的X與y部分分別是依據(jù)下式計(jì)算:
19.如權(quán)利要求11所述的裝置，其特征在于，針對(duì)該目前預(yù)測(cè)目標(biāo)所接收的多個(gè)候選者為用于預(yù)測(cè)高效率視訊編碼的合并模式中的一目前編碼單元或預(yù)測(cè)單元的候選移動(dòng)向量。
20.如權(quán)利要求11所述的裝置，其特征在于，針對(duì)該目前預(yù)測(cè)目標(biāo)所接收的多個(gè)候選者是用于預(yù)測(cè)以一快速區(qū)塊匹配方法所取得的該影像的一目前巨集區(qū)塊或子區(qū)塊的候選位置。
【文檔編號(hào)】H04N19/61GK103634607SQ201310036489
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2013年1月30日 優(yōu)先權(quán)日:2012年8月24日
【發(fā)明者】李國(guó)龍, 顏志旭 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院