在視頻和圖像編碼和解碼中使用散列值來(lái)表示各塊的制作方法
【專利說(shuō)明】在視頻和圖像編碼和解碼中使用散列值來(lái)表示各塊
[0001 ] 背景
[0002] 工程師使用壓縮(也叫做源編碼或源譯碼)來(lái)降低數(shù)字視頻的比特率。壓縮通過(guò)將 視頻信息轉(zhuǎn)換成較低比特率的形式來(lái)降低存儲(chǔ)和傳送該信息的成本。解壓(也被稱為解碼） 從壓縮的形式中重構(gòu)一種版本的原始信息。"編解碼器"是編碼器/解碼器系統(tǒng)。
[0003] 在過(guò)去的二十年中，已采用了各種視頻編解碼器標(biāo)準(zhǔn)，包括ITU-T H.261、H.262 (MPEG-2或IS0/IEC 13818-2)、Η· 263和H.264(MPEG-4AVC或IS0/IEC 14496-10)標(biāo)準(zhǔn)、MPEG-1(IS0/IEC 11172-2)和MPEG-4可視（IS0/IEC 14496-2)標(biāo)準(zhǔn)以及SMPTE 421M標(biāo)準(zhǔn)。最近， HEVC標(biāo)準(zhǔn)（ITU-T Η.265或IS0/IEC 23008-2)已被批準(zhǔn)。當(dāng)前，正在開(kāi)發(fā)(例如，針對(duì)可縮放 視頻編碼/解碼、針對(duì)在樣本比特深度或色度采樣率方面具有較高保真度的視頻的編碼/解 碼、或針對(duì)多視圖編碼/解碼的)HEVC標(biāo)準(zhǔn)的擴(kuò)展。視頻編解碼器標(biāo)準(zhǔn)通常定義針對(duì)經(jīng)編碼 的視頻比特流的句法的選項(xiàng)，從而詳述當(dāng)在編碼和解碼時(shí)使用特定特征時(shí)該比特流中的參 數(shù)。在許多情況下，視頻編解碼器標(biāo)準(zhǔn)還提供關(guān)于解碼器應(yīng)當(dāng)執(zhí)行以在解碼時(shí)取得一致的 結(jié)果的解碼操作的細(xì)節(jié)。除了編解碼器標(biāo)準(zhǔn)外，各種專用編解碼器格式定義針對(duì)經(jīng)編碼的 視頻比特流的句法的其他選項(xiàng)以及相應(yīng)的解碼操作。
[0004] 幀內(nèi)塊復(fù)制（"BC"）是HEVC擴(kuò)展的處于考慮中的預(yù)測(cè)模式。對(duì)于幀內(nèi)BC預(yù)測(cè)模式， 圖片的當(dāng)前塊的樣本值是使用同一圖片中的先前重構(gòu)的樣本值來(lái)預(yù)測(cè)的。塊向量（"BV"）指 示從當(dāng)前塊到圖片的包括用于預(yù)測(cè)的先前重構(gòu)的樣本值的區(qū)域的位移。BV被信號(hào)化在比特 流中。幀內(nèi)BC預(yù)測(cè)是一種形式的圖片內(nèi)預(yù)測(cè)一針對(duì)圖片的塊的幀內(nèi)BC預(yù)測(cè)不使用除了同一 圖片中的樣本值以外的任何樣本值。
[0005] 如當(dāng)前在HEVC標(biāo)準(zhǔn)中規(guī)定并在針對(duì)HEVC標(biāo)準(zhǔn)的某一參考軟件中實(shí)現(xiàn)的，幀內(nèi)BC預(yù) 測(cè)模式具有若干問(wèn)題。例如，有關(guān)如何使用幀內(nèi)BC預(yù)測(cè)的編碼器側(cè)決策沒(méi)有被有效作出。
[0006] 概述
[0007] 概括而言，本詳細(xì)描述呈現(xiàn)了基于散列的塊匹配中的創(chuàng)新。例如，各創(chuàng)新中的一些 涉及用散列值來(lái)編碼各塊，其中編碼器在搜索與被編碼的當(dāng)前塊相匹配的塊時(shí)使用各塊的 散列值。對(duì)應(yīng)的解碼器使用用信號(hào)通知的散列值來(lái)確定在重構(gòu)期間要使用哪些塊。
[0008] 針對(duì)基于散列的塊匹配的創(chuàng)新可以被實(shí)現(xiàn)為方法的一部分、被適配成執(zhí)行該方法 的計(jì)算系統(tǒng)的一部分或存儲(chǔ)用于使計(jì)算系統(tǒng)執(zhí)行該方法的計(jì)算機(jī)可執(zhí)行指令的有形計(jì)算 機(jī)可讀介質(zhì)的一部分。各創(chuàng)新可以結(jié)合地或分開(kāi)地使用。
[0009] 參考附圖閱讀以下詳細(xì)描述，將更清楚本發(fā)明的前述和其他目標(biāo)、特征和優(yōu)點(diǎn)。
[0010] 附圖簡(jiǎn)述
[0011] 圖1是其中可實(shí)現(xiàn)所描述的一些實(shí)施例的示例計(jì)算系統(tǒng)的示圖。
[0012] 圖2a和2b是其中可實(shí)現(xiàn)所描述的一些實(shí)施例的示例網(wǎng)絡(luò)環(huán)境的示圖。
[0013] 圖3是結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例編碼器系統(tǒng)的示圖。
[0014] 圖4是結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例解碼器系統(tǒng)的示圖。
[0015] 圖5a和5b是示出結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例視頻編碼器的示圖。
[0016] 圖6是示出結(jié)合其可實(shí)現(xiàn)所描述的一些實(shí)施例的示例視頻解碼器的示圖。
[0017]圖7是示出針對(duì)圖片的塊的幀內(nèi)BC預(yù)測(cè)的示圖。
[0018] 圖8是示出幀的塊的塊匹配中的候選塊的示圖。
[0019] 圖9是示出針對(duì)示例幀的塊的塊匹配中的多個(gè)候選塊的示圖。
[0020] 圖10是示出在基于散列的塊匹配中的候選塊的散列值的表。
[0021] 圖11a和lib是解說(shuō)用于使用散列值來(lái)編碼各塊的技術(shù)的流程圖。
[0022] 圖12a和12b是解說(shuō)使用用信號(hào)通知的散列值來(lái)確定重構(gòu)塊的編碼技術(shù)的流程圖。
[0023] 詳細(xì)描述
[0024] 本詳細(xì)描述呈現(xiàn)了基于散列的塊匹配的使用中的創(chuàng)新。具體而言，本詳細(xì)描述呈 現(xiàn)了用于使用散列值來(lái)編碼各塊并使用散列值來(lái)重構(gòu)各塊的創(chuàng)新。
[0025] 雖然本文中描述的操作是被適當(dāng)描述為由視頻編碼器來(lái)執(zhí)行，但在許多情況中， 這些操作可由另一類型的媒體處理工具(例如圖像編碼器)來(lái)執(zhí)行。
[0026]本文中描述的一些創(chuàng)新是參考專用于HEVC標(biāo)準(zhǔn)的句法元素和操作來(lái)示出的。例 如，對(duì)HEVC標(biāo)準(zhǔn)的草稿版本JCTVC-N1005--即2013年7月的"高效視頻編碼(HEVC)范圍擴(kuò) 展文本規(guī)范:第4稿" JCTVC-N1005作出參考。本文中描述的各創(chuàng)新還可以被實(shí)現(xiàn)為用于其它 標(biāo)準(zhǔn)或格式。
[0027]更一般地，本文中描述的各示例的各種替代是可能的。例如，本文中描述的一些方 法可以通過(guò)改變描述的方法動(dòng)作的順序、通過(guò)拆分、重復(fù)或忽略某些方法動(dòng)作等來(lái)更改。所 公開(kāi)的技術(shù)的各方面能夠被組合地或分開(kāi)地使用。不同的實(shí)施例使用所描述的創(chuàng)新中的一 個(gè)或多個(gè)。本文中描述的一些創(chuàng)新解決了背景中指出的一個(gè)或多個(gè)問(wèn)題。通常，所給出的技 術(shù)/工具并不解決所有這些問(wèn)題。
[0028] I.示例計(jì)算系統(tǒng)
[0029] 圖1示出了其中可實(shí)現(xiàn)幾個(gè)所描述的創(chuàng)新的合適計(jì)算系統(tǒng)（100)的概括示例。計(jì)算 系統(tǒng)（1〇〇)并不旨對(duì)使用范圍或功能提出任何限制，因?yàn)檫@些創(chuàng)新可以在不同的通用或?qū)?用計(jì)算系統(tǒng)中實(shí)現(xiàn)。
[0030] 參考圖1，計(jì)算系統(tǒng)（100)包括一個(gè)或多個(gè)處理單元（110、115)和存儲(chǔ)器（120、 125)。處理單元（110、115)執(zhí)行計(jì)算機(jī)可執(zhí)行指令。處理單元可以是通用中央處理單元 ("CPU"）、專用集成電路（"ASIC"）中的處理器或任何其它類型的處理器。在多處理系統(tǒng)中， 多個(gè)處理單元執(zhí)行計(jì)算機(jī)可執(zhí)行指令以提高處理能力。例如，圖1示出中央處理單元（110) 以及圖形處理單元或協(xié)處理單元（115)。有形存儲(chǔ)器（120、125)可以是(諸)處理單元可訪問(wèn) 的易失性存儲(chǔ)器(例如，寄存器、高速緩存、RAM)、非易失性存儲(chǔ)器(例如，ROM、EEPR0M、閃存 等)或這兩者的某一組合。存儲(chǔ)器（120,125)存儲(chǔ)實(shí)現(xiàn)針對(duì)基于散列的塊匹配和/或基于散 列的塊重構(gòu)的一個(gè)或多個(gè)創(chuàng)新的軟件（180)，該軟件是適用于由（諸)處理單元執(zhí)行的計(jì)算 機(jī)可執(zhí)行指令的形式。
[0031] 計(jì)算系統(tǒng)可具有附加的特征。例如，計(jì)算系統(tǒng)（100)包括存儲(chǔ)（140)、一個(gè)或多個(gè)輸 入設(shè)備（150)、一個(gè)或多個(gè)輸出設(shè)備（160)以及一個(gè)或多個(gè)通信連接（170)。諸如總線、控制 器或網(wǎng)絡(luò)之類的互連機(jī)制（未示出）將計(jì)算系統(tǒng)（100)的各組件互連。通常，操作系統(tǒng)軟件 (未示出）為在計(jì)算系統(tǒng)（100)中執(zhí)行的其它軟件提供操作環(huán)境，并協(xié)調(diào)計(jì)算系統(tǒng)（100)的各 組件的活動(dòng)。
[0032] 有形存儲(chǔ)（140)可以是可移動(dòng)或不可移動(dòng)的，并包括磁盤、磁帶或磁帶盒、⑶-R0M、 DVD或可用于儲(chǔ)存信息并可在計(jì)算系統(tǒng)（100)內(nèi)訪問(wèn)的任何其他介質(zhì)。存儲(chǔ)（140)存儲(chǔ)針對(duì) 實(shí)現(xiàn)用于基于散列的塊匹配和/或基于散列的塊重構(gòu)的一個(gè)或多個(gè)創(chuàng)新的軟件（180)的指 令。
[0033](諸)輸入設(shè)備（150)可以是觸摸輸入設(shè)備(諸如鍵盤、鼠標(biāo)、筆或跟蹤球）、語(yǔ)音輸 入設(shè)備、掃描設(shè)備或向計(jì)算系統(tǒng)（100)提供輸入的另一設(shè)備。對(duì)于視頻，（諸)輸入設(shè)備（150) 可以是相機(jī)、視頻卡、TV調(diào)諧卡、或接受模擬或數(shù)字形式的視頻輸入的類似設(shè)備、或?qū)⒁曨l 樣本讀到計(jì)算系統(tǒng)（100)中的⑶-ROM或⑶-RW。（諸)輸出設(shè)備（160)可以是顯示器、打印機(jī)、 揚(yáng)聲器、CD刻錄機(jī)或提供來(lái)自計(jì)算系統(tǒng)（100)的輸出的另一設(shè)備。
[0034] (諸)通信連接（170)允許通過(guò)通信介質(zhì)與另一計(jì)算實(shí)體通信。通信介質(zhì)傳達(dá)諸如 計(jì)算機(jī)可執(zhí)行指令、音頻或視頻輸入或輸出、或已調(diào)制數(shù)據(jù)信號(hào)中的其他數(shù)據(jù)之類的信息。 已調(diào)制數(shù)據(jù)信號(hào)是使其一個(gè)或多個(gè)特征以在信號(hào)中編碼信息的方式設(shè)置或改變的信號(hào)。作 為示例而非限制，通信介質(zhì)可以使用電的、光學(xué)的、RF或其它載體。
[0035] 各創(chuàng)新可以在計(jì)算機(jī)可讀介質(zhì)的一般上下文中描述。計(jì)算機(jī)可讀介質(zhì)是可在計(jì)算 環(huán)境內(nèi)訪問(wèn)的任何可用有形介質(zhì)。作為示例而非局限，對(duì)于計(jì)算系統(tǒng)（1〇〇)，計(jì)算機(jī)可讀介 質(zhì)包括存儲(chǔ)器(120、125 )、存儲(chǔ)（140 )、和以上任意的組合。
[0036] 各創(chuàng)新可在計(jì)算機(jī)可執(zhí)行指令(諸如包括在程序模塊中的在目標(biāo)現(xiàn)實(shí)或虛擬處理 器上在計(jì)算系統(tǒng)中執(zhí)行的那些計(jì)算機(jī)可執(zhí)行指令)的一般上下文中描述。一般而言，程序模 塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、庫(kù)、對(duì)象、類、組件、數(shù)據(jù)結(jié)構(gòu) 等。如各實(shí)施例中所描述的，這些程序模塊的功能可以被組合，或者在這些程序模塊之間拆 分。針對(duì)各程序模塊的計(jì)算機(jī)可執(zhí)行指令可以在本地或分布式計(jì)算系統(tǒng)中執(zhí)行。
[0037] 術(shù)語(yǔ)"系統(tǒng)"和"設(shè)備"在此被互換地使用。除非上下文明確指示，否則，術(shù)語(yǔ)并不暗 示對(duì)計(jì)算系統(tǒng)或計(jì)算設(shè)備的類型的任何限制。一般說(shuō)來(lái)，計(jì)算系統(tǒng)或計(jì)算設(shè)備可以是本地 的或分布式的，并且可以包括具有實(shí)現(xiàn)本文中描述的功能的軟件的專用硬件和/或通用硬 件的任意組合。
[0038] 所公開(kāi)的方法還可使用被配置成執(zhí)行所公開(kāi)的方法中的任一者的專用計(jì)算硬件 來(lái)實(shí)現(xiàn)。例如，所公開(kāi)的方法可以由被專門設(shè)計(jì)或配置成實(shí)現(xiàn)所公開(kāi)的方法中的任一者的 集成電路(例如，諸如ASIC數(shù)字信號(hào)處理單元（"DSP"）之類的ASIC、圖像處理單元（"GPU"）、 或諸如場(chǎng)可編程門陣列（"FPGA"）之類的可編程邏輯器件（"PLD"））來(lái)實(shí)現(xiàn)。
[0039] 為了呈現(xiàn)起見(jiàn)，本詳細(xì)描述使用了如"確定"和"使用"等術(shù)語(yǔ)來(lái)描述計(jì)算系統(tǒng)中的 計(jì)算機(jī)操作。這些術(shù)語(yǔ)是對(duì)由計(jì)算機(jī)執(zhí)行的操作的高級(jí)抽象，且不應(yīng)與人類所執(zhí)行的動(dòng)作 混淆。對(duì)應(yīng)于這些術(shù)語(yǔ)的實(shí)際的計(jì)算機(jī)操作取決于實(shí)現(xiàn)而不同。
[0040] II.示例網(wǎng)絡(luò)環(huán)境
[0041] 圖2a和2b示出了包括視頻編碼器(220)和視頻解碼器(270)的示例網(wǎng)絡(luò)環(huán)境(201， 202)。編碼器（220)和解碼器(270)使用合適的通信協(xié)議通過(guò)網(wǎng)絡(luò)（250)連接。網(wǎng)絡(luò)（250)可 包括因特網(wǎng)或另一計(jì)算機(jī)網(wǎng)絡(luò)。
[0042] 在圖2a所示的網(wǎng)絡(luò)環(huán)境(201)中，每個(gè)實(shí)時(shí)通信（"RTC"）工具（210)都包括用于雙 向通信的編碼器（220)和解碼器(270)兩者。給定的編碼器（220)可以產(chǎn)生符合HEVC標(biāo)準(zhǔn)、 SMPTE 421M標(biāo)準(zhǔn)、IS0/IEC 14496-10標(biāo)準(zhǔn)(也稱為H.264或AVC)、另一標(biāo)準(zhǔn)、或?qū)Ｓ酶袷降淖?型或擴(kuò)展的輸出，使得相應(yīng)的解碼器(270)接受來(lái)自編碼器(220)的經(jīng)編碼數(shù)據(jù)。雙向通信 可以是視頻會(huì)議、視頻電話呼叫或其它雙方通信場(chǎng)景的部分。雖然，圖2a中的網(wǎng)絡(luò)環(huán)境 (201)包括兩個(gè)實(shí)時(shí)通信工具（210)，但網(wǎng)絡(luò)環(huán)境(201)可改為包括參與多方通信的三個(gè)或 更多個(gè)實(shí)時(shí)通信工具(210)。
[0043] 實(shí)時(shí)通信工具（210)管理編碼器(220)做出的編碼。圖3示出可以被包括在實(shí)時(shí)通 信工具（210)中的示例編碼器系統(tǒng)（300)。替換地，實(shí)時(shí)通信工具（210)使用另一編碼器系 統(tǒng)。實(shí)時(shí)通信工具(210)還管理解碼器(270)做出的解碼。圖4示出可以被包括在實(shí)時(shí)通信工 具(210)中的示例解碼器系統(tǒng)(400)。替