用于編碼圖像數(shù)據(jù)的方法和裝置以及用于解碼圖像數(shù)據(jù)的方法和裝置的制造方法
【專利摘要】一種用于對在具有亮度分量和色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分進行編碼的方法和設(shè)備，所述方法包括：通過應(yīng)用包括至少一個編碼參數(shù)的編碼參數(shù)集，使用可應(yīng)用于小動態(tài)范圍(LDR)圖像的編碼處理，來對所述圖像的至少一部分的分段進行編碼；在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段；評估所述編碼分段在大動態(tài)范圍的感知空間內(nèi)的速率失真成本；以及基于評估的速率失真成本，調(diào)整用于分段的編碼處理的所述編碼參數(shù)集。還提供了對應(yīng)的解碼設(shè)備和方法。
【專利說明】
用于編碼圖像數(shù)據(jù)的方法和裝置從及用于解碼圖像數(shù)據(jù)的方 法和裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及一種用于編碼圖像數(shù)據(jù)的方法和裝置W及一種用于解碼圖像數(shù)據(jù)的 方法和裝置。具體但非排他地，本發(fā)明設(shè)及針對大動態(tài)范圍化DR)應(yīng)用的視頻數(shù)據(jù)的編碼和 解碼。
【背景技術(shù)】
[0002] 由成像器件捕獲的場景中的光的變化會非常大。例如，相較于被直射陽光照射的 對象，位于場景陰影內(nèi)的對象會呈現(xiàn)為非常暗。傳統(tǒng)小動態(tài)范圍化DR)圖像提供的有限動態(tài) 范圍和色域不能提供足夠的范圍來準確再現(xiàn)在運種場景內(nèi)的亮度和顏色的改變。通常，通 過有限數(shù)量的比特(通常，8比特、10比特或12比特)來表示代表LDR圖像的像素的亮度或顏 色的LDR圖像的分量值。由運種表示提供的有限亮度范圍無法有效地再現(xiàn)小信號變化，尤其 是在亮度的明暗范圍內(nèi)。
[0003] 相較于傳統(tǒng)LDR圖像，大動態(tài)范圍成像(也稱作皿R或皿RI)能夠在場景的明暗區(qū)域 之間具有較大動態(tài)范圍的亮度。通過將信號表示擴展到較寬的動態(tài)范圍W便在整個范圍內(nèi) 提供較高的信號精度，來在HDR成像中實現(xiàn)該目的。在皿R圖像中，像素的分量值通常被表示 為大量比特(例如，從16比特到64比特），包括浮點格式(例如，針對每個分量有32比特或16 比特，即，浮點或半浮點），最常用的格式是ope址XR半浮點格式(每個RGB分量16比特;即，每 個像素48比特)或具有較長表示的整型，通常至少為16比特。運種范圍與人體視覺系統(tǒng)的天 然靈敏度相對應(yīng)。運樣，HDR圖像更準確地呈現(xiàn)在實際場景內(nèi)發(fā)現(xiàn)的大范圍的亮度，從而提 供對該場景的更真實表示。
[0004] 然而，由于提供了較大范圍的值，皿R圖像消耗大量存儲空間和帶寬，從而使皿R圖 像和視頻的存儲和傳輸變得困難。因此，需要高效的編碼技術(shù)將數(shù)據(jù)壓縮為較小的、更可管 理的數(shù)據(jù)尺寸。尋找有效壓縮皿R數(shù)據(jù)同時保留亮度的動態(tài)范圍W便準確呈現(xiàn)的適合編碼/ 解碼技術(shù)是富有挑戰(zhàn)性的。
[0005] -種用于編碼HDR圖像的典型方法在于:減小圖像的動態(tài)范圍，W便通過用于編碼 LDR圖像的傳統(tǒng)編碼方案來對該圖像進行編碼。
[0006] 例如，在一個運種技術(shù)中，將色調(diào)映射運算符(tone-mapping operator)應(yīng)用于輸 入的HDR圖像，并通過傳統(tǒng)8-10比特深度編碼方案(諸如，肝EG/肝EG200或MPEG-2、針對視頻 的 H.264/AVC(Karsten Suh;ring，H.264/AVC Reference Software, http:// iphome .hhi . de/suehring/tml/download/，I. E. Richardson戶/f著的書名為《H. 264and MPEG-4video compression》，由J.Wiley&Sons在2003年9月出版））來編碼經(jīng)色調(diào)映射的圖 像。接著，將逆色調(diào)映射運算符應(yīng)用于解碼圖像，計算輸入圖像和所述解碼并經(jīng)過逆色調(diào)映 射的圖像之間的殘差。最后，通過第二傳統(tǒng)的8-10比特深度編碼器方案來對所述殘差進行 編碼。
[0007] 該第一種方法的主要缺點在于:使用了兩種編碼方案，并且具有輸入圖像的動態(tài) 范圍是傳統(tǒng)編碼方案的動態(tài)范圍的二倍（16-20比特)的限制。根據(jù)另一種方法，轉(zhuǎn)換輸入的 HDR圖像W便在顏色空間中獲得圖像像素的視覺無損表示，所述顏色空間中的數(shù)值屬于與 傳統(tǒng)8-10比特深度或擴展12、14或16比特深度編碼方案（諸如，肥￥"例如，8.8'〇33、 W.J.Han、G.J.Sullivan、J.R.Ohm和T.Wiegand JCTVC-K1003,"Hi曲 Efficiency Video Coding化EVC)text specification化aft 9" ,2012年10月）W及高比特深度擴展可兼容的 動態(tài)范圍。即使傳統(tǒng)的編解碼器可W操作高像素（比特)深度，通常仍然難W貫穿圖像W均 勻方式W運種比特深度進行編碼，運是由于所獲得的壓縮比過低而無法用于傳輸應(yīng)用。
[0008] 使用可應(yīng)用于LDR圖像的編碼技術(shù)的其他方法會在解碼圖像中會引起偽象?；?上述內(nèi)容，設(shè)計出本發(fā)明。

【發(fā)明內(nèi)容】

[0009] 根據(jù)本發(fā)明的第一方面，提供了一種對在具有亮度分量和色差度量的感知空間內(nèi) 定義的大動態(tài)范圍圖像的至少一部分進行編碼的方法，所述方法包括：
[0010] 通過使用可應(yīng)用于小動態(tài)范圍化DR)圖像的編碼處理并應(yīng)用在所述編碼處理中的 至少一個編碼參數(shù)，對所述圖像的至少一部分的分段進行編碼；
[0011] 在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段；
[0012] 在大動態(tài)范圍的感知空間內(nèi)評估針對編碼分段的速率失真成本;W及
[0013] 基于評估的速率失真成本，針對所述分段的編碼處理來調(diào)整所述至少一個編碼參 數(shù)。
[0014] 圖像的分段可W是指圖像的塊。塊可W例如是預(yù)測單元(PU)、編碼單元(CU)或變 換單元(TU)。
[0015] 在實施例中，至少一個編碼參數(shù)定義了圖像到要編碼的分段的分區(qū)，每個分段具 有對應(yīng)皿R感知空間。
[0016] 在實施例中，至少一個編碼參數(shù)包括編碼四叉樹參數(shù)。
[0017] 在實施例中，所述方法包括:基于所述分段的對應(yīng)圖像采樣的亮度值，獲得針對所 述分段的公用代表性亮度分量值。
[0018] 在實施例中，評估速率失真成本包括:評估與公用代表性分量值的編碼相關(guān)的速 率。
[0019] 在實施例中，該編碼處理是皿VC類型編碼處理，圖像的至少一部分的分段與編碼 單元、預(yù)測單元或變換單元相對應(yīng)。
[0020] 在實施例中，所述方法包括:在編碼分段之前，基于公用代表性亮度分量值，在局 部感知空間內(nèi)表示圖像分段。
[0021] 在實施例中，所述方法包括:在局部LDR域中獲得針對所述分段的局部殘差亮度分 量，所述局部殘差亮度分量對應(yīng)于原始圖像的對應(yīng)亮度分量和該分段的公用代表性亮度值 之間的差。
[0022] 在實施例中，所述方法包括:在局部感知空間內(nèi)針對所述分段獲得至少一個對應(yīng) 圖像部分，所述至少一個圖像部分與根據(jù)所述分段的公用代表性亮度值歸一化的分段的局 部殘差亮度分量或顏色分量相對應(yīng)。
[0023] 在實施例中，評估速率失真成本包括:評估與對所述至少一個圖像部分的編碼相 關(guān)聯(lián)的速率。
[0024] 在實施例中，評估速率失真成本包括:評估與編碼局部殘差亮度分量相關(guān)聯(lián)的速 率。
[0025] 在一個實施例中，評估速率失真成本包括:在大動態(tài)范圍的感知空間內(nèi)，評估與重 構(gòu)編碼分段相關(guān)聯(lián)的失真。
[0026] 在實施例中，基于W下表達式來評估針對編碼參數(shù)集P的速率失真成本D?:
[0027] D?(CU，p)+A(RLDR(CU，p)+R(Lif，p))
[002引 其中；
[0029] ORldr(化，P)是與殘差圖像部分的編碼相關(guān)聯(lián)的速率；
[0030] R化If, P)是與公用代表性亮度分量值的編碼相關(guān)聯(lián)的速率；
[0031] D?(cu，p)是在大動態(tài)范圍的感知空間內(nèi)與重構(gòu)編碼分段相關(guān)聯(lián)的失真。
[0032] λ是拉格朗日參數(shù)。
[0033] 在實施例中，所述方法包括:在局部感知空間內(nèi)重構(gòu)的殘差圖像部分的采樣W及 原始紋理的采樣和所述圖像的對應(yīng)采樣之間執(zhí)行視覺無損細化。
[0034] 根據(jù)本發(fā)明的第二方面，提供了一種用于對在具有亮度分量和色差度量的感知空 間內(nèi)定義的大動態(tài)范圍圖像的至少一部分進行編碼的編碼設(shè)備，所述設(shè)備包括：
[0035] 編碼器化NC1、ENC2、ENC3)，用于通過在可應(yīng)用于小動態(tài)范圍化DR)圖像的編碼處 理中應(yīng)用至少一個編碼參數(shù)，使用所述編碼處理來編碼所述圖像的至少一部分的分段；
[0036] 重構(gòu)模塊(REC)，在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段；
[0037] 速率失真模塊(RATE-DIST)，用于在大動態(tài)范圍的感知空間內(nèi)確定針對編碼分段 的速率失真成本;W及
[0038] 編碼器管理模塊巧NC0D邸CONTROL)，用于基于評估的速率失真成本，針對所述分 段的編碼處理來調(diào)整所述至少一個編碼參數(shù)。
[0039] 圖像的分段可W是指圖像的塊。塊可W例如是預(yù)測單元(PU)、編碼單元(CU)或變 換單元(TU)。
[0040] 在實施例中，至少一個編碼參數(shù)定義了圖像到要編碼的分段的分區(qū)，每個分段具 有對應(yīng)皿R感知空間。
[0041 ]在實施例中，至少一個編碼參數(shù)包括編碼四叉樹參數(shù)。
[0042] 在實施例中，所述編碼設(shè)備包括：用于基于所述分段的對應(yīng)圖像采樣的亮度值來 獲得針對所述分段的公用代表性亮度分量值的模塊。
[0043] 在實施例中，速率失真模塊配置為:評估與公用代表性分量值的編碼相關(guān)聯(lián)的速 率。
[0044] 在實施例中，所述編碼設(shè)備配置為執(zhí)行皿VC類型編碼處理，圖像的至少一部分的 分段與編碼單元、預(yù)測單元或變換單元相對應(yīng)。
[0045] 在實施例中，所述編碼設(shè)備包括用于在分段的編碼之前，基于公用代表性亮度分 量值，在局部感知空間內(nèi)表示圖像分段的模塊。
[0046] 在實施例中，所述編碼設(shè)備包括用于在局部LDR域中獲得針對所述分段的局部殘 差亮度分量的模塊，所述局部殘差亮度分量對應(yīng)于原始圖像的對應(yīng)亮度分量和該分段的公 用代表性亮度值之間的差。
[0047] 在實施例中，所述編碼設(shè)備包括：用于在局部感知空間內(nèi)獲得針對所述分段的至 少一個圖像部分的模塊，所述至少一個圖像部分與局部殘差亮度分量或所述分段的顏色分 量相對應(yīng)，根據(jù)所述分段的公用代表性亮度值進行歸一化。
[0048] 在實施例中，所述速率失真模塊配置為:評估與殘差圖像部分的編碼相關(guān)聯(lián)的速 率。
[0049] 在實施例中，所述速率失真模塊配置為:在大動態(tài)范圍的感知空間內(nèi)，評估與對編 碼分段的重構(gòu)相關(guān)聯(lián)的失真。
[0050] 在實施例中，基于W下表達式來計估針對編碼參數(shù)集P的速率失真成本D?:
[005。 DHDR(CU，p)+A(RLDR(CU，p)+R(Lif，p))
[0052] 其中；
[0053] ORldr(化，P)是與殘差圖像部分的編碼相關(guān)聯(lián)的速率；
[0054] R化If, P)是與公用代表性亮度分量值的編碼相關(guān)聯(lián)的速率；
[0055] D?(cU，p)是在大動態(tài)范圍的感知空間內(nèi)與對編碼分段的重構(gòu)相關(guān)聯(lián)的失真。 [0化6] λ是拉格朗日參數(shù)。
[0057] 在實施例中，所述編碼設(shè)備包括：用于在重構(gòu)于局部感知空間內(nèi)的殘差圖像部分 的采樣W及所述圖像的對應(yīng)采樣之間執(zhí)行視覺無損細化的模塊。
[0058] 根據(jù)本發(fā)明的第Ξ方面，提供了一種用于解碼比特流的解碼方法，所述比特流表 示在具有亮度分量和色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述方 法包括：
[0059] 訪問表示至少一個編碼參數(shù)的編碼數(shù)據(jù)；W及
[0060] 通過應(yīng)用與所述至少一個編碼參數(shù)相對應(yīng)的至少一個解碼參數(shù)，使用可應(yīng)用于小 動態(tài)范圍(LDR)圖像的解碼處理來解碼所述圖像的至少一部分的分段；
[0061] 其中在通過可應(yīng)用于LDR圖像的編碼處理對所述分段進行編碼并在大動態(tài)范圍的 感知空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成本來確定所述至少一 個編碼參數(shù)。
[0062] 圖像的分段可W是指圖像的塊。塊可W例如是預(yù)測單元(PU)、編碼單元(CU)或變 換單元(TU)。
[0063] 在實施例中，至少一個解碼參數(shù)定義了圖像到要解碼的分段的分區(qū)，每個分段具 有對應(yīng)皿R感知空間。
[0064] 在實施例中，至少一個解碼參數(shù)包括解碼四叉樹參數(shù)。
[0065] 根據(jù)本發(fā)明的第四方面，提供了一種用于解碼比特流的解碼設(shè)備，所述比特流表 示在具有亮度分量和色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述設(shè) 備包括：
[0066] 接口，用于訪問對至少一個編碼參數(shù)加 W表示的編碼數(shù)據(jù)W便編碼所述圖像；W 及
[0067] 解碼器，用于通過應(yīng)用與所述至少一個編碼參數(shù)相對應(yīng)的至少一個解碼參數(shù)，使 用可應(yīng)用于小動態(tài)范圍化DR)圖像的解碼處理來對所述圖像的至少一部分的分段進行解 碼；
[0068] 其中在通過可應(yīng)用于LDR圖像的編碼處理對所述分段進行編碼并在大動態(tài)范圍的 感知空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成本來確定所述至少一 個編碼參數(shù)。
[0069] 圖像的分段可W是指圖像的塊。塊可W例如是預(yù)測單元(PU)、編碼單元(CU)或變 換單元(TU)。
[0070] 在實施例中，至少一個解碼參數(shù)定義了圖像到要解碼的分段的分區(qū)，每個分段具 有對應(yīng)皿R感知空間。
[0071 ]在實施例中，至少一個解碼參數(shù)包括解碼四叉樹參數(shù)。
[0072] 根據(jù)本發(fā)明的第五方面，提供了一種比特流，所述比特流表示在具有亮度分量和 色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述比特流還包括:承載表 示編碼參數(shù)集的數(shù)據(jù)的信號，其中在經(jīng)由可應(yīng)用于LDR圖像的編碼處理對所述分段進行編 碼并在大動態(tài)范圍的感知空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成 本來確定所述至少一個編碼參數(shù)。
[0073] 根據(jù)本發(fā)明的第一和第二方面的實施例中的任一實施例，確定所述第Ξ、第四和 第五方面的至少一個編碼參數(shù)。
[0074] 本發(fā)明的另一方面提供了一種對在具有亮度分量和色差度量的大動態(tài)范圍感知 空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分進行編碼的方法，所述方法包括：
[0075] 使用可應(yīng)用于小動態(tài)范圍（LDR)圖像的編碼處理并應(yīng)用在所述編碼處理中的至少 一個編碼參數(shù)，來對所述圖像部分的分段進行編碼；W及基于速率失真成本，針對所述分段 的編碼處理調(diào)整所述至少一個編碼參數(shù)，其中在重構(gòu)編碼分段之后，在大動態(tài)范圍的感知 空間內(nèi)針對編碼分段評估所述速率失真成本。
[0076] 本發(fā)明的另一方面，提供了一種用于對在具有亮度分量和色差度量的大動態(tài)范圍 的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分進行編碼的編碼設(shè)備，所述設(shè)備包括配 置為執(zhí)行W下操作的一個或更多個處理器：
[0077] 使用可應(yīng)用于小動態(tài)范圍（LDR)圖像的編碼處理并應(yīng)用在所述編碼處理中的至少 一個編碼參數(shù)，來對所述圖像的至少一部分的分段進行編碼；
[0078] 在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段；
[0079] 在大動態(tài)范圍的感知空間內(nèi)評估針對編碼分段的速率失真成本;W及
[0080] 基于所評估的速率失真成本，針對所述分段的編碼處理來調(diào)整所述至少一個編碼 參數(shù)。
[0081] 根據(jù)本發(fā)明的另一方面，提供了一種用于解碼比特流的解碼設(shè)備，所述比特流表 示在具有亮度分量和色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述設(shè) 備包括配置為執(zhí)行W下操作的一個或更多個處理器：
[0082] 訪問對用于編碼所述圖像的至少一個編碼參數(shù)加 W表示的編碼數(shù)據(jù)，
[0083] 通過應(yīng)用與所述至少一個編碼參數(shù)分別對應(yīng)的至少一個解碼參數(shù)，使用可應(yīng)用于 小動態(tài)范圍(LDR)圖像的解碼處理來對所述圖像的至少一部分的分段進行解碼；
[0084] 其中在通過可應(yīng)用于LDR圖像的編碼處理對所述分段進行編碼并在大動態(tài)范圍的 感知空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成本來預(yù)先確定所述至 少一個編碼參數(shù)。
[0085] 本發(fā)明的實施例提供針對用于大范圍應(yīng)用的大動態(tài)范圍圖像數(shù)據(jù)的編碼和解碼 方法，從而提供改善的視覺體驗。
[0086] 根據(jù)本發(fā)明的方法的至少部分可W是通過計算機實現(xiàn)的。從而，本發(fā)明可采取全 硬件實施例、全軟件實施例(包括固件、駐留軟件、微代碼等)或組合了軟硬件方面的實施例 的形式，它們都可在運里被統(tǒng)稱為"電路"、"模塊"或"系統(tǒng)"。此外，本發(fā)明可采取由可在任 意有形介質(zhì)中實現(xiàn)的計算機可使用程序代碼表達的實現(xiàn)于所述介質(zhì)中的計算機程序產(chǎn)品 的形式。
[0087] 由于本發(fā)明可實現(xiàn)為軟件，所W本發(fā)明可實現(xiàn)為計算機可讀代碼，W用于在任意 合適載體介質(zhì)上提供給可編程裝置。有形載體介質(zhì)可包括存儲介質(zhì)，比如軟盤、CD-ROM、硬 盤驅(qū)動器、磁帶設(shè)備或固態(tài)存儲器設(shè)備等。瞬時載體介質(zhì)可包括信號，比如電信號、電子信 號、光信號、聲信號、磁信號或電磁信號(例如微波或RE信號）。
【附圖說明】
[0088] 現(xiàn)在參照附圖，W僅作為示例的方式對本發(fā)明的實施例進行描述，其中：
[0089] 圖1是根據(jù)本發(fā)明的第一實施例的編碼處理的框圖；
[0090] 圖2是示出了根據(jù)肥VC視頻壓縮標準將編碼單元分解為預(yù)測單元和變換單元的示 例的示意圖；
[0091 ]圖3是根據(jù)本發(fā)明的實施例的編碼處理的框圖；
[0092] 圖4是根據(jù)本發(fā)明的另一實施例的編碼處理的框圖；
[0093] 圖5是根據(jù)本發(fā)明的一個或更多個實施例的解碼處理的框圖；
[0094] 圖6A是根據(jù)本發(fā)明的一個或更多個實施例的編碼設(shè)備的框圖；
[00%]圖6B是根據(jù)本發(fā)明的一個或更多個實施例的解碼設(shè)備的框圖；W及
[0096] 圖7是可W實現(xiàn)本發(fā)明的一個或更多個實施例的數(shù)據(jù)通信系統(tǒng)的示例的框圖。
【具體實施方式】
[0097] 圖1示出了根據(jù)本發(fā)明的第一實施例的用于編碼圖像I的至少一部分的方法的步 驟的示意框圖。圖1的方法的編碼步驟通?；诳蓱?yīng)用于LDR型圖像的皿VC壓縮標準，但是 應(yīng)認識到，本發(fā)明的實施例還可W用于其他可應(yīng)用于LDR型圖像的編碼標準，諸如，H.264/ AVC、MPEG2或MPEG4。
[0098] 所述方法開始于獲取皿R圖像數(shù)據(jù)。HDR圖像數(shù)據(jù)可W表示多個圖像的視頻序列、 圖像或圖像的一部分。為了簡化下文的描述，所獲取的圖像數(shù)據(jù)與HDR圖像相對應(yīng)?？蒞從 成像設(shè)備(諸如，視頻攝像機)直接獲取皿R圖像數(shù)據(jù)，從位于局部的或遠程布置的存儲設(shè)備 獲取皿姻像，或經(jīng)由無線或有線傳輸線接收皿姻像。
[0099] 如本文所使用地，術(shù)語"HDR圖像"是指包括通常被表示為多于16比特的浮點(浮點 或半浮點）、定點或定長表示整數(shù)格式的大動態(tài)范圍數(shù)據(jù)的任何HDR圖像?？蒞在任何顏色 或感知空間內(nèi)定義定義輸入的HDR圖像。例如，在本實施例中，在RGB顏色空間內(nèi)定義輸入的 皿R圖像。在另一實施例中，可W在其他顏色空間（諸如，YUV)或任何感知空間中定義輸入的 皿R圖像。
[0100] 通常，在包括對圖像像素的亮度加 W表示的數(shù)據(jù)的圖像上執(zhí)行所述處理的編碼步 驟。運種圖像數(shù)據(jù)包括亮度分量L和潛在地至少一個顏色分量C(i)，其中i是表示該圖像的 顏色分量的索引。圖像的分量定義了顏色空間，通常，3D空間，例如，可w在包括亮度分量L 和潛在地兩個顏色分量Cl和C2的顏色感知空間內(nèi)定義所述圖像。
[0101] 然而，應(yīng)認識到，本發(fā)明不限于具有顏色分量的HDR圖像。例如，HDR圖像可W是在 感知空間內(nèi)具有亮度分量而沒有任何顏色分量的灰度圖像。
[0102] 將感知空間定義為包括含有亮度分量的多個分量并具有色差度量d(化，C1，C2)， (1/，C1/，C2/ ))的顏色空間，其中優(yōu)選地，色差度量的值表示與所述感知空間的兩點的視覺 感知之間的對應(yīng)差成正比。例如，顏色空間具有亮度分量LW及兩個顏色分量C1和C2。
[0103] 數(shù)學上講，將顏色差度量d(化，C1，C2)，化/，C1/，C2/))定義為使得存在感知闊值 ΔΕο(也稱作JND，最小可覺差），低于該闊值則人眼無法在感知空間中感知兩個顏色之間的 視覺差，即
[0104] d((L，Cl，C2)，（L'，C1'，C2'))< ΔΕο， (1)
[0105] 感知闊值ΔΕο獨立于感知空間的兩點化，C1，C2)和化/，C1/，C2/)。因此，對分量屬 于感知空間的圖像進行編碼W使式（1)的度量依然小于界限A Eo,確保了所顯示的編碼版 本的圖像是視覺無損的。
[0106] 當所獲取的圖像I包括屬于非感知空間的分量(諸如，（R，G，B))時，在步驟S101，通 過圖像轉(zhuǎn)換模塊1C向圖像數(shù)據(jù)I施加感知變換，W便獲得具有亮度分量LW及潛在地兩個顏 色分量C1和C2的HDR圖像Ip，其中所述亮度分量和兩個顏色分量定義了感知空間。所執(zhí)行的 感知變換取決于顯示的光線條件和初始顏色空間。例如，假設(shè)初始顏色空間是(R，G，B)顏色 空間，首先將圖像I變換為已知的線性空間(Χ，Υ，Ζ)。該步驟包括:根據(jù)需要，通過應(yīng)用逆伽 馬校正并接著用3x3變換矩陣將線性RGB空間數(shù)據(jù)變換為ΜΖ空間，執(zhí)行數(shù)據(jù)的線性化。對于 此步驟，使用表示圖像的視覺環(huán)境的數(shù)據(jù)。例如，使用在(Χ，Υ，Ζ)空間內(nèi)定義了顯示的參考 光線條件的3D矢量值(Χη,Υη,Ζη)。
[0107] 例如，在選擇感知空間LabCIE1976的情況下，將感知變換定義如下：
[010 引 L*=116f(Y/Yn)-16
[0109] a* = 500(f(X/Xn)-f(Y/Yn))
[0110] b* = 200(f(Y/Yn)-f(Z/Zn))
[0111] 其中f是例如伽馬校正函數(shù)，定義如下：
[0112] f(r)=ri/3if r>(6/29)3
[0113]
吾則
[0114] 當滿足在感知空間LabCIE1976上限定的W下色差度量時，在參考光線條件(Χη,Υη， Ζη)下，人類可將兩個顏色彼此區(qū)分：
[0115] d((L*，a*，b*)，(L*'，a*'，b*'))2=( AL*)2+( Aa*)2+( Ab*)2<( ΑΕο)2
[0116] ΔL^是兩個顏色化^a^b^和(lΛa^bW)的亮度分量之間的差，且Δa^對應(yīng)地，Δ b^)是運兩個顏色的顏色分量之間的差。通常，ΔΕο的值在1和2之間。
[0117] 在一些情況下，可W對空間(Χ，Υ，Ζ)內(nèi)的圖像進行逆變換，W便獲得解碼圖像在初 始空間內(nèi)的估計，例如，在本示例中，為(R，G，Β)空間中。對應(yīng)的逆感知變換表示為：
[0121 ]根據(jù)另一示例，當選擇感知空間Lu\巧寸，可w將感知變換定義如下：
[0127]可^在感知空間山\^上定義^下歐幾里得度量：
[012引 d((L*，u*，v*)，（L*'，u*'，/'))2=( ΔΙ)2+(Δυ*)2+(Δν*)2
[01巧]AL*是兩個顏色化*，u*，v*)和化，u*/，ν*/)，的亮度分量之間的差，且Au*(對應(yīng) 地，A/))是運兩個顏色的顏色分量之間的差。
[0130] 對應(yīng)的針對Luv空間的逆感知變換表示為：
[0134] 應(yīng)認識到，本發(fā)明不限于感知空間LabCIE1976,且可W擴展至任何類型的感知空 間，諸如，LabCIE1994、LabCIE2000,或任何其他歐幾里得感知空間，其中LabCIE1994、 LabCIE2000均是相同Lab空間但二者具有不同度量來測量感知距離。
[0135] 其他示例是LMS空間和IPT空間。條件在于在運些感知空間上，定義度量使得它優(yōu) 選地與感知差成正比；因此，同質(zhì)最大感知闊值Δ Eo小于人類在該感知空間中無法感知的 兩個顏色之間的視覺差。
[0136] 在步驟S102,通過分區(qū)模塊PART1將圖像空間分解為一系列空間單元或分段。圖2 示出了在編碼圖像時根據(jù)肥VC視頻壓縮技術(shù)的空間編碼結(jié)構(gòu)的示例。在肥VC類型編碼器的 情況下，最大空間單元被稱作編碼樹單元(CTU)。根據(jù)由編碼參數(shù)指示的分解配置，將每個 空間單元進一步分解為多個元素，通常被稱作四叉樹。四叉樹的每個分支被稱作編碼單元 (cu)，并被進一步分區(qū)為一個或更多個子元素，稱作預(yù)測單元(PU)和變換單元(τυ)。
[0137] 在圖1的示例的步驟S102,將編碼單元分區(qū)為一個或更多個分段或塊Β1，在本示例 中，所述分段或塊與預(yù)測單元(PU)相對應(yīng)W便根據(jù)由編碼器控制模塊ENCODER C0NTR化管 理的編碼參數(shù)進行基于預(yù)測的編碼。
[0138] 盡管在本示例中步驟S102的輸出塊B1是PU，然而應(yīng)認識到在本發(fā)明的應(yīng)用皿VC類 技術(shù)的其他實施例中，步驟S102的輸出可W是CU或TU。在其他實施例中，塊B1將表示正編碼 的適合空間區(qū)域的圖像。
[0139] 在本示例中，每個預(yù)測單元或塊B1對應(yīng)于和相應(yīng)預(yù)測(帖內(nèi)或帖間）參數(shù)相關(guān)聯(lián)的 方形或矩形空間區(qū)域的圖像：
[0140] 編碼器控制模塊管理用于對當前圖像中的給定編碼單元或編碼單元的子元素進 行編碼的策略。為此，編碼器控制模塊向當前編碼單元或編碼單元子元素分配候選編碼參 數(shù)。運些編碼參數(shù)可W包括W下編碼參數(shù)中的一個或更多個：
[0141] ?針對編碼四叉樹、預(yù)測單元和變換單元的編碼樹單元組織(organization)。
[0142] ?分配給編碼樹的編碼單元的編碼模式(帖內(nèi)或帖間）。
[0143] ?針對所考慮的編碼樹內(nèi)每個帖內(nèi)編碼單元的帖內(nèi)預(yù)測模式(DC、平面或角度方 向）。
[0144] ?在帖間編碼單元的情況下，帖間預(yù)測參數(shù):運動矢量、參考畫面索引等。
[0145] 在本文所述的本發(fā)明的實施例中，計算與利用候選編碼參數(shù)編碼當前編碼單元相 關(guān)的速率失真成本，編碼器控制模塊根據(jù)計算出的速率失真成本來適配編碼參數(shù)中的至少 一個。
[0146] 通過最小化速率失真成本來執(zhí)行針對編碼單元的編碼參數(shù)選擇，如下所示：
[0147]
[0148] 其中P表示針對給定編碼單元的候選編碼參數(shù)集，λ表示拉格朗日參數(shù)，D(p)和R (P)分別表示與利用候選的編碼參數(shù)集P編碼當前編碼單元相關(guān)的失真和速率。
[0149] 在本發(fā)明的實施例中，失真項D(p)表示在要編碼的圖像的初始HDR感知空間內(nèi)獲 得的編碼誤差。通常，運設(shè)及在計算與編碼參數(shù)P相關(guān)的失真D(p)之前，將正被處理的CU或 CU子元素重構(gòu)到原始(L^a^的空間，如下文所述。由于考慮在其原始皿R空間內(nèi)的編碼單 元或子元素，運種方法有助于減少解碼圖像中出現(xiàn)的偽象。
[0150] 在步驟S103,向每個預(yù)測單元或塊分派亮度分量值，被稱作低空間頻率亮度分量 Lif，表示構(gòu)成該預(yù)測單元或塊的采樣(采樣可W包括一個或更多個像素）的亮度值的平均 值。由亮度處理模塊LF來執(zhí)行該操作。計算低空間頻率亮度分量基本設(shè)及對原始圖像的亮 度分量進行下采樣。應(yīng)認識到，本發(fā)明不限于用于針對每個預(yù)測單元或塊來計算低空間頻 率版本的任何具體實施例，可W使用圖像Ip的亮度分量的任何低通濾波或下變頻。在步驟 S104,通過量化單元Q來量化低空間頻率亮度分量，W便提供量化的低空間頻率亮度分量 二在步驟S110,通過賭編碼器ENC1來對量化的低空間頻率亮度分量執(zhí)行賭 編碼，W便輸出視頻流。本文中，低空間頻率亮度分量的編碼可W是指第一層或亮度層的編 碼。
[0151] 基于量化的低空間頻率亮度分量的對應(yīng)值，在步驟S105,通過局部感知變換單 元LPT將預(yù)測單元或塊的亮度和顏色分量的值變換到局部感知空間，與步驟S101的感知空 間變換相對應(yīng)。本示例中的運種感知空間為感知空間LW。量化的低空間頻率亮度分量 ￡</被用作顯示的參考光線條件。所述塊的運種局部感知空間叩勺亮度和顏色分量表示 kn：ar ^locav ^ 分量和在編碼過程中在局部感知空間內(nèi)作為目標的最大誤差闊值Δ Ε。
[015^ 至1]局部感知空間的變換( 包括W下步驟。首先經(jīng)由W下亮度 殘差計算，將亮度變換為所謂的LDR表示：
[0153]
[0154] 其中以表示計算出的殘差亮度分量;L表示在原始圖像內(nèi)的對應(yīng)亮度分量表示 量化的低空間頻率亮度分量。
[01W]運種步驟可W在本文中被稱作LDR局部化步驟。
[0156] 然后，在局部感知空間內(nèi)將殘差亮度分量以表示如下。假設(shè)在1^1^3^感知空間模式 下的額定光線亮度Υη，由于因子Ye而導(dǎo)致的光線條件的改變對感知空間分量變換如下：
[0157] (Χη,Υη,Ζη) 一（ΥΕΧη,ΥΕΥη,ΥεΖη)
[015引與在感知闊值Εο的變化ΔΕο相對應(yīng)，其中：
[0159] ΔΕο^ΔΕο.Υε。/^
[0160] 因此，在后處理中，根據(jù)最大光線變化乘積因子，調(diào)整感知闊值EoW適應(yīng)于編碼。 考慮到Y(jié)e = Yif/Υη，量化的低空間頻率亮度分量的局部發(fā)光度的信息，其中Yif和￡^^之間 的關(guān)系定義如下：
[0161]
[0162] 運樣，由于感知空間基于與每個預(yù)測單元相關(guān)聯(lián)的低空間頻率亮度分量對感 知空間進行局部化。
[0163] 實踐中，在與LabCIE76感知空間相對應(yīng)的實施例中，感知空間的局部化采用W下 形式：
[0164]
[0165] 相對于顏色分量a*和b*，無需LDR局部化。感知空間的局部化設(shè)及W下變換：
[0168] 在步驟S106,通過另一 CU分區(qū)步驟，將每個預(yù)測單元分解為一個或更多個變換單 元(TU)。例如，在帖內(nèi)編碼單元的情況下，根據(jù)相鄰的TU，對編碼單元的每個變換單元執(zhí)行 空間預(yù)測，其中預(yù)先對TU進行編碼和重構(gòu)。在步驟S107,確定與當前TU相關(guān)聯(lián)的殘差紋理。 然后，由變換單元T在步驟S108對殘差紋理進行變換，并由量化單元Q在步驟S109對其進行 量化，W便在步驟S111由賭編碼器ENC2進行賭編碼。可W由編碼器控制模炔基于本發(fā)明實 施例的速率失真計算來確定針對所述變換單元使用的編碼參數(shù)。本文中可W將紋理殘差的 編碼稱作第二層編碼。
[0169] 因此，在局部感知空間內(nèi)表示每個預(yù)測單元中要編碼的殘 差紋理數(shù)據(jù)。如果針對要編碼的HDR圖像的四叉樹表示的CTU的選擇，根據(jù)局部感知空間來 計算速率失真成本，則可能增加不一致性。例如，假設(shè)對于給定特定四叉樹等級的CU，編碼 器的分區(qū)單元必須在兩種類型的預(yù)測單元2Nx2N和化N之間選擇，對應(yīng)速率失真成本之間的 比較如下所示：
[0173] 從右側(cè)的項中可W看出，對針對在不同顏色空間內(nèi)表示的P聽十算出的失真執(zhí)行加 法。運樣可能引起不一致性。
[0174] 為了解決運種問題，在本發(fā)明的實施例中，在原始皿R感知空間內(nèi)而不是在局部 LDR感知空間內(nèi)考慮與圖像的空間實體相關(guān)聯(lián)的速率失真成本。運樣，由于與該圖像的不同 圖像塊相對應(yīng)的速率失真成本是在相同的感知空間內(nèi)計算出的，因此與速率失真成本是可 比較的。因此，在HDR空間內(nèi)重構(gòu)編碼單元的步驟包括在圖1的實施例的編碼處理中。如下所 示地執(zhí)行在皿R空間內(nèi)對編碼單元的重構(gòu)：
[0175] 通過執(zhí)行步驟S112的逆變換、步驟S114的逆變換和步驟S116預(yù)測相加，來重構(gòu)編 碼單元的每個TU。然后，在步驟S118，在原始皿R空間內(nèi)獲得重構(gòu)的TU。
[0176] 對于在皿R空間重構(gòu)殘差TU的S118，可W應(yīng)用W下式，其中本發(fā)明的特定實施例中 的局部顏色空間是Lab 76:上式分別與在HDR空間內(nèi)對該TU的解碼像素的重構(gòu)相對應(yīng)，亮度 分量為L且色度分量a、b:
[0183] 其中；
[0184] · LDRSCALING表示用于固定在LDR編碼層的輸入處的給定像素的動態(tài)范圍的恒定 整數(shù)；
[0185]
表示在與包含該采樣的PU相關(guān)聯(lián)的局部Lab空間中重構(gòu)的亮度 和色度采樣；
[01化]
表示在要壓縮的原始圖像Ip的皿R感知空間中重構(gòu)的采樣；
[0187] -I/f表示與經(jīng)逆量化之后的重構(gòu)版本PU相關(guān)聯(lián)的低空間頻率亮度分量。
[0188] 將根據(jù)本發(fā)明的一個或更多個實施例的用于計算速率失真成本W(wǎng)便用編碼參數(shù) 集P對編碼單元進行編碼的處理闡述如下。在圖1的實施例中，在步驟S120,由速率失真模塊 率RATE-DIST執(zhí)行失真成本處理。
[0189] 通過將速率失真成本J重置為0，來初始化該過程:J^O
[0190] 在步驟S110對低空間頻率分量Lif(PU)進行賭編碼之后，在步驟S120,針對賭編碼 的低空間頻率分量Lif(PU)確定關(guān)聯(lián)速率R(Lif)。然后根據(jù)W下內(nèi)容更新速率失真成本J:
[0191] J+λ. R (Lif)其中，λ表示拉格朗日參數(shù)。
[0192] 在步驟S120,針對在步驟Sill進行賭編碼的殘差紋理確定關(guān)聯(lián)速率R(TU，p)。
[0193] 然后，如下計算在原始皿R感知空間內(nèi)的重構(gòu)TU的失真：
[0194]
其中州二;;(。與原始HDR 圖像中的TU的采樣相對應(yīng)，與hdr感知空間內(nèi)重構(gòu)的TU的采樣相對應(yīng)。然后，將 CU的速率失真成本J更新如下：
[0195] j+dHdr ( tu , p ) +λ. R ( TU , p )
[0196] 可W將與利用編碼參數(shù)p進行CU編碼相關(guān)聯(lián)的速率失真成本用公式表示為：
[0197] D?(CU，p)+A(RLDR(CU，p)+R(Lif，p))
[019引 其中；
[0199] · Rldr(化，P)是在LDR層所考慮的CU的編碼成本；
[0200] R化If, P)是與屬于所考慮的CU的PU相關(guān)聯(lián)的低頻率亮度分量的編碼成本。
[0201] 在步驟S122,編碼器控制模塊ENC0D邸CONTROL基于在步驟S122針對在HDR感知空 間內(nèi)的編碼T聽十算出的速率失真成本，調(diào)整LDR編碼處理的編碼參數(shù)。
[0202] 圖3是示出了包括圖1的編碼步驟的編碼過程的示例的示意框圖。將其他模塊描述 如下。單元130表示存儲視頻的帖W便進行帖間編碼處理的存儲器，其中所述帖間編碼處理 包括運動估計(步驟S131)、運動補償(步驟S132)。在步驟S133執(zhí)行對重構(gòu)的TU的帖內(nèi)預(yù)測。
[0203] 如圖3所示，編碼器控制模塊負責在步驟S123決定用于對當前圖像中的給定編碼 單元進行編碼的策略。
[0204] 圖4是示出了根據(jù)本發(fā)明的另一實施例的對圖像的至少一部分進行編碼的方法的 步驟的示意框圖。參考圖4，步驟S201到S214與圖1的對應(yīng)步驟S101到S114類似。圖4實施例 的處理與圖1實施例的不同之處在于：圖4實施例的處理包括細化步驟，通常被稱作準無損， 其中，對正處理的PU在局部感知空間內(nèi)重構(gòu)的紋理數(shù)據(jù)執(zhí)行細化。所述編碼可W被稱作Ξ 層編碼，運是由于它設(shè)及對低空間頻率分量Lif進行賭編碼、對殘差紋理數(shù)據(jù)進行賭編碼W 及范數(shù)賭編碼。編碼處理中的附加細化步驟確保在原始紋理數(shù)據(jù)和所考慮的局部感知空 間中重構(gòu)的紋理數(shù)據(jù)之間的失真基于U范數(shù)(步驟S216到S224)。在步驟S221中，編碼模塊 ENC3針對運種編碼層執(zhí)行編碼。
[0205] 在存在層L·?的情況下，編碼器可W根據(jù)不同操作模式進行操作。在第一操作模式 下，僅考慮范數(shù)下的重構(gòu)質(zhì)量。在運種情況下，W最小速率對圖像數(shù)據(jù)進行編碼，從而根 據(jù)下式確保U范數(shù)下的質(zhì)量：
[0206]
[0207] 其中表示L…范數(shù)下的目標失真(質(zhì)量等級化化》表示用于在殘差層U中對 亡K，. 當前CU進行編碼的比特數(shù)。在運種操作模式下，在所考慮的本地感知空間內(nèi)，殘差層U自動 地校正可能在原始像素數(shù)據(jù)和重構(gòu)塊之間出現(xiàn)的失真。減小了對所述層集進行編碼的編碼 速率，并因此改善了壓縮的效率。
[0208] 在Ξ層編碼的第二操作模式下，在LDR層的重構(gòu)質(zhì)量和Ξ層的總速率之間考慮折 中。將速率失真成本用公式表示如下：
[0209]
HDR ( rec onq\
[0210] 其中/)2 icu ,CU t J對應(yīng)于在LDR層解碼并在原始圖像的HDR空間內(nèi)重構(gòu) 的CU的質(zhì)量。由于LDR層的編碼器在L2范數(shù)下操作，在L2范數(shù)下計算運種質(zhì)量。此外，Rl~與針 對當前CU的細化層L·?的速率相對應(yīng)。后者的操作模式的優(yōu)點在于重構(gòu)了質(zhì)量良好的中間 LDR 層。
[0211] 在所述實施例的每個實施例中，將表示原始皿R圖像的編碼比特流發(fā)送給配備有 解碼設(shè)備的目的地接收設(shè)備?？蒞將關(guān)于用于對該圖像數(shù)據(jù)進行編碼的調(diào)整后的編碼參數(shù) 的信息發(fā)送給所述解碼設(shè)備，W便能夠?qū)Ρ硎久驲圖像的比特流進行解碼并重構(gòu)原始皿R圖 像。可W在發(fā)送對調(diào)整后的編碼參數(shù)加 W表示的信息之前，對信息進行編碼。例如，在圖1和 圖4的實施例中，由編碼器控制模塊提供對經(jīng)調(diào)整的編碼參數(shù)加 W表示的數(shù)據(jù)，并由編碼器 ENC2將其編碼在比特流中。因此，在運些示例中，所述參數(shù)被編碼在比特流中，與第二層編 碼相對應(yīng)(LDR層）。
[0212] 圖5是示出了根據(jù)本發(fā)明實施例的由解碼設(shè)備執(zhí)行的解碼過程W便對表示圖像I 的比特流進行解碼的示例的示意框圖。在解碼過程中，解碼器DECUDEC2和DEC3配置為分別 對由編碼器ENCUENC2和ENC3編碼的數(shù)據(jù)進行解碼。
[0213] 在該實例中，比特流F表示包括亮度分量和潛在地至少一個顏色分量的皿R圖像I。 實際上，圖像I的分量屬于如上所述的感知顏色空間。
[0214] 在步驟501，通過經(jīng)由解碼器DEC1對比特流F至少部分地解碼，來獲得圖像I的亮度 分量的低空間頻率版本的解碼版本1^^。
[0215] 在步驟502,通過經(jīng)由解碼器DEC2對比特流F至少部分地解碼，來獲得編碼殘差紋 理數(shù)據(jù)的解碼版本。
[0216] 在步驟505,將殘差紋理數(shù)據(jù)的解碼版本和該圖像的亮度分量的低空間頻率版本 的解碼版本彼此相關(guān)聯(lián)，W便獲得解碼圖像?。
[0217] 在已根據(jù)Ξ層編碼處理對該圖像數(shù)據(jù)進行編碼(諸如圖4的處理）的本發(fā)明一些實 施例中，提供第Ξ層的解碼，其中由解碼單元DEC3執(zhí)行解碼。
[0218] 在步驟530,通過解碼設(shè)備接收對經(jīng)調(diào)整的編碼參數(shù)加 W表示的數(shù)據(jù)Ρ，并由參數(shù) 解碼模塊DEC-PAR進行解碼。在具有圖像數(shù)據(jù)I的比特流中發(fā)送編碼參數(shù)數(shù)據(jù)Ρ。然后，將所 使用的編碼參數(shù)的信息提供給解碼器DECUDEC2和DEC3,使得可W利用與由該編碼器的編 碼器控制模塊ENCODER C0NTR化確定的編碼參數(shù)一致的解碼參數(shù)，對編碼圖像數(shù)據(jù)進行解 碼。
[0219] 解碼器DEC2的解碼精度取決于在該感知空間中定義的定義了該度量上限的感知 闊值ΔΕ，運確保對顯示的解碼版本圖像中的視覺損耗的控制。因此，解碼精度是局部變化 的感知闊值的函數(shù)。
[0220] 如上所述，根據(jù)實施例，根據(jù)顯示的參考光線條件(與用于編碼的參考光線條件相 同）和圖像I的亮度分量的低空間頻率版本的解碼版本，確定感知闊值δε。
[0221] 根據(jù)實施例，利用感知闊值ΔΕ，來歸一化殘差圖像的每個分量，W恒定精度對殘 差圖像進行解碼，并且通過幫助感知闊值A(chǔ) Ε來對差分圖像的解碼版本的每個分量進行重 新歸一化，其中
[0222]
[0223] 根據(jù)實施例，所述重新歸一化是除W作為感知闊值ΔΕ的函數(shù)的值。
[0224] 編碼器ENC1、ENC2和/或ENC3(和解碼器DECUDEC2和/或DEC3)不限于特定編碼器 (解碼器），并且當需要賭編碼器(解碼器)時，諸如霍夫曼編碼器、算數(shù)編碼器或上下文自適 應(yīng)編碼器(例如，在h264/AVC或肥VC中使用的化bac)的賭編碼器是有利的。
[0225] 編碼器ENC2(W及解碼器DEC2)不限于特定編碼器，可W是例如有損圖像/視頻編 碼器（例如，肝EG、肝EG2000、MPEG2、h264/AVC或肥VC)。
[0226] 編碼器ENC3(和解碼器DEC3)不限于特定無損或準無損編碼器，可W是例如圖像編 碼器(如，JPEG無損）、h264/AVC無損、基于tre 11 iS的編碼器或自適應(yīng)DPCM類的編碼器。
[0227] 根據(jù)一種變型，在步驟510,模塊IIC配置為向步驟505輸出的解碼圖像應(yīng)用逆變 換。例如，對解碼圖像?的估計被變換到已知空間(Χ，Υ，Ζ)。
[0228] 當選擇感知空間LabCIE1976時，逆感知變換表示為：
[0236] 可能地，可W對空間（Χ，Υ，Ζ)內(nèi)的圖像進行逆變換，W便得到解碼圖像在諸如(R， G，B)空間的原始空間內(nèi)的估計。
[0237] 在圖1和3至7中，模塊是功能單元，其中所述功能單元可W與或不與可區(qū)分的物理 單元相對應(yīng)。例如，多個運種模塊可W被關(guān)聯(lián)在獨特的組件或電路中，或與軟件功能相對 應(yīng)。此外，模塊可w有可能包括單獨的物理實體。
[0238] 與本發(fā)明實施例可兼容的裝置可W僅實現(xiàn)為硬件、僅實現(xiàn)為軟件或?qū)崿F(xiàn)為硬件和 軟件的組合。從硬件的角度，可W使用例如專用硬件，諸如《App 1 i cation Specific Integrated Circuit》、《Field-Programmable Gate Array》、《Very Large Scaleintegration》分別記載的ASIC或FPGA或化SI，或通過使用嵌入在設(shè)備中的或來自硬 件與軟件組件的混合物的若干集成電子元件。
[0239] 圖6A示出了根據(jù)本發(fā)明實施例的編碼設(shè)備的示意框圖。
[0240] 編碼設(shè)備電子設(shè)備600包括用于接收和發(fā)送數(shù)據(jù)的I/O接口 610、存儲器620、存儲 控制器625和包括一個或更多個處理單元(CPU)的處理電路640,其中所述處理單元用于處 理從I/O接口 610接收到的數(shù)據(jù)。CPU可W包括數(shù)字信號處理器(DSP)。存儲器可W包括只讀 存儲器(ROM)和隨機存取存儲器(RAM)。
[0241] 所述一個或更多個處理單元640運行各種存儲在存儲器620中的軟件程序和/或指 令集，W便執(zhí)行編碼設(shè)備600的各種功能，并處理數(shù)據(jù)。各種組件經(jīng)由數(shù)據(jù)組件相鏈接。在存 儲器620的ROM中，將根據(jù)本發(fā)明實施例的方法的算法存儲為軟件組件。CPU加載存儲器的 RAM中的程序并執(zhí)行對應(yīng)指令。
[0242] 存儲在存儲器620中的軟件組件包括編碼器模塊(或指令集化NC，用于使用可應(yīng)用 于小動態(tài)范圍化DR)圖像的編碼處理并應(yīng)用在所述編碼處理中的至少一個編碼參數(shù)，來對 所述圖像的至少一部分的分段進行編碼;重構(gòu)模塊REC(或指令集），用于在大動態(tài)范圍的感 知空間內(nèi)重構(gòu)編碼分段;速率失真模塊RATE-DIST(或指令集），用于在大動態(tài)范圍的感知空 間內(nèi)確定針對編碼分段的速率失真成本；W及編碼器管理模塊化NC CT化）（或指令集），用 于基于評估的速率失真成本，針對所述分段的編碼處理來調(diào)整所述至少一個編碼參數(shù)。
[0243] 可W包括其他模塊，諸如，操作系統(tǒng)模塊0/S，用于控制通用系統(tǒng)任務(wù)(例如，電力 管理、存儲器管理)并用于促進在編碼設(shè)備600的各種硬件和軟件組件之間的通信；W及接 口模塊INT，用于控制并管理經(jīng)由1/0接口 610與其他設(shè)備的通信。
[0244] 在另一實施例中，編碼設(shè)備還可W包括參考光線模塊，用于獲得顯示的參考光線 條件，諸如，顯示光線的最大環(huán)境亮度值￥_11。
[0245] 根據(jù)特定另一實施例，編碼設(shè)備可W包括顯示器和用于獲得顯示器的參考光線條 件的參考光線模塊，配置為根據(jù)顯示器的特性或根據(jù)由所述模塊捕獲的顯示器周圍的光線 條件來確定顯示器的運種參考光線條件。例如，用于獲得顯示器光線的最大環(huán)境亮度值Υ_η 的模塊包括附接到顯示器并測量環(huán)境光線條件的傳感器。光電二極管等可W用于運種目 的。
[0246] 圖6Β是根據(jù)本發(fā)明的實施例的解碼設(shè)備的示意框圖。
[0247] 解碼設(shè)備700包括用于接收和發(fā)送數(shù)據(jù)的1/0接口 710、存儲器720、存儲控制器725 和包括一個或更多個處理單元(CPU)的處理電路740,其中所述處理單元用于處理從1/0接 口 710接收到的數(shù)據(jù)。CPU可W包括數(shù)字信號處理器（DSP)。存儲器可W包括只讀存儲器 (ROM)和隨機存取存儲器(RAM)。
[0248] 所述一個或更多個處理單元740運行各種存儲在存儲器720中的軟件程序和/或指 令集，W便執(zhí)行解碼設(shè)備700的各種功能，并處理數(shù)據(jù)。各種組件經(jīng)由數(shù)據(jù)組件相鏈接。在存 儲器720的ROM中，將根據(jù)本發(fā)明實施例的方法的算法存儲為軟件組件。CPU加載存儲器的 RAM中的程序并執(zhí)行對應(yīng)指令。
[0249] 存儲在存儲器720中的軟件組件包括解碼器模塊(或指令集)DEC,用于使用可應(yīng)用 于小動態(tài)范圍化DR)圖像的解碼處理并應(yīng)用在所述解碼處理中的至少一個解碼參數(shù)，來對 所述圖像的至少一部分的分段進行解碼。
[0250] 可W包括其他模塊，諸如，操作系統(tǒng)模塊0/S，用于控制通用系統(tǒng)任務(wù)(例如，電力 管理、存儲器管理)并用于促進在編碼設(shè)備600的各種硬件和軟件組件之間的通信；W及接 口模塊INT，用于控制并管理經(jīng)由I/O接口與其他設(shè)備的通信。
[0251] 圖7是可W實現(xiàn)本發(fā)明實施例的通信系統(tǒng)的示例。通信系統(tǒng)包括經(jīng)由通信網(wǎng)絡(luò)肥T 進行通信的兩個遠程設(shè)備A和B。通信網(wǎng)絡(luò)NET可W是無線網(wǎng)絡(luò)、有線網(wǎng)絡(luò)或無線和有線通信 鏈路的組合。
[0252] 設(shè)備A包括編碼器，配置為執(zhí)行根據(jù)本發(fā)明實施例中的任一實施例的用于對皿R圖 像進行編碼的方法;且設(shè)備B包括解碼器，配置為執(zhí)行結(jié)合圖5所述的用于對表示HDR圖像的 比特流進行解碼的方法。設(shè)備B還可W包括用于顯示解碼皿R圖像的顯示器37。
[0253] 在一些本發(fā)明的其他實施例中，設(shè)備A和B配置為訪問關(guān)于顯示器的參考光線條件 的信息，諸如，顯示器光線的最大環(huán)境亮度值Υ_η。
[0254] 例如，設(shè)備A和Β存儲顯示器的相同參考光線條件，諸如，顯示器光線的最大環(huán)境亮 度值Υ_η。
[02W]備選地，設(shè)備Β配置為獲得顯示器的參考光線條件(諸如，顯示器光線的最大環(huán)境 亮度值Υ_η)，且將其發(fā)送給設(shè)備Α。然后，設(shè)備A配置為接收所發(fā)送的顯示器的參考光線條 件，諸如，顯示器光線的最大環(huán)境亮度值Υ_η。
[0256] 相反地，設(shè)備A配置為獲得顯示器的參考光線條件(諸如，顯示器光線的最大環(huán)境 亮度值Υ_η)(例如，從存儲存儲器），且將其發(fā)送給設(shè)備A。然后，設(shè)備B配置為接收運種所發(fā) 送的顯示器的參考光線條件，諸如，顯示器光線的最大環(huán)境亮度環(huán)境值￥_11。
[0257] 運里描述的本發(fā)明的實施例可實現(xiàn)為例如方法或過程、裝置、軟件程序、數(shù)據(jù)流或 信號。雖然僅在單個實現(xiàn)形式的上下文中進行討論(例如，僅討論方法），所討論特征的實現(xiàn) 還可其他形式來實現(xiàn)(如裝置或程序）。裝置可W實現(xiàn)為例如適合硬件、軟件和固件。所 述方法可W實現(xiàn)為諸如處理器的裝置。術(shù)語處理器一般地稱為處理設(shè)備，包括例如計算機、 微處理器、集成電路或可編程邏輯器件。處理器還可W包括通信設(shè)備，比如計算機、平板、蜂 窩電話、便攜式/個人數(shù)字助理(PDA) W及便于端用戶之間傳遞信息的其它設(shè)備。
[0258] 對本原理的"一種實施例"或"一個實施例"、"一種實現(xiàn)"或"一個實現(xiàn)"W及其它變 形的提及，意思是結(jié)合所述實施例描述的具體特征、結(jié)構(gòu)、特性等包括在本原理的至少一個 實施例中。從而，說明書通篇各處所出現(xiàn)的"在一種實施例中"或"在一個實施例中"、"在一 種實現(xiàn)中"或"在一個實現(xiàn)中及其它變形不必指代相同的實施例。
[0259] 此外，本說明書或其權(quán)利要求可W提及"確定"各種信息。確定信息可W包括W下 一項或多項，例如，估計信息、計算信息、預(yù)測信息或從存儲器取回信息。
[0260] 此外，本申請或其權(quán)利要求可W提及"接收"各種信息。接收和"訪即'一樣是廣義 術(shù)語。接收信息可W包括W下一項或多項，例如，訪問信息或取回信息（如從存儲器）。此外， "接收"通常W某種方式在諸如W下各項的操作期間設(shè)及:存儲信息、處理信息、發(fā)送信息、 移動?胃息、拷貝?胃息、擦除?胃息、計算?胃息、確定?胃息、預(yù)測?胃息或估計?胃息。
[0261] 雖然本發(fā)明在運里是參照具體實施例進行描述的，但應(yīng)認識到，本發(fā)明不限于具 體實施例，處于本發(fā)明的范圍內(nèi)的修改對于本領(lǐng)域技術(shù)人員是顯然的。
[0262] 例如，盡管在上述示例中描述了基于肥VC編碼過程的編碼處理，然而應(yīng)認識到，本 發(fā)明不限于任何特定編碼處理。在本發(fā)明的上下文中，可W應(yīng)用可應(yīng)用于LDR圖像的編碼的 其他編碼處理。例如，編碼處理和補充解碼處理可W是基于設(shè)及一些編碼策略優(yōu)化步驟的 其他編碼/解碼方法(諸如，]\〇^62、]\0^64、4￥(：邊.263等）。
[0263] 對本領(lǐng)域技術(shù)人員來講，通過參考上述說明性實施例（其只是作為示例而不限制 僅由所附權(quán)利要求確定的本發(fā)明的范圍），可W想到許多其它修改和變形。具體地，在適當 的情況下，來自不同實施例的不同特征可互換使用。
【主權(quán)項】
1. 一種對在具有亮度分量和色差度量的大動態(tài)范圍感知空間內(nèi)定義的大動態(tài)范圍圖 像的至少一部分進行編碼的方法，所述方法包括： 通過使用可應(yīng)用于小動態(tài)范圍（LDR)圖像的編碼處理并應(yīng)用在所述編碼處理中的至少 一個編碼參數(shù)，對所述圖像的一部分的分段進行編碼(S102; S202，S107; S207，S116; S216); 在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段(S118，S224); 在大動態(tài)范圍的感知空間內(nèi)評估(S120;S220)針對編碼分段的速率失真成本；以及 基于評估的速率失真成本，針對所述分段的編碼處理來調(diào)整(S122;S222)所述至少一 個編碼參數(shù)。2. 根據(jù)權(quán)利要求1所述的方法，其中所述至少一個編碼參數(shù)定義了所述圖像到要編碼 的圖像的分段的分區(qū)，每個要編碼的分段具有對應(yīng)HDR感知空間。3. 根據(jù)權(quán)利要求2所述的方法，其中所述至少一個編碼參數(shù)包括編碼四叉樹參數(shù)。4. 根據(jù)前述權(quán)利要求中任意一項所述的方法，還包括:基于所述分段的對應(yīng)圖像采樣 的亮度值，針對所述分段獲得(S103，S203)公用代表性亮度分量值。5. 根據(jù)權(quán)利要求4所述的方法，其中評估速率失真成本(S120)包括:評估與公用代表性 分量值的編碼相關(guān)聯(lián)的速率。6. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中所述編碼處理是根據(jù)HEVC壓縮技術(shù)的 編碼處理，且所述圖像的至少一部分的分段與編碼單元、預(yù)測單元或變換單元相對應(yīng)。7. 根據(jù)權(quán)利要求2到6中任一項權(quán)利要求所述的方法，還包括:在對分段進行編碼之前， 基于公用代表性亮度分量值，在局部感知空間內(nèi)表示圖像分段(S105;S205)。8. 根據(jù)權(quán)利要求7所述的方法，包括:在局部LDR域中獲得針對所述分段的局部殘差亮 度分量，所述局部殘差亮度分量對應(yīng)于原始圖像的對應(yīng)亮度分量和所述分段的公用代表性 亮度值之間的差。9. 根據(jù)權(quán)利要求8所述的方法，還包括:在局部感知空間內(nèi)獲得針對所述分段的至少一 個對應(yīng)圖像部分，所述至少一個圖像部分與根據(jù)所述分段的公用代表性亮度值進行歸一化 的所述分段的局部殘差亮度分量或顏色分量相對應(yīng)。10. 根據(jù)權(quán)利要求9所述的方法，其中評估速率失真成本(S120;S220)包括:評估與對所 述至少一個圖像部分的編碼相關(guān)聯(lián)的速率。11. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中評估速率失真成本（S120;S220)包 括:在大動態(tài)范圍的感知空間內(nèi)，評估與編碼分段的重構(gòu)相關(guān)聯(lián)的失真。12. 根據(jù)前述權(quán)利要求中任一項所述的方法，其中基于以下表達式來評估針對編碼參 數(shù)集P的速率失真成本DHDR: DHDR(CU，p)+A(RLDR(CU，p)+R(Lif，p)) 其中： ? Rldr(Cu，p)是與殘差圖像部分的編碼相關(guān)聯(lián)的速率； R(Lif，p)是與公用代表性亮度分量值的編碼相關(guān)聯(lián)的速率； DHDR(CU，p)是在大動態(tài)范圍的感知空間內(nèi)與編碼分段的重構(gòu)相關(guān)聯(lián)的失真；以及λ是拉 格朗日參數(shù)。13. 根據(jù)前述權(quán)利要求中任意一項所述的方法，還包括:在局部感知空間內(nèi)重構(gòu)的殘差 圖像部分的采樣以及所述圖像的原始紋理的采樣和對應(yīng)采樣之間執(zhí)行細化(S218)。14. 一種用于對在具有亮度分量和色差度量的大動態(tài)范圍感知空間內(nèi)定義的大動態(tài)范 圍圖像的至少一部分進行編碼的編碼設(shè)備，所述設(shè)備包括： 編碼器化％4叱14%2 4%3)，用于通過使用可應(yīng)用于小動態(tài)范圍〇^1〇圖像的編碼 處理并應(yīng)用在所述編碼處理中的至少一個編碼參數(shù)，對所述圖像的至少一部分的分段進行 編碼； 重構(gòu)模塊(REC)，用于在大動態(tài)范圍的感知空間內(nèi)重構(gòu)編碼分段； 速率失真模塊(RATE-DIST)，用于在大動態(tài)范圍的感知空間內(nèi)確定針對編碼分段的速 率失真成本;以及 編碼器管理模塊(ENCODER⑶NTROL;ENC-CTRL)，用于基于評估的速率失真成本，針對 所述分段的編碼處理來調(diào)整所述至少一個編碼參數(shù)。15. -種用于解碼比特流的方法，所述比特流表示在具有亮度分量和色差度量的感知 空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述方法包括： 訪問對用于編碼所述圖像的至少一個編碼參數(shù)加以表示的編碼數(shù)據(jù)， 通過應(yīng)用與所述至少一個編碼參數(shù)分別對應(yīng)的至少一個解碼參數(shù)，使用可應(yīng)用于小動 態(tài)范圍(LDR)圖像的解碼處理來對所述圖像的至少一部分的分段進行解碼； 其中，在通過可應(yīng)用于LDR圖像的編碼處理對所述分段進行編碼并在大動態(tài)范圍的感 知空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成本，來預(yù)先確定所述編 碼參數(shù)。16. -種用于解碼比特流的解碼設(shè)備，所述比特流表示在具有亮度分量和色差度量的 感知空間內(nèi)定義的大動態(tài)范圍圖像的至少一部分，所述設(shè)備包括： 接口（1/0;530)，用于訪問對用于編碼所述圖像的至少一個編碼參數(shù)加以表示的編碼 數(shù)據(jù)； 解碼器(DEC;501，502;520)，用于通過應(yīng)用與所述至少一個編碼參數(shù)分別相對應(yīng)的至 少一個解碼參數(shù)，使用可應(yīng)用于小動態(tài)范圍（LDR)圖像的解碼處理來對所述圖像的至少一 部分的分段進行解碼； 其中在通過可應(yīng)用于LDR圖像的編碼處理對所述分段進行編碼并在大動態(tài)范圍的感知 空間內(nèi)重構(gòu)所述分段之后，基于針對所述分段評估的速率失真成本，來預(yù)先確定所述至少 一個編碼參數(shù)。17. -種數(shù)據(jù)流，包括 比特流，表示在具有亮度分量和色差度量的感知空間內(nèi)定義的大動態(tài)范圍圖像的至少 一部分，以及 編碼數(shù)據(jù)，表示用于編碼所述圖像的至少一個編碼參數(shù)，其中基于針對所述圖像的編 碼分段評估的速率失真成本，預(yù)先確定所述至少一個編碼參數(shù)，其中已通過可應(yīng)用于LDR圖 像的編碼處理編碼了所述編碼分段，且在大動態(tài)范圍的感知空間內(nèi)重構(gòu)所述編碼分段。18. -種用于可編程裝置的計算機程序產(chǎn)品，計算機程序產(chǎn)品包括用于在加載到可編 程裝置中并由可編程裝置執(zhí)行時實現(xiàn)根據(jù)權(quán)利要求1到13或15中任一項所述的方法的指令 序列。
【文檔編號】H04N19/176GK106063266SQ201580008197
【公開日】2016年10月26日
【申請日】2015年1月8日
【發(fā)明人】法布里斯·勒安尼, 塞巴斯蒂安·拉薩爾, 大衛(wèi)·圖澤
【申請人】湯姆遜許可公司