編碼裝置和編碼方法、以及解碼裝置和解碼方法
【專利摘要】提供了編碼裝置、編碼方法、解碼裝置以及解碼方法，該編碼裝置包括：非遮擋區(qū)域編碼單元，配置為根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及遮擋區(qū)域編碼單元，配置為根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
【專利說明】編碼裝置和編碼方法、以及解碼裝置和解碼方法
[0001]相關申請的交叉引用
[0002]本申請要求2013年7月12日提交的日本優(yōu)先權專利申請JP2013-146806的權益，其全部內容在此通過弓I用并入本文。

【技術領域】
[0003]本公開涉及編碼裝置和編碼方法，以及解碼裝置和解碼方法，更具體地，涉及能夠執(zhí)行高效編碼而同時維持相鄰視點的圖像的圖像質量的編碼裝置和編碼方法，以及解碼裝置和解碼方法。

【背景技術】
[0004]作為編碼多視點圖像(它是多個視點的圖像)的方案，例如，存在一種多視圖視頻編碼(MVC)方案，其通過在幀中甚至在視點之間應用運動補償預測來執(zhí)行編碼(例如，參見“H.264-Advanced video coding for generic aud1visual services,，，ITU-T, 2009.3)。還有一種編碼深度圖并且在解碼時使用該深度圖和多視點圖像生成必要視點的圖像的3D視頻/自由視點電視(3DV/FTV)方案，所述深度圖是從少于必要數目的視點的多視點圖像生成的，并指示被攝體在沿多視點圖像的深度方向的位置。
[0005]在MVC方案中，通過塊匹配執(zhí)行時間方向的運動補償和空間方向的視差補償。在3DV/FTV方案中，編碼深度圖像和多視點圖像的方案被統(tǒng)稱為多視圖深度(MVD)方案。在MVD方案中，使用相關領域的高級視頻編碼(AVC)方案、MVC方案等。
[0006]每個視點的圖像或深度圖可以通過從作為用作遮擋區(qū)域(這將在下文中詳細描述)之外的標準的單一視點的標準視點的圖像或深度圖進行投影來生成。因此，作為編碼多視點圖像的方案，還存在編碼標準視點的深度圖和圖像、以及相鄰視點(這是不同于標準視點的視點)的遮擋區(qū)域的深度圖和圖像來實現高效編碼的分層深度視頻(LDV)。
[0007]遮擋區(qū)域是指在相鄰視點的圖像中存在但不在標準視點的圖像中存在的被攝體的區(qū)域。


【發(fā)明內容】

[0008]編碼多視點圖像的所有上述方案都是有損編碼方案，因為這些方案的目的是執(zhí)行高效編碼。因此，不能維持圖像質量。
[0009]理想的是提供一種用于執(zhí)行高效編碼，同時維持相鄰視點的圖像的圖像質量的技術。
[0010]根據本公開第一實施例的編碼裝置是包括如下的編碼裝置:非遮擋區(qū)域編碼單元，配置為根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及遮擋區(qū)域編碼單元，配置為根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
[0011]根據本公開第一實施例的編碼方法對應于根據本公開第一實施例的編碼裝置。
[0012]根據本公開的第一實施例，根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼。根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
[0013]根據本公開第二實施例的解碼裝置是包括如下的解碼裝置:非遮擋區(qū)域解碼單元，配置為根據對應于第一編碼方案的第一解碼方案解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據；以及遮擋區(qū)域解碼單元，配置為根據對應于第二編碼方案的第二解碼方案解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
[0014]根據本公開第二實施例的解碼方法對應于根據本公開第二實施例的解碼裝置。
[0015]根據本公開的第二實施例，根據對應于第一編碼方案的第一解碼方案解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據。根據對應于第二編碼方案的第二解碼方案解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
[0016]根據第一實施例的編碼裝置和根據第二實施例的解碼裝置可以通過使計算機執(zhí)行程序來實現。
[0017]為了實現根據第一實施例的編碼裝置和根據第二實施例的解碼裝置，引起由計算機執(zhí)行的程序可以經由傳輸介質進行傳輸或者可被記錄在要被提供的記錄介質上。
[0018]根據本公開的第一實施例，能夠執(zhí)行高效編碼而同時維持相鄰視點的圖像的圖像質量。
[0019]根據本公開的第二實施例，能夠解碼高效地編碼并同時維持相鄰視點的圖像的圖像質量的編碼數據。

【專利附圖】

【附圖說明】
[0020]圖1是示出對其應用本公開的第一實施例的圖像處理系統(tǒng)的配置示例的框圖；
[0021]圖2是用于描述圖1的圖像處理系統(tǒng)的處理流程的示圖；
[0022]圖3是示出圖1中的編碼裝置的配置示例的框圖；
[0023]圖4是用于描述預測圖像的生成的示圖；
[0024]圖5是用于描述圖3中的編碼裝置的編碼處理的流程圖；
[0025]圖6是示出圖1中的解碼裝置的配置示例的框圖；
[0026]圖7是用于描述圖6中的解碼裝置的解碼處理的流程圖；
[0027]圖8是示出對其應用本公開的第二實施例的圖像處理系統(tǒng)的編碼裝置的配置示例的示圖；
[0028]圖9是用于描述非遮擋區(qū)域的差的分離的示圖；
[0029]圖10是用于描述圖8中編碼裝置的編碼處理的流程圖；
[0030]圖11是示出對其應用本公開的第二實施例的圖像處理系統(tǒng)的解碼裝置的配置示例的框圖；
[0031]圖12是用于描述圖11中的解碼裝置的解碼處理的流程圖；
[0032]圖13是示出用途和編碼方案之間的關系的第一示例的示圖；
[0033]圖14是示出用途和編碼方案之間的關系的第二示例的示圖；
[0034]圖15是示出計算機的硬件配置示例的框圖；
[0035]圖16是用于描述視差和深度的示圖。

【具體實施方式】
[0036]下面，參照附圖詳細描述本公開的優(yōu)選實施例。需要注意的是，在本說明書和附圖中，具有基本相同的功能和結構的結構元件用相同的附圖標記表示，并且省略對這些結構元件的重復說明。
[0037]<第一實施例>
[0038](第一實施例的圖像處理系統(tǒng)的配置示例)
[0039]圖1是示出對其應用本公開的第一實施例的圖像處理系統(tǒng)的配置示例的框圖；
[0040]圖1中的圖像處理系統(tǒng)10被配置為包括:N(其中N是2或更大的整數)個相機11-1至11-N、生成裝置12、編碼裝置13和解碼裝置14。圖像處理系統(tǒng)10編碼N個視點的捕獲圖像和標準視點的深度圖，并解碼該編碼后的捕獲圖像。
[0041]具體地，圖像處理系統(tǒng)10的相機11-1至11-N中的每一個在N個相互不同的視點對被攝體成像。相機11-1至11-N捕獲的N個視點的圖像被提供給生成裝置12。下文中，當不特別必要彼此區(qū)分相機11-1至11-N時，相機11-1至11-N被統(tǒng)稱為相機11。
[0042]生成裝置12根據從相機11-1至11-N提供的N個視點的圖像通過立體匹配等生成標準視點的深度圖。生成裝置12將N個視點的圖像之中的標準視點的圖像、剩下的相鄰視點的圖像以及該深度圖提供給編碼裝置13。
[0043]編碼裝置13通過基于深度圖移動從生成裝置12提供的標準視點的圖像的每個像素來生成相鄰視點的預測圖像。以這種方式生成的相鄰視點的預測圖像的遮擋區(qū)域中沒有像素值。
[0044]對于非遮擋區(qū)域，編碼裝置13獲得相鄰視點的預測圖像和從生成裝置12提供的相鄰視點的圖像之間的差。編碼裝置13通過對差進行無損編碼，如比有損編碼具有更高質量的熵編碼，來生成編碼數據。另一方面，對于遮擋區(qū)域，編碼裝置13通過對于從生成裝置12提供的相鄰視點的圖像進行有損編碼來生成編碼數據。
[0045]編碼裝置13通過對標準視點的深度圖和圖像進行無損編碼來生成編碼數據。編碼裝置13通過多路復用遮擋區(qū)域的相鄰視點的圖像、非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據來生成編碼流。編碼裝置13將該編碼流傳輸到解碼裝置14。
[0046]解碼裝置14將從編碼裝置13傳輸的編碼流分離成遮擋區(qū)域的相鄰視點的圖像、非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據。
[0047]解碼裝置14根據與編碼裝置13的編碼方案相對應的解碼方案來解碼遮擋區(qū)域的相鄰視點的圖像、非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據。
[0048]具體地，解碼裝置14對非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據執(zhí)行比有損解碼具有更高均衡性的無損解碼，并對遮擋區(qū)域的相鄰視點的圖像的編碼數據執(zhí)行有損解碼。解碼裝置14通過組合遮擋區(qū)域的相鄰視點的圖像和作為解碼結果獲得的非遮擋區(qū)域的差來生成殘差圖像。
[0049]如同在編碼裝置13中一樣，解碼裝置14通過基于深度圖移動作為解碼結果獲得的標準視點的圖像的每個像素來生成相鄰視點的預測圖像。然后，解碼裝置14通過將相鄰視點的預測圖像添加到殘差圖像來生成相鄰視點的圖像。此時，由于在該遮擋區(qū)域中相鄰視點的預測圖像沒有像素值，因此殘差圖像的像素值不加改變地變?yōu)橄噜徱朁c的圖像的像素值。解碼裝置14輸出作為解碼結果獲得的相鄰視點的圖像、標準視點的圖像和深度圖。
[0050]在圖像處理系統(tǒng)10中，如上所述，非遮擋區(qū)域的差經歷無損編碼。因此，當非遮擋區(qū)域的差經歷有損編碼時，作為解碼結果獲得的非遮擋區(qū)域的差的圖像質量更多地得到改善。因此，使用該差而生成的非遮擋區(qū)域的相鄰視點的圖像的圖像質量也得到改善。
[0051](圖像處理系統(tǒng)的處理流程的說明)
[0052]圖2是用于描述圖1的圖像處理系統(tǒng)10的處理流程的示圖。
[0053]如圖2所示，在圖像處理系統(tǒng)10中，標準視點的圖像31經歷編碼裝置13的無損編碼，并且經歷無損解碼由解碼裝置14對其重建。
[0054]同樣的，生成裝置12生成的標準視點的深度圖32經歷編碼裝置13的無損編碼，并且經歷無損解碼由解碼裝置14對其重建。
[0055]另一方面，對于相鄰視點的圖像33的非遮擋區(qū)域，圖像33和通過基于深度圖32移動圖像31生成的預測圖像之間的差34經歷編碼裝置13的無損編碼，并且經歷解碼裝置14的無損解碼。
[0056]對于相鄰視點的圖像33的遮擋區(qū)域，圖像33經歷由編碼裝置13不加改變地有損編碼為圖像35，并且經歷無損解碼由解碼裝置14對其重建。
[0057]然后，差34和圖像35由解碼裝置14組合以生成殘差圖像36。殘差圖像36被添加到由解碼裝置14通過基于深度圖32移動圖像31的每個像素生成的預測圖像。以這種方式，重建圖像33。
[0058](編碼裝置的配置示例)
[0059]圖3是示出圖1中的編碼裝置13的配置示例的框圖。
[0060]圖3中的編碼裝置13包括深度圖獲取單元51、深度圖編碼單元52、標準圖像獲取單元53、標準圖像編碼單元54、相鄰圖像獲取單元55、殘差圖像生成單元56和分離單元57。編碼裝置13還包括遮擋區(qū)域編碼單元58、非遮擋區(qū)域編碼單元59以及多路復用單元60。
[0061]編碼裝置13的深度圖獲取單元51獲取從生成裝置12提供的深度圖，并將該深度圖提供給深度圖編碼單元52和殘差圖像生成單元56。深度圖編碼單元52對從深度圖獲取單元51提供的深度圖執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0062]標準圖像獲取單元53獲獲取從生成裝置12提供的標準視點的圖像，并將該標準視點的圖像提供給標準圖像編碼單元54和殘差圖像生成單元56。標準圖像編碼單元54對從標準圖像獲取單元53提供的標準視點的圖像執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0063]相鄰圖像獲取單元55獲取從生成裝置12提供的相鄰視點的圖像，并將該相鄰視點的圖像提供給殘差圖像生成單元56。
[0064]殘差圖像生成單元56通過基于從深度圖獲取單元51提供的深度圖來移動從標準圖像獲取單元53提供的標準視點的圖像的每個像素來生成相鄰視點的預測圖像。
[0065]對于相鄰視點的圖像的非遮擋區(qū)域，殘差圖像生成單元56生成從相鄰圖像獲取單元55提供的相鄰視點的圖像和相鄰視點的預測圖像之間的差，并將該差提供給分離單元57。殘差圖像生成單元56將遮擋區(qū)域的相鄰視點的圖像不加改變地提供給分離單元57。
[0066]分離單元57將從殘差圖像生成單元56提供的遮擋區(qū)域的相鄰視點的圖像提供給遮擋區(qū)域編碼單元58。分離單元57將從殘差圖像生成單元56提供的非遮擋區(qū)域的差提供給非遮擋區(qū)域編碼單元59。
[0067]遮擋區(qū)域編碼單元58對從分離單元57提供的遮擋區(qū)域的相鄰視點的圖像執(zhí)行有損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0068]非遮擋區(qū)域編碼單元59對從分離單元57提供的非遮擋區(qū)域的差執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0069]多路復用單元60通過多路復用深度圖、標準視點的圖像、遮擋區(qū)域的相鄰視點的圖像、以及非遮擋區(qū)域的差的編碼數據來生成編碼流。多路復用單元60充當傳輸單元并將所述編碼流傳輸到解碼裝置14。
[0070](預測圖像的生成的說明)
[0071]圖4是用于描述通過殘差圖像生成單元56生成預測圖像的示圖。
[0072]在圖4中，相同的附圖標記被給予與圖2中相同的那些構成要素。重復的描述將被適當地省略。
[0073]標準視點的深度圖32的值是對應于該標準視點的圖像31和相鄰視點的圖像33之間的視差量的一個值?；谏疃葓D32的位置(x，y)的值d(x，y)在如下等式(1)中表示水平方向上位置(x，y)的視差量Ax(x，y)和垂直方向上位置(x，y)的視差量Λ y (x，y)。
[0074]Δ X (χ, y) =Cl*d(x，y), Δ y (χ, y) =C2*d(x，y)...(1)
[0075]在等式(1)中，Cl和C2是用于將通過對齊相機11(基線長度、方向等)和深度圖的值的定義而獲得的深度圖的值轉換為視差量的系數。
[0076]當相鄰視點的圖像33的位置(x，y)處的像素是非遮擋區(qū)域的像素時，對應于該像素的標準視點的圖像31的像素的位置可以使用視差量ΛΧ和Ay表示為位置(Χ+ Δ χ (x, y) , y+ Δ y (χ, y))。因此，標準視點的圖像 31 的位置(X+ Δ χ (x, y) , y+ Δ y (χ, y))處的像素被移動并且被認為是相鄰視點的預測圖像的位置(x，y)處的像素。
[0077]圖像31的位置(x+AX(X，y)，y+Ay(X，y))處的像素的像素值a(x+AX(X，y)，y+Ay(X，y))(它是以這種方式生成的相鄰視點的預測圖像的位置(x，y)處的像素值)和圖像33的位置(X，y)處的像素的像素值b(x，y)之間的差r(x，y)由下面的等式⑵表不:
[0078]r (x, y) = b (x, y) -a (x+ Δ χ (x, y), y+ Δ y (x, y))...(2)
[0079]對于非遮擋區(qū)域，差r(x，y)經歷無損編碼。
[0080]另一方面，當相鄰視點的圖像33的位置(X，y)處的像素是遮擋區(qū)域的像素時，對應于該像素的標準視點的圖像31的像素不存在。因此，不生成相鄰視點的預測圖像的遮擋區(qū)域的像素值。因此，標準視點的圖像33的位置(x，y)處的像素經歷有損編碼。
[0081](編碼裝置的處理的說明)
[0082]圖5是用于描述圖3中的編碼裝置13的編碼處理的流程圖。當從圖1的生成裝置12提供標準圖像的圖像、深度圖和相鄰視點的圖像時編碼處理開始。
[0083]在圖5的步驟S11中，編碼裝置13的標準圖像獲取單元53獲取從生成裝置12提供的標準視點的圖像并將該標準視點的圖像提供給標準圖像編碼單元54和殘差圖像生成單元56。深度圖獲取單元51獲取從生成裝置12提供的深度圖，并將該深度圖提供給深度圖編碼單元52和殘差圖像生成單元56。相鄰圖像獲取單元55獲取從生成裝置12提供的相鄰視點的圖像并將該相鄰視點的圖像提供給殘差圖像生成單元56。
[0084]在步驟S12中，殘差圖像生成單元56通過基于從從深度圖獲取單元51提供的深度圖來移動從標準圖像獲取單元53提供的標準視點的圖像的每個像素而生成相鄰視點的預測圖像。
[0085]在步驟S13中，殘差圖像生成單元56對于非遮擋區(qū)域生成從相鄰圖像獲取單元55提供的相鄰視點的圖像和相鄰視點的預測圖像之間的差，并將該差提供給分離單元57。分離單元57將從殘差圖像生成單元56提供的該非遮擋區(qū)域的差提供給非遮擋區(qū)域編碼單元59。
[0086]在步驟S14中，殘差圖像生成單元56將遮擋區(qū)域的相鄰的視點的圖像不加改變地經由分離單元57輸出到遮擋區(qū)域的編碼單元58。
[0087]在步驟S15中，遮擋區(qū)域編碼單元58對從分離單元57提供的遮擋區(qū)域的相鄰視點的圖像執(zhí)行有損編碼并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0088]在步驟S16，非遮擋區(qū)域編碼單元59對從分離單元57提供的非遮擋區(qū)域的差執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0089]在步驟S17中，深度圖編碼單元52對從深度圖獲取單元51提供的深度圖執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0090]在步驟S18中，標準圖像編碼單元54對從標準圖像獲取單元53提供的標準視點的圖像執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元60。
[0091]在步驟S19中，多路復用單元60通過多路復用深度圖、標準視點的圖像、遮擋區(qū)域的相鄰視點的圖像、以及非遮擋區(qū)域的差的編碼數據來生成編碼流。多路復用單元60將該編碼流傳輸到解碼裝置14，然后該處理結束。
[0092](解碼裝置的配置示例)
[0093]圖6是示出圖1中的解碼裝置14的配置示例的框圖。
[0094]圖6的解碼裝置14包括獲取單元101、分離單元102、深度圖解碼單元103、標準圖像解碼單元104、遮擋區(qū)域解碼單元105和非遮擋區(qū)域解碼單元106。解碼裝置14還包括殘差圖像生成單元107和解碼圖像生成單元108。
[0095]解碼裝置14的獲取單元101充當接收單元，獲取從編碼裝置13傳輸的編碼流，并將該編碼流提供給分離單元102。
[0096]分離單元102將從獲取單元101提供的編碼流分離為遮擋區(qū)域的相鄰視點的圖像、非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據。分離單元102將深度圖的編碼數據提供給深度圖解碼單元103，并將標準視點的圖像的編碼數據提供給標準圖像解碼單元 104。
[0097]分離單元102將遮擋區(qū)域的相鄰視點的圖像的編碼數據提供給遮擋區(qū)域解碼單元105。分離單元102將非遮擋區(qū)域的差的編碼數據提供給非遮擋區(qū)域解碼單元106。
[0098]深度圖解碼單元103對從分離單元102提供的深度圖的編碼數據執(zhí)行無損解碼。深度圖解碼單元103將作為無損解碼結果而獲得的深度圖提供給解碼圖像生成單元108。
[0099]標準圖像解碼單元104對從分離單元102提供的標準視點的圖像的編碼數據執(zhí)行無損解碼。標準圖像解碼單元104將作為無損解碼結果而獲得的標準視點的圖像提供給解碼圖像生成單元108。
[0100]遮擋區(qū)域解碼單元105對從分離單元102提供的遮擋區(qū)域的相鄰視點的圖像的編碼數據執(zhí)行有損解碼。遮擋區(qū)域解碼單元105將作為有損解碼結果而獲得的遮擋區(qū)域的相鄰視點的圖像提供給殘差圖像生成單元107。
[0101]非遮擋區(qū)域解碼單元106對從分離單元102提供的非遮擋區(qū)域的差的編碼數據執(zhí)行比有損解碼具有更高質量的無損解碼。非遮擋區(qū)域解碼單元106將作為無損解碼結果而獲得的非遮擋區(qū)域的差提供給殘差圖像生成單元107。
[0102]殘差圖像生成單元107通過組合從遮擋區(qū)域解碼單元105提供的遮擋區(qū)域的相鄰視點的圖像和從非遮擋區(qū)域解碼單元106提供的非遮擋區(qū)域的差來生成殘差圖像。殘差圖像生成單元107將該殘差圖像提供給解碼圖像生成單元108。
[0103]解碼圖像生成單元108輸出從深度圖解碼單元103提供的深度圖。解碼圖像生成單元108輸出從標準圖像解碼單元104提供的標準視點的圖像。如同在圖3中的殘差圖像生成單元56中那樣，解碼圖像生成單元108通過基于深度圖像來移動標準視點的圖像的每個像素而生成預測圖像。解碼圖像生成單元108通過添加預測圖像到殘差圖像來生成相鄰視點的圖像。解碼圖像生成單元108輸出相鄰視點的圖像。
[0104](解碼裝置的處理的說明)
[0105]圖7是用于描述圖6中的解碼裝置14的解碼處理的流程圖。例如，當從編碼裝置13傳輸編碼流時，解碼處理開始。
[0106]在圖7的步驟S31中，解碼裝置14的獲取單元101獲取從編碼裝置13傳輸的編碼流并且將編碼流提供給分離單元102。
[0107]在步驟S32中，分離單元102將從獲取單元101提供的編碼流分離為遮擋區(qū)域的相鄰視點的圖像、非遮擋區(qū)域的差、標準視點的圖像和深度圖的編碼數據。
[0108]分離單元102提供深度圖的編碼數據給深度圖解碼單元103，并將標準視點的圖像的編碼數據提供給標準圖像解碼單元104。分離單元102將遮擋區(qū)域的相鄰視點的圖像的編碼數據提供給遮擋區(qū)域解碼單元105。分離單元102將非遮擋區(qū)域的差的編碼數據提供給非遮擋區(qū)域解碼單元106。
[0109]在步驟S33中，遮擋區(qū)域解碼單元105對從分離單元102提供的遮擋區(qū)域的相鄰視點的圖像的編碼數據執(zhí)行有損解碼。遮擋區(qū)域解碼單元105將作為有損解碼結果獲得的遮擋區(qū)域的相鄰視點的圖像提供給殘差圖像生成單元107。
[0110]在步驟S34中，非遮擋區(qū)域解碼單元106對從分離單元102提供的非遮擋區(qū)域的差的編碼數據執(zhí)行無損解碼。非遮擋區(qū)域解碼單元106將作為無損解碼結果獲得的非遮擋區(qū)域的差提供給殘差圖像生成單元107。
[0111]在步驟S35中，殘差圖像生成單元107通過組合從遮擋區(qū)域解碼單元105提供的遮擋區(qū)域的相鄰視點的圖像和從非遮擋區(qū)域解碼單元提供的非遮擋區(qū)域的差來生成殘差圖像。殘差圖像生成單元107將殘差圖像提供給解碼圖像生成單元108。
[0112]在步驟S36中，深度圖解碼單元103對從分離單元102提供的深度圖的編碼數據執(zhí)行無損解碼。深度圖解碼單元103將作為無損解碼結果獲得的深度圖提供給解碼圖像生成單元108。
[0113]在步驟S37中，標準圖像解碼單元104對從分離單元102提供的標準視點的圖像的編碼數據執(zhí)行無損解碼。標準圖像解碼單元104將作為無損解碼結果獲得的標準視點的圖像提供給解碼圖像生成單元108。
[0114]在步驟S38中，解碼圖像生成單元108通過基于深度圖來移動標準視點的圖像的每個像素而生成預測圖像，如同在圖3的殘差圖像生成單元56中一樣。在步驟S39中，解碼圖像生成單元108通過將預測圖像添加到殘差圖像來生成相鄰視點的圖像。
[0115]在步驟S40中，解碼圖像生成單元108輸出深度圖像、標準視點的圖像、以及相鄰視點的圖像。然后，該處理結束。
[0116]在圖像處理系統(tǒng)10中，如上所述，編碼裝置13對相鄰視點的圖像的非遮擋區(qū)域的差執(zhí)行無損編碼并且對遮擋區(qū)域執(zhí)行有損編碼。因此，有可能進行高效編碼，同時維持相鄰視點的圖像的圖像質量。
[0117]解碼裝置14對相鄰視點的非遮擋區(qū)域的差執(zhí)行無損解碼，并對遮擋區(qū)域執(zhí)行有損解碼。因此，有可能解碼經歷高效編碼的編碼流而同時該編碼裝置13維持相鄰視點的圖像的圖像質量。
[0118]〈第二實施例〉
[0119](第二實施例的圖像處理系統(tǒng)的配置示例)
[0120]應用本公開的第二實施例的圖像處理系統(tǒng)的配置與圖1中圖像處理系統(tǒng)10的配置是相同的，但編碼裝置120和解碼裝置160除外。因此，只在下面描述編碼裝置120和解碼裝置160。
[0121](編碼裝置的配置的示例)
[0122]圖8是示出對其應用本公開的第二實施例的圖像處理系統(tǒng)的編碼裝置的配置示例的示圖。
[0123]圖8示出的構成要素中相同的附圖標記被給予與圖3的配置中的那些元件相同的構成要素。適當地省略重復的描述。
[0124]圖8中編碼裝置120的配置與圖3中的編碼裝置13的配置的不同在于，提供了分離單元121、遮擋區(qū)域編碼單元122、非遮擋區(qū)域編碼單元123、以及多路復用單元124，而不是分離單元57、遮擋區(qū)域編碼單元58、非遮擋區(qū)域編碼單元59、以及多路復用單元60。編碼裝置120對非遮擋區(qū)域以及遮擋區(qū)域的差之中相對大的差執(zhí)行有損編碼。
[0125]具體地，編碼裝置120的分離單元121將從殘差圖像生成單元56提供的遮擋區(qū)域的相鄰視點的圖像提供給遮擋區(qū)域編碼單元122。分離單元121將從殘差圖像生成單元56提供的非遮擋區(qū)域的差中等于或大于閾值的差作為大的差提供給遮擋區(qū)域編碼單元122。分離單元121將非遮擋區(qū)域的差中小于閾值的差作為小的差提供給非遮擋區(qū)域編碼單元123。
[0126]遮擋區(qū)域編碼單元122對遮擋區(qū)域的相鄰視點的圖像和從分離單元121提供的大的差執(zhí)行有損編碼。遮擋區(qū)域編碼單元122將作為結果而獲得的遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據提供給多路復用單元124。
[0127]非遮擋區(qū)域編碼單元123對從分離單元121提供的小的差執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元124。
[0128]多路復用單元124多路復用由有損編碼的結果獲得遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據、以及作為無損編碼的結果獲得的深度圖、標準視點的圖像和小的差的編碼數據。多路復用單元124充當傳輸單元，并將作為多路復用結果獲得的編碼流傳輸到下面將要描述的解碼處理160。
[0129](非遮擋區(qū)域的差的分離的說明)
[0130]圖9是用于描述由圖8的分離單元121進行的非遮擋區(qū)域的差的分離的示圖。
[0131]在圖9中，相同的附圖標記被給予與圖4中的那些構成要素相同的構成要素。適當地省略重復的描述。
[0132]在圖9的示例中，因為由相機11捕獲的圖像中的噪聲、生成裝置12的深度圖的生成誤差等等的原因，標準視點的深度圖140的背景和作為前景的一個人之間的右側邊界區(qū)域140A具有不是指示深度方向的背景位置的值。
[0133]因此，如同參照圖4描述的，基于深度圖140生成的相鄰視點的預測圖像與邊界區(qū)域140A中相鄰視點的圖像33顯著地不同。因此，對應于邊界區(qū)域140A的區(qū)域142的差增加了非遮擋區(qū)域的差141。因此，在這種情況下，例如，差141中區(qū)域142的差被認為是大的差，并且差141中除區(qū)域142之外的區(qū)域的差被認為是小的差。
[0134](編碼裝置的處理的說明)
[0135]圖10是用于描述圖8中編碼裝置120的編碼處理的流程圖。當從生成裝置12提供標準視點的圖像、深度圖、以及相鄰視點的圖像時編碼處理開始。
[0136]由于圖10的步驟S51至步驟S53的處理與圖5的步驟S11至步驟S13的處理相同，因此將省略對它們的描述。
[0137]在步驟S54中，編碼裝置120的分離單元121將從殘差圖像生成單元56提供的非遮擋區(qū)域的差中等于或大于閾值的差作為大的差分離，并且將小于閾值的差作為小的差分離。分離單元121將大的差提供給遮擋區(qū)域編碼單元122，并將小的差提供給非遮擋區(qū)域編碼單元123。
[0138]在步驟S55中，遮擋區(qū)域編碼單元122對從分離單元121提供的遮擋區(qū)域的相鄰視點的圖像和大的差執(zhí)行有損編碼。遮擋區(qū)域編碼單元122將作為結果而獲得的編碼數據提供給多路復用單元124。
[0139]在步驟S56中，非遮擋區(qū)域編碼單元123對從分離單元121提供的小的差執(zhí)行無損編碼，并將作為結果而獲得的編碼數據提供給多路復用單元124。
[0140]由于圖10的步驟S57和步驟S58的處理與步驟S17和步驟S18的處理相同，因此將省略對它們的描述。
[0141]在步驟S59中，多路復用單元124多路復用作為有損編碼結果而獲得的遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據以及作為無損編碼結果而獲得的深度圖、標準視點的圖像和小的差的編碼數據。多路復用單元124將作為多路復用結果而獲得的編碼流傳輸到下面將要描述的解碼裝置160，然后該處理結束。
[0142](解碼裝置的配置示例)
[0143]圖11是示出對其應用本公開的第二實施例的圖像處理系統(tǒng)的解碼裝置的配置示例的框圖。
[0144]相同的附圖標記被給予與圖6配置中的那些構成要素相同的構成要素。適當地省略重復的描述。
[0145]圖11中解碼裝置160的配置與圖6中解碼裝置14的配置的不同在于，提供分離單元161、遮擋區(qū)域解碼單元162、非遮擋區(qū)域解碼單元163、和殘差圖像生成單元164，而不是分離單元102、遮擋區(qū)域解碼單元105、非遮擋區(qū)域解碼單元106、殘差圖像生成單元107。
[0146]解碼裝置160的分離單元161將從獲取單元101提供的編碼流分離為遮擋區(qū)域的相鄰視點的圖像、大的差、小的差以及標準視點和深度圖的圖像的編碼數據。分離單元161將深度圖的編碼數據提供給深度圖解碼單元103，并將標準視點的圖像的編碼數據提供給標準圖像解碼單元104。
[0147]分離單元161將遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據提供給遮擋區(qū)域解碼單元162。分離單元161將小的差的編碼數據提供給非遮擋區(qū)域解碼單元163。
[0148]遮擋區(qū)域解碼單元162對從分離單元161提供的遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據的執(zhí)行有損解碼。遮擋區(qū)域解碼單元162將作為有損解碼結果而獲得的遮擋區(qū)域的相鄰視點的圖像和大的差提供給殘差圖像生成單元164。
[0149]非遮擋區(qū)域解碼單元163對從分離單元161提供的小的差的編碼數據執(zhí)行無損解碼。非遮擋區(qū)域解碼單元163將作為無損解碼結果而獲得的小的差提供給殘差圖像生成單元 164。
[0150]殘差圖像生成單元164通過組合從遮擋區(qū)域解碼單元162提供的遮擋區(qū)域的相鄰視點的圖像和大的差以及從非遮擋區(qū)域解碼單元163提供的小的差來生成殘差圖像。殘差圖像生成單元164將該殘差圖像提供給解碼圖像生成單元108。
[0151](解碼裝置的處理的說明)
[0152]圖12是用于描述圖11中的解碼裝置160的解碼處理的流程圖。例如，當從編碼裝置120傳輸編碼流時，解碼處理開始。
[0153]在圖12的步驟S71中，解碼裝置160的獲取單元101獲取從編碼裝置120傳輸的編碼流并且將該編碼流提供給分離單元161。
[0154]在步驟S72中，分離單元161將從獲取單元101提供的編碼流分離為遮擋區(qū)域的相鄰視點的圖像、大的差、小的差、標準視點的圖像和深度圖的編碼數據。分離單元161將深度圖的編碼數據提供給深度圖解碼單元103，并將標準視點的圖像的編碼數據提供給標準圖像解碼單元104。
[0155]分離單元161將遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據提供給遮擋區(qū)域解碼單元162。分離單元161將小的差的編碼數據提供給非遮擋區(qū)域解碼單元163。
[0156]在步驟S73中，遮擋區(qū)域解碼單元162對從分離單元161提供的遮擋區(qū)域的相鄰視點的圖像和大的差的編碼數據的執(zhí)行有損解碼。遮擋區(qū)域解碼單元162將作為有損解碼結果而獲得的遮擋區(qū)域的相鄰視點的圖像和大的差提供給殘差圖像生成單元164。
[0157]在步驟S74中，非遮擋區(qū)域解碼單元163對從分離單元161提供的小的差的編碼數據執(zhí)行無損解碼。非遮擋區(qū)域解碼單元163將作為無損解碼結果而獲得的小的差提供給殘差圖像生成單元164。
[0158]在步驟S75中，殘差圖像生成單元164通過組合從遮擋區(qū)域解碼單元162提供的遮擋區(qū)域的相鄰視點的圖像和大的差以及從非遮擋區(qū)域解碼單元163提供的非遮擋區(qū)域的小的差來生成殘差圖像。殘差圖像生成單元164將該殘差圖像提供給解碼圖像生成單元108。
[0159]由于步驟S76至步驟S80的處理與圖7的步驟S36至步驟S40的處理相同，因此將省略對它們的描述。
[0160]如上所述，編碼裝置120對小的差執(zhí)行無損編碼并對遮擋區(qū)域和大的差執(zhí)行有損編碼。由此，有可能在維持相鄰視點的圖像的圖像質量的同時進行高效編碼。此外，因為在非遮擋區(qū)域的差中的大的差別經歷有損編碼，所以編碼效率比在編碼裝置13中更加提升。
[0161]解碼裝置160對小的差執(zhí)行無損解碼并對遮擋區(qū)域和大的差執(zhí)行有損解碼。因此，有可能在編碼裝置120維持相鄰視點的圖像的圖像質量的同時解碼經歷了高效編碼的編碼流。
[0162]〈編碼方案的示例〉
[0163](編碼方案的第一個示例)
[0164]在上面的描述中，遮擋區(qū)域已經歷了有損編碼并且非遮擋區(qū)域已經歷了無損編碼，但編碼方案不限于此。
[0165]圖13是示出深度圖和從解碼裝置14(160)輸出的N個視點的圖像的用途與遮擋區(qū)域以及非遮擋區(qū)域的編碼方案之間的關系的第一示例的示圖。
[0166]如圖13所示，當用途是通過使用N個視點的圖像改變相機11的焦距的生成圖像的重新聚焦處理時，使用作為N個視點的圖像獲得的有關光束空間(光場)的所有信息重建圖像。因此，遮擋區(qū)域和非遮擋區(qū)域兩者都是重要的。
[0167]因此，在這種情況下，視覺無損方案被用作遮擋區(qū)域的編碼方案。視覺無損方案是一種高質量的編碼方案，其中盡管進行有損編碼方案，圖像質量的惡化也可能不會被感知。此外，無損方案被用作非遮擋區(qū)域的編碼方案。
[0168]也就是說，對于非遮擋區(qū)域，可以通過移動標準視點的圖像來生成相同的圖像。因此，在相關技術的編碼裝置中，不傳輸非遮擋區(qū)域的視點之間的小的差以便提高編碼效率。
[0169]然而，當用途是重新聚焦處理時，非遮擋區(qū)域的視點之間的差是重要的，因為該差是指示每個視點的諸如紋理、光澤度等的特性的信息。因此，在本公開的一個實施例中，根據無損方案編碼非遮擋區(qū)域的視點之間的差。因此，由于視點之間在視覺上的細微的差別不會惡化并被保留在解碼圖像中，所以重新聚焦處理可以以高精度進行。
[0170]當用途是通過使用深度圖在子像素單元中匹配每個視點的圖像的像素值來執(zhí)行的超分辨率處理時，在標準視點的視圖角度重建超分辨率圖像。因此，非遮擋區(qū)域是重要的，但遮擋區(qū)域不是必要的。
[0171]因此，在這種情況下，有損方案被用作遮擋區(qū)域的編碼方案或者不編碼(丟棄)遮擋區(qū)域。有損方案是比視覺無損方案具有更低的圖像質量的有損編碼方案，并且是其中可以感知到圖像質量的惡化的一種編碼方案。作為有損方案，存在聯合圖像專家組(JPEG)方案等。無損方案被用作非遮擋區(qū)域的編碼方案。
[0172]當用途是從N個視點的圖像生成被攝體的3D模型圖像的3D建模處理時，從也包括遮擋區(qū)域的所有區(qū)域識別被攝體的立體形狀。因此，遮擋區(qū)域和非遮擋區(qū)域兩者都是重要的。因此，視覺無損失方案被用作遮擋區(qū)域和非遮擋區(qū)域的編碼方案。
[0173]當用途是通過執(zhí)行視點內插來移動輸出圖像視點的視點移動處理時，必要時，相鄰視點的圖像是必要的。因此，在這種情況下，有損方案被用作遮擋區(qū)域的編碼方案，并且視覺無損方案被用作非遮擋區(qū)域的編碼方案。
[0174]當用途是使用深度圖檢測在深度方向上從相機11到被攝體的距離的定位處理時，深度圖的精度是重要的并且每個視點的圖像并不重要。因此，在這種情況下，有損方案被用作遮擋區(qū)域和非遮擋區(qū)域兩者的編碼方案。
[0175](編碼方案的第二示例)
[0176]圖14是示出深度圖和從解碼裝置14(160)輸出的N個視點的圖像的用途與遮擋區(qū)域以及非遮擋區(qū)域的編碼方案之間的關系的第二示例的示圖。
[0177]如圖14所示，當用途是用于新開發(fā)的應用的多用途使用時，有必要不限制用途。因此，有必要使得圖像質量在遮擋區(qū)域和非遮擋區(qū)域兩者中都不會惡化。因此，在這種情況下，無損方案被用作遮擋區(qū)域和非遮擋區(qū)域兩者的編碼方案。
[0178]當用途是真正的重新聚焦處理或校正模糊的超分辨率處理時，有必要改善重建的圖像的圖像質量。因此，在重新聚焦處理和用于模糊校正的超分辨率處理中重要的非遮擋區(qū)域和遮擋區(qū)域兩者的圖像質量是相對重要的。因此，無損方案被用作非遮擋區(qū)域的編碼方案，并且高質量的視覺無損方案被用作遮擋區(qū)域的編碼方案。
[0179]當用途是視點移動處理時，遮擋區(qū)域和非遮擋區(qū)域兩者是重要的，因為相鄰視點的圖像在視點移動時是重要的。當N個視點的圖像是靜止圖像時，相較于移動圖像的情況，相鄰視點的圖像的數據量是小的。因此，當用途是視點移動處理并且N個視點的圖像是靜止圖像時，高質量的視覺無損方案被用作非遮擋區(qū)域和遮擋區(qū)域兩者的編碼方案。
[0180]當用途是簡單的重新聚集處理時，非遮擋區(qū)域和遮擋區(qū)域兩者是重要的并且有必要維持最低圖像質量和具有模糊感的紋理。因此，高質量的視覺無損方案被用作非遮擋區(qū)域的編碼方案，并且高質量的有損方案被用作遮擋區(qū)域的編碼方案。
[0181]當用途是生成泛焦(pan-focus)圖像的超分辨處理時，遮擋區(qū)域不是必要的，因為超分辨率圖像是在標準視點的視圖角度處重建的。因此，高質量的視覺無損方案被用作非遮擋區(qū)域的編碼方案，但是低質量的有損方案被用作遮擋區(qū)域的編碼方案或者不編碼(丟棄)遮擋區(qū)域。
[0182]當用途是3D建模處理或識別被攝體的姿勢的姿勢識別處理時，從也包括遮擋區(qū)域的所有區(qū)域識別被攝體的立體形狀。因此，有必要維持遮擋區(qū)域以及非遮擋區(qū)域的圖像質量。因此，高質量的有損方案被用作非遮擋區(qū)域和遮擋區(qū)域的編碼方案。
[0183]當用途是視點移動處理時，如上所述，遮擋區(qū)域和非遮擋區(qū)域兩者都是重要的，因為相鄰視點的圖像在視點移動時是必要的。另一方面，當N個視點的圖像是移動圖像時，相鄰視點的圖像的數據量大于靜止圖像的情況下的數據量。因此，當用途是視點移動處理并且N個視點的圖像是移動圖像時，高質量的有損方案被用作非遮擋區(qū)域的編碼方案并且低質量的有損方案被用作遮擋區(qū)域的編碼方案。
[0184]當用途是定位處理時，深度圖的精度是重要的，而每個視點的圖像并不重要。因此，在這種情況下，低質量的有損方案被用作遮擋區(qū)域和非遮擋區(qū)域兩者的編碼方案。
[0185]遮擋區(qū)域和非遮擋區(qū)域的編碼方案可以由用戶根據用途來設置。可替換地，編碼裝置13(120)可確定用途，使得用途可自動設定。
[0186]指示遮擋區(qū)域和非遮擋區(qū)域的編碼方案的標志(信息)可以從編碼裝置13(120)傳輸到解碼裝置14(160)。在這種情況下，多路復用單元60 (124)在例如序列參數集(SPS)、系統(tǒng)層、文件格式的報頭等等中設置標志以傳輸該標志。然后，獲取單兀101接收該標志，并根據與該標志指示的編碼方案相對應的解碼方案解碼遮擋區(qū)域和非遮擋區(qū)域之間的差的編碼數據。
[0187]〈第三實施例〉
[0188](對其應用本技術的計算機的配置示例)
[0189]上述一系列處理可以通過硬件執(zhí)行，但也可以通過軟件執(zhí)行。當該一系列處理由軟件執(zhí)行時，構建這樣的軟件的程序被安裝到計算機中。這里，表述“計算機”包括在其中集成了專用硬件的計算機和安裝各種程序時能夠執(zhí)行各種功能的通用個人計算機等。
[0190]圖15是示出根據程序執(zhí)行早先描述的一系列處理的計算機的硬件配置示例的框圖。
[0191]在該計算機中，中央處理單元(CPU) 201、只讀存儲器(ROM) 202和隨機存取存儲器(RAM) 203通過總線204相互連接。
[0192]輸入/輸出接口 205也連接到總線204。輸入單元206、輸出單元207、存儲單元208、通信單元209和驅動器210連接到輸入/輸出接口 205。
[0193]輸入單元206由鍵盤、鼠標、麥克風等構成。輸出單元207由顯示器、揚聲器等構成。存儲單元208由硬盤、非易失性存儲器等構成。通信單元209由網絡接口等構成。驅動器210驅動可移除介質211，如磁盤、光盤、磁光盤、半導體存儲器等等。
[0194]在如上所述配置的計算機中，CPU201將例如存儲在存儲單元208中的程序經由輸入/輸出接口 205和總線204加載到RAM203，并執(zhí)行該程序。因此，上述一系列處理被執(zhí)行。
[0195]提供被記錄在作為封裝介質等的可移動介質211中的要被計算機(CPU201)執(zhí)行的程序。此外，可以經由如局域網、因特網或數字衛(wèi)星廣播之類的有線或無線傳輸介質來提供程序。
[0196]在該計算機中，通過將可移除介質211加載到驅動器210中，該程序可以經由輸入/輸出接口 205被安裝到存儲單元208中。也可能使用通信單元209從有線或無線傳輸介質接收程序并將該程序安裝到存儲單元208中。作為另一種選擇，該程序可以預先安裝到R0M202或存儲單元208中。
[0197]應注意，由計算機執(zhí)行的程序可以是按照根據在本說明書中描述的序列的時間序列進行處理的程序或是在平行處理或在必要的時機(如調用時)進行處理的程序。
[0198]<本說明書中的深度圖的說明>
[0199]圖16是用于描述視差和深度的示圖。
[0200]如圖16所示，當被攝體Μ的彩色圖像由布置在位置C1處的相機cl和布置在位置C2處的相機c2進行拍攝時，被攝體Μ的深度ζ (這是在深度方向上該被攝體到相機cl (相機c2)的距離)由下面的等式(a)來定義。
[0201]Z = (L/d) Xf...(a)
[0202]L是水平方向上位置Cl和C2之間的距離(以下稱為相機間的距離)。此外，d是通過從在水平方向由相機C1拍攝的彩色圖像上被攝體Μ的位置到彩色圖像的中心的距離ul減去在水平方向由相機C2拍攝的彩色圖像上被攝體Μ的位置到彩色圖像的中心的距離u2得到的值，S卩，視差。此外，f是相機C1的焦距，并且在等式(a)中假設相機cl的焦距與相機c2的焦距相同。
[0203]如等式(a)中所表示的，視差d與深度ζ可以唯一地進行轉換。因此，上述深度圖可以代替指示由相機C1和C2拍攝的2-視點彩色圖像之間的視差d的圖像。在下文中，指示視差d和深度圖的圖像通常被稱為深度圖像。
[0204]深度圖像可以是指示視差d或深度Z的圖像，并且不是視差d或深度ζ本身，而由歸一化視差d得到的值、由歸一化深度Z的倒數1/Z得到的值等等可被用作深度圖像的像素值。
[0205]通過8位(0至255)歸一化視差得到的值I可以通過下面的等式(b)得到。用于視差d的歸一化的位數并不限于8位，也可以使用其它位數，例如10位或12位。
255X (d-Dmin)
[0206]丄=------...(b)

Umax—Umiri
[0207]在等式(b)中，Dmax是視差d的最大值并且Dmin是視差d的最小值。最大值Dmax和最小值Dmin可以在一個屏幕中的一個單元中設置，或者可以在多個屏幕的多個單元中設置。
[0208]通過8位(0至255)歸一化深度Z的倒數1/Z得到的值y可以通過下面的等式(c)得到。用于深度Z的倒數1/Z的歸一化的位數并不限于8位，也可以使用其它位數，例如10位或12位。
丄—_L
Z Zfar
[0209]y = 255 X ^^--...(G)

Znear ^far
[0210]在等式(c)中，Zfar是深度Z的最大值并且Ζη.是深度Ζ的最小值。最大值Zfm和最小值2?■可以在一個屏幕中的一個單元中設置，或者可以在多個屏幕的多個單元中設置。
[0211]作為深度圖像的顏色格式，YUV420、YUV400等均可使用。當然，也可以使用其它的顏色格式。
[0212]此外，在本公開中，系統(tǒng)具有多個配置元件(如設備或模塊(部件))的集合的含義，并沒有考慮所有的配置元件是否是在同一外殼中。因此，該系統(tǒng)可以是存儲在單獨的外殼中并通過網絡連接的多個設備、或者是在單一外殼內的多個模塊。
[0213]本公開的實施例不限于上述實施例，并且可以在不脫離本公開的范圍的情況下作出各種改變和修改。
[0214]例如，在第一實施例中，殘差圖像生成單元56可以通過組合非遮擋區(qū)域的差和遮擋區(qū)域的相鄰視點的圖像來生成殘差圖像。在這種情況下，殘差圖像生成單元56生成非遮擋區(qū)域或遮擋區(qū)域的掩碼(mask)。然后，分離單元57使用該掩碼將殘差圖像分離成非遮擋區(qū)域的差和遮擋區(qū)域的相鄰視點的圖像。
[0215]即使在第二實施例中，殘差圖像生成單元56也可以通過組合非遮擋區(qū)域的差和遮擋區(qū)域的相鄰視點的圖像來生成殘差圖像。在這種情況下，殘差圖像生成單元56生成通過將小的差的區(qū)域或大的差的區(qū)域與遮擋區(qū)域進行組合而得到的區(qū)域的掩碼。然后，分離單元121使用該掩碼將殘差圖像分離成小的差和大的差以及遮擋區(qū)域的相鄰視點的圖像。
[0216]此外，在第二實施例中，可以不通過確定閾值而是基于預定的評估函數來分離小的差和大的差。
[0217]例如，本公開可以采用通過由多個設備通過網絡分配和連接一個函數來進行處理的云計算的配置。
[0218]此外，由上述流程圖描述的每個步驟可以由一個設備或通過分配多個設備來執(zhí)行。
[0219]此外，在一個步驟中包括多個過程處理的情況下，包含在該一個步驟中的所述多個處理可以通過一個設備或通過分配多個設備來執(zhí)行。
[0220]此外，本技術也可如下配置。
[0221](1)
[0222]一種編碼裝置，包括:
[0223]非遮擋區(qū)域編碼單元，配置為根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及
[0224]遮擋區(qū)域編碼單元，配置為根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
[0225](2)
[0226]根據(1)所述的編碼裝置，其中第一編碼方案是具有比第二編碼方案更高的質量的編碼方案。
[0227](3)
[0228]根據(2)所述的編碼裝置，其中第一編碼方案是無損編碼，并且第二編碼方案是有損編碼。
[0229](4)
[0230]根據(2)所述的編碼裝置，其中第一編碼方案是第一質量的有損編碼，并且第二編碼方案是具有比第一質量更低的第二質量的有損編碼。
[0231](5)
[0232]根據⑴至⑷任一項所述的編碼裝置，
[0233]其中非遮擋區(qū)域編碼單元根據第一編碼方案編碼所述差中小于閾值的差，并且
[0234]其中遮擋區(qū)域編碼單元根據第二編碼方案編碼遮擋區(qū)域和所述差中等于或大于閾值的差。
[0235](6)
[0236]根據(1)至(5)任一項所述的編碼裝置，進一步包括:
[0237]標準圖像編碼單元，配置為編碼標準視點的圖像；以及
[0238]深度圖編碼單元，配置為編碼深度圖，該深度圖使用標準視點的圖像和相鄰視點的圖像生成并指示深度方向上被攝體的位置。
[0239](7)
[0240]根據(1)至(6)任一項所述的編碼裝置，其中根據相鄰視點的圖像的用途設置第一編碼方案和第二編碼方案。
[0241](8)
[0242]根據(1)至(7)任一項所述的編碼裝置，進一步包括:
[0243]傳輸單元，配置為傳輸指示第一編碼方案和第二編碼方案的信息。
[0244](9) 一種編碼方法，包括:
[0245]通過編碼裝置，根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及
[0246]通過編碼裝置，根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
[0247](10) —種解碼裝置，包括:
[0248]非遮擋區(qū)域解碼單元，配置為根據對應于第一編碼方案的第一解碼方案，解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據；以及
[0249]遮擋區(qū)域解碼單元，配置為根據對應于第二編碼方案的第二解碼方案，解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
[0250](11)
[0251]根據(10)所述的解碼裝置，其中第一解碼方案是具有比第二解碼方案更高的質量的解碼方案。
[0252](12)
[0253]根據(11)所述的解碼裝置，其中第一解碼方案是無損解碼，并且第二解碼方案是有損解碼。
[0254](13)
[0255]根據(11)所述的解碼裝置，其中第一解碼方案是第一質量的有損解碼，并且第二解碼方案是具有比第一質量更低的第二質量的有損解碼。
[0256](14)
[0257]根據(10)至(13)任一項所述的解碼裝置，
[0258]其中非遮擋區(qū)域解碼單元根據第一解碼方案解碼通過編碼所述差中小于閾值的差而得到的編碼數據，并且
[0259]其中遮擋區(qū)域解碼單元根據第二解碼方案解碼通過編碼遮擋區(qū)域和所述差中等于或大于閾值的差而得到的編碼數據。
[0260](15)
[0261]根據(10)至(14)任一項所述的解碼裝置，進一步包括:
[0262]標準圖像解碼單元，配置為解碼標準視點的圖像的編碼數據；以及
[0263]深度圖解碼單元，配置為解碼深度圖的編碼數據，該深度圖使用標準視點的圖像和相鄰視點的圖像生成并指示深度方向上被攝體的位置。
[0264](16)
[0265]根據(10)至(15)任一項所述的解碼裝置，其中根據相鄰視點的圖像的用途設置第一編碼方案和第二編碼方案。
[0266](17)
[0267]根據(10)至(16)任一項所述的解碼裝置，進一步包括:
[0268]接收單元，配置為接收指示第一編碼方案和第二編碼方案的信息，
[0269]其中非遮擋區(qū)域解碼單元根據與由接收單元接收的信息所指示的第一編碼方案相對應的第一解碼方案執(zhí)行解碼，并且
[0270]其中遮擋區(qū)域解碼單元根據與由接收單元接收的信息所指示的第二編碼方案相對應的第二解碼方案執(zhí)行解碼。
[0271](18)
[0272]一種解碼方法，包括:
[0273]通過解碼裝置，根據對應于第一編碼方案的第一解碼方案，解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據；以及
[0274]通過解碼裝置，根據對應于第二編碼方案的第二解碼方案，解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
【權利要求】
1.一種編碼裝置，包括: 非遮擋區(qū)域編碼單元，配置為根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及 遮擋區(qū)域編碼單元，配置為根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
2.根據權利要求1所述的編碼裝置，其中第一編碼方案是具有比第二編碼方案更高的質量的編碼方案。
3.根據權利要求2所述的編碼裝置，其中第一編碼方案是無損編碼，并且第二編碼方案是有損編碼。
4.根據權利要求2所述的編碼裝置，其中第一編碼方案是第一質量的有損編碼，并且第二編碼方案是具有比第一質量更低的第二質量的有損編碼。
5.根據權利要求1所述的編碼裝置， 其中非遮擋區(qū)域編碼單元根據第一編碼方案編碼所述差中小于閾值的差，并且 其中遮擋區(qū)域編碼單元根據第二編碼方案編碼遮擋區(qū)域和所述差中等于或大于閾值的差。
6.根據權利要求1所述的編碼裝置，進一步包括: 標準圖像編碼單元，配置為編碼標準視點的圖像；以及 深度圖編碼單元，配置為編碼深度圖，該深度圖使用標準視點的圖像和相鄰視點的圖像生成并指示深度方向上被攝體的位置。
7.根據權利要求1所述的編碼裝置，其中根據相鄰視點的圖像的用途設置第一編碼方案和第二編碼方案。
8.根據權利要求1所述的編碼裝置，進一步包括: 傳輸單兀，配置為傳輸指不第一編碼方案和第二編碼方案的信息。
9.一種編碼方法,包括: 通過編碼裝置，根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼；以及 通過編碼裝置，根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼。
10.一種解碼裝置，包括: 非遮擋區(qū)域解碼單元，配置為根據對應于第一編碼方案的第一解碼方案，解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據；以及 遮擋區(qū)域解碼單元，配置為根據對應于第二編碼方案的第二解碼方案，解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
11.根據權利要求10所述的解碼裝置，其中第一解碼方案是具有比第二解碼方案更高的質量的解碼方案。
12.根據權利要求11所述的解碼裝置，其中第一解碼方案是無損解碼，并且第二解碼方案是有損解碼。
13.根據權利要求11所述的解碼裝置，其中第一解碼方案是第一質量的有損解碼，并且第二解碼方案是具有比第一質量更低的第二質量的有損解碼。
14.根據權利要求10所述的解碼裝置， 其中非遮擋區(qū)域解碼單元根據第一解碼方案解碼通過編碼所述差中小于閾值的差而得到的編碼數據，并且 其中遮擋區(qū)域解碼單元根據第二解碼方案解碼通過編碼遮擋區(qū)域和所述差中等于或大于閾值的差而得到的編碼數據。
15.根據權利要求10所述的解碼裝置，進一步包括: 標準圖像解碼單元，配置為解碼標準視點的圖像的編碼數據；以及 深度圖解碼單元，配置為解碼深度圖的編碼數據，該深度圖使用標準視點的圖像和相鄰視點的圖像生成并指示深度方向上被攝體的位置。
16.根據權利要求10所述的解碼裝置，其中根據相鄰視點的圖像的用途設置第一編碼方案和第二編碼方案。
17.根據權利要求10所述的解碼裝置，進一步包括: 接收單元，配置為接收指示第一編碼方案和第二編碼方案的信息， 其中非遮擋區(qū)域解碼單元根據與由接收單元接收的信息所指示的第一編碼方案相對應的第一解碼方案執(zhí)行解碼，并且 其中遮擋區(qū)域解碼單元根據與由接收單元接收的信息所指示的第二編碼方案相對應的第二解碼方案執(zhí)行解碼。
18.—種解碼方法，包括: 通過解碼裝置，根據對應于第一編碼方案的第一解碼方案，解碼通過根據第一編碼方案對作為不同于標準視點的視點的相鄰視點的圖像和相鄰視點的圖像的非遮擋區(qū)域的相鄰視點的預測圖像之間的差進行編碼而獲得的編碼數據；以及 通過解碼裝置，根據對應于第二編碼方案的第二解碼方案，解碼通過根據不同于第一編碼方案的第二編碼方案對相鄰視點的圖像的遮擋區(qū)域進行編碼而獲得的編碼數據。
【文檔編號】H04N19/30GK104284193SQ201410317368
【公開日】2015年1月14日 申請日期:2014年7月4日 優(yōu)先權日:2013年7月12日
【發(fā)明者】森浩典, 井藤功久, 早坂健吾 申請人:索尼公司