光場圖像編輯方法及裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及光場圖像處理技術領域，尤其涉及一種光場圖像編輯方法及裝置。
【背景技術】
[0002] 光場相機(又稱全光相機)近年來得到了快速的發(fā)展與普及，顯示出了推進整個攝 影領域技術革新的強大潛力。這種相機一般采用微型鏡片陣列來捕捉場景的四維光場信 息，重構出了包含有不同角度拍攝的同一場景表觀特征的全光圖像(Plenoptic Image)。由 于它包含有內(nèi)在的三維結構關聯(lián)性信息，光場數(shù)據(jù)提供了傳統(tǒng)二維圖像所不能完成的后期 處理效果，如視點的變換和重對焦等。
[0003] 光場相機的硬件發(fā)展非常迅速，目前市面上新推出的Lytro、PiCam和Raytrix幾種 消費級的光場相機產(chǎn)品都開始漸漸流行。相比于大型光場采集設備，消費級光場相機中的 微鏡頭陣列具有很小的角度變化范圍，使得同一個場景點在不同視角下呈現(xiàn)出基本一致的 表觀特征。雖然現(xiàn)有技術提出了一些在有限范圍內(nèi)進行光場圖像編輯的方法，如光場超分 辨、光場變形、視角合成和內(nèi)容縮放等，但這些技術方案卻并不完善。
[0004] 相比之下，現(xiàn)有的二維圖像的編輯技術方案則比較完善，有的技已經(jīng)可以實現(xiàn)圖 像補全、內(nèi)容重排等等。而光場數(shù)據(jù)由于可以看作是同一場景在不同角度拍攝的圖像集合， 其不同視角間的數(shù)據(jù)存在著高度的內(nèi)部結構關聯(lián)性，因而無法直接將現(xiàn)存的二維圖像的編 輯方法應用在光場圖像數(shù)據(jù)中。因此，如何針對消費級的光場相機所拍攝的光場圖像進行 結構保持的光場圖像編輯成為了亟待解決的技術問題之一。

【發(fā)明內(nèi)容】

[0005] 為解決上述技術問題，本發(fā)明一方面提出了一種光場圖像編輯方法，該方法包括：
[0006] 將目標場景的中心視角圖像進行分層處理，以獲取每個所述預設視差值對應的中 心視角第一子圖像，并確定每幅所述中心視角第一子圖像對應的視差值，所述中心視角圖 像為所述目標場景的光場圖像中中心視角對應的圖像；
[0007] 根據(jù)所述中心視角圖像中的預設刪除區(qū)域在多個所述中心視角第一子圖像中確 定受到所述預設刪除區(qū)域影響的多幅中心視角第二子圖像；
[0008] 根據(jù)所述預設刪除區(qū)域分別生成所述多幅中心視角第二子圖像的層結構蒙版；
[0009] 根據(jù)所述多幅中心視角第二子圖像的層結構蒙版生成所述多幅中心視角第二子 圖像的表觀特征，以根據(jù)該多幅中心視角第二子圖像的表觀特征獲取所述多幅中心視角第 二子圖像對應的多幅中心視角第三子圖像；
[0010] 根據(jù)所述多個預設視差值將所述多幅中心視角第三子圖像進行合成處理，以獲取 第二中心視角圖像；
[0011] 根據(jù)所述多個預設視差值將目標場景的其他視角圖像進行分層處理，以獲取每個 所述預設視差值對應的其他視角第一子圖像，所述其他視角圖像為所述目標場景的光場圖 像中除所述中心視角之外的視角對應的圖像；
[0012] 根據(jù)所述預設刪除區(qū)域在多個所述其他視角第一子圖像中確定受到所述預設刪 除區(qū)域影響的多幅其他視角第二子圖像；
[0013] 根據(jù)所述多幅中心視角第二子圖像的表觀特征確定所述多幅其他視角第二子圖 像的表觀特征，以根據(jù)該多幅其他視角第二子圖像的表觀特征獲取所述多幅其他視角第二 子圖像對應的多幅其他視角第三子圖像；
[0014] 根據(jù)所述多個預設視差值將所述多幅其他視角第三子圖像進行合成處理，以獲取 第二其他視角圖像。
[0015] 優(yōu)選地，所述將目標場景的中心視角圖像進行分層處理，以獲取每個所述預設視 差值對應的中心視角第一子圖像，并確定每幅所述中心視角第一子圖像對應的視差值之 前，該方法還包括：
[0016] 利用消費級光場相機獲取所述目標場景的多視角光場圖像，所述多視角光場圖像 包括所述中心視角圖像和所述其他視角圖像。
[0017] 優(yōu)選地，所述將目標場景的中心視角圖像進行分層處理，以獲取每個所述預設視 差值對應的中心視角第一子圖像，并確定每幅所述中心視角第一子圖像對應的視差值，包 括：
[0018]根據(jù)預設分層數(shù)量N并通過代價體濾波cost volume filtering方法確定所述目 標場景的中心視角圖像中每個像素的視差值最優(yōu)解，以根據(jù)所述每個像素的視差值最優(yōu)解 將所述每個像素分別劃分到對應的所述中心視角第一子圖像中，并確定每幅所述中心視角 第一子圖像對應的視差值。
[0019]優(yōu)選地，所述根據(jù)所述每個像素的視差值最優(yōu)解將所述每個像素分別劃分到對應 的所述中心視角第一子圖像中，包括：
[0020] 對每幅所述中心視角第一子圖像均通過圖像指導濾波guided image filtering 方法以第一預設濾波半徑進行平滑處理。
[0021 ]優(yōu)選地，所述對每幅所述中心視角第一子圖像均通過圖像指導濾波guided image fi Iter ing方法進行平滑處理之后，該方法還包括：
[0022]對每幅經(jīng)過平滑處理的所述中心視角第一子圖像再次通過圖像指導濾波guided image filtering方法以第二預設濾波半徑進行軟性邊界處理，所述第二預設濾波半徑的 數(shù)值小于所述第一預設濾波半徑。
[0023]另一方面，本方法還提供了一種光場圖像編輯裝置，該裝置包括：
[0024]中心視角第一子圖像獲取單元，用于將目標場景的中心視角圖像進行分層處理， 以獲取每個所述預設視差值對應的中心視角第一子圖像，并確定每幅所述中心視角第一子 圖像對應的視差值，所述中心視角圖像為所述目標場景的光場圖像中中心視角對應的圖 像；
[0025] 中心視角第二子圖像獲取單元，用于根據(jù)所述中心視角圖像中的預設刪除區(qū)域在 多個所述中心視角第一子圖像中確定受到所述預設刪除區(qū)域影響的多幅中心視角第二子 圖像；
[0026] 層結構蒙版生成單元，用于根據(jù)所述預設刪除區(qū)域分別生成所述多幅中心視角第 二子圖像的層結構蒙版；
[0027] 中心視角第三子圖像獲取單元，用于根據(jù)所述多幅中心視角第二子圖像的層結構 蒙版生成所述多幅中心視角第二子圖像的表觀特征，以根據(jù)該多幅中心視角第二子圖像的 表觀特征獲取所述多幅中心視角第二子圖像對應的多幅中心視角第三子圖像；
[0028] 第二中心視角圖像獲取單元，用于根據(jù)所述多個預設視差值將所述多幅中心視角 第三子圖像進行合成處理，以獲取第二中心視角圖像；
[0029] 其他視角第一子圖像獲取單元，用于根據(jù)所述多個預設視差值將目標場景的其他 視角圖像進行分層處理，以獲取每個所述預設視差值對應的其他視角第一子圖像，所述其 他視角圖像為所述目標場景的光場圖像中除所述中心視角之外的視角對應的圖像；
[0030] 其他視角第二子圖像獲取單元，用于根據(jù)所述預設刪除區(qū)域在多個所述其他視角 第一子圖像中確定受到所述預設刪除區(qū)域影響的多幅其他視角第二子圖像；
[0031] 其他視角第三子圖像獲取單元，用于根據(jù)所述多幅中心視角第二子圖像的表觀特 征確定所述多幅其他視角第二子圖像的表觀特征，以根據(jù)該多幅其他視角第二子圖像的表 觀特征獲取所述多幅其他視角第二子圖像對應的多幅其他視角第三子圖像；
[0032] 第二其他視角圖像獲取單元，用于根據(jù)所述多個預設視差值將所述多幅其他視角 第三子圖像進行合成處理，以獲取第二其他視角圖像。
[0033] 優(yōu)選地，該裝置還包括：
[0034]多視角光場圖像獲取單元，用于利用消費級光場相機獲取所述目標場景的多視角 光場圖像，所述多視角光場圖像包括所述中心視角圖像和所述其他視角圖像。
[0035] 優(yōu)選地，所述中心視角第一子圖像獲取單元，進一步用于根據(jù)預設分層數(shù)量N并通 過代價體濾波cost volume filtering方法確定所述目標場景的中心視角圖像中每個像素 的視差值最優(yōu)解，以根據(jù)所述每個像素的視差值最優(yōu)解將所述每個像素分別劃分到對應的 所述中心視角第一子圖像中，并確定每幅所述中心視角第一子圖像對應的視差值。
[0036] 優(yōu)選地，所述中心視角第一子圖像獲取單元，進一步用于對每幅所述中心視角第 一子圖像均通過圖像指導濾波guided image filtering方法以第一預設濾波半徑進行平 滑處理。
[0037] 優(yōu)選地，所述中心視角第一子圖像獲取單元，進一步用于對每幅經(jīng)過平滑處理的 所述中心視角第一子