本公開(kāi)屬于圖像處理領(lǐng)域，并且涉及用于呈現(xiàn)場(chǎng)景的非真實(shí)感表示的技術(shù)。更準(zhǔn)確地說(shuō)，本公開(kāi)涉及用于呈現(xiàn)非真實(shí)感內(nèi)容的技術(shù)，考慮到與場(chǎng)景相關(guān)聯(lián)的深度圖像。本公開(kāi)的技術(shù)可以特別而非排他地應(yīng)用到通過(guò)光場(chǎng)數(shù)據(jù)采集設(shè)備獲得的光場(chǎng)內(nèi)容。

背景技術(shù)：

本部分意在向讀者介紹可能與下面描述和/或要求保護(hù)的本公開(kāi)的各方面有關(guān)的技術(shù)的各方面。相信該討論有助于向讀者提供背景信息以便于更好地理解本發(fā)明的各方面。因此，應(yīng)當(dāng)理解的是，要在該角度閱讀這些陳述，而不是作為對(duì)現(xiàn)有技術(shù)的承認(rèn)。

非真實(shí)感呈現(xiàn)是傳統(tǒng)真實(shí)感計(jì)算機(jī)圖形學(xué)的替選。通過(guò)采用藝術(shù)家周知的抽象原理，非真實(shí)感呈現(xiàn)包括根據(jù)諸如著色、繪畫、技術(shù)插圖等的各種藝術(shù)風(fēng)格呈現(xiàn)內(nèi)容(圖像或視頻)。目標(biāo)可以從純粹的藝術(shù)目的變?yōu)閳D像簡(jiǎn)化，以使得其有意義的結(jié)構(gòu)清晰。

很多非真實(shí)感呈現(xiàn)技術(shù)(諸如存在于創(chuàng)建場(chǎng)景的卡通風(fēng)格圖像抽象的呈現(xiàn)技術(shù))依賴于必須在場(chǎng)景的真實(shí)表示上(如照片或3d模型)執(zhí)行的至少兩個(gè)主要操作：區(qū)域平坦化和線條畫。

區(qū)域平坦化包括例如使用諸如顏色之類的圖像屬性，通過(guò)移除非必要的細(xì)節(jié)同時(shí)保留有意義的視覺(jué)信息來(lái)簡(jiǎn)化圖像內(nèi)容。

線條畫包括提取簡(jiǎn)潔而美觀地描述場(chǎng)景內(nèi)容的一致的一組線。

非真實(shí)感呈現(xiàn)的問(wèn)題取決于它是基于場(chǎng)景的3d模型還是2d表示而非常不同。當(dāng)從3d模型呈現(xiàn)2d非真實(shí)感內(nèi)容時(shí)，可以例如從遮擋輪廓或折痕導(dǎo)出線條畫。當(dāng)從場(chǎng)景的2d表示呈現(xiàn)2d非真實(shí)感內(nèi)容時(shí)(技術(shù)通常稱作“基于圖像的非真實(shí)感呈現(xiàn)”，例如基于照片)，沒(méi)有可靠的方法來(lái)訪問(wèn)場(chǎng)景內(nèi)的對(duì)象的3d形狀。因而必須從圖像本身提取所有有意義的線和區(qū)域?；趫D像的非真實(shí)感呈現(xiàn)的大多現(xiàn)有技術(shù)依賴于邊緣檢測(cè)和/或分割方法，這是圖像抽象的常用方法。例如，可以通過(guò)使用均值移位算法來(lái)執(zhí)行分割。對(duì)于提取有意義的線，高斯差分濾波器或增強(qiáng)相關(guān)技術(shù)(諸如流引導(dǎo)高斯差分(其顯著提高線一致性同時(shí)抑制噪聲))已被證明對(duì)藝術(shù)插圖特別有效。

然而，對(duì)于基于圖像的非真實(shí)感呈現(xiàn)的現(xiàn)有解決方案仍然存在很多限制。

例如，很多照片包括邊緣檢測(cè)和分割算法執(zhí)行不佳的失焦區(qū)域：它們?cè)谶@些區(qū)域中較不精確且較不魯棒。因此，線條畫和區(qū)域平坦化邊界在所呈現(xiàn)的非真實(shí)感內(nèi)容的對(duì)應(yīng)區(qū)域是不規(guī)則和不一致的，這可能導(dǎo)致不愉快或分散注意力。

傳統(tǒng)的非真實(shí)感呈現(xiàn)技術(shù)的另一個(gè)缺點(diǎn)是以相同的方式處理整個(gè)圖像，因而非真實(shí)感效果在整個(gè)所得到的非真實(shí)感內(nèi)容上是不變的。在“stylizationandabstractionofphotographs”中，德卡羅(decarlo)等人提出一種用于從照片呈現(xiàn)非真實(shí)感內(nèi)容的技術(shù)，其中預(yù)測(cè)為有意義的圖像的區(qū)域以比其他區(qū)域更精細(xì)的尺度被處理。然而，該技術(shù)沒(méi)有考慮圖像本身的組成(在前景、背景等方面)以針對(duì)圖像的相關(guān)(coherent)部分(諸如場(chǎng)景內(nèi)的識(shí)別對(duì)象)使非真實(shí)感效果適應(yīng)。此外，它沒(méi)有解決已提及的失焦區(qū)域中的分割和邊緣提取問(wèn)題。

因此，期望提供一種將避免現(xiàn)有技術(shù)的至少一個(gè)缺點(diǎn)的用于內(nèi)容的非真實(shí)感呈現(xiàn)的技術(shù)。為了簡(jiǎn)單起見(jiàn)，在整個(gè)描述中，用于內(nèi)容的非真實(shí)感呈現(xiàn)的技術(shù)被簡(jiǎn)稱為用于呈現(xiàn)非真實(shí)感內(nèi)容的方法，盡管其解決內(nèi)容的非真實(shí)感呈現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開(kāi)的實(shí)施例，提供了一種用于從相同場(chǎng)景的至少一個(gè)圖像的集合呈現(xiàn)非真實(shí)感內(nèi)容的方法。至少一個(gè)圖像的集合與包括區(qū)域的集合的深度圖像相關(guān)聯(lián)，所述區(qū)域的集合中的每個(gè)區(qū)域與給定深度的區(qū)域相對(duì)應(yīng)。這樣的方法包括：

-生成分割圖像，所述分割圖像包括利用多個(gè)分割尺度中的給定分割尺度生成的至少一個(gè)分割區(qū)域，所述至少一個(gè)分割區(qū)域與所述區(qū)域的集合中的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-生成二進(jìn)制邊緣圖像，所述二進(jìn)制邊緣圖像包括利用多個(gè)邊緣提取尺度中的給定邊緣提取尺度生成的至少一個(gè)二進(jìn)制邊緣區(qū)域，所述至少一個(gè)二進(jìn)制邊緣區(qū)域與所述區(qū)域的集合中的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-通過(guò)將所述分割圖像和所述二進(jìn)制邊緣圖像組合來(lái)呈現(xiàn)所述非真實(shí)感內(nèi)容。

因此，本公開(kāi)依賴于一種用于呈現(xiàn)非真實(shí)感內(nèi)容的不同方法：不以相同的方式處理場(chǎng)景的整個(gè)圖像表示，并且可以呈現(xiàn)非真實(shí)感內(nèi)容，其中關(guān)于在與場(chǎng)景相關(guān)聯(lián)的深度圖像中可用的深度信息，非真實(shí)感效果在圖像上變化。利用所提出的技術(shù)，(例如經(jīng)由顏色分割獲得的)區(qū)域平坦化和(經(jīng)由邊緣提取獲得的)線條畫可以彼此獨(dú)立地在圖像上變化。

根據(jù)實(shí)施例，從所述區(qū)域的集合中的至少一個(gè)區(qū)域來(lái)確定分割尺度。

以該方式，應(yīng)用以對(duì)區(qū)域進(jìn)行分割的分割尺度隨著與該區(qū)域相關(guān)聯(lián)的深度而變化。

根據(jù)實(shí)施例，給定分割區(qū)域與所述區(qū)域的集合中的給定區(qū)域相對(duì)應(yīng)，并且應(yīng)用到所述給定分割區(qū)域的分割尺度隨著與所述給定分割區(qū)域相對(duì)應(yīng)的所述區(qū)域的集合中的所述給定區(qū)域的深度和第一參考深度之間的差而變化。

以該方式，關(guān)于第一參考深度，分割尺度根據(jù)圖像的每個(gè)部分的散焦度而變化。

根據(jù)實(shí)施例，從所述區(qū)域的集合中的至少一個(gè)區(qū)域來(lái)確定邊緣提取尺度。

以該方式，應(yīng)用以獲得二進(jìn)制邊緣區(qū)域的邊緣提取尺度隨著與該區(qū)域相關(guān)聯(lián)的深度而變化。

根據(jù)實(shí)施例，給定二進(jìn)制邊緣區(qū)域與所述區(qū)域的集合中的給定區(qū)域相對(duì)應(yīng)，并且其中應(yīng)用到所述給定二進(jìn)制邊緣區(qū)域的邊緣提取尺度隨著與所述二進(jìn)制邊緣區(qū)域相對(duì)應(yīng)的所述區(qū)域的集合中的所述給定區(qū)域的深度和第二參考深度之間的差而變化。

以該方式，關(guān)于第二參考深度，邊緣提取尺度根據(jù)圖像的每個(gè)部分的散焦度而變化。

根據(jù)本公開(kāi)的另一實(shí)施例，從分層圖像表示來(lái)確定分割區(qū)域，通過(guò)從相同場(chǎng)景的所述至少一個(gè)圖像的集合導(dǎo)出的全對(duì)焦圖像(aif)的分層分割來(lái)獲得所述分層圖像表示。

因此，由于對(duì)全對(duì)焦圖像(其具有擴(kuò)展的景深)執(zhí)行分層分割處理，所以分割處理在圖像中的各處良好地執(zhí)行。有利地，該分層分割執(zhí)行一次，獨(dú)立于之后可以獲得的第一參考深度。換言之，在預(yù)處理階段期間，分層圖像表示例如從全對(duì)焦圖像被預(yù)計(jì)算一次，然后用于呈現(xiàn)新的非真實(shí)感內(nèi)容，無(wú)論何時(shí)為給定場(chǎng)景獲得新的第一參考深度。以該方式，呈現(xiàn)新的非真實(shí)感內(nèi)容所需要的計(jì)算力和時(shí)間從而得以優(yōu)化。全對(duì)焦圖像的分層分割例如采用樹(shù)表示的形式，并且例如通過(guò)在樹(shù)表示的給定級(jí)別處從分割的全對(duì)焦圖像提取對(duì)應(yīng)的分割區(qū)域來(lái)獲得分割區(qū)域，所述級(jí)別與所述分割區(qū)域的期望分割尺度相對(duì)應(yīng)。

根據(jù)本公開(kāi)的另一實(shí)施例，從加權(quán)邊緣表示來(lái)確定二進(jìn)制邊緣區(qū)域，通過(guò)從相同場(chǎng)景的所述至少一個(gè)圖像的集合導(dǎo)出的全對(duì)焦圖像的邊緣提取來(lái)獲得所述加權(quán)邊緣表示。

因此，由于對(duì)全對(duì)焦圖像(其具有擴(kuò)展的景深)執(zhí)行邊緣提取處理，所以邊緣提取處理在圖像中的各處良好地執(zhí)行。有利地，該邊緣提取處理僅執(zhí)行一次，獨(dú)立于之后可以獲得的第二參考深度。換言之，在預(yù)處理階段期間，加權(quán)邊緣表示例如從全對(duì)焦圖像被預(yù)計(jì)算一次，然后用于呈現(xiàn)新的非真實(shí)感內(nèi)容，無(wú)論何時(shí)為給定場(chǎng)景獲得新的第二參考深度。以該方式，呈現(xiàn)新的非真實(shí)感內(nèi)容所需要的計(jì)算力和時(shí)間從而得以優(yōu)化。加權(quán)邊緣表示是應(yīng)用到全對(duì)焦圖像的邊緣提取處理(諸如例如高斯差分濾波技術(shù))的結(jié)果，并且采用2d表示的形式，其中對(duì)每個(gè)所提取的邊緣像素進(jìn)行估值。然后例如通過(guò)提取全對(duì)焦的圖像的加權(quán)邊緣表示中的對(duì)應(yīng)區(qū)域來(lái)獲得二進(jìn)制邊緣區(qū)域，并且通過(guò)使用閾值以在所述二進(jìn)制邊緣區(qū)域內(nèi)保持較多或較少的邊緣，所述閾值與所述二進(jìn)制邊緣區(qū)域的期望邊緣提取尺度相對(duì)應(yīng)。

根據(jù)實(shí)施例，分割尺度的粒度級(jí)別隨著分割區(qū)域深度和所述第一參考深度之間的差的減少而增加。

以該方式，例如在與第一參考深度相對(duì)應(yīng)的感興趣區(qū)域中顯示更多細(xì)節(jié)。

根據(jù)實(shí)施例，邊緣提取尺度的粒度級(jí)別隨著二進(jìn)制邊緣區(qū)域深度和所述第二參考深度之間的差的減少而增加。

以該方式，例如在與第二參考深度相對(duì)應(yīng)的感興趣區(qū)域中顯示更多細(xì)節(jié)。

根據(jù)實(shí)施例，通過(guò)視線跟蹤分析來(lái)自動(dòng)獲得所述第一參考深度。

以該方式，提供手動(dòng)選擇第一參考深度的替選，并且第一參考深度與自動(dòng)獲得的場(chǎng)景的吸引眼球的區(qū)域相對(duì)應(yīng)。

根據(jù)實(shí)施例，通過(guò)視線跟蹤分析來(lái)自動(dòng)獲得所述第二參考深度。

以該方式，提供手動(dòng)選擇第二參考深度的替選，并且第二參考深度與自動(dòng)獲得的場(chǎng)景的吸引眼球的區(qū)域相對(duì)應(yīng)。

在一個(gè)實(shí)施例中，第一和第二參考深度是同一個(gè)參考深度。

根據(jù)實(shí)施例，從通過(guò)光場(chǎng)數(shù)據(jù)采集設(shè)備遞送的光場(chǎng)內(nèi)容來(lái)導(dǎo)出相同場(chǎng)景的所述至少一個(gè)圖像的集合。

以該方式，提供了一種對(duì)多條數(shù)據(jù)的容易的訪問(wèn)，該多條數(shù)據(jù)用于實(shí)現(xiàn)根據(jù)本公開(kāi)的一個(gè)實(shí)施例的非真實(shí)感內(nèi)容呈現(xiàn)方法，因?yàn)檫@些多條數(shù)據(jù)(相同場(chǎng)景的圖像的集合、全對(duì)焦圖像和深度圖像)是眾所周知的光場(chǎng)數(shù)據(jù)采集設(shè)備輸出。

本公開(kāi)還關(guān)于一種用于從相同場(chǎng)景的至少一個(gè)圖像的集合呈現(xiàn)非真實(shí)感內(nèi)容的設(shè)備。圖像的集合與包括區(qū)域的集合的深度圖像相關(guān)聯(lián)，所述區(qū)域的集合中的每個(gè)區(qū)域與給定深度的區(qū)域相對(duì)應(yīng)。這樣的設(shè)備包括：

-用于生成分割圖像的模塊，所述分割圖像包括利用多個(gè)分割尺度中的給定分割尺度生成的至少一個(gè)分割區(qū)域，所述至少一個(gè)分割區(qū)域與所述區(qū)域的集合中的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-用于生成二進(jìn)制邊緣圖像的模塊，所述二進(jìn)制邊緣圖像包括利用多個(gè)邊緣提取尺度中的給定邊緣提取尺度生成的至少一個(gè)二進(jìn)制邊緣區(qū)域，所述至少一個(gè)二進(jìn)制邊緣區(qū)域與所述區(qū)域的集合中的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-用于通過(guò)將所述分割圖像和所述二進(jìn)制邊緣圖像組合來(lái)呈現(xiàn)所述非真實(shí)感內(nèi)容的模塊。

本公開(kāi)還關(guān)于一種可從通信網(wǎng)絡(luò)下載和/或記錄在計(jì)算機(jī)可讀的介質(zhì)上和/或可由處理器執(zhí)行的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)現(xiàn)上述方法的程序代碼指令。

本公開(kāi)還關(guān)于一種非臨時(shí)性計(jì)算機(jī)可讀介質(zhì)，其包括記錄在其上并且能夠由處理器運(yùn)行的計(jì)算機(jī)程序產(chǎn)品，包括用于實(shí)現(xiàn)上述方法的程序代碼指令。

這樣的計(jì)算機(jī)程序可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。在此使用的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)被認(rèn)為是非臨時(shí)性存儲(chǔ)介質(zhì)，其具有在其中存儲(chǔ)信息的固有能力以及從其提供信息取回的固有能力。計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是例如但不限于電子、磁性、光學(xué)、電磁、紅外或半導(dǎo)體系統(tǒng)、裝置、或設(shè)備，或前述的任何適當(dāng)組合。應(yīng)當(dāng)理解的是，在提供可以應(yīng)用本原理的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的更具體的示例時(shí)，以下僅僅是本領(lǐng)域普通技術(shù)人員容易理解的說(shuō)明性而不詳盡的列表：便攜式計(jì)算機(jī)磁盤；硬盤；只讀存儲(chǔ)器(rom)；可擦除可編程只讀存儲(chǔ)器(eprom或閃速存儲(chǔ)器)；便攜式壓縮盤只讀存儲(chǔ)器(cd-rom)；光學(xué)存儲(chǔ)設(shè)備；磁性存儲(chǔ)設(shè)備；或前述的任何適當(dāng)組合。

要理解的是，前述一般描述和以下詳細(xì)描述都是示例性和解釋性的，并不限制所要求保護(hù)的本發(fā)明。

還必須理解的是，說(shuō)明書中對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用表示所描述的實(shí)施例可以包括特定特征、結(jié)構(gòu)、或特性，但是每個(gè)實(shí)施例可以不一定包括特定特征、結(jié)構(gòu)、或特性。此外，這樣的短語(yǔ)不一定指代相同的實(shí)施例。另外，當(dāng)特定特征、結(jié)構(gòu)、或特性結(jié)合實(shí)施例被描述時(shí)，認(rèn)為在本領(lǐng)域技術(shù)人員的認(rèn)知范圍內(nèi)，結(jié)合其他實(shí)施例影響這樣的特征、結(jié)構(gòu)或特征，無(wú)論是否明確描述。

附圖說(shuō)明

參考以示例而非限制保護(hù)范圍的方式給出的以下描述和附圖可以更好地理解本公開(kāi)的實(shí)施例，并且附圖中：

-圖1示出了與3d場(chǎng)景的2d表示相關(guān)聯(lián)的深度圖像的示例；

-圖2是用于圖示根據(jù)本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)感內(nèi)容的所提出的技術(shù)的一般原理的流程圖；

-圖3是用于說(shuō)明根據(jù)本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)感內(nèi)容的處理的流程圖；

-圖4是描述根據(jù)本公開(kāi)的實(shí)施例的預(yù)處理階段的流程圖，執(zhí)行該預(yù)處理階段以生成對(duì)于呈現(xiàn)非真實(shí)感內(nèi)容有用的多條數(shù)據(jù)；

-圖5是圖示根據(jù)本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)感內(nèi)容的裝置的示例的示意性塊圖。

附圖中的組件不一定是按比例的，而是將重點(diǎn)放在說(shuō)明本發(fā)明的原理上。

具體實(shí)施方式

本公開(kāi)的一般原理依賴于用于從相同場(chǎng)景的至少一個(gè)圖像的集合呈現(xiàn)非真實(shí)感內(nèi)容的特有技術(shù)。如關(guān)于現(xiàn)有技術(shù)已經(jīng)提出的那樣，非真實(shí)感呈現(xiàn)包括創(chuàng)建圖像抽象(諸如卡通風(fēng)格圖像抽象)，其通常主要依賴于兩個(gè)任務(wù)：區(qū)域平坦化和線條畫。如之后參考附圖更加全面地描述的那樣，本公開(kāi)中提出使用在與場(chǎng)景的至少一個(gè)圖像的集合相關(guān)聯(lián)的深度圖像中可用的深度信息以增強(qiáng)基于圖像的非真實(shí)感呈現(xiàn)(npr)。

然而，本公開(kāi)可以以很多替代形式實(shí)施，并且不應(yīng)被解釋為限制在此闡述的實(shí)施例。因此，雖然本公開(kāi)易于各種修改和替選形式，但是其特定實(shí)施例在附圖中以示例的方式示出，并且將在此詳細(xì)描述。然而應(yīng)當(dāng)理解的是，沒(méi)有意圖將本公開(kāi)限制到所公開(kāi)的特定形式，而是相反，本公開(kāi)將覆蓋落入由權(quán)利要求書所限定的本公開(kāi)的精神和范圍內(nèi)的所有的修改、等同物以及替選。在整個(gè)附圖的描述中，相同的數(shù)字指代相同的元素。

還將理解的是，雖然術(shù)語(yǔ)第一、第二等可以在此用于描述各種元素，但是這些元素不應(yīng)受限于這些術(shù)語(yǔ)。這些術(shù)語(yǔ)僅僅用于將一個(gè)元素與另一個(gè)元素區(qū)分。例如，第一元素可以被稱為第二元素，并且類似地，第二元素可以被稱為第一元素，而不會(huì)背離本公開(kāi)的教導(dǎo)。

雖然沒(méi)有明確描述，但是本實(shí)施例和變型可以以任何組合或子組合使用。

如上面所介紹的那樣，所提出的技術(shù)依賴于使用與場(chǎng)景的圖像集合相關(guān)聯(lián)的深度圖像以呈現(xiàn)感興趣的非真實(shí)感內(nèi)容。不應(yīng)該在狹義上解釋術(shù)語(yǔ)深度圖像，其有時(shí)在文獻(xiàn)中被稱作深度數(shù)據(jù)或深度地圖。深度圖像例如為3d場(chǎng)景的2d表示(即圖像)，其中每個(gè)像素與深度或視差信息相關(guān)聯(lián)。這樣的信息表示場(chǎng)景的對(duì)象與參考點(diǎn)(其例如為用于捕獲場(chǎng)景表示的捕獲系統(tǒng)的位置，或者場(chǎng)景中的另一對(duì)象的位置)的距離。換句話說(shuō)，深度圖像包括表示所捕獲的場(chǎng)景中的對(duì)象之間的距離的深度信息，其可以被存儲(chǔ)為任何格式的數(shù)字文件或表格。它也可以通過(guò)任何其他手段來(lái)計(jì)算或采集。圖1示出了與場(chǎng)景的2d表示(100)相關(guān)聯(lián)的深度圖像(101)的示例。在該示例中，深度圖像(101)的每個(gè)像素與以灰度編碼的深度信息相關(guān)聯(lián)(每個(gè)像素的光強(qiáng)度例如以16位灰度編碼)。當(dāng)然，圖1的示例僅僅是說(shuō)明性的，并且深度圖像可以采用其他形式。然而，無(wú)論采用何種形式，深度圖像可以被看作區(qū)域的組合體，即區(qū)域集合，所述區(qū)域集合的每個(gè)區(qū)域?qū)?yīng)于給定深度的區(qū)域。

根據(jù)所提出的技術(shù)，深度圖像允許將場(chǎng)景的2d表示(即圖像)劃分成另一區(qū)域集合，所述另一區(qū)域集合的每個(gè)區(qū)域?qū)?yīng)于給定深度的區(qū)域，或者對(duì)應(yīng)于深度圖像中的不同給定深度的多個(gè)區(qū)域的聯(lián)合。本公開(kāi)的一般原理包括以不同尺度處理所述另一區(qū)域集合的區(qū)域，以最終重建非真實(shí)感內(nèi)容，其中非真實(shí)感效果在圖像上變化。

在本公開(kāi)的一個(gè)實(shí)施例中，所提出的技術(shù)依賴于三個(gè)主要步驟，如關(guān)于圖2所示的那樣：

-第一步驟21，用于生成場(chǎng)景的分割圖像，其由分割區(qū)域集合的組合體形成，每個(gè)分割區(qū)域以分割尺度被分割，該分割尺度可以與應(yīng)用到所述分割區(qū)域集合的另一區(qū)域的分割尺度不同；

-第二步驟22，用于生成場(chǎng)景的二進(jìn)制邊緣圖像，其由二進(jìn)制邊緣區(qū)域集合的組合體形成，每個(gè)二進(jìn)制邊緣區(qū)域以邊緣提取尺度被處理，該邊緣提取尺度可以與應(yīng)用到所述二進(jìn)制邊緣區(qū)域集合的另一區(qū)域的邊緣提取尺度不同；

-第三步驟23，用于通過(guò)將在第一步驟21生成的分割圖像和在第二步驟22生成的二進(jìn)制邊緣圖像組合，來(lái)呈現(xiàn)表示場(chǎng)景的非真實(shí)感內(nèi)容。

包括在分割區(qū)域集合(在步驟21處)中或二進(jìn)制邊緣區(qū)域集合(在步驟22處)中的區(qū)域?qū)?yīng)于給定深度的區(qū)域，或者對(duì)應(yīng)于深度圖像中的不同給定深度的多個(gè)區(qū)域的聯(lián)合。

在步驟21處提及的分割技術(shù)可以是任何類型的圖像分割技術(shù)，諸如基于顏色的分割技術(shù)或基于紋理的分割技術(shù)(即使在前文中，關(guān)于基于顏色的分割技術(shù)來(lái)描述示例性實(shí)施例)。

第一和第二步驟(21，22)可以并行處理，或者一個(gè)接一個(gè)地處理，無(wú)論順序如何。

通過(guò)在步驟23處將分割圖像和二進(jìn)制邊緣圖像組合，在這里意味著將在步驟22處生成的二進(jìn)制邊緣圖像的邊緣疊加到在步驟21處生成的分割圖像上。

因此本公開(kāi)描述了原始的非真實(shí)感呈現(xiàn)技術(shù)，其中不以相同的方式處理場(chǎng)景的整個(gè)圖像。如將在下面提出的那樣，關(guān)于本公開(kāi)的多個(gè)其他實(shí)施例，所提出的技術(shù)是非常靈活的，并且歸功于使用深度信息而提供很多非真實(shí)感效果可能性，同時(shí)在所生成的非真實(shí)感內(nèi)容的圖像組成方面保持顯著程度的一致性。

圖3是用于說(shuō)明根據(jù)本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)感內(nèi)容的處理的流程圖?？墒褂孟嗤瑘?chǎng)景的至少一個(gè)圖像的集合(si)。包括在圖像集合(si)中的圖像對(duì)應(yīng)于從同一視角看到的場(chǎng)景的2d表示。它們例如從光場(chǎng)內(nèi)容導(dǎo)出，該光場(chǎng)內(nèi)容由用于捕獲場(chǎng)景的光場(chǎng)數(shù)據(jù)采集設(shè)備來(lái)遞送。替選地，它們對(duì)應(yīng)于場(chǎng)景的一系列2d圖像，每個(gè)2d圖像是通過(guò)使用傳統(tǒng)手持照相機(jī)從同一視點(diǎn)但是以不同聚焦距離拍攝的。它們也可以是利用計(jì)算機(jī)生成圖像(cdi)模擬的場(chǎng)景圖像。

也可使用與圖像集合(si)相關(guān)聯(lián)的深度圖像。可以通過(guò)任何手段獲得該深度圖像。例如，其可以從由用于捕獲場(chǎng)景的光場(chǎng)數(shù)據(jù)采集設(shè)備遞送的光場(chǎng)內(nèi)容來(lái)計(jì)算或者從通過(guò)使用傳統(tǒng)照相機(jī)在不同視點(diǎn)拍攝的場(chǎng)景的多個(gè)圖像來(lái)計(jì)算。

除了深度圖像之外，圖3的特定實(shí)施例涉及使用兩條附加的數(shù)據(jù)以執(zhí)行非真實(shí)感內(nèi)容的呈現(xiàn)。這兩條數(shù)據(jù)一方面是分層圖像表示(其之后將用于生成場(chǎng)景的深度引導(dǎo)的分割圖像)，并且另一方面是加權(quán)邊緣表示(其之后將用于生成場(chǎng)景的深度引導(dǎo)的二進(jìn)制邊緣圖像)。

在一個(gè)實(shí)施例中，例如在預(yù)處理階段，在呈現(xiàn)非真實(shí)感內(nèi)容之前，預(yù)先生成這兩條數(shù)據(jù)，如關(guān)于圖4所示的那樣。在該預(yù)處理階段期間，對(duì)場(chǎng)景的圖像表示執(zhí)行分層分割步驟41和邊緣提取步驟42。對(duì)其應(yīng)用該預(yù)處理階段的圖像可以是圖像集合(si)的任何圖像。根據(jù)優(yōu)選的實(shí)施例，其為在該圖像集合(si)之中選擇的特定圖像，或者從該圖像集合(si)計(jì)算的特定圖像，如將在下面進(jìn)一步描述的那樣。在一個(gè)實(shí)施例中，該預(yù)處理階段還提供生成深度圖像的機(jī)會(huì)，該深度圖像之后將用于執(zhí)行非真實(shí)感內(nèi)容的呈現(xiàn)。

在步驟41，從場(chǎng)景圖像生成分層圖像表示。這樣的表示采用整個(gè)場(chǎng)景的分割圖像的有序集合的形式，每個(gè)分割圖像具有與其他不同的分割尺度。允許獲得這樣的分層圖像的很多多尺度分割算法存在于視覺(jué)領(lǐng)域中，因此不在這里詳細(xì)描述該技術(shù)。例如，關(guān)于現(xiàn)有技術(shù)已經(jīng)引用的“stylizationandabstractionofphotographs”[德卡羅(decarlo)，2002]論文提出了一種基于顏色分割獲得分層圖像表示的合適技術(shù)。該分層圖像表示可以像樹(shù)那樣表示，如圖4中所示(圖4的樹(shù)圖是從“stylizationandabstractionofphotographs”論文中提取的)。一旦生成該分層圖像表示，就可以以任何可用的給定尺度獲得分割圖像：取決于樹(shù)的級(jí)別，因此可以獲得包含很多區(qū)域(以較細(xì)尺度)或者相反的少數(shù)區(qū)域(以較粗尺度)的顏色分割圖像。

在步驟42，生成場(chǎng)景的加權(quán)邊緣表示。加權(quán)邊緣表示是應(yīng)用到場(chǎng)景圖像的邊緣提取處理(諸如例如高斯差分或流引導(dǎo)的高斯差分濾波器技術(shù))的結(jié)果，并且采用2d表示的形式，其中對(duì)每個(gè)所提取的邊緣像素進(jìn)行估值。因?yàn)閷?duì)加權(quán)邊緣表示的邊緣像素進(jìn)行估值，所以可以對(duì)該表示設(shè)閾值以根據(jù)閾值獲得包含較多或較少的邊緣的場(chǎng)景的二進(jìn)制邊緣圖像。在某種程度上，該閾值因此可以被認(rèn)為是邊緣提取尺度，允許獲得包含很多邊緣(如果所述閾值較低)或者相反的少數(shù)邊緣(如果所述閾值較高)的二進(jìn)制邊緣圖像。

在一個(gè)實(shí)施例中，對(duì)場(chǎng)景的圖像集合(si)之中的任何圖像執(zhí)行步驟41的分層分割處理和步驟42的邊緣提取處理。然而，在優(yōu)選實(shí)施例中，當(dāng)在圖像集合(si)中多于一個(gè)圖像可用時(shí)，對(duì)人們知道將得到好結(jié)果的圖像執(zhí)行分層分割和邊緣提取處理是特別感興趣的。這例如通過(guò)在圖像集合(si)中(手動(dòng)或自動(dòng))識(shí)別“聚焦最佳”的圖像(即具有最佳景深的圖像)來(lái)完成。在一些實(shí)施例中，也可以從圖像集合(si)計(jì)算這樣的圖像。例如，如果從光場(chǎng)內(nèi)容導(dǎo)出圖像集合(si)，則可以計(jì)算所有像素都對(duì)焦的全對(duì)焦圖像(aif)，無(wú)論其深度如何。由于這樣的全對(duì)焦圖像具有擴(kuò)展的景深，所以分割和邊緣提取算法在各處良好地執(zhí)行。因此，所得到的分層圖像表示和加權(quán)邊緣表示的精度得以改善，這表現(xiàn)呈現(xiàn)非真實(shí)感內(nèi)容的益處，如將在下面描述的那樣。

返回參考圖3，根據(jù)本公開(kāi)的特定實(shí)施例，現(xiàn)在說(shuō)明使用深度圖像、分層圖像表示和加權(quán)邊緣表示來(lái)呈現(xiàn)非真實(shí)感內(nèi)容。

如先前已經(jīng)介紹的那樣，根據(jù)所提出的技術(shù)的一般原理的非真實(shí)感呈現(xiàn)包括將場(chǎng)景的分割圖像和二進(jìn)制圖像組合，以特定方式關(guān)于與場(chǎng)景相關(guān)聯(lián)的深度圖像生成所述分割圖像和所述二進(jìn)制邊緣圖像。

在步驟33，使用深度圖像和分層圖像表示來(lái)生成場(chǎng)景的顏色分割圖像，其中分割尺度在圖像上變化。由于在關(guān)于圖4描述的預(yù)處理階段期間已經(jīng)完成以不同分割尺度對(duì)整個(gè)圖像的分割，并且在分層圖像表示中可用，所以步驟33可以被看作深度引導(dǎo)的分割尺度選擇而不是純分割的步驟。

現(xiàn)在詳細(xì)描述在步驟33處執(zhí)行的機(jī)制。

對(duì)于與深度圖像中的給定深度的區(qū)域相對(duì)應(yīng)的每個(gè)區(qū)域，在分層圖像表示樹(shù)中根據(jù)預(yù)定義的映射來(lái)選擇與該給定深度相關(guān)聯(lián)的級(jí)別。該級(jí)別表示特定分割尺度，并且整個(gè)場(chǎng)景的相關(guān)聯(lián)的分割圖像在分層圖像表示中可用。使用深度圖像，從而可以從整個(gè)場(chǎng)景的該分割割圖像中提取與深度圖像中的所考慮的深度的區(qū)域相對(duì)應(yīng)的分割區(qū)域。

重復(fù)該操作以為存在于深度圖像中的給定深度的每個(gè)區(qū)域取回分割區(qū)域。

一旦已經(jīng)取回與存在于深度圖像中的所有區(qū)域相對(duì)應(yīng)的所有分割區(qū)域，則可以通過(guò)像拼圖一樣將所有分割區(qū)域放回一起來(lái)重建整個(gè)場(chǎng)景的分割圖像。由于以不同尺度對(duì)所有分割區(qū)域進(jìn)行分割，所以步驟33的處理導(dǎo)致生成整個(gè)場(chǎng)景的分割圖像，其中分割尺度在圖像上變化。

深度和對(duì)于具有該深度的區(qū)域的在分層圖像表示中選擇的分割尺度之間的映射可以是任何預(yù)定義的函數(shù)。

在本公開(kāi)的一個(gè)實(shí)施例中，例如取決于深度圖像中可用的深度級(jí)別的數(shù)目，該映射是自適應(yīng)的。例如，以分層圖像表示中可用的較細(xì)分割尺度來(lái)處理與場(chǎng)景的前景相對(duì)應(yīng)的區(qū)域，而以分層圖像表示中可用的較粗分割尺度來(lái)處理與場(chǎng)景的背景相對(duì)應(yīng)的區(qū)域。然后以分層圖像表示中可用的中間分割尺度來(lái)處理所有中間深度。先前的示例當(dāng)然是非限制性的，并且可以提出其他自適應(yīng)映射，如下面所示。

在本公開(kāi)的另一實(shí)施例中，在可選步驟31，在步驟33的深度引導(dǎo)分割尺度選擇之前，獲得第一參考深度。然后執(zhí)行深度引導(dǎo)分割尺度選擇，使得對(duì)于圖像的相同深度區(qū)域所選擇的分割尺度隨著所述區(qū)域深度和所述第一參考深度之間的差而變化。換言之，根據(jù)該實(shí)施例，關(guān)于第一參考深度，分割尺度根據(jù)圖像的每個(gè)部分的一種散焦度而變化。在變型中，例如通過(guò)允許用戶通過(guò)使用輸入設(shè)備和圖形用戶界面在顯示在屏幕上的場(chǎng)景圖像(例如圖像集合(si)中的圖像)中選擇特別感興趣的區(qū)域，來(lái)手動(dòng)獲得該第一參考深度。替選地，例如歸功于允許在圖像中檢測(cè)特別感興趣的區(qū)域的視線跟蹤技術(shù)，來(lái)自動(dòng)獲得第一參考深度。在該實(shí)施例的特定實(shí)現(xiàn)中，分割尺度的粒度級(jí)別隨著分割區(qū)域深度和所述第一參考深度之間的差的減小而增加。在具有第一參考深度的區(qū)域內(nèi)，在分層圖像表示中可用的較細(xì)分割尺度例如是所選的一個(gè)。例如，根據(jù)第一參考深度，對(duì)具有最大深度差的區(qū)域選擇分層圖像表示中可用的較粗分割尺度。

關(guān)于邊緣提取，在步驟34處執(zhí)行與剛剛描述的處理非常類似的處理。在步驟34，使用深度圖像和加權(quán)邊緣表示來(lái)生成場(chǎng)景的二進(jìn)制邊緣圖像，其中邊緣提取尺度在圖像上變化。由于整個(gè)圖像的邊緣提取在參考圖4所描述的預(yù)處理級(jí)階段期間已經(jīng)完成，導(dǎo)致生成加權(quán)邊緣表示，其中每個(gè)檢測(cè)到的邊緣與表示其在場(chǎng)景中的重要性(如其梯度)的值相關(guān)聯(lián)，所以步驟34可以被看作深度引導(dǎo)邊緣提取尺度選擇，而不是純邊緣提取步驟。

現(xiàn)在詳細(xì)描述在步驟34處實(shí)現(xiàn)的機(jī)制。

對(duì)于與深度圖像中的給定深度區(qū)域相對(duì)應(yīng)的每個(gè)區(qū)域，根據(jù)預(yù)定義的映射來(lái)選擇與該給定深度相關(guān)聯(lián)的閾值。然后該閾值用于給加權(quán)邊緣表示設(shè)閾值，使得獲得整個(gè)場(chǎng)景的二進(jìn)制邊緣圖像，其包含較多(低閾值)或較少(高閾值)的邊緣。因此，該閾值表示特定邊緣提取尺度。使用深度圖像，則可以從整個(gè)場(chǎng)景的該二進(jìn)制邊緣圖像提取與深度圖像中的所考慮的深度的區(qū)域相對(duì)應(yīng)的二進(jìn)制邊緣區(qū)域。

重復(fù)該操作以為存在于深度圖像中的給定深度的每個(gè)區(qū)域取回二進(jìn)制邊緣區(qū)域。

一旦已經(jīng)取回與存在于深度圖像中的所有區(qū)域相對(duì)應(yīng)的二進(jìn)制邊緣區(qū)域，則可以通過(guò)像拼圖一樣將所有二進(jìn)制邊緣區(qū)域放回一起來(lái)重建整個(gè)場(chǎng)景的二進(jìn)制邊緣。由于所有二進(jìn)制邊緣區(qū)域具有不同的邊緣提取尺度，所以步驟34的處理導(dǎo)致生成整個(gè)場(chǎng)景的二進(jìn)制邊緣圖像，其中邊緣提取尺度在圖像上化。

深度和對(duì)于具有該給定深度的區(qū)域的應(yīng)用到加權(quán)邊緣表示的邊緣提取尺度之間的映射可以是任何預(yù)定義的函數(shù)。

在本公開(kāi)的一個(gè)實(shí)施例中，取決于深度圖像中可用的深度級(jí)別的數(shù)目，該映射是自適應(yīng)的。例如，以非常低的閾值(hmin)來(lái)處理與場(chǎng)景的前景相對(duì)應(yīng)的區(qū)域，而以非常高的閾值(hmax)來(lái)處理與場(chǎng)景的背景相對(duì)應(yīng)的區(qū)域。然后以中間邊緣提取尺度，即在hmin和hmax之間的閾值，來(lái)處理所有的中間深度。先前的示例當(dāng)然是非限制性的，并且可以提出其他自適應(yīng)映射，如下面所示。

在本公開(kāi)的另一實(shí)施例中，在可選步驟32，在步驟34的深度引導(dǎo)邊緣提取尺度選擇之前，獲得第二參考深度。然后執(zhí)行深度引導(dǎo)邊緣提取尺度選擇，使得對(duì)于圖像的相同深度區(qū)域所選擇的邊緣提取尺度隨著所述區(qū)域深度和所述第二參考深度的差而變化。換言之，根據(jù)該實(shí)施例，關(guān)于第二參考深度，邊緣提取尺度根據(jù)圖像的每個(gè)部分的一種散焦度而變化。例如通過(guò)允許用戶通過(guò)使用輸入設(shè)備和圖形用戶界面在顯示在屏幕上的場(chǎng)景圖像(例如圖像集合(si)中的圖像)中選擇特別感興趣的區(qū)域，來(lái)手動(dòng)獲得該第二參考深度。替選地，例如歸功于允許在圖像中檢測(cè)特別感興趣的區(qū)域的視線跟蹤技術(shù)，其也可以自動(dòng)完成。在該實(shí)施例的特定實(shí)現(xiàn)中，邊緣提取尺度的粒度級(jí)別隨著二進(jìn)制邊緣區(qū)域深度和所述第二參考深度之間的差的減小而增加。例如，在具有第二參考深度的區(qū)域內(nèi)，當(dāng)呈現(xiàn)非真實(shí)感內(nèi)容(通過(guò)使用非常低的閾值)時(shí)，將顯示在加權(quán)邊緣表示的對(duì)應(yīng)區(qū)域中可用的所有提取邊緣。對(duì)于其他區(qū)域，以當(dāng)所考慮的區(qū)域的深度與第二參考深度越來(lái)越不同時(shí)越來(lái)越少的邊緣被顯示(僅僅保留具有最強(qiáng)梯度的邊緣)的這樣的方式，閾值增加。在一個(gè)實(shí)現(xiàn)方式中，當(dāng)深度的差高于給定閾值時(shí)，人們可以決定不顯示任何邊緣。

當(dāng)然，步驟33和34可以并行處理，或者一個(gè)接一個(gè)地處理，無(wú)論順序如何。

在步驟35，通過(guò)將在步驟33處生成的分割圖像和在步驟34處生成的二進(jìn)制邊緣圖像組合，最終呈現(xiàn)非真實(shí)感內(nèi)容。如先前已經(jīng)描述的那樣，通過(guò)將分割圖像和二進(jìn)制邊緣圖像組合，這里意味著將二進(jìn)制邊緣圖像的邊緣疊加在分割圖像上，從而得到最終的非真實(shí)感內(nèi)容的呈現(xiàn)。

關(guān)于所提出的技術(shù)，并且更準(zhǔn)確地關(guān)于關(guān)于圖3和圖4提出的特定實(shí)施例，現(xiàn)在提出各種考慮。

如關(guān)于圖4所描述的預(yù)處理階段的實(shí)現(xiàn)方式具有很多優(yōu)點(diǎn)，因?yàn)槠湓试S對(duì)之后可以用于生成相同場(chǎng)景的多個(gè)不同非真實(shí)感呈現(xiàn)的多條數(shù)據(jù)進(jìn)行預(yù)先計(jì)算。以該方式，一旦已經(jīng)對(duì)給定場(chǎng)景計(jì)算出分層圖像表示和加權(quán)邊緣表示，則呈現(xiàn)該場(chǎng)景的任何非真實(shí)感表示所需要的計(jì)算力和時(shí)間得以減少。

使用全對(duì)焦圖像(或至少最佳對(duì)焦圖像)作為執(zhí)行該預(yù)處理階段的基礎(chǔ)也是非常有意義的，因?yàn)樗试S獲得非常精確的分層圖像表示和加權(quán)邊緣表示。因此，根據(jù)本公開(kāi)的這樣的實(shí)施例生成的非真實(shí)感內(nèi)容中的過(guò)渡是規(guī)則和一致的。重要的是要注意，如果將該預(yù)處理階段直接應(yīng)用到(例如從場(chǎng)景的圖像集合(si)中隨機(jī)選擇的)普通圖像，則不是這樣的情況：因?yàn)檫@樣的圖像的散焦部分中的模糊效應(yīng)，所以在所生成的非真實(shí)感內(nèi)容中的線條畫和平坦化區(qū)域邊界將是不規(guī)則和不一致的，這可能結(jié)果是不愉快或分散注意力的。因此，所提出的技術(shù)特別適用于從源自光場(chǎng)內(nèi)容的圖像集合生成非真實(shí)感內(nèi)容，因?yàn)楣鈭?chǎng)內(nèi)容通常允許容易地生成與所捕獲的場(chǎng)景相關(guān)聯(lián)的深度圖像和全對(duì)焦圖像。

因此，可以考慮適用于不同應(yīng)用領(lǐng)域的實(shí)施例，例如一方面適用于來(lái)自光場(chǎng)內(nèi)容的非真實(shí)感呈現(xiàn)的實(shí)施例，另一方面適用于來(lái)自常規(guī)圖像的非真實(shí)感呈現(xiàn)的實(shí)施例。

與光場(chǎng)內(nèi)容有關(guān)的實(shí)施例被實(shí)現(xiàn)在例如諸如全光設(shè)備或照相機(jī)陣列之類的光場(chǎng)捕獲設(shè)備中，或者實(shí)現(xiàn)在處理光場(chǎng)數(shù)據(jù)的任何設(shè)備中。在某種程度上，所提出的技術(shù)從而允許從與場(chǎng)景相關(guān)聯(lián)的光場(chǎng)數(shù)據(jù)集合呈現(xiàn)非真實(shí)感內(nèi)容，因?yàn)楣鈭?chǎng)數(shù)據(jù)集合包括(或允許計(jì)算)深度圖像和全對(duì)焦圖像，可以從其生成精確的分層圖像表示和加權(quán)邊緣表示。在這些實(shí)施例中，不僅非真實(shí)感效果在所呈現(xiàn)的非真實(shí)感內(nèi)容上變化，而且呈現(xiàn)非真實(shí)感內(nèi)容的一般處理也得以改進(jìn)(通過(guò)在預(yù)處理階段使用全對(duì)焦圖像來(lái)解決在圖像的散焦部分內(nèi)的非真實(shí)感呈現(xiàn)的問(wèn)題)。

與常規(guī)圖像有關(guān)的實(shí)施例例如實(shí)現(xiàn)在對(duì)圖像處理感興趣的任何設(shè)備中，諸如常規(guī)照相機(jī)、計(jì)算機(jī)、電視機(jī)等等。它們也可以實(shí)現(xiàn)在嵌入這些設(shè)備中的圖像或視頻處理軟件中。這些實(shí)施例還允許呈現(xiàn)非真實(shí)感內(nèi)容，其中歸功于使用相同場(chǎng)景的圖像集合和相關(guān)聯(lián)的深度圖像，光場(chǎng)效果在內(nèi)容上變化。根據(jù)圖像集合中可用的圖像，還可以在預(yù)處理階段選擇或計(jì)算以及使用最佳對(duì)焦圖像，從而得到增強(qiáng)的非真實(shí)感呈現(xiàn)。

還應(yīng)該注意的是，所提出的技術(shù)是非常靈活的，并且提供可以獲得的非真實(shí)感效果的極大可能性。例如，關(guān)于圖3中描述的非真實(shí)感呈現(xiàn)處理，應(yīng)該注意的是，第一和第二參考深度可以是或者可以不是同一個(gè)參考深度。還應(yīng)該注意的是，引導(dǎo)分割尺度選擇和邊緣提前尺度的規(guī)則(即映射)可以彼此非常不同。根據(jù)被實(shí)現(xiàn)為選擇這些尺度的映射，甚至可以執(zhí)行受限于區(qū)域平坦化而沒(méi)有線條畫的非真實(shí)感呈現(xiàn)，或反之亦然。

最后，利用所提出的技術(shù)，在圖像組成方面保持一定的一致性，因?yàn)槠湓试S呈現(xiàn)非真實(shí)感內(nèi)容，其中非真實(shí)感效果可以在圖像上變化，但是在圖像的每個(gè)相同深度區(qū)域上可以是不變的，相同深度區(qū)域通常對(duì)應(yīng)于場(chǎng)景的相關(guān)部分(諸如在場(chǎng)景中所識(shí)別的對(duì)象)。

可以理解的是，本公開(kāi)可以以各種形式實(shí)施，而不限于上面討論的示例。具體而言，雖然所提出的技術(shù)已經(jīng)主要參考作為圖像的非真實(shí)感內(nèi)容的呈現(xiàn)被描述，但是其也可以應(yīng)用于視頻非真實(shí)感內(nèi)容的呈現(xiàn)，而不脫離本公開(kāi)的范圍。

圖5是圖示根據(jù)本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)感內(nèi)容的設(shè)備的示例的示意性塊圖。這樣的設(shè)備可以是可能對(duì)圖像處理任何：例如計(jì)算機(jī)、機(jī)頂盒、電視機(jī)或任何便攜式手持設(shè)備，諸如智能電話、平板、光場(chǎng)捕獲設(shè)備。

圖5中示出的裝置500包括通過(guò)總線506連接的處理器501、存儲(chǔ)單元502、輸入設(shè)備503、輸出設(shè)備504、以及接口單元505。當(dāng)然，可以通過(guò)除了使用總線506的總線連接之外的其他連接來(lái)連接計(jì)算機(jī)裝置500的組成元件。

處理器501控制裝置500的操作。存儲(chǔ)單元502存儲(chǔ)要由處理器501執(zhí)行的至少一個(gè)程序和各種數(shù)據(jù)，包括例如深度圖像、全對(duì)焦圖像、所計(jì)算的分層圖像表示以及加權(quán)邊緣表示、由處理器501執(zhí)行的計(jì)算所用的參數(shù)、由處理器501執(zhí)行的計(jì)算的中間數(shù)據(jù)等等。處理器501可以通過(guò)任何已知和適當(dāng)?shù)挠布⒒蜍浖?、或硬件和軟件的組合形成。例如，處理器501通過(guò)諸如處理電路之類的專用硬件、或通過(guò)諸如執(zhí)行存儲(chǔ)在其存儲(chǔ)器中的程序的cpu(中央處理單元)之類的可編程處理單元形成。

存儲(chǔ)單元502通過(guò)任何適當(dāng)?shù)拇鎯?chǔ)器或能夠以計(jì)算機(jī)可讀的方式存儲(chǔ)程序、數(shù)據(jù)等等的部件來(lái)形成。存儲(chǔ)單元502的示例包括非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，諸如半導(dǎo)體存儲(chǔ)設(shè)備，以及加載到讀寫單元中的磁、光、或磁光記錄介質(zhì)。該程序使得處理器501執(zhí)行根據(jù)先前描述的本公開(kāi)的實(shí)施例的用于呈現(xiàn)非真實(shí)性內(nèi)容的處理。

輸入設(shè)備503例如通過(guò)由用戶用來(lái)輸入命令鍵盤、諸如鼠標(biāo)之類的點(diǎn)擊設(shè)備等等形成。例如在諸如光場(chǎng)捕獲設(shè)備或傳統(tǒng)照相機(jī)之類的圖像捕獲設(shè)備中執(zhí)行非真實(shí)感呈現(xiàn)的實(shí)施例中，輸入設(shè)備503還包括用于捕獲場(chǎng)景的光學(xué)設(shè)備。其他附加設(shè)備可以是輸入設(shè)備的一部分，諸如例如用于執(zhí)行視線跟蹤的照相機(jī)。

輸出設(shè)備504諸如通過(guò)顯示設(shè)備形成，以顯示例如通過(guò)應(yīng)用先前描述的呈現(xiàn)的方法所確定的最終圖像。輸入設(shè)備503和輸出設(shè)備504例如可以通過(guò)觸摸屏面板集成。輸入設(shè)備503可以由操作者使用以選擇第一和/或第二參考深度，進(jìn)一步用于確定要應(yīng)用到每個(gè)區(qū)域的分割和邊緣提取尺度，根據(jù)相對(duì)于這些參考深度的它們的散焦度。這樣的第一和第二參考深度然后可以被存儲(chǔ)在存儲(chǔ)單元502中。

接口單元505提供在裝置500和外部裝置之間的接口。接口單元505可以與外部裝置經(jīng)由有線或無(wú)線通信來(lái)進(jìn)行通信。在一些實(shí)施例中，外部裝置可以是顯示設(shè)備、或配置為實(shí)現(xiàn)先前描述的預(yù)處理階段的設(shè)備，例如當(dāng)該實(shí)現(xiàn)方式未被裝置500本身所支持時(shí)。

雖然在圖5上僅僅示出了一個(gè)處理器501，但是必須理解的是，這樣的處理器可以包括體現(xiàn)根據(jù)本公開(kāi)的實(shí)施例的由裝置500執(zhí)行的功能的不同的模塊和單元，諸如：

-用于生成分割圖像的模塊，所述分割圖像包括利用多個(gè)分割尺度中的給定分割尺度生成的至少一個(gè)分割區(qū)域，所述至少一個(gè)分割區(qū)域與所述區(qū)域的集合中的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-用于生成二進(jìn)制邊緣圖像的模塊，所述二進(jìn)制邊緣圖像包括利用多個(gè)邊緣提取尺度中的給定邊緣提取尺度生成的至少一個(gè)二進(jìn)制邊緣區(qū)域，所述至少一個(gè)二進(jìn)制邊緣區(qū)域與所述區(qū)域的集合的至少一個(gè)區(qū)域相對(duì)應(yīng)；

-用于通過(guò)將所述分割圖像和所述二進(jìn)制邊緣圖像組合來(lái)呈現(xiàn)非真實(shí)感內(nèi)容的模塊。

這些模塊和單元還可以體現(xiàn)在彼此通信和協(xié)同操作的多個(gè)處理器501中。