本公開的領(lǐng)域涉及三維(3d)渲染。

更具體地，本公開涉及一種用于根據(jù)關(guān)于用戶頭部相對于3d顯示設(shè)備的取向的信息來適配渲染視圖的方法。

背景技術(shù)：

本部分旨在向讀者介紹本領(lǐng)域的各個方面，其可能與下面描述和/或要求保護的本公開的各個方面有關(guān)。相信該論述有助于向讀者提供背景信息，以便于更好地理解本公開的各個方面。因此，應(yīng)該理解的是，這些陳述應(yīng)當(dāng)從這個角度來閱讀，而不是作為對現(xiàn)有技術(shù)的承認(rèn)。

雖然近來在該技術(shù)領(lǐng)域中做出了許多改進，但是3d渲染仍然是深入研究的對象，其中仍有許多問題沒有解決。背景技術(shù)的獲取系統(tǒng)通常包含3d相機裝置，其中相機被水平地對齊(或者通過反射鏡的實現(xiàn)方式而被視為是等效的)。因此，僅能夠評估3d視圖之間的水平視差。

已經(jīng)研發(fā)了視圖內(nèi)插的一些算法，特別是用以調(diào)整3d的級別。如圖1所示，這種內(nèi)插僅在水平方向上執(zhí)行。執(zhí)行該操作所需的輸入格式必須包括視圖的水平視差(或深度)。該格式可以例如是多視圖+深度(multi-view+depth)：左3d視圖和右3d視圖，以及針對這些視圖之間的每個像素對視差進行編碼的視差圖。

philips/dimenco提出了一種名為“分層深度視頻(ldv)”的格式(參照圖2)。該格式包含對應(yīng)于中心相機的視頻視圖、與該視圖相關(guān)聯(lián)的深度圖，遮擋層(occlusionlayer)及其深度圖。該格式是dimenco多視圖監(jiān)視器的輸入格式中的一種。通過該格式，監(jiān)視器可以在中心視圖周圍插入外圍視圖。這些外圍視圖對應(yīng)于視圖，因為它們將通過水平位移的外圍相機獲取(圖2中的虛線相機)。

在前景對象后面的一些區(qū)域在中心視圖中被遮擋。這些區(qū)域?qū)⑼ㄟ^外圍視圖內(nèi)插而被去遮擋(disocclude)。這些背景區(qū)域通過遮擋層及其深度圖來重構(gòu)。例如，將使用馬的左邊的背景信息來重構(gòu)對應(yīng)于虛擬左邊虛線攝像機的視圖(圖3)。

內(nèi)插視圖的位置范圍(對應(yīng)于虛擬相機離開中央相機的距離)取決于遮擋層中的信息量。在前景對象后面的可獲得的信息越多，內(nèi)插視圖離開中心視圖可以越遠。

在該現(xiàn)有技術(shù)的示例中，因為僅有水平信息可用，所以僅能夠執(zhí)行水平視圖內(nèi)插。因此，3d效果僅能夠在眼軸(eyeaxis)是水平的情況下才被令人滿意地渲染。

因此，期望提供用于3d渲染的方法，其相對于背景技術(shù)示出改進。

技術(shù)實現(xiàn)要素：

說明書中所提及的“一個實施例”、“實施例”、“示例性實施例”指示所描述的實施例可以包含具體的特征、結(jié)構(gòu)或特性，但是每個實施例可以不必均包含該具體的特征、結(jié)構(gòu)或特性。而且，這樣的措詞未必指代相同實施例。另外，當(dāng)參照實施例來描述具體的特征、結(jié)構(gòu)或特性時，應(yīng)當(dāng)認(rèn)為，結(jié)合其他實施例來影響這樣的特征、結(jié)構(gòu)或特性是在本領(lǐng)域技術(shù)人員的認(rèn)知內(nèi)(無論是否明確地描述)。

在本技術(shù)的一個具體實施例中，公開了一種用于確定要給觀看者的經(jīng)渲染的三維內(nèi)容的方法，所述方法包含：

輸入包含參考視圖的參考內(nèi)容；

輸入與相對于顯示裝置的參考軸的觀看者的眼睛取向有關(guān)的至少一個信息；

根據(jù)參考視圖以及與相對于顯示裝置的參考軸的觀看者的眼睛取向有關(guān)的信息，確定渲染視圖。

在以下的描述中，術(shù)語“參考視圖”指固定視圖，其被用作確定“渲染視圖”的參考。這樣的“渲染視圖”可以通過計算處理或通過選擇處理來確定。因此，術(shù)語“渲染視圖”指從該確定步驟得到的視圖。術(shù)語“經(jīng)渲染的三維內(nèi)容”是參考視圖和渲染視圖兩者的結(jié)合，其通過立體視覺向觀看者提供所觀察的場景的三維視圖。在本公開的一個實施例中，參考視圖對應(yīng)于從觀看者的左眼看的視圖(也稱為“左視圖”)，而要確定的渲染視圖對應(yīng)于從觀看者的右眼看的視圖(也稱為“右視圖”)。本領(lǐng)域技術(shù)人員將理解，在另外的實施例中，這樣的對應(yīng)可以反過來，于是，觀看者的右眼看見參考視圖。在另外的實施例中，這樣的視圖也可以分配給任何對象，例如安裝在無人駕駛的交通工具上并且通過接口單元與操作者以一定距離連接的傳感器。

根據(jù)本公開的方法依賴于通過根據(jù)觀看者的眼睛相對于顯示裝置的參考軸的取向來適配所觀察的場景的三維渲染視覺來考慮該場景的不同方法。由此，當(dāng)觀看者傾斜其頭部時，本方法的實現(xiàn)方式允許確定要呈送給觀看者的眼睛的經(jīng)適配的渲染內(nèi)容，以便創(chuàng)建以三維的方式觀察場景的幻象。所考慮的觀看者的視軸的方向?qū)嶋H上是該軸相比于顯示裝置的參考軸到顯示屏幕上的投影(projection)。

在一個實施例中，所述方法包含根據(jù)與相對于顯示裝置的參考軸的觀看者的眼睛的取向有關(guān)的信息來確定視差方向，并且確定渲染視圖還根據(jù)視差方向。

在一個實施例中，參考內(nèi)容包含描述參考視圖中的深度的深度圖、或者關(guān)于在至少一個給定視圖與參考視圖之間的視差的信息、或者所述至少一個給定視圖，并且確定渲染視圖的步驟還根據(jù)深度圖、或者關(guān)于視差的信息、或者所述至少一個給定視圖。

術(shù)語“深度圖”指包含與所觀察到的場景離開某個視點的距離有關(guān)的信息的圖像(在該情況中，參考視圖或者渲染視圖)。術(shù)語“視差(disparity)”或“視差量(parallax)”指兩個不同的視圖上的對應(yīng)像素之間在顯示裝置(或光敏傳感器)上的位移。如現(xiàn)有技術(shù)已知的那樣，能夠在視差圖和深度圖之間切換，兩個圖都允許立體圖像中的深度感知。術(shù)語“給定視圖”指從另一個視點描繪與參考視圖相同的場景對象的視圖。

當(dāng)面對表述“參考內(nèi)容包含：參考視圖[...]、深度圖[...]、關(guān)于視差的信息[...]”時，本領(lǐng)域技術(shù)人員理解，這些不同的數(shù)據(jù)是所輸入的參考內(nèi)容的部分，或者是可以基于根據(jù)背景技術(shù)和/或本領(lǐng)域技術(shù)人員的一般知識的已知的方法從參考內(nèi)容明顯地得出或提取的信息。因此，在該表述中，術(shù)語“包含”可以用表述“包括，或者可以從中提取以下數(shù)據(jù)”來代替。例如，本領(lǐng)域技術(shù)人員將顯然能夠從包含多個視圖的參考內(nèi)容提取關(guān)于這些視圖中的至少兩個視圖之間的視差的信息。

由于利用深度圖或者關(guān)于視差的信息或者至少一個給定視圖，通過限制輸入數(shù)據(jù)的大小，這樣的方法具有低的計算復(fù)雜度，同時保持令人滿意的渲染內(nèi)容質(zhì)量。

在一個實施例中，參考內(nèi)容包含關(guān)于參考視圖沿著與顯示裝置的參考軸形成一定角度的傾斜軸的隱藏部分的遮擋信息，并且確定渲染視圖的步驟還根據(jù)遮擋信息。

術(shù)語“遮擋信息”指關(guān)于例如在參考視圖中從某個視點看被隱藏或遮擋、但是當(dāng)根據(jù)該對象在一個方向或另一個方向上移動時可以顯露的場景的一些部分的信息。因此，由于考慮沿著不同于顯示裝置的參考軸的另一個方向的信息，并且利用它們并結(jié)合關(guān)于觀看者的眼睛取向的信息來確定適當(dāng)?shù)慕?jīng)渲染的3d內(nèi)容，這樣的方法優(yōu)于背景技術(shù)。由于利用遮擋信息的開發(fā)，通過限制輸入數(shù)據(jù)的大小，這樣的方法還具有低的計算復(fù)雜度，同時保留令人滿意的渲染內(nèi)容質(zhì)量。

在一個實施例中，遮擋信息關(guān)于參考視圖沿著與顯示裝置的參考軸形成角度的至少兩個傾斜軸的隱藏部分。

所感知的3d效果的質(zhì)量通常隨著所考慮的方向的數(shù)量而增加。因此，遮擋信息考慮的方向的添加允許提高要確定的渲染視圖的質(zhì)量。

在一個實施例中，所述確定包含：根據(jù)參考視圖、深度圖或關(guān)于視差的信息、遮擋信息、以及相對于顯示裝置的參考軸的觀看者的眼睛的取向有關(guān)的信息，進行內(nèi)插。

與現(xiàn)有技術(shù)的教導(dǎo)相反，根據(jù)本公開的該實施例的方法只需要單個參考視圖，從而允許減小所輸入的參考內(nèi)容的大小，并且具有更好的內(nèi)插質(zhì)量，同時減少該方法的復(fù)雜度。

在一個實施例中，所述內(nèi)插包含：

·根據(jù)參考視圖深度圖，確定渲染視圖的深度圖或視差圖；

·基于遮擋信息，確定參考視圖的隱藏部分。

通過利用遮擋信息，這樣的方法允許保留令人滿意的渲染內(nèi)容質(zhì)量。

在另一個實施例中，確定渲染視圖的隱藏部分包含：通過圖像修復(fù)(in-painting)技術(shù)，內(nèi)插參考視圖的遮擋區(qū)域。因此，遮擋信息不需要執(zhí)行這樣的方法。

在一個實施例中，所述內(nèi)插進一步包含：基于參考視圖中的對應(yīng)像素的色彩，確定渲染視圖的每個像素的色彩。

在一個實施例中，參考視圖對應(yīng)于從觀看者的左眼或右眼看的視圖，并且要確定的渲染視圖對應(yīng)于從觀看者另一只眼睛看的視圖，并且參考視圖中位于位置(ul，vl)處的對象在渲染視圖中的位置(ur，vr)通過下式給出：

其中，知是基線向量的水平分量和垂直分量，等于b*cosθ，并且等于b*sinθ，b是觀看者的眼睛之間的距離，θ是觀看者的眼睛取向，其中，zl(ul，vl)對應(yīng)于在位置(ul，vl)處的深度值，并且其中，f^u和f^v分別是焦點長度(focallength)與在適合于感測觀看者的眼睛取向的傳感器上的水平密度和垂直密度的乘積。

在一個實施例中，參考內(nèi)容包含光場數(shù)據(jù)。

這樣的光場數(shù)據(jù)包含或允許參考視圖的提取，允許相關(guān)聯(lián)的深度圖的提取或確定，并且可以包含從不同方向的若干視圖和/或描述在若干方向上的前景對象的隱藏部分的遮擋圖。在另一個實施例中，關(guān)聯(lián)到參考視圖的遮擋數(shù)據(jù)可以從具有不同視差方向的多個給定視圖提取。所感知到的3d效果的質(zhì)量因此而顯著地提高。

在一個實施例中，參考內(nèi)容包含多個給定視圖，并且所述確定包含根據(jù)參考內(nèi)容以及與相對于顯示裝置的參考軸的觀看者的眼睛取向有關(guān)的信息，在給定視圖之中選擇渲染視圖。

術(shù)語“多個給定視圖”指相比于參考視圖具有不同視差方向的可能的渲染視圖。當(dāng)實現(xiàn)本公開的方法時，選擇給定視圖中的一個，以便使一方面由視差方向和水平軸形成的角度與另一方面由眼軸和3d顯示裝置的參考軸形成的角度之間的差異最小化。這樣的選擇處理容易計算，但是可能潛在地導(dǎo)致結(jié)果渲染視圖不太適合于觀看者的眼睛取向。

本公開還涉及一種用于確定要給觀看者的經(jīng)渲染的三維內(nèi)容的設(shè)備，包含用于根據(jù)下列來確定渲染視圖的模塊：

·包含至少一個參考視圖的參考內(nèi)容，

·與相對于顯示裝置的參考軸的觀看者的眼睛取向有關(guān)的至少一個信息。

本領(lǐng)域技術(shù)人員將理解到，可以在該設(shè)備上實現(xiàn)在此前所描述的方法中所實現(xiàn)的每個有利的技術(shù)特征，因此該設(shè)備具有相關(guān)聯(lián)的技術(shù)優(yōu)點。

在一個實施例中，所述設(shè)備包含：至少一個傳感器，其適于確定相對于顯示裝置的參考軸的觀看者的眼睛取向。

這樣的傳感器可以指配備有特定標(biāo)記、陀螺儀、檢測觀看者面部及其取向的基于相機的系統(tǒng)的專用眼鏡或者本領(lǐng)域已知的任何其他技術(shù)。

在一個實施例中，所述設(shè)備包含立體顯示裝置或自動立體(auto-stereoscopic)顯示裝置以顯示參考視圖和/或渲染視圖。

因此，根據(jù)該實施例的設(shè)備可以是以下列形式：

·頭戴式顯示器、虛擬視網(wǎng)膜顯示器；

·實現(xiàn)渲染內(nèi)容已經(jīng)被適配的顯示裝置(例如監(jiān)視器電視或移動顯示器)的系統(tǒng)，其與主動的3d觀看者相關(guān)聯(lián)，例如快門系統(tǒng)，或者與被動的3d觀看者相關(guān)聯(lián)，例如偏振系統(tǒng)、干涉濾光器系統(tǒng)或彩色立體影片系統(tǒng)；

·包含雙凸式透鏡、視差屏障或微透鏡陣列的固定的或移動的自動立體顯示器。

應(yīng)該理解的是，上述列表僅作為展示而給出，而不限制本公開的范圍。

本公開還涉及一種光場捕獲裝置，包含用于確定經(jīng)渲染的三維內(nèi)容的設(shè)備，包含用于根據(jù)下列來確定渲染視圖的模塊：

·包含至少一個參考視圖的參考內(nèi)容，

·與相對于顯示裝置的參考軸的觀看者的眼睛取向有關(guān)的至少一個信息。

本公開還涉及一種計算機程序產(chǎn)品，其可從通信網(wǎng)絡(luò)下載和/或記錄在計算機可讀介質(zhì)上和/或可由處理器執(zhí)行，包含實現(xiàn)用于確定經(jīng)渲染的三維內(nèi)容的方法的程序代碼指令。

本公開還涉及一種非臨時性計算機可讀載體介質(zhì)，包含在其上記錄并且能夠由處理器運行的計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包含實現(xiàn)用于確定經(jīng)渲染的三維內(nèi)容的方法的程序代碼指令。

雖然沒有明確地描述，但是所呈現(xiàn)的實施例可以以任何組合或子組合的方式來利用。

附圖說明

參考以下描述說明書和附圖(作為示例給出而非限制保護范圍)可以更好地理解本發(fā)明，附圖中：

圖1和圖2是例示現(xiàn)有技術(shù)已知的水平的眼睛的視圖合成的圖；

圖3是例示現(xiàn)有技術(shù)已知的根據(jù)ldv格式的視圖重構(gòu)的圖；

圖4是根據(jù)本公開的一個實施例的在執(zhí)行用于確定經(jīng)渲染的三維內(nèi)容的方法時所實現(xiàn)連續(xù)步驟的流程圖；

圖5是例示感知深度與立體像對(stereopair)的觀看者的左眼圖像和右眼圖像的視差之間的關(guān)系的圖；

圖6是例示取決于觀看者的眼睛的軸方向的一組左視圖和右視圖的圖；

圖7是例示眼軸與水平軸之間的角度θ在范圍[-90°，+90°]中的三種不同情況的示意圖；

圖8是根據(jù)本公開的第一實施例的當(dāng)執(zhí)行用于確定經(jīng)渲染的三維內(nèi)容的方法時所實現(xiàn)的連續(xù)步驟的流程圖；

圖9是根據(jù)本公開的第二實施例的當(dāng)執(zhí)行用于確定經(jīng)渲染的三維內(nèi)容的方法時所實現(xiàn)的連續(xù)步驟的流程圖；

圖10是例示左視圖和一組給定視圖的示意圖，其中，視差方向與水平軸之間的角度在范圍[-90°，+90°]中；

圖11是根據(jù)本公開的一個實施例的用于確定經(jīng)渲染的三維內(nèi)容的設(shè)備的示例的示意性框圖。

附圖中的組件未必是按比例的，而是在闡釋本公開的原理時加以強調(diào)。

具體實施方式

本公開涉及用于根據(jù)觀看者的眼睛取向θ來確定經(jīng)渲染的三維內(nèi)容的方法1。在下面的描述中以及圖1至圖9中闡述本公開的某些實施例的許多具體細節(jié)，以提供對于這些實施例的全面的理解。應(yīng)該理解的是，本公開可以具有另外的實施方式，或者可以在不使用在下面的描述中所描述的許多細節(jié)的情況下實現(xiàn)。

如圖4所示，這樣的方法1包含：

·步驟2，輸入包含至少一個參考視圖8的參考內(nèi)容ref_c；

·步驟4，輸入與相對于顯示裝置的參考軸x的觀看者的眼睛取向θ有關(guān)的至少一個信息；

·步驟5，根據(jù)參考視圖8以及與相對于顯示裝置的參考軸x的觀看者的眼睛取向θ有關(guān)的信息，確定渲染視圖6。

在下面的描述中，參考視圖8對應(yīng)于從觀看者左眼看的視圖，也被稱為“左視圖”，而要確定的渲染視圖6對應(yīng)于從觀看者右眼看的視圖，也被稱為“右視圖”。在另一個實施例中，這樣的對應(yīng)關(guān)系可以相反，則觀看者的右眼看見參考視圖。在另一個實施例中，這樣的視圖也可以分配給任何對象，例如安裝在無人駕駛交通工具上并且通過接口單元與操作者以一定距離連接的傳感器。

圖5顯示了感知深度zp與觀看者的左眼圖像和右眼圖像之間的視差p之間的關(guān)系，其中，zp是感知深度，te是兩眼間距離，zs是從觀看者到屏幕的距離。由此，感知深度zp、視差p以及到屏幕的距離zs之間的關(guān)系表示如下：

其中，d是所傳輸?shù)囊暡钚畔ⅲ瑆s是屏幕的寬度，并且ncol是屏幕像素列的數(shù)量。

作為例示，描述本公開的三個具體實施例，它們中的每一個描述用于通過內(nèi)插處理或選擇處理來確定渲染視圖6的步驟5的替代實施例。

1.本公開的第一實施例

在本公開的第一實施例中，用于確定包括左視圖8和右視圖6的經(jīng)渲染的三維內(nèi)容的方法1確定渲染視圖6的步驟5包含內(nèi)插的步驟，。

圖6例示取決于相對于顯示裝置的參考軸x的觀看者的眼睛的軸方向取向的左視圖8和右視圖6的集合。用正方形代表前景對象。在該實施例中，右視圖6是被內(nèi)插的，而左視圖8被認(rèn)為是固定的參考。

在步驟2中所輸入的參考內(nèi)容ref_c包含左視圖8、對應(yīng)的深度圖zl和遮擋圖vo，遮擋圖vo包含在左視圖中被掩蔽但是對于重構(gòu)右視圖6所需的信息。

因為內(nèi)插步驟5.1取決于眼軸θ的取向，遮擋圖vo優(yōu)選地包含所有方向而不是僅沿著單個傾斜軸的遮擋信息。在一個實施例，在步驟2中所輸入的參考內(nèi)容ref_c是光場數(shù)據(jù)，例如經(jīng)多路分解的(demultiplexed)光場圖像，其包含左視圖8、對應(yīng)的深度圖zl和遮擋圖vo，遮擋圖vo描述所有方向上的前景對象的隱藏部分。在另一個實施例中，遮擋信息可以被限制到減少數(shù)量的方向，一方面減少參考內(nèi)容的大小，同時另一方面影響所內(nèi)插的渲染視圖6的質(zhì)量。替代地，在參考視圖8中所遮擋的數(shù)據(jù)可以從具有不同視差方向的多個給定視圖9提取，而不是在遮擋圖zo中提供。在這種情況，在步驟2中所輸入的參考內(nèi)容ref_c不顯式地包含遮擋圖zo，但是從多個給定視圖9提取該遮擋圖或等效物。位于左視圖8中的位置(ul，vl)處的前景對象的右視圖6中的位置(ur，vr)由以下等式(1)給出：

其中，知是基線向量的水平分量和垂直分量，等于b*cosθ，并且等于b*sinθ，b是觀看者的眼睛之間的距離，其中，zl(ul，vl)對應(yīng)于在位置(ul，vl)處的深度值，并且其中，f^u和f^v分別是焦點長度與在適合于感測觀看者的眼睛取向的傳感器上的水平密度和垂直密度的乘積。

如圖7所示，向量根據(jù)眼軸相對于顯示裝置的參考軸x的取向來計算。圖6例示眼軸和參考軸之間的角度θ在范圍[-90°，+90°]中的四種不同情況。安裝在顯示裝置或其他裝置上的傳感器可以被配置為測量角度θ或者允許推導(dǎo)該角度θ的任何其他信息。例如，可以使用配備有特定標(biāo)記、陀螺儀或者檢測觀察者面部及其取向的基于相機的系統(tǒng)的專用眼鏡作為眼鏡取向傳感器。當(dāng)測量出時，在步驟4中將角度θ輸入到實現(xiàn)方法1的設(shè)備7中。

如圖8所示，并且為了運行內(nèi)插步驟5，設(shè)備7首先在步驟5.1中，根據(jù)參考視圖深度圖zl或者根據(jù)從參考視圖8與至少一個給定視圖9之間所計算出的視差圖，確定渲染視圖6的深度圖zr。由此，對于左視圖8的每個像素，對應(yīng)點的二維(2d)位置基于等式(1)來確定。然后，如下面的等式所示，基于深度值在兩個對應(yīng)點之間保持不變的假設(shè)，將該深度值分配給右視圖中的最接近的像素：

zr(ur，vr)＝zl(ul，vl)

然后，對于右視圖6的每個像素，所述設(shè)備7經(jīng)由下面的等式來確定左視圖8中的對應(yīng)點的2d位置：

然后，設(shè)備7在步驟5.2中根據(jù)左視圖8中的對應(yīng)點的色彩來確定右視圖6的每個像素的色彩。

在色彩確定步驟5.2之后，在位置確定步驟結(jié)束時未取得深度值的像素對應(yīng)于在左視圖中隱藏的去遮擋區(qū)域3。然后，在步驟5.3中，根據(jù)來自位置確定步驟輸出的相鄰的可用的深度數(shù)據(jù)，對缺失的深度數(shù)據(jù)進行內(nèi)插。然后，在步驟5.4中，使用遮擋圖vo中的對應(yīng)的像素來填充內(nèi)插的右視圖6中的這些去遮擋區(qū)域3。替代地，當(dāng)參考內(nèi)容ref_c不包含遮擋圖vo時，在步驟5.4中，填充內(nèi)插的右視圖6中的去遮擋區(qū)域3通過相鄰可用像素的內(nèi)插來執(zhí)行。

然后，左視圖8和右視圖6兩者的結(jié)合形成適合于觀看者的眼睛取向θ的經(jīng)渲染的三維內(nèi)容。

根據(jù)該實施例，將視差圖提供到參考內(nèi)容ref_c中。然而，在另一個實施例中，該視差圖可以在輸入步驟2之后基于參考視圖8和至少一個給定視圖9來計算。在該情況下，視差圖在參考內(nèi)容ref_c中可以不是強制性的。

2.本公開的第二實施例

在本公開的第二實施例中，如圖9所示，確定渲染視圖6的步驟5包含以下步驟：根據(jù)相對于顯示裝置的參考軸x的觀看者的眼睛取向θ，在多個給定視圖9之中選擇經(jīng)渲染的右視圖6。在該實施例中，如圖9所示，給定視圖9包含相比于左視圖8具有不同視差方向的可能的右視圖的集合。這些視差方向的每個與顯示裝置的參考軸x形成角度θ’。

在步驟4中輸入觀看者的眼睛取向θ之后，設(shè)備7選擇給定視圖9中的一個，以便使由視差方向(角度θ’)和參考軸x所形成的角度與由眼軸(角度θ)和參考軸x所形成的角度之間的差異最小化。

3.本公開的第三實施例

在本公開的第三實施例中，在步驟2中所輸入的內(nèi)容包含參考視圖8以及相對于顯示裝置的參考軸x的觀看者眼軸取向θ。觀看者眼睛取向θ對應(yīng)于要確定的渲染視圖6的視差方向。

根據(jù)該實施例，首先根據(jù)參考視圖8和觀看者眼軸取向θ來估計深度圖zl，如z.zhang在2011年icip會議中的“visualpertinent2d-to-3dvideoconversionbymulti-cuefusion”中所描述的那樣。

然后，如本公開的第一實施例的描述中所述那樣地根據(jù)參考視圖8和深度圖zl來內(nèi)插渲染視圖6(參見“1.本公開的第一實施例”部分)。

4.根據(jù)本公開的一個實施例的設(shè)備

圖10是根據(jù)本公開的一個實施例的用于確定經(jīng)渲染的三維內(nèi)容的設(shè)備的示例的示意性框圖。

圖10中所示的設(shè)備7包含通過總線14連接的處理器10、存儲單元11、接口單元12和傳感器13。當(dāng)然，計算機設(shè)備7的組成元件可以通過使用總線14的總線連接之外的連接方式來連接。

處理器10控制設(shè)備7的操作。存儲單元11存儲要由處理器10執(zhí)行的至少一個程序以及包括在參考內(nèi)容ref_c中所包括的數(shù)據(jù)、處理器10所執(zhí)行的計算所使用的參數(shù)、處理器10所執(zhí)行的計算的中間數(shù)據(jù)等各種數(shù)據(jù)。特別地，存儲單元11可以存儲參考內(nèi)容ref_c的分量和觀看者眼軸取向θ。處理器10可以由任何已知且適合的硬件或軟件或者硬件和軟件的組合來形成。例如，處理器10可以由諸如處理電路這樣的專用硬件形成，或者可以由諸如執(zhí)行在設(shè)備的存儲器中所存儲的程序的cpu(中央處理單元)這樣的可編程處理單元形成。

存儲單元11可以由任何適合的儲存器或者能夠以計算機可讀的方式存儲程序、數(shù)據(jù)等的裝置形成。存儲單元11的示例包括非暫時性計算機可讀存儲介質(zhì)，諸如半導(dǎo)體存儲裝置以及裝載到讀寫單元中的磁性、光學(xué)或磁光記錄介質(zhì)。程序使處理器10執(zhí)行根據(jù)以上參照圖4所描述的本公開的實施例的用于確定經(jīng)渲染的三維內(nèi)容的處理。

接口單元12提供在設(shè)備7與外部設(shè)備之間的接口。接口單元12可以經(jīng)由纜線或無線通信與外部設(shè)備進行通信。在該實施例中，外部設(shè)備可以是光場捕獲裝置15。在該情況下，光場數(shù)據(jù)可以通過接口單元12從光場捕獲裝置15輸入到設(shè)備7，然后存儲在存儲單元11中。

設(shè)備7和光場捕獲裝置15可以經(jīng)由纜線或無線通信相互通信。

雖然在圖10中僅示出一個處理器10，本領(lǐng)域技術(shù)人員將理解到，這樣的處理器可以包含實施由根據(jù)本公開的實施例的設(shè)備7所執(zhí)行的功能的不同的模塊和單元，諸如模塊16，其處理參考內(nèi)容的不同分量和觀看者的眼睛取向θ，以根據(jù)相對于顯示裝置的參考軸x的觀看者的眼睛取向θ，確定5渲染視圖6。該模塊還可以實施在相互通信和協(xié)作的若干處理器10中。

如本領(lǐng)域技術(shù)人員將意識到的那樣，本原理的各方面可以實施為系統(tǒng)、方法或計算機可讀介質(zhì)。因此，本原理的各方面可以采用完全硬件實施例的形式、完全軟件實施例(包含固件、駐留軟件、微代碼等)的形式或者結(jié)合軟件和硬件方面的實施例的形式。

當(dāng)本原理通過一個或若干個硬件組件實現(xiàn)時，可以注意到，硬件組件包含作為諸如中央處理單元這樣的集成電路的處理器和/或微處理器和/或?qū)Ｓ眉呻娐?asic)和/或?qū)Ｓ弥噶罴幚砥?asip)和/或圖形處理單元(gpu)和/或物理處理單元(ppu)和/或數(shù)字信號處理器(dsp)和/或圖像處理器和/或協(xié)處理器和/或浮點單元和/或網(wǎng)絡(luò)處理器和/或音頻處理器和/或多核處理器。而且，硬件組件還可以包含基帶處理器(包含例如存儲單元和固件)和/或接收或發(fā)射無線電信號的無線電電子電路(可以包含天線)。在一個實施例中，該硬件組件符合一個或多個標(biāo)準(zhǔn)，諸如iso/iec18092/ecma-340、iso/iec21841/ecma-352、gsma、stolpan、etsi/scp(智能卡平臺)、globalplatform(即安全元件)。在變型中，硬件組件是射頻身份(rfid)標(biāo)簽。在一個實施例中，硬件組件包含允許藍牙通信和/或wi-fi通信和/或zigbee通信和/或usb通信和/或firewire通信和/或nfc(近場)通信的電路。

另外，本原理的各方面可以采用計算機可讀存儲介質(zhì)的形式。可以使用一個或多個計算機可讀介質(zhì)的任何結(jié)合。

因此，例如，應(yīng)該意識到，任何流程圖表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等表示實質(zhì)上可以表示在計算機可讀存儲介質(zhì)中并因此由計算機或處理器(無論這樣的計算機或處理器是否被顯式地示出)執(zhí)行的各種處理。

雖然已經(jīng)參照一個或多個示例描述了本公開，但是本領(lǐng)域技術(shù)人員應(yīng)該意識到，可以在形式和細節(jié)上做出改變而不背離本公開和/或所附權(quán)利要求的范圍。