專利名稱：可視通信信號的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種可視通信信號，包括用于產(chǎn)生至少3-D圖像的圖像模型信息。
本發(fā)明進(jìn)一步涉及一種用于將這種可視通信信號從發(fā)射器傳輸?shù)浇邮掌鞯目梢曂ㄐ畔到y(tǒng)，涉及一種用于發(fā)射這種可視通信信號的發(fā)射器，涉及一種用于接收這種可視通信信號的接收器，涉及一種傳輸這種可視通信信號的方法并涉及一種用于載運這種可視通信信號的實體介質(zhì)。
依照序言的可視通信信號可得知于M.Magnor和B.Girod的名為“Hierarchical coding of light fields with disparity maps”的論文，IEEE會議ICIP99會議論文集，日本神戶，Vol.3，pp334-338，1999。
這種可視通信信號被用于可視通信系統(tǒng)，例如三維(3-D)電視或電話會議系統(tǒng)，用于將3-D視頻信息從發(fā)射器傳輸?shù)浇邮掌鳌?br> 在可視通信系統(tǒng)中，三維視頻可能是引入顏色之后的下一次革命。在演化的進(jìn)程中，重要的是尋找解決方案，其確保與常規(guī)單像管(monoscopic)視頻的兼容性；從一開始就提供高質(zhì)量3-D視頻的選項；并允許一些年內(nèi)的連續(xù)改進(jìn)。
在當(dāng)前，許多不同的選項可用于獲取并顯示3-D內(nèi)容，包括有復(fù)合鏡片的高分辨率顯示器、多重攝像機(jī)(multiple camera)和測距攝像機(jī)(range camera)。需要圖像和信號處理以在有不同形態(tài)的設(shè)備(即支持不同數(shù)據(jù)類型的設(shè)備)之間對接，例如在立體攝像機(jī)和支持多于兩個視點的多視點顯示器之間。然而，圖像和信號處理的技術(shù)狀況遠(yuǎn)不能使大量不同的3-D獲取和顯示設(shè)備對接。所有當(dāng)前的圖像處理技術(shù)僅針對不透明(非透明)對象而工作，但仍產(chǎn)生許多可見的假象。當(dāng)這個問題被解決時，處理透明度(煙、霧、水、窗戶)、鏡面發(fā)射/反射率(光源、鏡面、金屬)和高拓?fù)浼?xì)節(jié)和動態(tài)(樹葉在風(fēng)中移動)仍將是個大問題。顯然，成功制作3-D所至關(guān)重要的高質(zhì)量要求通常是不被滿足的。
在從上述論文得知的可視通信信號中，圖像模型信息被包括在被分層編碼的光場中。這樣的光場基于靜態(tài)場景2-D圖像的被密集采樣的集合，使得能借助攝像機(jī)規(guī)則間隔的2-D格柵進(jìn)行容易的數(shù)據(jù)獲取?；诒痪幋a的光場，通過估算原先未被記錄的不均衡補償?shù)闹虚g光場圖像，解碼器可在本地改善光場。這些被內(nèi)插的圖像可大大增強再現(xiàn)性能。盡管這樣，一些這樣的被內(nèi)插圖像仍具有由于再現(xiàn)的假象而造成的相對低的圖像質(zhì)量。
本發(fā)明的目的是提供如在起始段中所述的可視通信信號，其使得能產(chǎn)生具有相對高圖像質(zhì)量的3-D圖像。這個目的是以依照本發(fā)明的可視通信信號而實現(xiàn)的，所述可視通信信號的特征在于，可視通信信號進(jìn)一步包括對應(yīng)于至少部分3-D圖像的圖像增強信息。從圖像模型信息，(3-D)圖像可從任何任意的視點被再現(xiàn)。這確保了在演化進(jìn)程的任何時間可使用任何顯示器(單像管、立體鏡、多視圖顯示器)。圖像增強信息確保視點的特定集合、那些原先被記錄以產(chǎn)生3-D圖像模型的可被沒有假象地再現(xiàn)。
圖像模型信息(或3-D模型)是對來自獲取設(shè)備的所有或幾乎所有數(shù)據(jù)進(jìn)行分析處理的結(jié)果。例如，50的攝像機(jī)獲取設(shè)備仍產(chǎn)生單個3-D模型。由于后者通常包含較少的信息位，3-D模型可被用于有效的編碼。
可使用任何種類的3-D模型，例如線框或VRML模型、體素映像(如MRI圖像)、分層體素映像(八叉樹模型)或2D對象的集合(例如，如在MPEG-4中所使用的)。除了自然的內(nèi)容，3-D模型亦可包含合成的內(nèi)容(計算機(jī)圖形)。
為確保與常規(guī)單像管系統(tǒng)的兼容性，可使用特定的3-D模型，其由正常單像管圖像加上有幾何信息的附加子層組成。后者可例如是包含每個像素的深度z(或者被稱為不均衡的1/z，或者導(dǎo)出量，如不均衡導(dǎo)數(shù))的特定圖像。由于它是目前可被所謂的測距攝像機(jī)直接獲取(無需處理)的僅有的實際3-D模型，這個圖像是特別有趣的。它亦可通過處理立體鏡圖像素材而被產(chǎn)生。幾何子層可以不存在，以在內(nèi)容生成側(cè)提供全向后兼容性。在3-D模型的情況下，然后假定正常的單像管圖像表示平3-D模型。以這種方式，該圖像仍可被用作通過圖像增強信息來有效地再現(xiàn)其它圖像的基礎(chǔ)。
圖像增強信息使得從3-D模型再現(xiàn)的圖像特定集合(視點)的質(zhì)量升級。圖像增強信息層可包含幾個子層，每個都可對應(yīng)于單個視點或者離散或(半)連續(xù)范圍的視點。范圍子層使得有運動視差(即移動的觀察者所經(jīng)歷的附近和遠(yuǎn)處的物體看上去不同的移動速度附近的物體看上去比遠(yuǎn)處的物體移動得快)，其中1-D測距使得有水平運動視差。對于3-D演化方案，可包括2-D測距子層。由于它在場景中包含所有的可視3-D信息(全息攝影等效于有極高圖像分辨率的2-D視點測距)，這種測距是重要的?？赡軐τ谝恍?yīng)用，多維測距(例如對于xyz攝像機(jī)位置，αβγ方位和f變焦)可能是有用的，盡管從定義上來說，這種測距不可能包含比2-D視點測距多的信息。
對于自然內(nèi)容，子層正常地將對應(yīng)于被用于記錄的原始攝像機(jī)。例如對于合成內(nèi)容，子層亦可被用于附加特定效果如霧或煙。
圖像增強的實際方法可以是任何方法。好的候選者應(yīng)在圖像增強信息中包括原始圖像和從3-D模型的適當(dāng)再現(xiàn)之間的差(誤差)。在接收器處，不管在3-D模型層中造成的任何誤差，被再現(xiàn)的圖像加上差圖像則將產(chǎn)生原始圖像。
圖像增強信息可使用例如DCT變換和無損或有損系數(shù)編碼而被編碼。這種方法亦被用于MPEG-2和MPEG-4中以在它們已通過復(fù)制來自先前被解碼圖像的部分而被構(gòu)建之后升級圖像。對于彼此接近的單個視點，其圖像之間的相關(guān)性(交叉相關(guān))亦可被用于編碼過程。這對于視點范圍是重要的，其中在該范圍內(nèi)的相關(guān)是很高的。
依照本發(fā)明的可視通信信號具有以下特征-它適用于各種不同的獲取和顯示設(shè)備；-不論何時當(dāng)獲取和顯示設(shè)備共享相同的形態(tài)時，或者當(dāng)顯示器僅使用來自獲取設(shè)備的部分?jǐn)?shù)據(jù)時，如常規(guī)單像管顯示器，不管圖像處理的技術(shù)狀況，它使得能進(jìn)行高質(zhì)量傳輸；-不論何時當(dāng)獲取和顯示設(shè)備具有不同形態(tài)時，傳輸仍是可能的，而質(zhì)量依賴于圖像處理的技術(shù)狀況。
以這種方式，可從可兼容2-D的、高質(zhì)量3-D電視有一個成功的開始，同時使得有了設(shè)備和處理技術(shù)的演化進(jìn)程。
應(yīng)指出，用于解決3-D電視難題的其它可視通信信號已被提出-使用包含單個圖像的基層和包含與單個圖像有關(guān)的圖像增強信息的增強層(如在MPEG-2多視圖輪廓(MVP)系統(tǒng)中所使用的)。
-使用特定的基于圖像的可視通信信號，例如立體素材。這產(chǎn)生了高質(zhì)量3-D圖像，但亦產(chǎn)生對不同顯示設(shè)備的使用的局限性(僅可使用立體顯示器)。
-使用沒有圖像增強信息的3-D模型，例如僅“圖像+深度”3-D模型或VRML/八叉樹3-D模型或者如被公開于以上所提及論文的光場模型。這導(dǎo)致了由于圖像分析的技術(shù)狀況而造成的被降級的圖像質(zhì)量。
依照本發(fā)明的可視通信信號實施例的特征在于，對應(yīng)于單個3-D圖像的圖像增強信息涉及基本上整個單個3-D圖像。通過將圖像增強信息應(yīng)用于整個3-D圖像，可避免在其中存在透明前景對象的重構(gòu)圖像中的問題。當(dāng)圖像增強信息僅填充再現(xiàn)中的孔時，的確發(fā)生這種問題。例如，“圖像+深度”3-D模型給所表示的拓?fù)湓黾恿司窒扌?。不論何時當(dāng)圖像從基本上不同于原始圖像的視點被再現(xiàn)時，孔出現(xiàn)于再現(xiàn)中。這種“孔填充”增強方法僅在圖像的本地考慮所述孔，而不考慮貫穿整個圖像而一直發(fā)生的圖像/信號處理問題。
發(fā)明概念的可能應(yīng)用包括以下-通過僅傳輸正常圖像而使得單像管TV可用。這個圖像被包含于3-D模型層中，其中“圖像+深度”型3-D模型被使用而沒有深度圖像。
-通過使用有單個視點的兩個子層或者與來自“圖像+深度”3-D模型的正常圖像組合的僅一個而使得高質(zhì)量立體鏡成像可用。
-多視圖顯示器如飛利浦3D-LCD可由許多單個視點的子層或用僅一個離散范圍的視點的子層來服務(wù)。對于可支持多達(dá)100個視點、在場景上提供幾乎連續(xù)范圍的3-D視點的將來顯示器，此后者的子層是重要的。對于沒有任何畸變地以實際3-D幾何形狀并以全運動視差來示出場景的將來顯示器，視點的2-D測距(range)將變得重要。
-通過手動瀏覽視點子層可使得能例如借助TV遙控機(jī)構(gòu)由用戶進(jìn)行手動視點選擇。
依照本發(fā)明的可視通信系統(tǒng)被安排用于將依照本發(fā)明的可視通信信號從發(fā)射器傳輸?shù)浇邮掌鳌＿@種可視通信系統(tǒng)包括3-D電視、電話會議和遙控外科系統(tǒng)。
依照本發(fā)明的有形介質(zhì)被安排用于載運依照本發(fā)明的可視通信信號。依照本發(fā)明的可視通信信號可被存儲于適當(dāng)?shù)男畔⑤d體上，如硬盤、CD-ROM、DVD-ROM等。
依照本發(fā)明的可視通信信號可以是(被包括于)MPEG視頻流，其將圖像模型信息和圖像增強信息作為私人或用戶數(shù)據(jù)載運或者在分離的PID中載運?？蛇x地，可視通信信號可在互聯(lián)網(wǎng)上被傳輸以方便互聯(lián)網(wǎng)TV。
從參照附圖的優(yōu)選實施例的以下描述中，本發(fā)明的以上目的和特征將是較為明顯的，在附圖中

圖1圖解地示出依照本發(fā)明的可視通信信號32的幾個實施例，圖2示出依照本發(fā)明的可視通信系統(tǒng)40的實施例的方塊圖，圖3示出依照本發(fā)明的有形介質(zhì)50的實施例，圖4示意性地示出依照本發(fā)明的發(fā)射器的最重要的元件，并且圖5示意性地示出依照本發(fā)明的接收器的最重要的元件。
在圖中，相同的部分被提供有相同的參考數(shù)字。
圖1圖解地示出依照本發(fā)明的可視通信信號32的幾個可能實施例。可視通信信號32包括3-D模型層10中的圖像模型信息和圖像增強層20中的圖像增強信息。從圖像模型信息，(3-D)圖像可從任何任意的視點被再現(xiàn)。這確保了在演化進(jìn)程的任何時間可使用任何顯示器(單像管、立體鏡、多視圖顯示器)。圖像增強信息確保視點的特定集合、那些原先被記錄以產(chǎn)生3-D圖像模型的可被沒有假象地再現(xiàn)。
圖像模型信息(或3-D模型)是對來自獲取設(shè)備的所有或幾乎所有數(shù)據(jù)進(jìn)行分析處理的結(jié)果。例如，50攝像機(jī)獲取設(shè)備仍產(chǎn)生單個3-D模型。由于后者通常包含較少的信息位，3-D模型可被用于有效的編碼。
3-D模型層10可包括一個或多個3-D模型，如線框或VRML模型14、體素映像(如MRI圖像)、分級體素映像(八叉樹模型)18或2D對象的集合16(例如，如在MPEG-4中所使用的)。除了自然的內(nèi)容，3-D模型亦可包含合成的內(nèi)容(計算機(jī)圖形)。
為確保與常規(guī)單像管系統(tǒng)的兼容性，可使用特定的3-D模型12，其由正常單像管圖像加上有幾何信息的附加子層組成。后者可例如是包含每個像素的深度z(或者1/z，被稱為不均衡，或者導(dǎo)出量，如不均衡導(dǎo)數(shù))的特定圖像。由于它是目前可被所謂的測距攝像機(jī)直接獲取(無需處理)的僅有的實際3-D模型，這個圖像是特別有趣的。它亦可通過處理立體鏡圖像素材而被產(chǎn)生。幾何子層可以不存在，以在內(nèi)容生成側(cè)提供全向后兼容性。在3-D模型的情況下，然后假定正常的單像管(monoscopic)圖像表示平3-D模型。以這種方式，該圖像仍可被用作通過圖像增強信息來有效地再現(xiàn)其它圖像的基礎(chǔ)。
圖像增強信息使得從3-D模型再現(xiàn)的圖像特定集合(視點)的質(zhì)量升級。圖像增強信息層20可包含一個或多個子層22...28，每個都可對應(yīng)于單個視點22、24或者離散或(半)連續(xù)范圍的視點26、28。測距(range)子層26、28使得有運動視差(即移動的觀察者所經(jīng)歷的附近和遠(yuǎn)處的物體的看上去不同的移動速度附近的物體看上去比遠(yuǎn)處的物體移動得快)，其中1-D測距26使得有水平運動視差。對于3-D演化進(jìn)程，可包括2-D測距子層28。由于它在場景中包含所有的可視3-D信息(全息攝影等效于有極高圖像分辨率的2-D視點測距)，這種測距是重要的?？赡軐τ谝恍?yīng)用，多維測距(例如對于xyz攝像機(jī)位置，αβγ方位和f變焦)可能是有用的，盡管從定義上來說，這種測距不可能包含比2-D視點測距多的信息。
對于自然內(nèi)容，子層正常地將對應(yīng)于被用于記錄的原始攝像機(jī)。例如對于合成內(nèi)容，子層亦可被用于附加特定效果如霧或煙。
圖像增強的實際方法可以是任何方法。好的候選者應(yīng)在圖像增強信息中包括原始圖像和從3-D模型的適當(dāng)再現(xiàn)之間的差(誤差)。在接收器處，不管在3-D模型層中造成的任何誤差，被再現(xiàn)的圖像加上差圖像則將產(chǎn)生原始圖像。
圖像增強信息可使用例如DCT變換和無損或有損系數(shù)編碼而被編碼。這種方法亦被用于MPEG-2和MPEG-4中以在它們已通過復(fù)制來自先前被解碼圖像的部分而被構(gòu)建之后升級圖像。對于彼此接近的單個視點，其圖像之間的相關(guān)性(交叉相關(guān))亦可被用于編碼過程。這對于一個范圍(range)的視點是至關(guān)重要的，其中在該范圍內(nèi)的相關(guān)是很高的。
圖2示出依照本發(fā)明的可視通信系統(tǒng)40的實施例的方塊圖，該可視通信系統(tǒng)40可以是3-D電視系統(tǒng)、3-D電話會議系統(tǒng)、遙控外科系統(tǒng)或互聯(lián)網(wǎng)TV系統(tǒng)?？梢曂ㄐ畔到y(tǒng)40包括發(fā)射器30和接收器34?？梢曂ㄐ畔到y(tǒng)40可包括另外的發(fā)射器30和接收器34?？梢曂ㄐ判盘?2由發(fā)射器30發(fā)射并由接收器34接收。發(fā)射器30可以是CATV網(wǎng)絡(luò)的頭端或者衛(wèi)星電視系統(tǒng)或地球電視網(wǎng)絡(luò)。發(fā)射器30可將預(yù)記錄的或現(xiàn)場的3-D電視節(jié)目廣播到3-D電視接收器34。可選地，接收器34可以是具有用于顯示3-D圖像的顯示器并通過互聯(lián)網(wǎng)接收可視通信信號32的PC。在3-D電話會議的情況下，連接的兩端都具有組合的發(fā)射器30/接收器34，并且可視通信信號32在兩個方向上都被傳輸。
圖3示出作為依照本發(fā)明的有形介質(zhì)50的可能實施例的DVD-ROM50。這種DVD-ROM 50被安排用于載運依照本發(fā)明的可視通信信號。依照本發(fā)明的可視通信信號可選地被存儲于任何適當(dāng)?shù)男畔⑤d體上，如硬盤或CD-ROM等。
圖4示意性地示出依照本發(fā)明的發(fā)射器的最重要的元件。發(fā)射器30可通過輸入52從外部源獲得與欲被發(fā)射的信號有關(guān)的圖像數(shù)據(jù)。發(fā)射器具有含括單元(inclusion unit)54，其將如上述的用于3-D圖像的圖像模型10含括到欲被發(fā)射的信號中。此外，發(fā)射器具有增強單元56，其含括如上述的圖像增強信息20。最后，發(fā)射器具有輸出單元58，其例如在廣播發(fā)射器的情況下輸出可視通信到天線，或者在電纜頭端的情況下輸出到電纜網(wǎng)絡(luò)。
圖5示意性地示出依照本發(fā)明的接收器的最重要的元件。接收器32具有可視信號在那里進(jìn)入接收器的輸入59。信號能以不同的方式被捕獲。例如，如果信號是被廣播，則可以是通過天線，或者如果信號是通過電纜網(wǎng)絡(luò)被傳輸，則是通過電纜。接收器具有用于接收信號并準(zhǔn)備它以便進(jìn)一步處理的接收單元60。在廣播信號的情況下，接收單元可包含調(diào)諧器以便選擇適當(dāng)?shù)念l率。此外，接收器具有提取單元62，用于從信號提取所需信息。如以上所述，這種被提取的信息可以是用于產(chǎn)生3-D圖像的模型信息、用于增強3-D圖像的圖像增強信息、用于單個視點的3-D圖像的增強信息和/或用于一個范圍的視點的3-D圖像的增強信息。典型地，當(dāng)使用被提取的信息時，接收器將把信號處理為可被顯示于顯示設(shè)備64的輸出信號。該顯示設(shè)備適合于顯示3-D圖像并可基于用于這個目的的任何已知技術(shù)，例如飛利浦3D-LCD。
本發(fā)明的范圍不局限于被明確公開的實施例。本發(fā)明被實施以每個新特征和特征的每個組合。任何參考標(biāo)記不限定權(quán)利要求的范圍。單詞“包括”不排除除在權(quán)利要求中所列的那些以外的元件或步驟的存在。元件前“一”或“一個”的使用不排除多個這種單元的存在。
權(quán)利要求
1.一種可視通信信號，包括用于產(chǎn)生至少3-D圖像的圖像模型，特征在于可視通信信號進(jìn)一步包括對應(yīng)于至少部分3-D圖像的圖像增強信息。
2.依照權(quán)利要求1的可視通信信號，特征在于對應(yīng)于單個3-D圖像的圖像增強信息涉及基本上整個單個3-D圖像。
3.依照權(quán)利要求1的可視通信信號，特征在于圖像增強信息包括對應(yīng)于單個視點的圖像信息。
4.依照權(quán)利要求1的可視通信信號，特征在于圖像增強信息包括對應(yīng)于一個范圍的視點的圖像信息。
5.一種可視通信系統(tǒng)，用于將依照權(quán)利要求1的可視通信信號從發(fā)射器傳輸?shù)浇邮掌鳌?br> 6.一種用于發(fā)射可視通信信號的發(fā)射器，該發(fā)射器包括-含括裝置，用于在可視通信信號中含括用于產(chǎn)生3-D圖像的圖像模型信息，和-輸出裝置，用于輸出可視通信信號，特征在于該發(fā)射器進(jìn)一步包括-增強裝置，用于在可視通信信號中含括對應(yīng)于至少部分3-D通信的圖像增強信息。
7.依照權(quán)利要求6的發(fā)射器，特征在于增強裝置被安排以在可視通信信號中含括對應(yīng)于單個3-D圖像的圖像增強信息，由此增強信息涉及基本上整個3-D圖像。
8.依照權(quán)利要求6的發(fā)射器，特征在于增強裝置被安排以在可視通信信號中含括圖像增強信息，由此增強信息包括對應(yīng)于單個視點的圖像信息。
9.依照權(quán)利要求6的發(fā)射器，特征在于增強裝置被安排以在可視通信信號中含括圖像增強信息，由此增強信息包括對應(yīng)于一個范圍的視點的圖像信息。
10.一種用于接收可視通信信號的接收器，該接收器包括-接收裝置，用于接收可視通信信號，和-提取裝置，用于從可視通信信號提取用于產(chǎn)生3-D圖像的圖像模型信息，特征在于-提取裝置被安排以從可視通信信號提取對應(yīng)于至少部分3-D圖像的圖像增強信息。
11.依照權(quán)利要求10的接收器，特征在于提取裝置被安排以從可視通信信號提取對應(yīng)于單個3-D圖像的圖像增強信息，由此增強信息涉及基本上整個3-D圖像。
12.依照權(quán)利要求10的接收器，特征在于提取裝置被安排以從可視通信信號提取圖像增強信息，由此增強信息包括對應(yīng)于單個視點的圖像信息。
13.依照權(quán)利要求10的接收器，特征在于提取裝置被安排以從可視通信信號提取圖像增強信息，由此增強信息包括對應(yīng)于一個范圍的視點的圖像信息。
14.一種傳輸依照權(quán)利要求1的可視通信信號的方法。
15.一種用于載運依照權(quán)利要求1的可視通信信號的有形介質(zhì)。
全文摘要
所公開的是包括用于產(chǎn)生3－D圖像的圖像模型信息(10)的可視通信信號(32)。圖像模型信息(10)可包括3－D圖像模型，例如3－D線框模型或3－D體素映像。一些所產(chǎn)生的3－D圖像可能具有相對低的圖像質(zhì)量。可視通信信號(32)進(jìn)一步包括對應(yīng)于至少部分3－D圖像的圖像增強信息(20)，用于增強所產(chǎn)生的3－D圖像的圖像質(zhì)量。這個圖像增強信息(20)可包括對應(yīng)于一個或多個單個視點(22、24)的圖像信息以及/或者對應(yīng)于一個或多個范圍的視點(26、28)的圖像信息?？梢曂ㄐ判盘?32)可在可視通信系統(tǒng)(40)如3－D電視系統(tǒng)或3－D電話會議系統(tǒng)中被從發(fā)射器(30)傳輸?shù)浇邮掌?34)?？蛇x地，可視通信信號(32)可由有形介質(zhì)例如CD－ROM或DVD－ROM來載運。
文檔編號H04N13/00GK1511419SQ02801908
公開日2004年7月7日 申請日期2002年5月28日 優(yōu)先權(quán)日2001年5月29日
發(fā)明者P·-A·雷德爾特, F·E·埃恩斯特, P·維林斯基, M·J·R·奧普德貝克, P -A 雷德爾特, R 奧普德貝克, 埃恩斯特, 炙夠 申請人:皇家菲利浦電子有限公司