欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

用于高效2d-3d呈現(xiàn)的視頻解碼器中的紋理壓縮的制作方法

文檔序號(hào):7912391閱讀:245來(lái)源:國(guó)知局
專利名稱:用于高效2d-3d呈現(xiàn)的視頻解碼器中的紋理壓縮的制作方法
技術(shù)領(lǐng)域
本發(fā)明涉及配置成輸出壓縮和非壓縮格式的視頻數(shù)據(jù)的視頻解碼器。許多當(dāng)今的圖形用戶界面(⑶I)涉及呈現(xiàn)視頻作為3D圖形場(chǎng)景的一部分。例如, 視頻回放設(shè)備可包含利用3D呈現(xiàn)圖形來(lái)創(chuàng)建3D圖形場(chǎng)景的GUI。用戶可在該GUI中導(dǎo)航以尋找存儲(chǔ)在該視頻回放設(shè)備上的視頻。當(dāng)用戶在該GUI中導(dǎo)航時(shí),這些視頻可作為該3D 圖形場(chǎng)景內(nèi)的預(yù)覽剪輯來(lái)回放。為了在3D⑶I內(nèi)顯示視頻,首先解碼視頻幀,隨后視頻處理器使用已解碼視頻幀來(lái)呈現(xiàn)3D場(chǎng)景。視頻處理器隨后將該場(chǎng)景輸出到顯示器。目前,視頻解碼器以單種非壓縮格式(諸如YUV 4:2:0格式)來(lái)解碼視頻。已解碼視頻從視頻解碼器輸出到顯示處理器中。顯示處理器可覆蓋2D圖像(S卩,3D環(huán)境中的紋理)并隨后向顯示器輸出信號(hào),這些圖像在顯示器中顯示。在某些情形中,顯示處理器先將視頻從YUV 4:2:0格式轉(zhuǎn)換成RGB 8:8:8格式,然后覆蓋紋理并呈現(xiàn)該視頻以在顯示設(shè)備上顯不。然而,為了在3D圖形場(chǎng)景中呈現(xiàn)視頻,以上模型是低效的。如上所述,視頻在傳統(tǒng)上以非壓縮的YUV 4:2:0格式從視頻解碼器輸入到顯示處理器的圖形流水線中。顯示處理器隨后必須將視頻幀轉(zhuǎn)換成壓縮格式,然后使用該壓縮格式通過(guò)覆蓋紋理來(lái)呈現(xiàn)3D GUI。 這導(dǎo)致用于將非壓縮視頻紋理加載到圖形流水線中所需的額外帶寬以及圖形流水線中用于將非壓縮紋理轉(zhuǎn)換成壓縮紋理的額外指令。用于減少圖形流水線中所需的帶寬和指令的先前解決方案已包括以將無(wú)需由顯示處理器進(jìn)行轉(zhuǎn)換的壓縮格式離線地生成視頻的第二副本。然而,此類解決方案并沒(méi)有考慮在視頻顯示設(shè)備中對(duì)諸如來(lái)自以非壓縮格式向視頻顯示設(shè)備發(fā)送實(shí)況內(nèi)容的源的視頻的運(yùn)行中顯示。此外,需要額外的外部處理和存儲(chǔ)器來(lái)存儲(chǔ)該視頻的附加格式。附圖簡(jiǎn)述

圖1是解說(shuō)用于編碼和解碼視頻信號(hào)的源設(shè)備和目的設(shè)備的框圖。圖2是其中合并了已解碼視頻的所呈現(xiàn)3D場(chǎng)景的實(shí)施例。圖3是用于壓縮視頻幀的過(guò)程的實(shí)施例的流程圖。圖4是使用通過(guò)圖3的過(guò)程解碼的視頻來(lái)呈現(xiàn)場(chǎng)景的過(guò)程的流程圖。圖5是圖1的視頻解碼器的實(shí)施例的框圖。詳細(xì)描述以下詳細(xì)描述針對(duì)某些具體實(shí)施例。然而,本文的教示可以眾多不同方式來(lái)應(yīng)用。 在本說(shuō)明書(shū)中,參考了附圖,其中相同的部件貫穿始終被指定相同的標(biāo)號(hào)。一個(gè)實(shí)施例針對(duì)視頻解碼器,其被設(shè)計(jì)成以適合用于2D和3D圖形呈現(xiàn)兩者的格式輸出已解碼視頻。通過(guò)將視頻解碼成非壓縮和壓縮格式兩者,就能夠以正確格式將視頻幀發(fā)送給顯示處理器(其在一個(gè)實(shí)施例中可包括2D和3D圖形處理器)以減少顯示處理器在所呈現(xiàn)3D圖形用戶界面(GUI)中合并視頻所需的處理。
圖1是解說(shuō)執(zhí)行本公開(kāi)所描述的編碼技術(shù)的視頻編碼和解碼系統(tǒng)10的實(shí)施例的框圖。如圖1中所示,系統(tǒng)10包括源設(shè)備12,該源設(shè)備12經(jīng)由通信信道16向目的設(shè)備14 傳送經(jīng)編碼視頻數(shù)據(jù)。源設(shè)備12可包括視頻源18、視頻編碼器20和發(fā)射機(jī)22。源設(shè)備 12的視頻源18可包括視頻捕捉設(shè)備(諸如攝像機(jī))、包含先前捕捉到的視頻的視頻存檔、 或者來(lái)自視頻內(nèi)容供應(yīng)商的視頻饋送。作為另一替換方案,視頻源18可以生成基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻,或者實(shí)況視頻與計(jì)算機(jī)生成的視頻的組合。在某些情形中,源設(shè)備 12可以是無(wú)線電話或視頻電話,在這種情形中,視頻源18可以是該電話上的攝像機(jī)。在每種情形中,捕捉到的、預(yù)先捕捉到的或者計(jì)算機(jī)生成的視頻可以由視頻編碼器20編碼以經(jīng)由發(fā)射機(jī)22和通信信道16從源設(shè)備12傳送給目的設(shè)備14。視頻編碼器20從視頻源18接收視頻數(shù)據(jù)。從視頻源18接收到的視頻數(shù)據(jù)可以是一系列視頻幀。視頻編碼器20將這一系列幀劃分成編碼單元并處理這些編碼單元以編碼這一系列視頻幀。編碼單元可以是例如整個(gè)幀或幀的部分(即,片斷)。因此,在某些實(shí)例中,幀可被劃分成片斷。視頻編碼器20將每個(gè)編碼單元?jiǎng)澐殖上袼貕K(在本文中被稱為視頻塊或塊)并對(duì)個(gè)體編碼單元內(nèi)的視頻塊進(jìn)行操作以編碼視頻數(shù)據(jù)。因此,編碼單元(例如,幀或片斷)可包含多個(gè)視頻塊。換言之,視頻序列可包括多個(gè)幀,幀可包括多個(gè)片斷,而片斷可包括多個(gè)視頻塊。視頻塊可以具有固定的或變化的大小,并且可以根據(jù)指定的編碼標(biāo)準(zhǔn)而大小不同。作為示例,國(guó)際電信聯(lián)盟標(biāo)準(zhǔn)化組(ITU-T)H. 264/MPEG-4第10部分,高級(jí)視頻編碼 (AVC)(下文稱為“H. 264/MPEG-4第10部分AVC”標(biāo)準(zhǔn))支持各種塊大小(諸如用于亮度分量的16xl6、8x8或4x4像素,以及用于色度分量的8x8像素)中的幀內(nèi)預(yù)測(cè)??稍诟鞣N塊大小(諸如用于亮度分量的16χ16、16χ8、8χ16、8χ8、8χ4、4χ8和4x4像素以及用于色度分量的相應(yīng)經(jīng)縮放大小)中執(zhí)行幀間預(yù)測(cè)。在H.沈4中,例如,16X16像素的每個(gè)視頻塊(常被稱為宏塊(MB))可被細(xì)分成較小大小的子塊且在子塊中進(jìn)行幀內(nèi)或幀間預(yù)測(cè)。一般而言, MB和各種子塊可被認(rèn)為是視頻塊。因此,MB可被認(rèn)為是視頻塊,并且如果被劃分或細(xì)分,那么MB本身可被認(rèn)為定義了視頻塊集合。對(duì)于每個(gè)視頻塊,視頻編碼器20為該塊選擇塊類型。塊類型可指示該塊是使用幀間預(yù)測(cè)還是幀內(nèi)預(yù)測(cè)來(lái)預(yù)測(cè)以及該塊的劃分大小。例如,H. 264/MPEG-4第10部分AVC標(biāo)準(zhǔn)支持?jǐn)?shù)種幀間和幀內(nèi)預(yù)測(cè)塊類型,包括幀間16x16、幀間16x8、幀間8x16、幀間8x8、幀間 8x4、幀間虹4、幀內(nèi)16x16、幀內(nèi)8x8、和幀內(nèi)虹4。如下文詳細(xì)描述的,視頻編碼器20可以為要編碼的每個(gè)視頻塊選擇這些塊類型之一。視頻編碼器20還為每個(gè)視頻塊選擇預(yù)測(cè)模式。在幀內(nèi)編碼視頻塊的情形中,預(yù)測(cè)模式可確定使用一個(gè)或更多個(gè)先前編碼的視頻塊來(lái)預(yù)測(cè)當(dāng)前視頻塊的方式。在H. 264/ MPEG-4第10部分AVC標(biāo)準(zhǔn)中,例如,視頻編碼器20可以為每個(gè)幀內(nèi)4x4塊選擇9種可能的單向預(yù)測(cè)模式之一縱向預(yù)測(cè)模式、橫向預(yù)測(cè)模式、DC預(yù)測(cè)模式、對(duì)角向下/左預(yù)測(cè)模式、對(duì)角向下/右預(yù)測(cè)模式、縱向-向右預(yù)測(cè)模式、橫向-向下預(yù)測(cè)模式、縱向-向左預(yù)測(cè)模式和橫向-向上預(yù)測(cè)模式。類似的預(yù)測(cè)模式被用于預(yù)測(cè)每個(gè)幀內(nèi)8x8塊。對(duì)于幀內(nèi)16x16塊, 視頻編碼器20可選擇4種可能的單向模式之一縱向預(yù)測(cè)模式、橫向預(yù)測(cè)模式、DC預(yù)測(cè)模式、和平面預(yù)測(cè)模式。在某些實(shí)例中,視頻編碼器20可從預(yù)測(cè)模式集合中選擇預(yù)測(cè)模式,該預(yù)測(cè)模式集合不僅包括單向預(yù)測(cè)模式,而且還包括定義單向模式的組合的一種或更多種多向預(yù)測(cè)模式。例如,這一種或更多種多向預(yù)測(cè)模式可以是組合如下文更詳細(xì)地描述的兩種單向預(yù)測(cè)模式的雙向預(yù)測(cè)模式。在為視頻塊選擇預(yù)測(cè)模式之后,視頻編碼器20使用所選預(yù)測(cè)模式生成預(yù)測(cè)視頻塊。從原始視頻塊減去預(yù)測(cè)視頻塊以形成殘差塊。殘差塊包括對(duì)原始視頻塊的像素值與所生成預(yù)測(cè)塊的像素值之差進(jìn)行量化的像素差值的集合。殘差塊可以二維塊格式(例如,像素差值的二維矩陣或陣列)來(lái)表示。繼生成殘差塊之后,視頻編碼器20可在編碼殘差塊之前對(duì)該塊執(zhí)行數(shù)種其他操作。視頻編碼器20可對(duì)像素值殘差塊應(yīng)用變換(諸如整數(shù)變換、DCT變換、方向變換或小波變換)以產(chǎn)生變換系數(shù)塊。變換系數(shù)可以是殘差塊的頻域表示。因此,視頻編碼器20將殘差像素值轉(zhuǎn)換成變換系數(shù)(也被稱為殘差變換系數(shù))。殘差變換系數(shù)可被稱為變換塊或系數(shù)塊。在應(yīng)用不可分離變換時(shí),殘差變換系數(shù)可以是這些系數(shù)的一維表示,而在應(yīng)用可分離變換時(shí),殘差變換系數(shù)可以是這些系數(shù)的二維表示。不可分離變換可包括不可分離的方向變換??煞蛛x變換可包括可分離的方向變換、DCT變換、整數(shù)變換、以及小波變換。繼變換之后,視頻編碼器20執(zhí)行量化以生成量化變換系數(shù)(也被稱為量化系數(shù)或量化殘差系數(shù))。量化系數(shù)也可以一維向量格式或二維塊格式來(lái)表示。量化一般是指對(duì)系數(shù)進(jìn)行量化以便有可能減少用于表示這些系數(shù)的數(shù)據(jù)量的過(guò)程。量化過(guò)程可減少與某些或所有系數(shù)相關(guān)聯(lián)的比特深度。如本文中所使用的,術(shù)語(yǔ)“系數(shù)”可表示變換系數(shù)、量化系數(shù)或其他類型的系數(shù)。本公開(kāi)的技術(shù)在某些實(shí)例中既可應(yīng)用于殘差像素值也可應(yīng)用于變換系數(shù)和量化變換系數(shù)。在使用可分離變換并且以二維塊格式來(lái)表示系數(shù)塊時(shí),視頻編碼器20將這些系數(shù)從二維格式掃描成一維格式。換言之,視頻編碼器20可掃描來(lái)自二維塊的系數(shù)以將這些系數(shù)串行化為一維系數(shù)向量。根據(jù)本公開(kāi)的一個(gè)方面,視頻編碼器20可基于所采集的統(tǒng)計(jì)來(lái)調(diào)整用于將系數(shù)塊轉(zhuǎn)換成一維的掃描次序。該統(tǒng)計(jì)可包括二維塊的每個(gè)位置的給定系數(shù)值為零或非零的可能性的指示,并且例如可包括與該二維塊的每個(gè)系數(shù)位置相關(guān)聯(lián)的計(jì)數(shù)、概率或其他統(tǒng)計(jì)度量。在某些實(shí)例中,可僅針對(duì)塊的系數(shù)位置子集采集統(tǒng)計(jì)。在評(píng)價(jià)掃描次序時(shí),例如在特定數(shù)目的塊之后,可改變掃描次序以使得塊內(nèi)被確定為具有非零系數(shù)的概率較高的系數(shù)位置先于該塊內(nèi)被確定為具有非零系數(shù)的概率較低的系數(shù)位置被掃描。 這樣,初始掃描次序可被適配以便更高效地將非零系數(shù)編組在一維系數(shù)向量的開(kāi)頭以及將零值系數(shù)編組在一維系數(shù)向量的末尾。這又可以減少在熵編碼上所用的比特?cái)?shù)目,因?yàn)樵谠撘痪S系數(shù)向量開(kāi)頭的非零系數(shù)之間有較短的零串而在該一維系數(shù)向量末尾有較長(zhǎng)的零串ο繼系數(shù)掃描之后,視頻編碼器20使用各種各樣的熵編碼方法(諸如上下文自適應(yīng)可變長(zhǎng)度編碼(CAVLC)、上下文自適應(yīng)二進(jìn)制算術(shù)編碼(CABAC)、行程編碼或諸如此類)中的任一種來(lái)編碼該編碼單元的每個(gè)視頻塊。源設(shè)備12經(jīng)由發(fā)射機(jī)22和信道16將經(jīng)編碼視頻數(shù)據(jù)傳送給目的設(shè)備14。通信信道16可包括任何無(wú)線或有線通信介質(zhì),諸如射頻(RF) 頻譜或者一條或更多條物理傳輸線,或者無(wú)線和有線介質(zhì)的任何組合。通信信道16可以構(gòu)成基于分組的網(wǎng)絡(luò)(諸如局域網(wǎng)、廣域網(wǎng)或者諸如因特網(wǎng)之類的全球網(wǎng)絡(luò))的一部分。通信信道16 —般表示用于從源設(shè)備12向目的設(shè)備14傳送經(jīng)編碼視頻數(shù)據(jù)的任何適宜的通信介質(zhì)或者不同通信介質(zhì)的集合。
目的設(shè)備14可包括接收機(jī)對(duì)、視頻解碼器沈、顯示處理器27、以及顯示設(shè)備28。 接收機(jī)M是接收視頻信號(hào)的一種裝置,其經(jīng)由信道16從源設(shè)備12接收經(jīng)編碼視頻比特流。視頻解碼器26應(yīng)用熵解碼來(lái)解碼該經(jīng)編碼視頻比特流以獲得經(jīng)編碼單元的經(jīng)編碼視頻塊的頭部信息、運(yùn)動(dòng)向量、以及量化殘差系數(shù)。如上所述,由源設(shè)備12編碼的量化殘差系數(shù)被編碼為一維向量。因此,視頻解碼器沈掃描經(jīng)編碼視頻塊的量化殘差系數(shù)以便將一維系數(shù)向量轉(zhuǎn)換成二維量化殘差系數(shù)塊。類似于視頻編碼器20,視頻解碼器沈可采集指示視頻塊中的給定系數(shù)位置為零或非零的可能性的統(tǒng)計(jì)并藉此以與在編碼過(guò)程中使用的方式相同的方式調(diào)整掃描次序。相應(yīng)地,可由視頻解碼器26應(yīng)用互易自適應(yīng)掃描次序以將串行化的量化變換系數(shù)的一維向量表示變回二維量化變換系數(shù)塊。視頻解碼器吏用已解碼頭部信息和已解碼殘差信息來(lái)重構(gòu)編碼單元的每個(gè)塊。具體而言,視頻解碼器26可生成當(dāng)前視頻塊的預(yù)測(cè)視頻塊并將該預(yù)測(cè)塊與相應(yīng)的殘差視頻塊組合以重構(gòu)每個(gè)視頻塊。應(yīng)注意,在某些實(shí)施例中,由視頻解碼器沈和視頻編碼器 20生成的預(yù)測(cè)塊是相同的。因此,通過(guò)將在經(jīng)編碼視頻比特流中傳送的殘差與預(yù)測(cè)塊相組合,視頻解碼器26生成與視頻編碼器20處生成的塊相同的重構(gòu)塊。視頻解碼器沈隨后可存儲(chǔ)構(gòu)成視頻幀的組合視頻塊。視頻解碼器26可以YUV格式和/或以下文實(shí)施例中描述的其他格式輸出已解碼視頻。已解碼視頻隨后被發(fā)送給顯示處理器27,其覆蓋紋理并呈現(xiàn)這些紋理和視頻以供在顯示設(shè)備觀上顯示。在某些實(shí)施例中,顯示處理器27可具有有限的2D圖形功能(例如,執(zhí)行簡(jiǎn)單的2D覆蓋和融合的能力)。在其他實(shí)施例中,顯示處理器 27可包括2D和3D圖形處理器,并且可執(zhí)行更復(fù)雜的幾何變換。目的設(shè)備14可經(jīng)由顯示設(shè)備觀向用戶顯示重構(gòu)的視頻塊作為所呈現(xiàn)場(chǎng)景的一部分。顯示設(shè)備觀可包括各種各樣的顯示設(shè)備中的任一種,諸如陰極射線管(CRT)、液晶顯示器(IXD)、等離子顯示器、發(fā)光二極管(LED)顯示器、有機(jī)LED顯示器、或另一種類型的顯示單元。在某些情形中,源設(shè)備12和目的設(shè)備14可以基本上對(duì)稱的方式操作。例如,源設(shè)備12和目的設(shè)備14可各自包括視頻編碼和解碼組件。因此,系統(tǒng)10可支持設(shè)備12、14之間的單向或雙向視頻傳輸,例如用于視頻流送、視頻廣播、或視頻電話。包括視頻編碼和解碼組件的設(shè)備也可構(gòu)成常見(jiàn)的編碼、存檔和回放設(shè)備(諸如數(shù)字錄像器(DVR))的一部分。視頻編碼器20和視頻解碼器沈可根據(jù)各種各樣的視頻壓縮標(biāo)準(zhǔn)中的任一種來(lái)操作,諸如由運(yùn)動(dòng)圖像專家組(MPEG)在MPEG-I、MPEG-2和MPEG-4中定義的那些標(biāo)準(zhǔn)、ITU-T H. 263標(biāo)準(zhǔn)、電影電視工程師協(xié)會(huì)(SMPTE) 42IM視頻編解碼器標(biāo)準(zhǔn)(常被稱為“VC-1 ”)、由中國(guó)音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組(常被稱為“AVS”)定義的標(biāo)準(zhǔn)、以及由標(biāo)準(zhǔn)機(jī)構(gòu)定義或由組織開(kāi)發(fā)作為專用標(biāo)準(zhǔn)的任何其他視頻編碼標(biāo)準(zhǔn)。盡管未在圖1中示出,但在某些方面, 視頻編碼器20和視頻解碼器沈可各自分別與音頻編碼器和解碼器集成,并且可包括恰適的MUX-DEMUX(復(fù)用-分用)單元、或其他硬件和軟件,以用于處理同一數(shù)據(jù)流或分開(kāi)數(shù)據(jù)流中的音頻和視頻兩者的編碼。以此方式,源設(shè)備12和目的設(shè)備14可對(duì)多媒體數(shù)據(jù)進(jìn)行操作。在適用的情況下,MUX-DEMUX單元可遵循ITU H. 223復(fù)用器協(xié)議、或其他協(xié)議(諸如用戶數(shù)據(jù)報(bào)協(xié)議(UDP))。在某些方面,對(duì)于視頻廣播,本公開(kāi)中描述的技術(shù)可應(yīng)用于增強(qiáng)型H. 264視頻編碼,以用于在地面移動(dòng)多媒體多播(TM3)系統(tǒng)中使用唯前向鏈路(FLO)空中接口規(guī)范“Forward Link Only Air Interface Specification for Terrestrial MobileMultimedia Multicast (用于地面移動(dòng)多媒體多播的唯前向鏈路空中接口規(guī)范),2007年7 月公布為技術(shù)標(biāo)準(zhǔn)TIA-1099( “FLO規(guī)范”)”來(lái)遞送實(shí)時(shí)視頻服務(wù)。也就是說(shuō),通信信道16 可包括用于根據(jù)FLO規(guī)范等來(lái)廣播無(wú)線視頻信息的無(wú)線信息信道。FLO規(guī)范包括定義適用于FLO空中接口的比特流句法和語(yǔ)義以及解碼過(guò)程的示例。替換地,可根據(jù)其他標(biāo)準(zhǔn)(諸如DVB-H (手持?jǐn)?shù)字視頻廣播)、ISDB-T (地面綜合業(yè)務(wù)數(shù)字廣播)、或DMB(數(shù)字媒體廣播))來(lái)廣播視頻。因此,源設(shè)備12可以是移動(dòng)無(wú)線終端、視頻流送服務(wù)器、或視頻廣播服務(wù)器。然而,本公開(kāi)中描述的技術(shù)不限于任何特定類型的廣播、多播或點(diǎn)對(duì)點(diǎn)系統(tǒng)。在廣播的情形中,源設(shè)備12可向多個(gè)目的設(shè)備廣播視頻數(shù)據(jù)的若干信道,其中每個(gè)目的設(shè)備可類似于圖1的目的設(shè)備14。因此,盡管圖1中示出了單個(gè)目的設(shè)備14,但對(duì)于視頻廣播應(yīng)用,源設(shè)備12將通常同時(shí)向許多目的設(shè)備廣播視頻內(nèi)容。在其他示例中,發(fā)射機(jī)22、通信信道16和接收機(jī)M可被配置成根據(jù)任何有線或無(wú)線通信系統(tǒng)一包括以太網(wǎng)、電話(例如,POTS)、電纜、電力線和光纖系統(tǒng)中的一種或更多種,和/或無(wú)線系統(tǒng)——包括碼分多址(CDMA或CDMA2000)通信系統(tǒng)、頻分多址(FDMA) 系統(tǒng)、正交頻分多址(OFDM)系統(tǒng)、時(shí)分多址(TDMA)系統(tǒng)(諸如GSM(全球移動(dòng)通信系統(tǒng))、 GPRS (通用分組無(wú)線電業(yè)務(wù))、或EDGE (增強(qiáng)型數(shù)據(jù)GSM環(huán)境))、TETRA (地面集群無(wú)線電) 移動(dòng)電話系統(tǒng)、寬帶碼分多址(WCDMA)系統(tǒng)、高數(shù)據(jù)率IxEV-DO(第一代唯演進(jìn)數(shù)據(jù))或 IxEV-DO Gold 多播系統(tǒng)、IEEE 802. 18 系統(tǒng)、MediaFLO. TM.系統(tǒng)、DMB 系統(tǒng)、DVB-H 系統(tǒng)中的一種或更多種,或者用于兩個(gè)或更多個(gè)設(shè)備之間的數(shù)據(jù)通信的另一方案來(lái)通信。視頻編碼器20和視頻解碼器沈各自可被實(shí)現(xiàn)為一個(gè)或更多個(gè)微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)、分立邏輯、軟件、硬件、 固件或其任何組合。視頻編碼器20和視頻解碼器沈中的每一者可被包括在一個(gè)或更多個(gè)編碼器或解碼器中,該一個(gè)或更多個(gè)編碼器或解碼器中的任何一者可被整合為各個(gè)移動(dòng)設(shè)備、訂戶設(shè)備、廣播設(shè)備、服務(wù)器等中的組合編碼器/解碼器(CODEC)的一部分。另外,源設(shè)備12和目的設(shè)備14各自可以包括用于傳送和接收經(jīng)編碼視頻的恰適調(diào)制、解調(diào)、頻率轉(zhuǎn)換、濾波、和放大器組件,且在適用的情況下包括足以支持無(wú)線通信的射頻(RF)無(wú)線組件和天線。然而,為便于解說(shuō),在圖1中將此類組件概括為源設(shè)備12的發(fā)射機(jī)22和目的設(shè)備 14的接收機(jī)24。圖5是配置成以壓縮和非壓縮格式兩者輸出視頻數(shù)據(jù)的視頻解碼器沈的一個(gè)實(shí)施例。經(jīng)編碼比特流被饋送到系統(tǒng)500中。該比特流的各部分可對(duì)應(yīng)于不同的宏塊。此夕卜,這些宏塊中的若干宏塊可構(gòu)成單個(gè)視頻幀。對(duì)應(yīng)于給定宏塊的比特流部分在熵解碼單元502處被熵解碼以形成殘差塊。該殘差塊隨后在逆掃描單元504處被逆掃描,在逆量化單元506處被逆量化、以及在逆變換單元508處被逆變換。生成預(yù)測(cè)宏塊并在加法單元510 處相加。以上描述的預(yù)測(cè)宏塊可以是兩種類型的——幀內(nèi)和幀間??臻g補(bǔ)償單元516使用相鄰宏塊來(lái)生成幀內(nèi)預(yù)測(cè)宏塊。運(yùn)動(dòng)補(bǔ)償單元518使用存儲(chǔ)在參考幀存儲(chǔ)520 (其可包括存儲(chǔ)器)處的先前/將來(lái)幀來(lái)生成幀間預(yù)測(cè)宏塊。開(kāi)關(guān)522可被切換成將幀內(nèi)或幀間預(yù)測(cè)宏塊中的任一者發(fā)送給加法單元510以生成輸出信號(hào)。所得的重構(gòu)宏塊隨后被發(fā)送給解塊濾波單元512,重構(gòu)宏塊在此被濾波。例如,宏塊邊緣可被濾波以防止可能在視覺(jué)上令人不喜的成塊偽像。所生成的輸出是原始像素集合,其為非壓縮格式輸出(例如,YUV 4:2:0格式或YUV 4:2:2格式的宏塊)。在一個(gè)實(shí)施例中,非壓縮輸出可以是大小為16x16的塊。非壓縮輸出可被存儲(chǔ)以用于重構(gòu)其他視頻幀。 對(duì)非壓縮輸出的修改可導(dǎo)致后來(lái)重構(gòu)的幀中有可見(jiàn)偽像。該原始像素輸出被發(fā)送給壓縮單元514,在此該原始像素輸出被轉(zhuǎn)換成適合在圖形流水線中使用的壓縮格式輸出。在一個(gè)實(shí)施例中,壓縮輸出可以是大小為4x4的塊單元。原始像素輸出還被發(fā)送給參考幀存儲(chǔ)520 并被存儲(chǔ)在參考幀存儲(chǔ)520中,其可用于生成預(yù)測(cè)宏塊。在一個(gè)實(shí)施例中,壓縮單元514執(zhí)行以下描述的過(guò)程300的步驟以生成壓縮格式輸出。對(duì)應(yīng)于已解碼壓縮宏塊的來(lái)自壓縮單元514的輸出被存儲(chǔ)在存儲(chǔ)器524中。隨著比特流被解碼,多個(gè)已解碼壓縮宏塊被存儲(chǔ)在存儲(chǔ)器5M中。當(dāng)對(duì)應(yīng)于給定視頻幀的所有宏塊都已被存儲(chǔ)在存儲(chǔ)器5M中時(shí),存儲(chǔ)器524 包含壓縮視頻幀。在某些實(shí)施例中,該壓縮視頻幀隨后被讀入顯示處理器27的3D圖形流水線以用于呈現(xiàn)作為3D GUI或場(chǎng)景的一部分,這在下文描述。圖2是本公開(kāi)的所呈現(xiàn)3D⑶I 200的快照的一個(gè)實(shí)施例。在該實(shí)施例中,視頻 202-216中的每一個(gè)或視頻202-216的任何子集可能正在該⑶I內(nèi)回放。此外,每個(gè)視頻可在該GUI內(nèi)相對(duì)于2D或3D平面移動(dòng),以使得該視頻在繼續(xù)播放的同時(shí)在該場(chǎng)景內(nèi)改變角度和位置。在一個(gè)實(shí)施例中,顯示處理器27支持能夠生成3D⑶I或場(chǎng)景的3D圖形流水線的處理。3D圖形流水線可包括用于將3D場(chǎng)景轉(zhuǎn)換成2D光柵圖像的軟件或固件。3D圖形流水線包括一系列階段,其中在該流水線開(kāi)頭輸入用于生成3D圖像(例如,3D環(huán)境中的紋理) 的數(shù)據(jù)(例如,場(chǎng)景描述數(shù)據(jù),諸如幾何形狀、光照等)和圖像并在該流水線末尾輸出2D光柵圖像。該輸入在圖形流水線的每個(gè)階段被處理。一旦給定階段的處理完成,該輸入就移至下一階段,直至其到達(dá)該圖形流水線的末尾。在一個(gè)實(shí)施例中,該3D圖形流水線包括建模變換階段、逐頂點(diǎn)光照階段、觀察變換階段、投影變換階段、剪輯階段、光柵化階段、紋理化階段、以及顯示階段。顯示處理器27可被認(rèn)為是3D圖形流水線的物理化身。在該實(shí)施例中,顯示處理器27在每個(gè)階段處理輸入。如關(guān)于圖5所討論的,視頻解碼器沈獲取對(duì)應(yīng)于視頻幀的比特流。視頻解碼器沈隨后將該比特流解碼成壓縮格式(例如,RGB 8:8:8)并存儲(chǔ)壓縮視頻幀以用在3D圖形流水線中。視頻幀從存儲(chǔ)移至3D圖形流水線。在其他實(shí)施例中,該壓縮格式的數(shù)據(jù)被直接發(fā)送給3D圖形流水線。覆蓋紋理并呈現(xiàn)3D場(chǎng)景,而無(wú)需流水線中的額外階段來(lái)將該視頻轉(zhuǎn)換成能夠在3D場(chǎng)景中呈現(xiàn)的格式。如以上討論的,顯示處理器27是3D圖形流水線的物理化身并且覆蓋紋理以及生成3D場(chǎng)景。顯示處理器27隨后光柵化該3D場(chǎng)景(即,將其轉(zhuǎn)換成2D像素集合)以用于在顯示設(shè)備觀上顯示。在某些實(shí)施例中,顯示處理器27可從視頻解碼器26接收壓縮格式和/或非壓縮格式的視頻幀。顯示處理器27隨后可呈現(xiàn)或者壓縮格式或者非壓縮格式以用于在顯示設(shè)備觀上顯示。在一個(gè)實(shí)施例中,視頻解碼器沈被配置成以與顯示處理器27用于壓縮紋理并使用那些紋理來(lái)呈現(xiàn)3D場(chǎng)景的格式相對(duì)應(yīng)的格式來(lái)輸出數(shù)據(jù)。顯示處理器27的不同實(shí)施例可利用一種或更多種不同的紋理壓縮方案。紋理壓縮方案減少了與在圖形流水線中加載紋理以制作場(chǎng)景相關(guān)聯(lián)的帶寬。一個(gè)示例是將RGB 8:8:8格式的M比特圖形壓縮成4比特圖形。紋理壓縮格式的一些示例為DXT、ATI和ETCl。這些壓縮技術(shù)利用塊截?cái)嗑幋a(BTC)。 在BTC中,視頻幀被劃分成非交迭塊。這些塊中的每一塊隨后以固定壓縮比被壓縮。在各種壓縮格式之間變化的一個(gè)方面是它們針對(duì)不同的塊特性引入的畸變量。圖3是用于紋理壓縮的過(guò)程300的一個(gè)實(shí)施例。在步驟302,從存儲(chǔ)器讀取非壓縮格式的來(lái)自視頻幀的塊。在下一步驟304,對(duì)這些塊進(jìn)行上采樣。此外,在步驟306,將這些塊的色彩空間從YCbCr轉(zhuǎn)換成RGB。在下一步驟308,將這些塊壓縮成紋理壓縮格式之一。 過(guò)程300的步驟由視頻解碼器沈執(zhí)行,且所得的壓縮視頻幀被發(fā)送給3D圖形流水線。圖4是接收經(jīng)編碼視頻幀并生成嵌入了該視頻的3D場(chǎng)景以用于在顯示設(shè)備觀上顯示的過(guò)程400的一個(gè)實(shí)施例。在步驟402,視頻解碼器沈接收經(jīng)編碼視頻幀。接下來(lái),在步驟404,該視頻解碼器將視頻幀解碼成非壓縮和壓縮格式。在步驟404的一個(gè)替換性實(shí)施例中,視頻解碼器還如稍后在說(shuō)明書(shū)第W042]段中描述的那樣對(duì)該視頻幀進(jìn)行下采樣。在一些實(shí)施例中,視頻解碼器沈并發(fā)地(即,同時(shí)或在大約相同的時(shí)間)存儲(chǔ)該視頻的已解碼壓縮和已解碼非壓縮格式兩者。在一個(gè)實(shí)施例中,根據(jù)過(guò)程300生成該視頻幀的壓縮格式。在步驟406繼續(xù),將該壓縮視頻幀發(fā)送給圖形流水線。在下一步驟408,顯示處理器27 覆蓋紋理并生成3D場(chǎng)景,該3D場(chǎng)景合并了該壓縮視頻幀作為該3D場(chǎng)景內(nèi)的紋理。在另一步驟410,顯示處理器27基于在步驟408創(chuàng)建的3D場(chǎng)景生成適合用于在2D顯示設(shè)備28上顯示的輸出。在下一步驟412,在顯示設(shè)備28上顯示在步驟410生成的輸出。在某些實(shí)施例中,通過(guò)顯示處理器27呈現(xiàn)的視頻可經(jīng)歷非線性幾何變換。在此類實(shí)施例中,視頻幀的不同部分可能被亞采樣到不同程度。此類亞采樣可能導(dǎo)致不期望的可見(jiàn)偽像,諸如鋸齒狀邊緣。在某些實(shí)施例中,顯示處理器27可包括抗鋸齒濾波機(jī)制以減輕鋸齒偽像。在其他實(shí)施例中,視頻解碼器26可包括抗鋸齒濾波器和/或可被配置成執(zhí)行各種抗鋸齒技術(shù)。這些實(shí)施例可被配置成對(duì)非均勻地亞采樣的視頻幀進(jìn)行操作。應(yīng)注意,在視頻呈現(xiàn)過(guò)程期間,視頻可以與其被解碼的分辨率不同的分辨率來(lái)呈現(xiàn),這是稱為下采樣的過(guò)程。下采樣器可與視頻解碼器交互以創(chuàng)建來(lái)自視頻解碼器的輔助輸出(例如,下采樣和壓縮視頻、下采樣和非壓縮視頻、以及非下采樣和壓縮視頻)。相應(yīng)地,存儲(chǔ)每個(gè)視頻幀所需的存儲(chǔ)器空間可通過(guò)對(duì)視頻幀進(jìn)行下采樣來(lái)進(jìn)一步減少。此外,應(yīng)注意,盡管本公開(kāi)討論了在3D場(chǎng)景中插入單個(gè)視頻,但本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到,該系統(tǒng)還可被配置成呈現(xiàn)合并了多個(gè)視頻的3D場(chǎng)景。本公開(kāi)中所描述的技術(shù)可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。描述為單元或組件的任何特征可以一起實(shí)現(xiàn)在集成邏輯器件中或者單獨(dú)地實(shí)現(xiàn)為分立但可互操作的邏輯器件。如果在軟件中實(shí)現(xiàn),這些技術(shù)可至少部分地由包括指令的計(jì)算機(jī)可讀介質(zhì)來(lái)實(shí)現(xiàn), 這些指令在被執(zhí)行時(shí)執(zhí)行以上所描述的一種或更多種方法。計(jì)算機(jī)可讀介質(zhì)可構(gòu)成計(jì)算機(jī)程序產(chǎn)品的一部分,計(jì)算機(jī)程序產(chǎn)品可包括包裝材料。計(jì)算機(jī)可讀介質(zhì)可以包括隨機(jī)存取存儲(chǔ)器(RAM)(諸如同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(SDRAM))、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存儲(chǔ)器(NVRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存、磁或光數(shù)據(jù)存儲(chǔ)介質(zhì)、 等等。補(bǔ)充地或替換地,這些技術(shù)可以至少部分地由攜帶或傳達(dá)以指令或數(shù)據(jù)結(jié)構(gòu)形式的并且可由計(jì)算機(jī)訪問(wèn)、讀取和/或執(zhí)行的代碼的計(jì)算機(jī)可讀通信介質(zhì)來(lái)實(shí)現(xiàn)。該代碼可以由一個(gè)或更多個(gè)處理器執(zhí)行,諸如一個(gè)或更多個(gè)數(shù)字信號(hào)處理器 (DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程邏輯陣列(FPGA)、或者其他等效的集成或分立邏輯電路系統(tǒng)。相應(yīng)地,如本文中所使用的術(shù)語(yǔ)“處理器”可以指任何前述結(jié)構(gòu)或者任何其他適用于實(shí)現(xiàn)本文中所描述的技術(shù)的結(jié)構(gòu)。另外,在一些方面,本文中所描述的功能性可被設(shè)在配置成用于編碼和解碼的專用軟件單元或硬件單元內(nèi),或者被納入組合視頻編碼器-解碼器(CODEC)。將不同的特征描繪為單元旨在突出所解說(shuō)設(shè)備的不同功能方面并且并非必然暗示此類單元必須由分開(kāi)的硬件或軟件組件來(lái)實(shí)現(xiàn)。確切而言,與一個(gè)或更多個(gè)單元相關(guān)聯(lián)的功能性可集成在公共的或分開(kāi)的硬件或軟件組件內(nèi)。
已描述了本公開(kāi)的各種實(shí)施例。這些及其他實(shí)施例均落在所附權(quán)利要求的范圍之內(nèi)。
權(quán)利要求
1.一種視頻解碼系統(tǒng),包括解碼器,其被配置成接收經(jīng)編碼視頻數(shù)據(jù)并將所述經(jīng)編碼視頻數(shù)據(jù)解碼成非壓縮格式和壓縮紋理格式;存儲(chǔ)器,其被配置成存儲(chǔ)所述非壓縮格式的數(shù)據(jù);以及顯示處理器,其被配置成接收所述壓縮紋理格式的數(shù)據(jù),并且被配置成利用所述壓縮紋理格式的數(shù)據(jù)和代表3D場(chǎng)景的輸出數(shù)據(jù)來(lái)構(gòu)造所述3D場(chǎng)景。
2.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,所述非壓縮格式是YUV4:2:0格式。
3.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,所述非壓縮格式是YUV4:2:2格式。
4.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,所述壓縮格式是RGB格式。
5.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,所述壓縮格式是DXT、ATI或ETCl 格式之一。
6.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,還包括配置成顯示所述3D場(chǎng)景的顯不器。
7.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,所述顯示處理器還被配置成呈現(xiàn)所述非壓縮格式的數(shù)據(jù)以用于顯示。
8.如權(quán)利要求7所述的視頻解碼系統(tǒng),其特征在于,所述顯示處理器還被配置成接收所述非壓縮格式的數(shù)據(jù)并基于所述非壓縮格式的數(shù)據(jù)或所述代表3D場(chǎng)景的數(shù)據(jù)選擇性地向顯示設(shè)備輸出圖像。
9.如權(quán)利要求1所述的視頻解碼系統(tǒng),其特征在于,還包括用于存儲(chǔ)所述壓縮格式的數(shù)據(jù)的存儲(chǔ)器。
10.一種解碼視頻的方法,包括 接收經(jīng)編碼視頻數(shù)據(jù);將所述經(jīng)編碼視頻數(shù)據(jù)解碼成非壓縮格式和壓縮格式; 存儲(chǔ)所述非壓縮格式的數(shù)據(jù);讀取所述壓縮格式的數(shù)據(jù)以用于呈現(xiàn)作為3D場(chǎng)景的一部分;以及輸出代表所述3D場(chǎng)景的數(shù)據(jù)。
11.如權(quán)利要求10所述的方法,其特征在于,所述經(jīng)編碼視頻數(shù)據(jù)代表2D視頻場(chǎng)景。
12.如權(quán)利要求10所述的方法,其特征在于,所述非壓縮格式是YUV4:2:0格式。
13.如權(quán)利要求10所述的方法,其特征在于,所述非壓縮格式是YUV4:2:2格式。
14.如權(quán)利要求10所述的方法,其特征在于,所述壓縮格式是RGB格式。
15.如權(quán)利要求10所述的方法,其特征在于,所述壓縮格式是DXT、ATI或ETCl格式之。
16.如權(quán)利要求10所述的方法,其特征在于,還包括呈現(xiàn)所述非壓縮格式的數(shù)據(jù)以用于顯示。
17.如權(quán)利要求17所述的方法,其特征在于,還包括基于所述非壓縮格式的數(shù)據(jù)或所述代表所述3D場(chǎng)景的數(shù)據(jù)選擇性地向顯示設(shè)備輸出圖像。
18.如權(quán)利要求10所述的方法,其特征在于,還包括存儲(chǔ)所述壓縮格式的數(shù)據(jù)。
19.一種視頻解碼器,包括 用于接收經(jīng)編碼視頻數(shù)據(jù)的裝置;用于將所述經(jīng)編碼視頻數(shù)據(jù)解碼成非壓縮格式和壓縮格式的裝置; 用于存儲(chǔ)所述非壓縮格式的數(shù)據(jù)的裝置;以及用于讀取所述壓縮格式的數(shù)據(jù)以用于呈現(xiàn)的裝置。
20.如權(quán)利要求19所述的視頻解碼器,其特征在于,所述用于接收的裝置包括解碼器, 所述用于解碼的裝置包括所述解碼器,所述用于存儲(chǔ)的裝置包括存儲(chǔ)器,以及所述用于讀取的裝置包括顯示處理器。
21.一種包括指令的計(jì)算機(jī)可讀介質(zhì),所述指令在被執(zhí)行時(shí)執(zhí)行一種方法,所述方法包括接收經(jīng)編碼視頻數(shù)據(jù);將所述經(jīng)編碼視頻數(shù)據(jù)解碼成非壓縮格式和壓縮格式; 存儲(chǔ)所述非壓縮格式的數(shù)據(jù);讀取所述壓縮格式的數(shù)據(jù)以用于呈現(xiàn)作為3D場(chǎng)景的一部分;以及輸出代表所述3D場(chǎng)景的數(shù)據(jù)。
全文摘要
在視頻解碼系統(tǒng)中,一種方法和系統(tǒng)用于將先前編碼的視頻幀解碼成壓縮和非壓縮格式。非壓縮格式幀可被進(jìn)一步存儲(chǔ)并用于解碼附加的視頻幀。壓縮格式幀可被進(jìn)一步存儲(chǔ)并被提供給顯示處理器以隨附加紋理一起呈現(xiàn)。
文檔編號(hào)H04N7/26GK102474604SQ201080030305
公開(kāi)日2012年5月23日 申請(qǐng)日期2010年6月29日 優(yōu)先權(quán)日2009年6月30日
發(fā)明者R·C·納加拉杰, S·A·莫洛伊 申請(qǐng)人:高通股份有限公司
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
保德县| 永安市| 石狮市| 正宁县| 西乌| 政和县| 平遥县| 会理县| 娱乐| 盘山县| 永泰县| 瑞金市| 高邑县| 灵山县| 吴旗县| 罗定市| 黑河市| 灵丘县| 敖汉旗| 沿河| 夹江县| 衡水市| 洱源县| 武强县| 湖南省| 图木舒克市| 广东省| 赞皇县| 乳源| 宽甸| 特克斯县| 辽阳县| 农安县| 吉林省| 崇州市| 云霄县| 广饶县| 石屏县| 兰考县| 仁寿县| 保山市|