專(zhuān)利名稱(chēng)：為獲得三維效果而進(jìn)行的視頻取樣率轉(zhuǎn)換的制作方法
背景技術(shù)：
1.發(fā)明領(lǐng)域本發(fā)明涉及視頻信號(hào)處理領(lǐng)域，特別是通過(guò)視頻取樣率轉(zhuǎn)換產(chǎn)生三維效果。
2.背景技術(shù)高質(zhì)量視頻顯示系統(tǒng)，例如高清晰度電視(HDTV)系統(tǒng)越來(lái)越流行，因此在成本和性能方面的競(jìng)爭(zhēng)愈加激烈。為了保持競(jìng)爭(zhēng)力，一個(gè)系統(tǒng)必須提供更多功能，更吸引買(mǎi)家，或者擁有其它系統(tǒng)所不具備的性能。最好這些系統(tǒng)能夠以與其他不具備這些性能的系統(tǒng)同樣的價(jià)格提供給用戶(hù)，因此功能與價(jià)格的組合對(duì)擴(kuò)大市場(chǎng)份額和提高利潤(rùn)有利。
系統(tǒng)所具備的一個(gè)獨(dú)特功能是，比如，“畫(huà)中畫(huà)(PIP)”功能，其中第二個(gè)視頻圖像可以疊加在主視頻圖像上。最初帶有畫(huà)中畫(huà)功能的電視機(jī)可以賣(mài)一個(gè)好價(jià)錢(qián)。隨后競(jìng)爭(zhēng)的系統(tǒng)提供了附加的畫(huà)中畫(huà)功能，例如用戶(hù)可控制顯示屏上畫(huà)中畫(huà)的大小和位置。根據(jù)計(jì)算機(jī)接口技術(shù)，電視系統(tǒng)目前還可提供“開(kāi)窗”功能，不同的視頻圖像可以顯示在電視機(jī)上不同的窗口中。這些視頻圖像可以是其它電視節(jié)目圖像，頻道選擇指南或與主圖像有關(guān)的信息，例如包含與正在觀(guān)看的節(jié)目有關(guān)的輔助信息、對(duì)廣告商品更細(xì)致的觀(guān)看等等。提供這些功能的電視機(jī)通常利潤(rùn)空間要比功能較少的電視機(jī)大，特別是如果這些功能是新推出的，因?yàn)橥ǔ＜尤胄鹿δ芨郊拥某杀据^低，而對(duì)此功能的需求卻很大。
基于因特網(wǎng)的電視提供商也希望用同樣的方式來(lái)爭(zhēng)奪觀(guān)眾，這樣就可以獲得更高的廣告價(jià)格。如果某種電視顯示系統(tǒng)提供一種所希望的功能，因特網(wǎng)服務(wù)提供商就會(huì)提供支持使用這種功能的節(jié)目，因此既增加了對(duì)包含這種功能的顯示系統(tǒng)的需求量，也提高了提供商業(yè)務(wù)的訪(fǎng)問(wèn)量。
為了實(shí)現(xiàn)上述提到的畫(huà)中畫(huà)和開(kāi)窗視頻效果，每個(gè)視頻圖像都必須進(jìn)行尺度變換以放在相應(yīng)的顯示區(qū)域。在一個(gè)數(shù)字顯示系統(tǒng)中，取樣率轉(zhuǎn)換器(SRC)用來(lái)完成尺度變換。一個(gè)數(shù)字化編碼后的視頻圖像由原先圖像的樣值陣列組成；顯示屏區(qū)域由像素陣列構(gòu)成。如果水平和垂直方向上的樣值數(shù)與顯示屏水平和垂直方向的像素?cái)?shù)相等，就不需要進(jìn)行尺度變換。每個(gè)樣值與相應(yīng)的像素一一對(duì)應(yīng)，最后顯示的圖像相當(dāng)于原先圖像。如果像素?cái)?shù)目是樣值數(shù)的一半，則每隔一個(gè)樣值與相應(yīng)的像素對(duì)應(yīng)。最后顯示的圖像相當(dāng)于以原來(lái)樣值取樣率的一半對(duì)圖像進(jìn)行取樣。也就是說(shuō)，尺度變換相當(dāng)于改變?nèi)勇?，即所謂的“取樣率轉(zhuǎn)換器”。通過(guò)產(chǎn)生對(duì)應(yīng)于取樣值估計(jì)的像素值實(shí)現(xiàn)非整數(shù)的尺度變換，如果初始取樣率對(duì)應(yīng)于該顯示尺度變換，則獲得所述取樣值的估計(jì)。這些產(chǎn)生的像素通常從每個(gè)像素位置周?chē)唤M樣值中內(nèi)插獲得。傳統(tǒng)的顯示系統(tǒng)包括一個(gè)垂直樣值取樣率轉(zhuǎn)換器和一個(gè)水平樣值取樣率轉(zhuǎn)換器，以完成單個(gè)方向或二維的尺度變換。
計(jì)算機(jī)圖形系統(tǒng)可以在顯示屏幕上產(chǎn)生深度感或三維顯象的視覺(jué)效果。這些圖形系統(tǒng)使用復(fù)雜的圖形加速設(shè)備來(lái)完成這些三維效果。但圖形加速設(shè)備并不能與傳統(tǒng)的視頻再現(xiàn)系統(tǒng)直接兼容，也不能滿(mǎn)足常規(guī)視頻顯示系統(tǒng)的質(zhì)量需求。在視頻顯示系統(tǒng)中應(yīng)用產(chǎn)生三維效果的圖形加速器裝置很顯然將大大提高顯示系統(tǒng)的成本。
通過(guò)使用視頻顯示系統(tǒng)中的二維取樣率轉(zhuǎn)換能力來(lái)產(chǎn)生三維效果，可以實(shí)現(xiàn)這些以及其它目的。對(duì)視頻圖像應(yīng)用線(xiàn)性和非線(xiàn)性尺度變換，可以產(chǎn)生深度感。三維效果用來(lái)增強(qiáng)顯示系統(tǒng)中現(xiàn)有功能和新功能組的視覺(jué)吸引力。象立方體或錐體等多種多面體表現(xiàn)形式，可以用來(lái)在物體的每一個(gè)面上顯示不同的視頻圖像。將多面體的各個(gè)面上的每個(gè)圖像相應(yīng)變換大小后，可以獲得一種深度感。各個(gè)面上的圖像可以被選擇來(lái)表示一個(gè)公共主題的不同的方面，例如與主要信息源相關(guān)的數(shù)據(jù)廣播信息。電視機(jī)中頻道的選擇也可以用多面體旋轉(zhuǎn)的形式展現(xiàn)。同樣可以有其它常見(jiàn)的表現(xiàn)形式，例如用一本書(shū)，改變頻道相當(dāng)于翻頁(yè)，每個(gè)電視節(jié)目以不同的書(shū)頁(yè)表示。更高級(jí)的功能，例如節(jié)目分類(lèi)別，可以表現(xiàn)為書(shū)的標(biāo)簽，這樣便于選擇特定類(lèi)別。同樣，多面體以某條軸為軸心旋轉(zhuǎn)可能對(duì)應(yīng)于在所選擇的節(jié)目類(lèi)別中改變頻道，而以另一條軸為軸心旋轉(zhuǎn)意味著改變節(jié)目類(lèi)別。為了得到這些三維效果，提供通過(guò)對(duì)傳統(tǒng)顯示系統(tǒng)的取樣率轉(zhuǎn)換器進(jìn)行相應(yīng)的計(jì)算后完成的技術(shù)。
發(fā)明詳述本發(fā)明通過(guò)在圖像視圖中加入三維(3-D)效果，從而增強(qiáng)了視頻圖像的吸引力。與圖形處理器將三維物體對(duì)象提供至二維平面相比，本發(fā)明將第三維加到傳統(tǒng)的二維視頻圖像中。也即，在圖形系統(tǒng)中的一個(gè)物體除了定義每個(gè)物體所在的對(duì)象空間中的三維坐標(biāo)以外，還包括長(zhǎng)度、寬度和深度信息。圖形系統(tǒng)完成必要的確定將三維物體投射到二維圖像顯示平面的操作，包括決定相對(duì)于假定的觀(guān)看者每個(gè)物體投影的大小和形狀，決定哪些物體遮住其它物體等等。在本發(fā)明中，信息的來(lái)源是一幅二維圖像。通過(guò)將二維視頻圖像視為一個(gè)圖像平面，并模擬圖像平面相對(duì)于顯示屏平面的旋轉(zhuǎn)或其它方位變化，從而將第三維加入到二維視頻圖像中。在進(jìn)行旋轉(zhuǎn)時(shí)，概念上離觀(guān)看者更遠(yuǎn)的圖像區(qū)域比離觀(guān)看者更近的畫(huà)面區(qū)域要小，這樣就可以表達(dá)出一種旋轉(zhuǎn)圖像的“深度”感。正如下所述，這種深度的模擬是通過(guò)修正傳統(tǒng)高質(zhì)量視頻系統(tǒng)中水平和垂直取樣率轉(zhuǎn)換器的控制和操作而得到的。


圖1是根據(jù)本發(fā)明的三維尺度變換器100的示例框圖。如圖所示，三維尺度變換器100包括一個(gè)控制單元110、一個(gè)垂直取樣率轉(zhuǎn)換器120和一個(gè)水平取樣率轉(zhuǎn)換器130。注意在這里用取樣率轉(zhuǎn)換器來(lái)表示尺度變換是為了便于理解，因?yàn)槿缜八?，取樣率轉(zhuǎn)換器通常用于產(chǎn)生尺度變換效果。很顯然，對(duì)于考慮本公開(kāi)內(nèi)容的本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，可以采用任何其它尺度變換方式來(lái)產(chǎn)生同樣的視覺(jué)效果，這些都被包括在本發(fā)明的預(yù)期范圍內(nèi)。
除了以下將詳述的方面以外，取樣率轉(zhuǎn)換器120和130的工作方式與傳統(tǒng)的取樣率轉(zhuǎn)換器類(lèi)似，用來(lái)將視頻圖像在水平和垂直方向上進(jìn)行尺度變換?？刂茊卧?10通過(guò)開(kāi)關(guān)115a-c來(lái)控制數(shù)據(jù)流通過(guò)轉(zhuǎn)換器120和130?？刂茊卧?10還提供垂直和水平尺度因子，即VS和HS，來(lái)控制垂直120和水平130取樣率轉(zhuǎn)換器所能提供的尺度變換程度。尺度變換器100的工作過(guò)程通過(guò)在圖3中示例的流程圖以及相應(yīng)視頻圖像視圖中的合成效果(如圖4A-4E和圖5A-5C所示)可以清楚地理解。
圖3是根據(jù)本發(fā)明的三維尺度變換器，如圖1中所示的尺度變換器100的流程圖。注意，為便于參考，介于100和99之間的參考數(shù)字與圖1中的數(shù)據(jù)項(xiàng)對(duì)應(yīng)，而介于300和399的參考數(shù)字與圖3中的數(shù)據(jù)項(xiàng)對(duì)應(yīng)。在310，輸入視頻圖像101加入旋轉(zhuǎn)或定位102，角度為A。在320，處理路徑有兩條分支，去哪條支路取決于旋轉(zhuǎn)是以垂直軸還是以水平軸為軸心。此分支相應(yīng)于由圖1中控制單元110對(duì)開(kāi)關(guān)115a-c進(jìn)行的控制。圖1中所示開(kāi)關(guān)115a-c的設(shè)置對(duì)應(yīng)于以Y軸，也就是垂直方向旋轉(zhuǎn)，即對(duì)應(yīng)圖3中320支路后左路的處理步驟。
眾所周知，一個(gè)平面以y軸為軸心旋轉(zhuǎn)，可以用下述變換式表示x’ ＝x*cos(A)-z*sin(A)(1)y’ ＝y(tǒng)(2)z’ ＝x*sin(A)+z*cos(A)(3)這里x、y、z是旋轉(zhuǎn)前平面內(nèi)的坐標(biāo)，x’、y’、z’是關(guān)于y軸旋轉(zhuǎn)角度A后得到的合成坐標(biāo)。在這個(gè)坐標(biāo)系統(tǒng)中，z對(duì)應(yīng)于距離觀(guān)看者的距離，z為正值比為0或負(fù)值時(shí)，離開(kāi)用戶(hù)的距離更遠(yuǎn)。為便于理解，圖像最初的z值賦0，盡管本領(lǐng)域的普通技術(shù)人員可以認(rèn)識(shí)到，如果使用非零值，z*sin(A)項(xiàng)只是將每個(gè)z’坐標(biāo)乘以一個(gè)固定值，這一點(diǎn)在水平尺度變換框320后由一個(gè)變換框來(lái)表示。注意每個(gè)x坐標(biāo)的水平尺度變換都乘以相同的尺度系數(shù)，cos(A)。在圖1的示例實(shí)施例中，此尺度系數(shù)HS由控制單元110提供給水平取樣率轉(zhuǎn)換器130，轉(zhuǎn)換器130用這個(gè)系數(shù)HS對(duì)輸入視頻圖像101進(jìn)行尺度變換。圖4A-4B示出與以a0角度旋轉(zhuǎn)對(duì)應(yīng)的尺度系數(shù)對(duì)圖像410a進(jìn)行尺度變換，得到水平尺度變換后的圖像410b。在圖4B中，已變換尺度圖像410b的長(zhǎng)度(extent)X0’等于原圖像410a的長(zhǎng)度X0乘以相對(duì)于原圖像410a的平面的定位角度a0的余弦值。注意這種以定位角度a0旋轉(zhuǎn)的水平變換相當(dāng)于從某個(gè)角度觀(guān)看圖像時(shí)感覺(jué)畫(huà)面按透視原理縮小的效果，但并不能產(chǎn)生深度感。
為產(chǎn)生深度感，根據(jù)本發(fā)明可提供一種透視視圖。在透視視圖中，離觀(guān)看者更遠(yuǎn)的物體看起來(lái)比離觀(guān)看者更近的物體要小。通常，透視視圖是一個(gè)線(xiàn)性變換s1＝s0*d0/d1(4)這里s0表示一個(gè)物體在距離為d0時(shí)的視在大小，s1表示同樣的物體距離為d1時(shí)的視在大小。距離d0經(jīng)常稱(chēng)作原先圖像的焦距。在本公開(kāi)中，距離d0等于觀(guān)看者距原圖像平面的一個(gè)假定的焦距f，距離d1是通過(guò)模擬圖像以原圖像平面進(jìn)行旋轉(zhuǎn)時(shí)引入的z分量而導(dǎo)致離開(kāi)觀(guān)看者的距離d1＝f+z’。因此，方程4可被改寫(xiě)為x″＝x’*f/(f+z’) (5)y″＝y(tǒng)’*f/(f+z’) (6)如方程5和6所示，當(dāng)由于圖像旋轉(zhuǎn)引入距離z’時(shí)，x和y坐標(biāo)進(jìn)行尺度變換時(shí)應(yīng)為z’的函數(shù)。也就是說(shuō)，每個(gè)圖像樣值的x軸和y軸都必須進(jìn)行尺度變換，變換是已旋轉(zhuǎn)圖像中每個(gè)樣值的z坐標(biāo)，或深度值的函數(shù)。
根據(jù)本發(fā)明的一個(gè)方面，為了減少處理時(shí)間，確定與通過(guò)旋轉(zhuǎn)圖像平面而縮小的軸相對(duì)的軸的尺度變換對(duì)于表達(dá)深度感已足夠。例如，在圖4B中，已旋轉(zhuǎn)圖像410b的最遠(yuǎn)范圍X0’按照距離Z0’，離觀(guān)看者更遠(yuǎn)。為了產(chǎn)生深度方面的透視感，根據(jù)本發(fā)明的原則，圖像410b最遠(yuǎn)范圍X0的垂直大小Y0乘以一個(gè)因子f/(f+Z0’)進(jìn)行尺度變換，得到如圖4C中所示減小的垂直大小Y0’。每個(gè)Y坐標(biāo)以相同方式進(jìn)行尺度變換，產(chǎn)生圖像410c的傾斜的上下邊緣。注意盡管圖4C中的x坐標(biāo)與透視圖4B中相比沒(méi)有變化，但對(duì)y軸進(jìn)行尺度變換，該變換是距離z的函數(shù)，因此產(chǎn)生出深度感。同時(shí)應(yīng)注意在圖4C中，旋轉(zhuǎn)圖像最近的區(qū)域X1’離觀(guān)看者比原圖像平面要近，因此垂直大小Y1’乘以對(duì)應(yīng)于系數(shù)f/(f+z1’)的尺度變換比在該較近范圍處原來(lái)的垂直大小要大，因?yàn)樵谶@里所使用的規(guī)則中，Z1是負(fù)值。
關(guān)于圖1，y坐標(biāo)的這種尺度變換是離觀(guān)看者距離的函數(shù)，其實(shí)現(xiàn)是通過(guò)開(kāi)關(guān)115c將水平取樣率轉(zhuǎn)換器130的輸出送到垂直取樣率轉(zhuǎn)換器120，并通過(guò)一個(gè)垂直尺度變換因子VS進(jìn)行尺度變換，VS作為旋轉(zhuǎn)圖像的每個(gè)坐標(biāo)的已確定深度參數(shù)z的函數(shù)而變化。注意在以y軸旋轉(zhuǎn)時(shí)，對(duì)每一列x坐標(biāo)常數(shù)值而言，z坐標(biāo)值也是常數(shù)。對(duì)旋轉(zhuǎn)圖像的每一列(離散x值)，控制單元110按照上述方程6為垂直取樣率轉(zhuǎn)換器提供一個(gè)垂直尺度變換VS(x)。如圖3中回路340-370所示，垂直取樣率轉(zhuǎn)換器120對(duì)一列中每個(gè)已經(jīng)進(jìn)行過(guò)水平尺度變換的圖像值應(yīng)用尺度變換值VS(x)，然后再對(duì)下一列經(jīng)過(guò)水平尺度變換的圖像樣值應(yīng)用下一個(gè)尺度變換值VS(x+1)，依次類(lèi)推，直到已進(jìn)行水平尺度變換圖像的所有垂直坐標(biāo)都根據(jù)深度系數(shù)f/(f+z)進(jìn)行過(guò)變換。在水平和垂直尺度變換后，原圖像進(jìn)行三維旋轉(zhuǎn)的模擬像素值結(jié)果就可以在380顯示。對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，很顯然，在這一步處理時(shí)可以應(yīng)用優(yōu)化技術(shù)。例如，為了減少計(jì)算深度系數(shù)(f/(f+z))時(shí)需要的除法次數(shù)，可以確定最近和最遠(yuǎn)列的范圍，中間列的尺度因子可以通過(guò)內(nèi)插獲得。
圖4D和4E示出圖像410a經(jīng)過(guò)更大角度a1的旋轉(zhuǎn)。如前所述，圖4D相當(dāng)于對(duì)圖像410a進(jìn)行對(duì)應(yīng)于cos(a1)的常數(shù)尺度因子的水平尺度變換，圖4E相當(dāng)于對(duì)已進(jìn)行水平尺度變換圖像410d再進(jìn)行垂直尺度變換，尺度因子作為離原先圖像平面距離的函數(shù)而變化，對(duì)應(yīng)于f/(f+z)。正如上例說(shuō)明，從圖4A到4C到4E將逐步達(dá)到圖像在三維空間中旋轉(zhuǎn)的感覺(jué)。
圖5A-5C示出圖像510a以x軸為軸心旋轉(zhuǎn)的例子，處理流程見(jiàn)圖3中320后面右路的步驟。眾所周知，沿x軸旋轉(zhuǎn)導(dǎo)致如下的坐標(biāo)變換x’＝x(7)y’＝y(tǒng)*cos(A)+z*sin(A)(8)z’＝-y *sin(A)+z*cos(A) (9)如前所述，z具有對(duì)應(yīng)于離觀(guān)看者的距離的指向(符號(hào))。圖像510a首先在垂直方向上用常數(shù)尺度因子cos(b0)進(jìn)行尺度變換，產(chǎn)生如圖5B所示的變短的圖像510b，對(duì)應(yīng)圖3中的塊335。
如前所述，與開(kāi)始以常數(shù)尺度因子進(jìn)行尺度變換的軸相反的軸隨后由一個(gè)尺度因子進(jìn)行尺度變換，該尺度因子作為z坐標(biāo)，也就是由旋轉(zhuǎn)引入的深度值的函數(shù)而變化，對(duì)應(yīng)前述的方程5。也就是說(shuō)，圖像510b已旋轉(zhuǎn)圖像值的每一行都用一個(gè)不同的水平尺度因子進(jìn)行變換，產(chǎn)生圖5C中圖像510c的傾斜水平邊緣。這些傾斜的邊緣可以產(chǎn)生圖像510a關(guān)于x軸旋轉(zhuǎn)的所希望的視覺(jué)效果。
圖1中的控制單元通過(guò)將開(kāi)關(guān)115a-c切到與圖1中相反的狀態(tài)來(lái)完成上述處理。因此，視頻圖像101通過(guò)115a，送到垂直取樣率轉(zhuǎn)換器120，使用來(lái)自控制單元110的常數(shù)垂直尺度因子VS進(jìn)行尺度變換。然后，已經(jīng)過(guò)垂直尺度變換的圖像經(jīng)過(guò)115b送到水平取樣率轉(zhuǎn)換器130。水平取樣率轉(zhuǎn)換器130將已經(jīng)過(guò)尺度變換圖像的每一行用水平尺度因子HS進(jìn)行變換，每一行的HS由控制單元110根據(jù)每行的z-維和給定的焦距f決定。
需要特別注意的是，根據(jù)本發(fā)明，控制單元通過(guò)控制提供給對(duì)應(yīng)于當(dāng)前用于高質(zhì)量視頻系統(tǒng)中的取樣速率轉(zhuǎn)換器的水平和垂直取樣率轉(zhuǎn)換器的水平和垂直尺度因子HS和VS，可以產(chǎn)生多種透視視圖。如前所述的三維效果和其它一些效果可以用這種方式來(lái)完成，同時(shí)附加成本最小。還要注意本發(fā)明中在一個(gè)方向上用常數(shù)尺度變換被提供以減少所需的處理量，而仍然可以表現(xiàn)出透視效果。由于處理能力不斷增強(qiáng)，可以輕松地對(duì)控制單元110重新設(shè)置，無(wú)論旋轉(zhuǎn)軸如何，都可以對(duì)取樣率轉(zhuǎn)換器120和130進(jìn)行變化的尺度變換，對(duì)每幅處理的圖像實(shí)現(xiàn)方程5和6。還要注意，為便于理解和高效處理，對(duì)處理圖像的特定順序(對(duì)于沿y軸旋轉(zhuǎn)先水平變換再垂直變換，沿x軸旋轉(zhuǎn)先垂直變換再水平變換)已經(jīng)加以說(shuō)明。由于每個(gè)方向上的尺度變換與另一個(gè)方向無(wú)關(guān)，所以每個(gè)取樣率轉(zhuǎn)換器120、130的尺度變換可以以任何順序進(jìn)行。
用來(lái)產(chǎn)生三維效果的尺度變換可以與其它技術(shù)配合使用。例如，通常提供水平和垂直取樣率轉(zhuǎn)換器120和130是為了將視頻圖像放在指定的顯示區(qū)域上。在一個(gè)優(yōu)選實(shí)施例中，用來(lái)將圖像變換到指定大小的尺度因子被與三維尺度因子合并。也就是說(shuō)，如果因子K1是將原圖像變換到顯示區(qū)域中的像素所需的水平尺度因子，則在方程式1中用到的尺度因子是K1*cos(A)，在方程式5中，尺度因子是K1*f/(f+z)。
本發(fā)明的原則也同樣用于沿z軸旋轉(zhuǎn)，也就是產(chǎn)生2維操作的效果。眾所周知，z軸旋轉(zhuǎn)角度A導(dǎo)致下述的坐標(biāo)變換x’＝x*cos(A)-y*sin(A) (10)y’＝x*sin(A)+y*cos(A) (11)顯然，這些方程可以順序進(jìn)行處理。這個(gè)處理的第一步是垂直尺度變換x’＝x (12)y＝x*sin(A)+y*cos(A) (13)第二步是對(duì)已進(jìn)行垂直尺度變換的坐標(biāo)再進(jìn)行水平尺度變換。
x＝x sec(A)-y*tan(A)(14)y″＝y(tǒng)’ (15)因此，為產(chǎn)生沿z軸旋轉(zhuǎn)的效果，控制單元110通過(guò)115a將原圖像送到垂直取樣率轉(zhuǎn)換器120，并對(duì)圖像坐標(biāo)的每一列提供一個(gè)垂直尺度因子cos(A)加上與x有關(guān)的平移分量(x*sin(A))。本領(lǐng)域的普通技術(shù)人員能夠認(rèn)識(shí)到，該操作相當(dāng)于對(duì)原圖像進(jìn)行垂直剪切。經(jīng)過(guò)垂直剪切后的圖像隨后通過(guò)115b，送到水平取樣率轉(zhuǎn)換器130，應(yīng)用對(duì)應(yīng)于sec(A)的水平尺度因子。隨后從垂直剪切過(guò)的圖像中剪去與y有關(guān)的平移分量(y*tan(A))。這種水平尺度變換和平移相當(dāng)于水平剪切。兩次剪切處理的結(jié)果是圖像的二維旋轉(zhuǎn)。
方程式10和11還可以轉(zhuǎn)換為一次水平剪切再接一次垂直剪切。為避免當(dāng)角度A接近90度時(shí)出現(xiàn)的反常效果，控制單元被配置來(lái)產(chǎn)生90度旋轉(zhuǎn)，然后將轉(zhuǎn)置的圖像使用前述的技術(shù)旋轉(zhuǎn)90-A度。
注意這種順序的剪切處理可以與前述的常規(guī)尺度變換組合，以將圖像變換到所分配的顯示區(qū)域，也可以與前述沿x軸和y軸旋轉(zhuǎn)組合，從而產(chǎn)生一種螺旋形的視覺(jué)效果以及其它效果。對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，顯然，其它效果也可以通過(guò)適合的數(shù)學(xué)變換來(lái)實(shí)現(xiàn)，例如模擬球形或具有一個(gè)或多個(gè)圖像貼在其表面上的其它復(fù)雜的形狀。
視頻圖像上模擬三維效果可用來(lái)為視頻顯示系統(tǒng)提供多種視覺(jué)增強(qiáng)性能。圖2是根據(jù)本發(fā)明的一個(gè)視頻顯示系統(tǒng)的結(jié)構(gòu)框圖。在本領(lǐng)域中，高質(zhì)量視頻顯示系統(tǒng)通常允許通過(guò)選擇器201從同時(shí)顯示在250上的多個(gè)視頻圖像源Va、Vb、Vc等中進(jìn)行選擇。例如，一個(gè)常見(jiàn)的畫(huà)中畫(huà)電視系統(tǒng)允許同時(shí)顯示來(lái)自?xún)蓚€(gè)視頻圖像源的圖像。一個(gè)常見(jiàn)的多媒體計(jì)算機(jī)系統(tǒng)允許在多個(gè)分立的窗口中同時(shí)顯示多個(gè)圖像，僅受限于輸入的有效性、信號(hào)源帶寬和計(jì)算機(jī)系統(tǒng)的性能。
按照本發(fā)明，前面提出的三維尺度變換器100通常用來(lái)響應(yīng)用戶(hù)控制230，對(duì)一個(gè)或多個(gè)所選擇的圖像產(chǎn)生三維效果。例如，選擇器210和尺度變換器100根據(jù)用戶(hù)發(fā)出的頻道改變指令被配置，將一個(gè)頻道的圖像“旋轉(zhuǎn)”出去，而將另一個(gè)頻道的圖像旋轉(zhuǎn)進(jìn)來(lái)。也就是說(shuō)，圖4A、4C和4E系列可以用來(lái)將第一個(gè)頻道被顯示為基本上旋轉(zhuǎn)離開(kāi)用戶(hù)的畫(huà)面。當(dāng)旋轉(zhuǎn)角度到達(dá)90度時(shí)，選擇器可以被配置將第二個(gè)頻道提供給尺度變換器100，當(dāng)作圖像平面繼續(xù)向180度旋轉(zhuǎn)。以這種方式，第二個(gè)頻道的圖像看起來(lái)是在含有第一個(gè)頻道畫(huà)面的圖像平面的“反面”。類(lèi)似地，在一個(gè)多頻道系統(tǒng)中，系統(tǒng)可以在顯示當(dāng)前頻道時(shí)進(jìn)行配置以對(duì)下一個(gè)頻道的顯示初始化；一旦當(dāng)前圖像被旋轉(zhuǎn)一個(gè)預(yù)定角度，則啟動(dòng)該后來(lái)的顯示。同樣，下一個(gè)圖像的方位角度可以與當(dāng)前圖像的角度直接相關(guān)，例如角度為90-A，從而仿真互相正交的圖像。還可以產(chǎn)生其它效果。例如，由用戶(hù)發(fā)出的頻道上升指令可以實(shí)現(xiàn)在一個(gè)方向旋轉(zhuǎn)，而頻道下降可以實(shí)現(xiàn)以相反的方向旋轉(zhuǎn)。以同樣的方式，跳到某個(gè)指定的頻道可以被仿真為關(guān)于與用于增加頻道選擇的軸相對(duì)的軸旋轉(zhuǎn)。這些效果以及其它三維視覺(jué)效果的實(shí)現(xiàn)在本領(lǐng)域的技術(shù)人員閱讀了本公開(kāi)后將是顯而易見(jiàn)的。
圖6A-B，7和8A-B是根據(jù)本發(fā)明原則而實(shí)現(xiàn)的實(shí)例效果。這些例子為說(shuō)明而用，并非說(shuō)明本發(fā)明的使用范圍僅限于這幾個(gè)例子。這些例子示出三維建模器220用于配置多個(gè)透視圖像之間的方位和關(guān)系以獲得一種相關(guān)的視覺(jué)效果。
圖6A示出一個(gè)三維方塊的兩個(gè)面。第一個(gè)圖像610被提供以出現(xiàn)在與圖像平面一致的方塊的一個(gè)表面上，，第二個(gè)圖像620被提供以出現(xiàn)在與圖像平面傾斜的方塊的另一個(gè)表面上。這種表現(xiàn)形式還可以作為“開(kāi)窗”畫(huà)中畫(huà)顯示的替換形式，其中傾斜的圖像作為第二幅圖像。這種表現(xiàn)形式可以是出現(xiàn)在更大主圖像中的多圖像畫(huà)中畫(huà)圖像，并允許用戶(hù)在觀(guān)看主圖像的同時(shí)看到兩個(gè)畫(huà)中畫(huà)圖像。這種表現(xiàn)形式也可以是具有與主圖像有關(guān)的輔助“數(shù)據(jù)廣播”信息(例如表演者的榮譽(yù)和經(jīng)歷等)620的主圖像610。在電子商務(wù)領(lǐng)域，備用圖像620可以是與定購(gòu)圖像610中廣告商品有關(guān)的信息。使用多圖像展示的優(yōu)點(diǎn)在本領(lǐng)域中是共同的；本發(fā)明提供了一種裝置，該裝置以比靜態(tài)二維展示更具視覺(jué)吸引力的形式提供多圖像展示。
圖6B示出三維塊的旋轉(zhuǎn)。注意在此例中，旋轉(zhuǎn)是沿軸650進(jìn)行，z分量并不與原圖像610的平面對(duì)應(yīng)，因此旋轉(zhuǎn)除了產(chǎn)生圖像的水平位移外，還會(huì)引入水平尺度變化，從而提高了深度感。也就是說(shuō)，當(dāng)塊沿軸650以如圖所示的方向旋轉(zhuǎn)時(shí)，圖像610和620移到左邊，而同時(shí)當(dāng)圖像610與觀(guān)看平面的角度增加時(shí)，該圖像繼續(xù)收縮，而圖像620繼續(xù)擴(kuò)展。注意可使用多種用戶(hù)接口來(lái)產(chǎn)生這個(gè)旋轉(zhuǎn)。在前例中，一個(gè)頻道上升或頻道下降指令可以產(chǎn)生塊的旋轉(zhuǎn)，以將第二個(gè)圖像620變?yōu)橹饔^(guān)看平面，替代圖6A中最終方向中的圖像610，這樣來(lái)自另一個(gè)源的圖像占據(jù)圖6A中圖像620的位置。可替代地，還可能用一個(gè)指向裝置，這樣當(dāng)用戶(hù)指向并選擇圖6A中的圖像620時(shí)，視頻系統(tǒng)200產(chǎn)生如圖6B所示的旋轉(zhuǎn)。也就是得到這樣一個(gè)印象，即三維物體根據(jù)頻道選擇指令移動(dòng)，或是響應(yīng)于與三維物體交互而獲得頻道選擇，如圖2中所示選擇器210和三維尺度變換器100之間的雙向箭頭215。考慮到本公開(kāi)，這些和其它接口對(duì)于本領(lǐng)域的技術(shù)人員是顯而易見(jiàn)的。
圖7示出一個(gè)三維塊中的表示，其中有三個(gè)面可以觀(guān)看，圖像710、720、730分別投射在這三個(gè)面上。如上所述，這三個(gè)圖像可能是三個(gè)不同的電視節(jié)目，來(lái)自一個(gè)DVD播放機(jī)的三個(gè)不同場(chǎng)景，一個(gè)主圖像和與主圖像相關(guān)的補(bǔ)充圖像等等。此例示出圖像720的變化的垂直尺度變換，圖像730的變化的水平尺度變換。用戶(hù)控制230控制選擇器210和尺度變換器100，以便于三維塊的表示以垂直軸750或水平軸760為軸心旋轉(zhuǎn)?？蛇x擇的軸都可以對(duì)應(yīng)不同的選擇機(jī)制。例如，電視的高級(jí)用戶(hù)接口包括用來(lái)在觀(guān)看的同時(shí)對(duì)節(jié)目的選擇進(jìn)行分類(lèi)(諸如“新聞”、“運(yùn)動(dòng)”、“喜劇”等)的裝置。在本發(fā)明的優(yōu)選實(shí)現(xiàn)方案中，沿一條軸旋轉(zhuǎn)對(duì)應(yīng)于在一類(lèi)節(jié)目中選擇，例如將一個(gè)頻道變到下一個(gè)新聞節(jié)目，而沿其它軸旋轉(zhuǎn)對(duì)應(yīng)于改變類(lèi)別。
盡管本發(fā)明只以簡(jiǎn)單的三維物體，例如圖6A、6B和圖7中的塊來(lái)展示，但也可以使用其它形式來(lái)進(jìn)一步提高視頻顯示系統(tǒng)的視覺(jué)吸引力。對(duì)于一個(gè)給定的三維物體其Z坐標(biāo)的決定可能被擴(kuò)展超出前面給定的方程1-3和7-9。計(jì)算機(jī)圖形領(lǐng)域中的普通技術(shù)人員能夠定義適合在圖1的控制單元110中實(shí)現(xiàn)的其他表現(xiàn)形式，用于對(duì)一個(gè)圖像平面的三維變換進(jìn)行模擬。例如，圖8A示出圖像810作為書(shū)本850的一頁(yè)。當(dāng)選擇一幅新圖像來(lái)觀(guān)看時(shí)，視頻系統(tǒng)200模擬出翻頁(yè)效果以顯示出新的圖像820，如圖8B所示。進(jìn)一步利用書(shū)本的類(lèi)比，圖中所示的書(shū)本850有標(biāo)簽801和802，便于從書(shū)的不同“部分”進(jìn)行選擇，例如“喜劇”部分、“戲劇”部分等等。當(dāng)用戶(hù)選擇了一個(gè)標(biāo)簽或選擇一個(gè)類(lèi)別時(shí)，視頻系統(tǒng)200提供模擬翻閱多頁(yè)的效果，以顯示該書(shū)簽或該類(lèi)別的第一頁(yè)(視頻圖像)。
前述只說(shuō)明了本發(fā)明的原理。應(yīng)當(dāng)理解，盡管在這里沒(méi)有清楚地描述或說(shuō)明，本領(lǐng)域的專(zhuān)業(yè)人員可以設(shè)計(jì)各種包含本發(fā)明原理的方案，并且這些都包含在隨后的權(quán)利要求的精神和范圍內(nèi)。
權(quán)利要求
1.一個(gè)視頻顯示系統(tǒng)(100)包括一個(gè)水平尺度變換器(130)，被配置對(duì)輸入視頻圖像(101)在水平方向上進(jìn)行尺度變換；一個(gè)垂直尺度變換器(120)，被配置對(duì)輸入視頻圖像(101)在垂直方向上進(jìn)行尺度變換；以及一個(gè)控制器(110)，可操作地連接到水平(130)和垂直(120)尺度變換器，它被配置通過(guò)水平(130)和垂直(120)尺度變換器對(duì)輸入視頻圖像(101)完成對(duì)應(yīng)于輸入視頻圖像(101)的透視視圖(410c，410e，510c，620，720，730，810)的尺度變換，其中透視視圖是通過(guò)對(duì)水平(120)和垂直(130)尺度變換器中的至少一個(gè)應(yīng)用變化的尺度因子(HS，VS)來(lái)獲得的，以提供輸入視頻圖像(101)。
2.如權(quán)利要求1所述的視頻顯示系統(tǒng)(100)，還包括一個(gè)多輸入視頻圖像源(210)，并且其中控制器(110)還可以被配置有選擇地提供多個(gè)輸入圖像的至少兩個(gè)輸入視頻圖像(610，620)，以形成對(duì)應(yīng)三維物體表現(xiàn)形式的合成透視視圖。
3.如權(quán)利要求2所述的視頻顯示系統(tǒng)(100)，還包括一個(gè)用戶(hù)控制(230)，以便于改變?nèi)S物體表現(xiàn)形式的方位(650)，從而改變每個(gè)輸入視頻圖像(101)的透視視圖。
4.如權(quán)利要求3所述的視頻顯示系統(tǒng)(100)，其中方位(650)的改變對(duì)應(yīng)于從多個(gè)輸入視頻圖像(101)源中選擇輸入視頻圖像的改變。
5.如權(quán)利要求3所述的視頻顯示系統(tǒng)(100)，其中三維物體的表現(xiàn)形式對(duì)應(yīng)一本包括多頁(yè)的書(shū)(850)的表現(xiàn)形式，表現(xiàn)形式的方位(650)的改變對(duì)應(yīng)翻動(dòng)多頁(yè)中的一頁(yè)。
6.如權(quán)利要求3所述的視頻顯示系統(tǒng)(100)，其中用戶(hù)控制(230)便于通過(guò)多個(gè)方位控制來(lái)改變方位(750，760)，每個(gè)方位控制(750，760)對(duì)應(yīng)來(lái)自多個(gè)視頻圖像源的不同組輸入視頻圖像，并且每次方位(750，760)的改變對(duì)應(yīng)從相應(yīng)輸入視頻圖像組中改變對(duì)輸入視頻圖像的選擇。
7.如權(quán)利要求1所述的視頻顯示系統(tǒng)(100)，其中水平尺度變換器(130)對(duì)應(yīng)一個(gè)水平掃描率轉(zhuǎn)換器，并且垂直尺度變換器(120)對(duì)應(yīng)一個(gè)垂直掃描率轉(zhuǎn)換器。
8.一種在顯示面上提供多個(gè)視頻圖像的方法，包含將所述多個(gè)視頻圖像的每一個(gè)與三維物體的表現(xiàn)形式的一個(gè)面相結(jié)合(310)，并且對(duì)每個(gè)視頻圖像確定對(duì)應(yīng)于相對(duì)于顯示面的相應(yīng)面的角度(A)的旋轉(zhuǎn)尺度(cos(A))，根據(jù)旋轉(zhuǎn)尺度對(duì)視頻圖像進(jìn)行尺度變換(330，335)以產(chǎn)生變換尺度的圖像值的陣列，確定對(duì)應(yīng)于相對(duì)于顯示面的變換尺度的圖像值的陣列的每個(gè)變換尺度的圖像值的深度的感覺(jué)尺度變換(350，355)，以及根據(jù)感覺(jué)尺度對(duì)每個(gè)尺度變換的圖像值進(jìn)行尺度變換(360，365)，以產(chǎn)生對(duì)應(yīng)于視頻圖像的象素值的一個(gè)陣列。
9.如權(quán)利要求8所述的方法，其中視頻圖像的尺度變換(330，335)對(duì)應(yīng)視頻圖像的垂直取樣率轉(zhuǎn)換(335)和水平取樣率轉(zhuǎn)換(330)中的選擇的一個(gè)，并且每個(gè)已變換尺度圖像值的尺度變換(360，365)對(duì)應(yīng)來(lái)自所選擇的一個(gè)的垂直和水平取樣率轉(zhuǎn)換中對(duì)應(yīng)的一個(gè)。
10.一個(gè)被配置來(lái)存儲(chǔ)于存儲(chǔ)器中以由一個(gè)處理設(shè)備執(zhí)行的程序，該程序被配置來(lái)使得視頻圖像(310)與一個(gè)三維物體的表現(xiàn)形式的一個(gè)面相結(jié)合，使得能夠確定對(duì)應(yīng)于相對(duì)于一個(gè)顯示面的面的角度的一個(gè)旋轉(zhuǎn)尺度，使得能夠根據(jù)旋轉(zhuǎn)尺度對(duì)視頻圖像進(jìn)行尺度變換(330，335)，以產(chǎn)生一個(gè)被變換尺度的圖像值的陣列，使得能夠確定對(duì)應(yīng)于相對(duì)于顯示面的已變換尺度的圖像值的陣列的每個(gè)已變換尺度圖像值的深度的感覺(jué)尺度變換(350，355)，以及使得能夠根據(jù)感覺(jué)尺度而對(duì)已變換尺度的圖像值進(jìn)行尺度變換(360，365)，以產(chǎn)生對(duì)應(yīng)于視頻圖像的象素值的一個(gè)陣列。
11.如權(quán)利要求10所述的程序還包括啟動(dòng)一個(gè)用戶(hù)控制，該用戶(hù)控制便于改變?nèi)S物體的表現(xiàn)形式的方位(650)，從而改變旋轉(zhuǎn)尺度和感覺(jué)尺度中的至少一個(gè)。
全文摘要
視頻顯示系統(tǒng)具有的二維取樣率轉(zhuǎn)換功能用來(lái)產(chǎn)生三維效果。對(duì)視頻圖像應(yīng)用線(xiàn)性和非線(xiàn)性尺度變換,可以表達(dá)深度感。三維效果用來(lái)增強(qiáng)顯示系統(tǒng)中現(xiàn)有功能和新功能的視覺(jué)吸引力。象立方體或錐體等多種多面體表現(xiàn)形式,可以在該表現(xiàn)形式的每一個(gè)面上顯示不同的視頻圖像。在每個(gè)面上將每個(gè)圖像適當(dāng)進(jìn)行尺度變換后,可以獲得一種深度感。不同面上的圖像可以被選擇以代表一個(gè)共同主題的不同方面,例如與主要信息源有關(guān)的數(shù)據(jù)廣播信息。電視機(jī)中頻道的選擇也可以用多面體旋轉(zhuǎn)的形式展現(xiàn)。同樣可以有其它常見(jiàn)的表現(xiàn)形式,例如可以使用一本書(shū)的表現(xiàn)形式,其中改變頻道被呈現(xiàn)為對(duì)該書(shū)翻頁(yè),每個(gè)電視節(jié)目呈現(xiàn)在不同的書(shū)頁(yè)上。更高級(jí)的功能,例如節(jié)目分類(lèi)別,可以表現(xiàn)為書(shū)的標(biāo)簽,這樣便于選擇特定類(lèi)別。同樣,多面體以某條軸為軸心旋轉(zhuǎn)可以對(duì)應(yīng)于在所選類(lèi)別中改變頻道,而以另一條軸為軸心旋轉(zhuǎn)對(duì)應(yīng)于改變類(lèi)別。提供了技術(shù),用于利用通過(guò)適合于對(duì)傳統(tǒng)顯示系統(tǒng)的取樣率轉(zhuǎn)換器進(jìn)行的計(jì)算而獲得這些三維效果。
文檔編號(hào)H04N5/262GK1350748SQ00807392
公開(kāi)日2002年5月22日 申請(qǐng)日期2000年12月12日 優(yōu)先權(quán)日2000年1月10日
發(fā)明者L·波蘭德, J·揚(yáng)森 申請(qǐng)人:皇家菲利浦電子有限公司