專利名稱：圖像轉(zhuǎn)換設(shè)備及使用其的顯示設(shè)備和方法
技術(shù)領(lǐng)域：
與示例性實(shí)施例一致的方法和設(shè)備涉及圖像轉(zhuǎn)換設(shè)備及使用該圖像轉(zhuǎn)換設(shè)備的顯示設(shè)備和方法，更具體地講，涉及一種將立體圖像轉(zhuǎn)換為多視點(diǎn)圖像的圖像轉(zhuǎn)換設(shè)備及使用該圖像轉(zhuǎn)換設(shè)備的顯示設(shè)備和方法。
背景技術(shù)：
隨著電子技術(shù)的發(fā)展，已生產(chǎn)了具有多個功能的各種家用電器。那些家用電器之一是諸如電視機(jī)的顯示設(shè)備。最近，允許用戶觀看三維(3D)圖像的3D顯示設(shè)備也變?yōu)榱餍小?D顯示設(shè)備可根據(jù)用戶觀看3D圖像是否需要眼鏡而被劃分為眼鏡型系統(tǒng)或非眼鏡型系統(tǒng)。眼鏡型系統(tǒng)的一個示例是快門眼鏡方法，其中，所述快門眼鏡方法在顯示設(shè)備交替地輸出立體圖像時通過交替地阻擋左眼和右眼來使人感受立體感。在采用快門眼鏡方法的這種3D顯示設(shè)備中，如果輸入了 2D圖像信號，則輸入信號被轉(zhuǎn)換為左眼圖像和右眼圖像并被交替輸出。另一方面，如果輸入了包括左眼圖像和右眼圖像的立體圖像信號，則輸入信號被交替輸出，以創(chuàng)建3D圖像。非眼鏡型系統(tǒng)通過在空間上移動多視點(diǎn)圖像并顯示移動的圖像來允許用戶感受立體感，而無需佩戴眼鏡。這樣，非眼鏡型系統(tǒng)的優(yōu)點(diǎn)在于無需佩戴眼鏡而允許用戶觀看3D圖像。但是，為此應(yīng)提供多視點(diǎn)圖像。多視點(diǎn)圖像指的是從多個視點(diǎn)觀看圖像中的對象的圖像。為了產(chǎn)生這種多視點(diǎn)圖像，應(yīng)使用多個相機(jī)產(chǎn)生多個圖像信號，但是這在實(shí)際上是困難的，不僅因?yàn)楫a(chǎn)生多視點(diǎn)圖像不容易且昂貴，而且在傳輸內(nèi)容時需要大量帶寬。因此，直到最近大多開發(fā)了眼鏡型系統(tǒng)，并且內(nèi)容的開發(fā)也聚焦在2D或立體內(nèi)容。但是，對于無需佩戴眼鏡而允許用戶觀看3D圖像的非眼鏡型系統(tǒng)存在持續(xù)需要。另外，多視點(diǎn)圖像還可用于眼鏡型系統(tǒng)。因此，需要使用現(xiàn)有立體圖像提供多視點(diǎn)圖像的技術(shù)。

發(fā)明內(nèi)容
技術(shù)問題示例性實(shí)施例的一方面涉及能夠使用立體圖像產(chǎn)生多視點(diǎn)圖像的圖像轉(zhuǎn)換設(shè)備及使用該圖像轉(zhuǎn)換設(shè)備的顯示設(shè)備和方法。技術(shù)方案根據(jù)示例性實(shí)施例的一種用于在圖像轉(zhuǎn)換設(shè)備中轉(zhuǎn)換圖像的方法，包括如下步驟:縮小立體圖像；通過將自適應(yīng)權(quán)重應(yīng)用于縮小的立體圖像，來執(zhí)行立體匹配；根據(jù)立體匹配產(chǎn)生深度圖；通過參照原始分辨率的輸入圖像來放大深度圖；通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。立體匹配步驟可包括:將具有預(yù)定大小的窗口順序地應(yīng)用于立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像；計算在應(yīng)用于第一輸入圖像和第二輸入圖像的每一個圖像的窗口中的中央像素與周圍像素之間的相似度；通過根據(jù)中央像素和周圍像素之間的相似度將不同的自適應(yīng)權(quán)重應(yīng)用于中央像素與外圍像素，來搜索第一輸入圖像和第二輸入圖像之間的匹配點(diǎn)。深度圖可以是根據(jù)匹配點(diǎn)之間的距離差而具有不同灰度級的圖像。權(quán)重可被設(shè)置為與中央像素的相似度成比例的大小，灰度級可被設(shè)置為與匹配點(diǎn)之間的距離差成反比的值。放大深度圖的步驟可包括:搜索深度圖和原始分辨率的輸入圖像之間的相似度；通過針對搜索的相似度應(yīng)用權(quán)重,來執(zhí)行放大。所述多個多視點(diǎn)圖像可被非眼鏡3D顯示系統(tǒng)顯示，以表現(xiàn)3D屏幕。根據(jù)示例性實(shí)施例的一種圖像轉(zhuǎn)換設(shè)備，包括:縮小單元，縮小立體圖像；立體匹配單元，通過將自適應(yīng)權(quán)重應(yīng)用于縮小的立體圖像，來執(zhí)行立體匹配并根據(jù)立體匹配產(chǎn)生深度圖；放大單元，通過參照原始分辨率的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。立體匹配單元可包括:窗口產(chǎn)生單元，將具有預(yù)定大小的窗口順序地應(yīng)用于立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像；相似度計算單元，計算在窗口中的中央像素與周圍像素之間的相似度；搜索單元，通過根據(jù)相似度應(yīng)用不同的權(quán)重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點(diǎn)；深度圖產(chǎn)生單元，使用搜索的匹配點(diǎn)之間的距離產(chǎn)生深度圖。深度圖可以是根據(jù)匹配點(diǎn)之間的距離差而具有不同灰度級的圖像。權(quán)重可被設(shè)置為與中央像素的相似度成比例的大小，并且灰度級可被設(shè)置為與匹配點(diǎn)之間的距離差成反比的值。放大單元可搜索深度圖和原始分辨率的輸入圖像之間的相似度，并通過針對搜索的相似度應(yīng)用權(quán)重，來執(zhí)行放大。所述圖像轉(zhuǎn)換設(shè)備還可包括:接口單元，將所述多個多視點(diǎn)圖像提供給非眼鏡3D顯不系統(tǒng)。根據(jù)示例性實(shí)施例的顯示設(shè)備包括:接收單元，接收立體圖像；圖像轉(zhuǎn)換處理單元，通過在縮小立體圖像之后應(yīng)用自適應(yīng)權(quán)重來產(chǎn)生深度圖并通過使用產(chǎn)生的深度圖和分辨率圖像的放大來產(chǎn)生多視點(diǎn)圖像；顯示單元，輸出由圖像轉(zhuǎn)換處理單元產(chǎn)生的多視點(diǎn)圖像。所述圖像轉(zhuǎn)換處理單元可包括:縮小單元，縮小立體圖像；立體匹配單元，通過針對縮小的立體圖像應(yīng)用自適應(yīng)權(quán)重來執(zhí)行立體匹配，并根據(jù)立體匹配的結(jié)果產(chǎn)生深度圖；放大單元，通過參照原始分辨率的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。有益效果如此，根據(jù)各種示例性實(shí)施例，多視點(diǎn)圖像可從立體圖像容易地產(chǎn)生且可被利用。


通過參照附圖描述特定示例性實(shí)施例，本發(fā)明構(gòu)思的上述和/或其他方面變得更加清楚，其中:圖1是示出根據(jù)示例性實(shí)施例的圖像轉(zhuǎn)換設(shè)備的構(gòu)造的框圖；圖2是示出根據(jù)示例性實(shí)施例立體匹配單元的構(gòu)造的示例的框圖；圖3是示出根據(jù)另一示例性實(shí)施例的圖像轉(zhuǎn)換設(shè)備的構(gòu)造的框圖；圖4是示出根據(jù)示例性實(shí)施例的顯示設(shè)備的構(gòu)造的框圖；圖5至圖9是用于解釋根據(jù)示例性實(shí)施例的轉(zhuǎn)換圖像的處理的示圖；圖10至圖11是示出根據(jù)示例性實(shí)施例的應(yīng)用圖像轉(zhuǎn)換設(shè)備的非眼鏡型3D系統(tǒng)及其顯示方法的示圖；圖12是用于解釋根據(jù)示例性實(shí)施例的用于轉(zhuǎn)換圖像的方法的流程圖；圖13是用于立體匹配處理的示例的流程圖。
具體實(shí)施例方式下面參照附圖更加詳細(xì)描述特定示例性實(shí)施例。在下面描述中，即使在不同附圖中，相同附圖標(biāo)號用于相同元件。提供在描述中限定的內(nèi)容(諸如，詳細(xì)結(jié)構(gòu)和元件)，以幫助全面理解示例性實(shí)施例。但是，無需這種具體限定的內(nèi)容也可實(shí)施示例性實(shí)施例。此外，由于公知功能或結(jié)構(gòu)可能在不必要的細(xì)節(jié)上使得本申請不清楚，因此不對公知功能或結(jié)構(gòu)進(jìn)行詳細(xì)描述。圖1是示出根據(jù)示例性實(shí)施例的圖像轉(zhuǎn)換設(shè)備的構(gòu)造的框圖。根據(jù)圖1，圖像轉(zhuǎn)換設(shè)備包括接收單元110、縮小(down-scaling)單元120、立體匹配單元130、放大(up-scaling)單兀140和值染單兀150。接收單元110接收立體圖像。立體圖像指的是兩個以上的圖像。例如，立體圖像可以是作為從兩個不同角度拍攝的一個對象的兩個圖像的第一輸入圖像和第二輸入圖像。為了方便解釋，在示例性實(shí)施例中，第一輸入圖像將被稱作左眼圖像(或左圖像)，第二輸入圖像將被稱作右眼圖像(或右圖像)?？蓮母鞣N源提供這種立體圖像。例如，接收單元110可經(jīng)由線纜或無線地從廣播信道接收立體圖像。在這種情況下，接收單元110可包括各種部件，諸如，調(diào)諧器、解調(diào)器和
量化器。另外，接收單元HO可接收由再現(xiàn)各種記錄介質(zhì)(諸如，DVD、藍(lán)光盤和存儲卡)的記錄介質(zhì)再現(xiàn)單元(未示出)再現(xiàn)的立體像，或從相機(jī)直接接收拍攝的立體圖像。在這種情況下，接收單元110可包括各種接口，諸如USB接口。縮小單元120對經(jīng)由接收單元110接收的立體圖像執(zhí)行縮小。g卩，為了將立體圖像轉(zhuǎn)換為多視點(diǎn)圖像，期望減少計算負(fù)擔(dān)。為此，縮小單元120縮小輸入的立體圖像以減小其數(shù)據(jù)大小，從而減少計算負(fù)擔(dān)。詳細(xì)地講，縮小單元120分別減小包括在立體圖像中的左眼圖像和右眼圖像的分辨率，如預(yù)定常數(shù)(η)倍一樣多。例如，可通過按預(yù)定時間間隔去除像素或以具有預(yù)定大小的像素塊中的像素的平均值或代表值表示具有預(yù)定大小的像素塊，來執(zhí)行縮小。因此，縮小單元120可輸出低分辨率左眼圖像數(shù)據(jù)和低分辨率右眼圖像數(shù)據(jù)。立體匹配單元130執(zhí)行立體匹配操作，以搜索縮小的左眼圖像和縮小的右眼圖像之間的匹配點(diǎn)。在這種情況下，立體匹配單元130可使用自適應(yīng)權(quán)重執(zhí)行立體匹配操作。
由于左眼圖像和右眼圖像是從不同視點(diǎn)拍攝的一個對象的圖像，所以由于不同視點(diǎn)可存在圖像之間的差別。例如，在左眼圖像中對象與背景重疊，而在右眼圖像中對象與背景間隔一些距離。因此，可應(yīng)用自適應(yīng)權(quán)重，以增加在針對對象的預(yù)定范圍內(nèi)的具有像素值的像素的權(quán)重并減小超過預(yù)定范圍的具有像素值的像素的權(quán)重。因此，立體匹配單元130可將自適應(yīng)權(quán)重分別應(yīng)用于左眼圖像和右眼圖像，并通過比較自適應(yīng)權(quán)重來確定是否執(zhí)行匹配操作。如此，通過使用自適應(yīng)權(quán)重，由于可防止即使是正確的匹配點(diǎn)也將匹配結(jié)果確定為低相關(guān)度的這種現(xiàn)象，因此可增加匹配精確度。立體匹配單元130可根據(jù)匹配結(jié)果產(chǎn)生深度圖。圖2是示出根據(jù)示例性實(shí)施例的立體匹配單元130的構(gòu)造的示例的框圖。根據(jù)圖2，立體匹配單元130包括窗口產(chǎn)生單元131、相似度計算單元132、搜索單元133和深度圖產(chǎn)生單元134。窗口產(chǎn)生單元131產(chǎn)生具有預(yù)定大小(nXm)的窗口，并將產(chǎn)生的窗口分別應(yīng)用于縮小的左眼圖像和縮小的右眼圖像。相似度計算單元132計算窗口中的中央像素和周圍像素之間的相似度。例如，如果第一像素被指定為中央的窗口應(yīng)用于左眼圖像中的第一像素，則相似度計算單元132檢查在窗口中圍繞中央像素的像素的像素值。然后，相似度計算單元132將具有針對中央像素的像素值在預(yù)定范圍內(nèi)的像素值的周圍像素確定為相似像素，并將具有超過預(yù)定范圍的像素值的周圍像素確定為非相似像素。搜索單元132通過基于相似度計算單元132計算的相似度應(yīng)用不同權(quán)重，來搜索左眼圖像和右眼圖像之間的匹配點(diǎn)。權(quán)重可以與相似度成比例地增加。例如,如果應(yīng)用兩個權(quán)重，即，O和1，“1”可被給予與中央像素相似的周圍像素，而“O”可被給予與中央像素不相似的周圍像素。如果應(yīng)用四個權(quán)重，即，0、0.3、0.6、1，則像素可根據(jù)像素和中央像素之間的像素值差的范圍而被劃分為四個組，“O”可被給予具有最大差的周圍像素，“0.3”可被給予具有下一個最大差的周圍像素，“0.6”可被給予具有下一個最大差的周圍像素，“I”可被給予具有最小差的周圍像素或具有與中央像素相同像素值的組中的周圍像素，因此可產(chǎn)生權(quán)重圖。搜索單元133可使用下面等式產(chǎn)生匹配等級。數(shù)學(xué)式I[數(shù)學(xué)式I]a =SUM(L_image*Wl_R_image*W2)2在等式I中，SUMO指的是表示窗口中的全部像素的計算結(jié)果之和的函數(shù)，L_image和R_image分別表示左眼圖像的像素值和右眼圖像的像素值，Wl和W2表示對于每一個相應(yīng)像素確定的權(quán)重。搜索單元133可通過如等式I將左眼圖像的每一個窗口與右眼圖像的全部窗口進(jìn)行比較，來搜索左眼圖像和右眼圖像之間的匹配窗口。深度圖產(chǎn)生單元134基于搜索單元133搜索到的匹配點(diǎn)之間的距離產(chǎn)生深度圖。即，深度圖產(chǎn)生單元134將在左眼圖像中構(gòu)成對象的“a”像素的位置與在右眼圖像中的“a”像素的位置進(jìn)行比較，并計算差。因此，深度圖產(chǎn)生單元134產(chǎn)生具有與計算的差對應(yīng)的灰度級的圖像，即深度圖。深度可被定義為對象和相機(jī)之間的距離、對象和形成對象的圖像的記錄介質(zhì)(例如，膠片)之間的距離或立體感的程度。因此，如果左眼圖像的點(diǎn)和右眼圖像的點(diǎn)之間的距離大，則立體感增加到那個程度。深度圖在單個圖像中示出這種深度的改變。詳細(xì)地講，深度圖可使用根據(jù)左眼圖像和右眼圖像中的匹配點(diǎn)之間的距離而不同的灰度級示出深度。即，深度圖產(chǎn)生單元134可產(chǎn)生具有大距離差的點(diǎn)是亮的而具有小距離差的點(diǎn)是暗的深度圖。返回參照圖1，如果由立體匹配單元130產(chǎn)生深度圖，則放大單元140放大深度圖。這里，放大單元134可通過參照原始分辨率的輸入圖像(B卩，左眼圖像或右眼圖像)來放大深度圖。即，放大單元140可在考慮輸入圖像的亮度信息和顏色值的結(jié)構(gòu)來將不同權(quán)重應(yīng)用于低分辨率狀態(tài)的深度圖的每個點(diǎn)的同時執(zhí)行放大。例如，放大單元140可按塊劃分原始分辨率的輸入圖像，并通過比較每個塊的像素值來檢查相似度?；跈z查結(jié)果，可通過將高權(quán)重應(yīng)用于相似部分來產(chǎn)生權(quán)重窗口。然后，如果通過將產(chǎn)生的權(quán)重窗口應(yīng)用于深度圖來執(zhí)行放大，則可通過應(yīng)用高權(quán)重來放大深度圖中的重要部分。如此，可通過考慮原始分辨率的輸入圖像來執(zhí)行自適應(yīng)放大。渲染單元150可針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。在這種情況下，渲染單元150可產(chǎn)生從一個視點(diǎn)觀看的圖像，然后使用所述圖像和深度圖推斷并產(chǎn)生從另一視點(diǎn)觀看的圖像。即，如果一個圖像被產(chǎn)生，則渲染單元150參照產(chǎn)生的圖像使用焦距和對象的深度來推斷視點(diǎn)改變時在記錄介質(zhì)(膠片)上的傳播距離。渲染單元150通過根據(jù)推斷的傳播距離和方向移動參照圖像的每一個像素的位置，來產(chǎn)生新圖像。產(chǎn)生的圖像可以是從參考圖像間隔預(yù)定角度處的視點(diǎn)觀看的對象的圖像。如此，渲染單元150可產(chǎn)生多個多視點(diǎn)圖像。同時，圖1的圖像轉(zhuǎn)換設(shè)備可被實(shí)現(xiàn)為單個模塊或芯片并安裝在顯示設(shè)備上?？蛇x擇地，圖像轉(zhuǎn)換設(shè)備可實(shí)現(xiàn)為與顯示設(shè)備分開提供的單獨(dú)的設(shè)備。例如，圖像轉(zhuǎn)換設(shè)備可實(shí)現(xiàn)為諸如機(jī)頂盒、PC或圖像處理器的設(shè)備。在這種情況下，可需要附加部件，以將產(chǎn)生的多視點(diǎn)圖像提供給顯示設(shè)備。圖3是解釋圖像轉(zhuǎn)換設(shè)備與顯示設(shè)備分開提供的情況的框圖。根據(jù)圖3，除接收單元110、縮小單元120、立體匹配單元130、放大單元140和渲染單元150之外，圖像轉(zhuǎn)換設(shè)備還可包括接口單元160。接口單元160是用于將由渲染單元150產(chǎn)生的多個多視點(diǎn)圖像發(fā)送到外部顯示設(shè)備的部件。例如，接口單元160可被實(shí)現(xiàn)為USB接口單元或使用無線通信協(xié)議的無線通信接口單元。另外，上述顯示設(shè)備可以是非眼鏡型3D顯示系統(tǒng)。由于除接口單元160之外的其它部件與上面參照圖1描述的部件相同，因此將不提供進(jìn)一步描述。圖4是示出根據(jù)示例性實(shí)施例的顯示設(shè)備的構(gòu)造的框圖。圖4的顯示設(shè)備可以是能夠顯示3D圖像的設(shè)備。詳細(xì)地講，圖4的顯示設(shè)備可以是各種類型，諸如，TV、PC監(jiān)視器、數(shù)碼相框、PDP和移動電話。根據(jù)圖4,顯示設(shè)備包括接收單元210、圖像轉(zhuǎn)換處理單元220和顯示單元230。接收單元210從外部源接收立體圖像。圖像轉(zhuǎn)換處理單元220對于接收的立體圖像執(zhí)行縮小，并通過應(yīng)用自適應(yīng)權(quán)重來產(chǎn)生深度圖。然后，通過使用產(chǎn)生的深度圖和原始分辨率的圖像來進(jìn)行放大，產(chǎn)生多視點(diǎn)圖像。顯示單元230可通過輸出由圖像轉(zhuǎn)換處理單元220產(chǎn)生的多視點(diǎn)圖像，來形成3D屏幕。例如，顯示單元230可空間地劃分多視點(diǎn)圖像并輸出劃分的圖像，從而使用戶無需佩戴眼鏡而可通過感受與對象的一些距離來感受3D圖像。在這種情況下，顯示單元230可被實(shí)現(xiàn)為使用視差光柵技術(shù)或透鏡技術(shù)的顯示面板?；蛘撸@示單元230可被實(shí)現(xiàn)為通過交替輸出多視點(diǎn)圖像來創(chuàng)建立體感。即，顯示設(shè)備可被實(shí)現(xiàn)為非眼鏡型系統(tǒng)或眼鏡系統(tǒng)。同時，圖像轉(zhuǎn)換處理單元220可具有圖1至圖3所示出的構(gòu)造。即，圖像轉(zhuǎn)換處理單元220可包括:縮小單元，對立體圖像進(jìn)行縮?。涣Ⅲw匹配單元，通過針對縮小的立體圖像應(yīng)用自適應(yīng)權(quán)重來執(zhí)行立體匹配并根據(jù)立體匹配結(jié)果產(chǎn)生深度圖；放大單元，通過參照原始分辨率的輸入圖像來放大深度圖；渲染單元，通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖的渲染來產(chǎn)生多個多視點(diǎn)圖像。圖像轉(zhuǎn)換處理單元220的詳細(xì)構(gòu)造和操作與上述針對圖1至圖3的描述相同，因此將不提供進(jìn)一步的解釋。圖5至圖9是解釋根據(jù)示例性實(shí)施例的轉(zhuǎn)換圖像的處理的示圖。根據(jù)圖5，如果具有原始分辨率的左眼圖像500和右眼圖像600被接收單元110接收，則縮小單元120執(zhí)行縮小以輸出具有低分辨率的左眼圖像510和右眼圖像610。針對具有低分辨率的左眼圖像510和右眼圖像610執(zhí)行立體匹配處理，從而可計算成本量520。因此，對于每一個像素選擇具有最小成本量的深度，并產(chǎn)生深度圖530。立體匹配處理需要相當(dāng)大的計算量，并且如果執(zhí)行縮小以降低圖像的分辨率，并對于低分辨率的圖像執(zhí)行立體匹配來使算法較簡單，則可降低計算負(fù)擔(dān)。但是，如果使用簡單方法執(zhí)行立體匹配，則合成圖像的圖像質(zhì)量可劣化。因此，在示例性實(shí)施例中，使用基于自適應(yīng)權(quán)重窗口的立體匹配算法，這將在后面詳細(xì)描述。同時，如果深度圖530被產(chǎn)生，則使用深度圖530和原始分辨率的輸入圖像之一(在圖5的情況中，左眼圖像500)來執(zhí)行放大。即，如果針對低分辨率的深度圖530執(zhí)行簡單放大，則圖像質(zhì)量可劣化。因此，基于原始分辨率的左眼圖像500產(chǎn)生權(quán)重窗口，并且通過將權(quán)重窗口應(yīng)用于深度圖530來執(zhí)行放大，從而針對特定部分執(zhí)行大比例放大，而對諸如背景的部分執(zhí)行相對小比例放大。具體地講，原始分辨率的左眼圖像500按塊被劃分，以比較和檢查每個塊的像素值的相似度。通過基于像素值的相似度的檢查將高權(quán)重應(yīng)用于具有相似度的部分，來產(chǎn)生權(quán)重窗口。然后，通過將產(chǎn)生的權(quán)重窗口應(yīng)用于低分辨率的深度圖530的相同部分，來執(zhí)行放大。因此，除背景之外的對象(尤其是，邊緣)可通過高權(quán)重被放大，從而防止圖像質(zhì)量的劣化。如此，如果通過放大準(zhǔn)備了高分辨率的深度圖540，則通過參照原始分辨率的輸入圖像500產(chǎn)生多個多視點(diǎn)圖像700-1 700-n。多視點(diǎn)圖像的數(shù)量根據(jù)示例性實(shí)施例而不同。例如，9個多視點(diǎn)圖像可被使用。在圖5中，使用左眼圖像510的深度圖和原始分辨率的左眼圖像500來執(zhí)行放大，但是這僅是示例，因此不限于此。圖6是解釋將窗口應(yīng)用于低分辨率的左眼圖像和右眼圖像中的每一個圖像的處理的示圖。根據(jù)圖6，對于左眼圖像510和右眼圖像610順序產(chǎn)生窗口。窗口分別具有作為中央像素的圖像的每個像素。在這種情況下，可存在背景的邊界與人像的邊界相似的部分。由于左眼圖像和右眼圖像的視點(diǎn)互不相同，所以背景和人像可根據(jù)背景和人像之間的位置關(guān)系看起來分離或重疊。S卩，如果如圖6所示，背景20在人像10的左側(cè)，則在像素(Cl)指定為中央像素的左眼圖像510的窗口(a)中，背景20看起來與人像10有些分離，而在像素(C2)指定為中央像素的右眼圖像610的窗口(b)中，背景20看起來與人像10重疊。圖7示出使用應(yīng)用于左眼圖像的窗口(a)和應(yīng)用于右眼圖像的窗口(b)產(chǎn)生匹配等級的處理。如圖7所示，從左眼圖像窗口(a)的每一個像素值直接減去右眼圖像窗口(b)的每一個像素值，并進(jìn)行平方，以確定是匹配還是不匹配。在這種情況下，左眼圖像和右眼圖像的窗口(a，b)的像素可在如圖6所示的背景和人像之間的邊界表現(xiàn)出完全不同，示出低匹配等級。圖8示出根據(jù)示例性實(shí)施例的使用權(quán)重窗口產(chǎn)生匹配程度的處理。根據(jù)圖8，使用關(guān)于左眼圖像窗口(a)的第一權(quán)重窗口(wl)和關(guān)于右眼圖像窗口(b)的第二權(quán)重窗口(w2)。可分別基于左眼圖像和右眼圖像獲得第一權(quán)重窗口(wl)和第二權(quán)重窗口(w2)。SP,例如,在第一權(quán)重窗口(Wl)中，中央像素(Cl)的像素值與左眼圖像窗口(a)中的周圍像素的像素值相比較。因此，將高權(quán)重應(yīng)用于具有與中央像素(Cl)的像素值相同的像素值的周圍像素或差在預(yù)定范圍內(nèi)的周圍像素。即，由于在窗口(a)中，中央像素(Cl)是構(gòu)成人像的像素，所以將高權(quán)重應(yīng)用于構(gòu)成人像的其它像素。另一方面，將相對低權(quán)重應(yīng)用于除構(gòu)成人像的像素之外的剩余像素。如果存在“O”和“ I”的權(quán)重，則“ I”可被應(yīng)用于與人像對應(yīng)的像素，“O”可被應(yīng)用于剩余像素。如此，可產(chǎn)生第一權(quán)重窗口(wl)。還可基于右眼圖像窗口(b)以相似方式產(chǎn)生第二權(quán)重窗口(w2)。在這種情況下，如果第一權(quán)重窗口(wl)和第二權(quán)重窗口(w2)被產(chǎn)生，則分別與左眼圖像窗口(a)和右眼圖像窗口(b)相乘。然后，從第一權(quán)重窗口(wl)和左眼圖像窗口(a)之積減去第二權(quán)重窗口(《2)和右眼圖像窗口(b)之積，對結(jié)果進(jìn)行平方，并基于計算的值確定匹配還是不匹配。如此，每一個窗口(a，b)與權(quán)重窗口相乘，因此最小化背景的影響的同時，可基于作為人像的主部分確定匹配還是不匹配。因此，如圖6所示，可防止因背景的影響而將關(guān)于背景和人像之間的邊界的窗口確定為不匹配的點(diǎn)。如果如圖8所示，分別搜索具有低分辨率的左眼圖像510和右眼圖像610之間的匹配點(diǎn)，則通過計算匹配點(diǎn)之間的距離來提供成本量520。因此，產(chǎn)生具有與計算的距離對應(yīng)的灰度級的深度圖。然后，使用產(chǎn)生的深度圖和原始分辨率的輸入圖像執(zhí)行放大。圖9是解釋根據(jù)示例性實(shí)施例的放大處理的示圖。圖9示出在沒有考慮原始分辨率的左眼圖像500的情況(a)下和在考慮原始分辨率的左眼圖像500的情況(b)下針對低分辨率狀態(tài)的左眼圖像的深度圖530執(zhí)行放大時的圖像質(zhì)量。首先，圖9 Ca)示出沒有參照原始分辨率的左眼圖像500而直接放大低分辨率的深度圖530-1的情況。在這種情況下，可根據(jù)常用放大方法，使用通過按預(yù)定間隔或按預(yù)定圖案插入像素來簡單地增加分辨率的方法。在這種情況下，對于邊緣部分的放大不會適當(dāng)?shù)貓?zhí)行，因此邊緣部分不會被表現(xiàn)，而邊緣部分看上去沒有位于放大的深度圖530-2上。因此，深度圖540’的整個圖像質(zhì)量被劣化。另一方面，圖9 (b)示出通過參照原始分辨率的左眼圖像500來放大低分辨率的深度圖的處理。首先，將窗口 530-1應(yīng)用于低分辨率的深度圖530的每一個像素。然后，在原始分辨率的左眼圖像500的窗口中，搜索與深度圖窗口 530-1匹配的窗口 500-1，然后針對搜索的窗口 500-1產(chǎn)生權(quán)重窗口(w3)。權(quán)重窗口(w3)表示:使用中央像素和窗口 500-1中的其周圍像素之間的相似度將權(quán)重應(yīng)用于窗口的每一個像素的窗口。因此，可通過將產(chǎn)生的權(quán)重窗口(w3)應(yīng)用于深度圖窗口 530-1來執(zhí)行放大。因此，可以看到，放大的深度圖窗口 540-1具有光滑的邊緣，與圖9(a)的深度圖窗口 530-2不同。結(jié)果，如果組合全部的深度圖窗口 540-1，則產(chǎn)生高分辨率的深度圖540。與圖9 (a)中的沒有參照原始分辨率的輸入圖像而放大的放大的深度圖540’比較，圖9 (b)中的參照原始分辨率的輸入圖像而放大的放大的深度圖540具有更好的圖像質(zhì)量。圖10是解釋使用利用放大的深度圖540和原始分辨率的輸入圖像產(chǎn)生的多視點(diǎn)圖像的3D顯示的示圖。根據(jù)圖10，執(zhí)行立體輸入，S卩，左眼圖像(L)和右眼圖像(R)輸入到圖像轉(zhuǎn)換設(shè)備100。圖像轉(zhuǎn)換設(shè)備100使用上述方法處理左眼圖像和右眼圖像，以產(chǎn)生多視點(diǎn)圖像。然后，使用空間劃分方法通過顯示單元230顯示多視點(diǎn)圖像。因此，用戶可基于位置觀看來自不同視點(diǎn)的對象，因此用戶可感受立體感，而無需佩戴眼鏡。圖11是示出用于輸出多視點(diǎn)圖像的方法的示例的示圖。根據(jù)圖11，顯示單元230沿劃分空間的方向輸出總共9個多視點(diǎn)圖像(VI至V9)。如圖11所示，在第九圖像在左側(cè)輸出之后第一圖像再次輸出。因此，即使用戶位于顯示單元230的側(cè)邊，而不是在顯示單元230的前邊，用戶仍可以感受到立體感。同時，多視點(diǎn)圖像的數(shù)量不限于9個，并且顯示方向的數(shù)量可根據(jù)多視點(diǎn)圖像的數(shù)量而改變。如此，根據(jù)各種示例性實(shí)施例，立體圖像可被有效地轉(zhuǎn)換為多視點(diǎn)圖像，因此可應(yīng)用于非眼鏡3D顯示系統(tǒng)和其它顯示系統(tǒng)。圖12是解釋根據(jù)示例性實(shí)施例的用于轉(zhuǎn)換圖像的方法的流程圖。根據(jù)圖12，如果接收到立體圖像(S1210)，針對每個圖像執(zhí)行縮小(S1220)。這里，立體圖像表示從不同視點(diǎn)拍攝的多個圖像。例如，立體圖像可以是左圖像和右圖像，即，從如雙眼視差一樣多地相互分離的兩個視點(diǎn)拍攝的左眼圖像和右眼圖像。然后，通過將窗口應(yīng)用于每一個縮小的圖像來搜索匹配點(diǎn)。即，執(zhí)行立體匹配(S1230)。在這種情況下，可使用考慮窗口中的像素之間的相似度而應(yīng)用權(quán)重的權(quán)重窗口。當(dāng)搜索到匹配點(diǎn)時，使用對應(yīng)點(diǎn)之間的距離差產(chǎn)生深度圖(S1240)。然后，放大產(chǎn)生的深度圖(S1250)。在這種情況下，可通過考慮原始分辨率的輸入圖像將權(quán)重應(yīng)用于特定部分，來執(zhí)行放大。因此，放大可更多聚焦在主要部分(諸如，邊緣)，從而防止圖像質(zhì)量的劣化。在如上所述地執(zhí)行放大之后，使用放大的深度圖和原始分辨率的輸入圖像產(chǎn)生多視點(diǎn)圖像(S1260)。詳細(xì)地講，在產(chǎn)生一個多視點(diǎn)圖像之后，基于產(chǎn)生的多視點(diǎn)圖像產(chǎn)生剩余的多視點(diǎn)圖像。如果在與顯示設(shè)備分開提供的圖像轉(zhuǎn)換設(shè)備中執(zhí)行該操作，則可存在將產(chǎn)生的多視點(diǎn)圖像發(fā)送到顯示設(shè)備(尤其是，非眼鏡3D顯示系統(tǒng))的附加步驟。因此，多視點(diǎn)圖像可被顯示為3D屏幕?？蛇x擇地，如果該操作在顯示設(shè)備本身中執(zhí)行，則可存在將產(chǎn)生的多視點(diǎn)圖像輸出到3D屏幕的附加步驟。圖13是解釋使用加權(quán)窗口的立體匹配處理的示例的流程圖。根據(jù)圖13，將窗口分別應(yīng)用于第一輸入圖像和第二輸入圖像(S1310)。 然后，通過檢查窗口中的每一個像素值來計算像素之間的相似度(S1320 )。因此，通過根據(jù)相似度應(yīng)用不同權(quán)重來產(chǎn)生關(guān)于第一輸入圖像窗口和第二輸入圖像窗口中的每一個的權(quán)重窗口。然后，通過將產(chǎn)生的權(quán)重窗口分別應(yīng)用于第一輸入圖像窗口和第二輸入圖像窗口，來確定匹配還是不匹配(S1330)。同時，將一個窗口應(yīng)用于第一輸入圖像的一個像素并針對第二輸入圖像的全部像素移動窗口的同時，可比較匹配點(diǎn)。然后，可將窗口應(yīng)用于第一輸入圖像的下一像素，并且新窗口可與第二輸入圖像的全部像素再次相比較。如此，通過將第一輸入圖像的全部窗口與第二輸入圖像的全部窗口相比較，來搜索匹配點(diǎn)。如上所述，根據(jù)各種示例性實(shí)施例，通過適當(dāng)?shù)剞D(zhuǎn)換立體圖像信號，來產(chǎn)生多個多視點(diǎn)圖像。因此，構(gòu)成傳統(tǒng)立體圖像的內(nèi)容可被用作多視點(diǎn)圖像內(nèi)容。另外，根據(jù)各種示例性實(shí)施例的轉(zhuǎn)換圖像的方法可存儲在各種類型的記錄介質(zhì)中，以實(shí)現(xiàn)為CPU可執(zhí)行的程序代碼。詳細(xì)地講，用于執(zhí)行上述圖像轉(zhuǎn)換方法的程序可存儲在終端可讀取的各種類型的記錄介質(zhì)的隨機(jī)存取存儲器(RAM)、閃速存儲器、只讀存儲器(ROM)、可擦除可編程ROM(EPROM)、電可擦除和編程ROM(EEPROM)、寄存器、硬盤、可移動盤、存儲卡、USB存儲器或CD-ROM 中。雖然已示出和描述了本發(fā)明構(gòu)思的一些實(shí)施例，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離范圍由權(quán)利要求及其等同物限定的本發(fā)明構(gòu)思的原理和精神的前提下，可對實(shí)施例進(jìn)行修改。
權(quán)利要求
1.一種用于在圖像轉(zhuǎn)換設(shè)備中轉(zhuǎn)換圖像的方法，包括如下步驟: 縮小立體圖像； 通過將自適應(yīng)權(quán)重應(yīng)用于縮小的立體圖像，來執(zhí)行立體匹配； 根據(jù)立體匹配產(chǎn)生深度圖； 通過參照原始分辨率的輸入圖像來放大深度圖； 通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視圖。
2.根據(jù)權(quán)利要求1所述的方法，其中，立體匹配的步驟還包括: 將具有預(yù)定大小的窗口順序地應(yīng)用于立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像； 計算在每個窗口中的中央像素與周圍像素之間的相似度； 通過根據(jù)計算的中央像素和周圍像素之間的相似度應(yīng)用不同的自適應(yīng)權(quán)重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點(diǎn)。
3.根據(jù)權(quán)利要求2所述 的方法，其中，深度圖是根據(jù)匹配點(diǎn)之間的距離差而具有不同灰度的圖像。
4.根據(jù)權(quán)利要求3所述的方法，其中，自適應(yīng)權(quán)重與中央像素的相似度成比例地增加， 其中，灰度級被設(shè)置為與匹配點(diǎn)之間的距離差成反比。
5.根據(jù)權(quán)利要求2所述的方法，其中，放大深度圖的步驟包括: 搜索深度圖和原始分辨率的輸入圖像之間的相似度； 通過針對搜索的相似度應(yīng)用自適應(yīng)權(quán)重，來針對深度圖執(zhí)行放大。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述多個多視點(diǎn)圖像被非眼鏡3D顯示系統(tǒng)顯示，以表現(xiàn)3D屏幕。
7.一種圖像轉(zhuǎn)換設(shè)備，包括: 縮小單元，縮小立體圖像； 立體匹配單元，通過將自適應(yīng)權(quán)重應(yīng)用于縮小的立體圖像，來執(zhí)行立體匹配并根據(jù)立體匹配產(chǎn)生深度圖； 放大單元，通過參照原始分辨率的輸入圖像來放大深度圖； 渲染單元，通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視圖。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，立體匹配單元包括: 窗口產(chǎn)生單元，將具有預(yù)定大小的窗口順序地應(yīng)用于立體圖像的第一輸入圖像和第二輸入圖像中的每一個圖像； 相似度計算單元，計算在第一輸入圖像和第二輸入圖像中的每一個的窗口中的中央像素與周圍像素之間的相似度； 搜索單元，通過根據(jù)計算的在第一輸入圖像和第二輸入圖像中的每一個的窗口中的中央像素和周圍像素之間的相似度應(yīng)用自適應(yīng)權(quán)重，來搜索第一輸入圖像和第二輸入圖像之間的匹配點(diǎn)； 深度圖產(chǎn)生單元，使用搜索的匹配點(diǎn)之間的距離產(chǎn)生深度圖。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，深度圖是根據(jù)匹配點(diǎn)之間的距離差而具有不同灰度級的圖像。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，自適應(yīng)權(quán)重與中央像素的相似度成比例地增加， 其中，灰度級被設(shè)置為與匹配點(diǎn)之間的距離差成反比。
11.根據(jù)權(quán)利要求8所述的設(shè)備，其中，放大單元搜索深度圖和原始分辨率的輸入圖像之間的相似度，并通過針對搜索的相似度應(yīng)用自適應(yīng)權(quán)重,來執(zhí)行放大。
12.根據(jù)權(quán)利要求7所述的設(shè)備，還包括: 接口單元，將所述多個多視點(diǎn)圖像提供給非眼鏡3D顯示系統(tǒng)。
13.根據(jù)權(quán)利要求7所述的設(shè)備，還包括:接收單元，接收立體圖像。
14.一種顯示設(shè)備，包括: 接收單元，接收立體圖像； 圖像轉(zhuǎn)換處理單元，通過在縮小立體圖像之后應(yīng)用自適應(yīng)權(quán)重來產(chǎn)生深度圖并通過使用產(chǎn)生的深度圖和分辨率圖像的放大來產(chǎn)生多視點(diǎn)圖像； 顯示單元，輸出由圖像轉(zhuǎn)換處理單元產(chǎn)生的多視點(diǎn)圖像。
15.根據(jù)權(quán)利要求14所述的顯示設(shè)備，其中，圖像轉(zhuǎn)換處理單元包括: 縮小單元，縮小立體圖像； 立體匹配單元，通過針對縮小的立體圖像應(yīng)用自適應(yīng)權(quán)重來執(zhí)行立體匹配，并根據(jù)立體匹配產(chǎn)生深度圖； 放大單元，通過參照原始分辨率的輸入圖像來放大深度圖； 渲染單元，通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。
16.根據(jù)權(quán)利要求14所述的顯示設(shè)備，其中，顯示設(shè)備包括電視機(jī)、PC監(jiān)視器、數(shù)碼相框、PDP和移動電話之一。
17.根據(jù)權(quán)利要求1所述的方法，包括步驟:接收立體圖像。
全文摘要
提供了一種在圖像轉(zhuǎn)換設(shè)備中轉(zhuǎn)換圖像的方法。所述方法包括接收立體圖像；縮小立體圖像；通過將自適應(yīng)權(quán)重應(yīng)用于縮小的立體圖像，來執(zhí)行立體匹配；根據(jù)立體匹配產(chǎn)生深度圖；通過參照原始分辨率的輸入圖像來放大深度圖；通過針對放大的深度圖和原始分辨率的輸入圖像執(zhí)行基于深度圖像的渲染，來產(chǎn)生多個多視點(diǎn)圖像。因此，可容易獲得多個多視點(diǎn)圖像。
文檔編號H04N13/00GK103202026SQ201180054239
公開日2013年7月10日 申請日期2011年8月9日 優(yōu)先權(quán)日2010年11月10日
發(fā)明者張朱镕, 李珍晟, 閔鐘述, 金圣晉 申請人:三星電子株式會社