專利名稱:影像信號處理裝置以及方法
技術領域:
本發(fā)明涉及處理影像信號的影像信號處理裝置以及方法,尤其涉及改良了根據(jù)運動矢量生成插補像素的插補處理的影像信號處理裝置以及方法。
背景技術:
在使用液晶面板的圖像顯示裝置中顯示運動圖像時容易產(chǎn)生殘像。因此,為了減少殘像,在影像信號的實際幀之間內插插補幀來增大幀數(shù),例如將垂直頻率60Hz的幀率變換為2倍的120Hz或120Hz以上的垂直頻率來進行圖像顯示。在進行幀率變換的影像信號處理裝置中,檢測圖像的運動矢量,使用運動矢量來生成各插補像素,生成要在實際幀間內插的插補幀。進行幀率變換的影像信號處理裝置,作為一例記載在專利文獻I中。
在根據(jù)運動矢量生成插補像素并生成插補幀的影像信號處理裝置中,為了提高插補精度來獲得高畫質的幀率變換圖像,擴大插補處理的范圍是有效的。即,即使在圖像的運動大的情況下也需要使用適當?shù)膶嶋H幀的像素生成插補像素。但是,為了擴大插補處理的范圍,必須增加使影像信號在垂直方向上延遲的行存儲器、使影像信號在水平方向上延遲的像素延遲器的數(shù)量。當增加行存儲器或像素延遲器的數(shù)量時,電路規(guī)模變大,成本升高。特別是行存儲器的增加對電路規(guī)模的增大以及成本升高產(chǎn)生很大影響。因此,希望在抑制行存儲器的增加的同時擴大插補處理的范圍。專利文獻I :日本特開2008-141546號公報
發(fā)明內容
本發(fā)明為了應對這種希望,目的在于提供一種能夠在抑制行存儲器的增加的同時擴大插補處理的范圍,即使在圖像的垂直方向的運動大的情況下也能夠根據(jù)運動矢量生成適當?shù)牟逖a像素的影像信號處理裝置以及方法。本發(fā)明,為了解決上述現(xiàn)有技術的課題,提供一種影像信號處理裝置,其中,具備第一延遲部(2),其使輸入影像信號延遲I幀期間或多行期間后作為第一延遲影像信號進行輸出;第二延遲部(3),其使所述第一延遲影像信號延遲I幀期間后作為第二延遲影像信號進行輸出;第一延遲選擇部(62),其使所述第一延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成插補像素數(shù)據(jù)時使用的第一參照范圍內包含的多個像素數(shù)據(jù),從所述多個像素數(shù)據(jù)中選擇某個像素數(shù)據(jù);第二延遲選擇部(63),其使所述第二延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成所述插補像素數(shù)據(jù)時使用的第二參照范圍內包含的多個像素數(shù)據(jù),從所述多個像素數(shù)據(jù)中選擇某個像素數(shù)據(jù);頻數(shù)分布監(jiān)視器部(4),其將在生成所述插補像素數(shù)據(jù)時使用的運動矢量的垂直成分的大小劃分為多個級別,檢測運動矢量的垂直成分在各個級別中以怎樣的出現(xiàn)次數(shù)的頻數(shù)發(fā)生;偏移控制部(5、50、51、52),其在通過所述頻數(shù)分布監(jiān)視器部檢測出的運動矢量的垂直成分在預先設定的特定的級別中超過了預定的閾值時,生成使從所述第一延遲部讀出所述第一延遲影像信號時的垂直方向的讀出地址移動的第一偏移信號,提供給所述第一延遲部,生成使從所述第二延遲部讀出所述第二延遲影像信號時的垂直方向的讀出地址移動的第二偏移信號,提供給所述第二延遲部;以及選擇控制部(61),其進行控制,以使根據(jù)所述第一偏移信號使所述第一延遲選擇部選擇的像素數(shù)據(jù)在垂直方向上移動,根據(jù)所述第二偏移信號使所述第二延遲選擇部選擇的像素數(shù)據(jù)在垂直方向上移動。另外,本發(fā)明為了解決上述現(xiàn)有技術的課題,提供一種影像信號處理方法,其中,通過第一延遲部使輸入影像信號延遲I幀期間或多行期間后作為第一延遲影像信號進行輸出,通過第二延遲部使所述第一延遲影像信號延遲I幀期間后作為第二延遲影像信號進行輸出,使所述第一延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成插補像素數(shù)據(jù)時使用的第一參照范圍內包含的多個像素數(shù)據(jù),使所述第二延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成所述插補像素數(shù)據(jù)時使用的第二參照范圍內包含的多個像素數(shù)據(jù),將在生成所述插補像素數(shù)據(jù)時使用的運動矢量的垂直成分的大小劃分為多個級別,檢測運動矢量的垂直成分在各個級別中以怎樣的出現(xiàn)次數(shù)的頻數(shù)發(fā)生,當運動矢量的垂直成分在預先設定的特定的級別中超過了預定閾值時,根據(jù)第一偏移信號使從所述第一延遲部讀出所述第一延遲影像信號時的垂直方向的讀出地址移動, 根據(jù)第二偏移信號使從所述第二延遲部讀出所述第二延遲影像信號時的垂直方向的讀出地址移動,根據(jù)所述第一偏移信號,移動從所述第一參照范圍內的多個像素數(shù)據(jù)中選擇并讀出第一像素數(shù)據(jù)時的垂直方向的位置,根據(jù)所述第二偏移信號,移動從所述第二參照范圍內的多個像素數(shù)據(jù)中選擇并讀出第二像素數(shù)據(jù)時的垂直方向的位置,根據(jù)從所述第一參照范圍讀出的所述第一像素數(shù)據(jù),和從所述第二參照范圍讀出的所述第二像素數(shù)據(jù),生成插補像素數(shù)據(jù)。根據(jù)本發(fā)明的影像信號處理裝置以及方法,能夠在抑制行存儲器的增加的同時擴大插補處理的范圍,即使在圖像的垂直方向的運動大的情況下,也能夠根據(jù)運動矢量生成適當?shù)牟逖a像素。
圖I是表示第I實施方式的框圖。圖2是用于說明運動矢量的圖。圖3是表示頻數(shù)分布監(jiān)視器部4檢測出的頻數(shù)分布的直方圖的例子的圖。圖4是表示延遲選擇部62、63的具體結構例的框圖。圖5是用于說明不移動幀存儲器2、3中的垂直方向的讀出地址的情況下的插補像素生成動作的概念圖。圖6是用于說明移動了幀存儲器2、3中的垂直方向的讀出地址的情況下的插補像素生成動作的概念圖。圖7是用于說明幀存儲器2、3中的垂直方向的讀出地址的移動的圖。圖8是表示圖I的變形結構的局部框圖。圖9是表示第2實施方式的框圖。圖10是用于說明第2實施方式中的運動矢量的圖。圖11是用于說明第2實施方式中的動作的圖。圖12是表示第3實施方式的框圖。
圖13是用于說明2-3下拉的影像信號以及去抖動處理的圖。圖14是用于說明去抖動處理的像素插補的圖。圖15是表示第4實施方式的框圖。圖16是表不第5實施方式的框圖。圖17是表示在第5實施方式中頻數(shù)分布監(jiān)視器部4L、4R檢測出的頻數(shù)分布的直方圖的例子的圖。 圖18是用于說明在左區(qū)域中移動了幀存儲器2、3中的垂直方向的讀出地址的情況下的插補像素生成動作的概念圖。圖19是用于說明在右區(qū)域中移動了幀存儲器2、3中的垂直方向的讀出地址的情況下的插補像素生成動作的概念圖。圖20是用于說明在左區(qū)域以及右區(qū)域中不移動幀存儲器2、3中的垂直方向的讀出地址的情況下的插補像素生成動作的概念圖。符號說明I運動矢量檢測部2、3、21幀存儲器(延遲部)4頻數(shù)分布監(jiān)視器部4L左區(qū)域頻數(shù)分布監(jiān)視器部4R右區(qū)域頻數(shù)分布監(jiān)視器部5、50 52偏移控制部5L左區(qū)域偏移控制部5R右區(qū)域偏移控制部6插補像素生成部6L左區(qū)域插補像素生成部6R右區(qū)域插補像素生成部7時間序列變換存儲器8影片信號檢測部9去抖動處理部20延遲部61選擇控制部62、63延遲選擇部64混合部501、521 判別部502、533偏移量決定部522限制部
具體實施例方式以下,參照
本發(fā)明的影像信號處理裝置以及方法的各實施方式。以下詳述的第I、第2、第4、第5實施方式,作為影像信號處理裝置的一例,表示了將垂直頻率60Hz的幀率變換為120Hz的幀率變換裝置。第3實施方式以不變換幀率而使根據(jù)影片圖像生成的影像信號的運動平滑的、進行所謂去抖動處理的去抖動處理裝置為例。作為影像信號處理裝置,只要是根據(jù)運動矢量生成插補像素的裝置即可。也可以是將幀率變換為4倍或4倍以上的幀率變換裝置。(第I實施方式)使用圖f圖8說明第I實施方式的結構以及動作。在圖I中對運動矢量檢測部I以及幀存儲器2依次輸入構成輸入影像信號SO的各像素數(shù)據(jù)。輸入影像信號SO的垂直頻率是60Hz。幀存儲器2使輸入影像信號SO延遲I幀期間后作為影像信號(第一延遲影像信號)S1進行輸出。影像信號SI被輸入運動矢量檢測部I、幀存儲器3、插補像素生成部6內的延遲選擇部62。幀存儲器3使影像信號SI延遲I幀期間后作為影像信號(第二延遲影像信號)S2進行輸出。影像信號S2被輸入插補像素生成部6內的延遲選擇部63。運動矢量檢測部I比較輸入影像信號SO以及影像信號SI各自的由預定的水平方 矢量MV進行輸出。運動矢量檢測部I包含多個行存儲器以及觸發(fā)器等多個像素延遲器。作為運動矢量檢測部1,采用公知的結構即可,因此省略運動矢量檢測部I的具體結構。在此,使用相鄰兩幀的多個像素檢測運動矢量MV,但是為了提高檢測精度也可以使用3幀以上的多個像素來檢測運動矢量MV。從運動矢量檢測部I輸出的運動矢量MV被輸入頻數(shù)分布檢測器部4以及插補像素生成部6內的選擇控制部61。在圖2中,設影像信號SI是實際幀f I,影像信號S2是實際幀f2。假定在實際幀H、f2間內插插補幀Π2。運動幀檢測部I作為一例,以實際幀f2的像素為基準來檢測運動矢量MV。如圖2所示,在實際幀fI上排列了像素Pfl (-2) ,Pfl (-1)、Pfl (O)、Pfl (I)、Pfl ⑵…,在實際幀 f2 上排列了像素 Pf2 (-2)、Pf2 (-1)、Pf2 (O)、Pf2 (I)、Pf2(2)···。假定生成插補幀f 12的插補像素Pf 12(0)時的運動矢量MV是圖示那樣的矢量。在圖2中,為了生成插補像素Pf 12 (O),取實際幀f I上的像素Pfl (_2)和實際幀f2上的像素Pf2(2)的平均即可。后述的插補像素生成部6在生成插補像素時不直接使用以實際幀f2的像素為基準的運動矢量W。插補像素生成部6將運動矢量MV變換為以插補像素Pf 12 (O)為基準的實際幀f I和插補幀f 12之間的運動矢量MV/2、和以插補像素Pf 12 (O)為基準的實際幀f2和插補幀Π2之間的運動矢量-MV/2,使用運動矢量MV/2、-MV/2。頻數(shù)分布監(jiān)視器部4例如以幀為單位監(jiān)視運動矢量MV,檢測運動矢量MV的垂直成分以怎樣的大小如何分布。例如,如圖3的直方圖所示,每一定范圍劃分運動矢量MV的垂直成分所取的范圍來設為級別,將各個級別在I幀中的出現(xiàn)次數(shù)設為頻數(shù)。圖3所示的例子,運動矢量MV的垂直成分取8'8的范圍,以每兩個范圍進行劃分來設為級別。級別的數(shù)字表示作為運動矢量MV的垂直成分的像素數(shù)(行數(shù))。此外,運動矢量MV的垂直成分,在朝向從影像信號S I的實際幀fl觀看影像信號S2的實際幀f2時的垂直方向上側時為正方向,朝向下側時為負方向??梢愿鶕?jù)I幀內檢測出的全部運動矢量MV對各個級別的出現(xiàn)次數(shù)進行計數(shù),也可以間隔取得運動矢量MV來對出現(xiàn)次數(shù)進行計數(shù)。此外,可以針對I幀內的全部像素分別求出運動矢量MV,也可以以多個像素為單位求出運動矢量MV。頻數(shù)分布監(jiān)視器部4將表示圖3那樣求出的頻數(shù)分布的數(shù)據(jù)Sfd提供給偏移控制部5。偏移控制部5當圖3所示的頻數(shù)分布的特定的級別CLsp中頻數(shù)超過閾值y時,生成表示絕對值超過O的預定的偏移量的偏移信號Sosl、Sos2。偏移控制部5在不超過閾值y時輸出表不偏移量為O的偏移信號Sosl、Sos2。關于偏移量,在后面詳細說明。如后所述,插補像素生成部6內的延遲選擇部62、63使輸入的像素數(shù)據(jù)在水平方向上延遲廣4像素,在垂直方向上延遲廣4行。即,延遲選擇部62、63在影像信號S1、S2中的水平方向5像素、垂直方向5像素的范圍的像素數(shù)據(jù)中選擇預定的像素數(shù)據(jù)。通過偏移控制部5設定的特定的級別CLsp優(yōu)選設為成為當通過延遲選擇部62、63選擇用于根據(jù)運動矢量MV (MV/2、-MV/2)生成插補像素數(shù)據(jù)的預定的像素數(shù)據(jù)時無法選擇的范圍的級別。在第I實施方式中,成為無法選擇的范圍的級別是5、6的級別、7、8的級別、_5、_6的級別、-7、_8的級別,在此,將特定的級別CLsp設為7、8的級別和_7、-8的級別。圖3的例子表示在7、8的級別超過了閾值y的狀態(tài)??梢詫?、6的級別和_5、-6的級別作為特定的級別,也可以將5、6的級別、7、8的級別、_5、-6的級別、_7、-8的級別全部作為特定的級別。
當將5、6的級別、7、8的級別、_5、_6的級別、_7、_8的級別設為特定的級別CLsp時,在將5、6的級別中的頻數(shù)和7、8的級別中的頻數(shù)合計而得的頻數(shù)超過閾值y或者將_5、-6的級別中的頻數(shù)和_7、-8的級別中的頻數(shù)合計而得的頻數(shù)超過閾值y的情況下,可以生成表不預定的偏移量的偏移信號Sosl、Sos2。將偏移信號Sosl輸入巾貞存儲器2,將偏移信號Sos2輸入巾貞存儲器3。偏移信號Sosl、Sos2也被輸入選擇控制部61。在此,使用圖4說明延遲選擇部62、63的具體的結構以及動作。延遲選擇部62、63具備行存儲器601飛04、作為像素延遲器的觸發(fā)器605飛24、選擇部625。影像信號S1、S2的像素數(shù)據(jù)通過行存儲器601飛04分別依次延遲I行期間。所輸入的像素數(shù)據(jù)通過觸發(fā)器605 608分別依次被延遲I像素期間。從行存儲器601輸出的像素數(shù)據(jù)通過觸發(fā)器609 612分別依次延遲I像素期間。從行存儲器602輸出的像素數(shù)據(jù)通過觸發(fā)器613飛16分別依次延遲I像素期間。從行存儲器603輸出的像素數(shù)據(jù)通過觸發(fā)器617飛20分別依次延遲I像素期間。從行存儲器604輸出的像素數(shù)據(jù)通過觸發(fā)器62廣624分別依次延遲I像素期間。所輸入的像素數(shù)據(jù)、從行存儲器60廣604輸出的像素數(shù)據(jù)和從觸發(fā)器605飛24輸出的像素數(shù)據(jù)被輸入選擇部625。被輸入選擇部625的像素數(shù)據(jù)是影像信號S1、S2中的水平方向上5像素、垂直方向上5像素的范圍內包含的共計25像素的像素數(shù)據(jù)。從觸發(fā)器614輸出的像素數(shù)據(jù)是25像素的像素數(shù)據(jù)中的中央的像素數(shù)據(jù),從觸發(fā)器614輸出的像素數(shù)據(jù)的位置成為基準位置。在第I實施方式中,延遲選擇部62、63分別從作為生成插補像素數(shù)據(jù)時的參照范圍的25像素的像素數(shù)據(jù)中選擇一個像素數(shù)據(jù),但是參照范圍不限于25像素。也可以具備更多的行存儲器以及觸發(fā)器,從比25像素多的各個參照范圍內的像素中選擇一個像素數(shù)據(jù)。首先,說明運動矢量MV的垂直成分例如為4像素(4行)的情況。如前所述,通過插補像素生成部6生成插補像素數(shù)據(jù)時使用的運動矢量是運動矢量MV/2、-MV/2,因此,當運動矢量MV的垂直成分為4像素時,通過插補像素生成部6使用的運動矢量的垂直成分為+2像素、-2像素。由圖4可知,延遲選擇部62、63在將從觸發(fā)器614輸出的像素數(shù)據(jù)的位置設為基準位置時,能夠選擇在垂直方向上移動+2像素、_2像素后的位置的像素數(shù)據(jù)。即,若運動矢量MV的垂直成分為4像素以內,則可以在以從觸發(fā)器614輸出的像素數(shù)據(jù)的位置為基準位置的狀態(tài)下選擇像素數(shù)據(jù)。接著,說明運動矢量MV的垂直成分例如為8像素(8行)的情況。當運動矢量MV的垂直成分為8像素時,插補像素生成部6中使用的運動矢量的垂直成分為+4像素、-4像素。由圖4可知,延遲選擇部62、63在以從觸發(fā)器614輸出的像素數(shù)據(jù)的位置作為基準位置的情況下,無法選擇在垂直方向上移動+4像素、_4像素后的位置的像素數(shù)據(jù)。因此,在第I實施方式中,當在作為特定的級別的CLsp的7、8的級別和_7、-8的級別的至少一方的級別頻數(shù)超過了閾值y時,為了可以通過延遲選擇部62、63選擇與運動矢量MV的垂直成分對應的像素數(shù)據(jù)來輸出而如下構成。將作為偏移控制部5求出偏移量的基準的運動矢量MV的垂直成分設為8像素。為了通過延遲選擇部62、63選擇在垂直方向上移動+4像素、-4像素后的位置的像素數(shù)據(jù),以從觸發(fā)器614輸出的像素數(shù)據(jù)的位置作為基準位置的情況下的垂直方向的像素數(shù)據(jù)的選擇范圍為+2像素、-2像素,因此,將偏移信號Sosl的偏移量設為2,將偏移信號Sos2的偏 移量設為-2即可。表不偏移量2的偏移信號Sosl被輸入巾貞存儲器2,表不偏移量-2的偏移信號Sos2被輸入幀存儲器3。幀存儲器2、3根據(jù)所輸入的偏移量來移動讀出影像信號S1、S2時的垂直方向的讀出地址。選擇控制部61根據(jù)所輸入的偏移信號Sosl、Sos2的偏移量,生成選擇控制信號Ssell、Ssel2并輸入延遲選擇部62、63。如圖4所不,選擇控制信號Ssell、Ssel2被輸入選擇部625。若偏移信號Sosl、Sos2的偏移量為O,則選擇控制部61以從觸發(fā)器614輸出的像素數(shù)據(jù)的位置作為基準位置,根據(jù)運動矢量MV/2、-MV/2生成選擇像素數(shù)據(jù)的選擇控制信號Ssell、Ssel2,提供給延遲選擇部62、63的選擇部625。另一方面,若偏移信號Ssol的偏移量為2,則選擇控制部61以從觸發(fā)器622輸出的像素數(shù)據(jù)的位置作為基準位置,根據(jù)運動矢量MV/2生成選擇像素數(shù)據(jù)的選擇控制信號Ssell并提供給延遲選擇部62的選擇部625。另外,若偏移信號Sos2的偏移量為一 2,則選擇控制部61以從觸發(fā)器606輸出的像素數(shù)據(jù)的位置作為基準位置,根據(jù)運動矢量-MV/2生成選擇像素數(shù)據(jù)的選擇控制信號Ssel2并提供給延遲選擇部63的選擇部625。選擇控制部61根據(jù)偏移信號Sosl、Sos2的偏移量,使作為延遲選擇部62、63中的基準的垂直方向的像素數(shù)據(jù)的位置移動。結果,將選擇部625根據(jù)運動矢量MV/2、-MV/2來選擇并輸出的像素數(shù)據(jù)在垂直方向上移動。從延遲選擇部62的選擇部625輸出所選擇的像素數(shù)據(jù)PselI,從延遲選擇部63的選擇部625輸出所選擇的像素數(shù)據(jù)Psel2?;旌喜?4混合像素數(shù)據(jù)PSell、PSel2來生成插補像素數(shù)據(jù)Pi。混合部64以取得像素數(shù)據(jù)Psell、Psel2的平均的方式將兩者混合即可。插補像素數(shù)據(jù)Pi相當于圖2中的插補像素Pf 12(0)。影像信號SI作為實際巾貞信號被輸入時間序列變換存儲器7,從混合部64依次輸出的插補像素數(shù)據(jù)Pi作為插補幀信號被輸入時間序列變換存儲器7。時間序列變換存儲器7以垂直頻率120Hz交替讀出實際幀信號的像素數(shù)據(jù)和插補幀信號的插補像素數(shù)據(jù)Pi,由此輸出進行幀率變換后的影像信號。使用圖5、圖6說明幀存儲器2、3中的垂直方向的讀出地址的移動。圖5概念性地表示了偏移信號Sosl、Sos2的偏移量為O時的插補像素生成。當作為插補幀Π2內的像素而生成插補像素Pfl2(0)時,影像信號SI的幀fl中參照的像素是作為參照范圍的區(qū)域Arfl內的像素,影像信號S2的幀f2中參照的像素是作為參照范圍的區(qū)域Arf2內的像素。在第I實施方式中,區(qū)域Arfl、Arf2的行數(shù)Lfl、Lf2為5行。將垂直成分為4像素的運動矢量MV設為MV (v4),將垂直成分為8像素的運動矢量MV設為MV (v8)。如圖5所示,若運動矢量檢測部I檢測出的運動矢量MV為運動矢量MV(v4),則可以使用區(qū)域Arf l、Arf2內的像素生成插補像素Pf 12 (O)。當運動矢量MV為運動矢量MV (v8)時,用于生成插補像素Pfl2(0)的幀fl、f2內的像素在區(qū)域Arfl、Arf2的范圍外。因此,插補像素生成部6無法生成插補像素ΡΠ2 (O)。因此,在第I實施方式中,如前所述,將預定的偏移量的偏移信號Sosl、Sos2提供給幀存儲器2、3來移動垂直方向的讀出地址,并且移動延遲選擇部62、63中的垂直 方向的基準位置。其結果如圖6所示,區(qū)域Arfl與圖5相比,成為在垂直方向向下方移動后的區(qū)域Arfl’所示的位置,區(qū)域Arf2與圖5相比,成為在垂直方向向上方移動后的區(qū)域Arf2’所示的位置。區(qū)域Arfl’、Arf2’的行數(shù)Lfl’、Lf2’為5行。如圖6所示,即使運動矢量MV為運動矢量MV(v8),用于生成插補像素Pf 12 (O)的幀fl、f2內的像素也在區(qū)域Arf I’、Arf2’的范圍內,插補像素生成部6能夠生成插補像素Pf 12 (O)。在圖6中為了方便而表示了區(qū)域Arfl在垂直方向向下方移動而成為區(qū)域Arfl’,區(qū)域Arf2在垂直方向向上方移動而成為區(qū)域Arf2’。實際上,如圖7 (A)、(B)所示,移動了來自幀存儲器2、3的像素數(shù)據(jù)的垂直方向的讀出地址。圖7 (A)的點劃線表示的幀f2概念性地表示了不移動讀出地址的狀態(tài),圖7 (B)的點劃線表示的幀fl概念性地表示了不移動讀出地址的狀態(tài)。在偏移信號Sosl,Sos2的偏移量為0,不移動讀出地址的情況下,來自幀存儲器2、3的像素數(shù)據(jù)在以點劃線表示的定時被讀出。圖7 (A)的實線表示的幀f2概念性地表示了移動了讀出地址的狀態(tài),圖7 (B)的實線表示的幀fl概念性地表示了移動了讀出地址的狀態(tài)。若偏移量是超過O的預定的值,則來自幀存儲器2、3的像素數(shù)據(jù)在用實線表示的幀fl、f2所示的定時被讀出。此外,圖7 (A)、(B)中為了容易理解而夸張地表示了移動量。在前面所述的例子中,基于偏移信號Sosl的偏移量為2,因此幀存儲器2將讀出地址向上方移動與偏移量2相當?shù)男袛?shù)Lsl (即2行)。另外,基于偏移信號Sos2的偏移量為-2,因此,幀存儲器3將讀出地址向下方移動與偏移量_2相當?shù)男袛?shù)Ls2 (即2行)。其結果,通過延遲選擇部62參照的像素的范圍從圖5所示的區(qū)域Arfl向圖6所示的區(qū)域Arfl’在垂直方向向下方移動,通過延遲選擇部63參照的像素的范圍從圖5所示的區(qū)域Arf2向圖6所示的區(qū)域Arf2’在垂直方向向上方移動。此外,讀出地址的在垂直方向向下方或上方的移動,根據(jù)在消隱(blanking)期間挪動影像信號S1,S2的讀出開始位置和讀出結束位置可以容易地實現(xiàn)。在圖I中,通過幀存儲器2使輸入影像信號SO延遲I幀期間來作為影像信號SI,但是也可以使其延遲不到I幀的期間。圖8表示代替幀存儲器2而使用延遲不到I幀的期間的延遲部20的情況下的結構。延遲部20可以通過多個行存儲器來構成。延遲部20使輸入影像信號SO延遲不到I幀的期間,作為影像信號SI’而輸出。影像信號SI’被提供給延遲選擇部62。在這種情況下,需要對運動矢量檢測部I輸入互相離開I幀期間的兩個幀信號,因此設置了幀存儲器21。幀存儲器21使輸入影像信號SO延遲I幀期間后,作為影像信號SlO來輸出。運動矢量檢測部I根據(jù)輸入影像信號SO和影像信號SlO來檢測運動矢量MV。這樣,向延遲選擇部62供給的影像信號不限于使輸入影像信號SO延遲I幀期間后的影像信號SI。在以上的說明中,說明了運動矢量MV的垂直成分為偶數(shù)的情況,但是在奇數(shù)的情況下如下動作即可。延遲選擇部62、63中的選擇部625取得垂直方向上相鄰的兩個像素數(shù)據(jù)的平均,將平均后的像素數(shù)據(jù)作為像素數(shù)據(jù)Psell、Psel2來輸出即可。在運動矢量MV的水平成分為奇數(shù)的情況下也相同,選擇部625取得水平方向上相鄰的兩個像素數(shù)據(jù)的平均,將平均后的像素數(shù)據(jù)作為像素數(shù)據(jù)Psell、Psel2來輸出即可。另外,在運動矢量MV的垂直成分為奇數(shù)的情況下,偏移控制部5在正的情況下根據(jù)I個大的偶數(shù)的值求出偏移量,在負的情況下根據(jù)I個小的偶數(shù)的值求出偏移量即可。即,在圖3中,在運動矢量MV的垂直成分為1、3、5、7的情況下,分別將垂直成分設為2、4、6、8來求出偏移量,在運動矢量MV的垂直成分為-I、_3、-5、-7的情況下,分別將垂直成分設為-2、_4、_6、_8來求出偏移量。
這樣,偏移控制部5,在運動矢量MV的垂直成分為奇數(shù)的情況下,替換為偶數(shù)來求出偏移量,延遲選擇部62、63輸出作為與運動矢量MV的垂直成分為奇數(shù)的情況對應的像素數(shù)據(jù)PSell、PSel2,由此,即使在運動矢量MV的垂直成分為奇數(shù)的情況下,也可以進行與運動矢量MV的垂直成分為偶數(shù)的情況下相同的處理。在第I實施方式中,在從在特定的級別CLsp中頻數(shù)不超過閾值y,偏移信號Sosl,Sos2的值為O的狀態(tài),變?yōu)樵谔囟ǖ募墑eCLsp中頻數(shù)超過閾值y,偏移信號Sosl,Sos2的值成為預定的值的情況下或者與其相反的情況下,不移動或者移動來自幀存儲器2、3的影像信號S1、S2的讀出地址的狀態(tài)最好不急劇地變化。偏移控制部5最好使偏移信號Sosl、Sos2的值針對I個幀或多個幀的每一個幀依次變化。例如在使偏移量從O到2的情況下,在檢測出超過閾值y的下一幀中將偏移量設為I,進而在下一幀中將偏移量設為2即可。(第2實施方式)使用圖9 圖11說明第2實施方式的結構以及動作。在圖9中,對于與圖I相同的部分賦予相同符號并省略其說明。在圖9中,代替圖I的偏移控制部5而設置了偏移控制部50。偏移控制部50具備判別部501和偏移量決定部502。在第2實施方式中,如圖10所示,偏移控制部50將5、6的級別、7、8的級別、_5、_6的級別、-7、_8的級別作為特定的級別CLsp。圖10所示的例子表示在作為特定的級別CLsp的7、8的級別中超過閾值y,在垂直方向的運動方向與7、8的級別相反、不是特定的級別CLsp的-1、-2的級別中也超過閾值y的狀態(tài)。判別部501判別特定的級別CLsp中的某個級別中超過閾值y,并且在垂直方向的運動方向與超過了閾值y的某個特定的級別CLsp相反的特定的級別CLsp以外的級別中超過了閾值y的狀態(tài)。判別部501在判別為上述狀態(tài)的情況下,將超過了閾值y的特定的級別CLsp的垂直成分的值、和在特定的級別CLsp以外超過了閾值y的級別的垂直成分的值輸入偏移量決定部502。偏移量決定部502在圖10的例子中,將作為超過了閾值y的特定的級別CLsp的垂直成分的值的8、和作為在特定的級別CLsp以外超過了閾值y的級別的垂直成分的值的-2相加,計算出垂直方向的像素數(shù)為6像素。因此,在插補像素生成部6中使用的運動矢量的垂直成分成為+ 3像素、-3像素。
此外,在7、8的級別和5、6的級別中超過閾值y,在-I、_2的級別中也超過閾值y的情況下,以垂直成分的大小為最大的級別、即7、8的級別為基準。即,在這種情況下也將8和-2相加,計算出垂直方向的像素數(shù)為6像素。并且,偏移量決定部502與第I實施方向相同,將從觸發(fā)器614輸出的像素數(shù)據(jù)的位置作為基準位置的情況下的垂直方向的像素數(shù)據(jù)的選擇范圍為+ 2像素、-2像素,因此,將偏移信號SoslO的偏移量設為1,將偏移信號Sos20的偏移量設為-I即可。使用圖11說明第2實施方式的效果。圖11 (A)表不延遲選擇部62、63中的垂直方向的存儲器區(qū)域。存儲器區(qū)域相當于圖5中說明的區(qū)域Arfl、Arf2的行數(shù)Lfl、Lf2。如圖11 (B)所示,7、8的級別為a所示的位置,-I、-2的級別為b所示的位置。圖11 (C)表示進行了在第I實施方式中說明的移動后的狀態(tài)。由圖11 (C)可知,當進行第I實施方式中說明的移動時,能夠生成運動矢量MV的垂直成分為7,8的級別的插補像素數(shù)據(jù)Pi,但是,由于-1、-2的級別在存儲器區(qū)域以外,因 此無法生成-I、-2的級別的插補像素數(shù)據(jù)Pi。圖11 (D)是未進行移動的狀態(tài)。在圖11
(D)的情況下,可以生成-1、-2的級別的插補像素數(shù)據(jù)Pi,但是無法生成7、8的級別的插補像素數(shù)據(jù)Pi。-I、-2的級別的運動本來是可以通過插補像素生成部6生成插補像素數(shù)據(jù)Pi的范圍的運動,不希望不生成-1、-2的級別的插補像素數(shù)據(jù)Pi。關于在不進行移動的狀態(tài)下可以生成插補像素數(shù)據(jù)Pi的范圍的運動,希望生成插補像素數(shù)據(jù)Pi。因此,在第2實施方式中,可以應對-1、-2的級別的運動,為了極力應對超過存儲器區(qū)域的部分的運動,如圖11
(E)所不,將偏移量設為I(以及-I)。根據(jù)圖11 (E)所示的移動,可以生成-I、-2的級別的插補像素數(shù)據(jù)Pi。雖然無法生成7、8的級別的插補像素數(shù)據(jù)Pi,但是可以生成接近7、8的級別的圖11 (D)中無法應對的5、6的級別的插補像素數(shù)據(jù)Pi。在第2實施方式中,偏移控制部50也優(yōu)選針對I個幀或多個幀的每一個幀使偏移信號Sos 10,Sos20的值依次變化。(第3實施方式)使用圖12 圖14說明第3實施方式的結構以及動作。在圖12中,對于與圖I相同的部分賦予相同的符號并省略其說明。圖12所示的第3實施方式以去抖動處理裝置為例。在圖12中對影片信號檢測部8輸入影像信號SI、S2。影片信號檢測部8根據(jù)影像信號SI、S2檢測輸入影像信號SO是否是從影片圖像通過2-2下拉或2-3下拉而被變換為垂直頻率60Hz后的圖像信號。若影片圖像為30慧差(30幀),則可以通過2-2下拉變換為60幀的幀率,若影片圖像為24慧差(24幀),則可以通過2-3下拉變換為60幀的幀率。當輸入影像信號SO是通過2-3下拉而生成的影像信號時,由圖13 (A)可以理解,2幀中為相同圖像,在接下來的3幀中為相同圖像,在接下來的2幀中為相同圖像。在圖13(A)所示的幀fl f6中,幀fl、f2中為相同圖像Iml,在幀f3 f5中為相同圖像Im2,在幀f6以及未圖示的接下來的幀中為相同圖像Im3。影片信號檢測部8生成表示是否是通過2-2下拉或2-3下拉而變換出的影像信號的檢測信號Sdet并輸入到偏移控制部51。例如,影片信號檢測部8在檢測出不是下拉變換后的影像信號的情況下,作為檢測信號Sdet而輸出值“O”,在檢測出是下拉變換后的影像信號的情況下,作為檢測信號Sdet而輸出值“I”。影片信號檢測部8在是下拉變換后的影像信號的情況下,優(yōu)選區(qū)別地檢測是2-2下拉還是2-3下拉。在區(qū)別兩者的情況下,例如影片信號檢測部8在檢測出不是下拉變換后的影像信號的情況下,作為檢測信號Sdet而輸出值“00”,在檢測出是2-2下拉的情況下,作為檢測信號Sdet而輸出值“01”,在檢測出是2-3下拉的情況下,作為檢測信號Sdet而輸出值“10”即可。由圖13 (A)可知,通過2-2下拉或2-3下拉變換后的圖像信號,圖像的運動不平滑,為了使圖像的運動平滑,如圖13 (B)所示,有時進行去抖動處理。圖13 (B)所示的幀HO與幀fl相同。圖像ImlO與圖像Iml相同。在幀f20中,在圖像Iml和圖像Im2之間的距離圖像Iml和圖像Im2等間隔的位置生成了圖像Im20。幀f30與幀f3相同,圖像Im30與圖像Im2相同。在幀f40中,在圖像Im2和圖像Im3之間的距離圖像Im2的位置1/3的位置生成了圖像Im40。在幀50中,在圖像Im2和圖像Im3之間的距離圖像Im2的位置2/3的位置生 成了圖像Im50。幀60與幀6相同,圖像Im60與圖像Im3相同。通過將圖13 (A)的影像信號如圖13 (B)那樣變換,可以使圖像的運動平滑。圖14概念性地表示了生成幀f50的圖像Im50時的插補處理。在通常的像素插補中,在相鄰的兩個像素的中央生成插補像素,與此相對,在去抖動處理中,由上述的說明可知,有時在偏向相鄰的兩個像素的一方的位置生成插補像素。在圖14中表示了水平方向的插補,但是在垂直方向也相同。在進行去抖動處理的情況下,通過在第一實施方式中說明的偏移信號Sosl、Sos2的偏移量發(fā)生偏移不足的情況。因此,在第3實施方式中,在從影片信號檢測部8輸出的檢測信號Sdet是表示通過2-2下拉或2-3下拉而變換后的圖像信號的值的情況下,偏移控制部51作為偏移信號Sosll、Sos21而輸出比第一實施方式中的偏移量增大的偏移量。例如在檢測信號Sdet為值“I”或值“01”、“ 10”的情況下,使偏移量增大50%。若不是下拉的情況下的偏移量為2、-2,則下拉的情況下的偏移量為3、-3。在對2-2下拉和2-3下拉進行區(qū)別的情況下,優(yōu)選使2-3下拉的情況下的偏移量的增大程度大于2-2下拉的情況下的偏移量的增大程度。例如在2-2下拉的情況下使偏移量增大50%,在2-3下拉的情況下使偏移量增大60%。若不是下拉的情況下的偏移量為2、-2,則2-2下拉的情況下的偏移量為3、-3,2-3下拉的情況下的偏移量將小數(shù)進位而成為4、-4。在2-3下拉的情況下,可以使偏移量以超過60%的比例增大。偏移信號S0S11、S0S21比第I實施方式的情況下增大,由此,延遲選擇部62、63根據(jù)選擇控制信號Ssell、Sse12選擇并輸出的像素數(shù)據(jù)PSell、PSel2也向與第I實施方式的情況不同的垂直方向的位置移動。此外,在使偏移量增大之前的偏移量為偏移量的上限值或與其接近的值的情況下,如上所述,當使偏移量增大50%或60%時,在計算方面超過上限值。在這種情況下,由于偏移量被限幅,因此,即使是通過下拉而變換后的圖像信號,偏移量也不增大。另外,在計算方面,在舍去小數(shù)點的情況下,有時也不增大偏移量。在圖12中,去抖動處理部9通過以垂直頻率60Hz交替地的讀出實際幀信號的像素數(shù)據(jù)和插補幀信號的插補像素數(shù)據(jù)Pi,輸出實施去抖動處理后的影像信號。去抖動處理部9可以由存儲器構成。在第3實施方式中,以具備去抖動處理部9的去抖動處理裝置為例,但是也可以與第I、第2實施方式同樣,作為幀率變換裝置。在第3實施方式中,偏移控制部51也優(yōu)選針對I幀或多個幀的每一個幀使偏移信號Sosll、Sos21的值依次變化。(第4實施方式)使用圖15說明第4實施方式的結構以及動作。在圖15中,對于與圖11、圖12相同的部分賦予相同符號并省略其說明。第4實施方式相當于將第2實施方式與第3實施方式結合。在圖15中,偏移控制部52具備判別部521、限制部522和偏移量決定部533。判別部521如通過圖9的判別部501說明的那樣,判別在特定的級別CLsp中超過閾值y,并且在垂直方向的運動方向與超過閾值y的特定的級別CLsp相反的特定的級別CLsp以外的級另Ij中超過閾值y的狀態(tài)。
限制部522,在判別部521判別出上述狀態(tài)的情況下,與第2實施方式相同,將超過了閾值y的特定的級別CLsp的垂直成分的值、和特定的級別CLsp以外超過閾值y的級別的垂直成分的值相加,計算出限制了垂直方向的像素數(shù)后的像素數(shù)。通過限制部522計算出的像素數(shù)被輸入偏移量決定部533。在偏移量決定部533中輸入從影片信號檢測部8輸出的檢測信號Sdet。偏移量決定部533,在檢測信號Sdet不是表示下拉的值的情況下,輸出基于從限制部522輸入的限制后的像素數(shù)的偏移量,即偏移信號Sosl2、Sos22。偏移量決定部533,在檢測信號Sdet是表示下拉的值的情況下,輸出使基于從限制部522輸入的限制后的像素數(shù)的偏移量增大后的偏移信號Sosl2、Sos22。另外,在判別部521未判別出上述狀態(tài),限制部522不限制垂直方向的像素數(shù),將與第I實施方式相同的像素數(shù)輸入到偏移量決定部533的情況下,偏移量決定部533基于不限制的像素數(shù),根據(jù)檢測信號Sdet是否是表示下拉的值來決定偏移量,輸出偏移信號Sosl2、Sos220在第4實施方式中,偏移控制部51也優(yōu)選針對I幀或多個幀的每一個幀,使偏移信號Sosl2、Sos22的值依次變化。(第5實施方式)使用圖16 圖20說明第5實施方式的結構以及動作。在圖16中,對于與圖I相同的部分賦予相同符號并省略其說明。在第I 第4實施方式中,頻數(shù)分布監(jiān)視器部4通過例如以幀為單位監(jiān)視運動矢量MV,檢測運動矢量MV的垂直成分以怎樣的大小如何分布,生成了表示頻數(shù)分布的數(shù)據(jù)Sfd。在圖像在I幀的全體中同樣運動的情況下,根據(jù)表示頻數(shù)分布的數(shù)據(jù)Sfd檢測出特定的級別CLsp中頻數(shù)超過了閾值y,將幀存儲器2、3中的垂直方向的讀出地址移動。例如當進行在圖像顯示裝置的畫面的左右顯示互不相同的影像信號的所謂2畫面顯示時,圖像的運動在左右不同,因此,即使在I幀的全體中監(jiān)視運動矢量MV并如圖3中說明的那樣取得直方圖,也發(fā)生在特定的級別CLsp中不超過閾值y的情況。在這種情況下,幀存儲器2、3中的垂直方向的讀出地址不被移動,未達到插補處理的范圍擴大的效果。這種情況不限于2畫面顯示,在顯示I個影像信號的情況下,在I幀內的左右進行不同的運動的圖像的情況下也同樣地發(fā)生。
第5實施方式,為了在圖像的運動在多個區(qū)域中不同的情況下也達到插補處理的范圍擴大的效果,改進了第I實施方式的結構。在此,將改進第I實施方式的結構而得的結構作為第5實施方式來說明,但是第2 第4實施方式也能夠采用與第5實施方式相同的結構。在第5實施方式中,作為一例,在將I幀左右均等地分割為兩部分的各個區(qū)域中處理影像信號。也可以不均等而使各個區(qū)域的面積不同地進行分割來處理。在圖16中,從運動矢量檢測部I輸出的運動矢量MV被輸入左區(qū)域頻數(shù)分布監(jiān)視器部4L以及右區(qū)域頻數(shù)分布監(jiān)視器部4R、左區(qū)域插補像素生成部6L以及右區(qū)域插補像素生成部6R。左區(qū)域頻數(shù)分布監(jiān)視器部4L以及右區(qū)域頻數(shù)分布監(jiān)視器部4R與頻數(shù)分布監(jiān)視器部4同樣,例如以幀為單位監(jiān)視運動MV,檢測運動矢量MV的垂直成分以怎樣的大小如何分布。但是,左區(qū)域插補像素生成部6L僅監(jiān)視I幀的左區(qū)域內的運動矢量MV,右區(qū)域插補像素生成部6R僅監(jiān)視I幀的右區(qū)域內的運動矢量MV。圖17 (A)是表示左區(qū)域頻數(shù)分布監(jiān)視器部4L生成的運動矢量MV的分布的直方圖的例子,圖17 (B)是表示右區(qū)域頻數(shù)分布監(jiān)視器部4R生成的運動矢量MV的分布的直方圖的例子。運動矢量MV的級別的設定與圖3相同。左區(qū)域頻數(shù)分布監(jiān)視器部4L將表示左 區(qū)域內的頻數(shù)分布的數(shù)據(jù)SfdL提供給左區(qū)域偏移控制部5L,右區(qū)域頻數(shù)分布監(jiān)視器部4R將表示右區(qū)域內的頻數(shù)分布的數(shù)據(jù)SfdR提供給右區(qū)域偏移控制部5R。如圖17 (A)、(B)所示,在此也將特定的級別CLsp設為7、8的級別和-7、-8的級別。圖17 (C)表示為了與圖17 (A), (B)比較,不將I幀左右分割為兩部分,而與第I實施方式同樣地在I幀全體內監(jiān)視運動矢量MV而生成的直方圖。左區(qū)域偏移控制部5L,在圖17 (A)所示的頻數(shù)分布的特定的級別CLsp中頻數(shù)超過閾值yl的情況下,生成表示絕對值超過O的預定的偏移量的偏移信號SoslL、Sos2L。右區(qū)域偏移控制部5R,在圖17 (B)所示的頻數(shù)分布的特定的級別CLsp中頻數(shù)超過閾值yl的情況下,生成表示絕對值超過O的預定的偏移量的偏移信號SoslR、Sos2R。在第5實施方式中,左區(qū)域偏移控制部5L以及右區(qū)域偏移控制部5R設定了作為比圖3、圖17 (C)所示的閾值y小的值的閾值yl。這是因為由于將I幀左右分割為兩部分,因此左右各個區(qū)域中的運動矢量MV的垂直成分的各個級別的出現(xiàn)次數(shù)比在I幀全體中監(jiān)視時的出現(xiàn)次數(shù)減少。在圖17 (C)的情況下,在特定的級別CLsp中頻數(shù)不超過閾值y。在圖17 (A),(B)的情況下設定了比閾值I小的值的閾值yl,因此特定的級別CLsp中頻數(shù)超過閾值yl。偏移信號SoslL、Sos2L被輸入巾貞存儲器2、3以及左區(qū)域插補像素生成部6L,偏移信號SoslR、Sos2R被輸入幀存儲器2、3以及右區(qū)域插補像素生成部6R。偏移信號SoslL、Sos2L根據(jù)偏移量使幀存儲器2、3中的垂直方向的讀出地址在相反方向上移動。偏移信號S0S1R、S0S2R根據(jù)偏移量使幀存儲器2、3中的垂直方向的讀出地址在相反方向上移動。左區(qū)域插補像素生成部6L以及右區(qū)域插補像素生成部6R的內部結構與插補像素生成部6相同。如圖I中說明的那樣,左區(qū)域插補像素生成部6L以及右區(qū)域插補像素生成部6R具有選擇控制部61、延遲選擇部62、63和混合部64。延遲選擇部62、63的具體結構如圖4中說明的那樣。幀存儲器2將用于左區(qū)域插補像素生成部6L生成左區(qū)域內的插補像素的必要的影像信號SlL提供給左區(qū)域插補像素生成部6L,將用于右區(qū)域插補像素生成部6R生成右區(qū)域內的插補像素的必要的影像信號SlR提供給右區(qū)域插補像素生成部6R。幀存儲器3將用于左區(qū)域插補像素生成部6L生成左區(qū)域內的插補像素的必要的影像信號S2L提供給左區(qū)域插補像素生成部6L,將用于右區(qū)域插補像素生成部6R生成右區(qū)域內的插補像素的必要的影像信號S2R提供給右區(qū)域插補像素生成部6R。影像信號SlL是作為影像信號SI而從幀存儲器2依次輸出的像素數(shù)據(jù)中的左區(qū)域內的像素數(shù)據(jù),是根據(jù)偏移信號SoslL表示的偏移量使地址在垂直方向上移動后的像素數(shù)據(jù)。影像信號S2L是從幀存儲器3依次輸出的像素數(shù)據(jù)中的左區(qū)域內的像素數(shù)據(jù),是根據(jù)偏移信號Sos2L表示的偏移量使地址在垂直方向上移動后的像素數(shù)據(jù)。若偏移量為O,則影像信號S1L、S2L是未移動的像素數(shù)據(jù)。影像信號SlR是作為影像信號SI而從幀存儲器2依次輸出的像素數(shù)據(jù)中的右區(qū)域內的像素數(shù)據(jù),是根據(jù)偏移信號SoslR表示的偏移量使地址在垂直方向上移動后的像素數(shù)據(jù)。影像信號S2R是從幀存儲器3依次輸出的像素數(shù)據(jù)中的右區(qū)域內的像素數(shù)據(jù),是根據(jù)偏移信號Sos2R表示的偏移量使地址在垂直方向上移動后的像素數(shù)據(jù)。若偏移量為O,則影像信號SIR、S2R是未移動的像素數(shù)據(jù)。 左區(qū)域插補像素生成部6L內的選擇控制部61根據(jù)偏移信號SoslL、Sos2L的偏移量,使延遲選擇部62、63中的作為基準的垂直方向的像素數(shù)據(jù)的位置移動。右區(qū)域插補像素生成部6R內的選擇控制部61根據(jù)偏移信號SoslR、Sos2R的偏移量,使延遲選擇部62、63中的作為基準的垂直方向的像素數(shù)據(jù)的位置移動。通過與圖I的插補像素生成部6同樣的動作,左區(qū)域插補像素生成部6L生成左區(qū)域插補信號,右區(qū)域插補像素生成部6R生成右區(qū)域插補信號。將左區(qū)域插補信號和右區(qū)域插補信號組合為插補幀信號。將影像信號SI作為實際幀信號而輸入時間序列變換存儲器7,將左區(qū)域插補信號和右區(qū)域插補信號作為插補巾貞信號而輸入時間序列變換存儲器7。時間序列變換存儲器7通過將左區(qū)域插補信號和右區(qū)域插補信號合成,作為插補幀信號的插補像素數(shù)據(jù)。時間序列變換存儲器7通過以垂直頻率120Hz交替地讀出實際幀信號的像素數(shù)據(jù)和插補幀信號的插補像素數(shù)據(jù),輸出進行了幀率變換后的影像信號。使用圖18 圖20說明第5實施方式的效果。圖18表示在幀fl、f2的左區(qū)域中在垂直方向向下方移動后的區(qū)域Arf I’L和在垂直方向向上方移動后的區(qū)域Arf2’L。即使是運動矢量MV的垂直成分為8像素的運動矢量MV (v8),用于生成插補像素Pfl2(0)L的幀fl、f2內的像素也在區(qū)域Arfl’ L、Arf2’ L的范圍內,左區(qū)域插補像素生成部6L可以生成插補像素Pfl2(0)L。圖19表示在幀fl、f2的右區(qū)域中,在垂直方向向上方移動后的區(qū)域Arfl’ R和在垂直方向向下方移動后的區(qū)域Arf 2’R。圖19是運動矢量MV的垂直成分為與圖18反方向的_8像素,運動矢量MV是MV (~8v)。即使是運動矢量MV的垂直成分為-8像素的運動矢量MV(_8v),用于生成插補像素Pfl2(0)R的幀fl、f2內的像素也在區(qū)域ArfI’ R、Arf2’ R的范圍內,右區(qū)域插補像素生成部6R可以生成插補像素Pf 12 (O) R0圖20表示了為了與圖18、圖19比較,不將I幀左右分割為兩部分,而與第I實施方式同樣地在I幀的全體內監(jiān)視運動矢量MV來生成偏移信號S0S1、S0S2的情況。如圖17(C)所示,在特定的級別CLsp中頻數(shù)不超過閾值y,因此偏移量成為0,用于生成插補像素ΡΠ2 (O) L、Pf 12 (O) R的區(qū)域Arf 1L、Arf IR、Arf2L、Arf2R未被移動。因此,在左區(qū)域中運動矢量MV為運動矢量MV (v8),在右區(qū)域中運動矢量MV為運動矢量MV (-v8)的情況下,無法生成插補像素 Pf 12 (O) L、Pf 12 (O) Ro如上所述,根據(jù)第5實施方式,在幀內的多個區(qū)域中進行了互不相同的動作的情況下,能夠針對各個區(qū)域恰當?shù)財U大插補處理的范圍。因此,在多個區(qū)域的各個區(qū)域中,即使在圖像的垂直方向的運動大的情況下,也能夠根據(jù)運動矢量生成適當?shù)牟逖a像素。在第5實施方式中,將幀的區(qū)域分割為兩部分,但是也可以分割為3部分以上,將區(qū)域在水平方向上分割的分割方式以及分割數(shù)量適當設定即可。分別根據(jù)分割數(shù)來設置頻數(shù)分布監(jiān)視器部4和偏移控制部5和插補像素生成部6即可。本發(fā)明不限于以上說明的第f第5實施方式,在不脫離本發(fā)明的主旨的范圍內能夠進行各種變更。在第f第5實施方式中表示了具備運動矢量檢測部I的結構,但是,為 了通過其他裝置利用,也可以將檢測出的運動矢量MV提供給頻數(shù)分布監(jiān)視器部4 (4L、4R)以及插補像素生成部6 (6L、6R)。頻數(shù)分布監(jiān)視器部4 (4L、4R)將各個級別在I幀中的出現(xiàn)次數(shù)作為頻數(shù),但是也可以將2幀中的出現(xiàn)次數(shù)作為頻數(shù),只要適當設定即可。
權利要求
1.一種影像信號處理裝置,其特征在于, 具備 第一延遲部,其使輸入影像信號延遲I幀期間或多行期間后作為第一延遲影像信號進行輸出; 第二延遲部,其使所述第一延遲影像信號延遲I幀期間后作為第二延遲影像信號進行輸出; 第一延遲選擇部,其使所述第一延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成插補像素數(shù)據(jù)時使用的第一參照范圍內包含的多個像素數(shù)據(jù),從所述多個像素數(shù)據(jù)中選擇某個像素數(shù)據(jù); 第二延遲選擇部,其使所述第二延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成所述插補像素數(shù)據(jù)時使用的第二參照范圍內包含的多個像素數(shù)據(jù),從所述多個像素數(shù)據(jù)中選擇某個像素數(shù)據(jù); 頻數(shù)分布監(jiān)視器部,其將在生成所述插補像素數(shù)據(jù)時使用的運動矢量的垂直成分的大小劃分為多個級別,檢測運動矢量的垂直成分在各個級別中以怎樣的出現(xiàn)次數(shù)的頻數(shù)發(fā)生; 偏移控制部,其在通過所述頻數(shù)分布監(jiān)視器部檢測出的運動矢量的垂直成分在預先設定的特定的級別中超過了預定的閾值時,生成使從所述第一延遲部讀出所述第一延遲影像信號時的垂直方向的讀出地址移動的第一偏移信號,提供給所述第一延遲部,生成使從所述第二延遲部讀出所述第二延遲影像信號時的垂直方向的讀出地址移動的第二偏移信號,提供給所述第二延遲部;以及 選擇控制部,其進行控制,以使根據(jù)所述第一偏移信號使所述第一延遲選擇部選擇的像素數(shù)據(jù)在垂直方向上移動,根據(jù)所述第二偏移信號使所述第二延遲選擇部選擇的像素數(shù)據(jù)在垂直方向上移動。
2.根據(jù)權利要求I所述的影像信號處理裝置,其特征在于, 所述偏移控制部生成使所述第一延遲部中的垂直方向的讀出地址在第一方向上移動的偏移信號作為所述第一偏移信號,生成使所述第二延遲部中的垂直方向的讀出地址在與所述第一方向相反的第二方向上移動的偏移信號作為所述第二偏移信號, 所述選擇控制部控制所述第一以及第二延遲選擇部,以使所述第一延遲選擇部選擇的像素數(shù)據(jù)在第一垂直方向上移動,根據(jù)所述第二偏移信號使所述第二延遲選擇部選擇的像素數(shù)據(jù)在與所述第一垂直方向相反的第二垂直方向上移動。
3.根據(jù)權利要求I或2所述的影像信號處理裝置,其特征在于, 所述偏移控制部將所述特定的級別設定為以下級別 根據(jù)所述第一以及第二偏移信號,不使所述第一以及第二延遲部中的讀出地址移動,通過所述選擇控制部在不使所述第一以及第二延遲選擇部選擇的像素數(shù)據(jù)移動的狀態(tài)下,與運動矢量的垂直成分的大小對應的像素數(shù)據(jù)在所述第一以及第二參照范圍以外。
4.根據(jù)權利要求3所述的影像信號處理裝置,其特征在于, 還具備判別部,其判別是否發(fā)生了如下狀態(tài)通過所述頻數(shù)分布監(jiān)視器部檢測出的運動矢量的垂直成分在所述特定的級別中的某個級別中超過所述預定的閾值,并且在垂直方向的運動方向與超過所述預定的閾值的所述某個級別相反的、所述特定的級別以外的級別中超過了所述預定的閾值, 所述偏移控制部,在所述判別部判別為所述狀態(tài)時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度限制為比所述判別部未判別為所述狀態(tài)時還要小的值, 所述選擇控制部根據(jù)移動的程度受限制的所述第一以及第二的偏移信號進行控制,使所述第一以及第二延遲選擇部選擇的像素數(shù)據(jù)在垂直方向上移動。
5.根據(jù)權利要求4所述的影像信號處理裝置,其特征在于, 所述偏移控制部根據(jù)將超過所述預定的閾值的垂直成分最大的級別的正或負的一個方向的垂直成分,和超過所述預定的閾值的所述特定的級別以外的級別的正或負的另一方向的垂直成分相加所得的垂直成分的值,生成所述第一以及第二偏移信號。
6.根據(jù)權利要求I或2所述的影像信號處理裝置,其特征在于, 還具備影片信號檢測部,其檢測所述輸入影像信號是否是從影片影像通過下拉而被變換為預定的垂直頻率的影像信號, 所述偏移控制部,當所述影片信號檢測部檢測出所述輸入影像信號是通過下拉變換后的影像信號時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度設為比未檢測出所述輸入影像信號是通過下拉變換后的影像信號時還要大的值。
7.根據(jù)權利要求6所述的影像信號處理裝置,其特征在于, 所述影片信號檢測部檢測所述輸入影像信號是從影片影像通過2-2下拉變換后的影像信號,還是通過2-3下拉變換后的影像信號, 所述偏移控制部,當所述影片信號檢測部檢測出所述輸入影像信號是通過2-3下拉變換后的影像信號時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度設為比檢測出所述輸入影像信號是通過2-2下拉變換后的影像信號時還要大的值。
8.根據(jù)權利要求I或2所述的影像信號處理裝置,其特征在于, 針對將所述輸入影像信號的幀分割為多個區(qū)域而得的所述多個區(qū)域中的各個區(qū)域進行所述第一延遲選擇部的選擇的動作、所述第二延遲選擇部的選擇的動作、所述頻數(shù)分布監(jiān)視器部的檢測的動作、所述偏移控制部的供給所述第一以及第二偏移信號的動作以及所述選擇控制部的移動的動作。
9.一種影像信號處理方法,其特征在于, 通過第一延遲部使輸入影像信號延遲I幀期間或多行期間后作為第一延遲影像信號進行輸出, 通過第二延遲部使所述第一延遲影像信號延遲I幀期間后作為第二延遲影像信號進行輸出, 使所述第一延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成插補像素數(shù)據(jù)時使用的第一參照范圍內包含的多個像素數(shù)據(jù), 使所述第二延遲影像信號的像素數(shù)據(jù)在水平以及垂直方向上依次延遲,生成在生成所述插補像素數(shù)據(jù)時使用的第二參照范圍內包含的多個像素數(shù)據(jù), 將在生成所述插補像素數(shù)據(jù)時使用的運動矢量的垂直成分的大小劃分為多個級別,檢測運動矢量的垂直成分在各個級別中以怎樣的出現(xiàn)次數(shù)的頻數(shù)發(fā)生, 當運動矢量的垂直成分在預先設定的特定的級別中超過了預定的閾值時,根據(jù)第一偏移信號使從所述第一延遲部讀出所述第一延遲影像信號時的垂直方向的讀出地址移動,根據(jù)第二偏移信號使從所述第二延遲部讀出所述第二延遲影像信號時的垂直方向的讀出地址移動, 根據(jù)所述第一偏移信號,移動從所述第一參照范圍內的多個像素數(shù)據(jù)中選擇并讀出第一像素數(shù)據(jù)時的垂直方向的位置,根據(jù)所述第二偏移信號,移動從所述第二參照范圍內的多個像素數(shù)據(jù)中選擇并讀出第二像素數(shù)據(jù)時的垂直方向的位置, 根據(jù)從所述第一參照范圍讀出的所述第一像素數(shù)據(jù),和從所述第二參照范圍讀出的所述第二像素數(shù)據(jù)生成插補像素數(shù)據(jù)。
10.根據(jù)權利要求9所述的影像信號處理方法,其特征在于, 根據(jù)所述第一偏移信號,將所述第一延遲部中的垂直方向的讀出地址在第一方向上移動,根據(jù)所述第二偏移信號,將所述第二延遲部中的垂直方向的讀出地址在與所述第一方向相反的第二方向上移動, 根據(jù)所述第一偏移信號,將從所述第一參照范圍內的多個像素數(shù)據(jù)中讀出像素數(shù)據(jù)的位置在第一垂直方向上移動,來讀出所述第一像素數(shù)據(jù),根據(jù)所述第二偏移信號,將從所述第二參照范圍內的多個像素數(shù)據(jù)中讀出像素數(shù)據(jù)的位置在與所述第一垂直方向相反的第二垂直方向上移動,從而讀出所述第二像素數(shù)據(jù)。
11.根據(jù)權利要求9或10所述的影像信號處理方法,其特征在于, 將所述特定的級別設定為以下級別 不使所述第一以及第二延遲部中的讀出地址移動,在不移動從所述第一以及第二參照范圍內的多個像素數(shù)據(jù)中讀出像素數(shù)據(jù)的位置的狀態(tài)下,與運動矢量的垂直成分的大小對應的像素數(shù)據(jù)在所述第一以及第二參照范圍以外。
12.根據(jù)權利要求11所述的影像信號處理方法,其特征在于, 判別是否發(fā)生了如下狀態(tài)運動矢量的垂直成分在所述特定的級別中的某個級別中超過所述預定的閾值,并且在垂直方向的運動方向與超過所述預定的閾值的所述某個級別相反的、所述特定的級別以外的級別中超過了所述預定的閾值, 在判別為所述狀態(tài)時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度限制為比未判別為所述狀態(tài)時還要小的值, 根據(jù)移動的程度受限制的所述第一以及第二的偏移信號,移動從所述第一以及第二參照范圍內的多個像素數(shù)據(jù)中選擇并讀出所述第一以及第二像素數(shù)據(jù)時的垂直方向的位置。
13.根據(jù)權利要求12所述的影像信號處理方法,其特征在于, 根據(jù)將超過所述預定的閾值的垂直成分最大的級別的正或負的一個方向的垂直成分,和超過所述預定的閾值的所述特定的級別以外的級別的正或負的另一方向的垂直成分相加所得的垂直成分的值,生成所述第一以及第二偏移信號。
14.根據(jù)權利要求9或10所述的影像信號處理方法,其特征在于, 檢測所述輸入影像信號是否是從影片影像通過下拉而被變換為預定的垂直頻率后的影像號, 當檢測出所述輸入影像信號是通過下拉變換后的影像信號時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度設為比未檢測出所述輸入影像信號是通過下拉變換后的影像信號時還要大的值。
15.根據(jù)權利要求14所述的影像信號處理方法,其特征在于, 檢測所述輸入影像信號是從影片影像通過2-2下拉變換后的影像信號,還是通過2-3下拉變換后的影像信號, 當檢測出所述輸入影像信號是通過2-3下拉變換后的影像信號時,將基于所述第一以及第二偏移信號的所述第一以及第二延遲部中的讀出地址的移動的程度設為比檢測出所述輸入影像信號是通過2-2下拉變換后的影像信號時還要大的值。
16.根據(jù)權利要求9或10所述的影像信號處理方法,其特征在于, 在將所述輸入影像信號的幀分割為多個區(qū)域而得的所述多個區(qū)域中的各個區(qū)域中,生成在所述第一參照范圍內包含的多個像素數(shù)據(jù), 在所述多個區(qū)域中的各個區(qū)域中,生成在所述第二參照范圍內包含的多個像素數(shù)據(jù), 在所述多個區(qū)域的各個區(qū)域中,檢測所述出現(xiàn)次數(shù)的頻數(shù), 在所述多個區(qū)域的各個區(qū)域中,移動垂直方向的讀出地址, 在所述多個區(qū)域的各個區(qū)域中,對選擇并讀出所述第一以及第二像素數(shù)據(jù)來讀出時的垂直方向的位置進行移動, 在所述多個區(qū)域的各個區(qū)域中,生成所述插補像素數(shù)據(jù)。
全文摘要
本發(fā)明提供一種影像信號處理裝置以及方法。所述影像信號處理裝置能夠抑制行存儲器的增加,并且即使在圖像的垂直方向的運動大的情況下也能夠根據(jù)運動矢量生成適當?shù)牟逖a像素。頻數(shù)分布監(jiān)視器部(4)將運動矢量(MV)的垂直成分的大小劃分為多個級別,檢測垂直成分在各個級別中以怎樣的出現(xiàn)次數(shù)的頻數(shù)來發(fā)生。偏移控制部(5),當運動矢量(MV)的垂直成分在預定的特定級別超過預定的閾值時,生成使幀存儲器(2、3)中的垂直方向的讀出地址移動的偏移信號(Sos1、Sos2)。選擇控制部(61)進行控制,以使延遲選擇部(62、63)選擇的像素數(shù)據(jù)在垂直方向上移動。
文檔編號H04N5/14GK102811332SQ20121017074
公開日2012年12月5日 申請日期2012年5月29日 優(yōu)先權日2011年5月31日
發(fā)明者小泉真季, 吉田篤史 申請人:Jvc建伍株式會社