本發(fā)明涉及攝像裝置、圖像處理裝置以及攝像顯示裝置。
背景技術(shù):
在所謂的無反光鏡單鏡頭數(shù)碼相機中,通過所謂的實時取景動作、即將與CCD(Charge Coupled Device:電荷耦合器件)、CMOS(Complementary Metal-Oxide Semiconductor:互補金屬氧化物半導體)圖像傳感器等圖像傳感器拍攝到的圖像信號相應的圖像實時顯示于設在殼體背面的液晶面板、安裝在殼體上部的電子取景器(下面稱為EVF(Electronic View Finder))等上,從而能夠確認被拍攝體的圖像(例如專利文獻1)。
先行技術(shù)文獻
專利文獻
專利文獻1:特開2014-11729號公報
技術(shù)實現(xiàn)要素:
發(fā)明要解決的技術(shù)問題
但是,在該實時取景動作中,從用圖像傳感器拍攝被拍攝體開始到在取景器等上顯示圖像為止出現(xiàn)明顯的延遲。為此,難以將相機對準并追隨移動中的被拍攝體。進而,當基于正在顯示的被拍攝體的圖像指示了拍攝靜止圖像時,之前顯示的被拍攝體的圖像與實際拍攝的靜止畫面的圖像之間產(chǎn)生定時差,尤其是移動速度快的被拍攝體時,難以拍攝到期望的靜止畫面。
本發(fā)明是鑒于上述事宜而作出的,其目的之一在于,提供縮短從拍攝到顯示的延遲時間的技術(shù)。
用于解決技術(shù)問題的方案
為了解決上述技術(shù)問題,根據(jù)本發(fā)明的攝像裝置其特征在于,具備:攝像部,拍攝被拍攝體并輸出攝像信號;圖像信號生成部,基于所述攝像信號,生成表示應在顯示部的各行顯示的圖像的圖像信號,并向所述顯示部輸出所生成的所述圖像信號;以及定時(timing)控制部,基于顯示輸出行信息和圖像處理行信息,控制所述圖像處理生成部輸出所述圖像信號的定時,所述顯示輸出行信息指示與結(jié)束了從所述圖像信號生成部到所述顯示部的輸出的圖像信號對應的行,所述圖像處理行信息指示與所述圖像信號生成部已生成的圖像信號對應的行。
根據(jù)本發(fā)明,基于指示與圖像信號生成部已生成的圖像信號對應的行的圖像處理行信息,控制向顯示部輸出各行的圖像信號的定時。為此,即使在生成圖像信號所需的圖像處理時間在每一行之間變化時,也可以在結(jié)束了各行的圖像處理的定時,向顯示部輸出各行的圖像信號。
并且,根據(jù)本發(fā)明,基于指示與結(jié)束了輸出的圖像信號對應的行的顯示輸出行信息,控制向顯示部輸出各行的圖像信號的定時。為此,在確定了各行的圖像信號的輸出順序的情況下,可以在對應于該輸出順序的定時輸出圖像信號。
即、根據(jù)本發(fā)明,能夠按每一行地控制圖像信號的輸出定時,換言之,在可以輸出各行的圖像信號的定時,可以輸出各行的圖像信號。為此,與不考慮每行的圖像處理時間的波動(基于每行的圖像處理時間的最大值等)就確定各行的圖像信號的輸出定時的情況相比,能夠縮小從攝像部進行拍攝起到顯示部中進行顯示為止的延遲。
并且,在上述攝像裝置中,也可以是其特征在于,當所述顯示輸出行信息指示先于顯示目標行顯示圖像的行、且所述圖像處理行信息指示在所述顯示目標行顯示圖像的定時之后顯示圖像的行時,所述定時控制部控制所述圖像信號生成部輸出表示應在所述顯示目標行顯示的圖像的圖像信號。
根據(jù)該方式,在生成了顯示目標行的圖像信號的情況下,若結(jié)束了先于顯示目標行顯示圖像的在先顯示行的圖像信號的輸出時,則可以輸出顯示目標行的圖像信號。相反,當結(jié)束了在先顯示行的圖像信號的輸出時,若還沒有生成顯示目標行的圖像信號,則可以在生成了顯示目標行的圖像信號的定時輸出顯示目標行的圖像信號。
即、根據(jù)該方式,在可以輸出顯示目標行的圖像信號的定時,可以輸出顯示目標行的圖像信號。為此,即使在生成圖像信號所需的圖像處理時間在各行之間變化時,也可以在對應于各行的圖像處理時間的定時向顯示部輸出各行的圖像信號。因此,與不考慮每行的圖像處理時間的變化就確定各行的圖像信號的輸出定時的情況相比,能夠縮小從攝像部進行拍攝起到顯示部中進行顯示為止的延遲。
并且,在上述攝像裝置中,也可以是其特征在于,所述顯示部的幀速率大于等于所述攝像部的幀速率。
根據(jù)該方式,即使在顯示部的幀速率大于等于攝像部的幀速率的情況下,也可以在可以輸出各行的圖像信號的定時輸出該行的圖像信號,所以可以進行與攝像部的幀速率同步的顯示。
并且,在上述攝像裝置中,也可以是其特征在于,所述顯示部能夠在通過以一定周期輸出的水平同步脈沖規(guī)定的各期間在各行顯示圖像,所述圖像信號生成部與所述水平同步脈沖同步地輸出所述圖像信號,當所述顯示輸出行信息指示先于所述顯示目標行顯示圖像的行、且所述圖像處理行信息指示在所述顯示目標行之前顯示圖像的行時,所述定時控制部控制所述圖像信號生成部停止輸出表示應在所述顯示目標行顯示的圖像的圖像信號,然后,所述定時控制部控制所述圖像信號生成部,以使所述圖像信號生成部與在所述圖像處理行信息所指示的行變?yōu)榱怂鲲@示目標行之后輸出的所述水平同步脈沖同步地輸出表示應在所述顯示目標行顯示的圖像的圖像信號。
根據(jù)該方式,能夠以由水平同步脈沖確定的水平掃描期間的精度來控制各行的圖像信號的輸出定時。為此,即使在生成圖像信號所需的圖像處理時間在各行之間變化時,也可以在對應于各行的圖像處理時間的定時,向顯示部輸出各行的圖像信號。
并且,在上述攝像裝置中,也可以是其特征在于,所述顯示部能夠在通過水平同步脈沖規(guī)定的各期間在各行顯示圖像,所述圖像信號生成部與所述水平同步脈沖同步地輸出所述圖像信號,所述定時控制部能夠以可變周期輸出所述水平同步脈沖,當所述顯示輸出行信息指示先于所述顯示目標行顯示圖像的行、且所述圖像處理行信息指示在所述顯示目標行之前顯示圖像的行時,所述定時控制部停止所述水平同步脈沖的輸出,并控制所述圖像信號生成部停止輸出表示應在所述顯示目標行顯示的圖像的圖像信號,然后,在所述圖像處理行信息所指示的行變?yōu)榱怂鲲@示目標行的情況下,所述定時控制部輸出所述水平同步脈沖,并控制所述圖像信號生成部與該輸出的水平同步脈沖同步地輸出表示應在所述顯示目標行顯示的圖像的圖像信號。
根據(jù)該方式,根據(jù)可輸出各行的圖像信號的定時來確定由水平同步脈沖規(guī)定的水平掃描期間的時長。為此,即使在生成圖像信號所需的圖像處理時間在各行之間變化時,也可以在對應于各行的圖像處理時間的定時,向顯示部輸出各行的圖像信號。
并且,根據(jù)本發(fā)明的圖像處理裝置其特征在于,具備:圖像信號生成部,基于拍攝被拍攝體的攝像部輸出的攝像信號,生成表示應在顯示部的各行顯示的圖像的圖像信號,并向所述顯示部輸出所生成的所述圖像信號;以及定時控制部,基于顯示輸出行信息和圖像處理行信息,控制所述圖像處理生成部輸出所述圖像信號的定時,所述顯示輸出行信息指示與結(jié)束了從所述圖像信號生成部至所述顯示部的輸出的圖像信號對應的行,所述圖像處理行信息指示與所述圖像信號生成部已生成的圖像信號對應的行。
根據(jù)本發(fā)明,能夠按每一行地控制圖像信號的輸出定時,換言之,在可以輸出各行的圖像信號的定時,可以輸出各行的圖像信號。為此,與不考慮每行的圖像處理時間的波動就確定各行的圖像信號的輸出定時的情況相比,能夠縮小從攝像部進行拍攝起到顯示部中進行顯示為止的延遲。
并且,根據(jù)本發(fā)明的攝像顯示裝置其特征在于,具備上述的顯示部以及上述的攝像裝置。
附圖說明
圖1是示出根據(jù)本發(fā)明的第一實施方式的攝像顯示裝置1的構(gòu)成的框圖。
圖2是用于說明有效圖像傳感器區(qū)域AS與顯示區(qū)域AD之間的關(guān)系的說明圖。
圖3是用于說明攝像顯示裝置1的動作的時序圖。
圖4A是用于說明攝像顯示裝置1的動作的時序圖。
圖4B是用于說明攝像顯示裝置1的動作的時序圖。
圖4C是用于說明攝像顯示裝置1的動作的時序圖。
圖4D是用于說明攝像顯示裝置1的動作的時序圖。
圖5是說明顯示區(qū)域AD并示出了在顯示部顯示顯示區(qū)域AD的時序圖的說明圖。
圖6是用于說明攝像顯示裝置1的動作的時序圖。
圖7A是用于說明攝像顯示裝置1的動作的時序圖。
圖7B是用于說明攝像顯示裝置1的動作的時序圖。
圖8是示出顯示部40的構(gòu)成的框圖。
圖9是示出圖像處理部21的構(gòu)成的框圖。
圖10是用于說明細化讀取的說明圖。
圖11是用于說明失真校正處理的說明圖。
圖12是用于說明攝像顯示裝置1的動作的時序圖。
圖13是用于說明攝像顯示裝置1的動作的時序圖。
圖14是用于說明攝像顯示裝置1的動作的時序圖。
圖15是用于說明攝像顯示裝置1的動作的時序圖。
圖16是用于說明根據(jù)本發(fā)明的第二實施方式的攝像顯示裝置的動作的時序圖。
圖17是用于說明根據(jù)第二實施方式的攝像顯示裝置的動作的時序圖。
圖18是用于說明根據(jù)第二實施方式的攝像顯示裝置的動作的時序圖。
具體實施方式
參照附圖說明用于實施本發(fā)明的方式。各圖中,各部的尺寸以及縮尺與實際稍有不同。并且,下面說明的實施方式是本發(fā)明的優(yōu)選的具體例子,所以在技術(shù)上添加了各種優(yōu)選限定,但在下面的說明中沒有特別限定本發(fā)明的情況下,本發(fā)明的保護范圍并不限定于這些方式。
<A、第一實施方式>
下面,說明根據(jù)本發(fā)明的第一實施方式的攝像顯示裝置1。
<1、攝像顯示裝置的構(gòu)成>
圖1是示出攝像顯示裝置1的功能的框圖。
如圖1所示,攝像顯示裝置1具備:拍攝被拍攝體并將拍攝得到的數(shù)據(jù)作為攝像信號DS輸出的攝像部10;對攝像信號DS進行圖像處理而生成圖像信號D的圖像處理電路100;顯示對應于圖像信號D的圖像的顯示部40;用于輸入攝像顯示裝置1的設定變更、拍攝指示等的操作部60;以及控制攝像顯示裝置1整體動作的CPU50。
該攝像顯示裝置1是所謂的無反光鏡單鏡頭數(shù)碼相機,能夠選擇實時取景模式的動作和拍攝模式的動作,在實時取景模式中,通過攝像顯示裝置1的使用者對操作部60進行操作,從而大致實時地在顯示部40上顯示由攝像部10拍攝到的與被拍攝體相關(guān)的圖像,在拍攝模式中,將攝像部10拍攝到的與被拍攝體相關(guān)的圖像作為靜止畫面存儲在靜止畫面存儲用的存儲器中。
需要注意的是,攝像顯示裝置1中除了顯示部40之外的攝像部10、圖像處理電路100、操作部60以及CPU50是“攝像裝置”的一個例子。
攝像部10具備:攝像光學系統(tǒng)11,形成被拍攝體的像;圖像傳感器12,對來自矩陣狀排列的光接收元件(攝像元件)的信號按線序進行掃描,輸出對應于被拍攝體的像的攝像信號DS;以及定時發(fā)生器13,向圖像傳感器12輸出各種定時信號。
如圖2所示,關(guān)于圖像傳感器12,在有效圖像傳感器區(qū)域AS中,多個光接收元件排列為矩陣狀,在X軸方向(水平方向)排列QS列,在與X軸方向交差的Y軸方向(垂直方向)排列PS行(PS線(line))(PS和QS是大于等于2的自然數(shù))。換言之,有效圖像傳感器區(qū)域AS構(gòu)成為由沿X軸方向排列的QS個光接收元件構(gòu)成的行在Y軸方向上排列PS行。各光接收元件生成對應于所檢測到的光量的像素數(shù)據(jù)信號Sig。
并且,與各光接收元件一一對應地設有紅色、綠色或者藍色中的任一顏色的濾色器。下面,有時會將一個光接收元件和與該一個光接收元件對應設置的濾色器的組合稱為圖像傳感器12的像素。
當攝像顯示裝置1以拍攝模式進行動作時,圖像傳感器12能夠?qū)脑O于有效圖像傳感器區(qū)域AS的PS行×QS列的光接收元件輸出的所有像素數(shù)據(jù)信號Sig作為靜止畫面用攝像數(shù)據(jù)進行輸出。之后,一旦輸出有靜止畫面用攝像數(shù)據(jù),則后述的圖像處理部21對該靜止畫面用攝像數(shù)據(jù)進行濾波處理等各種圖像處理而生成靜止畫面數(shù)據(jù),并將所生成的靜止畫面數(shù)據(jù)存儲在靜止畫面存儲用的存儲器中。
另一方面,當攝像顯示裝置1以實時取景模式進行動作時,圖像傳感器12對PS行×QS列的光接收元件輸出的像素數(shù)據(jù)信號Sig進行細化讀取(thinning reading)而縮小像素數(shù)據(jù)信號Sig的數(shù)據(jù)大小,并作為與圖2所示那樣的P行×Q列的像素對應的攝像信號DS進行輸出(P是滿足2≤P≤PS的自然數(shù)。Q是滿足2≤Q≤QS的自然數(shù))。
需要注意的是,圖像傳感器12還可以在有效圖像傳感器區(qū)域AS之外的區(qū)域具有像素,在本說明書中,為了簡便,省略對于有效圖像傳感器區(qū)域AS的像素的說明。
定時發(fā)生器13生成攝像垂直同步信號SVsync、攝像水平同步信號SHsync以及拍攝點時鐘信號SCLK,并將這些生成的信號輸出至圖像傳感器12和圖像處理電路100。
圖3是用于說明定時發(fā)生器13生成的攝像垂直同步信號SVsync、攝像水平同步信號SHsync、以及拍攝點時鐘信號SCLK的時序圖。攝像垂直同步信號SVsync是規(guī)定用于從圖像傳感器12的整個有效圖像傳感器區(qū)域AS(PS行的量)的光接收元件讀出像素數(shù)據(jù)信號Sig的攝像垂直掃描期間Fs的信號。攝像水平同步信號SHsync是規(guī)定用于從有效圖像傳感器區(qū)域AS的相當于一行的光接收元件讀出像素數(shù)據(jù)信號Sig的水平掃描期間Hs的信號。拍攝點時鐘信號SCLK是規(guī)定用于從有效圖像傳感器區(qū)域AS的一像素的光接收元件讀出像素數(shù)據(jù)信號Sig的定時的信號。
攝像垂直掃描期間Fs的時長是一定的(一定長度),水平掃描期間Hs的時長也是一定的(一定長度)。并且,攝像垂直掃描期間Fs由多個水平掃描期間Hs構(gòu)成。
返回圖1進行說明。
顯示部40是顯示表示作為拍攝對象的被拍攝體的圖像而用于使攝像顯示裝置1的利用者了解被拍攝體的樣子的EVF(Electronic View Finder:電子取景器),其具備用于顯示與圖像處理電路100生成的圖像信號D對應的圖像的液晶面板42以及控制液晶面板42的動作的EVF控制器41。
如圖2所示,在液晶面板42的顯示區(qū)域AD中,多個像素排列為X軸方向N列、Y軸方向M行(M線(M line))的矩陣狀(M是滿足2≤M≤P的自然數(shù)。N是滿足2≤N≤Q的自然數(shù))。換言之,顯示區(qū)域AD構(gòu)成為在Y軸方向上排列有M行的由沿X軸方向排列的N個像素構(gòu)成的行。這些M行×N列的像素包括用于顯示紅色的像素、用于顯示綠色的像素、以及用于顯示藍色的像素。該顯示區(qū)域AD顯示與圖像處理電路100生成的圖像信號D對應的圖像。
如上所述,M≤P、且N≤Q。換言之,有時設在有效圖像傳感器區(qū)域AS的有效像素數(shù)和設在顯示區(qū)域AD的像素數(shù)不同。
另外,圖2所示的坐標系分別是固定于有效圖像傳感器區(qū)域AS的坐標系、表示攝像信號DS的概念上的坐標系、以及固定于顯示區(qū)域AD的坐標系,這三個坐標系的各軸的朝向也可以彼此不同。
顯示部40的顯示區(qū)域AD可顯示1畫面的圖像的時長比攝像部10可拍攝1畫面的圖像的時長短。為此,欲以液晶面板42可顯示的周期顯示圖像時,來自攝像部10的攝像信號DS的輸出趕不上。因此,在根據(jù)本實施方式的攝像顯示裝置1中,通過圖像處理電路100調(diào)整從圖像處理電路100輸出圖像信號D的輸出定時,從而使顯示部40的顯示速度追隨從攝像部10輸出攝像信號DS的輸出周期。
如圖1所示,圖像處理電路100具備:圖像信號生成部20,基于攝像信號DS生成圖像信號D,并將所生成的圖像信號D輸出至顯示部40;以及定時控制部30,控制圖像信號生成部20輸出圖像信號D的定時。
圖像信號生成部20具備:圖像處理部21,對攝像信號DS執(zhí)行圖像處理,并生成圖像信號D;VRAM/行緩沖器22(下面簡稱為“行緩沖器22”),暫時存儲圖像處理部21所生成的圖像信號D;以及圖像信號輸出部23,從行緩沖器22獲得圖像信號D,并將所獲得的圖像信號D輸出至顯示部40。
圖像信號D是規(guī)定設于液晶面板42的顯示區(qū)域AD的M行×N列的像素各自應顯示的圖像(灰度)的信號。下面,將表示應在顯示區(qū)域AD顯示的圖像的圖像信號D中的、表示應在顯示區(qū)域AD的第m行的行顯示的圖像的對應于1行的圖像信號D記載為圖像信號D[m](m是滿足1≤m≤M的自然數(shù))。
圖像處理部21按每個應在相當于1行的像素顯示的圖像生成表示應在液晶面板42的顯示區(qū)域AD顯示的圖像的圖像信號D。更加具體地,圖像處理部21按照圖像信號D[1]、圖像信號D[2]、……、圖像信號D[M]的順序生成圖像信號D。在后面詳細說明圖像處理部21執(zhí)行的圖像處理。
并且,圖像處理部21在生成了圖像信號D[m]時,將所生成的圖像信號D[m]存儲在行緩沖器22中,并向定時控制部30輸出表示結(jié)束了圖像信號D[m]在行緩沖器22中的存儲的寫入結(jié)束信號PtA。
在本實施方式中,寫入結(jié)束信號PtA是指示與圖像處理部21結(jié)束了在行緩沖器22中的寫入的圖像信號D對應的行的編號m的信號。下面,將寫入結(jié)束信號PtA指示的行的編號m特稱為“行編號ma”(ma是滿足1≤ma≤M的自然數(shù))。寫入結(jié)束信號PtA指示的值、即行編號ma是指示結(jié)束了圖像處理的行的“圖像處理行信息”的一個例子。
需要注意的是,寫入結(jié)束信號PtA不限定于指示行的編號的信號,還可以是包括在圖像處理部21結(jié)束了圖像信號D[m]的生成時上升至高電平這樣的脈沖波形的二進制信號。當寫入結(jié)束信號PtA是二進制信號時,定時控制部30例如通過在開始了一畫面的顯示之后對包含在寫入結(jié)束信號PtA中的脈沖的個數(shù)進行計數(shù)來運算圖像處理部21結(jié)束了生成的圖像信號D[m]的行編號即可。這時,包含在寫入結(jié)束信號PtA中的脈沖波形(或者脈沖波形的個數(shù))相當于“圖像處理行信息”。
圖像信號輸出部23在定時控制部30的控制下,按每1行從行緩沖器22中讀出圖像信號D,并向顯示部40輸出所讀出的1行的圖像信號D[m]。
下面的說明中,在需要區(qū)分時,將圖像處理部21生成并存儲在行緩沖器22中的圖像信號D稱為圖像信號DGA,將圖像信號輸出部23從行緩沖器22中取得并輸出至顯示部40的圖像信號D稱為圖像信號DGB。并且,將圖像處理部21存儲在行緩沖器22中的圖像信號DGA中的、表示應在顯示區(qū)域AD的第m行的行顯示的圖像的圖像信號DGA稱為圖像信號DGA[m],將圖像信號輸出部23輸出至顯示部40的圖像信號DGB中的、表示應在顯示區(qū)域AD的第m行的行顯示的圖像的圖像信號DGB稱為圖像信號DGB[m]。
圖像信號輸出部23在結(jié)束了從行緩沖器22讀出圖像信號DGB[m]并將該圖像信號DGB[m]輸出至顯示部40的處理時,向定時控制部30輸出表示結(jié)束了向顯示部40的圖像信號DGB[m]的輸出的輸出結(jié)束信號PtB。在本實施方式中,輸出結(jié)束信號PtB是指示與圖像信號輸出部23結(jié)束了向顯示部40的輸出的圖像信號D對應的行的編號m的信號。下面,將輸出結(jié)束信號PtB指示的行的編號m特稱為“行編號mb”(mb是基本上滿足0≤mb≤M的自然數(shù))。輸出結(jié)束信號PtB指示的值、即行編號mb是指示結(jié)束了向顯示部40的輸出的圖像信號D[m]的行的“顯示輸出行信息”的一個例子。
圖像信號輸出部23有時會向顯示部40輸出無效信號Dmy,而不是輸出圖像信號DGB[m](參照圖4D)。這時,圖像信號輸出部23不輸出輸出結(jié)束信號PtB,這一點在后面詳細說明。
需要說明的是,mb在剛輸出1幀中最后一行時變?yōu)閙b=M,之后維持mb=M。然后,在完成了下一幀用的圖像輸出準備的時間點(在輸出垂直同步信號后的垂直后沿期間結(jié)束后的定時),mb信號被重置,mb=0。
另外,輸出結(jié)束信號PtB不限于指示行的編號的信號,還可以是包括在圖像信號輸出部23結(jié)束了圖像信號D[m]的輸出時上升至高電平這樣的脈沖波形的二進制信號。
如圖1所示,定時控制部30具備:基于寫入結(jié)束信號PtA以及輸出結(jié)束信號PtB生成輸出控制信號CTR(確切地說是CTR[m])的輸出控制部31、生成各種定時信號來控制圖像信號輸出部23輸出圖像信號DGB[m]的定時的定時發(fā)生器32、以及向EVF控制器41發(fā)送規(guī)定EVF控制器41的動作的設定參數(shù)PRM的參數(shù)發(fā)送部33。
輸出控制部31基于寫入結(jié)束信號PtA以及輸出結(jié)束信號PtB,判斷圖像信號輸出部23向顯示部40輸出表示應在顯示區(qū)域AD的第m行顯示的圖像的圖像信號D[m](圖像信號DGB[m])的準備是否完成,并生成表示判斷結(jié)果的輸出控制信號CTR(確切地說是CTR[m])。
在此,“輸出圖像信號D[m](圖像信號DGB[m])的準備完成”是指滿足了下面的第一條件以及第二條件。
(第一條件)
圖像處理部21結(jié)束了第m行的圖像信號D[m](圖像信號DGA[m])的圖像處理、且結(jié)束了向行緩沖器22的圖像信號DGA[m]的寫入。
(第二條件)
圖像信號輸出部23結(jié)束了第m-1行的圖像信號D[m-1](圖像信號DGB[m-1])的輸出。
第一條件示出的是寫入結(jié)束信號PtA指示的行編號ma大于等于行編號m的情況,換言之,在滿足“m≤ma”的情況下滿足第一條件。在輸出結(jié)束信號PtB指示的行編號mb滿足“mb=m-1”的情況下(嚴格來講,在“m=1”、“mb=0”(“mb=M”后的垂直同步信號輸出后的垂直后沿期間結(jié)束后的定時)時,mb信號被重置,變?yōu)閙b=0的情況下)滿足第二條件。
在本說明書中,有時將顯示作為輸出控制部31的判斷對象的圖像信號D[m]所表示的圖像的顯示區(qū)域AD的行稱為“顯示目標行”。
另外,嚴格來講,為了圖像信號輸出部23輸出圖像信號DGB[m],需要滿足下面的第三條件。
(第三條件)
圖像信號輸出部23輸出第m行的圖像信號D[m](圖像信號DGB[m])的定時包含在顯示區(qū)域AD可顯示圖像的期間內(nèi)(在后面的圖4中敘述的水平有效數(shù)據(jù)期間DHI)。
但是,當滿足了上述的第一條件以及第二條件時,通過定時發(fā)生器32控制從圖像信號輸出部23輸出圖像信號DGB[m]的輸出定時,從而必然滿足第三條件。為此,在本實施方式中,輸出控制部31的判斷中不考慮第三條件。
下面,更加詳細地說明輸出控制部31的控制方法的實現(xiàn)方法。輸出控制部31例如可通過以下兩種方式執(zhí)行是否“完成了輸出圖像信號D[m](圖像信號DGB[m])的準備”的判斷。
作為第一方式,輸出控制部31直接執(zhí)行是否滿足第一條件的判斷(第一判斷)和是否滿足第二條件的判斷(第二判斷)這兩個判斷。
具體地,當圖像處理部21輸出了寫入結(jié)束信號PtA時,輸出控制部31基于寫入結(jié)束信號PtA所指示的行編號ma,針對m判斷是否滿足“m≤ma”(執(zhí)行第一判斷),當圖像信號輸出部23輸出了輸出結(jié)束信號PtB時,輸出控制部31判斷輸出結(jié)束信號PtB所指示的行編號mb是否滿足“mb=m-1”(執(zhí)行第二判斷),當?shù)谝慌袛嗟呐袛嘟Y(jié)果和第二判斷的判斷結(jié)果雙方均為肯定時,判斷為“完成了輸出圖像信號D[m]的準備”。
這時,輸出控制部31通過執(zhí)行第一判斷而作為判斷是否生成了與應在顯示目標行顯示的圖像對應的圖像信號的“處理狀況判斷部”發(fā)揮功能,并且,通過執(zhí)行第二判斷而作為判斷是否可以進行顯示目標行中的圖像顯示的“顯示判斷部”發(fā)揮功能。
需要注意的是,輸出控制部31在第一判斷的判斷結(jié)果或者第二判斷的判斷結(jié)果為否定時,重復第一判斷以及第二判斷,直到第一判斷的判斷結(jié)果和第二判斷的判斷結(jié)果雙方均為肯定。具體地,例如每當從圖像處理部21輸出了寫入結(jié)束信號PtA時,輸出控制部31執(zhí)行第一判斷,并且,每當從圖像信號輸出部23輸出了輸出結(jié)束信號PtB時,輸出控制部31執(zhí)行第二判斷,直到第一判斷以及第二判斷雙方的判斷結(jié)果變?yōu)榭隙纯?。并且,例如,輸出控制?1還可以以后述的水平掃描期間Hd的周期重復第一判斷以及第二判斷,直到第一判斷以及第二判斷雙方的判斷結(jié)果變?yōu)榭隙?。之后,在第一判斷的判斷結(jié)果和第二判斷的判斷結(jié)果雙方變?yōu)榱丝隙〞r,將輸出控制信號CTR(確切地說是CTR[m])設定為表示判斷結(jié)果為肯定的值。
其次,作為判斷是否“完成了輸出圖像信號D[m](圖像信號DGB[m])的準備”的第二方式,輸出控制部31在上一次判斷(是否完成了輸出圖像信號D[m-1]的準備的判斷)的結(jié)果為肯定之后且圖像信號輸出部23輸出了輸出結(jié)束信號PtB所指示的行編號mb=m-1的定時,執(zhí)行是否滿足第一條件的判斷(第一判斷)。
在該方式中,當?shù)谝慌袛嗟呐袛嘟Y(jié)果為否定時,輸出控制部31重復第一判斷,直到第一判斷的判斷結(jié)果變?yōu)榭隙ǎ數(shù)谝慌袛嗟呐袛嘟Y(jié)果為肯定時,輸出控制部31將輸出控制信號CTR設定為表示判斷結(jié)果為肯定的值(CTR[m])。具體地,例如,在輸出了輸出結(jié)束信號PtB的定時第一判斷的判斷結(jié)果為否定時,之后每當圖像處理部21輸出了寫入結(jié)束信號PtA時,輸出控制部31便基于該寫入結(jié)束信號PtA所指示的行編號ma,針對m進行是否滿足“m≤ma”的判斷,當滿足“m≤ma”時,判斷為滿足第一條件即可。
如上所述,圖像處理部21按照行編號順序生成圖像信號D[m](圖像信號DGA[m]),圖像信號輸出部23按照行編號順序輸出圖像信號D[m](圖像信號DGB[m])。另外,在本實施方式中,在結(jié)束了第m-2行的圖像信號D[m-2]的輸出、且輸出控制部31判斷為“完成了輸出圖像信號D[m-1]的準備”之后,圖像信號輸出部23輸出圖像信號D[m-1]。因此,輸出控制部31進行是否“完成了輸出圖像信號D[m](圖像信號DGB[m])的準備”的判斷的定時是從圖像信號輸出部23輸出了圖像信號D[m-2](圖像信號DGB[m-2])之后且輸出控制部31判斷為“完成了輸出圖像信號D[m-1](圖像信號DGB[m-1])的準備”之后的定時。換言之,在輸出控制部31進行是否“完成了輸出圖像信號D[m]的準備”的第一判斷的定時,圖像信號輸出部23輸出的輸出結(jié)束信號PtB所指示的行編號mb是“m-1”。
為此,在第二方式中,輸出控制部31依據(jù)來自圖像信號輸出部23的輸出結(jié)束信號PtB的輸出判斷為滿足了第二條件。于是,輸出控制部31在從圖像信號輸出部23輸出了輸出結(jié)束信號PtB的定時執(zhí)行是否滿足第一條件的判斷(第一判斷),從而進行是否“完成了圖像信號D[m](圖像信號DGB[m])的輸出準備”的判斷。
下面,在本實施方式中,以采用了上述兩種方式中的第二方式為前提進行說明。
定時發(fā)生器32生成顯示垂直同步信號DVsync、垂直有效數(shù)據(jù)信號DVactive、顯示水平同步信號DHsync、顯示點時鐘信號DCLK、以及使能信號DEnb,并將生成的這些信號輸出至圖像信號輸出部23以及顯示部40。
圖4A以及圖4B是用于說明定時發(fā)生器32生成的顯示垂直同步信號DVsync、垂直有效數(shù)據(jù)信號DVactive、顯示水平同步信號DHsync、顯示點時鐘信號DCLK以及使能信號DEnb的時序圖。
如圖4A以及圖4B所示,顯示垂直同步信號DVsync是規(guī)定用于在液晶面板42的整個顯示區(qū)域AD(M行)的像素顯示圖像的顯示垂直掃描期間Fd的信號。顯示水平同步信號DHsync是規(guī)定用于在顯示區(qū)域AD的相當于1行的像素顯示圖像的水平掃描期間Hd的信號。顯示點時鐘信號DCLK是規(guī)定用于在顯示區(qū)域AD的各像素顯示圖像的定時的信號。
在本實施方式中,水平掃描期間Hd具有預定的一定的時長。并且,在本實施方式中,顯示垂直掃描期間Fd由多個水平掃描期間Hd構(gòu)成,并具有比攝像垂直掃描期間Fs的時長(周期)短的時間的可變時長(周期)。為此,包含在各顯示垂直掃描期間Fd中的水平掃描期間Hd的個數(shù)是可變的。在圖4A所示的例子中,例示了在圖4A所示的多個顯示垂直掃描期間Fd中,最開始的顯示垂直掃描期間Fd、即顯示垂直掃描期間Fd1比在顯示垂直掃描期間Fd1之后的顯示垂直掃描期間Fd2短,顯示垂直掃描期間Fd2比在顯示垂直掃描期間Fd2之后的顯示垂直掃描期間Fd3短的情況。
需要注意的是,將顯示垂直同步信號DVsync所具有的波形中規(guī)定顯示垂直掃描期間Fd的開始以及結(jié)束定時的脈沖狀波形稱為垂直同步脈沖PlsV。并且,將顯示水平同步信號DHsync所具有的波形中規(guī)定水平掃描期間Hd的開始以及結(jié)束定時的脈沖狀波形稱為水平同步脈沖PlsH。
如圖4B所示,顯示垂直掃描期間Fd由垂直同步期間DVp、垂直后沿期間DVb、垂直有效數(shù)據(jù)期間DVI以及垂直前沿期間DVf構(gòu)成。
垂直同步期間DVp是顯示垂直同步信號DVsync激活(本圖例中,低電平)的期間,是開始顯示垂直掃描期間Fd的同時開始的具有預定時長的期間。垂直后沿期間DVb是接垂直同步期間DVp之后的期間,是具有預定時長的期間。垂直有效數(shù)據(jù)期間DVI是接垂直后沿期間DVb之后的可變時長的期間。在該垂直有效數(shù)據(jù)期間DVI中,從圖像信號輸出部23輸出圖像信號DGB(圖像信號DGB[1]~DGB[M])。垂直前沿期間DVf是接垂直有效數(shù)據(jù)期間DVI之后的期間,是結(jié)束顯示垂直掃描期間Fd的同時結(jié)束的具有預定時長的期間。
垂直有效數(shù)據(jù)期間DVI是在各顯示垂直掃描期間Fd內(nèi),從使能信號DEnb第一次激活的水平掃描期間Hd的開始起到使能信號DEnb第M次激活的水平掃描期間Hd的結(jié)束為止的期間(在后面說明使能信號DEnb激活的情況)。
例如,基于對使能信號DEnb的激活次數(shù)進行計數(shù)的計數(shù)器(未圖示)輸出的計數(shù)值確定該垂直有效數(shù)據(jù)期間DVI即可。但,在本實施方式中,為了便于說明,導入在各顯示垂直掃描期間Fd內(nèi)在從使能信號DEnb第一次激活的水平掃描期間Hd的開始起到使能信號DEnb第M次激活的水平掃描期間Hd的結(jié)束為止的期間內(nèi)激活(本圖例中,高電平)的垂直有效數(shù)據(jù)信號DVactive。即、在本實施方式中,將垂直有效數(shù)據(jù)信號DVactive激活的期間作為垂直有效數(shù)據(jù)期間DVI進行說明。另外,該垂直有效數(shù)據(jù)信號DVactive是為了便于說明而導入的信號,輸出控制部31也可以不輸出該垂直有效數(shù)據(jù)信號DVactive。
如圖4C以及圖4D所示,水平掃描期間Hd由水平同步期間DHp、水平后沿期間DHb、水平有效數(shù)據(jù)期間DHI以及水平前沿期間DHf構(gòu)成。
水平同步期間DHp是顯示水平同步信號DHsync激活(本圖例中,低電平)的期間,是開始水平掃描期間Hd的同時開始的具有預定時長的期間。水平后沿期間DHb是接水平同步期間DHp之后的期間,是具有預定時長的期間。水平有效數(shù)據(jù)期間DHI是接水平后沿期間DHb之后的具有預定時長的期間。水平前沿期間DHf是接水平有效數(shù)據(jù)期間DHI之后的期間,是結(jié)束水平掃描期間Hd的同時結(jié)束的具有預定時長的期間。
在本實施方式中,水平掃描期間Hd中存在用于圖像信號輸出部23輸出圖像信號D[m]的有效水平掃描期間Hd-A(參照圖4C)和輸出無效信號Dmy[m]以代替圖像信號D[m]的輸出的無效水平掃描期間Hd-D(參照圖4D)。
圖4C例示了水平掃描期間Hd是有效水平掃描期間Hd-A的情況。如該圖所示,當水平掃描期間Hd是有效水平掃描期間Hd-A時,使能信號DEnb在水平有效數(shù)據(jù)期間DHI中激活(本圖例中,高電平)。而且,在使能信號DEnb激活的水平有效數(shù)據(jù)期間DHI中,從圖像信號輸出部23輸出圖像信號D[m](圖像信號DGB[m])。另一方面,使能信號DEnb在有效水平掃描期間Hd-A中的水平有效數(shù)據(jù)期間DHI之外的期間(水平同步期間DHp、水平后沿期間DHb、水平前沿期間DHf)非激活。圖像信號輸出部23在有效水平掃描期間Hd-A中的、使能信號DEnb非激活的水平有效數(shù)據(jù)期間DHI之外的期間內(nèi),停止每個像素的圖像信號D[m](圖像信號DGB[m])的行數(shù)據(jù)的輸出,而輸出無效行信號DGB-dmy。
通過定時發(fā)生器32在水平有效數(shù)據(jù)期間DHI內(nèi)激活使能信號DEnb,從而滿足上述的第三條件。即、具備輸出控制部31以及定時發(fā)生器32的定時控制部30在上述第一條件~第三條件全部滿足的定時,使得對應各個像素從圖像信號輸出部23輸出對應于顯示目標行的圖像信號D[m](圖像信號DGB[m])的行數(shù)據(jù)。
圖4D例示了水平掃描期間Hd是無效水平掃描期間Hd-D的情況。如該圖所示,當水平掃描期間Hd是無效水平掃描期間Hd-D時,使能信號DEnb在水平有效數(shù)據(jù)期間DHI內(nèi)非激活。另外,圖像信號輸出部23在無效水平掃描期間Hd-D內(nèi)的水平有效數(shù)據(jù)期間DHI輸出無效信號Dmy,以此代替圖像信號D[m](圖像信號DGB[m])。另一方面,使能信號DEnb在無效水平掃描期間Hd-D內(nèi)的水平有效數(shù)據(jù)期間DHI之外的期間(水平同步期間DHp、水平后沿期間DHb、水平前沿期間DHf)也為非激活。圖像信號輸出部23在無效水平掃描期間Hd-D內(nèi)的水平有效數(shù)據(jù)期間DHI之外的期間輸出無效行信號DGB-dmy,停止圖像信號D[m](圖像信號DGB[m])的輸出。
需要注意的是,定時發(fā)生器32基于輸出控制部31輸出的輸出控制信號CTR,確定是將水平掃描期間Hd設為有效水平掃描期間Hd-A還是設為無效水平掃描期間Hd-D,換言之,確定是否在水平有效數(shù)據(jù)期間DHI中激活使能信號DEnb。在后面說明該輸出控制信號CTR、使能信號DEnb以及水平掃描期間Hd的種類的關(guān)系。
圖5是用于說明定時發(fā)生器32生成的各種信號與液晶面板42的顯示區(qū)域AD中的圖像的顯示定時的關(guān)系的說明圖。
如該圖所示,顯示區(qū)域AD所具有的從第1行的行起到第M行的行止的M行×N列的像素在顯示垂直掃描期間Fd中的、垂直有效數(shù)據(jù)信號DVactive激活的垂直有效數(shù)據(jù)期間DVI內(nèi)顯示圖像信號D[1]~D[M]所示的1畫面的圖像。
并且,顯示區(qū)域AD中的構(gòu)成第m行的行的N個像素在水平掃描期間Hd(有效水平掃描期間Hd-A)中的、使能信號DEnb激活的水平有效數(shù)據(jù)期間DHI顯示圖像信號D[m]所示的行數(shù)據(jù)的每個像素的圖像。
需要注意的是,垂直有效數(shù)據(jù)期間DVI根據(jù)該垂直有效數(shù)據(jù)期間DVI中包含的無效水平掃描期間Hd-D的個數(shù)而延長,在該圖中,設想垂直有效數(shù)據(jù)期間DVI中包含的水平掃描期間Hd全部是有效水平掃描期間Hd-A的情況。
圖6是用于說明輸出控制信號CTR和使能信號DEnb的說明圖。
如上所述,輸出控制部31在判斷為完成了圖像信號D[m]的輸出準備時、換言之在滿足了第一條件以及第二條件時,將輸出控制信號CTR設定為表示判斷結(jié)果是肯定的值CTR[m]。這里,為了便于說明,在本實施方式中,假設輸出控制部31在判斷為完成了圖像信號D[m]的輸出準備時,輸出暫時上升至高電平的脈沖狀波形作為輸出控制信號CTR,如圖6所示,將對輸出控制信號CTR設定的表示完成了輸出圖像信號D[m]的準備的判斷結(jié)果的輸出脈沖波形稱為輸出許可脈沖PL[m](=CTR[m])。
如上所述,根據(jù)本實施方式的輸出控制部31根據(jù)從圖像信號輸出部23輸出了輸出結(jié)束信號PtB,視為滿足了第二條件。而且,輸出控制部31在輸出了輸出結(jié)束信號PtB時執(zhí)行是否結(jié)束了圖像信號D[m]的圖像處理(是否滿足第一條件)的判斷(第一判斷),從而判斷是否完成了圖像信號D[m]的輸出準備。
如圖6所示,將在輸出控制部31判斷是否完成了圖像信號D[m]的輸出準備時,輸出控制部31判斷為結(jié)束了圖像信號D[m]的圖像處理(判斷為滿足第一條件)的定時、即第一判斷的結(jié)果為肯定的定時稱為圖像處理判定時刻TA[m]。
并且,將向輸出控制部31供給輸出結(jié)束信號PtB(視為滿足第二條件)的定時稱為顯示準備判定時刻TB[m]。
并且,下面,為了便于說明,將圖像處理部21實際結(jié)束圖像信號D[m]的生成的時刻定義為圖像信號生成時刻TC[m]。換言之,圖像信號生成時刻TC[m]是與圖像處理部21輸出寫入結(jié)束信號PtA的時刻大致相同的時刻。
顯示準備判定時刻TB[m]是與結(jié)束了從輸出控制部31的圖像信號D[m-1]的輸出的時刻大致相同的時刻,是與輸出圖像信號D[m-1]的有效水平掃描期間Hd-A(稱為有效水平掃描期間Hd-A[m-1])的水平有效數(shù)據(jù)期間DHI結(jié)束的時刻大致相同的時刻。
需要說明的是,在本說明書中,“大致相同的時刻”是包括當存在起因于信號收發(fā)的時滯、起因于各種處理的時滯時,在無視這些時滯時可視為同一時刻的情況的概念。
在到顯示準備判定時刻TB[m]為止結(jié)束了圖像信號D[m](圖像信號DGA[m])的生成時、即、到顯示準備判定時刻TB[m]為止經(jīng)過了圖像信號生成時刻TC[m]時(稱為情形-1),圖像處理判定時刻TA[m]變?yōu)榕c顯示準備判定時刻TB[m]大致相同的時刻。
需要注意的是,情形-1的情況下,在顯示準備判定時刻TB[m]的定時(=視為滿足了第二條件的定時),輸出控制部31基于到該顯示準備判定時刻TB[m]為止供給至輸出控制部31的寫入結(jié)束信號PtA所指示的行編號ma,對m進行滿足“m≤ma”的判斷,由于作出該判斷的定時是圖像處理判定時刻TA[m],所以在圖像處理判定時刻TA[m]與顯示準備判定時刻TB[m]之間實際上存在時滯,但下面,為了方便,視兩個時刻大致相同。
另一方面,對于圖像處理判定時刻TA[m],在到顯示準備判定時刻TB[m]為止還沒有結(jié)束圖像信號D[m](圖像信號DGA[m])的生成時(即、在到顯示準備判定時刻TB[m]為止,圖像信號生成時刻TC[m]還未到時(稱為情形-2)),變成圖像處理部21結(jié)束了圖像信號D[m]的生成的時刻(即、與圖像信號生成時刻TC[m]大致相同的時刻)。
需要注意的是,情形-2的情況下,在圖像處理部21于圖像信號生成時刻TC[m]結(jié)束了圖像信號D[m]的生成之后,圖像處理部21輸出寫入結(jié)束信號PtA,由于接收到該寫入結(jié)束信號PtA的供給的輸出控制部31作出滿足“m≤ma”的判斷的定時是圖像處理判定時刻TA[m],所以在圖像處理判定時刻TA[m]與圖像信號生成時刻TC[m]之間存在時滯,但下面,為了方便,視兩個時刻大致相同。
這樣,由于可能存在情形-1和情形-2的情況,所以結(jié)合兩種情形,輸出控制部31在圖像信號生成時刻TC[m]以及顯示準備判定時刻TB[m]中的較晚的一個時刻(即、該時刻是圖像處理判定時刻TA[m]),向輸出控制信號CTR設定輸出許可脈沖PL[m]。換言之,在滿足了關(guān)于圖像信號D[m]的第一條件以及第二條件時輸出該輸出許可脈沖PL[m]。而且,定時發(fā)生器32控制為在輸出了輸出許可脈沖PL[m]后的滿足了第三條件時、即在輸出了輸出許可脈沖PL[m]后使能信號DEnb第一次激活時,從圖像信號輸出部23輸出圖像信號D[m]。
下面,為了便于說明,針對圖像信號D[m]將滿足了全部第一條件~第三條件的時刻稱為輸出條件滿足時刻TJ[m]。
在本實施方式中,定時發(fā)生器32基于輸出控制信號CTR確定用于在定時發(fā)生器32的內(nèi)部處理中使用的內(nèi)部處理信號IS的電平。而且,定時發(fā)生器32基于內(nèi)部處理信號IS,確定激活使能信號DEnb的定時以及水平掃描期間Hd的種類(有效水平掃描期間Hd-A或者無效水平掃描期間Hd-D)。
具體地,如圖6所示,在輸出控制信號CTR被設定為輸出許可脈沖PL[m]時,定時發(fā)生器32激活內(nèi)部處理信號IS(本圖例中,高電平)。
在開始水平掃描期間Hd的定時,內(nèi)部處理信號IS被激活時,定時發(fā)生器32將該水平掃描期間Hd的種類確定(分類)為有效水平掃描期間Hd-A[m],在開始該有效水平掃描期間Hd-A[m]的水平有效數(shù)據(jù)期間DHI的定時激活使能信號DEnb。該使能信號DEnb激活的定時相當于輸出條件滿足時刻TJ[m]。
而且,定時發(fā)生器32在開始該有效水平掃描期間Hd-A[m]的水平有效數(shù)據(jù)期間DHI、且使能信號DEnb激活的定時、即在輸出條件滿足時刻TJ[m],使內(nèi)部處理信號IS變?yōu)榉羌せ睢?/p>
另一方面,在開始水平掃描期間Hd的定時,內(nèi)部處理信號IS為非激活時,定時發(fā)生器32將該水平掃描期間Hd的種類確定(分類)為無效水平掃描期間Hd-D,在該無效水平掃描期間Hd-D的期間,使能信號DEnb為非激活。
這里,在圖6所示的例子中,在顯示準備判定時刻TB[1]之前,PtB信號的mb從剛剛輸出1幀的最后一行后維持mb=M。而且,在垂直同步信號輸出后的垂直后沿期間結(jié)束后的某時間點,可以輸出下一幀的數(shù)據(jù)。為此,在顯示準備判定時刻TB[1]的時間點,mb信號被重置,變?yōu)閙b=0(情形-0)。情形-0是開始顯示1幀的最開始的第1行的特殊定時,1幀中僅存在一次。其結(jié)果,開始水平掃描期間Hd[2]的水平有效數(shù)據(jù)期間DHI。
接著,記載第2行之后的例子。下面說明圖6所示的例子中,輸出控制部31進行是否完成了圖像信號D[2]的輸出準備的判斷,并向輸出控制信號CTR設定輸出許可脈沖PL[2]的情況(相當于情形-1)。
在圖6所示的例子中,顯示準備判定時刻TB[2]是結(jié)束圖像信號D[1]的輸出的水平掃描期間Hd[1](有效水平掃描期間Hd-A[1])的水平有效數(shù)據(jù)期間DHI的結(jié)束時。并且,在該例子中,假設在顯示準備判定時刻TB[2]之前已到圖像信號D[2]的圖像處理結(jié)束的圖像信號生成時刻TC[2]。從而,在該例子中,圖像處理判定時刻TA[2]是與顯示準備判定時刻TB[2]大致相同的時刻。為此,輸出控制部31在結(jié)束水平掃描期間Hd[1]的水平有效數(shù)據(jù)期間DHI時、即在顯示準備判定時刻TB[2]輸出輸出許可脈沖PL[2]作為輸出控制信號CTR。
在輸出輸出許可脈沖PL[2]作為輸出控制信號CTR的定時、即在結(jié)束水平掃描期間Hd[1]的水平有效數(shù)據(jù)期間DHI的定時,定時發(fā)生器32激活內(nèi)部處理信號IS。這時,內(nèi)部處理信號IS也在水平掃描期間Hd[2]開始時激活。這里,定時發(fā)生器32在水平掃描期間的開始定時(DHsync脈沖),基于內(nèi)部處理信號IS的狀態(tài)判斷將該水平掃描期間設為有效水平掃描期間Hd-A[m]還是設為無效水平掃描期間Hd-D。在上述情況下,內(nèi)部處理信號IS激活。為此,定時發(fā)生器32將水平掃描期間Hd[2]設為有效水平掃描期間Hd-A[2],并在水平掃描期間Hd[2]的水平有效數(shù)據(jù)期間DHI激活使能信號DEnb。
即、水平掃描期間Hd[2]的水平有效數(shù)據(jù)期間DHI的開始時刻成為滿足了針對圖像信號D[2]的全部第一條件~第三條件的輸出條件滿足時刻TJ[2]。為此,在水平掃描期間Hd[2],輸出圖像信號D[2]。并且,定時發(fā)生器32在開始水平掃描期間Hd[2]的水平有效數(shù)據(jù)期間DHI的定時,將內(nèi)部處理信號IS變?yōu)榉羌せ睢?/p>
接著,說明在圖6所示的例子中,輸出控制部31進行是否完成了圖像信號D[3]的輸出準備的判斷,并向輸出控制信號CTR設定輸出許可脈沖PL[3]的情況(相當于情形-2)。
在圖6所示的例子中,顯示準備判定時刻TB[3]是結(jié)束圖像信號D[2]的輸出的水平掃描期間Hd[2](有效水平掃描期間Hd-A[2])的水平有效數(shù)據(jù)期間DHI的結(jié)束時。在該例子中,假設結(jié)束圖像信號D[3]的圖像處理的圖像信號生成時刻TC[3]在顯示準備判定時刻TB[3]之后的情況。從而,圖像處理判定時刻TA[3]變?yōu)樵陲@示準備判定時刻TB[3]之后的時刻。并且,在該例子中,假設圖像信號生成時刻TC[3]在水平掃描期間Hd[3]開始時之后的情況。為此,輸出控制部31在水平掃描期間Hd[3]開始時之后的時刻輸出輸出許可脈沖PL[3]。
如上所述,定時發(fā)生器32在開始水平掃描期間Hd[2]的水平有效數(shù)據(jù)期間DHI時將內(nèi)部處理信號IS設為非激活。為此,內(nèi)部處理信號IS在水平掃描期間Hd[3]開始時為非激活。為此,在水平掃描期間的開始定時(DHsync脈沖),內(nèi)部處理信號IS的狀態(tài)是非激活,所以定時發(fā)生器32將水平掃描期間Hd[3]分類為無效水平掃描期間Hd-D,并在水平掃描期間Hd[3]的水平有效數(shù)據(jù)期間DHI,將使能信號DEnb設為非激活。這時,圖像信號輸出部23在水平掃描期間Hd[3]的水平有效數(shù)據(jù)期間DHI輸出無效信號Dmy,而不輸出圖像信號D[3]。
之后,定時發(fā)生器32在輸出輸出許可脈沖PL[3]作為輸出控制信號CTR的定時,激活內(nèi)部處理信號IS。在該例子中,輸出輸出許可脈沖PL[3]的定時在開始水平掃描期間Hd[4]之前。這時,內(nèi)部處理信號IS在開始水平掃描期間Hd[4]時(DHsync脈沖)也為激活。為此,定時發(fā)生器32將水平掃描期間Hd[4]設為有效水平掃描期間Hd-A[3],并在水平掃描期間Hd[4]的水平有效數(shù)據(jù)期間DHI激活使能信號DEnb。
即、水平掃描期間Hd[4]的水平有效數(shù)據(jù)期間DHI的開始時刻成為滿足了針對圖像信號D[3]的全部第一條件~第三條件的輸出條件滿足時刻TJ[3]。為此,在水平掃描期間Hd[4],輸出圖像信號D[3]。
需要注意的是,在圖示的例子中,針對輸出控制部31進行是否完成了圖像信號D[1]的輸出準備的判斷并向輸出控制信號CTR設定輸出許可脈沖PL[1]的情況、以及進行是否完成了圖像信號D[1]的輸出準備的判斷并向輸出控制信號CTR設定輸出許可脈沖PL[1]的情況(情形-0),設想是作為情形-1的條件的情況。
這樣,在本實施方式中,輸出控制部31在滿足了第一條件以及第二條件時,輸出輸出許可脈沖PL[m],內(nèi)部處理信號IS的狀態(tài)被激活,并在水平掃描期間的開始時(DHsync脈沖)確定設為有效水平掃描期間Hd-A[m]還是設為無效水平掃描期間Hd-D[m]。在確定為有效水平掃描期間時,圖像信號輸出部23在輸出了輸出許可脈沖PL[m]后的最開始的水平掃描期間Hd,進行輸出圖像信號D[m]的動作。通過這樣的動作,按照以水平掃描期間Hd為單位的精度對作為圖像處理部21以行為單位D[m]的圖像處理結(jié)果的從圖像信號輸出部23輸出圖像信號D[m]的輸出定時進行輸出調(diào)整。
需要注意的是,在圖6所示的例子中,定時發(fā)生器32在開始水平掃描期間Hd的定時確定水平掃描期間Hd的種類,但這只是一個例子,例如,在從輸出輸出許可脈沖PL[m]的水平掃描期間Hd的水平前沿期間DHf開始起到輸出了輸出許可脈沖PL[m]后的最先的水平掃描期間Hd的水平后沿期間DHb結(jié)束為止的期間確定即可。
并且,在圖6所示的例子中,使內(nèi)部處理信號IS為非激活的定時設定為使能信號DEnb激活的定時,但這只是一個例子,定時發(fā)生器32使內(nèi)部處理信號IS為非激活的定時只要是從使能信號DEnb激活起到變?yōu)榉羌せ顬橹沟乃接行?shù)據(jù)期間DHI的期間內(nèi)即可。
并且,在本實施方式中,定時發(fā)生器32利用內(nèi)部處理信號IS來確定使能信號DEnb的波形和水平掃描期間Hd的種類,但這只是一個例子,還可以基于輸出控制信號CTR確定使能信號DEnb的波形和水平掃描期間Hd的種類,而不利用內(nèi)部處理信號IS。
并且,在本實施方式中,輸出控制信號CTR為包括輸出許可脈沖PL[m]的波形,但這只是一個例子,輸出控制信號CTR例如也可以具有圖6所示的內(nèi)部處理信號IS的波形。這時,定時發(fā)生器32向輸出控制部31供給輸出控制部31確定輸出控制信號CTR的波形所需的使能信號DEnb等各種信號即可。
圖7A以及圖7B是用于說明有效水平掃描期間Hd-A以及無效水平掃描期間Hd-D與顯示垂直掃描期間Fd的關(guān)系的說明圖。
顯示垂直掃描期間Fd是輸出對應于M行的行的圖像信號D[1]~D[M]的期間。為此,定時發(fā)生器32在各顯示垂直掃描期間Fd的垂直有效數(shù)據(jù)期間DVI中設置M個有效水平掃描期間Hd-A。
另一方面,根據(jù)本實施方式的定時發(fā)生器32將水平掃描期間Hd分類為有效水平掃描期間Hd-A或者無效水平掃描期間Hd-D的任意一種。另外,只在水平掃描期間Hd是有效水平掃描期間Hd-A時,在該水平掃描期間Hd輸出圖像信號D[m]。
為此,在顯示垂直掃描期間Fd的垂直有效數(shù)據(jù)期間DVI中設置無效水平掃描期間Hd-D時,根據(jù)本實施方式的定時發(fā)生器32將垂直有效數(shù)據(jù)期間DVI延長相當于該無效水平掃描期間Hd-D的時長,并輸出顯示垂直同步信號DVsync以及垂直有效數(shù)據(jù)信號DVactive,以便在各顯示垂直掃描期間Fd的垂直有效數(shù)據(jù)期間DVI中設置M個有效水平掃描期間Hd-A。
例如,如圖7A所示的顯示垂直掃描期間Fd1,在將垂直有效數(shù)據(jù)期間DVI的全部水平掃描期間Hd設為有效水平掃描期間Hd-A時,定時發(fā)生器32使垂直有效數(shù)據(jù)期間DVI的時長為水平掃描期間Hd的M倍的時長。這里,將顯示垂直掃描期間Fd1中除去垂直同步前沿期間(DVf)、垂直同步期間(DVp)和垂直同步后沿期間(DVb)的期間、即DVI稱為垂直有效數(shù)據(jù)期間DVI,并設為DVactive=H的期間。
另一方面,如圖7B所示的顯示垂直掃描期間Fd2,在垂直有效數(shù)據(jù)期間DVI中設置一個或多個無效水平掃描期間Hd-D時,定時發(fā)生器32使垂直有效數(shù)據(jù)期間DVI的時長(DVactive=H的期間)為水平掃描期間Hd的M倍的時長與存在于垂直有效數(shù)據(jù)期間DVI中的一個或多個無效水平掃描期間Hd-D的合計時長相加后的時長。
換言之,定時發(fā)生器32以水平掃描期間Hd為單位調(diào)整顯示垂直掃描期間Fd的時長,從而圖像信號輸出部23可以在各顯示垂直掃描期間Fd輸出圖像信號D[1]~D[M]。
需要注意的是,將如圖7A所示的顯示垂直掃描期間Fd1這樣,垂直有效數(shù)據(jù)期間DVI的所有水平掃描期間Hd均為有效水平掃描期間Hd-A時的顯示垂直掃描期間Fd的時長稱為標準垂直掃描時間Td。
并且,將如圖7B所示的顯示垂直掃描期間Fd2這樣,在垂直有效數(shù)據(jù)期間DVI中設有一個或多個無效水平掃描期間Hd-D時的、該一個或多個無效水平掃描期間Hd-D的時長的合計值稱為延長垂直掃描時間Tex。換言之,在垂直有效數(shù)據(jù)期間DVI中設有一個或多個無效水平掃描期間Hd-D時的顯示垂直掃描期間Fd的時長是標準垂直掃描時間Td和延長垂直掃描時間Tex的合計值。
接著,參照圖8說明顯示部40。
圖8是示出顯示部40的構(gòu)成的框圖。如上所述,顯示部40具備控制液晶面板42的動作的EVF控制器41以及用于顯示對應于圖像信號D的圖像的液晶面板42。
如上所述,液晶面板42上設有用于顯示對應于圖像信號D的圖像的顯示區(qū)域AD。顯示區(qū)域AD構(gòu)成為包括圖5中在X軸方向上延伸的M行的掃描線、在Y軸方向上延伸的N列的數(shù)據(jù)線、以及對應于掃描線和數(shù)據(jù)線的交差而設置的M行×N列的像素。并且,液晶面板42具備用于選擇掃描線的掃描線驅(qū)動電路421、用于驅(qū)動數(shù)據(jù)線的數(shù)據(jù)線驅(qū)動電路422、以及用于可以放大觀察顯示區(qū)域AD上顯示的圖像的光學系統(tǒng)(未圖示)。
EVF控制器41具備:數(shù)據(jù)輸入部411,從圖像信號輸出部23向數(shù)據(jù)輸入部411輸入圖像信號D(圖像信號DGB);計數(shù)器412,在各垂直有效數(shù)據(jù)期間DVI內(nèi)對有效水平掃描期間Hd-A的個數(shù)(使能信號DEnb激活的次數(shù))進行計數(shù);定時生成部413,生成規(guī)定液晶面板42的驅(qū)動定時的各種定時信號;數(shù)據(jù)輸出部414,向液晶面板42輸出圖像信號D(圖像信號DGC);以及寄存器415,存儲規(guī)定EVF控制器41的動作的設定參數(shù)PRM。
需要注意的是,在本實施方式中,圖像處理電路100(圖像信號生成部20以及定時控制部30)與EVF控制器41之間的數(shù)據(jù)傳輸通過并行接口(未圖示)來進行。
當攝像顯示裝置1的利用者通過操作部60進行了選擇實時取景模式的動作等而攝像顯示裝置1以實時取景模式進行動作時,在攝像顯示裝置1開始實時取景模式的動作之前,從參數(shù)發(fā)送部33向定時生成部413供給設定參數(shù)PRM。然后,定時生成部413將發(fā)送來的設定參數(shù)PRM存儲(設定)在寄存器415中。
設定在寄存器415中的設定參數(shù)PRM是用于使EVF控制器41根據(jù)液晶面板42的規(guī)格進行動作的、規(guī)定EVF控制器41的動作的值。
作為設定參數(shù)PRM,例如可以包括:水平掃描期間Hd的時長(或者水平掃描期間Hd中包含的顯示點時鐘信號DCLK的時鐘數(shù)。下面,將顯示點時鐘信號DCLK的時鐘數(shù)簡稱為“時鐘數(shù)”)、水平有效數(shù)據(jù)期間DHI的時長(或者顯示區(qū)域AD內(nèi)的X軸方向的像素數(shù)(N))、水平同步期間DHp的時長(或者時鐘數(shù))、水平后沿期間DHb的時長(或者時鐘數(shù))、水平前沿期間DHf的時長(或者時鐘數(shù))、垂直有效數(shù)據(jù)期間DVI中未包含無效水平掃描期間Hd-D時的垂直有效數(shù)據(jù)期間DVI的時長(或者顯示區(qū)域AD內(nèi)的Y軸方向的行數(shù)(M)。即、垂直有效數(shù)據(jù)期間DVI中包含的有效水平掃描期間Hd-A的個數(shù))、垂直同步期間DVp的時長(或者時鐘數(shù))、垂直后沿期間DVb的時長(或者時鐘數(shù))、垂直前沿期間DVf的時長(或者時鐘數(shù))等。
在根據(jù)本實施方式的攝像顯示裝置1中,能夠從圖像處理電路100設定符合液晶面板42的規(guī)格的EVF控制器41的動作定時,所以即使在改變液晶面板42的大小時、或改變幀速率等液晶面板42的規(guī)格時,也無需變更EVF控制器41。為此,能夠提高系統(tǒng)的通用性。
從圖像處理電路100向數(shù)據(jù)輸入部411供給顯示點時鐘信號DCLK、包括圖像信號D(圖像信號DGB)以及無效信號Dmy的來自圖像信號輸出部23的輸出信號以及使能信號DEnb。
一旦使能信號DEnb激活,則數(shù)據(jù)輸入部411在該使能信號DEnb激活的期間,與顯示點時鐘信號DCLK同步地取入從圖像信號輸出部23供給的1行的圖像信號D[m],并將取入的圖像信號D[m]輸出至數(shù)據(jù)輸出部414。另一方面,當使能信號DEnb為非激活時,數(shù)據(jù)輸入部411不取入從圖像信號輸出部23供給的無效信號Dmy,而是丟棄。
從圖像處理電路100向計數(shù)器412供給使能信號DEnb和顯示垂直同步信號DVsync。
計數(shù)器412對使能信號DEnb的上升沿進行計數(shù),并向定時生成部413輸出表示計數(shù)結(jié)果的計數(shù)值Cnt。并且,在顯示垂直同步信號DVsync激活、且供給了垂直同步脈沖PlsV作為顯示垂直同步信號DVsync時,計數(shù)器412將計數(shù)值Cnt重置為“0”。為此,計數(shù)器412可以對各顯示垂直掃描期間Fd中包含的有效水平掃描期間Hd-A的個數(shù)進行計數(shù)。即、當數(shù)據(jù)輸入部411取入指定應在第m行的行顯示的圖像的圖像信號D[m]時,計數(shù)值Cnt表示對應于該圖像信號D[m]的行編號(m)。
從圖像處理電路100向定時生成部413供給顯示垂直同步信號DVsync、顯示水平同步信號DHsync和設定參數(shù)PRM,并且,從計數(shù)器412向定時生成部413供給計數(shù)值Cnt。
如上所述,在從圖像處理電路100供給有設定參數(shù)PRM時,定時生成部413將供給的設定參數(shù)PRM設定于寄存器415。
當計數(shù)值Cnt表示“m”時,定時生成部413使掃描線驅(qū)動電路421選擇對應于計數(shù)值Cnt的第m行的行(掃描線)。并且,當計數(shù)值Cnt表示“m”時,定時生成部413使數(shù)據(jù)輸出部414向數(shù)據(jù)線驅(qū)動電路422供給數(shù)據(jù)輸入部411取入的1行量的圖像信號D[m]作為圖像信號DGC[m]。這時,數(shù)據(jù)線驅(qū)動電路422經(jīng)由數(shù)據(jù)線向與掃描線驅(qū)動電路421所選擇的第m行的掃描線對應設置的N個像素(第m行的行)寫入從數(shù)據(jù)輸出部414供給的圖像信號DGC[m]。由此,在顯示區(qū)域AD顯示被選擇的行的圖像。需要注意的是,在本實施方式中,圖像信號DGA以及DGB是數(shù)字信號,但圖像信號DGC既可以是數(shù)字信號,也可以是模擬信號。
這樣,EVF控制器41使從圖像信號輸出部23供給的圖像信號D所表示的圖像顯示于液晶面板42的顯示區(qū)域AD。
需要說明的是,當檢測到計數(shù)值Cnt等于設定在寄存器415中的顯示區(qū)域AD的行數(shù)“M”時,EVF控制器41在檢測之后最開始被供給顯示水平同步信號DHsync的定時、即開始垂直前沿期間DVf的定時,進入改幀處理的準備。另外,在開始了垂直前沿期間DVf之后,定時生成部413向數(shù)據(jù)輸入部411以及數(shù)據(jù)輸出部414輸出用于命令執(zhí)行改幀處理的改幀處理開始信號Cng。
在此,改幀處理是用于準備在下一顯示垂直掃描期間Fd顯示圖像的處理,例如包括執(zhí)行刪除存儲在數(shù)據(jù)輸入部411以及數(shù)據(jù)輸出部414所具備的緩沖器中存儲的數(shù)據(jù)的處理等。在開始了垂直前沿期間DVf之后再開始改幀處理。并且,優(yōu)選地,在結(jié)束垂直前沿期間DVf之前結(jié)束改幀處理。
<2、圖像處理>
接著,參照圖9至圖11說明圖像處理部21的詳情和在圖像處理部21執(zhí)行的圖像處理。
圖9是示出圖像處理部21的構(gòu)成的框圖。
如該圖所示,圖像處理部21具備:暫時存儲從圖像傳感器12輸出的攝像信號DS的行緩沖器211、對存儲在行緩沖器211中的攝像信號DS進行插值處理(interpolation processing)的像素插值處理部212、對插值處理后的攝像信號DS進行顏色再現(xiàn)處理的顏色再現(xiàn)處理部213、對顏色再現(xiàn)處理后的攝像信號DS進行濾波處理的濾波處理部214、對濾波處理后的攝像信號DS進行伽馬校正的伽馬校正部215、暫時存儲伽馬校正后的攝像信號DS的行緩沖器216、以及進行將存儲在行緩沖器216中的攝像信號DS轉(zhuǎn)換為顯示區(qū)域AD所具備的像素數(shù)的圖像信號D的大小(尺寸)調(diào)整處理的大小(尺寸)調(diào)整處理部217。
圖10是用于說明圖像傳感器12所具備的光接收元件輸出的像素數(shù)據(jù)信號Sig與攝像信號DS的關(guān)系的說明圖。如上所述,當攝像顯示裝置1以拍攝模式進行動作時,圖像傳感器12輸出圖10所示的所有的像素數(shù)據(jù)信號Sig作為靜止畫面用攝像數(shù)據(jù)。另一方面,當攝像顯示裝置1以實時取景模式進行動作時,圖像傳感器12細化像素數(shù)據(jù)信號Sig,并輸出圖10所示的攝像信號DS。
圖10所示的像素數(shù)據(jù)信號Sig中,帶有“R”的各四邊形表示從對應于紅色像素(用于檢測紅色光)的光接收元件輸出的像素數(shù)據(jù)信號Sig,帶有“G”的各四邊形表示從綠色像素的光接收元件輸出的像素數(shù)據(jù)信號Sig,帶有“B”的各四邊形表示從藍色像素的光接收元件輸出的像素數(shù)據(jù)信號Sig。
并且,圖10所示的圖像信號D中,帶有“R”的各四邊形表示用于生成對應于紅色像素(指定應在紅色像素顯示的灰度)的圖像信號D的攝像信號DS,帶有“G”的各四邊形表示用于生成對應于綠色像素的圖像信號D的攝像信號DS,帶有“B”的各四邊形表示用于生成對應于藍色像素的圖像信號D的攝像信號DS。
需要注意的是,在本實施方式中,假設在圖像傳感器12的有效圖像傳感器區(qū)域AS中,紅色、綠色以及藍色的像素為拜耳排列。
如上所述,圖像傳感器12對PS行×QS列的光接收元件輸出的像素數(shù)據(jù)信號Sig進行細化讀取,從而輸出與P行×Q列的像素對應的攝像信號DS。
在細化讀取中,關(guān)于Y軸方向,圖像傳感器12將PS行的光接收元件輸出的像素數(shù)據(jù)信號Sig細化為與P行的像素對應的信號。
具體地,圖像傳感器12從PS行中選擇讀出對象行,并讀出位于讀出對象行的光接收元件輸出的像素數(shù)據(jù)信號Sig,另一方面,跳過位于讀出對象行之外的行的光接收元件輸出的像素數(shù)據(jù)信號Sig的讀取,以進行Y軸方向的細化。
在本實施方式中,設于圖像傳感器12的有效圖像傳感器區(qū)域AS的像素的排列為拜耳排列,所以按奇數(shù)行的比例規(guī)定1行的讀出對象行。
當像素為拜耳排列時,由紅色像素及綠色像素構(gòu)成的行和由綠色像素及藍色像素構(gòu)成的行在Y軸方向上交替排列。為此,通過按奇數(shù)行的比例規(guī)定1行的讀出對象行,從而能夠?qū)⒆x出后的像素排列成由紅色像素及綠色像素構(gòu)成的行和由綠色像素及藍色像素構(gòu)成的行在Y軸方向上交替排列,能夠防止相同顏色的像素相鄰。
在圖10所示的例子中,在Y軸方向上,按每隔兩行選一行的比例規(guī)定讀出對象行。具體地,將行1~9中的行1、行4以及行7作為讀出對象行。這時,如圖10所示,可得到將像素數(shù)據(jù)信號Sig在Y軸方向上細化為三分之一的攝像信號DS。
并且,作為水平方向的縮小讀出處理,圖像傳感器12進行X軸方向的像素的相加平均讀出動作,使QS列的光接收元件輸出的像素數(shù)據(jù)信號Sig成為與Q列的像素對應的信號(攝像信號DS)。
具體地,圖像傳感器12將位于各讀出對象行的QS個的光接收元件分組為預定數(shù)量個的光接收元件為一組,讀出構(gòu)成各組的預定數(shù)量個的光接收元件輸出的像素數(shù)據(jù)信號Sig所示的值后進行相加平均處理,從而將QS個光接收元件輸出的像素數(shù)據(jù)信號Sig縮小成“預定數(shù)量分之一”。
當圖像傳感器12的像素為拜耳排列時,各行中交替排列有兩種顏色的像素,所以在X軸方向上進行每隔一個地將預定數(shù)量個的光接收元件分為一組的分組。之后,對構(gòu)成各組的預定數(shù)量個的光接收元件輸出的像素數(shù)據(jù)信號Sig所示的值進行相加平均。
在圖10所示的例子中,在X軸方向上,每隔一個地將三個光接收元件分為一組,對構(gòu)成各組的相同顏色的三個光接收元件輸出的像素數(shù)據(jù)信號Sig所示的值進行相加平均讀出。具體地,例如,在行1以及行7中,將第1列、第3列、第5列的紅色像素分為一組,通過加法器Ave1對與該三個像素對應的三個光接收元件輸出的像素數(shù)據(jù)信號Sig的值進行相加平均,并將得到的平均值設定為與第1列的紅色像素對應的攝像信號DS的值。同樣地,在行1以及行7中,通過加法器Ave2對與第二列、第四列、第六列的綠色像素對應的光接收元件輸出的像素數(shù)據(jù)信號Sig的值進行相加平均,并將得到的平均值設定為與第二列的綠色像素對應的攝像信號DS的值。這時,如圖10所示,可得到將像素數(shù)據(jù)信號Sig在X軸方向上大小調(diào)整(縮小)為三分之一后的攝像信號DS。
圖11是用于說明大小調(diào)整(resizing)處理部217根據(jù)攝像信號DS生成顯示于顯示區(qū)域AD的顯示像素的大小調(diào)整處理的說明圖。在這里,說明作為大小調(diào)整圖像處理的實施例,其中,大小調(diào)整圖像處理除了包括通常的縱橫縮小的大小調(diào)整轉(zhuǎn)換處理之外,還包括由攝像透鏡產(chǎn)生的畸變的校正圖像處理。
如上所述,攝像信號DS所表示的圖像的像素數(shù)和圖像信號D所表示的圖像的像素數(shù)(顯示區(qū)域AD的像素數(shù))是不同的。為此,在大小調(diào)整處理部217中執(zhí)行將攝像信號DS轉(zhuǎn)換為與顯示區(qū)域AD的像素數(shù)對應的圖像信號D的大小調(diào)整處理。需要說明的是,大小調(diào)整處理部217也將單純的縱向、橫向的縮小/放大處理作為大小調(diào)整圖像處理來實施。縱橫縮小/放大處理是一般的縮小/放大處理,所以在下面的實施例中省略詳細說明。
需要注意的是,攝像信號DS所表示的圖像有時具有起因于攝像光學系統(tǒng)11所具備的透鏡的光學特性的畸變。具體地,表示對被拍攝體進行拍攝時的拍攝結(jié)果的圖像有時會存在與原本應在顯示區(qū)域AD中顯示的圖像相比向外側(cè)膨脹的桶形畸變(barrel aberration)、或者與原本應顯示的圖像相比向內(nèi)側(cè)收縮的枕形畸變(winding aberration)。為此,在大小調(diào)整處理部217中進行大小調(diào)整處理時,執(zhí)行對桶形畸變、枕形畸變等畸變進行校正的失真校正處理。
下面,參照圖11,說明大小調(diào)整處理中執(zhí)行的失真校正處理。需要注意的是,在圖11中,假設攝像信號DS所表示的圖像的行數(shù)是16行(P=16),圖像信號D所表示的圖像的行數(shù)是12行(M=12)。
在圖11中,用符號Pc1表示出現(xiàn)了桶形畸變時攝像信號DS所表示的圖像,用符號Pc2表示基于表示圖像Pc1的攝像信號DS對被拍攝體進行了拍攝時應在顯示區(qū)域AD顯示的圖像信號D所表示的圖像,用符號Pc3表示出現(xiàn)枕形畸變時攝像信號DS所表示的圖像,用符號Pc4表示基于表示圖像Pc3的攝像信號DS對被拍攝體進行了拍攝時應在顯示區(qū)域AD顯示的圖像信號D所表示的圖像。
關(guān)于圖像Pc1,雖然應在顯示區(qū)域AD顯示的圖像是四邊形SQ,但攝像信號DS由于桶形畸變而呈現(xiàn)為四邊形SQ膨脹的閉合曲線CV1。并且,關(guān)于圖像Pc3,雖然應在顯示區(qū)域AD顯示的圖像是四邊形SQ,但攝像信號DS由于枕形畸變而呈現(xiàn)為四邊形SQ收縮的閉合曲線CV2。
當出現(xiàn)了桶形畸變時,大小調(diào)整處理部217在進行失真校正處理時,將呈現(xiàn)為閉合曲線CV1的圖像Pc1校正為呈現(xiàn)為四邊形SQ的圖像Pc2。同樣,當出現(xiàn)了桶形畸變時,大小調(diào)整處理部217在進行失真校正處理時,將呈現(xiàn)為閉合曲線CV2的圖像Pc3校正為呈現(xiàn)為四邊形SQ的圖像Pc4。
在這些情況下,大小調(diào)整處理部217使校正前的圖像中的像素與校正后的圖像中的像素相對應,以與校正后的像素對應的校正前的像素為中心像素,基于包括中心像素和其周邊的像素、即周邊像素的參照區(qū)域內(nèi)的像素各自顯示的灰度,確定校正后的像素應顯示的灰度。
例如,大小調(diào)整處理部217在確定構(gòu)成圖像Pc2或者圖像Pc4的校正后的像素PxS1的灰度時,將構(gòu)成圖像Pc1或者圖像Pc3的校正前的像素PxC1定為中心像素。之后,大小調(diào)整處理部217基于包括作為中心像素的像素PxC1的參照區(qū)域Area1內(nèi)的各像素應顯示的灰度,確定像素PxS1應顯示的灰度。
同樣,大小調(diào)整處理部217在確定構(gòu)成圖像Pc2或者圖像Pc4的校正后的像素PxS2的灰度時,將構(gòu)成圖像Pc1或者圖像Pc3的校正前的像素PxC2定為中心像素。之后,大小調(diào)整處理部217基于包括作為中心像素的像素PxC2的參照區(qū)域Area2內(nèi)的各像素應顯示的灰度,確定像素PxS2應顯示的灰度。
需要注意的是,圖像Pc2以及圖像Pc4中帶有濃的影線的像素表示圖像信號D中位于第1行、第7行以及第12行的校正后的像素,圖像Pc1以及圖像Pc3中帶有濃的影線的像素表示分別對應于校正后的像素的校正前的像素(中心像素),圖像Pc1以及圖像Pc3中帶有淺的影線的像素表示分別對應于中心像素的周邊像素。
由圖11所示的例子明顯可知,出現(xiàn)桶形畸變時的圖像的膨脹程度隨著畫面的行的位置而變化,隨著垂直方向(Y軸方向)的位置接近端部,圖像的膨脹程度增大。并且,出現(xiàn)枕形畸變時的圖像的收縮程度隨著畫面的行的位置而變化,隨著垂直方向(Y軸方向)的位置接近端部,圖像的收縮程度增大。
因此,大小調(diào)整處理部217生成圖像信號D[m]時所需的攝像信號DS的行數(shù)根據(jù)與圖像信號D[m]對應的行的位置(m的值)而變化。為此,大小調(diào)整處理部217進行大小調(diào)整處理所需的時長根據(jù)行的位置而變化。
在此,將與第p行的行對應的攝像信號DS表述為攝像信號DS[p](p是滿足1≤p≤P的自然數(shù))。
這時,例如,在圖11所示的例子中,大小調(diào)整處理部217為了生成與第1行的行對應的圖像信號D[1],需要與第1行~第五行的行對應的攝像信號DS[1]~DS[5]。與此相對應地,大小調(diào)整處理部217為了生成與第7行的行對應的圖像信號D[7],則需要與第八行~第十行的行對應的攝像信號DS[8]~DS[10]。換言之,大小調(diào)整處理部217生成圖像信號D[1]所需的時長比生成圖像信號D[7]所需的時長更長。
下面,將生成圖像信號D[m]所需的一行或多行的攝像信號DS[p]統(tǒng)稱為攝像信號DGS[m]。
例如,在圖11所示的例子中,生成圖像信號D[1]所需的攝像信號DGS[1]是攝像信號DS[1]~DS[5]的五行量的攝像信號DS[p],生成圖像信號D[7]所需的攝像信號DGS[7]是攝像信號DS[8]~DS[10]的三行量的攝像信號DS[p],生成圖像信號D[12]所需的攝像信號DGS[12]是攝像信號DS[12]~DS[16]的五行量的攝像信號DS[p]。
如上所述,大小調(diào)整處理部217基于攝像信號DS所表示的P行×Q列的圖像數(shù)據(jù),生成在顯示區(qū)域AD顯示的M行×N列的顯示圖像。需要注意的是,大小調(diào)整處理部217在結(jié)束了大小調(diào)整處理并對應每行地生成了圖像信號D時,將所生成的一行量的圖像信號D[m](圖像信號DGA[m])存儲在行緩沖器22中,并輸出表示結(jié)束了圖像信號D[m]在行緩沖器22中的存儲的寫入結(jié)束信號PtA。
<3、圖像信號的輸出>
接著,說明從攝像部10輸出攝像信號DS[p]的輸出定時與從圖像信號生成部20輸出圖像信號D[m]的輸出定時之間的關(guān)系。
圖12是概略示出在連續(xù)的多個攝像垂直掃描期間Fs(Fs0~Fs3)中的攝像垂直掃描期間Fs1~Fs3各自中攝像部10輸出攝像信號DS(DS[1]~DS[P])的定時、圖像處理部21基于該攝像信號DS生成圖像信號D(D[1]~D[M])、即圖像信號DGA(DGA[1]~DGA[M])并將所生成的圖像信號DGA存儲在行緩沖器22中的存儲定時、以及在連續(xù)的多個顯示垂直掃描期間Fd(Fd0~Fd3)中的顯示垂直掃描期間Fd1~Fd3各自中圖像信號輸出部23從行緩沖器22獲取圖像信號D、即圖像信號DGB(DGB[1]~DGB[M])并將其輸出至顯示部40的定時的關(guān)系的時序圖。
需要說明的是,將攝像垂直掃描期間Fs中的、輸出攝像信號DS的期間稱為“攝像信號DS的幀”。并且,將顯示垂直掃描期間Fd中的、可輸出圖像信號D的期間、即垂直有效數(shù)據(jù)期間DVI稱為“圖像信號D的幀”。另外,如圖12所示,將從攝像信號DS的幀開始起到圖像信號D開始為止的時間稱為相位差PD。
在圖12中,為了便于說明,有時會將在攝像垂直掃描期間Fs0~Fs3中輸出的攝像信號DS[p]分別區(qū)分表述為攝像信號DS0[p]~DS3[p]。
并且,如在圖11中所說明的,從在圖像處理部21中生成圖像信號D[1]~D[M]的方面來看,自攝像部10輸出的攝像信號DS[1]~DS[P]是攝像信號DGS[1]~DGS[M]。下面,為便于說明,有時會將在攝像垂直掃描期間Fs0~Fs3中輸出的攝像信號DGS[m]分別區(qū)分表述為攝像信號DGS0[m]~DGS3[m]。
同樣,有時會將基于攝像信號DGS0[m]~DGS3[m]生成的圖像信號D[m](DGA[m]、DGA[m])分別區(qū)分表述為圖像信號D0[m]~D3[m](DGA0[m]~DGA3[m]、DGB0[m]~DGB3[m])。
如上所述,攝像部10按各攝像水平同步信號SHsync以行為單位依次輸出攝像信號DS[1]~DS[P]。并且,當開始了對應于攝像信號DGS[m]的攝像信號DS[p]的供給時,圖像處理部21開始用于生成圖像信號DGA[m]的圖像處理。換言之,圖像處理部21開始用于生成圖像信號DGA[m]的圖像處理的垂直同步期間中的定時根據(jù)所生成的DGA[m]的處理行位置而不同。
在圖12中,用線L1表示攝像部10向圖像處理部21供給攝像信號DGS[1]~DGS[M]的1行單位的輸入定時。換言之,用線L1表示圖像處理部21按每行地依次開始用于生成圖像信號DGA[1]~DGA[M]中各圖像信號的圖像處理的時刻方向上的情形(定時)。
并且,用線L2表示圖像處理部21對圖像信號DGA[1]~DGA[M]的生成結(jié)束并將它們按每行地依次存儲在行緩沖器22中的時刻方向上的情形(定時)。圖像信號輸出部23在圖像信號DGA[m]的生成結(jié)束之后輸出圖像信號DGB[m]。從而,不會在線L2所示的時刻之前的時刻輸出圖像信號DGB[m]。需要注意的是,線L2是連結(jié)圖6中說明過的圖像信號生成時刻TC[1]~TC[M]的線。
并且,用線L3表示在圖像信號輸出部23于對顯示部40而言理想的定時供給圖像信號DGB[1]~DGB[M]時的、即以使顯示部40以能夠顯示的最高幀速率(顯示垂直掃描期間Fd的時長為標準垂直掃描時間Td時的幀速率)進行顯示的方式供給圖像信號DGB[1]~DGB[M]時的、圖像信號輸出部23按每行地依次讀出并輸出圖像信號DGB[1]~DGB[M]的定時。換言之,在假設對應顯示部40可顯示1行量的圖像的每一水平掃描期間Hd,圖像信號輸出部23輸出1行量的圖像信號DGB[m]的情況下,線L3是表示顯示部40在每一水平掃描期間Hd按照行順序讀出并顯示圖像信號DGB[1]~DGB[M]所表示的圖像的定時的線,線L3具有對應每一水平掃描期間Hd增加1行的斜率。即、線L3是設想包含在垂直有效數(shù)據(jù)期間DVI中的水平掃描期間Hd全部都是有效水平掃描期間Hd-A時的線,未必與在設想垂直有效數(shù)據(jù)期間DVI中包含無效水平掃描期間Hd-D的情況下表示以第m-1行的圖像信號D[m-1]的輸出結(jié)束(滿足第二條件)為前提的圖像信號D[m]的輸出時刻的顯示準備判定時刻TB[m]一致。
圖像信號輸出部23在顯示部40可顯示時輸出圖像信號DGB[m]。從而,不會在線L3所表示的時刻之前的時刻讀出并輸出圖像信號DGB[m]。
并且,在圖12中,將用于生成每行的圖像信號DGA[m]的圖像處理所需的時間作為圖像處理時間UA。下面,為了便于說明,有時會將與圖像信號DGA0[m]~DGA3[m]各自對應的圖像處理時間UA區(qū)分表述為圖像處理時間UA0~UA3。
并且,在圖12中,將從圖像信號DGA[m]存儲在行緩沖器22起到由圖像信號輸出部23輸出至顯示部40為止的時間稱為待機時間UB。下面,為了便于說明,有時會將與圖像信號DGB1[m]~DGB3[m]各自對應的待機時間UB區(qū)分表述為待機時間UB1~UB3。
如上所述,攝像信號DS[1]~DS[P]與攝像信號DGS[1]~DGS[M]并不是一一對應的,生成與各行對應的圖像信號D[m]的圖像處理的開始間隔有時會有變化。為此,線L1通常是折線,而并不是直線,但在圖12中,為了圖示方便,畫成了直線。
并且,如上所述,包含在攝像信號DGS[1]~DGS[M]各自中的攝像信號DS[p]的行數(shù)往往會根據(jù)行的位置而不同。換言之,如在圖11中所說明的,圖像處理部21有時會基于由三行量的攝像信號DS[p]構(gòu)成的攝像信號DGS[m]生成圖像信號DGA[m],有時又會基于由五行量的攝像信號DS[p]構(gòu)成的攝像信號DGS[m]生成圖像信號DGA[m],與前者相比,后者的圖像處理時間UA更長。即、用于圖像處理部21生成圖像信號DGA[1]~DGA[M]的圖像處理時間UA通常根據(jù)行的位置而發(fā)生變化。為此,線L2通常是折線,而并不是直線,但在圖12中,為了便于圖示,畫成了直線。
如圖12所示,表示基于在攝像垂直掃描期間Fs1從攝像部10輸出的攝像信號DS1[p](DGS1[m])由圖像處理部21生成圖像信號D1[m](DGA1[m])的時刻的線L2在時間上先于表示在顯示垂直掃描期間Fd1顯示部40可顯示圖像信號D1[m](DGA1[m])所表示的圖像的最早時刻的線L4(將與上述線L3的定義不同的假想的定時作為線L4進行說明)。將這樣的線L2在時間上先于線L3(線L4)的狀態(tài)稱為“第一狀態(tài)”。
即、第一狀態(tài)是指,圖像處理部21基于攝像信號DS[p]生成了圖像信號D[m]時,顯示部40中還沒有做好顯示該圖像信號D[m]所表示的圖像的準備的狀態(tài)。這里,顯示部40中還沒有做好顯示圖像信號D[m]的準備的情況例如是指,當生成了圖像信號D1[m]時,顯示部40正在顯示應在圖像信號D1之前顯示的圖像信號D0所表示的圖像而顯示部40無法顯示圖像信號D1[m]所表示的圖像的情況等。
換言之,在第一狀態(tài)下,即使圖像處理部21生成了圖像信號D[m],但由于用于顯示圖像信號D[m]的顯示部40側(cè)還來不及準備,所以顯示部40側(cè)的顯示準備成為瓶頸,導致成為顯示部40中的圖像的顯示延遲的狀態(tài)。換言之,第一狀態(tài)是指,在顯示部40可顯示圖像信號D[m]的定時,能夠無延遲地快速顯示圖像信號D[m]的狀態(tài)。
但是,顯示部40中顯示一個畫面所需的時間(周期)比攝像部10中拍攝一個畫面所需的時間(周期)短,所以顯示部40側(cè)的顯示準備成為瓶頸的顯示延遲逐漸縮小,直至消失。
在圖12中,為了簡化圖示,作為第一狀態(tài),僅記載了一個攝像垂直掃描期間Fs(Fs1)和一個顯示垂直掃描期間Fd(Fd1)的一組垂直掃描期間,但實際上有時會存在多組垂直掃描期間。這時,第一狀態(tài)中的相位差PD1(作為第一狀態(tài)中的相位差PD,如圖12所示,帶有符號PD1)縮短相當于顯示垂直掃描期間Fd與攝像垂直掃描期間Fs之差的時間。換言之,按每個垂直掃描期間的組,線L3與線L2的距離大致縮短相當于顯示垂直掃描期間Fd與攝像垂直掃描期間Fs之差的時間。
在消除顯示部40側(cè)的顯示準備成為瓶頸的顯示延遲之前,線L2在時間上先于線L3(線L4)。另一方面,當變成消除了顯示準備成為瓶頸的顯示延遲這樣的狀態(tài)時,設想可能變?yōu)殡m然實際并非那樣,但表示在顯示部40側(cè)可顯示圖像的最早時刻的線L4作為假想的狀態(tài)在時間上先于線L2的時機。即、可以理解,在消除顯示準備成為瓶頸的顯示延遲的時機,在假想的狀態(tài)下,可能變?yōu)榫€L2和線L4在最快狀態(tài)下交叉的時機。
需要注意的是,如上所述,線L2有時是折線而不是直線。這時,可以理解,線L2和假想的線L4的交叉有可能出現(xiàn)多次。
在圖12所示的例子中,表示基于在攝像垂直掃描期間Fs2中攝像部10輸出的攝像信號DS2[p](DGS2[m])由圖像處理部21生成圖像信號D2[m](DGA2[m])的時刻的線L2與表示在顯示垂直掃描期間Fd2中顯示部40可顯示圖像信號D2[m](DGA2[m])所表示的圖像的最早時刻的線L4交叉。將這樣的線L2和線L4交叉的狀態(tài)稱為“第二狀態(tài)”。需要注意的是,當線L2和線L4的交叉出現(xiàn)多次時,將最開始出現(xiàn)這樣的交叉的狀態(tài)稱為“第二狀態(tài)”。并且,將線L2和線L4交叉的時刻稱為時刻Tth。需要注意的是,當線L2和線L4的交叉出現(xiàn)多次時,將最開始出現(xiàn)交叉的時刻作為時刻Tth。
即、第二狀態(tài)是指,從圖像處理部21基于攝像信號DS[p]生成了圖像信號D[m]時顯示部40中還沒有做好顯示該圖像信號D[m]所表示的圖像的準備的狀態(tài)(線L2總是在時間上先于線L3的狀態(tài))向存在當顯示部40中變?yōu)榱丝娠@示圖像信號D[m]所表示的圖像時圖像處理部21還沒有結(jié)束用于生成圖像信號D[m]的圖像處理的情況的狀態(tài)(存在線L4在時間上先于線L2的情況的狀態(tài))過渡。
換言之,在時刻Tth之前,第二狀態(tài)是指,在顯示部40可顯示圖像信號D[m]所表示的圖像的定時不會有延遲地顯示圖像信號D[m]所表示的圖像的狀態(tài),另一方面,在時刻Tth之后,第二狀態(tài)是指,即使到達了顯示部40側(cè)可顯示圖像信號D[m]的時刻,但由于用于生成圖像信號D[m]的圖像處理部21中的圖像處理趕不上,所以圖像處理部21的圖像處理成為瓶頸而導致存在顯示部40中的圖像顯示延遲的情況的狀態(tài)。
如圖12所示,該第二狀態(tài)下的相位差PD2(作為第二狀態(tài)下的相位差PD,如圖12所示,帶有符號PD2)比相位差PD1短。
需要注意的是,在時刻Tth之后,定時發(fā)生器32在垂直有效數(shù)據(jù)期間DVI中插入一次無效水平掃描期間Hd-D,從而調(diào)整從圖像信號輸出部23輸出圖像信號D[m]的輸出定時(顯示部40中圖像信號D[m]所表示的圖像的顯示定時)。但是,即使插入了一次無效水平掃描期間Hd-D,但用于生成圖像信號D[m]的圖像處理部21中的圖像處理還是趕不上的情況下,再次重復插入下一無效水平掃描期間Hd-D。之后,等待用于生成圖像信號D[m]的圖像處理結(jié)束,當生成了圖像信號D[m]時,在水平掃描期間Hd以下的時間內(nèi)顯示該圖像信號D[m]所表示的圖像。即、在時刻Tth之后,通過插入無效水平掃描期間Hd-D來調(diào)整從圖像信號輸出部23輸出圖像信號D[m](DGB[m])的輸出定時,從而使顯示部40側(cè)的顯示定時以水平掃描期間Hd的精度追隨圖像處理部21中的圖像處理的結(jié)束定時。
如圖12所示,表示在顯示垂直掃描期間Fd3中顯示部40可顯示圖像信號D3[m](DGA3[m])所表示的圖像的最早時刻的線L4在時間上先于表示基于在攝像垂直掃描期間Fs3中輸出的攝像信號DS3[p](DGS3[m])由圖像處理部21生成圖像信號D3[m](DGA3[m])的時刻的線L2。將這樣的線L4在時間上先于線L2的狀態(tài)稱為“第三狀態(tài)”。換言之,在時刻Tth之后開始的攝像垂直掃描期間Fs以及顯示垂直掃描期間Fd中的狀態(tài)是第三狀態(tài)。
即、第三狀態(tài)是指,在顯示部40完成了顯示圖像信號D[m]所表示的圖像的準備時,圖像處理部21還沒有結(jié)束用于生成圖像信號D[m]的圖像處理的狀態(tài)。
換言之,在第三狀態(tài)下,是即使用于顯示圖像信號D[m]的顯示部40側(cè)的準備完成,但由于用于生成圖像信號D[m]的圖像處理部21中的圖像處理趕不上,所以圖像處理部21的圖像處理成為瓶頸而導致顯示部40中的圖像顯示延遲的狀態(tài)。
如圖12所示,該第三狀態(tài)下的相位差PD3(作為第三狀態(tài)下的相位差PD,如圖12所示,帶有符號PD3)具有相位差PD2以下的長度。需要注意的是,第一狀態(tài)下的相位差PD1大于圖像處理時間UA(更具體而言,圖像處理時間UA[1]~UA[M]的最大值),第三狀態(tài)下的相位差PD3在圖像處理時間UA[1]~UA[M]的最大值以下。
另外,在第三狀態(tài)下,定時發(fā)生器32也在垂直有效數(shù)據(jù)期間DVI中插入無效水平掃描期間Hd-D來調(diào)整顯示部40中顯示圖像信號D[m]所表示的圖像的顯示定時。從而,可以使顯示部40側(cè)的顯示定時以水平掃描期間Hd的精度追隨圖像處理部21中的圖像處理的結(jié)束定時。
如上所述,圖像處理時間UA在每一行之間波動。但是,其變化幅度相比于攝像垂直掃描期間Fs足夠小。為此,在使圖像信號D[m]的輸出定時(顯示部40側(cè)的顯示定時)追隨圖像處理部21中的圖像處理的結(jié)束定時的狀態(tài)下,攝像部10輸出攝像信號DS3的期間的時長與圖像信號輸出部23輸出圖像信號DGB3的期間的時長大致相同。換言之,在第三狀態(tài)下,定時控制部30調(diào)整輸出圖像信號D[m]的定時,以使顯示部40的幀速率為攝像部10的幀速率。
需要注意的是,在圖12中,為了簡化圖示,作為第三狀態(tài),僅記載了一個攝像垂直掃描期間Fs(Fs3)和一個顯示垂直掃描期間Fd(Fd3)的一組垂直掃描期間,但實際上存在多組垂直掃描期間。在第三狀態(tài)下,在多組垂直掃描期間各自中,將輸出圖像信號D[m]的定時調(diào)整為使攝像部10輸出攝像信號DS3的期間的時長與圖像信號輸出部23輸出圖像信號DGB3的期間的時長大致相同。即、在第三狀態(tài)下,在多組垂直掃描期間各自中,將輸出圖像信號D[m]的定時調(diào)整為使顯示部40的幀速率變?yōu)閿z像部10的幀速率。為此,在第三狀態(tài)下,在多組垂直掃描期間各自中,相位差PD3變?yōu)榇笾孪嗤臅r長。
下面,參照圖12以及圖13,以在攝像垂直掃描期間Fs1中攝像部10輸出的攝像信號DS1(DGS1)與在顯示垂直掃描期間Fd1中圖像信號生成部20向顯示部40輸出的圖像信號D1(DGB1)的關(guān)系為例,說明第一狀態(tài)。
圖13是用于說明攝像信號DS1[p](攝像信號DGS1[m])與圖像信號D1[m](圖像信號DGA1[m]以及圖像信號DGB1[m])的關(guān)系的時序圖。
需要注意的是,在圖13和后述的圖14以及圖15中,為了簡化附圖,假設攝像信號DS所表示的圖像的行數(shù)為5行(P=5)、而圖像信號D所表示的圖像的行數(shù)為4行(M=4)的情況。并且,在圖13至圖15所示的例子中,假設攝像信號DGS[1]包括攝像信號DS[1]以及DS[2]、攝像信號DGS[2]包括攝像信號DS[2]以及DS[3]、攝像信號DGS[3]包括攝像信號DS[3]以及DS[4]、而攝像信號DGS[4]包括攝像信號DS[4]以及DS[5]的情況。即、在圖13至圖15所示的例子中,假設圖像信號D[1]基于攝像信號DS[1]以及DS[2]而生成、圖像信號D[2]基于攝像信號DS[2]以及DS[3]而生成、圖像信號D[3]基于攝像信號DS[3]以及DS[4]而生成、圖像信號D[4]基于攝像信號DS[4]以及DS[5]而生成的情況。
如圖13所示,當從攝像部10輸出了攝像信號DS1[m]以及DS1[m+1](簡單地說,開始攝像信號DGS1[m]的輸出)時,圖像處理部21開始基于該攝像信號DGS1[m]生成圖像信號DGA1[m]。而且,圖像處理部21在從開始圖像處理起經(jīng)過了圖像處理時間UA1[m]之后結(jié)束圖像信號DGA1[m]的生成,并將其存儲在行緩沖器22中。
另一方面,圖13所示的例子是上述第一狀態(tài)的例子,線L2在時間上先于線L3。換言之,在圖13所示的例子中,在圖像處理部21結(jié)束了圖像信號DGA1[m]的生成的定時,顯示部40中還沒有做好顯示圖像信號DGB1[m]所表示的圖像的準備。換言之,在圖像處理部21結(jié)束了圖像信號DGA1[m]的生成的定時,尚未從輸出控制部31輸出輸出許可脈沖PL[m]。
為此,圖像信號輸出部23等待待機時間UB1[m]來等待圖像信號DGB1[m]的輸出直至到達輸出輸出許可脈沖PL[m]后的最開始的水平掃描期間Hd1[m],之后,在水平掃描期間Hd1[m]輸出圖像信號DGB1[m]。
并且,圖13中例示的第一狀態(tài)是到圖像處理部21結(jié)束圖像處理為止,顯示部40沒有及時完成顯示準備的情況。換言之,在開始水平掃描期間Hd1[m]之前,圖像處理部21結(jié)束了圖像信號DGA1[m]的生成而成為了可以從圖像信號輸出部23輸出圖像信號DGB1[m]的狀態(tài)。為此,在圖13中例示的第一狀態(tài)下,顯示垂直掃描期間Fd1的垂直有效數(shù)據(jù)期間DVI中包含的所有水平掃描期間Hd是有效水平掃描期間Hd-A。即、在第一狀態(tài)下,顯示垂直掃描期間Fd的時長是標準垂直掃描時間Td。
這樣,在圖13中例示的第一狀態(tài)下,充分且具有余地地結(jié)束了用于生成圖像信號D1的圖像處理,但顯示部40側(cè)的顯示準備成為瓶頸,顯示部40中的顯示延遲。
為此,從攝像部10輸出攝像信號DS1起到顯示部40顯示圖像信號D1所表示的圖像為止的延遲時間△T1是圖像信號生成部20進行圖像處理所需的時間(圖像處理時間UA)和結(jié)束圖像處理后用于等待顯示部40的顯示準備的時間(待機時間UB)的合計時間。
接著,參照圖12以及圖14,以在攝像垂直掃描期間Fs2中攝像部10輸出的攝像信號DS2(DGS2)與在顯示垂直掃描期間Fd2中圖像信號生成部20向顯示部40輸出的圖像信號D2(DGB2)的關(guān)系為例,說明第二狀態(tài)。
圖14是用于說明攝像信號DS2[p](攝像信號DGS2[m])與圖像信號D2[m](圖像信號DGA2[m]以及圖像信號DGB2[m])的關(guān)系的時序圖。
如圖14所示,當從攝像部10輸出了由攝像信號DS2[m]以及DS2[m+1]構(gòu)成的攝像信號(簡單地說,開始DGS2[m]的輸出)時,圖像處理部21開始基于該攝像信號DGS2[m]生成圖像信號DGA2[m]。而且,圖像處理部21在從開始圖像處理起經(jīng)過了圖像處理時間UA2[m]后結(jié)束圖像信號DGA2[m]的生成,并將其存儲在行緩沖器22中。
需要注意的是,在圖14所示的例子中,假設圖像信號D2[1]、D2[2]以及D2[3]是在時刻Tth之前由圖像信號輸出部23輸出的圖像信號D[m]、而圖像信號D2[4]是在時刻Tth之后由圖像信號輸出部23輸出的圖像信號D[m]的情況。
在時刻Tth之前,線L2在時間上先于線L3(線L4)。換言之,在時刻Tth之前,在圖像處理部21結(jié)束了圖像信號DGA2[m]的生成的定時,尚未從輸出控制部31輸出輸出許可脈沖PL[m]。
為此,在時刻Tth之前,圖像信號輸出部23等待待機時間UB2[m]來等待圖像信號DGB2[m]的輸出直至到達輸出輸出許可脈沖PL[m]后的最開始的水平掃描期間Hd2[m],之后,在水平掃描期間Hd2[m]輸出圖像信號DGB2[m]。
在圖14所示的例子中,圖像信號輸出部23在圖像信號DGA2[1]生成之后等待待機時間UB2[1]來等待圖像信號DGB2[1]的輸出,之后,在水平掃描期間Hd2[1]輸出圖像信號DGB2[1]。同樣,圖像信號輸出部23在圖像信號DGA2[2]生成之后等待待機時間UB2[2]來等待圖像信號DGB2[2]的輸出,之后,在水平掃描期間Hd2[2]輸出圖像信號DGB2[2]。
另一方面,在時刻Tth之后,通常線L4在時間上先于線L2。在線L4時間上先于線L2的情況下,當圖像處理部21生成了圖像信號DGA2[m]時,顯示部40可以立即(在緊接著的水平掃描期間Hd)顯示該圖像信號DGB2[m]所表示的圖像。因此,當線L4在時間上先于線L2時,在圖像處理部21結(jié)束了圖像信號DGA2[m]的生成的定時,從輸出控制部31輸出輸出許可脈沖PL[m]。
在圖14所示的例子中,圖像信號輸出部23在圖像信號DGA2[3]被生成且輸出了輸出許可脈沖PL[3]后的最開始的水平掃描期間Hd2[3]輸出圖像信號DGB2[3]。
并且,在該圖所示的例子中,生成圖像信號DGA2[4]是在開始水平掃描期間Hd2[4]之后。為此,圖像信號輸出部23在圖像信號DGA2[4]被生成且輸出了輸出許可脈沖PL[4]后的最開始的水平掃描期間Hd2[5]輸出圖像信號DGB2[4]。另外,定時發(fā)生器32將水平掃描期間Hd2[4]設為無效水平掃描期間Hd-D。
這樣,在圖14所例示的第二狀態(tài)下,在時刻Tth之后產(chǎn)生起因于圖像處理的顯示延遲,所以在顯示垂直掃描期間Fd2的垂直有效數(shù)據(jù)期間DVI中插入無效水平掃描期間Hd-D。換言之,在第二狀態(tài)下,顯示垂直掃描期間Fd的時長是標準垂直掃描時間Td與延長垂直掃描時間Tex的合計。
并且,在時刻Tth之前,從攝像部10輸出攝像信號DS2起到顯示部40顯示圖像信號D2所表示的圖像為止的延遲時間△T2是圖像信號生成部20進行圖像處理所需的時間(圖像處理時間UA)與用于等待顯示部40的顯示準備的時間(待機時間UB)的合計時間,但在時刻Tth之后,當線L4在時間上先于線L2時,變?yōu)橹皇菆D像信號生成部20進行圖像處理所需的時間(圖像處理時間UA)。為此,第二狀態(tài)所涉及的延遲時間△T2比第一狀態(tài)所涉及的延遲時間△T1短。
接著,參照圖12以及圖15,以在攝像垂直掃描期間Fs3中攝像部10輸出的攝像信號DS3(DGS3)與在顯示垂直掃描期間Fd3中圖像信號生成部20向顯示部40輸出的圖像信號D3(DGB3)的關(guān)系為例,說明第三狀態(tài)。
圖15是用于說明攝像信號DS3[p](攝像信號DGS3[m])與圖像信號D3[m](圖像信號DGA3[m]以及圖像信號DGB3[m])的關(guān)系的時序圖。
如圖15所示,當從攝像部10輸出了由攝像信號DS3[m]以及DS3[m+1]構(gòu)成的攝像信號(簡單地說,開始了DGS3[m]的輸出)時,圖像處理部21開始基于該攝像信號DGS3[m]生成圖像信號DGA3[m]。而且,圖像處理部21在開始圖像處理起經(jīng)過了圖像處理時間UA3[m]之后結(jié)束圖像信號DGA3[m]的生成,并將其存儲在行緩沖器22中。
在第三狀態(tài)下,通常線L4在時間上先于線L2。在線L4時間上先于線L2的情況下,當圖像處理部21生成了圖像信號DGA3[m]時,顯示部40可以立即(在緊接著的水平掃描期間Hd)顯示該圖像信號DGB3[m]所表示的圖像。因此,這種情況下,在圖像處理部21結(jié)束了圖像信號DGA3[m]的生成的定時,從輸出控制部31輸出輸出許可脈沖PL[m]。
具體地,在圖15所示的例子中,圖像信號輸出部23在圖像信號DGA3[1]被生成且輸出了輸出許可脈沖PL[1]之后的最開始的水平掃描期間Hd3[3]輸出圖像信號DGB3[1],在圖像信號DGA3[2]被生成且輸出了輸出許可脈沖PL[2]之后的最開始的水平掃描期間Hd3[5]輸出圖像信號DGB3[2],在圖像信號DGA3[3]被生成且輸出了輸出許可脈沖PL[3]之后的最開始的水平掃描期間Hd3[7]輸出圖像信號DGB3[3],并且,在圖像信號DGA3[4]被生成且輸出了輸出許可脈沖PL[4]之后的最開始的水平掃描期間Hd3[9]輸出圖像信號DGB3[4]。
需要注意的是,這時,雖然開始了顯示垂直掃描期間Fd1的垂直有效數(shù)據(jù)期間DVI,但因為尚未輸出輸出許可脈沖PL[1],所以在水平掃描期間Hd3[1]、Hd3[2],定時發(fā)生器32進行輸出無效水平掃描期間Hd-D的處理,同樣地,在Hd3[4]、Hd3[6]以及Hd3[8],定時發(fā)生器32進行輸出無效水平掃描期間Hd-D的處理。
這樣,在圖15所例示的第三狀態(tài)下,由于發(fā)生了起因于圖像處理的顯示延遲,所以在顯示垂直掃描期間Fd3的垂直有效數(shù)據(jù)期間DVI中插入無效水平掃描期間Hd-D。其結(jié)果,在第三狀態(tài)下,顯示垂直掃描期間Fd的時長以水平掃描期間Hd的精度得到調(diào)整,從而使顯示部40能夠與在攝像垂直掃描期間Fs輸出的攝像信號DS同步地進行顯示。換言之,在第三狀態(tài)下,大致地說,顯示垂直掃描期間Fd被調(diào)整為與攝像垂直掃描期間Fs大致相同的時間。
并且,在第三狀態(tài)下,當線L4在時間上先于線L2時,在圖像處理部21生成了圖像信號D[m]之后的最開始的水平掃描期間Hd,顯示部40顯示圖像信號D[m]所表示的圖像。為此,從攝像部10輸出攝像信號DS3起到顯示部40顯示圖像信號D3所表示的圖像為止的延遲時間△T3與圖像信號生成部20進行圖像處理所需的時間(圖像處理時間UA)大致相同。具體地,在第三狀態(tài)下,使得從攝像部10開始攝像信號DS[p]的輸出起到顯示部40開始圖像信號D[m]所表示的圖像的顯示為止的延遲時間△T3與圖像處理部21生成圖像信號D[m]所需的圖像處理時間UA以水平掃描期間Hd的精度相等。
為此,在第三狀態(tài)下,能夠使從攝像部10進行拍攝起到顯示部40進行顯示為止的延遲以水平掃描期間Hd的精度最小化。這時,延遲時間△T3比第一狀態(tài)所涉及的延遲時間△T1短,而且,小于等于第二狀態(tài)所涉及的延遲時間△T2。
并且,如上所述,在顯示部40顯示一個畫面所需的時間(周期)比攝像部10拍攝一個畫面所需的時間(周期)短。為此,即使在攝像顯示裝置1以第一狀態(tài)進行動作而發(fā)生了顯示部40側(cè)的顯示準備成為瓶頸的顯示延遲時,也可以在每個攝像垂直掃描期間Fs逐漸縮小該顯示延遲。
換言之,即使攝像顯示裝置1最初以第一狀態(tài)進行動作時,最終也會轉(zhuǎn)入第三狀態(tài)下的動作,并在開始了第三狀態(tài)下的動作之后,能夠維持第三狀態(tài)下的動作。其結(jié)果,能夠使顯示部40側(cè)的顯示定時以水平掃描期間Hd的精度追隨圖像處理部21的圖像處理的結(jié)束定時。
為此,當攝像顯示裝置1開始了實時取景模式下的動作時,除了剛剛開始實時取景模式下的動作時以外,均能夠使從攝像部10進行拍攝起到在顯示部40顯示圖像為止的延遲時間維持為最小化的狀態(tài)。
<4、第一實施方式的效果>
在根據(jù)本實施方式的攝像顯示裝置1中,當滿足了第一條件以及第二條件時從圖像信號輸出部23輸出圖像信號D[m],而當不滿足第一條件或者第二條件時,通過插入無效水平掃描期間Hd-D來以水平掃描期間Hd的精度調(diào)整從圖像信號輸出部23輸出圖像信號D[m]的輸出定時。即、在根據(jù)本實施方式的攝像顯示裝置1中,在圖像處理部21生成了圖像信號D[m]之后的最開始的水平掃描期間Hd,顯示部40能夠顯示圖像信號D[m]所表示的圖像。從而,能夠以水平掃描期間Hd的精度使從攝像部10進行拍攝起到顯示部40進行顯示為止的延遲最小化。
并且,在根據(jù)本實施方式的攝像顯示裝置1中,通過在垂直有效數(shù)據(jù)期間DVI中插入無效水平掃描期間Hd-D,從而使得顯示垂直掃描期間Fd的時長可變,并且,能夠維持與攝像垂直掃描期間Fs的時長大致相同的狀態(tài)。為此,可以實現(xiàn)抑制了顯示的閃爍等的高品質(zhì)的顯示。
<B、第二實施方式>
在上述第一實施方式中,如圖6所示,通過在垂直有效數(shù)據(jù)期間DVI中插入無效水平掃描期間Hd-D來以水平掃描期間Hd的精度調(diào)整圖像信號D[m]的輸出定時,并且,使水平掃描期間Hd的時長為固定長度。
相對于此,在根據(jù)第二實施方式的攝像顯示裝置中,與根據(jù)第一實施方式的攝像顯示裝置1的區(qū)別點在于,使水平掃描期間Hd的時長為可變長度,例如以顯示點時鐘信號DCLK的周期調(diào)整圖像信號D[m]的輸出定時。
下面,參照圖16至圖18,說明根據(jù)第二實施方式的攝像顯示裝置。需要注意的是,對于在下面例示的第二實施方式中作用或功能與第一實施方式相同的部分,沿用在上述說明中參照的符號,并適當省略各自的詳細說明(下面說明的變形例也是同樣)。
圖16是用于說明根據(jù)第二實施方式的攝像顯示裝置所具備的定時控制部30(輸出控制部31以及定時發(fā)生器32)生成的輸出控制信號CTR、使能信號DEnb和顯示水平同步信號DHsync2的關(guān)系的說明圖。
在根據(jù)第二實施方式的攝像顯示裝置所具備的定時控制部30中,定時發(fā)生器32生成具有可變周期的水平同步脈沖PlsH的顯示水平同步信號DHsync2,以此代替顯示水平同步信號DHsync,并且,生成具有可變周期的垂直同步脈沖PlsV的顯示垂直同步信號DVsync2,以此代替顯示垂直同步信號DVsync,至于其它構(gòu)成,均與根據(jù)第一實施方式的攝像顯示裝置1(參照圖6)相同。
如圖16所示,與第一實施方式同樣,根據(jù)第二實施方式的輸出控制部31在圖像處理判定時刻TA[m]以及顯示準備判定時刻TB[m]中的較晚一方的時刻(本圖中,采用了上述第二方式,所以是圖像處理判定時刻TA[m])向輸出控制信號CTR設定輸出許可脈沖PL[m]。
并且,如圖16所示,根據(jù)第二實施方式的定時發(fā)生器32在從輸出控制部31輸出的輸出控制信號CTR被設定為輸出許可脈沖PL[m]的定時起經(jīng)過了固定時長的基準前沿時間TP之后,輸出水平同步脈沖PlsH作為顯示水平同步信號DHsync2。
為此,當在顯示準備判定時刻TB[m]之前結(jié)束了圖像信號D[m]的生成、且經(jīng)過了圖像信號生成時刻TC[m]時(情形-1),水平前沿期間DHf的時長為基準前沿時間TP。
另一方面,當在顯示準備判定時刻TB[m]之前尚未結(jié)束圖像信號D[m]的生成時,即、當在顯示準備判定時刻TB[m]之后才到達圖像信號生成時刻TC[m]時(情形-2),水平前沿期間DHf的時長是基準前沿時間TP和延長前沿時間TPX的合計值,該延長前沿時間TPX是從顯示準備判定時刻TB[m]起到圖像信號生成時刻TC[m](圖像處理判定時刻TA[m])為止的時長。
這樣,根據(jù)第二實施方式的定時發(fā)生器32等待輸出控制部31判斷為完成了圖像信號D[m]的輸出準備且輸出作為輸出控制信號CTR的輸出許可脈沖PL[m],在從輸出了輸出許可脈沖PL[m]起僅經(jīng)過了基準前沿時間TP之后,開始水平掃描期間Hd[m]。換言之,根據(jù)第二實施方式的定時發(fā)生器32將水平前沿期間DHf延長至完成圖像信號D[m]的輸出準備為止。
為此,例如即使圖像處理部21中的圖像信號D[m]的圖像處理延遲時,圖像信號輸出部23也可以在水平掃描期間Hd[m]輸出圖像信號D[m]。這時,能夠以顯示點時鐘信號DCLK的精度將從攝像部10輸出攝像信號DGS[m]起到顯示部40顯示基于圖像信號D[m]的圖像為止的延遲時間最小化。
圖17是用于說明達到消除顯示部40中的顯示準備成為瓶頸的顯示延遲的狀態(tài)(即、圖14中說明的第二狀態(tài))下的、根據(jù)第二實施方式的攝像顯示裝置的動作的時序圖。并且,圖18是用于說明圖像處理部21的圖像處理成為瓶頸而導致顯示出現(xiàn)延遲的狀態(tài)(即、圖15中說明的第三狀態(tài))下的、根據(jù)第二實施方式的攝像顯示裝置的動作的時序圖。需要注意的是,在圖17以及圖18中沿用在圖12至圖15中說明過的符號。
在圖17中,例如在水平掃描期間Hd2[2]中的使能信號DEnb的下降沿的定時之前生成圖像信號DGA2[3]。為此,在水平掃描期間Hd2[2]中的使能信號DEnb的下降沿的定時輸出輸出許可脈沖PL[3]。這時,水平掃描期間Hd2[2]的水平前沿期間DHf的時長是基準前沿時間TP。
另一方面,在該圖所示的例子中,生成圖像信號DGA2[4]的定時在水平掃描期間Hd2[3]中的使能信號DEnb的下降沿的定時之后。為此,在生成圖像信號DGA2[4]的定時輸出輸出許可脈沖PL[4]。這時,水平掃描期間Hd2[3]的水平前沿期間DHf的時長是基準前沿時間TP與延長前沿時間TPX(從水平掃描期間Hd2[3]中的使能信號DEnb的下降沿的定時起到輸出輸出許可脈沖PL[4]為止的時間)的合計時長。即、在消除顯示部40中的顯示準備成為瓶頸的顯示延遲的時刻Tth之后,根據(jù)圖像處理的情況延長水平掃描期間Hd。
并且,在圖18中,生成圖像信號DGA3[m]的定時在水平掃描期間Hd3[m-1]中的使能信號DEnb的下降沿的定時之后。為此,在生成圖像信號DGA3[m]的定時輸出輸出許可脈沖PL[m]。這時,水平掃描期間Hd3[m]的水平前沿期間DHf的時長是基準前沿時間TP與延長前沿時間TPX(從水平掃描期間Hd3[m]中的使能信號DEnb的下降沿的定時起到輸出輸出許可脈沖PL[m]為止的時間)的合計時長。即、在圖像處理部21的圖像處理成為瓶頸而顯示出現(xiàn)延遲的狀態(tài)(第三狀態(tài))下,根據(jù)圖像處理的情況延長水平掃描期間Hd。
需要注意的是,由圖17和圖18明顯可知,在第二實施方式中不存在無效水平掃描期間Hd-D,所有的水平掃描期間Hd均是有效水平掃描期間Hd-A。
并且,在第二實施方式中,水平掃描期間Hd例如以顯示點時鐘信號DCLK為單位是可變的,所以顯示垂直掃描期間Fd也具有可變時長。
<C、變形例>
以上的各方式可以有各種變形。下面例示具體的變形方式。在不沖突的范圍內(nèi)可以適當合并從下面的示例中任意選擇的兩個以上的方式。另外,在下面說明的變形例中,為了避免重復說明,對于與上述的本發(fā)明的實施方式的共同點省略其說明。
<變形例1>
在上述實施方式中例示了顯示部40具備液晶面板42的情況,但本發(fā)明并不限定于這樣的方式,還可以采用OLED(organic light emitting diode:有機發(fā)光二極管)面板、等離子體顯示面板等顯示元件。
<變形例2>
在上述實施方式及變形例中,圖像處理電路100與顯示部40之間的數(shù)據(jù)傳送通過并行接口進行,但也可以通過低電壓差分信號(LVDS)的串行接口來進行。
<變形例3>
在上述實施方式以及變形例中,通過攝像垂直同步信號SVsync規(guī)定的攝像垂直掃描期間Fs具有大于等于通過顯示垂直同步信號DVsync(或者DVsync2)規(guī)定的顯示垂直掃描期間Fd的時長,但本發(fā)明并不限定于這樣的方式,攝像垂直掃描期間Fs也可以具有比顯示垂直掃描期間Fd短的時長。
<變形例4>
在上述實施方式以及變形例中,輸出控制部31基于圖像處理部21輸出的寫入結(jié)束信號PtA和圖像信號輸出部23輸出的輸出結(jié)束信號PtB判斷是否完成了輸出圖像信號D[m]的準備,但本發(fā)明并不限定于這樣的方式,也可以是,輸出控制部31周期性地參照行緩沖器22,從而判斷行緩沖器22中的圖像信號D[m]的記錄、以及從行緩沖器22中的圖像信號D[m-1]的讀出,由此判斷是否完成了輸出圖像信號D[m]的準備。
<變形例5>
在上述實施方式及變形例中,攝像顯示裝置1內(nèi)置有顯示部40,但本發(fā)明并不限定于這樣的方式,也可以構(gòu)成為將顯示部40連接于數(shù)碼相機的外部的取景器(顯示裝置)等。
<D、適用例>
上述各方式中例示的攝像顯示裝置1可利用于各種電子設備中。例如,攝像顯示裝置1也可以構(gòu)成為投影儀裝置、HUD(平視顯示器)、HMD(頭戴式顯示器)等電子設備(顯示裝置)等。并且,如果是進行實時取景的顯示裝置的話,也可以適用于例如電子雙眼望遠鏡、電子眼鏡、電子顯微鏡、醫(yī)用電子眼鏡的取景器、車載倒車監(jiān)視器、車載側(cè)視鏡的監(jiān)視器等,能夠降低從拍攝到顯示的延遲。而且,在顯示裝置的方式上,并不是一定要具備攝像部10。即、可以將被供給攝像信號DS的圖像處理電路100以及顯示部40作為顯示裝置。
附圖標記說明
1……攝像顯示裝置、10……攝像部、11……攝像光學系統(tǒng)、12……圖像傳感器、13……定時發(fā)生器、20……圖像信號生成部、21……圖像處理部、22……行緩沖器、23……圖像信號輸出部、30……定時控制部、31……輸出控制部、32……定時發(fā)生器、33……參數(shù)發(fā)送部、40……顯示部、41……EVF控制器、42……液晶面板、50……CPU、60……操作部、100……圖像處理電路。