專利名稱：圖像處理的方法、裝置以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理的方法、裝置及程序。更具體地，本發(fā)明涉及圖像處理的方法、裝置及程序，利用它們，在圖像被輸出之前，基于運(yùn)動(dòng)量在每個(gè)預(yù)定大小的塊中對(duì)圖像的分辨率進(jìn)行轉(zhuǎn)換。
背景技術(shù)：
近來，數(shù)碼攝像機(jī)經(jīng)常包括其分辨率比用于記錄運(yùn)動(dòng)圖像的分辨率更高的成像設(shè)備，主要是用于捕獲高清晰度的靜止圖像。在這種數(shù)碼攝像機(jī)中，當(dāng)記錄運(yùn)動(dòng)圖像時(shí)，需要將成像分辨率轉(zhuǎn)換為記錄分辨率，即降低了分辨率。
至于用于降低諸如電荷耦合器件(CCD)成像設(shè)備或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)成像設(shè)備之類的固態(tài)成像設(shè)備中分辨率的方法，例如已知有在日本待審查專利申請(qǐng)公開No.11-331706和日本待審查專利申請(qǐng)公開No.2003-78919中所公開的通過控制驅(qū)動(dòng)方法來抽取(decimate)用于讀取的成像像素的方法和累計(jì)多個(gè)用于讀取的像素的信號(hào)的方法。
已知當(dāng)CCD成像設(shè)備或CMOS成像設(shè)備被高速驅(qū)動(dòng)時(shí)，這些設(shè)備允許以較高的幀速率成像。
至于用于允許顯示屏上所顯示圖像的觀察者以超過該圖像實(shí)際分辨率的分辨率感知該圖像的方法，根據(jù)日本待審查專利申請(qǐng)公開No.6-18836中所公開的第一方法，多個(gè)液晶顯示單元被用到，并且在利用半透明鏡等光學(xué)上移動(dòng)位置的同時(shí)，圖像被組合。根據(jù)日本待審查專利申請(qǐng)公開No.6-324320中所公開的第二方法，進(jìn)行了所謂的擺動(dòng)，即來自液晶顯示單元的光的光軸光學(xué)上被振動(dòng)以移動(dòng)像素位置。觀察者感知到的圖像分辨率超過該圖像實(shí)際分辨率的現(xiàn)象以下將稱之為超分辨率效應(yīng)。
但是，通過抽取來轉(zhuǎn)換分辨率會(huì)造成采樣速率的降低，從而造成混疊(aliasing)現(xiàn)象，以致運(yùn)動(dòng)圖像的質(zhì)量變差。而且，通過累計(jì)像素信號(hào)來轉(zhuǎn)換分辨率會(huì)由于輸出分辨率而限制了分辨率。
至于前面提到的第一方法，為了實(shí)現(xiàn)高分辨率，需要多個(gè)顯示單元和用于組合從該多個(gè)顯示單元所輸出的光的光學(xué)元件。這樣，裝置的成本高，結(jié)構(gòu)復(fù)雜，并且阻礙了實(shí)現(xiàn)緊湊的設(shè)計(jì)。
至于前面提到的第二方法，為了實(shí)現(xiàn)高分辨率，需要用于光學(xué)上移動(dòng)光軸的光學(xué)元件。由于用于擺動(dòng)的光學(xué)元件，這導(dǎo)致成本增加，并需要復(fù)雜的驅(qū)動(dòng)方法。

發(fā)明內(nèi)容
鑒于上述情形，已經(jīng)完成了本發(fā)明。根據(jù)本發(fā)明，當(dāng)輸出運(yùn)動(dòng)圖像時(shí)，通過進(jìn)行自適應(yīng)圖像處理，有可能將輸入圖像轉(zhuǎn)換為輸出圖像，使得輸出圖像的觀察者不會(huì)感知到由于分辨率減小而引起圖像質(zhì)量的變差。
根據(jù)本發(fā)明的一方面，提供了一種圖像處理方法。該圖像處理方法包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將圖像輸入步驟中輸入的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有第二分辨率的圖像信號(hào)的圖像。所述分辨率轉(zhuǎn)換步驟檢測(cè)在對(duì)應(yīng)于圖像輸入步驟中輸入的圖像信號(hào)的圖像至少部分區(qū)域中的運(yùn)動(dòng)量，并基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
根據(jù)本發(fā)明的另一方面，提供了一種圖像處理方法。該圖像處理方法包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將圖像輸入步驟中獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有第二分辨率的圖像信號(hào)的圖像。所述分辨率轉(zhuǎn)換步驟將在圖像輸入步驟中獲得的圖像信號(hào)分割成多個(gè)區(qū)域，檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量，并基于所檢測(cè)到的運(yùn)動(dòng)量為各個(gè)區(qū)域設(shè)定空間抽取量，其中在基于為各個(gè)區(qū)域所設(shè)定的空間抽取量而將空間抽取作用到各個(gè)區(qū)域之前，所述分辨率轉(zhuǎn)換步驟將空間濾波作用到圖像輸入步驟中獲得的圖像信號(hào)的各個(gè)區(qū)域上。
根據(jù)本發(fā)明的另一方面，提供了一種圖像處理裝置。該圖像處理裝置包括圖像輸入單元，用于輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換單元，用于將由圖像輸入單元獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出單元，用于以預(yù)定幀速率輸出具有第二分辨率的圖像信號(hào)。所述分辨率轉(zhuǎn)換單元包括運(yùn)動(dòng)量檢測(cè)器和分辨率轉(zhuǎn)換器，所述運(yùn)動(dòng)量檢測(cè)器用于檢測(cè)在對(duì)應(yīng)于由圖像輸入單元所獲得的圖像信號(hào)的圖像至少部分區(qū)域中的運(yùn)動(dòng)量，所述分辨率轉(zhuǎn)換器用于基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
根據(jù)本發(fā)明的另一方面，提供了一種圖像處理裝置。該圖像處理裝置包括圖像輸入單元，用于輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換單元，用于將由圖像輸入單元獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出單元，用于以預(yù)定幀速率輸出具有第二分辨率的圖像信號(hào)。所述分辨率轉(zhuǎn)換單元包括運(yùn)動(dòng)量檢測(cè)器和分辨率轉(zhuǎn)換器，所述運(yùn)動(dòng)量檢測(cè)器用于將由圖像輸入單元獲得的圖像信號(hào)分割成多個(gè)區(qū)域，并檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量，所述分辨率轉(zhuǎn)換器用于基于所檢測(cè)到的運(yùn)動(dòng)量為各個(gè)區(qū)域設(shè)定空間抽取量，并且在基于為各個(gè)區(qū)域所設(shè)定的空間抽取量而將空間抽取作用到各個(gè)區(qū)域之前，將空間濾波作用到由圖像輸入單元獲得的圖像信號(hào)的各個(gè)區(qū)域上。
根據(jù)本發(fā)明的另一方面，提供了一種成像程序。該成像程序包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將圖像輸入步驟中輸入的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有第二分辨率的圖像信號(hào)的圖像。所述分辨率轉(zhuǎn)換步驟檢測(cè)在對(duì)應(yīng)于圖像輸入步驟中輸入的圖像信號(hào)的圖像至少部分區(qū)域中的運(yùn)動(dòng)量，并基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
根據(jù)本發(fā)明，可以將所捕獲的圖像轉(zhuǎn)換為輸出圖像，使得被再現(xiàn)的輸出圖像的觀察者被允許感知到其分辨率超過最大輸出分辨率的輸出圖像。


圖1是解釋Bloch法則的示意圖；圖2A-2C是解釋分辨率轉(zhuǎn)換原理的示意圖；圖3是解釋采樣位置的示意圖；圖4是解釋混疊分量的示意圖；圖5是解釋混疊分量相位中的變化的示意圖；圖6是解釋混疊分量相位中的變化的另一幅示意圖；圖7是解釋混疊分量相位中的變化的另一幅示意圖；圖8是解釋混疊分量相位中的變化的另一幅示意圖；圖9是解釋混疊分量相位中的變化的另一幅圖；圖10是解釋混疊分量的相位旋轉(zhuǎn)間隔的示意圖；圖11是解釋混疊分量的相位旋轉(zhuǎn)間隔的另一幅示意圖；圖12是解釋混疊分量的另一幅示意圖；圖13是解釋混疊分量的相位旋轉(zhuǎn)間隔的另一幅示意圖；圖14是解釋可實(shí)現(xiàn)超分辨率效應(yīng)的混疊分量相位的示意圖；圖15是表示其中沒有實(shí)現(xiàn)超分辨率效應(yīng)的速度范圍的示意圖；圖16是表示其中沒有實(shí)現(xiàn)超分辨率效應(yīng)的速度范圍的另一幅示意圖；圖17是表示其中沒有實(shí)現(xiàn)超分辨率效應(yīng)的速度范圍的另一幅示意圖；圖18A和18B是表示根據(jù)本發(fā)明實(shí)施例的成像設(shè)備和圖像顯示設(shè)備的示例性結(jié)構(gòu)的示意圖；圖19是表示圖18A和18B中所示運(yùn)動(dòng)量檢測(cè)器和分辨率轉(zhuǎn)換器的結(jié)構(gòu)示例性的方框圖；圖20是解釋圖18A和18B中所示的分辨率轉(zhuǎn)換器的操作的示意圖；圖21是表示在沒有實(shí)現(xiàn)超分辨率效應(yīng)的情況下圖像的運(yùn)動(dòng)速度和抽取量之間關(guān)系的示意圖；圖22是表示在沒有實(shí)現(xiàn)超分辨率效應(yīng)的情況下圖像的運(yùn)動(dòng)速度和抽取量之間關(guān)系的另一幅示意圖；
圖23是表示圖19中所示的圖像轉(zhuǎn)換器的操作的流程圖；圖24A和24B是表示根據(jù)本發(fā)明另一實(shí)施例的成像設(shè)備和圖像顯示設(shè)備的示例性結(jié)構(gòu)的方框圖；圖25是表示個(gè)人計(jì)算機(jī)的示例性結(jié)構(gòu)的方框圖。
具體實(shí)施例方式
現(xiàn)在將描述本發(fā)明的實(shí)施例。在本說明書中所描述的本發(fā)明的各個(gè)方面對(duì)應(yīng)于例如以下描述的本發(fā)明的多個(gè)實(shí)施例。
該描述意在確保本說明書中描述了支持本說明書中所描述的本發(fā)明各個(gè)方面的實(shí)施例。
這樣，即使下面描述中的實(shí)施例沒有被描述為涉及本發(fā)明的一個(gè)方面，但并不意味著該實(shí)施例沒有涉及本發(fā)明的這個(gè)方面。
相反，即使這里描述的實(shí)施例涉及本發(fā)明的一方面，但并不意味著該實(shí)施例沒有涉及本發(fā)明的其他方面。
而且，該描述沒有表示本說明書中描述了本發(fā)明所有的方面。也就是說，該描述沒有否定本發(fā)明存在在本申請(qǐng)文件中沒有要求保護(hù)的方面，即本發(fā)明存在可以通過分案申請(qǐng)而遞交的方面，或者可以通過修改給出或添加的方面。
在根據(jù)本發(fā)明實(shí)施例的成像設(shè)備中，通過成像所捕獲的運(yùn)動(dòng)圖像在被輸出之前被轉(zhuǎn)換為具有輸出分辨率的圖像。此時(shí)，利用基于某種視覺特性的超分辨率效應(yīng)來轉(zhuǎn)換分辨率，使得觀察者將不會(huì)感知到由于分辨率的轉(zhuǎn)換而引起的圖像質(zhì)量的變差。
在根據(jù)本發(fā)明實(shí)施例的圖像顯示設(shè)備中，輸入圖像被轉(zhuǎn)換為其分辨率比該輸入圖像的分辨率更低的顯示圖像，并且顯示該顯示圖像。此時(shí)，基于某種視覺特性來轉(zhuǎn)換分辨率，使得觀察者感知到的圖像的分辨率超過了顯示圖像的分辨率，即實(shí)現(xiàn)了超分辨率效應(yīng)。
首先，將描述視覺特性和超分辨率效應(yīng)。
人的視覺具有當(dāng)所接收的光學(xué)刺激總和已達(dá)到某個(gè)閾值時(shí)即能感知到光的功能(以下稱之為時(shí)域綜合功能(temporal integration function))。也就是說，光學(xué)感知基于光的時(shí)域綜合之和，而與光學(xué)刺激在提供該光學(xué)刺激的時(shí)段中的分布無關(guān)。隨著刺激提供的時(shí)段變得更長(zhǎng)，光學(xué)感知成為可能的刺激閾值下降，并且該閾值隨著提供時(shí)間變短而增加。
這種關(guān)系被稱為“Bloch法則”，并且下面的方程式成立，其中I指代刺激的閾值強(qiáng)度，T指代刺激提供的時(shí)間，k為常數(shù)。
I×T＝k這種關(guān)系也可以表達(dá)為如圖1中所示，其中水平軸代表刺激提供的時(shí)間T，豎直軸代表閾值強(qiáng)度I。圖1中所示的曲線被稱為閾值-提供時(shí)間曲線。
根據(jù)圖1中所示的閾值-提供時(shí)間曲線，當(dāng)強(qiáng)度為Ia、光脈沖提供時(shí)間為Ta時(shí)，人所感知到的亮度與當(dāng)強(qiáng)度Ib為Ia/n、光持續(xù)提供時(shí)間Tb是Ta的n倍長(zhǎng)時(shí)所感知到的亮度相同。
雖然Bloch法則直到刺激提供時(shí)間高達(dá)某個(gè)時(shí)間(圖1所示實(shí)例中的時(shí)間TL)處成立(如向右下降的直線到時(shí)間TL為止所表示的)，但是時(shí)間TL之后，該閾值僅取決于刺激的強(qiáng)度(即閾值不會(huì)隨提供時(shí)間而變化)。這樣，閾值-提供時(shí)間曲線呈現(xiàn)出由彎折的直線表示的特性。
Bloch法則適用的最大刺激提供時(shí)間TL被稱之為臨界提供時(shí)間。
時(shí)間TL根據(jù)提供刺激的條件而變化(例如背景光的強(qiáng)度)，但據(jù)報(bào)道是在25-100ms的量級(jí)。
Bloch法則例如在“Shikaku jouhoushori handobukku”，the VisionSociety of Japan，pp.219-220中有詳細(xì)的描述。
人的視覺還具有一旦感知到刺激即將該刺激保持某個(gè)時(shí)段的功能，甚至在已經(jīng)結(jié)束了提供該刺激之后(以下稱之為感知記憶功能)。許多報(bào)道證實(shí)了保持刺激的時(shí)間是在10-200ms量級(jí)。該功能也被稱為映象記憶或視覺持續(xù)，例如在“Shikaku jouhoushori handobukku”，the Vision Societyof Japan，pp.229-230中有所描述。
接下來將描述基于視覺特性而實(shí)現(xiàn)的超分辨率效應(yīng)。
在這個(gè)實(shí)施例中，超分辨率效應(yīng)基于觀察者感知到某個(gè)時(shí)段內(nèi)多個(gè)圖像總和的視覺特性。這可以被認(rèn)為是由于上述時(shí)域綜合功能和感知記憶功能之間的復(fù)雜關(guān)系。但是，在下面的描述中，這被認(rèn)為是由于時(shí)域綜合功能。
例如，如圖2A所示，當(dāng)以預(yù)定的幀速率(以下稱之為輸入圖像幀速率)和預(yù)定的采樣速率(以下稱之為輸入圖像采樣速率)對(duì)水平運(yùn)動(dòng)的物體成像時(shí)，獲得其中物體圖像Wa如圖2A所示的、以速度v(像素/幀)(在X軸的方向上)向右運(yùn)動(dòng)的輸入幀F(xiàn)a。圖2A示出了4個(gè)連續(xù)的輸入幀F(xiàn)a1-Fa4。
輸入幀F(xiàn)a被相對(duì)于X軸方向(即物體圖像Wa的運(yùn)動(dòng)方向)以輸入圖像采樣速率1/m的采樣速率(以下稱之為顯示圖像采樣速率)采樣。也就是說，輸入幀F(xiàn)a以抽取數(shù)m而被抽取。在圖2A所示的實(shí)例中，由于輸入幀F(xiàn)a以抽取數(shù)為4被抽取，所以獲得了其相對(duì)于X軸方向的分辨率減小到1/4(即相對(duì)于X軸方向更粗糙，或者圖像質(zhì)量變差)的顯示幀F(xiàn)b，如圖2B所示。顯示幀F(xiàn)b包括以抽取數(shù)為4抽取輸入幀F(xiàn)a的物體圖像Wa而獲得的圖像(以下稱之為顯示物體圖像Wb)。
然后顯示幀F(xiàn)b被以預(yù)定的幀速率(以下稱之為顯示圖像幀速率)顯示。這樣，觀察者感知到通過將在前述時(shí)域綜合功能的綜合時(shí)段中所顯示的多個(gè)顯示幀F(xiàn)b進(jìn)行綜合而獲得的圖像。
這里假定觀察者的視覺追蹤在顯示幀F(xiàn)b中的顯示物體圖像Wb。在這種情況下，由于觀察者的視點(diǎn)保持定位在顯示物體圖像Wb的中心，所以觀察者視網(wǎng)膜上的顯示物體圖像Wb基本是靜止的。
在圖2B中，坐標(biāo)軸Vx和Vy代表視網(wǎng)膜上的坐標(biāo)，坐標(biāo)軸X和Y代表幀上的坐標(biāo)。(二者都表示在圖2B的顯示幀F(xiàn)b1上，但沒有表示在顯示幀F(xiàn)b2-Fb4上)。由于真實(shí)圖像的倒像形成在視網(wǎng)膜上，所以由坐標(biāo)軸Vx和Vy所定義的坐標(biāo)系的指向與由坐標(biāo)軸X和Y所定義的坐標(biāo)系的指向相反。
如圖3中的虛線所指示的，顯示幀F(xiàn)b在幀的預(yù)定位置處被采樣，在這個(gè)實(shí)例中，每間隔4個(gè)像素被采樣。這樣，當(dāng)運(yùn)動(dòng)量不是采樣間隔的整數(shù)倍時(shí)，物體圖像Wa的被采樣位置每幀會(huì)移動(dòng)v，使得顯示幀F(xiàn)b中的顯示物體圖像Wb由物體圖像Wa的與采樣位置移動(dòng)一致的部分形成。
例如，當(dāng)物體圖像Wa的運(yùn)動(dòng)速度v為1像素/幀時(shí)，幀與幀之間的運(yùn)動(dòng)量(即1個(gè)像素)不是采樣間隔(即4個(gè)像素)的倍數(shù)，使得物體圖像Wa的被采樣位置相對(duì)于X軸方向移動(dòng)1個(gè)像素。這樣，在這種情況下，顯示幀F(xiàn)b的顯示物體圖像Wb由物體圖像Wa的與該移動(dòng)一致的部分形成。
當(dāng)顯示物體圖像Wb由物體圖像Wa的與采樣位置移動(dòng)一致的部分形成時(shí)，多個(gè)幀上的顯示物體圖像Wb被視覺綜合，由此感知到比顯示物體圖像Wb具有更多像素的圖像，即比顯示物體圖像Wb具有更高的分辨率(以下稱之為超分辨率)。
例如，視覺特性的綜合時(shí)間對(duì)應(yīng)圖2B的4個(gè)顯示幀F(xiàn)b的顯示時(shí)段，使得顯示幀F(xiàn)b1-Fb4的4個(gè)顯示物體圖像Wb被綜合，并感知到分辨率接近于顯示物體圖像Wb分辨率的4倍的圖像，即其分辨率基本等于物體圖像Wa的分辨率，如圖2C所示。
通過上述原理實(shí)現(xiàn)了超分辨率效應(yīng)。但是，抽取造成混疊分量，而它們又轉(zhuǎn)化為混疊噪聲，從而造成圖像質(zhì)量的變差。
本實(shí)施例試圖去除混疊分量，如以下描述的。
表達(dá)式(1)表示通過以間隔X對(duì)第一級(jí)原始信號(hào)f(x)進(jìn)行采樣所獲得的信號(hào)fs(x)。在表達(dá)式(1)中，δ(x)指代δ函數(shù)。
表達(dá)式(2)表示對(duì)被采樣的信號(hào)fs(x)進(jìn)行的傅立葉變換Fs(ω)。在表達(dá)式(2)中，F(xiàn)(ω)指代對(duì)原始信號(hào)f(x)進(jìn)行的傅立葉變換，ωs指代采樣角頻率。
fs(x)=Σk=-∞∞f(kX)δ(x-kX)---(1)]]>Fs(ω)=1XΣk=-∞∞F(ω-kωs)---(2)]]>表達(dá)式(3)表示對(duì)通過以間隔X對(duì)在實(shí)空間中移動(dòng)φ的原始信號(hào)f(x)進(jìn)行采樣所獲得的信號(hào)fsφ(x)進(jìn)行的傅立葉變換Fsφ(ω)。
Fsφ(ω)=1XΣk=-∞∞F(ω-kωs)e-j2πkφ--(3)]]>表達(dá)式(3)表明k＝0的基波對(duì)應(yīng)于原始信號(hào)，k＝n的第n級(jí)諧波移動(dòng)了2πnφ。
如上所述，假定物體圖像Wa正以某個(gè)速度v水平運(yùn)動(dòng)，并且假定物體圖像Wa相對(duì)于該運(yùn)動(dòng)方向被抽取了1/m，原始信號(hào)的帶寬是顯示幀F(xiàn)b的尼奎斯特(Nyquist)頻率的m倍。這樣，以1/m抽取的采樣信號(hào)fsφ(x)具有混疊分量。在表達(dá)式(3)中，k＝0得到原始信號(hào)分量，k＝1、2……和(m-1)得到混疊分量。
圖4示出了在抽取量m＝2的情況下的傅立葉變換Fsφ(ω)。在這種情況下，原始信號(hào)的帶寬是Nyquist頻率的2倍，以1/m抽取的采樣信號(hào)fsφ(x)具有第一級(jí)諧波混疊分量。如從圖4將理解到的，采樣信號(hào)fsφ(x)保持原始信號(hào)f(x)的傅立葉變換分量F(ω)。k＝1的第一級(jí)諧波F(ω·ωs)和F(ω+ωs)分別被混疊有-2πφ和2πφ的相移。
當(dāng)抽取的間隔為1/m時(shí)，以1/m抽取的采樣信號(hào)fsφ(x)具有第一級(jí)到第(m-1)級(jí)的混疊分量，并且混疊分量的相位被移動(dòng)2πkφ。通過以1/m抽取如移動(dòng)φ的原始信號(hào)f(x)來獲得采樣信號(hào)fsφ(x)，使得采樣信號(hào)fsφ(x)可以被認(rèn)為是對(duì)應(yīng)圖2B中的任意單個(gè)顯示幀F(xiàn)b。
現(xiàn)在將考慮圖2B中不同時(shí)間的顯示幀F(xiàn)b的信號(hào)。
當(dāng)物體(用原始信號(hào)f(x)表示)正以速度v水平運(yùn)動(dòng)時(shí)，采樣點(diǎn)的相位在幀中變化，如圖3所示。這樣，表達(dá)式(3)中采樣點(diǎn)的移動(dòng)量φ是時(shí)間t的函數(shù)，并且取決于速度v(像素/幀)和抽取量m(像素)，如表達(dá)式(4)所表示。在表達(dá)式(4)中，T指代時(shí)間間隔，其是幀速率的倒數(shù)。
φt=vmtT---(4)]]>如從表達(dá)式(4)中將理解到的，t＝0時(shí)的移動(dòng)量φ0＝0，并且隨著時(shí)間t按t＝T、2T、3T、……變化時(shí)，移動(dòng)量以v/m增加。
將表達(dá)式(4)代入表達(dá)式(3)，即得到各個(gè)定時(shí)處混疊分量的相位。
圖5示出了時(shí)間t＝0、T、2T、3T、……處第一級(jí)混疊分量的相位。
類似地，圖6示出了時(shí)間t＝0、T、2T、3T、……處第二級(jí)混疊分量的相位，圖7示出了時(shí)間t＝0、T、2T、3T、……處第三級(jí)混疊分量的相位，圖8示出了時(shí)間t＝0、T、2T、3T、……處第四級(jí)混疊分量的相位。
如上所述，第k級(jí)混疊分量隨著時(shí)間前進(jìn)(即隨著幀前進(jìn))而以規(guī)則的間隔(2πkφT)旋轉(zhuǎn)，并在時(shí)間t＝(m/v)T處返回到相位0。而且，隨著混疊分量的級(jí)數(shù)增加，相位旋轉(zhuǎn)的間隔倍乘。
如上所述，以抽取量m抽取(減量采樣)而生成的第k(k＝1、2、……、(m-1))級(jí)混疊分量的相位旋轉(zhuǎn)2πkφT。這樣，根據(jù)相位的方向和被綜合的圖像的數(shù)量(即被組合的混疊分量的數(shù)量)，混疊分量彼此抵消。也就是說，由于φt取決于運(yùn)動(dòng)速度v和抽取量m，所以混疊分量根據(jù)運(yùn)動(dòng)速度v、抽取量m和所綜合的圖像數(shù)量而彼此抵消。
例如，當(dāng)v＝1，m＝4時(shí)，顯示幀F(xiàn)b的圖像具有第一級(jí)混疊分量，其相位以π/2的間隔變化，如0(＝2π×1×[1/4×0/T])、π/2(＝2π×1×[1/4×T/T])、π(＝2π×1×[1/4×2T/T])、3π/2(＝2π×1×[1/4×3T/T])等，如圖9所示。
在圖9和隨后描述的圖10和11中，沒有示出t＝4T時(shí)及其以后的混疊分量。
顯示幀F(xiàn)b的圖像還具有第二級(jí)混疊分量，其相位以π的間隔變化，如0(＝2π×2×[1/4×0/T])、π(＝2π×2×[1/4×T/T])、2π(＝2π×2×[1/4×2T/T])、3π(＝2π×2×[1/4×3T/T])等，如圖10所示。而且，顯示幀F(xiàn)b的圖像還具有第三級(jí)混疊分量，其相位以3π/2的間隔變化，如0(＝2π×3×[1/4×0/T])、3π/2(＝2π×3×[1/4×T/T])、3π(＝2π×3×[1/4×2T/T])、9π/2(＝2π×3×[1/4×3T/T])等，如圖11所示。
在這種情況下，第一級(jí)到第三級(jí)混疊分量在t＝0、T、2T、3T時(shí)的矢量被引導(dǎo)(direct)以彼此抵消，如圖9到圖11中所示。這樣，當(dāng)視覺綜合這4個(gè)顯示幀F(xiàn)b時(shí)，所有的混疊分量被抵消。
第k級(jí)混疊分量要被抵消的條件可以用表達(dá)式(5)表示。用歐拉(Euler)公式展開方程(5)，得到表達(dá)式(6)和(7)。
Σtej2πkφt=0---(5)]]>Σtcos(2πkφt)=0---(6)]]>∑sin(2πkφt)＝0 (7)也就是說，在這個(gè)實(shí)施例中，根據(jù)物體圖像Wa的運(yùn)動(dòng)速度v確定抽取量m，使得混疊分量彼此抵消，從而去除混疊分量。
考慮采樣信號(hào)fsφ(x)被頻帶限制數(shù)字濾波器(band-limiting digitalfilter)減小到1/m的這種情況，移動(dòng)φ的原始信號(hào)f(x)被限制在Nyquist頻率以內(nèi)，使得混疊不會(huì)出現(xiàn)。例如，當(dāng)m＝2時(shí)，傅立葉空間如圖12所示，與被減小到1/m的信號(hào)相對(duì)應(yīng)的幀圖像是不含有混疊分量的低分辨率圖像。
在這種情況下，被減小信號(hào)的基波不同于原始信號(hào)，從而不可能表示Nyquist頻率以上的頻率分量，但是多個(gè)幀圖像被累計(jì)，從而不可能實(shí)現(xiàn)超分辨率效應(yīng)。
因此，為了實(shí)現(xiàn)超分辨率效應(yīng)，重要的是對(duì)原始信號(hào)的帶寬不進(jìn)行限制，并且最佳的是抽取具有空間頻率分量頻帶較寬的原始信號(hào)。
雖然為了簡(jiǎn)化，以上已經(jīng)結(jié)合第一級(jí)原始信號(hào)進(jìn)行了描述，但是其同樣適用于二維圖像。
而且，雖然已經(jīng)參照?qǐng)D2結(jié)合對(duì)物體Wa相對(duì)于X軸方向上的運(yùn)動(dòng)進(jìn)行了描述，但是其同樣適用于相對(duì)于Y軸方向上的運(yùn)動(dòng)。
接下來，將描述混疊分量被彼此抵消的條件，即實(shí)現(xiàn)超分辨率效應(yīng)的條件。
實(shí)現(xiàn)超分辨率效應(yīng)的條件是滿足表達(dá)式(5)，即也就是滿足表達(dá)式(6)和(7)。也就是說，矢量Zk(t)在視覺綜合時(shí)段的和必須為0，其中矢量Zk(t)指代時(shí)間t時(shí)的第k級(jí)混疊分量，如圖13所示。
該條件是否得以滿足取決于綜合時(shí)段。但是，由于已知綜合時(shí)段根據(jù)觀察環(huán)境而變化，并且難以準(zhǔn)確地測(cè)量出綜合時(shí)段，所以難以確定其中該條件得以滿足的綜合時(shí)段范圍。
已發(fā)現(xiàn)當(dāng)幀速率較高時(shí)，即被綜合的圖像數(shù)量較大時(shí)，即使抽取量m較大，仍能實(shí)現(xiàn)超分辨率效應(yīng)。這是在實(shí)驗(yàn)中發(fā)現(xiàn)的，在該實(shí)驗(yàn)中，例如在X軸方向上或Y軸方向上、以預(yù)定運(yùn)動(dòng)速度v運(yùn)動(dòng)的物體圖像Wa被以預(yù)定抽取量m采樣，并且所得顯示物體圖像Wb被以預(yù)定的幀速率顯示，從而檢查該圖像是否被觀察者以超分辨率實(shí)際觀測(cè)。
要實(shí)現(xiàn)超分辨率的條件取決于運(yùn)動(dòng)速度v，并且可由表達(dá)式(8)近似表示。
2πn+α≤2πkφT≤2π(n+1)-α(8)如前所述，混疊分量的相位以2πkφT的間隔旋轉(zhuǎn)。表達(dá)式(8)表明當(dāng)混疊分量的相位旋轉(zhuǎn)間隔接近2π的倍數(shù)時(shí)，即可實(shí)現(xiàn)超分辨率效應(yīng)。
如圖14所示，當(dāng)相位旋轉(zhuǎn)間隔接近2π的倍數(shù)時(shí)，混疊分量的相位基本不會(huì)變化，即使當(dāng)時(shí)間t變化時(shí)，并且混疊分量沒有被抵消，仍然保留著。
例如，考慮關(guān)于以m＝4產(chǎn)生的第一級(jí)到第三級(jí)混疊分量滿足表達(dá)式(8)的條件，表達(dá)式(8)在圖15中運(yùn)動(dòng)速度v(像素/幀)的陰影范圍內(nèi)沒有得到滿足，使得在這個(gè)范圍中不會(huì)實(shí)現(xiàn)超分辨率效應(yīng)。
至于第一級(jí)混疊分量，例如當(dāng)v＝4時(shí)，混疊分量的相位旋轉(zhuǎn)間隔是2π×1×(4/4)(2πkφT)，使得混疊分量的相位旋轉(zhuǎn)間隔是2π×1。這樣，第一級(jí)混疊分量在以速度v＝4為中心的某個(gè)范圍(其中相位旋轉(zhuǎn)間隔在以2π的倍數(shù)為中心的2α范圍內(nèi)的速度范圍)內(nèi)不會(huì)被抵消。也就是說，當(dāng)v＝4n(n＝0、1、2、3……)時(shí)，相位旋轉(zhuǎn)間隔是2π×n，使得第一級(jí)混疊分量在以速度v＝4n為中心的某個(gè)范圍內(nèi)不會(huì)被抵消。
至于第二級(jí)混疊分量，例如當(dāng)v＝2時(shí)，相位旋轉(zhuǎn)間隔是2π×2×(2/4)，即2π×1，并且當(dāng)v＝4時(shí)，相位旋轉(zhuǎn)間隔是2π×2×(4/4)，即2π×2。這樣，第二級(jí)混疊分量在以速度v＝2、4為中心的某個(gè)范圍(其中相位旋轉(zhuǎn)間隔在以2π的倍數(shù)為中心的2α范圍內(nèi)的速度范圍)內(nèi)不會(huì)被抵消。也就是說，當(dāng)v＝2n時(shí)，相位旋轉(zhuǎn)間隔是2π×n，使得第二級(jí)混疊分量在以速度v＝2n為中心的某個(gè)范圍內(nèi)不會(huì)被抵消。
至于第三級(jí)混疊分量，例如當(dāng)v＝4/3時(shí)，相位旋轉(zhuǎn)間隔是2π×3×(4/3)/4，即2π×1，當(dāng)v＝8/3時(shí)，相位旋轉(zhuǎn)間隔是2π×3×(8/3)/4，即2π×2，并且當(dāng)v＝4時(shí)，相位旋轉(zhuǎn)間隔是2π×3×4/4，即2π×3。這樣，第三級(jí)混疊分量在以速度v＝4/3、8/3、4為中心的某個(gè)范圍(其中相位旋轉(zhuǎn)間隔在以2π的倍數(shù)為中心的2α范圍內(nèi)的速度范圍)內(nèi)不會(huì)被抵消。也就是說，當(dāng)v＝(4/3)n時(shí)，相位旋轉(zhuǎn)間隔是2π×n，使得第三級(jí)混疊分量在以速度v＝(4/3)n為中心的某個(gè)范圍內(nèi)不會(huì)被抵消。
當(dāng)速度v＝0時(shí)，相位旋轉(zhuǎn)間隔2πkφ＝0，使得第一級(jí)到第三級(jí)混疊分量在v＝0附近的某個(gè)范圍(0-vα1、0-vα2和0-vα3)內(nèi)不會(huì)被抵消。
而且，隨m＝3出現(xiàn)的第一級(jí)和第二級(jí)混疊分量(圖16)以及隨m＝2出現(xiàn)的第一級(jí)混疊分量(圖17)在其中相位旋轉(zhuǎn)間隔在以2π的倍數(shù)為中心的2α范圍內(nèi)的速度范圍中不會(huì)被抵消，類似于上述m＝4的情況。
而且，如圖13所示，隨著混疊分量的級(jí)數(shù)增加，相位旋轉(zhuǎn)間隔會(huì)增至兩倍、增至三倍，增至其他倍數(shù)。
令相位旋轉(zhuǎn)間隔用θ表示，當(dāng)物體圖像Wa的運(yùn)動(dòng)速度v較低并且相位旋轉(zhuǎn)間隔θ小于α?xí)r，表達(dá)式(8)沒有得到滿足，使得超分辨率效應(yīng)無法實(shí)現(xiàn)。當(dāng)物體圖像Wa的運(yùn)動(dòng)速度v增加并且相位旋轉(zhuǎn)間隔θ達(dá)到α?xí)r，超分辨率效應(yīng)得以實(shí)現(xiàn)。
這表明α是實(shí)現(xiàn)超分辨率效應(yīng)的臨界點(diǎn)(相位旋轉(zhuǎn)間隔)。α根據(jù)顯示圖像幀速率而變化，并且隨顯示幀速率增加，它趨向于減小。
令物體Wa在臨界點(diǎn)時(shí)的運(yùn)動(dòng)速度用vα表示，即可推導(dǎo)出表達(dá)式(9)，并且重新整理表達(dá)式(9)，可得到表達(dá)式(10)。
α=2πkvαm---(9)]]>vα=α2πmk---(10)]]>這樣，當(dāng)顯示圖像幀速率增加，并且α減小時(shí)，速度vα(圖15中所示的vα1、vα2和vα3)變得更低，使得當(dāng)運(yùn)動(dòng)量較小時(shí)即可實(shí)現(xiàn)超分辨率效應(yīng)。
如從表達(dá)式(10)中將理解到的，臨界點(diǎn)時(shí)的vα取決于抽取量m和混疊分量的級(jí)數(shù)k。臨界點(diǎn)時(shí)的速度vα隨抽取量m的增加而增加。而且，臨界點(diǎn)時(shí)的速度vα隨級(jí)數(shù)k的減小而增加。在圖15所示的示例中，vα2小于vα1，vα3小于vα2。這樣，應(yīng)該理解到，由于高級(jí)數(shù)的混疊分量不能實(shí)現(xiàn)超分辨率效應(yīng)的區(qū)域較窄。
視覺的超分辨率效應(yīng)可以概括如下。
用于實(shí)現(xiàn)超分辨率效應(yīng)的臨界點(diǎn)α隨幀速率增加而變得更小。
當(dāng)抽取量為m時(shí)，第一級(jí)到第(m-1)級(jí)混疊分量必須滿足表達(dá)式(8)。
當(dāng)抽取量m減小時(shí)，物體Wa在臨界點(diǎn)時(shí)的運(yùn)動(dòng)速度vα變得更低。也就是說，當(dāng)抽取量m較小時(shí)，即使運(yùn)動(dòng)量較小，仍能實(shí)現(xiàn)超分辨率效應(yīng)。
從上述描述中應(yīng)該理解到，根據(jù)物體的運(yùn)動(dòng)速度(大小和方向)，通過進(jìn)行抽取可以實(shí)現(xiàn)超分辨率效應(yīng)。
為了實(shí)現(xiàn)超分辨率效應(yīng)，增大顯示圖像幀速率是有益的，并且例如為了抑制圖像質(zhì)量變差(例如，運(yùn)動(dòng)模糊或不平穩(wěn))，增大顯示圖像幀速率也是有益的。
現(xiàn)在將參照?qǐng)D18A來描述根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)圖像轉(zhuǎn)換設(shè)備1A的結(jié)構(gòu)。利用基于上述超分辨率效應(yīng)的分辨率轉(zhuǎn)換，運(yùn)動(dòng)圖像轉(zhuǎn)換設(shè)備1A能夠?qū)⑺东@的圖像轉(zhuǎn)換為具有輸出分辨率的圖像，使得觀察者不會(huì)感知到由于這種向輸出分辨率的轉(zhuǎn)換而引起的圖像質(zhì)量變差。
成像單元11A包括固態(tài)成像設(shè)備，例如CCD成像設(shè)備或CMOS成像設(shè)備，其能夠以比輸出單元13A能夠輸出的圖像分辨率更高的分辨率來成像。
成像單元11A以預(yù)定幀速率和預(yù)定空間采樣速率(以下簡(jiǎn)稱為采樣速率)來捕獲運(yùn)動(dòng)圖像，并將所捕獲的圖像轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式。例如，當(dāng)輸出單元13A能夠輸出的圖像的幀速率為F并且其分辨率為x×y像素時(shí)，以幀速率F和分辨率ix×jy像素來進(jìn)行成像，并且所捕獲的圖像被轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式的成像幀F(xiàn)a。i、j、x和y都為正數(shù)。
成像單元11A將成像幀F(xiàn)a(ix×jy像素)提供給圖像轉(zhuǎn)換器12。
當(dāng)從固態(tài)成像設(shè)備輸出的圖像信號(hào)是模擬信號(hào)時(shí)，成像單元11A通過未示出的模數(shù)轉(zhuǎn)換器將模擬信號(hào)轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式的數(shù)字信號(hào)。
因?yàn)閹俾试礁撸饺菀讓?shí)現(xiàn)超分辨率效應(yīng)，所以成像單元11A被調(diào)整以能夠在較高的幀速率下工作。至于固態(tài)成像設(shè)備，由于CMOS成像設(shè)備更適合以較高的幀速率成像，所以在這個(gè)實(shí)施例中成像單元11A包括CMOS成像設(shè)備。
圖像轉(zhuǎn)換器12將成像單元11A或圖像輸入單元11B所提供的成像幀F(xiàn)a(ix×jy像素)轉(zhuǎn)換為其分辨率可以由輸出單元13A輸出的輸出幀F(xiàn)b(x×y像素)。
此時(shí)，圖像轉(zhuǎn)換器12基于前述超分辨率效應(yīng)而通過每個(gè)都具有預(yù)定大小的塊進(jìn)行分辨率轉(zhuǎn)換。這樣，超分辨率效應(yīng)即得以實(shí)現(xiàn)，即觀察者感知到以預(yù)定幀速率、以超過輸出幀F(xiàn)b分辨率的超分辨率顯示的輸出幀F(xiàn)b的視覺效應(yīng)。
圖像轉(zhuǎn)換器12將輸出幀F(xiàn)b提供給輸出單元13A。
輸出單元13A輸出運(yùn)動(dòng)圖像信號(hào)。由于如前所述幀速率越高，越容易實(shí)現(xiàn)超分辨率效應(yīng)，所以輸出單元13A被調(diào)整來能夠以較高的幀速率來輸出圖像。
接下來，將參照?qǐng)D18B來描述根據(jù)本發(fā)明實(shí)施例的圖像顯示設(shè)備1B。
圖像輸入單元11B接收具有預(yù)定幀速率和預(yù)定空間采樣速率(以下簡(jiǎn)稱為采樣速率)的圖像輸入，并將該圖像轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式。例如，當(dāng)圖像顯示單元13B的顯示設(shè)備的幀速率為F，顯示分辨率為x×y像素時(shí)，幀速率為F、分辨率為ix×jy像素的圖像被輸入，并且該圖像被轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式的輸入幀F(xiàn)a。i、j、x和y都為正數(shù)。圖像輸入單元11B將輸入幀F(xiàn)a(ix×jy像素)提供給圖像轉(zhuǎn)換器12。
當(dāng)被輸入的是模擬信號(hào)時(shí)，圖像輸入單元11B通過內(nèi)部模數(shù)轉(zhuǎn)換器(未示出)將該模擬信號(hào)轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式的數(shù)字信號(hào)。
圖像輸入單元11B也能夠處理圖像信號(hào)，例如經(jīng)SMPTE(Society ofMotion Picture and Television Engineers)標(biāo)準(zhǔn)化的電視信號(hào)、經(jīng)VESA(Video Electronics Standards Association)標(biāo)準(zhǔn)化的模擬視頻信號(hào)或經(jīng)DDWG(Digital Display Working Group)標(biāo)準(zhǔn)化的DVI(Digital VisualInterface)信號(hào)。
而且，由于如前所述幀速率越高，越容易實(shí)現(xiàn)超分辨率效應(yīng)，所以當(dāng)輸入幀F(xiàn)a的幀速率較高時(shí)，圖像輸入單元11B被調(diào)整來能夠以較高的幀速率工作。
圖像轉(zhuǎn)換器12與運(yùn)動(dòng)圖像轉(zhuǎn)換設(shè)備1A中圖像轉(zhuǎn)換器12的結(jié)構(gòu)相同，并且它將顯示幀F(xiàn)b提供給圖像顯示單元13B。
圖像顯示單元13B由具有x×y像素的顯示設(shè)備來實(shí)現(xiàn)。圖像顯示單元13B以預(yù)定幀速率顯示由圖像轉(zhuǎn)換器12提供的圖像。由于如前所述幀速率越高，越容易實(shí)現(xiàn)超分辨率效應(yīng)，所以圖像顯示單元13B被調(diào)整以能夠以較高的幀速率顯示圖像。
接下來，將描述圖像轉(zhuǎn)換器12的結(jié)構(gòu)。
圖像轉(zhuǎn)換器12接收由ix×jy像素組成的內(nèi)部數(shù)據(jù)格式的圖像信號(hào)輸入。
圖像轉(zhuǎn)換器12的運(yùn)動(dòng)量檢測(cè)器21在由成像單元11A或圖像輸入單元11B目前提供的當(dāng)前成像幀F(xiàn)a與在一個(gè)幀之前或幾個(gè)幀之前被輸入的先前成像幀F(xiàn)a之間進(jìn)行塊匹配，從而檢測(cè)當(dāng)前幀F(xiàn)a塊圖像(ip×jq像素)的運(yùn)動(dòng)矢量。p和q均為正數(shù)。在這種情況下，成像幀F(xiàn)a的塊總數(shù)為x/p×y/q。
運(yùn)動(dòng)量檢測(cè)器21逐塊地將成像幀F(xiàn)a與所檢測(cè)到的運(yùn)動(dòng)矢量一起提供給分辨率轉(zhuǎn)換器22。
根據(jù)從運(yùn)動(dòng)矢量所確定的每個(gè)幀相對(duì)于X軸方向和Y軸方向的運(yùn)動(dòng)量v(像素)或運(yùn)動(dòng)速度v(像素/幀)，分辨率轉(zhuǎn)換器22對(duì)由運(yùn)動(dòng)量檢測(cè)器21提供的成像幀F(xiàn)a的塊圖像(ip×jq像素)相對(duì)于X軸方向和Y軸方向進(jìn)行濾波或采樣(即抽取)。
分辨率轉(zhuǎn)換器22采集與總塊數(shù)(x/p×y/q像素)相同數(shù)量的所得到的輸出幀F(xiàn)b的塊圖像(p×q像素)，從而生成單個(gè)輸出幀F(xiàn)b(x×y像素)，并將輸出幀F(xiàn)b輸出到輸出單元13A或圖像顯示單元13B。
接下來，將參照?qǐng)D19描述圖像轉(zhuǎn)換器12的運(yùn)動(dòng)量檢測(cè)器21和分辨率轉(zhuǎn)換器22。
運(yùn)動(dòng)量檢測(cè)器21的幀存儲(chǔ)器31存儲(chǔ)從成像單元11A或圖像輸入單元11B接收到的成像幀F(xiàn)a(當(dāng)前成像幀F(xiàn)a)。
延遲電路32延遲在當(dāng)前幀F(xiàn)a之前輸入的先前幀F(xiàn)a一個(gè)幀時(shí)段或多個(gè)幀時(shí)段，使得先前幀的相位與當(dāng)前幀F(xiàn)a的相位相匹配。延遲電路32將被延遲的先前幀F(xiàn)a提供給幀存儲(chǔ)器33。
幀存儲(chǔ)器33存儲(chǔ)延遲電路32所提供的先前幀F(xiàn)a。
塊匹配電路34在幀存儲(chǔ)器31中所存儲(chǔ)的當(dāng)前幀F(xiàn)a與幀存儲(chǔ)器33中所存儲(chǔ)的先前幀F(xiàn)a之間為每個(gè)由ip×jq像素組成的塊進(jìn)行塊匹配，從而檢測(cè)當(dāng)前幀F(xiàn)a塊圖像(ip×jq像素)的運(yùn)動(dòng)矢量。塊匹配電路34將當(dāng)前幀F(xiàn)a的塊圖像提供給分辨率轉(zhuǎn)換器22的空間濾波單元41，并將塊圖像的運(yùn)動(dòng)矢量提供給分辨率轉(zhuǎn)換器22的控制器44。
運(yùn)動(dòng)量檢測(cè)器21的上述結(jié)構(gòu)僅是示例，只要有可能檢測(cè)到成像幀F(xiàn)a的每個(gè)塊的運(yùn)動(dòng)矢量，可以應(yīng)用其他結(jié)構(gòu)。
分辨率轉(zhuǎn)換器22的空間濾波單元41從運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34接收成像幀F(xiàn)a的塊圖像(ip×jq像素)輸入(參照?qǐng)D20的左側(cè)部分)?？臻g濾波單元41是用于限制空間分辨率帶寬的數(shù)字濾波器?？臻g濾波單元41抑制混疊分量以獲得所期望的由控制器44給定的分辨率。
更具體地，在控制器44的控制下，空間濾波單元41在空間上對(duì)成像幀F(xiàn)a的塊圖像(ip×jq像素)進(jìn)行濾波，使得通過在隨后的空間抽取單元42中、通過抽取量為mx和my的抽取而獲得輸出幀F(xiàn)b的塊圖像(p×q像素)，從而獲得具有mxp×myq像素的圖像(參照?qǐng)D20的左側(cè)部分)。
空間濾波單元41將具有mxp×myq像素的圖像提供給空間抽取單元42。mx和my均是正整數(shù)。
空間濾波單元41不會(huì)限制空間分辨率的帶寬，但它抽取原始圖像以將原始圖像轉(zhuǎn)換為具有所期望的由控制器44給定的分辨率。
更具體地，以相對(duì)于X軸方向的抽取量mx和相對(duì)于Y軸方向的抽取量my、相對(duì)于X軸方向和Y軸方向抽取由空間濾波單元41提供的、具有mxp×myq像素的圖像(參照?qǐng)D20的右側(cè)部分)，從而生成具有p×q像素的圖像，即輸出幀F(xiàn)b的塊圖像(參照?qǐng)D20的右側(cè)部分)，抽取量mx和my均由控制器44給定。空間抽取單元42將具有p×q像素的圖像提供給幀存儲(chǔ)器43。
當(dāng)如在圖20所示的示例中mx＜i，my＜j時(shí)，抽取量是控制器44給定的mx和my。當(dāng)mx＞i，my＞j時(shí)，抽取量是i和j。
返回去參照?qǐng)D19，幀存儲(chǔ)器43存儲(chǔ)由空間抽取單元42提供的、具有p×q像素的塊圖像，并生成單個(gè)具有x×y像素的輸出幀F(xiàn)b。
控制器44從運(yùn)動(dòng)量檢測(cè)器21接收塊圖像的運(yùn)動(dòng)矢量輸入?？刂破?4基于相對(duì)于X軸方向和Y軸方向的運(yùn)動(dòng)速度v確定混疊分量的相位旋轉(zhuǎn)間隔滿足表達(dá)式(8)的最大抽取量mx和my。也就是說，控制器44確定滿足用于實(shí)現(xiàn)超分辨率效應(yīng)的條件的抽取量。
由于如前所述表達(dá)式(8)中的α根據(jù)視覺在綜合時(shí)段內(nèi)所綜合的圖像數(shù)量而變化，所以難以適當(dāng)?shù)卮_定α值。
這樣，在這個(gè)實(shí)施例中，預(yù)先進(jìn)行實(shí)驗(yàn)，在該實(shí)驗(yàn)中，例如以預(yù)定的抽取量m對(duì)正以預(yù)定的運(yùn)動(dòng)速度v在X軸方向上或Y軸方向上運(yùn)動(dòng)的物體圖像Wa進(jìn)行采樣，并且檢查觀察者是否能夠在超分辨率下實(shí)際感知到所得的顯示物體圖像Wb。抽取量m是基于該實(shí)驗(yàn)中實(shí)現(xiàn)超分辨率效應(yīng)的運(yùn)動(dòng)速度v與抽取量m之間的關(guān)系而確定的。
圖21示出了用水平運(yùn)動(dòng)的物體圖像Wa進(jìn)行的上述實(shí)驗(yàn)的結(jié)果。
圖21表明在抽取量m＝4、以速度v＝4/3、2、8/3、4為中心的某個(gè)運(yùn)動(dòng)速度范圍內(nèi)，在抽取量m＝3、以速度v＝3/2、3為中心的某個(gè)運(yùn)動(dòng)速度范圍內(nèi)，在抽取量m＝2、以速度v＝2、4為中心的某個(gè)運(yùn)動(dòng)速度范圍內(nèi)沒有實(shí)現(xiàn)超分辨率效應(yīng)。
圖21還表明當(dāng)運(yùn)動(dòng)速度v在從起始點(diǎn)0的預(yù)定范圍P0中時(shí)(即當(dāng)速度v沒有超過圖21中所示的速度v0時(shí))，對(duì)于m＝2、3、4，沒有實(shí)現(xiàn)超分辨率效應(yīng)。
參照?qǐng)D15-17，這對(duì)應(yīng)于表達(dá)式(8)沒有得到滿足的運(yùn)動(dòng)速度v的范圍。
例如，圖22示出了圖21中與圖15相對(duì)應(yīng)的m＝4的區(qū)域。第一級(jí)混疊分量在以v＝4n為中心的某個(gè)范圍中沒有被抵消。第二級(jí)混疊分量在以v＝2n為中心的某個(gè)范圍中沒有被抵消。第三級(jí)混疊分量在以v＝(4/3)n為中心的某個(gè)范圍中沒有被抵消。而且，第一級(jí)到第三級(jí)混疊分量在v＝0附近的某些范圍中沒有被抵消。
也就是說，當(dāng)?shù)谝患?jí)到第三級(jí)混疊分量其中甚至有一個(gè)沒有被抵消時(shí)，在運(yùn)動(dòng)速度v的范圍中以m＝4抽取，沒有實(shí)現(xiàn)超分辨率效應(yīng)。
圖22示出了沒有實(shí)現(xiàn)超分辨率效應(yīng)的這種范圍，如范圍U4a-U4d。而且，圖22示出了m＝4時(shí)實(shí)現(xiàn)超分辨率效應(yīng)的范圍，如范圍P4a-P4d。
圖21還示出了m＝4時(shí)實(shí)現(xiàn)超分辨率效應(yīng)的范圍，如范圍P4a-P4d。類似地，圖21還示出了m＝3時(shí)實(shí)現(xiàn)超分辨率效應(yīng)的范圍，如范圍P3a-P3c，以及m＝2時(shí)實(shí)現(xiàn)超分辨率效應(yīng)的范圍，如范圍P2a-P2b。
這樣，在這個(gè)示例中，例如當(dāng)成像幀F(xiàn)a的塊圖像相對(duì)于X軸方向的運(yùn)動(dòng)速度v是圖21中所示的0-4/3范圍內(nèi)的速度va時(shí)，抽取量被選擇為2個(gè)像素，使得超分辨率效應(yīng)將得以實(shí)現(xiàn)，并且塊圖像在X軸方向上以抽取量2被抽取。
作為另一示例，當(dāng)成像幀F(xiàn)a的塊圖像相對(duì)于X軸方向的運(yùn)動(dòng)速度v是0-4/3范圍內(nèi)的速度vb時(shí)，速度vb大于速度va，抽取量被選擇為4，這是實(shí)現(xiàn)超分辨率效應(yīng)的m＝2、3、4中最大的。由此塊圖像在X軸方向上以抽取量4被抽取。
當(dāng)成像幀F(xiàn)a的塊圖像相對(duì)于X軸方向的運(yùn)動(dòng)速度v在范圍P0內(nèi)時(shí)，即當(dāng)以速度v沒有實(shí)現(xiàn)超分辨率效應(yīng)時(shí)，抽取量被選擇為1，使得分辨率轉(zhuǎn)換全部都進(jìn)行空間濾波。
也就是說，在這個(gè)實(shí)施例中，至于其中物體圖像Wa的運(yùn)動(dòng)速度v較高的區(qū)域，進(jìn)行抽取以在實(shí)現(xiàn)超分辨率效應(yīng)的情況下不去除混疊分量。另一方面，至于其中運(yùn)動(dòng)速度v較小的區(qū)域，即P0范圍中，在沒有實(shí)現(xiàn)超分辨率效應(yīng)的情況下，通過空間濾波來限制帶寬，以致不會(huì)造成混疊。
而且，當(dāng)幀速率較高時(shí)，其中沒有實(shí)現(xiàn)超分辨率效應(yīng)的范圍變得更小，即其中實(shí)現(xiàn)超分辨率效應(yīng)的范圍變得更大，使得允許以更大抽取量進(jìn)行抽取。
抽取量的選擇可以被概括成圖21中所示的表。也就是說，控制器44基于圖21所示的表來確定相對(duì)于X軸方向的抽取量，并基于類似的表來確定相對(duì)于Y軸方向的抽取量。
控制器44例如將圖21中所示的表存儲(chǔ)在存儲(chǔ)單元44A中，并檢測(cè)表中與運(yùn)動(dòng)速度v相關(guān)的抽取量m(mx和my)。
控制器44控制空間濾波單元41將成像幀F(xiàn)a的塊圖像(ip×jq像素)轉(zhuǎn)換為具有mxp×myq像素的圖像，從而通過空間濾波進(jìn)行抽取，使得帶寬將得到限制。而且，控制器44控制空間抽取單元42以抽取量mx和my并且不限制帶寬地對(duì)由空間濾波單元41所提供的、具有mxp×myq像素的圖像進(jìn)行抽取。
當(dāng)運(yùn)動(dòng)速度v在P0范圍中時(shí)，對(duì)于m＝2、3、4，都沒有實(shí)現(xiàn)超分辨率效應(yīng)，使得控制器44選擇抽取量1，從而分辨率轉(zhuǎn)換全部都經(jīng)過空間濾波單元41濾波。
接下來，將參照?qǐng)D23所示的流程圖來描述圖像轉(zhuǎn)換器12的操作。
在步驟S1，圖像轉(zhuǎn)換器12的運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34初始化塊數(shù)(例如到1)。在步驟S2，塊匹配電路34判斷是否已經(jīng)檢測(cè)到成像幀F(xiàn)a所有塊的運(yùn)動(dòng)矢量。
如果步驟S2中判斷出并沒有檢測(cè)到所有塊的運(yùn)動(dòng)矢量，則過程繼續(xù)步驟S3。在步驟S3，運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34對(duì)由塊數(shù)表示的塊進(jìn)行塊匹配，從而檢測(cè)塊圖像的運(yùn)動(dòng)矢量。
塊的總數(shù)為x/p×y/q，并且成像幀F(xiàn)a的各個(gè)塊圖像可以用塊數(shù)1到x/p×y/q標(biāo)識(shí)。
更具體地，塊匹配電路34將當(dāng)前幀F(xiàn)a的對(duì)象塊圖像與先前幀F(xiàn)a的搜索區(qū)域中的任意塊圖像進(jìn)行比較，以檢測(cè)均方差達(dá)到最小的塊，并判斷出將當(dāng)前幀F(xiàn)a的對(duì)象塊與先前幀F(xiàn)a的被檢測(cè)塊相聯(lián)系的矢量作為運(yùn)動(dòng)矢量。塊匹配電路34將當(dāng)前幀F(xiàn)a的塊圖像提供給分辨率轉(zhuǎn)換器22的空間濾波單元41，并將塊圖像的運(yùn)動(dòng)矢量提供給控制器44。
接著在步驟S4，分辨率轉(zhuǎn)換器22的控制器44基于由運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34所提供的運(yùn)動(dòng)矢量來計(jì)算相對(duì)于X軸方向的運(yùn)動(dòng)速度(運(yùn)動(dòng)量v)。接著，控制器44參照?qǐng)D21中所示的、定義運(yùn)動(dòng)速度v和抽取量m之間關(guān)系的內(nèi)部表來檢測(cè)與運(yùn)動(dòng)速度(運(yùn)動(dòng)量)v相關(guān)的抽取量mx。
在步驟S5，控制器44基于由運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34所提供的運(yùn)動(dòng)矢量來確定相對(duì)于Y軸方向的運(yùn)動(dòng)速度(運(yùn)動(dòng)量v)。接著，控制器44參照定義相對(duì)于Y軸方向的運(yùn)動(dòng)速度v和抽取量m之間關(guān)系的內(nèi)部表來檢測(cè)與運(yùn)動(dòng)速度(運(yùn)動(dòng)量)v相關(guān)的抽取量my。
接著，在步驟S6，分辨率轉(zhuǎn)換器22的控制器44控制空間濾波單元41將由運(yùn)動(dòng)量檢測(cè)器21所提供的成像幀F(xiàn)a的塊圖像(ip×jq像素)轉(zhuǎn)換為分辨率為mxp×myq像素的圖像(參照?qǐng)D20的右側(cè)部分)。也就是說，空間濾波單元41在空間上將塊圖像進(jìn)行濾波。
例如當(dāng)抽取量m＝4時(shí)，控制器44控制空間濾波單元41進(jìn)行空間濾波，從而將獲得具有4p×q像素的圖像。當(dāng)抽取量mx＝3時(shí)，控制器44控制空間濾波單元41進(jìn)行空間濾波，從而將獲得具有3p×q像素的圖像。雖然已經(jīng)結(jié)合對(duì)沿X軸方向的像素作為示例進(jìn)行了描述，但同樣適用于沿Y軸方向的像素。
接著在步驟S7，控制器44根據(jù)步驟S4和S5中確定的抽取量mx和my來控制空間抽取單元42對(duì)由空間濾波單元41所提供的、具有mxp×myq像素的圖像進(jìn)行抽取。這樣，空間抽取單元42以相對(duì)于X軸方向?yàn)閙x的抽取量和相對(duì)于Y軸方向?yàn)閙y的抽取量對(duì)由空間濾波單元41所提供的、具有mxp×myq像素的塊圖像進(jìn)行抽取。這樣，獲得了具有p×q像素的塊圖像(參照?qǐng)D20的右側(cè)部分)。
例如，當(dāng)抽取量mx＝4時(shí)，相對(duì)于X軸方向以4的抽取量對(duì)由空間濾波單元41所提供的4p×q個(gè)像素進(jìn)行抽取，從而生成具有p×q像素的塊圖像。當(dāng)抽取量mx＝3時(shí)，相對(duì)于X軸方向以3的抽取量對(duì)由空間濾波單元41所提供的3p×q個(gè)像素進(jìn)行抽取，從而生成具有p×q像素的塊圖像。
雖然當(dāng)進(jìn)行空間抽取時(shí)會(huì)出現(xiàn)混疊分量，但由于抽取量mx和my滿足表達(dá)式(8)，所以混疊分量彼此抵消。
空間抽取單元42將具有p×q像素的經(jīng)抽取的塊圖像提供給幀存儲(chǔ)器43。幀存儲(chǔ)器43將塊圖像存儲(chǔ)在特定位置處，并將塊圖像組合成單個(gè)輸出幀F(xiàn)b。
在步驟S8，運(yùn)動(dòng)量檢測(cè)器21的塊匹配電路34將塊數(shù)加1。
接著過程即返回到步驟S2，并執(zhí)行隨后的處理。
當(dāng)步驟S2判斷出已經(jīng)檢測(cè)了所有塊的運(yùn)動(dòng)矢量，則退出該過程。
如上所述，通過步驟S3-步驟S7的處理逐塊地轉(zhuǎn)換單個(gè)成像幀F(xiàn)a的分辨率，從而生成單個(gè)輸出幀F(xiàn)b，并且以預(yù)定的幀速率從輸出單元13A輸出輸出幀。
這樣，當(dāng)顯示從輸出單元13A輸出的圖像時(shí)，允許觀察者感知到在分辨率超過可以由實(shí)際像素?cái)?shù)表示的分辨率下(即在分辨率超過顯示物體圖像Wb的分辨率下)具有大量運(yùn)動(dòng)的圖像。通過超分辨率效應(yīng)，由觀察者感知到的空間分辨率對(duì)應(yīng)相對(duì)于X軸方向是輸出幀F(xiàn)b的塊圖像(p×q像素)的mx倍、相對(duì)于Y軸方向是輸出幀F(xiàn)b的塊圖像的my倍的分辨率(mxp×myq像素)。
如上所述，檢測(cè)在圖像的每個(gè)塊中的運(yùn)動(dòng)，并通過空間濾波單元41和空間抽取單元42適當(dāng)?shù)剡M(jìn)行空間濾波和空間抽取。這樣，在具有某個(gè)運(yùn)動(dòng)量的塊中都實(shí)現(xiàn)了超分辨率效應(yīng)，并且在運(yùn)動(dòng)較小的塊中抑制了混疊噪聲，使得能感知到整體質(zhì)量良好的圖像。
圖24A示出了根據(jù)本發(fā)明另一實(shí)施例的成像設(shè)備。成像設(shè)備內(nèi)部具有轉(zhuǎn)換圖像的功能。
該成像設(shè)備包括成像單元51A和輸出單元52A。成像單元51A由CMOS設(shè)備來實(shí)現(xiàn)。CMOS成像設(shè)備允許光電傳感器元件和處理元件同時(shí)安裝在其上。
成像單元51A包括光電傳感器61、運(yùn)動(dòng)量檢測(cè)器62和分辨率轉(zhuǎn)換器63。
光電傳感器61包括光電傳感器元件的二維陣列，其接收光并將光轉(zhuǎn)換為電信號(hào)。光電傳感器61將通過光電轉(zhuǎn)換獲得的模擬信號(hào)轉(zhuǎn)換為內(nèi)部數(shù)據(jù)格式的數(shù)字信號(hào)。
運(yùn)動(dòng)量檢測(cè)器62由成像單元51A上的電路實(shí)現(xiàn)，該電路類似地配置成圖18A中所示的示例中的運(yùn)動(dòng)量檢測(cè)器21。
分辨率轉(zhuǎn)換器63由成像單元51A上的電路實(shí)現(xiàn)，該電路類似地配置成圖18A中所示的示例中的分辨率轉(zhuǎn)換器22。
由于根據(jù)這個(gè)實(shí)施例的成像設(shè)備有利于以較高的幀速率顯示圖像，所以光電傳感器61中的成像元件被調(diào)整以能夠以較高的幀速率成像。
輸出單元52A具有與圖18A中所示的示例中的輸出單元13A相同的功能。
上述系列過程可以在硬件或軟件中實(shí)現(xiàn)。當(dāng)在軟件中實(shí)現(xiàn)該系列過程時(shí)，該軟件的程序被安裝在計(jì)算機(jī)上，使得該程序可以由計(jì)算機(jī)執(zhí)行，從而實(shí)現(xiàn)上述運(yùn)動(dòng)圖像轉(zhuǎn)換設(shè)備1A的功能。
圖24B示出了根據(jù)本發(fā)明實(shí)施例的圖像處理裝置51B的結(jié)構(gòu)。與圖18B中所示的圖像顯示裝置1B相比，圖像處理裝置51B包括取代圖像顯示單元13B的圖像輸出單元71。圖像處理裝置51B的其他部分與圖像顯示裝置1B的相應(yīng)部分相同，從而將忽略對(duì)其的描述。
與圖18B中所示的示例相類似地，圖像處理裝置51B的圖像轉(zhuǎn)換器12將從圖像輸入單元11B輸入的輸入幀F(xiàn)a轉(zhuǎn)換為具有可以由顯示單元52B表達(dá)的分辨率的顯示幀F(xiàn)b。圖像轉(zhuǎn)換器12將顯示幀F(xiàn)b輸出到圖像輸出單元71。
圖像輸出單元71將由圖像轉(zhuǎn)換器12提供的顯示幀F(xiàn)b的圖像信號(hào)轉(zhuǎn)換為顯示單元52B可接受格式的圖像信號(hào)，并將該圖像信號(hào)輸出到顯示單元52B。顯示單元52B被構(gòu)造成與圖18B所示圖像顯示單元13B基本相同，并且它顯示對(duì)應(yīng)于由圖像處理裝置51B的圖像輸出單元71所提供的圖像信號(hào)。
如上所述，本發(fā)明可以適用于不包括顯示部分的圖像處理裝置。
上述系列過程可以在硬件或軟件中實(shí)現(xiàn)。當(dāng)在軟件中實(shí)現(xiàn)該系列過程時(shí)，該軟件的程序被安裝在計(jì)算機(jī)上，使得該程序可以由計(jì)算機(jī)執(zhí)行，從而實(shí)現(xiàn)上述運(yùn)動(dòng)圖像轉(zhuǎn)換設(shè)備1A的功能。
圖25是表示本發(fā)明實(shí)施例的方框圖，其中計(jì)算機(jī)101起成像設(shè)備1A、成像設(shè)備51A、圖像顯示單元1B或圖像顯示單元51B的作用。
中央處理單元(CPU)通過總線115被連接到輸入/輸出接口116。CPU 111一旦接收到用戶從包括鍵盤和鼠標(biāo)的輸入單元118輸入的命令，即將例如存儲(chǔ)在只讀存儲(chǔ)器(ROM)112、硬盤114或加載到驅(qū)動(dòng)器120上記錄介質(zhì)(例如磁盤131、光盤132、磁光盤133或半導(dǎo)體存儲(chǔ)器134)中的程序加載到隨機(jī)訪問存儲(chǔ)器(RAM)113內(nèi)。
這樣，即可執(zhí)行上述各種過程，例如在圖23的流程圖中所示的過程。
而且，CPU 111根據(jù)需要將處理結(jié)果通過輸入/輸出接口116輸出到例如由液晶顯示(LCD)實(shí)現(xiàn)的顯示單元117。
該程序可以預(yù)先存儲(chǔ)在硬盤114或ROM 112中，并隨同計(jì)算機(jī)101被提供給用戶?；蛘?，該程序可以例如以磁盤131、光盤132、磁光盤133或半導(dǎo)體存儲(chǔ)器134的封裝介質(zhì)形式提供?；蛘撸摮绦蚩梢詮男l(wèi)星或通過網(wǎng)絡(luò)經(jīng)由通信單元119提供到硬盤114。
在本說明書中，定義由記錄介質(zhì)所提供的程序的步驟并不必按所述順序執(zhí)行，并且它們可以被單獨(dú)或并行地執(zhí)行。
權(quán)利要求
1.一種圖像處理方法，包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將所述圖像輸入步驟中輸入的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有所述第二分辨率的所述圖像信號(hào)的圖像；其中所述分辨率轉(zhuǎn)換步驟檢測(cè)在對(duì)應(yīng)于所述圖像輸入步驟中輸入的所述圖像信號(hào)的圖像至少部分區(qū)域中的運(yùn)動(dòng)量，并基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
2.如權(quán)利要求1所述的圖像處理方法，其中所述分辨率轉(zhuǎn)換步驟包括提供這種視覺效應(yīng)的空間抽取，當(dāng)以所述預(yù)定幀速率顯示在所述輸出步驟中輸出的圖像信號(hào)時(shí)，所述視覺效應(yīng)呈現(xiàn)出超過所述第二分辨率的分辨率。
3.如權(quán)利要求2所述的圖像處理方法，其中在空間抽取中的抽取量是基于所述區(qū)域中的運(yùn)動(dòng)量確定的。
4.如權(quán)利要求3所述的圖像處理方法，其中在空間抽取中，相對(duì)于水平方向的抽取量是基于所述區(qū)域中相對(duì)于水平方向的運(yùn)動(dòng)量確定的，并且相對(duì)于垂直方向的抽取量是基于所述區(qū)域中相對(duì)于垂直方向的運(yùn)動(dòng)量確定的。
5.如權(quán)利要求2所述的圖像處理方法，其中在空間抽取中的抽取量隨所述幀速率增加而增加。
6.如權(quán)利要求2所述的圖像處理方法，其中在對(duì)每個(gè)幀的空間抽取中，確定空間抽取的量，使得時(shí)間上在所述幀之前或之后預(yù)定數(shù)量的相鄰幀中被抽取信號(hào)的所有混疊分量彼此抵消。
7.如權(quán)利要求2所述的圖像處理方法，其中所述分辨率轉(zhuǎn)換步驟將所述空間抽取作用到這樣的信號(hào)上，即通過對(duì)在所述圖像輸入步驟中獲得的圖像信號(hào)在空間上進(jìn)行濾波而獲得的信號(hào)。
8.如權(quán)利要求1所述的圖像處理方法，其中所述分辨率轉(zhuǎn)換步驟將在所述圖像輸入步驟中獲得的圖像分割成多個(gè)區(qū)域，并檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量。
9.一種圖像處理方法，包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將所述圖像輸入步驟中獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有所述第二分辨率的所述圖像信號(hào)的圖像；其中所述分辨率轉(zhuǎn)換步驟將在所述圖像輸入步驟中獲得的圖像信號(hào)分割成多個(gè)區(qū)域，檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量，并基于所檢測(cè)到的運(yùn)動(dòng)量為各個(gè)區(qū)域設(shè)定空間抽取量，其中在基于為各個(gè)區(qū)域所設(shè)定的空間抽取量而將空間抽取作用到各個(gè)區(qū)域之前，所述分辨率轉(zhuǎn)換步驟將空間濾波作用到所述圖像輸入步驟中獲得的圖像信號(hào)的各個(gè)區(qū)域上。
10.一種圖像處理裝置，包括圖像輸入裝置，用于輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換裝置，用于將由所述圖像輸入裝置獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出裝置，用于以預(yù)定幀速率輸出具有所述第二分辨率的圖像信號(hào)；其中所述分辨率轉(zhuǎn)換裝置包括運(yùn)動(dòng)量檢測(cè)器和分辨率轉(zhuǎn)換器，所述運(yùn)動(dòng)量檢測(cè)器用于檢測(cè)在對(duì)應(yīng)于所述圖像輸入裝置中所獲得的所述圖像信號(hào)的圖像至少部分區(qū)域中的運(yùn)動(dòng)量，所述分辨率轉(zhuǎn)換器用于基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
11.如權(quán)利要求10所述的圖像處理裝置，其中所述分辨率轉(zhuǎn)換裝置進(jìn)行提供這種視覺效應(yīng)的空間抽取，當(dāng)以所述預(yù)定幀速率顯示由所述輸出裝置輸出的圖像信號(hào)時(shí)，所述視覺效應(yīng)呈現(xiàn)出超過所述第二分辨率的分辨率。
12.如權(quán)利要求11所述的圖像處理裝置，其中在空間抽取中的抽取量是基于所述區(qū)域中的運(yùn)動(dòng)量確定的。
13.如權(quán)利要求12所述的圖像處理裝置，其中在空間抽取中，相對(duì)于水平方向的抽取量是基于所述區(qū)域中相對(duì)于水平方向的運(yùn)動(dòng)量確定的，并且相對(duì)于垂直方向的抽取量是基于所述區(qū)域中相對(duì)于垂直方向的運(yùn)動(dòng)量確定的。
14.如權(quán)利要求10所述的圖像處理裝置，其中在空間抽取中的抽取量隨所述幀速率增加而增加。
15.如權(quán)利要求11所述的圖像處理裝置，其中在對(duì)每個(gè)幀的空間抽取中，確定空間抽取的量，使得時(shí)間上在所述幀之前或之后預(yù)定數(shù)量的相鄰幀中被抽取信號(hào)的所有混疊分量彼此抵消。
16.如權(quán)利要求11所述的圖像處理裝置，其中所述分辨率轉(zhuǎn)換裝置還包括存儲(chǔ)單元，用于存儲(chǔ)包括與所述運(yùn)動(dòng)量相關(guān)的空間抽取量的表，其中在空間抽取中的所述空間抽取量是參照所述表而確定的。
17.如權(quán)利要求11所述的圖像處理裝置，其中所述分辨率轉(zhuǎn)換裝置將所述空間抽取作用到這樣的信號(hào)上，即通過對(duì)由所述圖像輸入裝置獲得的圖像信號(hào)在空間上進(jìn)行濾波而獲得的信號(hào)。
18.如權(quán)利要求10所述的圖像處理裝置，其中所述運(yùn)動(dòng)量檢測(cè)器將由所述圖像輸入裝置獲得的圖像分割成多個(gè)區(qū)域，并檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量。
19.如權(quán)利要求10所述的圖像處理裝置，其中所述分辨率轉(zhuǎn)換裝置被安裝在半導(dǎo)體器件上。
20.一種圖像處理裝置，包括圖像輸入裝置，用于輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換裝置，用于將由所述圖像輸入裝置獲得的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出裝置，用于以預(yù)定幀速率輸出具有所述第二分辨率的圖像信號(hào)；其中所述分辨率轉(zhuǎn)換裝置包括運(yùn)動(dòng)量檢測(cè)器和分辨率轉(zhuǎn)換器，所述運(yùn)動(dòng)量檢測(cè)器用于將由所述圖像輸入裝置獲得的圖像信號(hào)分割成多個(gè)區(qū)域，并檢測(cè)各個(gè)區(qū)域中的運(yùn)動(dòng)量，所述分辨率轉(zhuǎn)換器用于基于所檢測(cè)到的運(yùn)動(dòng)量為各個(gè)區(qū)域設(shè)定空間抽取量，并在基于為各個(gè)區(qū)域所設(shè)定的空間抽取量而將空間抽取作用到各個(gè)區(qū)域之前，將空間濾波作用到由所述圖像輸入裝置獲得的圖像信號(hào)的各個(gè)區(qū)域上。
21.如權(quán)利要求20所述的圖像處理裝置，其中所述分辨率轉(zhuǎn)換裝置被安裝在半導(dǎo)體器件上。
22.一種成像程序，包括圖像輸入步驟，其輸入具有第一分辨率的圖像信號(hào)；分辨率轉(zhuǎn)換步驟，其將所述圖像輸入步驟中輸入的圖像信號(hào)轉(zhuǎn)換為具有第二分辨率的圖像信號(hào)，所述第二分辨率低于所述第一分辨率；和輸出步驟，其以預(yù)定幀速率輸出對(duì)應(yīng)于具有所述第二分辨率的所述圖像信號(hào)的圖像；其中所述分辨率轉(zhuǎn)換步驟檢測(cè)在對(duì)應(yīng)于所述圖像輸入步驟中輸入圖像信號(hào)的圖像的至少部分區(qū)域中的運(yùn)動(dòng)量，并基于檢測(cè)到的運(yùn)動(dòng)量來轉(zhuǎn)換所述區(qū)域的分辨率。
全文摘要
當(dāng)輸出單元能夠以幀速率為F和分辨率為 x×y個(gè)像素進(jìn)行操作時(shí)，成像單元或圖像輸入單元將圖像轉(zhuǎn)換為幀速率為F、分辨率為ix×jy個(gè)像素的內(nèi)部數(shù)據(jù)格式的成像幀。圖像轉(zhuǎn)換器將由成像單元或圖像輸入單元所提供的成像幀的分辨率轉(zhuǎn)換為可以由輸出單元表示的分辨率，從而生成具有x×y個(gè)像素的輸出幀。此時(shí)，圖像轉(zhuǎn)換器基于每個(gè)具有預(yù)定大小的塊圖像的運(yùn)動(dòng)速度，進(jìn)行預(yù)定的分辨率轉(zhuǎn)換。這樣，可實(shí)現(xiàn)這種視覺效應(yīng)，即輸出幀的圖像的觀察者感知到分辨率超過輸出幀的實(shí)際分辨率的圖像。
文檔編號(hào)G06T5/50GK1627814SQ200410086659
公開日2005年6月15日 申請(qǐng)日期2004年12月10日 優(yōu)先權(quán)日2003年12月10日
發(fā)明者小林誠(chéng)司, 小柳津秀紀(jì), 平澤康孝 申請(qǐng)人:索尼株式會(huì)社