專(zhuān)利名稱(chēng)：帶有降質(zhì)的圖像處理單元的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于根據(jù)輸入圖像序列計(jì)算輸出圖像序列的圖像處理單元，包括-運(yùn)動(dòng)估計(jì)單元，用于根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)，運(yùn)動(dòng)矢量場(chǎng)包括屬于第一組像素的第一運(yùn)動(dòng)矢量和屬于第二組像素的第二運(yùn)動(dòng)矢量；-質(zhì)量測(cè)量單元，用于計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量的值；-內(nèi)插單元，用于利用輸入圖像的像素值的內(nèi)插計(jì)算輸出圖像的第一圖像，該內(nèi)插基于運(yùn)動(dòng)矢量場(chǎng)；和-控制單元，根據(jù)質(zhì)量測(cè)量控制內(nèi)插單元。
本發(fā)明進(jìn)一步涉及一種圖像處理裝置，包括-接收裝置，用于接收對(duì)應(yīng)于輸入圖像序列的信號(hào)；和-這種圖像處理單元，用于根據(jù)輸入圖像序列計(jì)算輸出圖像序列。
本發(fā)明進(jìn)一步涉及一種根據(jù)輸入圖像序列計(jì)算輸出圖像序列的方法，包括-根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)，運(yùn)動(dòng)矢量場(chǎng)包括屬于第一組像素的第一運(yùn)動(dòng)矢量和屬于第二組像素的第二運(yùn)動(dòng)矢量；-計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量的值；-利用輸入圖像的像素值的內(nèi)插計(jì)算輸出圖像的第一圖像，該內(nèi)插基于運(yùn)動(dòng)矢量場(chǎng)；和-根據(jù)質(zhì)量測(cè)量控制像素值的內(nèi)插。
背景技術(shù)：
運(yùn)動(dòng)估計(jì)在許多視頻信號(hào)處理的應(yīng)用中起著重要的作用。象圖像速率上變換、去隔行和視頻壓縮這樣的應(yīng)用，所得圖像質(zhì)量能夠通過(guò)使用運(yùn)動(dòng)矢量而大大改善。對(duì)于視頻壓縮，即編碼，運(yùn)動(dòng)估計(jì)對(duì)降低存儲(chǔ)和傳輸?shù)男枨笾陵P(guān)重要。尤其是通常用于圖像速率上變換、去隔行和視頻格式轉(zhuǎn)換的運(yùn)動(dòng)估計(jì)單元，得出“真”運(yùn)動(dòng)矢量場(chǎng)至關(guān)重要?！罢妗边\(yùn)動(dòng)矢量場(chǎng)精確描述了圖像中的實(shí)際運(yùn)動(dòng)。通常，用于編碼的運(yùn)動(dòng)估計(jì)單元不具有這種嚴(yán)格的條件。結(jié)果，不精確的運(yùn)動(dòng)矢量場(chǎng)造成額外的存儲(chǔ)和傳輸需求。
文獻(xiàn)中記載了大量不同的運(yùn)動(dòng)估計(jì)算法。為了縱覽，參看書(shū)“Digital Signal Processing”，A.Tekalp，Prentice Hall，1995，ISBN 0-13-190075-7。對(duì)于消費(fèi)類(lèi)應(yīng)用來(lái)說(shuō)，許多運(yùn)動(dòng)估計(jì)單元計(jì)算過(guò)于復(fù)雜，或者不能達(dá)到消費(fèi)類(lèi)應(yīng)用所必需的質(zhì)量級(jí)別。象G.de Haan在“Motionestimation and compensation”，Ph.D.thesis，Technical UniversityDelft，1992中描述的三維遞歸搜索或R.Wittebrood和G.de Haan在Proceedings of ICCE，230-231頁(yè)，IEEE，2000年6月的“Second generationDSP software for picture rate conversion”中描述的、基于對(duì)象的估計(jì)器的運(yùn)動(dòng)估計(jì)算法，嘗試估計(jì)大量視頻序列的真運(yùn)動(dòng)，并且成功了。但是仍然有一些視頻序列，運(yùn)動(dòng)估計(jì)單元未能對(duì)其估計(jì)真運(yùn)動(dòng)?？赡艹霈F(xiàn)失敗的典型視頻序列是具有很大運(yùn)動(dòng)、大均勻區(qū)域、重復(fù)結(jié)構(gòu)的序列，和具有大加速度或小運(yùn)動(dòng)對(duì)象的序列。如果運(yùn)動(dòng)估計(jì)單元未能估計(jì)正確的運(yùn)動(dòng)，使用這些錯(cuò)誤的、不精確的運(yùn)動(dòng)矢量會(huì)在運(yùn)動(dòng)補(bǔ)償結(jié)果中產(chǎn)生惱人的人為失真。這些人為失真甚至可能大于由旨在得到類(lèi)似結(jié)果的不太復(fù)雜的補(bǔ)償算法產(chǎn)生的人為失真。因此，需要檢測(cè)運(yùn)動(dòng)估計(jì)單元的工作是否作得好，即所得運(yùn)動(dòng)矢量場(chǎng)是否正確和精確。
許多用于檢測(cè)錯(cuò)誤運(yùn)動(dòng)矢量場(chǎng)的不同算法可從文獻(xiàn)得知，和/或在目前的電子設(shè)備中執(zhí)行。在下文中，討論多個(gè)這樣的方法。即描述多個(gè)運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量。運(yùn)動(dòng)估計(jì)單元通常在圖像中存在大速度時(shí)失敗。這是由某些運(yùn)動(dòng)估計(jì)單元為運(yùn)動(dòng)矢量定義的有限范圍造成的。這可以在塊匹配器中見(jiàn)到(參見(jiàn)引用的書(shū)“Digital Signal Processing”)。另一個(gè)原因是支持運(yùn)動(dòng)估計(jì)單元的假設(shè)僅對(duì)小運(yùn)動(dòng)有效，該假設(shè)隨著漸增的運(yùn)動(dòng)變得越來(lái)越不精確。這對(duì)于像素遞歸估計(jì)器或光流估計(jì)器是這樣的(參見(jiàn)引用的書(shū)”Digital Signal Processing”)。因此，對(duì)于運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量，使用得最多的指示是視頻序列中存在的對(duì)象的運(yùn)動(dòng)幅度的一些測(cè)量。在對(duì)象、段、圖像區(qū)或塊的運(yùn)動(dòng)超過(guò)預(yù)定閾值時(shí)，打開(kāi)降質(zhì)(fall-back)算法。使用降質(zhì)算法的概念在EP0,648,046中公開(kāi)。可以例如如下執(zhí)行
其中對(duì)必須判決是否要打開(kāi)降質(zhì)處理的區(qū)域R，N是區(qū)域R中的位置 處的運(yùn)動(dòng)矢量 的數(shù)目。T1是可以局部適應(yīng)圖像內(nèi)容的閾值。
通常，運(yùn)動(dòng)估計(jì)是一個(gè)優(yōu)化問(wèn)題。對(duì)于圖像中的每個(gè)對(duì)象、段、圖像區(qū)或塊，對(duì)一組候選運(yùn)動(dòng)矢量進(jìn)行匹配誤差最小化。例如，該匹配誤差可以是絕對(duì)差的和(SAD)SAD=Σx→∈R|F(D→(x→),n)-F(D→(x→),n-1)|---(2)]]>其它的匹配準(zhǔn)則是互相關(guān)和均方誤差。顯然，運(yùn)動(dòng)矢量越好，匹配誤差越低。因此，匹配誤差是運(yùn)動(dòng)矢量質(zhì)量的指示并可以被用來(lái)檢測(cè)錯(cuò)誤運(yùn)動(dòng)矢量。如果對(duì)象的匹配誤差超過(guò)預(yù)定閾值，則運(yùn)動(dòng)矢量錯(cuò)誤的概率就大。這種降質(zhì)檢測(cè)在US5.940.145和US5.546.130中公開(kāi)。作為舉例 其中運(yùn)動(dòng)補(bǔ)償?shù)牟钤趨^(qū)域R中的所有位置 求和。 和 是當(dāng)前和先前圖像的亮度值， 是位置 的運(yùn)動(dòng)矢量。
通常，自然圖像序列的真運(yùn)動(dòng)矢量場(chǎng)是時(shí)空一致的。眾所周知，時(shí)空矛盾測(cè)量是運(yùn)動(dòng)矢量場(chǎng)正確性的較好指示。參見(jiàn)G.de Haan“Motionestimation and compensation”，Ph.D.thesis，Technical UniversityDelft，1992。如果運(yùn)動(dòng)矢量場(chǎng)空間或時(shí)間上很矛盾，就要打開(kāi)降質(zhì)算法。例如，如果時(shí)間上矛盾 其中連續(xù)圖像的對(duì)應(yīng)運(yùn)動(dòng)矢量之間的所有差相加。如果空間上矛盾 其中 是包含 的所有鄰近位置的組。
也可以使用例如上述類(lèi)型的多個(gè)質(zhì)量測(cè)量的合并。合并給出比單個(gè)測(cè)量更穩(wěn)健的結(jié)果。依靠該合并測(cè)量，就可以確定是否要打開(kāi)降質(zhì)算法。該方法在US5.546.130中公開(kāi)。
代替選擇降質(zhì)或不降質(zhì)，也可以使用質(zhì)量測(cè)量實(shí)現(xiàn)內(nèi)插算法之間更漸進(jìn)的轉(zhuǎn)換。此時(shí)，質(zhì)量測(cè)量用作混合參數(shù)，降質(zhì)內(nèi)插和運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插的結(jié)果以混合參數(shù)，即運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量確定的比例混合。
通常，上述質(zhì)量測(cè)量是運(yùn)動(dòng)矢量場(chǎng)整體質(zhì)量的較好指示。因此，可用作降質(zhì)處理的檢測(cè)。但是，還存在這些指示失敗的情況。典型的示例是和其周?chē)啾染哂休^高速度的較小對(duì)象。這將通過(guò)示例解釋。假定在山峰的背景上飛行的飛機(jī)的圖像序列。飛機(jī)被攝像機(jī)跟蹤，背景從左向右移動(dòng)。飛機(jī)的平均亮度值略低于背景的平均亮度，飛機(jī)的尺寸大約為5個(gè)塊，一個(gè)塊包括8×8個(gè)像素。背景的速度高，但是可以通過(guò)運(yùn)動(dòng)估計(jì)單元正確估計(jì)。問(wèn)題在于較小的飛機(jī)。運(yùn)動(dòng)估計(jì)單元在估計(jì)飛機(jī)的運(yùn)動(dòng)時(shí)失敗。許多塊被賦予了正確的運(yùn)動(dòng)，但是其它一些塊被賦予了背景的速度。因?yàn)轱w機(jī)的運(yùn)動(dòng)和背景的運(yùn)動(dòng)之間差較大，會(huì)由使用這些運(yùn)動(dòng)矢量產(chǎn)生相當(dāng)多的人為失真。對(duì)于圖像率上變換的情況，飛機(jī)將分解破碎，一部分由正確的運(yùn)動(dòng)描述，另一部分由背景的速度描述。通常，觀眾的眼睛將集中在飛機(jī)上，因?yàn)檫@是攝像機(jī)跟蹤的對(duì)象。飛機(jī)錯(cuò)誤的重現(xiàn)會(huì)非常惱人。

發(fā)明內(nèi)容
發(fā)明的目的是提供一種在開(kāi)始段落中描述的那種圖像處理單元，改善了錯(cuò)誤運(yùn)動(dòng)矢量場(chǎng)的檢測(cè)。
實(shí)現(xiàn)發(fā)明的該目的在于質(zhì)量測(cè)量單元配置為根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。優(yōu)選地，第一組像素是第二組像素的鄰近像素組。典型地，像素組是像素塊。優(yōu)選地，如果質(zhì)量測(cè)量的值低于預(yù)定閾值，內(nèi)插單元配置為根據(jù)運(yùn)動(dòng)矢量場(chǎng)進(jìn)行輸入圖像的像素值的運(yùn)動(dòng)補(bǔ)償內(nèi)插，如果質(zhì)量測(cè)量的值高于預(yù)定閾值，則配置為執(zhí)行輸入圖像的像素值的替代內(nèi)插。
重要的觀測(cè)數(shù)據(jù)是上述人為失真即分解破碎的對(duì)象將變得更明顯而惱人，因?yàn)檎_和指定的運(yùn)動(dòng)之間的差增加了。如果能夠檢測(cè)正確和指定的運(yùn)動(dòng)之間的差，則在該差超過(guò)預(yù)定閾值時(shí)將可以進(jìn)入降質(zhì)。由于正確的運(yùn)動(dòng)未知，所以需要啟發(fā)式的方法。上述那種最明顯的人為失真在移動(dòng)背景上跟蹤小對(duì)象時(shí)發(fā)生。由于對(duì)象被跟蹤，它的速度接近于零。如果零速度包括在運(yùn)動(dòng)估計(jì)單元對(duì)其進(jìn)行匹配誤差最小化的運(yùn)動(dòng)矢量候選組中，則跟蹤對(duì)象內(nèi)的許多塊被指定正確的運(yùn)動(dòng)矢量即零矢量的概率會(huì)很高。顯然，跟蹤對(duì)象的其它塊將被指定錯(cuò)誤的運(yùn)動(dòng)矢量，即背景的運(yùn)動(dòng)矢量。結(jié)果，將在跟蹤的對(duì)象內(nèi)存在錯(cuò)誤和正確的運(yùn)動(dòng)矢量，而且在該對(duì)象的有些地方，正確和錯(cuò)誤的矢量將位于鄰近的塊上。因此，兩個(gè)鄰近像素組的運(yùn)動(dòng)矢量之間的差或絕對(duì)差是跟蹤對(duì)象中正確和指定的運(yùn)動(dòng)之間的差的適當(dāng)近似。這些差的最大值，稱(chēng)為局部運(yùn)動(dòng)矢量對(duì)比，是降質(zhì)檢測(cè)的良好測(cè)量 上述其它質(zhì)量測(cè)量，即如方程式1、3-5中規(guī)定的質(zhì)量測(cè)量不能檢測(cè)該人為失真。如果對(duì)象的速度不是過(guò)高，則應(yīng)用方程式1不能檢測(cè)到問(wèn)題。平均匹配誤差將為低，因?yàn)檎麄€(gè)背景的運(yùn)動(dòng)被正確估計(jì)。由于飛機(jī)和背景的亮度值較類(lèi)似，局部匹配誤差也為低。因此，方程式3也不適合。運(yùn)動(dòng)矢量場(chǎng)也呈現(xiàn)很高的空間和很高的時(shí)間一致性。所以，方程式4和5將不觸發(fā)降質(zhì)處理。
雖然解釋集中在其中小對(duì)象被攝像機(jī)跟蹤的情況，但是在許多情況中，鄰近塊之間的運(yùn)動(dòng)矢量的差都是良好的測(cè)量。以下原因令此顯得有道理。首先，塊邊界與實(shí)際對(duì)象邊界不一致，這將產(chǎn)生人為失真，即使各塊的運(yùn)動(dòng)矢量正確。通常，這些人為失真在鄰近塊的運(yùn)動(dòng)矢量之間的差越大時(shí)越明顯。第二，當(dāng)前運(yùn)動(dòng)估計(jì)單元在遮掩區(qū)中失敗。在這些區(qū)域中發(fā)生典型的人為失真，稱(chēng)為暈輪(halo)。暈輪是目前運(yùn)動(dòng)估計(jì)單元的主要問(wèn)題之一。如果遮掩區(qū)中的鄰近速度相似，該暈輪就小，但是差越大，暈輪越大，暈輪越明顯而惱人。第三，真運(yùn)動(dòng)矢量場(chǎng)時(shí)空都一致。實(shí)際上，幾乎所有的運(yùn)動(dòng)估計(jì)單元將該一致性強(qiáng)加于運(yùn)動(dòng)矢量場(chǎng)。最后，如果運(yùn)動(dòng)估計(jì)單元在可編程裝置上實(shí)施，大的鄰近速度差意味著視頻數(shù)據(jù)能夠被有效存儲(chǔ)的概率為低。這會(huì)導(dǎo)致性能問(wèn)題，和由這些性能問(wèn)題產(chǎn)生的人為失真，例如跳幀。
在如方程式5中規(guī)定的空間矛盾測(cè)量和如方程式6中規(guī)定的局部運(yùn)動(dòng)矢量對(duì)比之間存在重要的差異。在空間一致性確定了指示運(yùn)動(dòng)矢量場(chǎng)整體質(zhì)量的測(cè)量的地方，局部運(yùn)動(dòng)矢量對(duì)比指示了在圖像中會(huì)看到顯著的人為失真的概率。因此，局部運(yùn)動(dòng)矢量對(duì)比是很?chē)?yán)格的測(cè)量，應(yīng)當(dāng)特別在觀察者對(duì)人為失真很挑剔和不是必須使用運(yùn)動(dòng)矢量的應(yīng)用中使用?？臻g矛盾測(cè)量應(yīng)當(dāng)在運(yùn)動(dòng)矢量不能被忽略和產(chǎn)生的人為失真可以以其它方式例如在視頻壓縮中來(lái)掩蓋的地方使用。
在按照發(fā)明的圖像處理單元的實(shí)施例中，其中內(nèi)插單元配置為執(zhí)行替代內(nèi)插，替代內(nèi)插包括非運(yùn)動(dòng)補(bǔ)償內(nèi)插。這可以通過(guò)將包括等于零的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)提供給內(nèi)插單元來(lái)實(shí)現(xiàn)。替代地，向內(nèi)插單元提供的運(yùn)動(dòng)矢量不與運(yùn)動(dòng)估計(jì)單元計(jì)算的運(yùn)動(dòng)矢量對(duì)應(yīng)，但是由這些運(yùn)動(dòng)矢量產(chǎn)生，例如通過(guò)將運(yùn)動(dòng)矢量的長(zhǎng)度除以因子。由此，按照發(fā)明的圖像處理單元的實(shí)施例配置為從基本上正確運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插逐漸減弱到完全沒(méi)有運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插。
在按照發(fā)明的圖像處理單元的另一實(shí)施例中，替代內(nèi)插包括輸入圖像像素值的復(fù)制。這是指多個(gè)輸入圖像被直接復(fù)制來(lái)形成多個(gè)輸出圖像。該實(shí)施例的優(yōu)點(diǎn)是其簡(jiǎn)易性。
在按照發(fā)明的圖像處理單元的另一實(shí)施例中，質(zhì)量測(cè)量單元配置為根據(jù)第一運(yùn)動(dòng)矢量的水平分量和第二運(yùn)動(dòng)矢量的水平分量之間的最大差計(jì)算質(zhì)量測(cè)量的值。在多數(shù)圖像序列中，對(duì)象，例如演員或車(chē)輛都沿水平方向運(yùn)動(dòng)。集中于水平運(yùn)動(dòng)是有利的。由于同樣的原因，優(yōu)選地，對(duì)應(yīng)第一運(yùn)動(dòng)矢量的第一組像素位于對(duì)應(yīng)第二運(yùn)動(dòng)矢量的第二組像素的水平位置。
在按照發(fā)明的圖像處理單元的另一實(shí)施例中，預(yù)定閾值是自適應(yīng)閾值。優(yōu)選地，自適應(yīng)閾值基于為運(yùn)動(dòng)矢量計(jì)算的匹配誤差。如果匹配誤差較低，則自適應(yīng)閾值的值應(yīng)當(dāng)較高，因?yàn)檫\(yùn)動(dòng)矢量正確的概率此時(shí)較高。按照發(fā)明的該實(shí)施例的優(yōu)點(diǎn)是更穩(wěn)健的降質(zhì)判決策略。
發(fā)明的另一目的是提供一種在開(kāi)始段落中描述的那種圖像處理裝置，改善了錯(cuò)誤運(yùn)動(dòng)矢量場(chǎng)的檢測(cè)。
實(shí)現(xiàn)發(fā)明的該目的在于質(zhì)量測(cè)量單元配置為根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。圖像處理裝置可以包括附加部件，例如用于顯示輸出圖像的顯示裝置。圖像處理單元支持一個(gè)或多個(gè)以下類(lèi)型的圖像處理-去隔行隔行是交替發(fā)送奇數(shù)或偶數(shù)圖像行的普通視頻廣播方法。去隔行用于恢復(fù)完整的垂直分辨率，即，使每個(gè)圖像的奇數(shù)和偶數(shù)行同時(shí)可用；-上變換從一系列原始輸入圖像計(jì)算更大系列的輸出圖像。輸出圖像時(shí)間上位于兩個(gè)原始輸入圖像之間；
-時(shí)間降噪。這也包括空間處理，產(chǎn)生時(shí)空降噪；和-視頻壓縮，即編碼或解碼，例如按照MPEG標(biāo)準(zhǔn)。
發(fā)明的另一目的是提供一種在開(kāi)始段落中描述的那種方法，改善了錯(cuò)誤運(yùn)動(dòng)矢量場(chǎng)的檢測(cè)。
實(shí)現(xiàn)發(fā)明的該目的在于根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。
圖像處理單元的改變和其變化可以對(duì)應(yīng)所述的圖像處理裝置和方法的改變和變化。


按照發(fā)明的圖像處理單元、圖像處理裝置和方法的這些和其它方面將參考相應(yīng)附圖就下文所述實(shí)施和示例變得明顯并且參考相應(yīng)附圖就下文所述實(shí)施和示例說(shuō)明清楚，其中圖1示意性示出了圖像處理單元的實(shí)施例；圖2示意性示出了配置為在運(yùn)動(dòng)補(bǔ)償和非運(yùn)動(dòng)補(bǔ)償內(nèi)插器之間切換的圖像處理單元的實(shí)施例；圖3示意性示出了配置為混合來(lái)自運(yùn)動(dòng)補(bǔ)償和非運(yùn)動(dòng)補(bǔ)償內(nèi)插器的中間圖像的圖像處理單元的實(shí)施例；和圖4示意性示出了按照發(fā)明的圖像處理裝置的實(shí)施例。
相同的參考號(hào)用于在所有附圖中表示類(lèi)似的部分。
具體實(shí)施例方式
圖1示意性示出了按照發(fā)明的圖像處理單元100的實(shí)施例。此時(shí)，圖像處理單元100對(duì)應(yīng)于掃描率上變換器。向圖像處理單元100提供了表示輸入連接器110處的輸入圖像序列的信號(hào)，和表示輸出連接器112處的輸出圖像序列的信號(hào)。輸出圖像數(shù)目高于輸入圖像數(shù)目。一些輸出圖像時(shí)間上位于兩個(gè)原始輸入圖像之間。圖像處理單元100包括-運(yùn)動(dòng)估計(jì)單元102，用于根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)。運(yùn)動(dòng)矢量場(chǎng)包括運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)單元102是例如G.de Haan等在1993年10月IEEE Transactions on circuits and systems for videotechnology，vol.3，no.5，368-379頁(yè)的文章“True-Motion Estimationwith 3-D Recursive Search Block Matching”中規(guī)定的；-質(zhì)量測(cè)量單元104，用于計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量值。質(zhì)量測(cè)量根據(jù)運(yùn)動(dòng)矢量場(chǎng)的鄰近運(yùn)動(dòng)矢量之間的最大差來(lái)計(jì)算，如在方程式6中規(guī)定的。除了該計(jì)算，其它計(jì)算，例如在方程式1、3-5中規(guī)定的，被執(zhí)行來(lái)估計(jì)運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量；-內(nèi)插單元106，用于利用輸入圖像像素值的內(nèi)插計(jì)算輸出圖像的第一圖像。內(nèi)插單元被設(shè)計(jì)為支持各種內(nèi)插，從基于由運(yùn)動(dòng)估計(jì)單元102提供的運(yùn)動(dòng)矢量場(chǎng)的運(yùn)動(dòng)補(bǔ)償內(nèi)插，到復(fù)制原始圖像像素值以獲得輸出圖像。結(jié)合圖2和3來(lái)描述各種內(nèi)插。
-控制單元108，根據(jù)計(jì)算的質(zhì)量測(cè)量控制內(nèi)插單元。
圖像處理單元100的工作如下。對(duì)于每對(duì)連續(xù)輸入圖像，計(jì)算運(yùn)動(dòng)矢量場(chǎng)。每個(gè)運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量通過(guò)計(jì)算質(zhì)量測(cè)量來(lái)確定。該質(zhì)量測(cè)量利用控制單元108與預(yù)定閾值比較。如果運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量令人滿意，則控制單元觸發(fā)內(nèi)插單元106根據(jù)運(yùn)動(dòng)矢量場(chǎng)計(jì)算運(yùn)動(dòng)補(bǔ)償?shù)妮敵鰣D像。典型地，輸出圖像序列既包括輸入圖像的直接復(fù)制，也包括基于多個(gè)輸入圖像的內(nèi)插圖像。但是如果運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量整體上、特別是局部不令人滿意，則內(nèi)插的類(lèi)型逐漸轉(zhuǎn)換為非運(yùn)動(dòng)補(bǔ)償內(nèi)插。
顯然，按照發(fā)明的質(zhì)量測(cè)量能夠與其它質(zhì)量測(cè)量例如如方程式1、3-5規(guī)定的質(zhì)量測(cè)量合并。
運(yùn)動(dòng)估計(jì)單元102、質(zhì)量測(cè)量單元104、內(nèi)插單元106和控制單元108可以使用一個(gè)處理器來(lái)實(shí)現(xiàn)。通常，在軟件程序產(chǎn)品的控制下執(zhí)行這些功能。在執(zhí)行期間，軟件程序產(chǎn)品通常被裝載到存儲(chǔ)器例如RAM中并從其執(zhí)行。程序可以從后臺(tái)存儲(chǔ)器例如ROM、硬盤(pán)或磁和/或光存儲(chǔ)器或者可以經(jīng)網(wǎng)絡(luò)例如互聯(lián)網(wǎng)來(lái)裝載。可選擇特定用途集成電路來(lái)提供公開(kāi)的功能。
圖2示意性示出了配置為在運(yùn)動(dòng)補(bǔ)償內(nèi)插器202和非運(yùn)動(dòng)補(bǔ)償內(nèi)插器204之間切換的圖像處理單元200的實(shí)施例。內(nèi)插單元包括開(kāi)關(guān)206，利用控制單元108來(lái)控制。如果控制單元108確定運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量良好，則在輸出連接器112提供由運(yùn)動(dòng)補(bǔ)償內(nèi)插器202計(jì)算的圖像。但是，如果控制單元108確定運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量不好，則在輸出連接器112提供由非運(yùn)動(dòng)補(bǔ)償內(nèi)插器204計(jì)算的圖像。因此，內(nèi)插單元106是在運(yùn)動(dòng)補(bǔ)償模式或非運(yùn)動(dòng)補(bǔ)償模式中。
可選地，內(nèi)插單元106支持附加模式。例如，開(kāi)關(guān)206保持對(duì)應(yīng)于傳輸來(lái)自運(yùn)動(dòng)補(bǔ)償內(nèi)插器202的圖像的狀態(tài)，盡管控制裝置108已經(jīng)確定運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量不足。但是，代替直接應(yīng)用運(yùn)動(dòng)矢量場(chǎng)計(jì)算內(nèi)插圖像，如由運(yùn)動(dòng)估計(jì)單元104計(jì)算的，現(xiàn)在內(nèi)插根據(jù)修改的運(yùn)動(dòng)矢量場(chǎng)。修改的類(lèi)型可以是運(yùn)動(dòng)矢量和從1.0經(jīng)0.75、0.5、0.25變化到0.0的加權(quán)因子的乘積。
圖3示意性示出了配置為混合來(lái)自運(yùn)動(dòng)補(bǔ)償內(nèi)插器202和非運(yùn)動(dòng)補(bǔ)償內(nèi)插器204的中間圖像的另一圖像處理單元300的實(shí)施例。內(nèi)插單元包括利用控制單元108控制的兩個(gè)乘法器302和304，和加法器306，用于對(duì)由運(yùn)動(dòng)補(bǔ)償內(nèi)插器202和非運(yùn)動(dòng)補(bǔ)償內(nèi)插器204分別提供的兩個(gè)加權(quán)中間圖像序列求和。乘法器302和304配置為分別用第一乘法因子k和第二乘法因子1-k乘以?xún)蓚€(gè)中間圖像序列。k的值和質(zhì)量測(cè)量的值有關(guān)。如果運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量較高，則k的值等于1.0，如果運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量較低，則k的值等于0.0。
可選擇為控制裝置108提供運(yùn)動(dòng)矢量場(chǎng)的匹配誤差。應(yīng)用這些匹配誤差來(lái)自適應(yīng)如方程式6中規(guī)定的預(yù)定閾值。這是指此時(shí)的預(yù)定閾值是自適應(yīng)閾值。如果匹配誤差較低，則自適應(yīng)閾值的值應(yīng)較高，因?yàn)檫\(yùn)動(dòng)矢量正確的概率此時(shí)較高。
圖4示意性示出了按照發(fā)明的圖像處理裝置400的實(shí)施例，包括-接收裝置402，用于接收表示輸入圖像的信號(hào)。信號(hào)可以是經(jīng)天線和有線接收到的廣播信號(hào)，也可以是來(lái)自存儲(chǔ)裝置例如VCR(錄像機(jī))和數(shù)字通用盤(pán)(DVD)的信號(hào)。在輸入連接器408提供信號(hào)；-如結(jié)合圖1、2或3之一描述的圖像處理單元404；和-顯示裝置406，用于顯示圖像處理單元404的輸出圖像。該顯示裝置406是可選的。
圖像處理裝置400可以例如是TV?？蛇x擇地，圖像處理裝置400不包括可選顯示裝置，而為包括顯示裝置406的設(shè)備提供輸出圖像。從而圖像處理裝置400可以例如是機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器或DVD播放器。但是，它也可以是由電影廠或廣插公司應(yīng)用的系統(tǒng)。
應(yīng)當(dāng)說(shuō)明，上述實(shí)施例說(shuō)明而不是限制發(fā)明，本領(lǐng)域的技術(shù)人員能夠不脫離所附權(quán)利要求的范圍設(shè)計(jì)出替代的實(shí)施例。在權(quán)利要求中，任何位于括號(hào)之間的參考號(hào)不應(yīng)解釋為限制權(quán)利要求。單詞“包括”不排除未在權(quán)利要求中列出的元件或步驟的存在。元件之前的單詞“一個(gè)”不排除多個(gè)這種元件的存在。發(fā)明可以利用包括幾個(gè)不同元件的硬件和利用適當(dāng)編程的計(jì)算機(jī)來(lái)實(shí)現(xiàn)。在單元權(quán)利要求中列舉了結(jié)構(gòu)裝置，這些裝置的結(jié)構(gòu)可以由同一個(gè)元件包含。
權(quán)利要求
1.一種圖像處理單元(100，200，300)，用于根據(jù)輸入圖像序列計(jì)算輸出圖像序列，包括-運(yùn)動(dòng)估計(jì)單元(102)，用于根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)，運(yùn)動(dòng)矢量場(chǎng)包括屬于第一組像素的第一運(yùn)動(dòng)矢量和屬于第二組像素的第二運(yùn)動(dòng)矢量；-質(zhì)量測(cè)量單元(104)，用于計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量值；-內(nèi)插單元(106)，用于利用輸入圖像的像素值的內(nèi)插計(jì)算輸出圖像的第一圖像，內(nèi)插基于運(yùn)動(dòng)矢量場(chǎng)；和-控制裝置(108)，根據(jù)質(zhì)量測(cè)量控制內(nèi)插單元(106)，其特征在于質(zhì)量測(cè)量單元(104)配置為根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。
2.如權(quán)利要求1所述的圖像處理單元(100，200，300)，其特征在于第一組像素是第二組像素的鄰近像素組。
3.如權(quán)利要求1或2所述的圖像處理單元(100，200，300)，特征在于如果質(zhì)量測(cè)量的值低于預(yù)定閾值，內(nèi)插單元(106)配置為根據(jù)運(yùn)動(dòng)矢量場(chǎng)執(zhí)行輸入圖像的像素值的運(yùn)動(dòng)補(bǔ)償內(nèi)插，如果質(zhì)量測(cè)量的值高于預(yù)定閾值，則配置為執(zhí)行輸入圖像的像素值的替代內(nèi)插。
4.如權(quán)利要求3所述的圖像處理單元(100，200，300)，其特征在于替代內(nèi)插包括非運(yùn)動(dòng)補(bǔ)償內(nèi)插。
5.如權(quán)利要求3所述的圖像處理單元(100，200，300)，其特征在于替代內(nèi)插包括輸入圖像的像素值的復(fù)制。
6.如權(quán)利要求2所述的圖像處理單元(100，200，300)，其特征在于質(zhì)量測(cè)量單元(104)配置為根據(jù)第一運(yùn)動(dòng)矢量的水平分量和第二運(yùn)動(dòng)矢量的水平分量之間的最大差計(jì)算質(zhì)量測(cè)量的值。
7.如權(quán)利要求2所述的圖像處理單元(100，200，300)，其特征在于第一像素組位于第二像素組的水平位置。
8.如權(quán)利要求3所述的圖像處理單元(100，200，300)，其特征在于預(yù)定閾值是自適應(yīng)閾值。
9.如權(quán)利要求8所述的圖像處理單元(100，200，300)，其特征在于自適應(yīng)閾值基于為第一和第二運(yùn)動(dòng)矢量計(jì)算的匹配誤差。
10.一種圖像處理裝置(400)，包括-接收裝置(402)，用于接收對(duì)應(yīng)于輸入圖像序列的信號(hào)；和-如權(quán)利要求1所述的圖像處理單元(100，200，300)，用于根據(jù)輸入圖像序列計(jì)算輸出圖像序列。
11.如權(quán)利要求10所述的圖像處理裝置(400)，其特征在于進(jìn)一步包括用于顯示輸出圖像的顯示裝置(406)。
12.如權(quán)利要求11所述的圖像處理裝置(400)，其特征在于它是TV。
13.一種根據(jù)輸入圖像序列計(jì)算輸出圖像序列的方法，包括-根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)，運(yùn)動(dòng)矢量場(chǎng)包括屬于第一組像素的第一運(yùn)動(dòng)矢量和屬于第二組像素的第二運(yùn)動(dòng)矢量；-計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量值；-利用輸入圖像的像素值的內(nèi)插計(jì)算輸出圖像的第一圖像，內(nèi)插基于運(yùn)動(dòng)矢量場(chǎng)；和-根據(jù)質(zhì)量測(cè)量控制像素值的內(nèi)插，特征在于根據(jù)第一運(yùn)動(dòng)矢量和第二運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。
全文摘要
一種圖像處理單元(100，200，300)，用于根據(jù)輸入圖像序列計(jì)算輸出圖像序列，包括運(yùn)動(dòng)估計(jì)單元(102)，用于根據(jù)輸入圖像計(jì)算運(yùn)動(dòng)矢量場(chǎng)；質(zhì)量測(cè)量單元(104)，用于計(jì)算運(yùn)動(dòng)矢量場(chǎng)的質(zhì)量測(cè)量值；內(nèi)插單元(106)，用于根據(jù)運(yùn)動(dòng)矢量場(chǎng)利用輸入圖像的像素值的內(nèi)插計(jì)算輸出圖像；和控制裝置(108)，根據(jù)質(zhì)量測(cè)量控制內(nèi)插單元(106)。質(zhì)量測(cè)量單元(104)配置為根據(jù)鄰近運(yùn)動(dòng)矢量之間的最大差計(jì)算質(zhì)量測(cè)量的值。如果質(zhì)量測(cè)量的值低于預(yù)定閾值則執(zhí)行運(yùn)動(dòng)補(bǔ)償內(nèi)插，否則執(zhí)行非運(yùn)動(dòng)補(bǔ)償內(nèi)插。
文檔編號(hào)G06T7/20GK1706189SQ200380101806
公開(kāi)日2005年12月7日 申請(qǐng)日期2003年10月1日 優(yōu)先權(quán)日2002年10月22日
發(fā)明者G·德哈安, P·W·A·C·比伊澤恩, R·B·維特布魯?shù)?申請(qǐng)人:皇家飛利浦電子股份有限公司