專利名稱：空間信號變換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于把包括輸入樣本的輸入信號變換成包括輸出樣本的輸出信號的空間濾波器單元，該空間濾波器單元包括-用于確定第一濾波器系數(shù)的系數(shù)確定裝置；以及-自適應(yīng)濾波裝置，用于根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本。
本發(fā)明還涉及圖像處理設(shè)備，包括-接收裝置，用于接收輸入信號和另一個輸入信號；以及-如上所述的空間濾波器單元，用于把輸入信號變換成輸出信號。
本發(fā)明還涉及把包括輸入樣本的輸入信號變換成包括輸出樣本的輸出信號的方法，該方法包括-確定第一濾波器系數(shù)；以及-根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本。
本發(fā)明還涉及要由計算機(jī)裝置裝載的計算機(jī)程序產(chǎn)品，包括把包括輸入樣本的輸入信號變換成包括輸出樣本的輸出信號的指令，該計算機(jī)裝置包括處理裝置和存儲器，計算機(jī)程序產(chǎn)品在被裝載后給所述處理裝置提供執(zhí)行以下操作的能力-確定第一濾波器系數(shù)；以及-根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本。
HDTV的出現(xiàn)突出了對于空間上變換技術(shù)的需要，所述技術(shù)使標(biāo)準(zhǔn)清晰度(SD)的視頻材料得以在高清晰度(HD)電視機(jī)(TV)顯示器上被觀看。慣用的技術(shù)是諸如雙線性內(nèi)插那樣的線性內(nèi)插方法和使用多相位低通內(nèi)插濾波器的方法。前者因為它的低質(zhì)量在電視應(yīng)用中不流行，而后者由于市場上有銷售的IC而是可得到的。通過線性方法，幀中的象素數(shù)目增加，但所感知的圖像清晰度沒有提高。換句話說，顯示器的能力未被充分利用。
除了慣用的線性技術(shù)，提出了多種非線性算法來實現(xiàn)這種上變換。有時這些技術(shù)被稱為基于內(nèi)容的，內(nèi)容自適應(yīng)的，或依賴于邊緣的空間上變換。在Meng Zhao等，“Towards an overview of spatialup-conversion techniques(空間上變換技術(shù)綜述)”，ISCE學(xué)報2002，德國愛爾福特，2002年9月23-26日的綜述文章中描述了多種這樣的上變換技術(shù)。在這些文件中描述的內(nèi)容自適應(yīng)圖像向上定標(biāo)(upscaling)被證明比起根據(jù)采樣定理的線性上變換方法給出了大為改進(jìn)的清晰度感覺。
一種基于內(nèi)容的上變換是基于分類的上變換。基于分類的視頻上變換的主要思想是根據(jù)SD圖像內(nèi)容來調(diào)整HD圖像中的象素的計算。僅僅具有類似的特性的圖像塊將利用相同的空間濾波器特性(即濾波器系數(shù))被向上定標(biāo)。在內(nèi)插期間的瞬時濾波器系數(shù)取決于本地內(nèi)容，即代表輸入SD圖像的輸入信號的樣本的數(shù)值。在視頻變換的情形下，這些樣本可以是在圖像塊內(nèi)的象素的數(shù)值。本地內(nèi)容根據(jù)塊的數(shù)值圖案被分類為各種類別。為了得到濾波器系數(shù)，事先執(zhí)行學(xué)習(xí)過程。學(xué)習(xí)過程利用HD視頻和通過向下定標(biāo)HD視頻而被計算的SD視頻作為訓(xùn)練材料，以及使用LMS(最小均方)算法來確定最佳濾波器系數(shù)。由于大量的類別而使訓(xùn)練過程成為一個計算密集型過程。幸運地，它只需要執(zhí)行一次。優(yōu)選地，象素塊的分類通過使用ADRC(自適應(yīng)動態(tài)范圍編碼)被實現(xiàn)，它對于每個象素編碼1比特減小到QY=0:FSD<FAV1:FSD≥FAV---(1)]]>這里，F(xiàn)SD是SD象素的亮度值以及FAV是在濾波器系數(shù)確定裝置的當(dāng)前孔徑(aperture)中的象素的平均亮度值。Qr是ADRC的編碼結(jié)果。使用ADRC的理由是它易于實施。通過使用公式1，如果有256個可能的亮度值的話，對于包含12個象素的孔徑，類別的數(shù)目從812減小到212。連接孔徑中的各個象素的Q值獲得一個類別碼，它可被用作為從中生成濾波器系數(shù)的查找表的一個條目。還可以想到其它分類方法。
雖然基于內(nèi)容的變換方法相當(dāng)好地執(zhí)行，但仍舊有改進(jìn)的機(jī)會。
本發(fā)明的目的是提供在文章開頭段落中描述的、性能表現(xiàn)得更好的空間濾波器。
本發(fā)明的這個目的是通過以下措施實現(xiàn)的，系數(shù)確定裝置被安排來根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)。所謂相關(guān)是指例如從同一個源發(fā)源的信號同時被獲取，相應(yīng)于同一個物體和情景，或其中的一個信號是從另一個信號得出的。優(yōu)選地，系數(shù)確定裝置被安排來根據(jù)另一個輸入樣本和輸入信號確定第一濾波器系數(shù)。雖然現(xiàn)有技術(shù)的基于內(nèi)容的空間濾波器單元執(zhí)行得相當(dāng)好，但從輸入信號提取的、用來控制自適應(yīng)濾波裝置的信息的總量可能受限制，特別是在輸入樣本的數(shù)目比起需要的輸出樣本的數(shù)目相對較低的情形下。通過應(yīng)用與輸入信號相關(guān)的另一個輸入信號的另一個輸入樣本，可以確定更好的濾波器系數(shù)。
有利地，應(yīng)用按照本發(fā)明的空間濾波器單元作為插入濾波器。所以，在按照本發(fā)明的空間濾波器單元的實施例中，自適應(yīng)濾波裝置包括計算裝置，用于根據(jù)第一個輸入樣本和第二個輸入樣本的內(nèi)插來計算第一個輸出樣本。
優(yōu)選地，第一輸入信號代表第一量，以及另一個輸入信號代表不同于第一量的第二量。第一量是亮度、色度、運動、位置、溫度或聲音的任一項，以及第二量是相應(yīng)于亮度、色度、運動、位置、溫度或聲音的物理變量的列表的另一項。例如，對于4∶2∶2(YUV)格式的視頻數(shù)據(jù)，使用按照本發(fā)明的水平向上定標(biāo)濾波器單元是有意義的，因為亮度的水平分辨率高于色度的水平分辨率。例如，對于4∶2∶0(YUV)格式的視頻數(shù)據(jù)，使用按照本發(fā)明的水平和垂直向上定標(biāo)濾波器單元是有意義的，因為亮度的水平和垂直分辨率高于色度的水平和垂直分辨率。另外，為了減小在彩色中(即，色度信號中)的編碼或傳輸人工產(chǎn)物，可以應(yīng)用通常較優(yōu)良的亮度信號。
另一個例子涉及到立體成像或3D成像。在立體成像中，典型地，通過兩個照相機(jī)獲取同一個情景的兩個圖像序列。相應(yīng)于各個圖像的信號是相關(guān)的，因為它們代表同一個情景，雖然來自稍微不同的角度。相應(yīng)于第一個圖像序列的亮度值的信號可被應(yīng)用來控制相應(yīng)于第二個圖像序列的亮度值的信號的變換。
替換地，例如通過紅外或超聲，獲得代表亮度和任選地色度值的可視圖像的序列和獲得相應(yīng)的深度圖像序列。典型地，代表物體在情景中的位置信息的后一類型的圖像，比起前一類型的圖像包括較少的樣本。相應(yīng)于可視圖像的信號和相應(yīng)于深度信息的信號是互相相關(guān)的，因為它們代表同一個情景。相應(yīng)于亮度值的信號可被應(yīng)用來控制從相應(yīng)于深度值的信號到具有較高的分辨率的相應(yīng)于深度值的另一個信號的變換。
另一個例子涉及到被成像的情景內(nèi)的運動。有各種技術(shù)來計算所謂的運動向量場，即，包括用于亮度圖像的各個象素組的運動向量的二維矩陣。例如參閱G.de Haan等，“True-Motion Estimation with3-D Recursive Search Block Matching(通過三維遞歸搜索塊匹配的真實運動估值)”，IEEE Transactions on circuits and systems forvideo technology，vol.3，no.5，1993年10月，第368-379頁的文章。在這篇文章中描述對于8*8象素的塊估計運動向量。為了把代表8*8塊的運動向量場的輸入信號變換成代表例如2*2象素的輸出信號，可以應(yīng)用代表被使用來確定8*8塊的運動向量場的亮度值的信號。注意，在情景中的許多物體具有的形狀與8*8象素的粗的運動向量場的塊結(jié)構(gòu)不匹配。
運動常常用運動向量來描述。描述運動的另一個方法是基于所謂的運動檢測信號，即，一個表示是否有運動的二進(jìn)制信號指示。另外，對于或通過這些類型的信號，可以應(yīng)用按照本發(fā)明的空間濾波器單元。
按照本發(fā)明的空間濾波器單元的實施例，系數(shù)確定裝置包括用于把從另一個輸入信號得到的數(shù)據(jù)變換成第一濾波器系數(shù)的預(yù)定的查找表，所述預(yù)定的查找表是通過訓(xùn)練過程得到的。應(yīng)用查找表來確定濾波器系數(shù)在上面描述，并且例如在美國專利6,323,905中被揭示。用來從信號，即樣本組，得出需要的數(shù)據(jù)的優(yōu)選的技術(shù)在上面描述，并例如在美國專利5,444,487中被揭示。
按照本發(fā)明的空間濾波器單元的實施例包括一個查找表，其特征在于，系數(shù)確定裝置被安排來根據(jù)屬于另一個輸入信號的多個亮度值確定第一濾波器系數(shù)，以及自適應(yīng)濾波裝置被安排來根據(jù)屬于輸入信號的色度值計算第一個輸出樣本。因此，通過使用從色度和亮度樣本得到的類別來變換色度信號。這是有利的，因為色度變換可以從更詳細(xì)的亮度數(shù)據(jù)獲利。因此，自適應(yīng)濾波裝置的濾波器孔徑和系數(shù)確定裝置的內(nèi)容自適應(yīng)孔徑僅僅在濾波器孔徑對色度樣本起作用的意義上是互相不同的，而內(nèi)容孔徑包含來自亮度和色度信號的數(shù)據(jù)。
在按照本發(fā)明的空間濾波器單元的另一個實施例中，系數(shù)確定裝置被安排來通過一個最佳化算法計算第一濾波器系數(shù)。例如，該最佳化算法被應(yīng)用來估計另一個輸入樣本相對于另一個輸入信號的近似，該近似是基于在該另一個輸入樣本的鄰居中另一個輸入信號的其它輸入樣本。優(yōu)選地，最佳化算法是最小均方(LMS)算法。LMS算法相對地較簡單并且魯棒。在上變換單元的情形下應(yīng)用最佳化算法來確定濾波器系數(shù)的方法在Meng Zhao等，“Towards an Overview of spatialup-conversion techniques(空間上變換技術(shù)綜述)”，the proceedingsof the ISCE 2002，德國愛爾福特，2002年9月23-26日的引述的文章中被揭示。
應(yīng)用按照本發(fā)明的空間濾波器單元作為圖像縮放單元是有利的。所以，按照本發(fā)明的空間濾波器單元的實施例是用于把由輸入信號和另一個輸入信號代表的輸入圖像縮放到由輸出信號代表的輸出圖像的圖像縮放單元。
應(yīng)用按照本發(fā)明的空間濾波器單元作為噪聲減小單元是有利的。所以，按照本發(fā)明的空間濾波器單元的實施例是用于把由輸入信號和另一個輸入信號代表的輸入圖像變換成由輸出信號代表的輸出圖像的噪聲減小單元。
本發(fā)明的另一個目的是提供包括執(zhí)行得更好的空間濾波器的、在開頭描述的那種圖像處理設(shè)備。
本發(fā)明的這個目的是通過以下措施實現(xiàn)的，系數(shù)確定裝置被安排來根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)。圖像處理設(shè)備任選地包括用于顯示由輸出信號表示的輸出圖像的顯示裝置。圖像處理設(shè)備例如可以是電視機(jī)、機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR(盒式磁帶錄像機(jī))播放器或DVD(數(shù)字通用盤)播放器。
本發(fā)明的再一個目的是提供在開頭段落中描述的、執(zhí)行得更好的那種方法。
本發(fā)明的這個目的是通過以下措施實現(xiàn)的，根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)。
本發(fā)明的再一個目的是提供在開頭段落中描述的、執(zhí)行得更好的那種計算機(jī)程序產(chǎn)品。
本發(fā)明的這個目的是通過以下措施實現(xiàn)的，計算機(jī)程序產(chǎn)品在被裝載后為處理裝置提供了根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)的能力。空間濾波器單元的修正方案和它的變例可以相應(yīng)于所述圖像處理設(shè)備、方法和計算機(jī)程序產(chǎn)品的修正方案及其變例。
通過參考此后描述的實施方案和實施例和參考附圖，將明白和將闡述按照本發(fā)明的空間濾波器單元、圖像處理設(shè)備、方法、和計算機(jī)程序產(chǎn)品的這些和其它方面，其中

圖1A示意地顯示按照現(xiàn)有技術(shù)、被應(yīng)用作為圖像上變換單元的空間濾波器單元；圖1B示意地顯示用來說明按照現(xiàn)有技術(shù)的上變換方法的多個象素；圖1C示意地顯示按照現(xiàn)有技術(shù)的空間濾波器單元的替換實施例；圖1D示意地顯示在按照現(xiàn)有技術(shù)的基于內(nèi)容的內(nèi)插時使用的孔徑；圖2示意地顯示按照本發(fā)明的空間濾波器單元的實施例；圖3A示意地顯示第一輸入信號被應(yīng)用來控制從第二輸入信號到比起第二輸入信號具有更高分辨率的輸出信號的上變換；圖3B示意地顯示用來說明第一輸入信號被應(yīng)用來控制從第二輸入信號到比起第二輸入信號具有更高分辨率的輸出信號的上變換的替換例；圖4A示意地顯示SD輸入圖像；圖4B示意地顯示其上為了增加分辨率而添加象素的圖4A的SD輸入圖像；圖4C示意地顯示在旋轉(zhuǎn)45度后圖4B的圖像；圖4D示意地顯示從圖4A的SD輸入圖像得到的HD輸出圖像；以及圖5示意地顯示按照本發(fā)明的圖像處理設(shè)備的實施例。
相同的標(biāo)注數(shù)字在所有圖中被用來表示類似的部件。
圖1A示意地顯示按照現(xiàn)有技術(shù)、被應(yīng)用作為圖像上變換單元的空間濾波器單元100。圖像變換單元100在輸入連接端子108處被提供以標(biāo)準(zhǔn)清晰度(SD)圖像，以及在輸出連接端子110處提供高清晰度(HD)圖像。圖像變換單元100包括-象素獲取單元102，其被安排來獲取在相應(yīng)于HD輸出象素的位置的、第一個SD輸入圖像內(nèi)的特定位置的第一鄰居中象素1-4(見圖1B)的第一組亮度值和被安排來獲取在第一個SD輸入圖像內(nèi)的特定位置的第二鄰居中象素1-16的第二組亮度值；-濾波器系數(shù)確定單元106，被安排來根據(jù)第一組亮度值和第二組亮度值計算濾波器系數(shù)。換句話說，從本地窗口內(nèi)的SD輸入圖像，更具體地根據(jù)亮度值來近似濾波器系數(shù)。這是通過使用最小均方(LMS)方法而完成的，將結(jié)合圖1B來說明該方法。
-自適應(yīng)濾波單元104，用于如公式2中規(guī)定的、根據(jù)第一組亮度值和濾波器系數(shù)來計算HD輸出象素的亮度值。因此，濾波器系數(shù)確定單元106被安排來控制自適應(yīng)濾波單元104。
自適應(yīng)濾波單元104使用如公式2中規(guī)定的四階內(nèi)插算法FHDI(2(i+1),2(j+1))=Σk=01Σl=01we(2k+l)FSD(2i+2k,2j+2l)---(2)]]>其中FHDI(i，j)表示內(nèi)插的HD輸出象素的亮度值，F(xiàn)SD(i，j)表示輸入象素的亮度值，以及we(i)表示濾波器系數(shù)。
圖1B示意地顯示用來說明按照現(xiàn)有技術(shù)的上變換方法的SD輸入圖像的多個象素1-16和HD輸出圖像的一個HD象素。HD輸出象素被內(nèi)插為象素1-4的4個亮度值的加權(quán)平均值。這意味著，HD輸出象素的亮度值FHDI作為它的4個SD相鄰象素的亮度值的加權(quán)和的結(jié)果FHDI＝we(1)FSD(1)+we(2)FSD(2)+we(3)FSD(3)+we(4)FSD(4)， (3)其中FSD(1)到FSD(4)是該4個SD輸入象素1-4的象素值以及we(1)到we(4)是要藉助于LMS方法計算的濾波器系數(shù)。所引述的、其中描述了現(xiàn)有技術(shù)方法的文章“Towards an Overview of spatial up-conversion techniques(空間上變換技術(shù)綜述)”的作者作出合理的假設(shè)，邊緣取向不隨縮放改變。這個假設(shè)的結(jié)果是最佳濾波器系數(shù)與在標(biāo)準(zhǔn)分辨率網(wǎng)格上內(nèi)插的那些相同-來自5，7，11和4的象素1(這意味著象素1可以從它的4個鄰居得出)-來自6，8，3和12的象素2-來自9，2，13和15的象素3
-來自1，10，14和16的象素4這給出一組4個線性方程，從這組方程，通過LSM最佳化，可以找出用來內(nèi)插HD輸出象素的最佳的四個濾波器系數(shù)。
在SD網(wǎng)格上用M表示被使用來計算4個權(quán)因子的象素組，在最佳化時在組M上的均方誤差(MSE)可被寫為在原始的SD象素FSD與內(nèi)插的SD象素FSI之間的差值的平方的和值MSE=ΣFSD(i,j)=kl(FSD(2i+2,2j+2)-FSI(2i+2,2j+2))2---(4)]]>它用矩陣公式表示成為MSE＝‖y-wC‖2(5)這里y包含M中的SD象素(象素FSD(1，1)到FSD(1，4)，F(xiàn)SD(2，1)到FSD(2，4)，F(xiàn)SD(3，1)到FSD(3，4)，到FSD(4，1)到FSD(4，4)，以及C是4×M2矩陣，它的第k行包含在y中第k個SD象素的四個對角線SD鄰居。每行的加權(quán)和描述了一個象素FSI，如在公式4中使用的。為了找出最小MSE，即，LMS，計算MSE對于w的微分∂(MSE)∂w→=0---(6)]]>-2y→C+2w→C2=0---(7)]]>w→=(CTC)-1(CTy→)---(8)]]>通過求解方程8找到濾波器系數(shù)，以及通過使用公式3可以計算HD輸出象素的亮度值。
在本例中，4×4象素的窗口被用來計算濾波器系數(shù)。在更大的窗口上的LMS最佳化--例如使用8×8而不用4×4--給出更好的結(jié)果。
圖1C示意地顯示按照現(xiàn)有技術(shù)的圖像變換單元101的替換實施例。濾波器系數(shù)確定單元106包括壓縮單元107和LUT 109，具有在訓(xùn)練過程期間得到的數(shù)據(jù)。為了說明訓(xùn)練過程，也結(jié)合圖1D參閱說明。壓縮方案是基于檢測在滑窗中哪些象素是在窗口中象素的平均亮度值以上以及在滑窗中哪些象素是在窗口中象素的平均亮度值以下。這樣對于滑窗的每個位置獲得了零(低于平均亮度值的象素值)和一(高于平均亮度值的象素值)的圖案。這個圖案相應(yīng)于LUT 109的一個條目。在LUT 109的各個輸出端，提供適當(dāng)?shù)臑V波器系數(shù)用于給定的輸入。在Meng Zhao等，“Towards an Overview of spatial up-conversion techniques(空間上變換技術(shù)綜述)”，the proceedingsof the ISCE 2002，德國愛爾福特，2002年9月23-26日的綜述文章中，進(jìn)一步說明按照現(xiàn)有技術(shù)的圖像變換單元101的這個實施例。
圖1D示意地顯示在按照現(xiàn)有技術(shù)在基于內(nèi)容的內(nèi)插時使用的孔徑。白色象素是插入的HD象素FHDI。黑色象素是SD象素FSD，F(xiàn)12是對于FSD(1，2)的縮短的符號表示，等等。相應(yīng)于FHDI(2(i+3)，2(j+3))的HD象素A通過使用12個SD象素(F00直到F23)被內(nèi)插。為了闡述在訓(xùn)練過程中LMS的使用，令FHD是實際的(不是上變換的)HD象素的亮度值以及FHDI是內(nèi)插的HD象素的亮度值，它是在內(nèi)插窗口中12個SD象素的加權(quán)的和值。被使用來在位置A上內(nèi)插象素的公式是FHDI(2(i+3),2(j+3))=Σk=02Σl=03wklFSD(2(i+2k)+1,2(j+2l)+1)---(9)]]>其中wk1是權(quán)因子。在大量圖像上的一個類別的平方誤差是e2=Σi,j(FHD(i,j)-FHDI(i,j))2---(10)]]>假設(shè)在訓(xùn)練過程中對于一個類別有t個樣本FHDI,p(2(i+3),2(j+3))=Σk=02Σl=03wklFSD,p(2(i+2k)+1,2(j+2l)+1)]]>其中(p＝1，2，...，t)(11)第p個插入樣本的誤差將是ep=FHD,p-FHI,p=FHD,p-Σk=02Σl=03wklFSD,p(2(i+2k)+1,2(j+2l)+1)]]>其中(p＝1，2，...，t)(12)這個類別的總的誤差是e2=Σp=1tep2---(13)]]>對于每個w計算e2的一階導(dǎo)數(shù)產(chǎn)生∂e2∂wkl=Σp=1t2(∂ep∂wkl)ep=Σp=1t2FSD,p(2(i+2k)+1,2(j+2l)+1)ep]]>其中(k＝0，1，2；l＝0，1，2，3) (14)眾所周知，當(dāng)一階導(dǎo)數(shù)是零時，出現(xiàn)極值。令Xkl,qr=Σp=1tFSD,p(2(i+2k)+1,2(j+2l)+1)·FSD,p(2(i+2q)+1,2(j+2r)+1)---(15)]]>和Y4k+1=Σp=1tFSD,p(2(i+2k)+1,2(j+2l)+1)·FHD,p(2(i+3),2(j+3))]]>(k，q＝0，1，2；l，r＝0，1，2，3) (16)則X00,00X00,01···X00,23X10,00X10,01···X20,23X20,00X20,01···X20,23············X23,00X23,01···X23,23w00w01w02···w23=Y0Y1Y2···Y11---(17)]]>通過對于所有的類別求解公式17，得到系數(shù)wk1。一旦知道所有的濾波器系數(shù)，內(nèi)插就變?yōu)槭褂霉?的簡單的計算。
圖2示意地顯示按照本發(fā)明的空間濾波器單元200的實施例。這個空間濾波器單元200基本上包括與結(jié)合圖1C描述的圖像變換單元101相同類型的部件。這些部件是-象素獲取單元102，被安排來獲取輸入圖像的象素值；-濾波器系數(shù)確定單元106，被安排來根據(jù)所獲取的象素值計算濾波器系數(shù)；以及-自適應(yīng)濾波單元104，用于根據(jù)所獲取的象素值計算輸出象素的象素值。
空間濾波器單元200在它的輸入連接端子108處被提供以YUV(4∶2∶2)格式的視頻數(shù)據(jù)并且在它的輸出連接端子110處提供YUV(4∶4∶4)格式的視頻數(shù)據(jù)。
下面將通過例子說明按照本發(fā)明的空間濾波器單元200的工作。假設(shè)象素獲取單元102具有12個樣本的孔徑。這意味著，一起獲取以下的樣本(Y1，U1，V1)，(Y2)，(Y3，U3，V3)，(Y4)，(Y5，U5，V5)和(Y6)。這6個Y樣本被提供到第一壓縮單元202，它把這6個Y樣本變換成一個6比特字，如在公式18中規(guī)定的QY=0:Yi<YAV1:Yi≥YAV---(18)]]>其中YAV相應(yīng)于在象素獲取單元102的系數(shù)孔徑中的平均亮度值。該3個U樣本被提供到第二壓縮單元204，它把這3個U樣本變換成一個3比特字，如在公式19中規(guī)定的QU=0:Ui<UAV1:Ui≥UAV---(19)]]>其中UAV相應(yīng)于在象素獲取單元102的系數(shù)孔徑中的第一平均色度值。該3個V樣本被提供到第三壓縮單元206，它把這3個V樣本變換成一個3比特字，如在公式20中規(guī)定的QV=0:Vi<VAV1:Vi≥VAV---(20)]]>其中VAV相應(yīng)于在象素獲取單元102的系數(shù)孔徑中的第二平均色度值。隨后，三分量(YUV)的所有樣本的各個Q值被級聯(lián)，形成12比特的單個類別指數(shù)。
根據(jù)12比特字，從LUT 109得出濾波器系數(shù)，它包括在訓(xùn)練過程期間得到的變換信息。在本例中，LUT 109提供用于計算丟失的U樣本的濾波器系數(shù)的三元組，例如，用于根據(jù)U1，U3，和U5計算U2的三個濾波器系數(shù)，以及用于根據(jù)U1，U3，和U5計算U4的另三個濾波器系數(shù)。在本例中，LUT 109還提供用于計算丟失的V樣本的濾波器系數(shù)的三元組，例如，用于根據(jù)V1，V3，和V5計算V2的三個濾波器系數(shù)，以及用于根據(jù)V1，V3，和V5計算V4的另三個濾波器系數(shù)。最后，輸出中包括以下樣本(Y1，U1，V1)，(Y2，U2，V2)，(Y3，U3，V3)，(Y4，U4，V4)，(Y5，U5，V5)和(Y6，U6，V6)。
建議的濾波器孔徑取決于視頻格式。對于YUV(4∶2∶2)格式，使用按照本發(fā)明的水平向上定標(biāo)濾波器是有意義的，因為亮度的水平分辨率高于色度的水平分辨率。對于YUV(4∶2∶0)格式的視頻數(shù)據(jù)，二維孔徑似乎是適當(dāng)?shù)?，因為垂直亮度分辨率也高于色度的垂直平分辨率?br> 在以上的例子中，YUV(4∶2∶2)格式的SD輸入圖像被變換成YUV(4∶4∶4)格式的SD輸出圖像。任選地，YUV(4∶4∶4)格式的SD輸出圖像隨后被上變換成YUV(4∶4∶4)格式的HD輸出圖像。替換地，YUV(4∶2∶2)格式的SD輸入圖像被直接上變換成YUV(4∶4∶4)格式的HD輸出圖像。在這種情形下，亮度信號可被用來控制色度的上變換以及反之亦然。
象素獲取單元102、濾波器系數(shù)確定單元106和自適應(yīng)濾波單元104可以使用一個處理器來實施。通常，這些功能在軟件程序產(chǎn)品的控制下被執(zhí)行。在執(zhí)行期間，通常軟件程序產(chǎn)品被裝載到如RAM的存儲器中，并且在其中被執(zhí)行。程序可以從如ROM、硬盤、或磁和/或光貯存裝置的基礎(chǔ)存儲器被裝載，或可以經(jīng)由如互聯(lián)網(wǎng)的網(wǎng)絡(luò)被裝載。任選地，專用集成電路也可以提供所公開的功能。
上面表明不同的Q值被分開地計算并且隨后被級聯(lián)。換句話說，Q值是針對亮度值和色度值單獨進(jìn)行計算的。這具有值得注意的附加效果。在美國專利US6019216中，表明對于亮度上變換，通過顛倒(invert)圖像數(shù)據(jù)，LUT中的系數(shù)保持為相同的?？珊侠淼丶僭O(shè)，任何二進(jìn)制類別與它的顛倒的版本產(chǎn)生相同的內(nèi)插系數(shù)。因此，兩個互補的類別可被組合，這以2為因子減小了LUT的尺寸，而不損害輸出信號的質(zhì)量。似乎合理的是，這對于色度數(shù)據(jù)U和V同樣成立。通過獨立地編碼這三個分量(Y/U/V)，對于每個分量的Q的數(shù)目被減小2倍，即，節(jié)省3比特，或在LUT的地址空間中減小8倍。
典型地，用于上變換的訓(xùn)練處理過程包括以下步驟下采樣原始信號和找出最佳濾波器系數(shù)，以便把下采樣的信號變換成與原始信號A匹配的信號。對于用于例如噪聲減小的訓(xùn)練處理過程采取類似的方法把噪聲加到原始信號中和找出最佳濾波器系數(shù)，以便把有噪聲的信號變換成與原始信號匹配的信號。將會看到，在訓(xùn)練處理過程中，需要相應(yīng)于兩種類型的輸入信號(它們在將第一輸入信號變換成輸出信號期間被施加到按照本發(fā)明的空間濾波器單元200)的信號，例如亮度與色度數(shù)據(jù)。這與如結(jié)合圖1C和1D描述的、按照現(xiàn)有技術(shù)的自適應(yīng)濾波裝置不同。在后者的情形下，在信號訓(xùn)練處理過程與信號變換期間只分析一種類型的信號。
圖3A示意地顯示第一輸入信號302被應(yīng)用來控制從第二輸入信號306到比起第二輸入信號306具有更高分辨率的輸出信號316的上變換。雖然輸入信號和輸出信號都是二維信號，但從第一輸入信號302只有二維中的一維被顯示。這意味著，給出了一維表示。第一輸入信號302包括具有相對較高的數(shù)值的第一部分330、陡的過渡332和具有相對較低的數(shù)值的第二部分334。從第二輸入信號306只有4個樣本308-314被顯示，它們分別具有數(shù)值L1，L1，L2和L2。從輸出信號316只有16個樣本318-328被顯示。這16個樣本的4個樣本318-324被分配以數(shù)值L1并且另外12個樣本326-328被分配以數(shù)值L2?？梢郧宄乜吹?，被分配以數(shù)值L1的4個樣本318-324相應(yīng)于第一輸入信號302的、具有相對較高的數(shù)值的第一部分330。輸出信號316的樣本318-328的數(shù)值根據(jù)第二輸入信號306的數(shù)值308-314和在第一輸入信號302的控制下被計算。這意味著，用于計算輸出樣本318-328的濾波器系數(shù)基于相關(guān)的第一輸入信號302的樣本的數(shù)值。例如，輸出信號316的第一個輸出樣本318通過第二輸入信號的兩個輸入樣本308，310的加權(quán)平均被計算。在本例中，用于這兩個輸入樣本的一個樣本308的第一加權(quán)因子(即第一濾波器系數(shù))相對較高，而用于這兩個輸入樣本的另一個樣本310的第二加權(quán)因子(即第二濾波器系數(shù))相對較低。結(jié)果，輸出樣本318的第一個輸出樣本已被分配以數(shù)值L1，它是兩個輸入樣本的一個輸入樣本308的數(shù)值。
圖3B示意地顯示用來說明第一輸入信號304被應(yīng)用來控制從第二輸入信號306到比起該第二輸入信號306具有更高分辨率的輸出信號316的上變換的替換例。第一輸入信號304包括具有相對較高數(shù)值的第一部分336、緩慢的過渡338和具有相對較低數(shù)值的第二部分340。從第二輸入信號306只有4個樣本308-314被顯示，它們分別具有數(shù)值L1，L1，L2和L2。從輸出信號316只有16個樣本318-328被顯示。這16個輸出樣本的4個樣本318-324被分配以數(shù)值L1，另外4個輸出樣本被分配以數(shù)值L3，另外4個輸出樣本被分配以數(shù)值L4，以及另外4個輸出樣本326-328被分配以數(shù)值L2?？梢郧宄乜吹?，被分配以數(shù)值L1的4個輸出樣本318-324相應(yīng)于第一輸入信號304的、具有相對較高的數(shù)值的第一部分336，以及被分配以數(shù)值L2的4個輸出樣本326-328相應(yīng)于第一輸入信號304的、具有相對較低的數(shù)值的第二部分340。被分配以數(shù)值L3或L4的其它輸出樣本相應(yīng)于過渡部分338。輸出信號316的輸出樣本318-328的數(shù)值根據(jù)第二輸入信號306的數(shù)值308-314和在第一輸入信號304的控制下被計算。這意味著，用于計算輸出樣本318-328的濾波器系數(shù)基于相關(guān)的第一輸入信號304的樣本的數(shù)值。
為了把SD輸入圖像變換成HD輸出圖像，需要多個處理步驟。通過圖4A-4D說明這些處理步驟。圖4A示意地顯示SD輸入圖像；圖4D示意地顯示從圖4A的SD輸入圖像得到的HD輸出圖像，以及圖4B和4C示意地顯示中間結(jié)果。
-圖4A示意地顯示SD輸入圖像。每個X符號相應(yīng)于各個象素。
-圖4B示意地顯示為了增加分辨率而在其上添加象素的圖4A的SD輸入圖像。添加的象素用+符號表示。這些添加的象素是通過插入各個對角線鄰居而被計算的。
-圖4C示意地顯示在旋轉(zhuǎn)45度后圖4B的圖像。與被應(yīng)用來根據(jù)圖4A計算根據(jù)圖4B所示的圖像相同的圖像變換單元200可被使用來根據(jù)圖4B所示的圖像計算如圖4D所示的圖像。這意味著，新的象素值是通過內(nèi)插各個對角線鄰居被計算的。注意到，這些對角線鄰居的第一部分(用X符號表示)相應(yīng)于SD輸入圖像的原始象素值，這些對角線鄰居的第二部分(用+符號表示)相應(yīng)于通過內(nèi)插從SD輸入圖像的原始象素值得到的象素值。
-圖4D示意地顯示最后的HD輸出圖像。在最后的變換步驟中被添加的象素用o符號表示。
圖5示意地顯示按照本發(fā)明的圖像處理設(shè)備500的實施例，包括-接收裝置502，用于接收以YUV(4∶2∶2)格式表示視頻數(shù)據(jù)的信號；-空間濾波器單元200，如結(jié)合圖2描述的；以及-顯示裝置506，用于顯示空間濾波器單元200的以YUV(4∶4∶4)格式的視頻數(shù)據(jù)。這個顯示裝置506是任選的。
信號可以是經(jīng)由天線或電纜接收的廣播信號，但也可以是來自如VCR(視頻盒式磁帶錄像機(jī))或數(shù)字通用盤(DVD)那樣的貯存裝置的信號。信號在輸入連接端子508處被提供。圖像處理設(shè)備500例如可以是電視機(jī)。替換地，圖像處理設(shè)備500不包括任選的顯示裝置，而把輸出圖像提供到確實包括顯示裝置506的設(shè)備上。然后，圖像處理設(shè)備500例如可以是機(jī)頂盒、衛(wèi)星調(diào)諧器、VCR播放器或DVD播放器。但它也可以是由電影制片廠或廣播臺所應(yīng)用的系統(tǒng)。
應(yīng)當(dāng)指出，上述的實施例是顯示而不是限制本發(fā)明，以及本領(lǐng)域技術(shù)人員能夠在不背離所附權(quán)利要求的范圍的條件下設(shè)計替換實施例。在權(quán)利要求中，被放置在括號中的任何標(biāo)注符號將不應(yīng)被看作限制權(quán)利要求。單字‘包括’不排除在權(quán)利要求中未列出的樣本或步驟的存在。在樣本前面的單字“一個”不排除多個這樣的樣本的存在。本發(fā)明可以藉助于包括幾種不同樣本的硬件和藉助于適當(dāng)編程的計算機(jī)被實施。在枚舉幾個裝置的單元權(quán)利要求中，幾個這樣的裝置可以由同一個硬件項實施。
權(quán)利要求
1.一種空間濾波器單元(200)，用于把包括輸入樣本的輸入信號(U)變換成包括輸出樣本的輸出信號，該空間濾波器單元(200)包括-系數(shù)確定裝置(106)，用于確定第一濾波器系數(shù)；以及-自適應(yīng)濾波裝置(104)，用于根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本，其特征在于，系數(shù)確定裝置(106)被安排來根據(jù)與輸入信號(U)相關(guān)的另一個輸入信號(Y)確定第一濾波器系數(shù)。
2.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于，系數(shù)確定裝置(106)被安排來根據(jù)輸入信號確定第一濾波器系數(shù)。
3.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于，自適應(yīng)濾波裝置(104)包括計算裝置，用于根據(jù)第一個輸入樣本和第二個輸入樣本的內(nèi)插計算第一個輸出樣本。
4.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于，第一輸入信號代表第一量，而另一個輸入信號代表不同于第一量的第二量。
5.如權(quán)利要求4中要求的空間濾波器單元(200)，其特征在于，第一量是亮度、色度、運動、位置、溫度或聲音的任一項。
6.如權(quán)利要求5中要求的空間濾波器單元(200)，其特征在于，第二量是亮度、色度、運動、位置、溫度或聲音的任一項。
7.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于，系數(shù)確定裝置(106)包括預(yù)定的查找表，用于把從另一個輸入信號得到的數(shù)據(jù)變換成第一濾波器系數(shù)，所述預(yù)定的查找表是通過訓(xùn)練處理過程得到的。
8.如權(quán)利要求7中要求的空間濾波器單元(200)，其特征在于，系數(shù)確定裝置(106)被安排來根據(jù)屬于另一個輸入信號的多個亮度值確定第一濾波器系數(shù)，以及自適應(yīng)濾波裝置(104)被安排來根據(jù)屬于輸入信號的色度值計算第一個輸出樣本。
9.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于，系數(shù)確定裝置(106)被安排來通過最佳化算法計算第一濾波器系數(shù)。
10.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于是圖像縮放單元，用于把由輸入信號和另一個輸入信號表示的輸入圖像縮放成由輸出信號表示的輸出圖像。
11.如權(quán)利要求1中要求的空間濾波器單元(200)，其特征在于是噪聲減小單元，用于把由輸入信號和另一個輸入信號表示的輸入圖像變換成由輸出信號表示的輸出圖像。
12.一種圖像處理設(shè)備，包括-接收裝置，用于接收輸入信號和另一個輸入信號；以及-空間濾波器單元(200)，用于把輸入信號變換成輸出信號，該空間濾波器單元(200)是如權(quán)利要求1中要求的。
13.如權(quán)利要求12中要求的圖像處理設(shè)備，其特征在于還包括顯示裝置，用于顯示由輸出信號代表的輸出圖像。
14.如權(quán)利要求13中要求的圖像處理設(shè)備，其特征在于它是電視機(jī)。
15.一種把包括輸入樣本的輸入信號變換成包括輸出樣本的輸出信號的方法，該方法包括-確定第一濾波器系數(shù)；以及-根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本，其特征在于，根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)。
16.一種要被計算機(jī)裝置裝載的計算機(jī)程序產(chǎn)品，包括用來把包括輸入樣本的輸入信號變換成包括輸出樣本的輸出信號的指令，所述計算機(jī)裝置包括處理裝置和存儲器，計算機(jī)程序產(chǎn)品在被裝載后給所述處理裝置提供用來實行以下步驟的能力-確定第一濾波器系數(shù)；以及-根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本，其特征在于，根據(jù)與輸入信號相關(guān)的另一個輸入信號確定第一濾波器系數(shù)。
全文摘要
公開了用于把包括輸入樣本的第一輸入信號(U)變換成包括輸出樣本的輸出信號的空間濾波器單元(200)。該空間濾波器單元(200)包括用于確定第一濾波器系數(shù)的系數(shù)確定裝置(106)；和用于根據(jù)第一個輸入樣本和第一濾波器系數(shù)計算第一個輸出樣本的自適應(yīng)濾波裝置(104)。系數(shù)確定裝置(106)被安排來根據(jù)與第一輸入信號(U)相關(guān)的第二輸入信號(Y)而確定第一濾波系數(shù)。
文檔編號G06T3/40GK1806439SQ200480016250
公開日2006年7月19日 申請日期2004年6月3日 優(yōu)先權(quán)日2003年6月13日
發(fā)明者G·德哈安 申請人:皇家飛利浦電子股份有限公司