專(zhuān)利名稱(chēng)：用于處理信號(hào)的裝置、方法、記錄介質(zhì)及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理信號(hào)的方法、裝置、記錄介質(zhì)和計(jì)算機(jī)程序，具體涉及用于對(duì)圖像的銳利邊緣之外的圖像進(jìn)行平滑而保持該銳利邊緣且不破壞像素連續(xù)性和相關(guān)性的方法、裝置、記錄介質(zhì)和計(jì)算機(jī)程序。
背景技術(shù)：
在數(shù)字?jǐn)z像機(jī)中，已經(jīng)考慮了使用梯度變換的對(duì)比度增強(qiáng)方法以及增強(qiáng)高頻區(qū)域的對(duì)比度的高頻分量增強(qiáng)方法，作為用于提高由諸如電荷耦合器件(CCD)、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)器件之類(lèi)的圖像攝取器件攝取的圖像的圖像對(duì)比度(明暗之間的亮度不同)和圖像銳度(邊界的明確性)。
對(duì)比度增強(qiáng)方法包括色調(diào)曲線(xiàn)調(diào)整方法，該方法按照具有預(yù)定輸入輸出關(guān)系的函數(shù)(以下稱(chēng)為級(jí)別轉(zhuǎn)換函數(shù))來(lái)轉(zhuǎn)換圖像的每個(gè)像素的像素級(jí)別(level)，以及直方圖均衡化方法，該方法響應(yīng)于像素級(jí)別的頻率分布來(lái)適應(yīng)性地改變?cè)摷?jí)別轉(zhuǎn)換函數(shù)。
高頻分量增強(qiáng)方法包括非銳化掩模(mask)方法，該方法通過(guò)從圖像中提取邊緣并增強(qiáng)所提取的邊緣來(lái)執(zhí)行輪廓增強(qiáng)。
根據(jù)該對(duì)比度增強(qiáng)方法，僅僅能夠增強(qiáng)圖像的整體亮度動(dòng)態(tài)范圍(最大級(jí)別和最小級(jí)別之間的差)的一部分。此外，在色調(diào)曲線(xiàn)調(diào)整方法中圖像的最亮部分和最暗部分中的對(duì)比度降低，而在直方圖均衡化方法中具有低頻分布的亮度區(qū)域中的對(duì)比度降低。在高頻分量增強(qiáng)方法中，僅僅增強(qiáng)了圖像的高頻分量的對(duì)比度，導(dǎo)致在邊緣附近不自然的增強(qiáng)。結(jié)果是，圖像質(zhì)量降低。
日本未審查專(zhuān)利中請(qǐng)公開(kāi)No.2001-298621公開(kāi)了一種技術(shù)，該技術(shù)在保存輸入視頻數(shù)據(jù)中像素值急劇變化的邊緣的狀態(tài)下，通過(guò)放大邊緣之外的圖像部分來(lái)增強(qiáng)邊緣之外的圖像部分。
已知的圖像處理裝置中的每個(gè)都是采用ε濾波器來(lái)從輸入視頻信號(hào)(像素值)提取僅僅信號(hào)的結(jié)構(gòu)分量、生成一振幅分量作為該輸入信號(hào)的結(jié)構(gòu)分量之間的差、放大僅該振幅分量、將該結(jié)構(gòu)分量與經(jīng)放大的振幅分量求和、并輸出該和。當(dāng)輸入下述視頻數(shù)據(jù)時(shí)，該視頻信號(hào)在銳利的邊緣周?chē)哂休p微變化的視頻信號(hào)分量，該銳利的邊緣具有比預(yù)定閾值ε1大的幅度，該視頻信號(hào)被轉(zhuǎn)換成僅僅該邊緣被提取的視頻信號(hào)。
ε濾波器確定輸入圖像的每個(gè)像素為感興趣像素C、設(shè)定在以感興趣像素為中心的水平方向上連續(xù)排列的多個(gè)相鄰像素(例如，感興趣像素的左邊兩個(gè)像素L2和L1，感興趣像素的右邊兩個(gè)像素R2和R1)所形成的抽頭(tap)、根據(jù)等式(1)使用抽頭系數(shù)(例如1、2、3、2和1)對(duì)感興趣像素C和所述多個(gè)相鄰像素進(jìn)行加權(quán)平均、并且輸出轉(zhuǎn)換結(jié)果C′C′＝(1xL2+2xL1+3xC+2xR1+1xR2)/9 ...(1)如果相鄰像素的像素值和感興趣像素的像素值之間差分的絕對(duì)值大于預(yù)定ε1(例如相鄰像素R2＞ε1)，則將相鄰像素R2的像素值替換為感興趣像素C的像素值，如等式(2)所示C′＝(1xL2+2xL1+3xC+2xR1+1xC)/9 ...(2)由ε濾波器平滑化的視頻信號(hào)也稱(chēng)為視頻信號(hào)的結(jié)構(gòu)分量。
從輸入的視頻信號(hào)(與輸入到ε濾波器中的視頻信號(hào)相同)中減去經(jīng)ε濾波器處理后的視頻信號(hào)，并提取并放大視頻信號(hào)的結(jié)構(gòu)分量之外的輕微變化的視頻信號(hào)。結(jié)構(gòu)分量之外的輕微變化的視頻信號(hào)稱(chēng)為振幅分量。對(duì)結(jié)構(gòu)分量之外的被放大并輸出的視頻信號(hào)部分和從ε濾波器輸出的視頻信號(hào)的結(jié)構(gòu)分量求和，并且結(jié)果得到的和變?yōu)楸３至虽J利邊緣并且邊緣之外的視頻信號(hào)部分被放大的視頻信號(hào)。
如果像素值急劇變化的邊緣在大小上小于預(yù)定閾值ε1，則從ε濾波器輸出的視頻信號(hào)是丟失了銳利邊緣的平滑化的視頻信號(hào)。如果圖案圖像包含微小(infinitesimal)的邊緣，則在該圖案圖像中導(dǎo)致嚴(yán)重的質(zhì)量劣化。
連續(xù)排列的信號(hào)中的每一個(gè)都依次地被指定為感興趣信號(hào)。從相對(duì)于該感興趣信號(hào)的水平方向和垂直方向之一上連續(xù)排列的信號(hào)中確定多個(gè)相鄰信號(hào)。計(jì)算該感興趣信號(hào)與每個(gè)相鄰信號(hào)之間的差分。對(duì)具有小于第一閾值的差分的相鄰信號(hào)和該感興趣信號(hào)進(jìn)行加權(quán)平均，以計(jì)算平滑化的信號(hào)。將該差分與小于第一閾值的第二閾值進(jìn)行比較。根據(jù)該差分是否大于第二閾值來(lái)確定在該感興趣信號(hào)附近是否存在微小邊緣。根據(jù)該確定結(jié)果選擇該平滑化的信號(hào)與該感興趣信號(hào)之一。
由于根據(jù)以上技術(shù)，水平處理和垂直處理是獨(dú)立執(zhí)行的，因此對(duì)結(jié)構(gòu)分量的適當(dāng)提取變得困難。
在另一種技術(shù)中，利用了不同于處理方向的方向分量(參考方向)的信息。根據(jù)對(duì)輸入信號(hào)在處理方向上是否平坦的確定，來(lái)確定是否執(zhí)行平滑處理。根據(jù)平坦程度，輸出一個(gè)信號(hào)，該信號(hào)用作平滑處理的結(jié)果所提供的值與沒(méi)有執(zhí)行平滑處理的值之間的中間值。

發(fā)明內(nèi)容
現(xiàn)使用以上所述技術(shù)，利用設(shè)定的ε1來(lái)處理圖1A的信號(hào)。感興趣像素C以字母x表示。如果平滑處理響應(yīng)于平坦程度而變化，則所述信號(hào)被變換為如圖1B所示的沒(méi)有邊緣的信號(hào)。如果根據(jù)平坦程度沒(méi)有激活平滑處理，則可以頻繁輸出與原始輸入信號(hào)相比無(wú)實(shí)質(zhì)改變的信號(hào)，如圖1C所示。
即使根據(jù)平坦程度混合該執(zhí)行了平滑處理的信號(hào)和該沒(méi)有執(zhí)行平滑處理的信號(hào)，結(jié)果得到的信號(hào)也可能變?yōu)槿鐖D1B和1C所示的中間信號(hào)。邊緣之外的圖像部分不能在保留所述邊緣的情況下被充分地平滑。
因此期望對(duì)銳利邊緣之外的圖像進(jìn)行平滑，同時(shí)保持所述銳利邊緣，并保持像素的連續(xù)性和相關(guān)性。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，用于調(diào)整連續(xù)排列信號(hào)的級(jí)別的信號(hào)處理裝置包括指定單元，用于相繼地將每個(gè)所述連續(xù)排列信號(hào)指定為感興趣信號(hào)；設(shè)定單元，用于根據(jù)與由所述指定單元所指定的感興趣信號(hào)相鄰的信號(hào)與所述感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值；處理信號(hào)提取單元，用于在相對(duì)于由所述指定單元所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；計(jì)算單元，用于通過(guò)根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；第一混合比計(jì)算單元，用于根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；第一混合單元，用于通過(guò)按照由所述第一混合比計(jì)算單元所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；參考信號(hào)提取單元，用于從在相對(duì)于由所述指定單元所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；第二混合比計(jì)算單元，用于根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及第二混合單元，用于通過(guò)根據(jù)由所述第二混合比計(jì)算單元所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
所述信號(hào)可以包括構(gòu)成圖像的每個(gè)像素的像素值。
所述設(shè)定單元可以包括差分絕對(duì)值計(jì)算單元，用于計(jì)算所述參考信號(hào)和所述感興趣像素之間的差分絕對(duì)值，其中，根據(jù)每個(gè)所述參考信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值中的最大值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括最大信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最大值的一個(gè)，以及最小信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，其中，根據(jù)所述參考信號(hào)和所述感興趣信號(hào)中的最大值與所述參考信號(hào)和所述感興趣信號(hào)中的最小值之間的差分絕對(duì)值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括前向方向計(jì)算單元，用于計(jì)算每個(gè)所述參考信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；以及反向方向計(jì)算單元，用于計(jì)算每個(gè)所述參考信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上，其中，根據(jù)由所述前向方向計(jì)算單元計(jì)算的差分絕對(duì)值中的最大值和由所述反向方向計(jì)算單元計(jì)算的差分絕對(duì)值中的最大值中較小的一個(gè)，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括前向方向最大信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向最小信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向差分絕對(duì)值計(jì)算單元，用于計(jì)算由前向方向最大信號(hào)提取單元提取的最大值和由前向方向最小信號(hào)提取單元提取的最小值之間的差分絕對(duì)值；反向方向最大信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；反向方向最小信號(hào)提取單元，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；以及反向方向差分絕對(duì)值計(jì)算單元，用于計(jì)算由反向方向最大信號(hào)提取單元提取的所述最大值和由反向方向最小信號(hào)提取單元提取的最小值之間的差分絕對(duì)值，其中，根據(jù)由所述前向方向差分絕對(duì)值計(jì)算單元計(jì)算的所述差分絕對(duì)值或由所述反向方向差分絕對(duì)值計(jì)算單元計(jì)算的所述差分絕對(duì)值中較小的一個(gè)，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括塊差分絕對(duì)值計(jì)算單元，用于計(jì)算在相對(duì)于所述感興趣信號(hào)的多個(gè)方向中設(shè)定的每個(gè)塊中的感興趣像素與每個(gè)塊中的每個(gè)像素之間的差分絕對(duì)值，并輸出所述差分絕對(duì)值中的最大值，其中根據(jù)由所述塊差分絕對(duì)值計(jì)算單元計(jì)算的最大塊差分絕對(duì)值中的最小值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括相鄰差分絕對(duì)值計(jì)算單元，用于計(jì)算所述感興趣信號(hào)和每個(gè)相鄰像素之間的差分絕對(duì)值，以及直方圖生成單元，用于根據(jù)由所述相鄰差分絕對(duì)值計(jì)算單元計(jì)算的每個(gè)像素和所述感興趣像素之間的差分絕對(duì)值來(lái)生成直方圖，其中，根據(jù)在直方圖中提供最小頻率的差分絕對(duì)值，設(shè)定所述第一閾值。
根據(jù)本發(fā)明的另一實(shí)施例，調(diào)整連續(xù)排列的信號(hào)的級(jí)別的方法包括以下步驟相繼地將每個(gè)所述連續(xù)排列信號(hào)指定為感興趣信號(hào)；根據(jù)與由所述指定步驟所指定的感興趣信號(hào)相鄰的信號(hào)與所述感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照由所述第一混合比計(jì)算步驟所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)由所述第二混合比計(jì)算步驟所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
根據(jù)本發(fā)明的又一實(shí)施例，一種記錄介質(zhì)存儲(chǔ)了用于調(diào)整連續(xù)排列的信號(hào)的級(jí)別的計(jì)算機(jī)可讀程序。所述計(jì)算機(jī)可讀程序包括以下步驟相繼地將每個(gè)所述連續(xù)排列信號(hào)指定為感興趣信號(hào)；根據(jù)與由所述指定步驟所指定的感興趣信號(hào)相鄰的信號(hào)與所述感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照由所述第一混合比計(jì)算步驟所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)由所述第二混合比計(jì)算步驟所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
根據(jù)本發(fā)明的再一實(shí)施例，一種程序使得計(jì)算機(jī)調(diào)整連續(xù)排列的信號(hào)的級(jí)別。所述程序包括以下步驟相繼地將每個(gè)所述連續(xù)排列信號(hào)指定為感興趣信號(hào)；根據(jù)與由所述指定步驟所指定的感興趣信號(hào)相鄰的信號(hào)與所述感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照由所述第一混合比計(jì)算步驟所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)由所述第二混合比計(jì)算步驟所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)根據(jù)本發(fā)明的實(shí)施例，調(diào)整連續(xù)排列的信號(hào)的級(jí)別。將所述連續(xù)排列的信號(hào)相繼指定為感興趣信號(hào)。根據(jù)與所指定的感興趣信號(hào)相鄰的信號(hào)和所述感興趣信號(hào)之間的差分的絕對(duì)值，設(shè)定所述第一閾值。從在相對(duì)于由所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)。根據(jù)所述感興趣信號(hào)與每個(gè)處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)生成平均信號(hào)。根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比。按照所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，從而生成第一混合信號(hào)。從在相對(duì)于所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)。根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比。根據(jù)所述第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)。從而生成第二混合信號(hào)。
本發(fā)明的實(shí)施例的信號(hào)處理裝置可以是獨(dú)立裝置或者處理信號(hào)的塊。
根據(jù)本發(fā)明的實(shí)施例，對(duì)圖像的銳利邊緣之外的圖像進(jìn)行平滑，保持該銳利邊緣且不破壞像素連續(xù)性和相關(guān)性。


圖1A-1C示出了ε濾波器的缺點(diǎn)；圖2是示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的增強(qiáng)處理器的方框圖；圖3是示出圖2的水平方向平滑器的方框圖；圖4是示出圖2的垂直方向平滑器的方框圖；圖5是示出圖3的非線(xiàn)性平滑器的方框圖；圖6是示出圖3的閾值設(shè)定器的方框圖；圖7是示出圖像增強(qiáng)處理的流程圖；圖8是示出圖2的圖像增強(qiáng)處理器的水平方向平滑處理的流程圖；圖9是示出圖2的圖像增強(qiáng)處理器的垂直方向平滑處理的流程圖；圖10是示出圖6中的閾值設(shè)定器的閾值設(shè)定處理的流程圖；
圖11是示出圖2的圖像增強(qiáng)處理器的非線(xiàn)性平滑處理的流程圖；圖12是示出圖2的圖像增強(qiáng)處理器的微小邊緣確定處理的流程圖；圖13示出圖2的圖像增強(qiáng)處理器的微小邊緣確定處理；圖14示出圖2的圖像增強(qiáng)處理器的微小邊緣確定處理；圖15示出圖2的圖像增強(qiáng)處理器的微小邊緣確定處理；圖16示出了圖2的圖像增強(qiáng)處理器的另一種權(quán)重設(shè)定方法；圖17A和17B示出了圖6的閾值設(shè)定器的閾值設(shè)定的平滑處理的效果；圖18A和18B示出了圖6的閾值設(shè)定器的閾值設(shè)定的平滑處理的效果；圖19示出了圖2的圖像增強(qiáng)處理器的垂直方向平滑處理；圖20是示出圖3的閾值設(shè)定器的修改的方框圖；圖21是示出圖20的閾值設(shè)定器的閾值設(shè)定處理的流程圖；圖22是示出圖3的閾值設(shè)定器的另一修改的方框圖；圖23是示出圖22的閾值設(shè)定器的閾值設(shè)定處理的流程圖；圖24示出了圖22的閾值設(shè)定器的閾值設(shè)定處理的效果；圖25是示出圖3的閾值設(shè)定器的另一修改的方框圖；圖26是示出圖25的閾值設(shè)定器的閾值設(shè)定處理的流程圖；圖27是圖2的水平方向平滑器的修改的方框圖；圖28是示出圖27的閾值設(shè)定器的方框圖；圖29示出了圖27的閾值設(shè)定器；圖30是示出圖27的閾值設(shè)定器的閾值設(shè)定處理的流程圖；圖31是示出圖27的閾值設(shè)定器的另一修改的方框圖；圖32是示出圖31的閾值設(shè)定器的閾值設(shè)定處理的流程圖；圖33示出圖31的閾值設(shè)定器的閾值設(shè)定處理；圖34是示出圖2的垂直方向平滑器的另一修改的方框圖；圖35是示出圖2的水平方向平滑器的另一修改的方框圖；圖36是示出圖35的非線(xiàn)性平滑器的方框圖；圖37是示出具有圖36的非線(xiàn)性平滑器的圖像增強(qiáng)處理器的非線(xiàn)性平滑處理的流程圖；圖38是圖35的非線(xiàn)性平滑器的另一修改的方框圖；圖39是示出具有圖38的非線(xiàn)性平滑器的圖像增強(qiáng)處理器的非線(xiàn)性平滑處理的流程圖；
圖40是示出圖2的垂直方向平滑器的另一修改的方框圖；圖41是示出圖2的水平方向平滑器的另一修改的方框圖；圖42是示出圖2的垂直方向平滑器的另一修改的方框圖；以及圖43示出了記錄介質(zhì)。
具體實(shí)施例方式
在描述本發(fā)明的實(shí)施例之前，以下論述在該說(shuō)明書(shū)所描述的本發(fā)明與在本發(fā)明的實(shí)施例中所公開(kāi)的特定要素之間的對(duì)應(yīng)性。該描述旨在確保在本說(shuō)明書(shū)中描述了支持所要求權(quán)利的發(fā)明的實(shí)施例。因此，即使是在以下實(shí)施例中的要素沒(méi)有被描述為涉及本發(fā)明的特定特征，這也不是必然意味著本要素與本發(fā)明的該特征無(wú)關(guān)。相反地，即使是在此某要素被描述為涉及本發(fā)明的特定特征，這也不是必然意味著該要素與本發(fā)明的其他特征無(wú)關(guān)。
此外，該描述并不是必然指本發(fā)明的所有方面。即，本描述并不否認(rèn)存在本發(fā)明的方面的存在，該本發(fā)明的方面在本實(shí)施例中進(jìn)行了描述但是在該申請(qǐng)的本發(fā)明中沒(méi)有要求權(quán)利，即本描述并不否認(rèn)在將來(lái)可能由分案申請(qǐng)要求權(quán)利或者可能通過(guò)修改來(lái)額外要求權(quán)利的本發(fā)明的方面的存在。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，一種用于調(diào)整連續(xù)排列信號(hào)的級(jí)別的信號(hào)處理裝置包括指定單元(例如，圖3的水平方向平滑器22)，用于連續(xù)地將連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)；設(shè)定單元(例如，圖3的閾值設(shè)定器36)，用于根據(jù)與由指定單元所指定的感興趣信號(hào)相鄰的信號(hào)與感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值；處理信號(hào)提取單元(例如，圖3的水平處理方向分量像素提取器31)，用于從在相對(duì)于由指定單元所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；計(jì)算單元(例如，圖5的非線(xiàn)性濾波器51)，用于通過(guò)根據(jù)感興趣信號(hào)與每個(gè)處理信號(hào)之間的處理差分和第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)感興趣信號(hào)和多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；第一混合比計(jì)算單元(例如，圖5的混合比檢測(cè)器53)，用于根據(jù)所述處理差分和小于第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和感興趣信號(hào)的第一混合比；第一混合單元(例如，圖5的混合器52)，用于通過(guò)按照由第一混合比計(jì)算單元所計(jì)算的第一混合比混合所述平均信號(hào)和感興趣信號(hào)，而生成第一混合信號(hào)；參考信號(hào)提取單元(例如，圖3的垂直參考方向分量像素提取器34)，用于從在相對(duì)于由指定單元所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；第二混合比計(jì)算單元(例如，圖3的平坦率計(jì)算器35)，用于根據(jù)感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和感興趣信號(hào)的第二混合比；以及第二混合單元(例如，圖3的混合器33)，用于通過(guò)根據(jù)由第二混合比計(jì)算單元所計(jì)算的第二混合比混合第一混合信號(hào)和感興趣信號(hào)，而生成第二混合信號(hào)。
所述設(shè)定單元可以包括差分絕對(duì)值計(jì)算單元(例如，圖6的差分絕對(duì)值計(jì)算器71)，用于計(jì)算參考信號(hào)和感興趣像素之間的差分的絕對(duì)值，其中，根據(jù)參考信號(hào)的每個(gè)與感興趣信號(hào)之間的差分絕對(duì)值中的最大值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括最大信號(hào)提取單元(例如，圖20的最大值提取器81)，用于從參考信號(hào)和感興趣信號(hào)中提取出參考信號(hào)和感興趣信號(hào)中能夠提供最大值的一個(gè)，以及最小信號(hào)提取單元(例如，圖20的最小值提取器82)，用于從參考信號(hào)和感興趣信號(hào)中提取出參考信號(hào)和感興趣信號(hào)中能夠提供最小值的一個(gè)，其中，根據(jù)參考信號(hào)和感興趣信號(hào)的最大值與參考信號(hào)和感興趣信號(hào)的最小值之間的差分絕對(duì)值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括前向方向計(jì)算單元(例如，圖25的第一方向差分絕對(duì)值計(jì)算器111)，用于計(jì)算每個(gè)參考信號(hào)與感興趣信號(hào)之間的差分絕對(duì)值，該參考信號(hào)排列在關(guān)于相對(duì)于感興趣信號(hào)的第二方向的前向方向上；以及反向方向計(jì)算單元(例如，圖25的第二方向差分絕對(duì)值計(jì)算器112)，用于計(jì)算每個(gè)參考信號(hào)與感興趣信號(hào)之間的差分絕對(duì)值，該參考信號(hào)排列在關(guān)于相對(duì)于感興趣信號(hào)的第二方向的反向方向上，其中，根據(jù)由前向方向計(jì)算單元計(jì)算的差分絕對(duì)值中的最大值和由反向方向計(jì)算單元計(jì)算的差分絕對(duì)值中的最大值中較小的一個(gè)，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括前向方向最大信號(hào)提取單元(例如，圖22的第一方向最大值提取器91)，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中能夠提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向最小信號(hào)提取單元(例如，圖22的第一方向最小值提取器92)，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中能夠提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向差分絕對(duì)值計(jì)算單元(例如，圖22的差分絕對(duì)值計(jì)算器93)，用于計(jì)算由前向方向最大信號(hào)提取單元提取的所述最大值和由前向方向最小信號(hào)提取單元提取的所述最小值之間的差分的絕對(duì)值；反向方向最大信號(hào)提取單元(例如，圖22的第二方向最大值提取器94)，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中能夠提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；反向方向最小信號(hào)提取單元(例如，圖22的第二方向最小值提取器95)，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中能夠提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；以及反向方向差分絕對(duì)值計(jì)算單元(例如，圖22的差分絕對(duì)值計(jì)算器96)，用于計(jì)算由反向方向最大信號(hào)提取單元提取的所述最大值和由反向方向最小信號(hào)提取單元提取的所述最小值之間的差分的絕對(duì)值，其中，根據(jù)由所述前向方向差分絕對(duì)值計(jì)算單元計(jì)算的所述差分絕對(duì)值和由所述反向方向差分絕對(duì)值計(jì)算單元計(jì)算的所述差分絕對(duì)值中較小的一個(gè)，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括塊差分絕對(duì)值計(jì)算單元(例如，圖28的塊差分絕對(duì)值計(jì)算器131-1到131-8)，用于計(jì)算在相對(duì)于所述感興趣信號(hào)的多個(gè)方向中設(shè)定的每個(gè)塊中的感興趣像素與所述每個(gè)塊中的每個(gè)像素之間的差分的絕對(duì)值，并輸出所述差分絕對(duì)值中的最大值，其中根據(jù)由所述塊差分絕對(duì)值計(jì)算單元計(jì)算的最大塊差分絕對(duì)值中的最小值，設(shè)定所述第一閾值。
所述設(shè)定單元可以包括相鄰差分絕對(duì)值計(jì)算單元(例如，圖31的差分絕對(duì)值計(jì)算器141)，用于計(jì)算所述感興趣信號(hào)和相鄰像素的每個(gè)之間的差分的絕對(duì)值；以及直方圖生成單元(例如，圖31的直方圖生成器142)，用于根據(jù)由所述相鄰差分絕對(duì)值計(jì)算單元計(jì)算的每個(gè)像素和所述感興趣像素之間的差分的絕對(duì)值來(lái)生成直方圖，其中，根據(jù)在直方圖中提供最小頻率的差分絕對(duì)值，設(shè)定所述第一閾值。
根據(jù)本發(fā)明的另一實(shí)施例，調(diào)整連續(xù)排列的信號(hào)的級(jí)別的方法和程序之一包括以下步驟連續(xù)地將所述連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)(例如，在圖8的流程圖的步驟S11中)；根據(jù)與由所述指定步驟所指定的感興趣信號(hào)相鄰的信號(hào)與所述感興趣信號(hào)之間的差分的絕對(duì)值來(lái)設(shè)定第一閾值(例如，在圖8的流程圖的步驟S14中)；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)(例如，在圖8的流程圖的步驟S12中)；通過(guò)根據(jù)所述感興趣信號(hào)與所述處理信號(hào)的每個(gè)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)(例如，在圖11的流程圖的步驟S32中)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比(例如，在圖11的流程圖的步驟S33中)；通過(guò)按照由所述第一混合比計(jì)算步驟所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)(例如，在圖11的流程圖的步驟S36中)；從在相對(duì)于由所述指定步驟所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)(例如，在圖8的流程圖的步驟S13中)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比(例如，在圖8的流程圖的步驟S17中)；以及通過(guò)根據(jù)由所述第二混合比計(jì)算步驟所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)(例如，在圖8的流程圖的步驟S18中)。
圖2示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的增強(qiáng)處理器11。增強(qiáng)處理器11在保留邊緣的情況下增強(qiáng)除了邊緣之外的圖像部分的對(duì)比度和銳利度，并且抑制依賴(lài)于處理方向造成的看起來(lái)不自然的增強(qiáng)。
緩沖器21臨時(shí)存儲(chǔ)輸入視頻信號(hào)，并將該輸入視頻信號(hào)提供給隨后的水平方向平滑器22。水平方向平滑器22使用感興趣像素和相對(duì)于感興趣像素水平排列的相鄰像素，對(duì)感興趣像素執(zhí)行水平方向上的非線(xiàn)性平滑處理，然后將得到的視頻信號(hào)提供給緩沖器23。緩沖器23臨時(shí)存儲(chǔ)從水平方向平滑器22提供的視頻信號(hào)，并隨后將該視頻信號(hào)提供給垂直方向平滑器24。垂直方向平滑器24使用感興趣像素和相對(duì)于感興趣像素垂直排列的相鄰像素，對(duì)感興趣像素執(zhí)行非線(xiàn)性平滑處理，然后將得到的視頻信號(hào)提供給緩沖器25。緩沖器25臨時(shí)存儲(chǔ)從垂直方向平滑器24提供的、由經(jīng)垂直非線(xiàn)性平滑化的像素組成的視頻信號(hào)，然后將該視頻信號(hào)輸出到后續(xù)裝置(未示出)。
參考圖3，以下詳細(xì)描述水平方向平滑器22。
水平處理方向分量像素提取器31將緩沖器21中存儲(chǔ)的視頻信號(hào)的每個(gè)像素相繼指定為感興趣像素；并且對(duì)應(yīng)于感興趣像素，提取非線(xiàn)性平滑處理所必需的像素；并且將所述像素輸出到非線(xiàn)性平滑器32。更具體而言，水平處理方向分量像素提取器31響應(yīng)于感興趣像素，提取在水平方向上感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素作為水平處理方向分量像素，并將所提取的四個(gè)像素和感興趣像素的像素值提供給非線(xiàn)性平滑器32。要提取的水平處理方向分量像素的數(shù)量并不局限于感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素。只要像素是在水平方向上排列的，任何數(shù)量的水平處理方向分量像素都是可接受的。例如，要提取的水平處理方向分量像素可以是感興趣像素右側(cè)的三個(gè)像素和感興趣像素左側(cè)的三個(gè)像素。可替換的，要提取的水平處理方向分量像素可以是感興趣像素右側(cè)的三個(gè)像素和感興趣像素左側(cè)的一個(gè)像素。
非線(xiàn)性平滑器32使用水平處理方向分量像素，即從水平處理方向分量像素提取器31提供的感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素，來(lái)根據(jù)從閾值設(shè)定器36提供的閾值ε2對(duì)感興趣像素執(zhí)行非線(xiàn)性平滑處理。然后將非線(xiàn)性平滑化的像素提供給混合器33。后面將參考圖5描述非線(xiàn)性平滑器32的結(jié)構(gòu)。水平非線(xiàn)性平滑處理指的是使用與感興趣像素水平相鄰的多個(gè)像素對(duì)感興趣像素執(zhí)行的非線(xiàn)性平滑處理。類(lèi)似地，垂直非線(xiàn)性平滑處理指的是使用與感興趣像素垂直相鄰的多個(gè)像素對(duì)感興趣像素執(zhí)行的非線(xiàn)性平滑處理。
垂直參考方向分量像素提取器34將緩沖器21中存儲(chǔ)的視頻信號(hào)的每個(gè)像素相繼指定為感興趣像素，并且提取在與非線(xiàn)性平滑處理所必需的像素所排列方向不同的垂直方向上與感興趣像素相鄰的像素。然后將所提取的像素和感興趣像素提供給平坦率計(jì)算器35和閾值設(shè)定器36。更具體而言，垂直參考方向分量像素提取器34提取在感興趣像素上方垂直排列的兩個(gè)像素和感興趣像素下方垂直排列的兩個(gè)像素作為垂直參考方向分量像素，并將四個(gè)所提取的像素和感興趣像素的像素值提供給閾值設(shè)定器36和平坦率計(jì)算器35中的每個(gè)。要提取的垂直參考方向分量像素的數(shù)量并不局限于感興趣像素上方的兩個(gè)像素和下方的兩個(gè)像素。只要像素是在垂直方向上相鄰于感興趣像素，任何像素都是可接受的。感興趣像素上方的三個(gè)像素和下方的三個(gè)像素可以是可接受的?？商鎿Q的，感興趣像素上方的一個(gè)像素和下方的三個(gè)像素可以是可接受的。
平坦率計(jì)算器35計(jì)算從垂直參考方向分量像素提取器34提供的感興趣像素和垂直參考方向分量像素的像素值之間的差分的絕對(duì)值。然后平坦率計(jì)算器35將所述差分絕對(duì)值中的最大值作為平坦率提供給混合器33。在垂直方向上的平坦率指的是在感興趣像素和垂直參考方向分量像素的像素值之間的差分的絕對(duì)值上的變化。如果平坦率巨大，則在感興趣像素的附近像素的像素值上的變化也大，在垂直方向上的像素與像素之間的相關(guān)度小。這被理解為在像素值上具有巨大變化的非平坦圖像。如果平坦率小，則在感興趣像素的附近像素的像素值上的變化也小，在垂直方向上的像素與像素之間的相關(guān)度大。這被理解為在像素值上具有小變化的非平坦圖像。
根據(jù)從平坦率計(jì)算器35提供的垂直平坦率，混合器33混合經(jīng)過(guò)非線(xiàn)性平滑處理的感興趣像素和未經(jīng)處理的感興趣像素的像素值，并將得到的像素值作為經(jīng)過(guò)水平方向平滑化的像素輸出到隨后的緩沖器23。
使用在與非線(xiàn)性平滑處理所必需的像素所排列方向不同的垂直方向上與感興趣像素相鄰的像素，閾值設(shè)定器36設(shè)定非線(xiàn)性平滑器32的非平滑處理所需的閾值ε2，然后將閾值ε2提供給非線(xiàn)性平滑器32。將參考圖6詳細(xì)描述閾值設(shè)定器36。
以下參考圖4詳細(xì)描述垂直方向平滑器24。
垂直方向平滑器24在結(jié)構(gòu)上基本上與水平方向平滑器22相同，除了水平方向處理和垂直方向處理互換。垂直處理方向分量像素提取器41連續(xù)地將在緩沖器23中存儲(chǔ)的視頻信號(hào)的每個(gè)像素指定為感興趣像素，并對(duì)應(yīng)于感興趣像素提取非線(xiàn)性平滑處理所需的像素，并將所提取的像素和感興趣像素提供給非線(xiàn)性平滑器42。更具體而言，垂直處理方向分量像素提取器41響應(yīng)于感興趣像素，提取在感興趣像素垂直上方的兩個(gè)相鄰像素和感興趣像素垂直下發(fā)的兩個(gè)相鄰像素作為垂直處理方向分量像素，并將所提取的四個(gè)像素和感興趣像素的像素值提供給非線(xiàn)性平滑器42。要提取的垂直處理方向分量像素并不局限于感興趣像素上方的兩個(gè)像素和下方的兩個(gè)像素。只要像素是在垂直方向上相鄰于感興趣像素，任何數(shù)量的垂直處理方向分量像素都是可接受的。例如，要提取的垂直處理方向分量像素可以是感興趣像素上方的三個(gè)像素和感興趣像素下方的三個(gè)像素?？商鎿Q的，要提取的垂直處理方向分量像素可以是的感興趣像素上方的一個(gè)像素和下方的三個(gè)像素。
非線(xiàn)性平滑器42使用垂直處理方向分量像素，即從垂直處理方向分量像素提取器41提供的感興趣像素上方的兩個(gè)像素和感興趣像素下方的兩個(gè)像素，根據(jù)從閾值設(shè)定器46提供的閾值ε2對(duì)感興趣像素執(zhí)行非線(xiàn)性平滑處理。然后將經(jīng)過(guò)非線(xiàn)性平滑的像素提供給混合器43。非線(xiàn)性平滑器42在結(jié)構(gòu)上于非線(xiàn)性平滑器32相同，并且隨后將參考圖5進(jìn)行描述。
水平參考方向分量像素提取器44連續(xù)地將在緩沖器23中存儲(chǔ)的視頻信號(hào)中的每個(gè)像素指定為感興趣像素，并在與非線(xiàn)性平滑處理所需的像素所排列方向不同的水平方向上提取與感興趣像素相鄰的像素。然后將所提取的像素和感興趣像素提供給平坦率計(jì)算器45和閾值設(shè)定器46。更具體而言，垂直參考方向分量像素提取器44提取在感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素作為水平參考方向分量像素，并將所提取的四個(gè)像素和感興趣像素的像素值提供給平坦率計(jì)算器45和閾值設(shè)定器46的每個(gè)。要提取的水平參考方向分量像素的數(shù)量并不局限于感興趣像素左側(cè)的兩個(gè)像素和右側(cè)的兩個(gè)像素。只要像素是在水平方向上相鄰于感興趣像素，任何像素都是可接受的。例如，感興趣像素右側(cè)的三個(gè)像素和左側(cè)的三個(gè)像素可以是可接受的?？商鎿Q的，感興趣像素右側(cè)的三個(gè)像素和左側(cè)的一個(gè)像素可以是可接受的。
平坦率計(jì)算器45計(jì)算從水平參考方向分量像素提取器44提供的感興趣像素和感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素之間的差分的絕對(duì)值，并將差分絕對(duì)值中的最大值作為平坦率提供給混合器43。
根據(jù)從平坦率計(jì)算器45提供的水平平坦率，混合器33混合經(jīng)過(guò)非線(xiàn)性平滑處理的感興趣像素和未經(jīng)處理的感興趣像素的像素值，并將所得到的像素值作為經(jīng)過(guò)垂直方向平滑的像素而輸出到隨后的緩沖器25。
使用與非線(xiàn)性平滑處理所需的像素所排列方向不同的水平方向上與感興趣像素相鄰的像素，閾值設(shè)定器46設(shè)定非線(xiàn)性平滑器42的非平滑處理所需的閾值ε2，然后將閾值ε2提供給非線(xiàn)性平滑器42。閾值設(shè)定器46在結(jié)構(gòu)上在與閾值設(shè)定器36相同，并且隨后將參考圖6進(jìn)行詳細(xì)描述。
以下將參考圖5詳細(xì)描述非線(xiàn)性平滑器32。
在非線(xiàn)性平滑器32中的非線(xiàn)性濾波器51從構(gòu)成輸入視頻信號(hào)S1的像素的變化中保持在大小上大于從閾值設(shè)定器36提供的閾值ε2的尖銳邊緣，同時(shí)平滑該邊緣之外的視頻信號(hào)S1的部分，并將經(jīng)過(guò)平滑的視頻信號(hào)SLPF-H輸出到混合器52。
混合比檢測(cè)器53確定比由閾值設(shè)定器36所提供的閾值ε2小的閾值ε3、根據(jù)該閾值ε3檢測(cè)在構(gòu)成輸入視頻信號(hào)S1的像素的變化中的微小改變、根據(jù)該檢測(cè)結(jié)果計(jì)算混合比、并將所計(jì)算的混合比提供給混合器52。
混合器52根據(jù)從混合比檢測(cè)器53提供的混合比，混合經(jīng)過(guò)平滑的視頻信號(hào)SLPF-H和未被平滑的視頻信號(hào)S1，并輸出該混合結(jié)果作為經(jīng)過(guò)非線(xiàn)性平滑的視頻信號(hào)SF-H在非線(xiàn)性濾波器51中的低通濾波器(LPF)61按照從控制信號(hào)生成器62提供的控制信號(hào)和從閾值設(shè)定器36提供的閾值ε2，根據(jù)感興趣像素和水平處理方向分量像素，即，在水平方向上感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素，來(lái)平滑感興趣像素。低通濾波器61將經(jīng)過(guò)平滑的視頻信號(hào)SLPF-H輸出到混合器52?？刂菩盘?hào)生成器62計(jì)算感興趣像素的像素值與每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值、根據(jù)該計(jì)算結(jié)果生成用于控制低通濾波器61的控制信號(hào)、然后將該控制信號(hào)提供給低通濾波器61。可以將已知的ε濾波器用作非線(xiàn)性濾波器51。
將參照?qǐng)D6描述閾值設(shè)定器36。
差分絕對(duì)值計(jì)算器71計(jì)算感興趣像素和在與非線(xiàn)性平滑處理所需的像素所排列方向不同的垂直方向上相鄰于感興趣像素的每個(gè)像素之間的差分絕對(duì)值，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器72。閾值確定器72給從差分絕對(duì)值計(jì)算器71提供的差分絕對(duì)值的最大值加上余量(margin)，以確定閾值ε2。然后將閾值ε2提供給非線(xiàn)性平滑器32。閾值設(shè)定器46在結(jié)構(gòu)上于閾值設(shè)定器36相同，沒(méi)有詳細(xì)示出。在閾值設(shè)定器46中，差分絕對(duì)值計(jì)算器71計(jì)算感興趣像素和在與非線(xiàn)性平滑處理所需的像素所排列方向不同的水平方向上與感興趣像素相鄰的每個(gè)像素之間的差分絕對(duì)值，然后將所計(jì)算的差分絕對(duì)值提供給閾值確定器72。
以下參考圖7的流程圖描述圖2的增強(qiáng)處理器11的圖像增強(qiáng)處理。
在步驟S1，水平方向平滑器22使用在緩沖器21中存儲(chǔ)的視頻信號(hào)連續(xù)地執(zhí)行水平方向平滑處理。
以下將參考圖8的流程圖描述水平方向平滑器22所執(zhí)行的水平方向平滑處理。
在步驟S11，在水平方向平滑器22中的水平處理方向分量像素提取器31連續(xù)地以光柵掃描序列的順序設(shè)定每個(gè)感興趣像素。類(lèi)似地，垂直參考方向分量像素提取器34連續(xù)地以光柵掃描序列的順序設(shè)定每個(gè)感興趣像素。設(shè)定感興趣像素的順序可以是光柵掃描序列之外的任何方式。但是重要的是，由水平處理方向分量像素提取器31所設(shè)定的感興趣像素與由垂直參考方向分量像素提取器34設(shè)定的感興趣像素相同。
在步驟S12，水平處理方向分量像素提取器31從緩沖器21提取總共五個(gè)像素，包括感興趣像素和相鄰水平處理方向分量像素，即在水平方向上感興趣像素右側(cè)的兩個(gè)像素和左側(cè)的兩個(gè)像素。例如，如圖9所示，提取像素L2、L1、C、R1、R2作為水平處理方向分量像素和感興趣像素。如圖9所示，像素C是感興趣像素，像素L2和L1是排列在感興趣像素C左側(cè)的兩個(gè)水平處理方向分量像素，像素R1和R2是排列在感興趣像素C右側(cè)的兩個(gè)水平處理方向分量像素。
在步驟S13，垂直參考方向分量像素提取器34從緩沖器21提取總共五個(gè)像素，包括感興趣像素和相鄰垂直參考方向分量像素，即在垂直方向上感興趣像素上方的兩個(gè)像素和感興趣像素下方的兩個(gè)像素。例如，如圖9所示，提取像素U2、U1、C、D1、D2作為感興趣像素和垂直參考方向分量像素。如圖9所示，像素C是感興趣像素，像素U2和U1是排列在感興趣像素C上方的兩個(gè)垂直參考方向分量像素，像素D1和D2是排列在感興趣像素C下方的兩個(gè)垂直參考方向分量像素。
在步驟S14，閾值設(shè)定器36執(zhí)行閾值設(shè)定處理。
以下將參考圖10的流程圖描述該閾值設(shè)定處理。
在步驟S21，差分絕對(duì)值計(jì)算器71計(jì)算感興趣像素的像素值和每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器72。如圖9所示，像素C是感興趣像素，像素U2、U1、D1和D2是垂直參考方向分量像素。差分絕對(duì)值計(jì)算器71計(jì)算|C-U2|、|C-U1|、|C-D2|和|C-D1|，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器72。
在步驟S22，閾值確定器72將從差分絕對(duì)值計(jì)算器71提供的差分絕對(duì)值中的最大值確定為閾值ε2，然后將閾值ε2提供給到非線(xiàn)性平滑器32。如圖9所示，閾值確定器72搜索|C-U2|、|C-U1|、|C-D2|和|C-D1|，找到最大值，并給該最大值加上預(yù)定余量，以確定閾值ε2。例如，如果加上10％的余量，則將差分絕對(duì)值中的最大值的1.1倍設(shè)定為閾值ε2。
返回圖8的流程圖，在步驟S14中閾值設(shè)定處理結(jié)束。在步驟S15，非線(xiàn)性平滑器32根據(jù)從水平處理方向分量像素提取器31提供的感興趣像素和水平處理方向分量像素，對(duì)感興趣像素執(zhí)行非線(xiàn)性平滑處理。
以下參考圖11的流程圖描述非線(xiàn)性平滑器32的非線(xiàn)性平滑處理。
在步驟S31，在非線(xiàn)性濾波器51中的控制信號(hào)生成器62計(jì)算感興趣像素的像素值和每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值。如圖9所示，控制信號(hào)生成器62計(jì)算感興趣像素的像素值和每個(gè)附近水平處理方向分量像素的像素值之間的差分絕對(duì)值，即，|C-L2|、|C-L1|、|C-R1|和|C-R2|。
在步驟S32，低通濾波器61將由控制信號(hào)生成器62所計(jì)算的差分絕對(duì)值與由閾值設(shè)定器36所設(shè)定的閾值ε2進(jìn)行比較，并根據(jù)比較結(jié)果來(lái)對(duì)輸入視頻信號(hào)S1執(zhí)行非線(xiàn)性濾波處理。更具體而言，低通濾波器61根據(jù)等式(1)使用抽頭系數(shù)對(duì)感興趣像素和水平處理方向分量像素的像素值進(jìn)行加權(quán)平均，并將對(duì)應(yīng)于感興趣像素C的轉(zhuǎn)換結(jié)果C′輸出到混合器52作為經(jīng)過(guò)平滑的視頻信號(hào)SLPF-H。在加權(quán)平均之前，將相對(duì)于感興趣像素的像素值的差分絕對(duì)值大于閾值ε2的水平處理方向分量像素替換為感興趣像素C的像素值(如等式(2)所示)。
在步驟S33，混合比檢測(cè)器53執(zhí)行微小邊緣確定處理，確定在圖像中是否存在微小邊緣。
以下參考圖12的流程圖描述微小邊緣確定處理。
在步驟S41，混合比檢測(cè)器53根據(jù)從低通濾波器61提供的閾值ε2來(lái)檢測(cè)對(duì)于檢測(cè)微小邊緣的存在所需的閾值ε3。更具體而言，需要閾值ε3充分小于閾值ε2(ε3＜＜ε2)，例如，可以通過(guò)將閾值ε2乘以一個(gè)充分小的數(shù)來(lái)設(shè)定閾值ε3。
在步驟S42，混合比檢測(cè)器53計(jì)算感興趣像素的像素值和每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值，確定得到的差分絕對(duì)值的每個(gè)是否小于閾值ε3(＜＜ε2)并根據(jù)該確定來(lái)確定是否存在微小的邊緣。
如圖9所示，混合比檢測(cè)器53計(jì)算感興趣像素C的像素值和每個(gè)水平處理方向分量像素L2、L1、R1和R2的像素值之間的差分絕對(duì)值，確定每個(gè)差分絕對(duì)值是否小于閾值ε3。如果確定每個(gè)差分絕對(duì)值都小于閾值ε3，則混合比檢測(cè)器53確定在感興趣像素的像素值和每個(gè)相鄰像素的像素值之間沒(méi)有變化。處理前進(jìn)到步驟S45。混合比檢測(cè)器53確定在感興趣像素附近沒(méi)有微小邊緣。
如果在步驟S42確定所計(jì)算的差分絕對(duì)值中有任何一個(gè)大于閾值ε3，則處理前進(jìn)到步驟S43?；旌媳葯z測(cè)器53確定是否感興趣像素的像素值和在感興趣像素左側(cè)和右側(cè)中的一側(cè)上的每個(gè)水平處理方向分量像素的像素值之間的所有差分絕對(duì)值都小于閾值ε3，是否感興趣像素的像素值和在感興趣像素左側(cè)和右側(cè)中的另一側(cè)上的每個(gè)水平處理方向分量像素的像素值之間的所有差分絕對(duì)值都等于或者大于閾值ε3，是否感興趣像素的像素值和在感興趣像素另一側(cè)上的每個(gè)水平處理方向分量像素的像素值之間的差分具有相同的符號(hào)。
在感興趣像素C的左側(cè)和右側(cè)中的一側(cè)上的水平處理方向分量像素可以是圖9的像素L2和L1，并且在感興趣像素C的左側(cè)和右側(cè)中的另一側(cè)上的水平處理方向分量像素可以是圖9的像素R2和R1?；旌媳葯z測(cè)器53確定是否感興趣像素C的像素值和在感興趣像素左側(cè)和右側(cè)中的該一側(cè)上的每個(gè)水平處理方向分量像素L2和L1的像素值之間的所有差分絕對(duì)值都小于閾值ε3，是否感興趣像素C的像素值和在感興趣像素左側(cè)和右側(cè)中的該另一側(cè)上的每個(gè)水平處理方向分量像素R2和R1的像素值之間的所有差分絕對(duì)值都等于或者大于閾值ε3，是否感興趣像素的像素值和在該另一側(cè)上的每個(gè)水平處理方向分量像素R1和R2的像素值之間的差分具有相同的符號(hào)。
如果上述條件確定為都滿(mǎn)足，則混合比檢測(cè)器53在步驟S44確定在感興趣像素的附近存在微小邊緣。
如果在步驟S43確定上述條件不滿(mǎn)足，則混合比檢測(cè)器53在步驟S45確定在感興趣像素附近不存在微小邊緣。
圖1 3示出了感興趣像素C和水平處理方向分量像素L2、L1、R1、和R2。在感興趣像素C的左側(cè)的每個(gè)水平處理方向分量像素L2和L1的像素值和感興趣像素C的像素值之間的差分絕對(duì)值的每個(gè)，即|L2-C|和|L1-C|，小于閾值ε3，并且在感興趣像素C的右側(cè)的每個(gè)水平處理方向分量像素R1和R2的像素值和感興趣像素的像素值之間的差分絕對(duì)值的每個(gè)，即|R1-C|和|R2-C|，等于或大于閾值ε3，并且感興趣像素的像素值和水平處理方向分量像素R1和R2的像素值之間的差分，即(R1-C)和(R2-C)，在符號(hào)上一致(當(dāng)前都為正)。因此混合比檢測(cè)器53確定在該感興趣像素附近存在微小邊緣。
圖14示出了感興趣像素C和水平處理方向分量像素L2、L1、R1、和R2。在感興趣像素C的左側(cè)的每個(gè)水平處理方向分量像素L2和L1的像素值和感興趣像素C的像素值之間的差分絕對(duì)值的每個(gè)，即|L2-C|和|L1-C|，小于閾值ε3，并且在感興趣像素C的右側(cè)的每個(gè)水平處理方向分量像素R1和R2的像素值和感興趣像素C的像素值之間的差分絕對(duì)值的每個(gè)，即|R1-C|和|R2-C|，等于或大于閾值ε3，并且感興趣像素的像素值和水平處理方向分量像素R1和R2的像素值之間的差分，即(R1-C)和(R2-C)，在符號(hào)上不一致(當(dāng)前一個(gè)為正，另一個(gè)為負(fù))。因此混合比檢測(cè)器53確定在該感興趣像素附近不存在微小邊緣。
圖15示出了感興趣像素C和水平處理方向分量像素L2、L1、R1、和R2。感興趣像素C兩側(cè)的水平處理方向分量像素相對(duì)于感興趣像素C的差分絕對(duì)值并非必要小于閾值ε3。因此混合比檢測(cè)器53確定在該感興趣像素附近不存在微小邊緣。
在確立了感興趣像素附近是否存在微小邊緣之后，處理返回圖11的步驟S34。
在步驟S33之后，混合比檢測(cè)器53在步驟S34確定在步驟S33中的微小邊緣確定處理中的確定結(jié)果是否是“在感興趣像素C附近存在微小邊緣”。如果在步驟S34確定在步驟S33中的微小邊緣確定處理中的確定結(jié)果是“在感興趣像素C附近存在微小邊緣”，則混合比檢測(cè)器53在步驟S35輸出混合比Mr-H，即經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SLPF-H和視頻信號(hào)S1的混合比，為最大混合比Mr-Hmax，到混合器52。最大混合比Mr-Hmax是混合比Mr-H的最大值，即像素值動(dòng)態(tài)范圍的最大值和像素值動(dòng)態(tài)范圍的最小值之間的差分絕對(duì)值。
在步驟S36，混合器52根據(jù)從混合比檢測(cè)器53提供的混合比Mr-H，混合輸入視頻信號(hào)S1和由非線(xiàn)性濾波器51所非線(xiàn)性平滑的視頻信號(hào)SLPF-H，并將混合信號(hào)作為經(jīng)過(guò)非線(xiàn)性平滑的視頻信號(hào)SF-H輸出到緩沖器23。更具體而言，混合器52計(jì)算以下等式(3)，由此混合輸入視頻信號(hào)S1和由非線(xiàn)性濾波器所非線(xiàn)性平滑的視頻信號(hào)SLPF-HSF-H＝S1×Mr-H/Mr-Hmax+SLPF-H×(1-Mr-H/Mr-Hmax)...(3)其中Mr-H是混合比，Mr-Hmax是混合比Mr-H的最大值，即像素值的最大值和像素值的最小值之間的差分絕對(duì)值。
如等式(3)所示，混合比Mr-H越大，由非線(xiàn)性濾波器51處理的視頻信號(hào)SLPF-H的權(quán)重越小，輸入的未處理視頻信號(hào)S1的權(quán)重越大。相反地，混合比Mr-H越小，由非線(xiàn)性濾波器51處理的視頻信號(hào)SLPF-H的權(quán)重越大，輸入的未處理視頻信號(hào)S1的權(quán)重越小。
當(dāng)檢測(cè)到微小邊緣時(shí)，混合比Mr-H變?yōu)樽畲蠡旌媳萂r-Hmanx，并且實(shí)際上按原樣輸出實(shí)際輸入視頻信號(hào)S1。
如果在步驟S34確定不存在微小邊緣，則混合比檢測(cè)器53在步驟S37確定感興趣像素的像素值和每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值，確定所計(jì)算的差分絕對(duì)值中的最大值為混合比Mr-H，并輸出混合比Mr-H到混合器52。處理前進(jìn)到步驟S36。
如圖9所示，混合比檢測(cè)器53計(jì)算感興趣像素C的像素值和每個(gè)水平處理方向分量像素L2、L1、R1和R2的像素值之間的差分絕對(duì)值的每個(gè)，即，|C-L2|、|C-L1|、|C-R1|和|C-R2|，并確定所計(jì)算的差分絕對(duì)值中的最大值為混合比Mr-H，并輸出混合比Mr-H到混合器52。
如果不存在邊緣，則根據(jù)水平處理方向分量像素相對(duì)于感興趣像素的差分絕對(duì)值的最大值，混合經(jīng)過(guò)非線(xiàn)性濾波的視頻信號(hào)SLPF-H和輸入視頻信號(hào)S1。生成經(jīng)過(guò)非線(xiàn)性平滑的視頻信號(hào)SF-H。如果存在邊緣，則按原樣輸出輸入視頻信號(hào)S1。
從而，非線(xiàn)性平滑器32根據(jù)閾值ε3檢測(cè)微小邊緣。包含邊緣的部分不進(jìn)行非線(xiàn)性平滑處理。對(duì)于不包含邊緣的部分，根據(jù)差分絕對(duì)值的大小，混合經(jīng)過(guò)非線(xiàn)性平滑處理的像素值和輸入視頻信號(hào)。例如，從而使得包含微小邊緣的簡(jiǎn)單圖案免于嚴(yán)重的圖像劣化。
以下描述圖8的流程圖。
在步驟S16，平坦率計(jì)算器35計(jì)算感興趣像素的像素值和在垂直方向上相鄰于感興趣像素的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值。如圖9所示，平坦率計(jì)算器35計(jì)算感興趣像素C的像素值和每個(gè)垂直參考方向分量像素U2、U1、D1和D2的像素值之間的差分絕對(duì)值，即，|C-U2|、|C-U1|、|C-D1|和|C-D2|。
在步驟S17，平坦率計(jì)算器35確定在垂直方向上相鄰于感興趣像素的每個(gè)垂直參考方向分量像素的像素值的差分絕對(duì)值中的最大值，并將該最大值作為平坦率Fr-V輸出到混合器33。
在步驟S18，混合器33根據(jù)從平坦率計(jì)算器35提供的平坦率Fr-V，混合輸入視頻信號(hào)S1和由非線(xiàn)性平滑器32所線(xiàn)性平滑的視頻信號(hào)SF-H，并將混合結(jié)果輸出到緩沖器23作為經(jīng)過(guò)水平方向平滑處理的視頻信號(hào)SNL-H。更具體而言，混合器33計(jì)算以下等式(4)，由此混合輸入視頻信號(hào)S1和由非線(xiàn)性平滑器32所線(xiàn)性平滑的視頻信號(hào)SF-HSNL-H＝SF-H×Fr-V/Fr-Vmax+S1×(1-Fr-V/Fr-Vmax)...(4)其中Fr-V是垂直方向上的平坦率，F(xiàn)r-Vmax是垂直方向上的平坦率Fr-V的最大值，即像素值的動(dòng)態(tài)范圍的最大值和最小值之間的差分絕對(duì)值。由于平坦率Fr-V是垂直參考方向分量像素相對(duì)于感興趣像素的差分絕對(duì)值中的最大值。平坦率Fr-V越小，在垂直方向上相鄰于感興趣像素的垂直參考方向分量像素的像素值上的變化也越小，并且顏色上的可見(jiàn)變化也越小。從而，結(jié)果圖像是平坦的。相反地，平坦率Fr-V越大，在垂直方向上相鄰于感興趣像素的垂直參考方向分量像素的像素值上的變化也越大，并且顏色上的可見(jiàn)變化也越大。從而，結(jié)果圖像變得非平坦。
如等式(4)所示，平坦率Fr-V越大，由非線(xiàn)性平滑器32所非線(xiàn)性平滑的視頻信號(hào)SF-H的權(quán)重也越大，并且輸入的未處理視頻信號(hào)S1的權(quán)重越小。相反地，平坦率Fr-V越小，換句話(huà)說(shuō)，在垂直方向上每個(gè)像素相對(duì)于感興趣像素的差分絕對(duì)值越小，由非線(xiàn)性平滑器32所非線(xiàn)性平滑的視頻信號(hào)SF-H的權(quán)重也越小，并且輸入的未處理視頻信號(hào)S1的權(quán)重越大。
在步驟S19，水平處理方向分量像素提取器31確定是否所有像素已經(jīng)作為感興趣像素進(jìn)行了處理，即是否存在未處理像素。如果在步驟S19確定不是所有像素都已經(jīng)作為感興趣像素進(jìn)行了處理，即存在未處理像素，則處理返回到步驟S11。如果在步驟S19確定所有像素都已經(jīng)被處理，即不存在未處理像素，則處理結(jié)束。從而完成圖7的步驟S1中的過(guò)程。類(lèi)似地，垂直參考方向分量像素提取器34確定是否所有像素都已經(jīng)被處理，即是否存在未處理像素。當(dāng)水平處理方向分量像素提取器31和垂直參考方向分量像素提取器34都確定不存在未處理像素時(shí)，圖7的步驟S1中的過(guò)程可以完成。
從感興趣像素的像素值和在垂直方向上相鄰于感興趣像素的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值中確定平坦率Fr-V。根據(jù)該平坦率Fr-V，混合經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SF-H和輸入視頻信號(hào)S1。如果垂直相關(guān)度強(qiáng)，換句話(huà)說(shuō)，如果垂直平坦率Fr-V小，則增大輸入視頻信號(hào)S1的權(quán)重。如果垂直平坦率Fr-V大，即具有弱垂直相關(guān)度，則增大經(jīng)過(guò)水平非線(xiàn)性過(guò)濾的視頻信號(hào)SF-H的權(quán)重。通過(guò)考慮到邊緣，控制在處理方向(取決于在非線(xiàn)性平滑處理中所使用的相鄰像素是垂直相鄰于感興趣像素還是水平相鄰于感興趣像素的)上的非自然處理。
在以上討論中，在混合運(yùn)算中，直接將像素值乘以作為權(quán)重的平坦率Fr-V?？商鎿Q的，可以將經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SF-H和輸入視頻信號(hào)S1中的每一個(gè)分別乘以相應(yīng)于其他平坦率的權(quán)重，來(lái)執(zhí)行該混合運(yùn)算。例如，如圖16所示，根據(jù)等式(5)，可以采用響應(yīng)于平坦率Fr-V而設(shè)定的權(quán)重系數(shù)W1和W2來(lái)執(zhí)行混合運(yùn)算SNL-H＝S1×W1+SF-H×W2...(5)其中，W2是經(jīng)過(guò)水平非線(xiàn)性過(guò)濾的視頻信號(hào)SF-H的權(quán)重系數(shù)，W1是輸入視頻信號(hào)S1的權(quán)重系數(shù)。在此，(W1+W2)是權(quán)重系數(shù)的最大值Wmax(＝1)。
如圖16所示，在小于Fr1的平坦率Fr-V(Fr-V＜Fr1)的范圍，權(quán)重系數(shù)W1是最大權(quán)重系數(shù)Wmax，同時(shí)權(quán)重系數(shù)W2為0。當(dāng)平坦率Fr-V落入等于或者大于Fr1并且等于或者小于Fr2的范圍(Fr1≤Fr-V≤Fr2)時(shí)，權(quán)重系數(shù)W1與平坦率Fr-V成比例的降低，同時(shí)權(quán)重系數(shù)W2與平坦率Fr-V成比例的增大，并且將(W1+W2)設(shè)定為最大值Wmax(＝1)。當(dāng)平坦率Fr-V落入等于或者大于Fr2(Fr2≤Fr-V)的范圍內(nèi)時(shí)，權(quán)重系數(shù)W1是0，同時(shí)權(quán)重系數(shù)W2是最大值Wmax。
這樣，能夠在準(zhǔn)確地考慮到是否存在邊緣的情況下對(duì)圖像進(jìn)行非線(xiàn)性平滑。如果Fr1＝Fr2，則響應(yīng)于Fr1(＝Fr2)作為閾值的，要輸出的信號(hào)在輸入視頻信號(hào)S1和經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SF-H之間進(jìn)行切換。
已經(jīng)討論了圖8的步驟S14中的處理。采用所設(shè)定的閾值，例如，發(fā)生了圖17A所示的方波。字母x表示感興趣像素，并且在圖17B所示的垂直參考方向分量像素的波形中設(shè)定閾值ε2，從而使得按照?qǐng)D18A設(shè)定閾值ε2。該布置避免了圖1B所示的將閾值ε2設(shè)定于超出像素值所構(gòu)成的方波中的變化范圍。從而，僅僅平滑振幅分量，同時(shí)將波形保持為如圖18B所示。
返回圖7的流程圖，在步驟S1中，水平方向平滑器22使得緩沖器23連續(xù)存儲(chǔ)經(jīng)過(guò)水平平滑的視頻信號(hào)SNL-H。
在步驟S2中，垂直方向平滑器24采用在緩沖器23中存儲(chǔ)的經(jīng)過(guò)水平平滑的視頻信號(hào)SNL-H執(zhí)行垂直方向平滑處理。參考圖19的流程圖，以下描述垂直方向平滑處理。垂直方向平滑處理類(lèi)似于水平方向平滑處理，除了替代在水平方向上的處理，執(zhí)行在垂直方向上的處理。在垂直方向平滑處理中的閾值設(shè)定處理也與水平方向平滑處理中的閾值設(shè)定處理相同，除了采用水平相鄰于感興趣像素的像素替代垂直相鄰于感興趣像素的像素。
在步驟S51中，在垂直方向平滑器24中的垂直處理方向分量像素提取器41以光柵掃描序列的順序設(shè)定感興趣像素。水平參考方向分量像素提取器44也以光柵掃描序列的順序設(shè)定感興趣像素。設(shè)定感興趣像素的順序可以是光柵掃描序列之外的任何順序。但是重要的是，由垂直處理方向分量像素提取器41所設(shè)定的感興趣像素與由水平參考方向分量像素提取器44設(shè)定的感興趣像素相同。
在步驟S52，垂直處理方向分量像素提取器41從緩沖器23提取總共五個(gè)像素，包括感興趣像素和相鄰垂直處理方向分量像素，即在垂直方向上感興趣像素上方的兩個(gè)像素和下方的兩個(gè)像素，并將所提取的像素輸出到非線(xiàn)性平滑器42。例如，如圖9所示，提取像素U2、U1、C、D1、D2作為垂直處理方向分量像素和感興趣像素。
在步驟S53，水平參考方向分量像素提取器44從緩沖器23提取總共五個(gè)像素，包括感興趣像素和相鄰水平處理方向分量像素，即在水平方向上感興趣像素右側(cè)的兩個(gè)像素和左側(cè)的兩個(gè)像素，并將所提取的像素提供到平坦率計(jì)算器45。例如，如圖9所示，提取像素L2、L1、C、R1、R2作為感興趣像素和水平參考方向分量像素。
在步驟S54，閾值設(shè)定器46執(zhí)行閾值設(shè)定處理。
在步驟S55，非線(xiàn)性平滑器42根據(jù)從垂直處理方向分量像素提取器41提供的感興趣像素和垂直處理方向分量像素，對(duì)感興趣像素執(zhí)行非線(xiàn)性平滑處理。在步驟S55中的非線(xiàn)性平滑處理與圖8的步驟S15中的非線(xiàn)性平滑處理相同，除了顛倒了水平方向和垂直方向之間的關(guān)系，因此在此省略的相關(guān)討論。非線(xiàn)性平滑器42輸出經(jīng)過(guò)垂直非線(xiàn)性平滑的視頻信號(hào)SF-V到混合器43。
在步驟S56，平坦率計(jì)算器45計(jì)算感興趣像素的像素值和在水平方向上相鄰于感興趣像素的每個(gè)水平參考方向分量像素的像素值之間的差分絕對(duì)值。如圖9所示，平坦率計(jì)算器45計(jì)算感興趣像素C的像素值和在水平方向上相鄰于感興趣像素的每個(gè)水平參考方向分量像素L2、L1、R1和R2的像素值之間的每個(gè)差分絕對(duì)值，即，計(jì)算|C-L2|、|C-L1|、|C-R1|和|C-R2|。
在步驟S57，平坦率計(jì)算器45確定在水平方向上相鄰于感興趣像素的水平參考方向分量像素相對(duì)于感興趣像素的差分絕對(duì)值中的最大值，然后將該差分絕對(duì)值的最大值輸出到混合器43作為平坦率Fr-H。
在步驟S58，混合器43根據(jù)從平坦率計(jì)算器45提供的平坦率Fr-H，混合從水平方向平滑器22輸入的經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SNL-H和來(lái)自非線(xiàn)性平滑器42的經(jīng)過(guò)非線(xiàn)性平滑的視頻信號(hào)SF-V。然后，混合器43將采用在垂直方向上的相鄰像素所平滑的視頻信號(hào)So輸出到緩沖器25。更具體而言，混合器43通過(guò)計(jì)算以下等式(6)來(lái)混合輸入的經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SNL-H和由非線(xiàn)性平滑器42垂直非線(xiàn)性平滑的視頻信號(hào)SF-VSo＝SF-V×Fr-H/Fr-Hmax+SNL-H×(1-Fr-H/Fr-Hmax)... (6)其中Fr-H是水平平坦率，F(xiàn)r-Hmax是平坦率Fr-H的最大值，即像素值的動(dòng)態(tài)范圍的最大值和最小值之間的差分絕對(duì)值。由于平坦率Fr-H是水平方向相鄰于感興趣像素的每個(gè)水平參考方向分量像素相對(duì)于感興趣像素的差分絕對(duì)值的最大值，因此平坦率Fr-H越小，相鄰于感興趣像素的相鄰像素的像素值上的變化也越小，并且顏色上的可見(jiàn)變化也越小。結(jié)果是，得到的圖像是平坦的。相反地，平坦率Fr-H越大，在水平方向上相鄰于感興趣像素的水平參考方向分量像素的像素值上的變化也越大。得到的圖像變?yōu)榉瞧教埂?br> 如等式(6)所示，平坦率Fr-H越大，由非線(xiàn)性平滑器42所非線(xiàn)性平滑的視頻信號(hào)SF-V的權(quán)重也越大，并且經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SNL-H的權(quán)重越小。相反地，平坦率Fr-H越小，換句話(huà)說(shuō)，在水平方向上每個(gè)像素相對(duì)于感興趣像素的差分絕對(duì)值越小，由非線(xiàn)性平滑器42所線(xiàn)性平滑的視頻信號(hào)SF-V的權(quán)重也越小，并且經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SNL-H的權(quán)重越大。
在步驟S59，垂直處理方向分量像素提取器41確定是否所有像素已經(jīng)作為感興趣像素進(jìn)行了處理，即是否存在未處理像素。如果在步驟S59確定不是所有像素已經(jīng)作為感興趣像素進(jìn)行了處理，即存在未處理像素，則處理返回步驟S51。如果在步驟S59確定所有像素都已經(jīng)被處理，即不存在未處理像素，則處理結(jié)束。從而完成圖7的步驟S2中的處理。類(lèi)似地，水平參考方向分量像素提取器44確定是否所有像素已經(jīng)作為感興趣像素進(jìn)行了處理，即是否存在未處理像素。當(dāng)垂直處理方向分量像素提取器41和水平參考方向分量像素提取器44都確定不存在未處理像素時(shí)，圖7的步驟S2中的過(guò)程可以完成。
從感興趣像素的像素值和在水平方向上相鄰于感興趣像素的每個(gè)水平參考方向分量像素的像素值之間的差分絕對(duì)值中確定平坦率Fr-H。根據(jù)該平坦率Fr-H，混合經(jīng)過(guò)垂直平滑的視頻信號(hào)SF-V和輸入視頻信號(hào)SNL-H。如果水平相關(guān)度強(qiáng)，換句話(huà)說(shuō)，如果水平平坦率Fr-H小，則增大的經(jīng)過(guò)水平非線(xiàn)性平滑的視頻信號(hào)SNL-H的權(quán)重。如果水平平坦率Fr-H大，即具有弱水平相關(guān)度，則增大經(jīng)過(guò)垂直非線(xiàn)性過(guò)濾的視頻信號(hào)SF-V的權(quán)重。通過(guò)考慮到邊緣，控制在處理方向(取決于在非線(xiàn)性平滑處理中所使用的相鄰像素是垂直相鄰于感興趣像素還是水平相鄰于感興趣像素的)上的非自然處理。
在以上討論中，在混合運(yùn)算中，直接將像素值乘以平坦率Fr-H作為權(quán)重?？商鎿Q的，可以將經(jīng)過(guò)平滑的視頻信號(hào)SF-V和輸入的經(jīng)過(guò)水平平滑的視頻信號(hào)SNL-H中的每一個(gè)分別乘以響應(yīng)于其他平坦率Fr-H的權(quán)重，來(lái)執(zhí)行該混合運(yùn)算。例如，如圖16所示，根據(jù)等式(7)，可以采用響應(yīng)于平坦率Fr-H而設(shè)定的權(quán)重系數(shù)W11和W12來(lái)執(zhí)行混合運(yùn)算So＝SNL-H×W11+SF-V×W12...(7)其中，W12是經(jīng)過(guò)垂直平滑的視頻信號(hào)SF-V的權(quán)重系數(shù)，W11是輸入的經(jīng)過(guò)水平平滑的視頻信號(hào)SNL-H的權(quán)重系數(shù)。在此，(W12+W12)是權(quán)重系數(shù)的最大值Wmax(＝1)。
考慮到是否存在邊緣而生成的圖像是經(jīng)過(guò)非線(xiàn)性平滑的。
返回圖7的流程圖，在步驟S2中執(zhí)行垂直方向平滑處理。在步驟S3，確定是否已經(jīng)輸入了下一個(gè)圖像。如果在步驟S3中確定了已經(jīng)輸入了下一個(gè)圖像，則處理返回步驟S1，重復(fù)步驟S1和隨后的步驟。如果在步驟S3確定了沒(méi)有輸入下一個(gè)圖像，即，如果確定完成了視頻信號(hào)的處理，則處理結(jié)束。
通過(guò)上述水平方向平滑處理和垂直方向平滑處理，確定平坦率，并根據(jù)所確定的平坦率混合經(jīng)過(guò)非線(xiàn)性平滑的視頻信號(hào)和未進(jìn)行非線(xiàn)性平滑的視頻信號(hào)。在圖像的邊緣被保留的情況下，通過(guò)避免在處理方向上的非自然增強(qiáng)效果的方式增強(qiáng)了邊緣之外的區(qū)域的對(duì)比度和銳利度。
由于采用垂直于處理方向的像素(參考方向像素)來(lái)設(shè)定在非線(xiàn)性平滑處理中使用的閾值ε2，所以可以?xún)H僅增強(qiáng)振幅分量，而結(jié)構(gòu)分量保持不變。該裝置避免了參考圖1A-1C所論述的諸如破壞矩形形狀、不成功的增強(qiáng)處理之類(lèi)問(wèn)題。從而增強(qiáng)了邊緣之外的區(qū)域中的對(duì)比度和銳利度。
在閾值設(shè)定處理中，將感興趣像素和每個(gè)參考方向像素之間的差分絕對(duì)值中的最大值設(shè)定為閾值ε2。本發(fā)明并不局限于這種確定閾值ε2的方法。例如，確定感興趣像素和參考方向分量像素的最大值和最小值，可以將該最大值和該最小值之間的差分絕對(duì)值設(shè)定為閾值ε2。
圖20示出了將感興趣像素和垂直參考方向分量像素的最大值和最小值之間的差分絕對(duì)值設(shè)定為閾值ε2的閾值設(shè)定器36。
最大值提取器81從感興趣像素和垂直參考方向分量像素中提取具有最大像素值的像素，然后將該最大像素值提供給閾值確定器83。
最小值提取器82從感興趣像素和垂直參考方向分量像素中提取具有最小像素值的像素，然后將該最小像素值提供給閾值確定器83。
閾值確定器83確定由最大值提取器81提供的感興趣像素和垂直參考方向分量像素中的最大像素值與由最小值提取器82提供的感興趣像素和垂直參考方向分量像素中的最小像素值之間的差分絕對(duì)值。閾值確定器83給該差分絕對(duì)值加上余量，設(shè)定該和為閾值ε2，然后將該閾值ε2提供給非線(xiàn)性平滑器32。
以下將參考圖21的流程圖來(lái)描述圖20的閾值設(shè)定器36的閾值設(shè)定處理。
在步驟S71，最大值提取器81從感興趣像素和垂直參考方向分量像素中提取具有最大像素值的像素，然后將該最大值提供給閾值確定器83。如圖9所示，感興趣像素和垂直參考方向分量像素是像素U2、U1、C、D1和D2。最大值提取器81從像素U2、U1、C、D1和D2中提取具有最大像素值的像素，然后將該像素的最大像素值提供給閾值確定器83。
在步驟S72，最小值提取器82從感興趣像素和垂直參考方向分量像素中提取具有最小像素值的像素，然后將該最小像素值提供給閾值確定器83。如圖9所示，感興趣像素和垂直參考方向分量像素是像素U2、U1、C、C1和D2。最小值提取器82從像素U2、U1、C、C1和D2中提取具有最小像素值的像素，然后將該最小像素值提供給閾值確定器83。
在步驟S73，閾值確定器83確定由最大值提取器81提供的感興趣像素和垂直參考方向分量像素中的最大像素值與由最小值提取器82提供的感興趣像素和垂直參考方向分量像素中的最小像素值之間的差分絕對(duì)值。閾值確定器83給該差分絕對(duì)值加上余量，設(shè)定該和為閾值ε2，然后將該閾值ε2提供給非線(xiàn)性平滑器32。
由于從感興趣像素和垂直參考方向分量像素中的最大值和最小值之間的差分絕對(duì)值來(lái)確定閾值ε2，因此振幅分量被平滑同時(shí)保持結(jié)構(gòu)分量。閾值設(shè)定器46在操作上與閾值設(shè)定器36相同，除了將感興趣像素和垂直參考方向分量像素替換為感興趣像素和水平參考方向分量像素，因此在此省略了該操作的描述。
在以上論述中，根據(jù)感興趣像素和垂直參考方向分量像素的最大值和最小值之間的差分絕對(duì)值來(lái)確定閾值ε2?？商鎿Q的，從感興趣像素和垂直參考方向分量像素中，可以通過(guò)采用在感興趣像素兩側(cè)的最大像素值和最小像素值之間的兩個(gè)差分絕對(duì)值中較小的一個(gè)來(lái)設(shè)定閾值ε2。
圖22示出了將在感興趣像素兩側(cè)的最大像素值和最小像素值之間的兩個(gè)差分絕對(duì)值中較小的一個(gè)設(shè)定為閾值ε2的閾值設(shè)定器36。
第一方向最大值提取器91提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向上方向上相鄰于感興趣像素并在其上方的垂直參考方向分量像素的像素值的最大像素值，并將該最大像素值提供給差分絕對(duì)值計(jì)算器93。如圖22所示，所述第一方向指的是感興趣像素向上的方向，所述第二方向指的是感興趣像素向下的方向。
第一方向最小值提取器92提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向上方向上相鄰于感興趣像素并在其上方的垂直參考方向分量像素的像素值的最小值，并將該最小值提供給差分絕對(duì)值計(jì)算器93。
第二方向最大值提取器94提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向下方向上相鄰于感興趣像素并在其下方的垂直參考方向分量像素的像素值的最大值，并將該最大值提供給差分絕對(duì)值計(jì)算器96。
第二方向最小值提取器95提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向下方向上相鄰于感興趣像素并在其下方的垂直參考方向分量像素的像素值的最小值，并將該最小值提供給差分絕對(duì)值計(jì)算器96。
差分絕對(duì)值計(jì)算器93計(jì)算在從第一方向最大值提取器91所提供的感興趣像素和在感興趣像素上方的垂直參考方向分量像素的像素值中的最大值與感興趣像素和在感興趣像素上方的垂直參考方向分量像素中的像素值中的最小值之間的差分絕對(duì)值，并將該差分絕對(duì)值提供給閾值確定器97。
差分絕對(duì)值計(jì)算器96計(jì)算在從第二方向最大值提取器94所提供的感興趣像素和在感興趣像素下方的垂直參考方向分量像素的像素值的最大值與從第二方向最小值提取器95所提供的感興趣像素和在感興趣像素下方的垂直參考方向分量像素的像素值的最小值之間的差分絕對(duì)值，并將該差分絕對(duì)值提供給閾值確定器97。
閾值確定器97為分別從差分絕對(duì)值計(jì)算器93和96提供的兩個(gè)差分絕對(duì)值加上余量，從而成為閾值ε2，并將該閾值ε2提供給非線(xiàn)性平滑器32。
以下將參考圖23的流程圖描述圖22的閾值設(shè)定器36的閾值設(shè)定處理。
在步驟S91，第一方向最大值提取器91提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向上方向上相鄰于感興趣像素并在其上方的垂直參考方向分量像素的像素值的最大值，并將該最大值提供給差分絕對(duì)值計(jì)算器93。如圖9所示，第一方向最大值提取器91提取感興趣像素C和相鄰于感興趣像素并在其上方的垂直參考方向分量像素U2和U1，并將像素C、U1和U2中的最大值提供給差分絕對(duì)值計(jì)算器93。
在步驟S92，第一方向最小值提取器92提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向上方向上相鄰于感興趣像素并在其上方的垂直參考方向分量像素的像素值的最小值，并將該最小值提供給差分絕對(duì)值計(jì)算器93。如圖9所示，第一方向最小值提取器92提取感興趣像素C和相鄰于感興趣像素并在其上方的垂直參考方向分量像素U1和U2，并將像素值中的最小值提供給差分絕對(duì)值計(jì)算器93。
在步驟S93，差分絕對(duì)值計(jì)算器93計(jì)算在從第一方向最大值提取器91所提供的感興趣像素和在感興趣像素上方的像素的像素值中的最大值與從第一方向最小值提取器92所提供的感興趣像素和在感興趣像素上方的垂直參考方向分量像素中的像素值中的最小值之間的差分絕對(duì)值，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器97。如圖9所示，差分絕對(duì)值計(jì)算器93計(jì)算在從第一方向最大值提取器91所提供的像素C、U1和U2的像素值中的最大值與從第一方向最小值提取器92所提供的像素C、U1和U2的像素值中的最小值之間的差分絕對(duì)值，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器97。
在步驟S94，第二方向最大值提取器94提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向下方向上相鄰于感興趣像素并在其下方的垂直參考方向分量像素的像素值中的最大值，并將該所提取的最大值提供給差分絕對(duì)值計(jì)算器96。如圖9所示，第二方向最大值提取器94提取感興趣像素C和在向下方向上相鄰于感興趣像素并在其下方的垂直參考方向分量像素D2和D1，并將像素C、D1和D2的像素值中的最大值提供給差分絕對(duì)值計(jì)算器96。
在步驟S95，第二方向最小值提取器95提取在感興趣像素和垂直參考方向分量像素之中的感興趣像素和在向下方向上相鄰于感興趣像素并在其下方的垂直參考方向分量像素的像素值中的最小值，并將該最小像素值輸出到差分絕對(duì)值計(jì)算器96。如圖9所示，第二方向最小值提取器95提取感興趣像素C和相鄰于感興趣像素并在其下方的垂直參考方向分量像素D2和D1，并將像素C、D1和D2的像素值中的最小值提供給差分絕對(duì)值計(jì)算器96。
在步驟S96，差分絕對(duì)值計(jì)算器96計(jì)算在從第二方向最大值提取器94所提供的感興趣像素和在向下方向上的感興趣像素下方的像素的像素值中的最大值與從第二方向最小值提取器95所提供的感興趣像素和在向下方向上的感興趣像素下方的像素的像素值中的最小值之間的差分絕對(duì)值。差分絕對(duì)值計(jì)算器96將所計(jì)算的差分絕對(duì)值提供給閾值確定器97。如圖9所示，差分絕對(duì)值計(jì)算器96計(jì)算在從第二方向最大值提取器94所提供的像素C、D1和D2的像素值中的最大值與從第二方向最小值提取器95所提供的像素C、D1和D2的像素值中的最小值之間的差分絕對(duì)值，并將所計(jì)算的差分絕對(duì)值提供給閾值確定器97。
在步驟S97，閾值設(shè)定器97為分別從差分絕對(duì)值計(jì)算器93和96提供的兩個(gè)差分絕對(duì)值中較小的一個(gè)加上余量，并將所得到的和設(shè)定為閾值ε2，并將該閾值ε2輸出到非線(xiàn)性平滑器32。
如果在感興趣像素中存在邊緣，則能夠使用具有與感興趣像素像素值接近的像素值的像素來(lái)確定閾值。如圖24所示，感興趣像素C和在感興趣像素C下方的像素D1和D2可以具有白色像素值，在感興趣像素C上方的像素U1和U2可以具有黑色像素值。感興趣像素C具有與像素D1和D2的像素值接近的值。將像素C、U1和U2的最大值和最小值之間的差分絕對(duì)值與像素C、D1和D2的最大值和最小值之間的差分絕對(duì)值進(jìn)行比較，示出了像素C、U1和U2的最大值和最小值之間的差分絕對(duì)值較小。因此將像素C、U1和U2的最大值和最小值之間的差分絕對(duì)值確定為閾值ε2。由于能夠采用僅僅相鄰與感興趣像素C的像素確定閾值ε2，因此能夠準(zhǔn)確地提取僅僅結(jié)構(gòu)分量，并且能準(zhǔn)確地平滑僅僅振幅分量。閾值設(shè)定器46在操作上與閾值設(shè)定器36相同，除了對(duì)感興趣像素和水平處理方向分量像素進(jìn)行處理，而不是感興趣像素和垂直處理方向分量像素。因此在此省略了對(duì)閾值設(shè)定器46的描述。
在感興趣像素處分割參考方向分量像素，根據(jù)在每個(gè)所分割的像素范圍中的最大值和最小值之間的差分絕對(duì)值來(lái)確定閾值?？商鎿Q的，在感興趣像素處分割參考方向分量像素，并可以根據(jù)在所分割的像素范圍中的每個(gè)像素和感興趣像素之間的差分絕對(duì)值來(lái)設(shè)定閾值ε2。
圖25示出了另一閾值設(shè)定器36。閾值設(shè)定器36相對(duì)于感興趣像素分割參考方向分量像素，并根據(jù)感興趣像素與所分割像素范圍中的每個(gè)像素之間所獲得的差分絕對(duì)值來(lái)確定閾值ε2。
第一方向差分絕對(duì)值計(jì)算器111計(jì)算感興趣像素的像素值和相鄰于感興趣像素并且在其上方的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值，并將所述差分絕對(duì)值中的最大值提供給閾值確定器113。
第二方向差分絕對(duì)值計(jì)算器112計(jì)算感興趣像素的像素值和相鄰于感興趣像素并且在其下方的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值，并將所述差分絕對(duì)值中的最大值提供給閾值確定器113。
閾值確定器113為分別從第一方向差分絕對(duì)值計(jì)算器111和第二方向差分絕對(duì)值計(jì)算器112提供的差分絕對(duì)值中較小的一個(gè)加上余量，并將所得到的和設(shè)定為閾值ε2，并將閾值ε2提供給非線(xiàn)性平滑器32。
以下將描述圖25的閾值設(shè)定器36的閾值設(shè)定處理。
在步驟S111，第一方向差分絕對(duì)值計(jì)算器111計(jì)算在由垂直參考方向分量像素提取器34所提供的像素值之中的感興趣像素的像素值和相鄰于感興趣像素并且在其上方的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值，并將所述差分絕對(duì)值中的最大值提供給閾值確定器113。如圖9所示，第一方向差分絕對(duì)值計(jì)算器111計(jì)算感興趣像素C的像素值和在感興趣像素C上方的每個(gè)像素U1和U2的像素值之間的差分絕對(duì)值，即計(jì)算|C-U1|和|C-U2|，確定所述差分絕對(duì)值中的最大值并將其提供給閾值確定器113。
在步驟S112，第二方向差分絕對(duì)值計(jì)算器112計(jì)算在由垂直參考方向分量像素提取器34所提供的像素值之中的感興趣像素的像素值和相鄰于感興趣像素并且在其下方的每個(gè)垂直參考方向分量像素的像素值之間的差分絕對(duì)值，并確定并提供所述差分絕對(duì)值中的最大值到閾值確定器113。如圖9所示，第二方向差分絕對(duì)值計(jì)算器112計(jì)算感興趣像素C的像素值和在感興趣像素C上方的每個(gè)像素D1和D2的像素值之間的差分絕對(duì)值，即計(jì)算|C-D1|和|C-D2|，確定所述差分絕對(duì)值中的最大值并將其提供給閾值確定器113。
在步驟S113，閾值確定器113為分別從第一方向差分絕對(duì)值計(jì)算器111和第二方向差分絕對(duì)值計(jì)算器112提供的差分絕對(duì)值中較小的一個(gè)加上余量，并將所得到的和確定為閾值ε2，并將閾值ε2提供給非線(xiàn)性平滑器32。
如果在感興趣像素附近存在邊緣，則使用僅僅相鄰于感興趣像素的像素來(lái)設(shè)定相對(duì)于感興趣像素的閾值。閾值設(shè)定器46在操作上與閾值設(shè)定器36相同，除了對(duì)感興趣像素和水平參考方向分量像素進(jìn)行處理，而不是感興趣像素和垂直參考方向分量像素。因此在此省略了對(duì)閾值設(shè)定器46的描述。
在以上論述中，采用在垂直于處理方向上排列的像素設(shè)定閾值。要采用的相鄰像素并不局限于在垂直于處理方向上排列的像素。例如，可以根據(jù)在感興趣像素的八個(gè)方向上排列的像素塊的相關(guān)數(shù)量來(lái)設(shè)定閾值。
圖27示出了根據(jù)在感興趣像素的八個(gè)方向上的相關(guān)性來(lái)設(shè)定閾值的水平方向平滑器22。如圖27所示，為與參考圖3所述的水平方向平滑器22中相同的元件指定了相同的參考數(shù)字，并適當(dāng)?shù)厥÷粤讼嚓P(guān)描述。
圖27的水平方向平滑器22與圖3中的對(duì)應(yīng)物的不同之處在于，用閾值設(shè)定器121代替閾值設(shè)定器36。
閾值設(shè)定器121計(jì)算感興趣像素的像素值和在每個(gè)像素塊中的每個(gè)像素的像素值之間的差分絕對(duì)值。像素塊排列在垂直方向上感興趣像素的上方和下方，水平方向上感興趣像素的右側(cè)和左側(cè)，和感興趣像素的斜對(duì)角上方和斜對(duì)角下方。根據(jù)像素塊的最大差分絕對(duì)值中的最小值來(lái)確定閾值ε2。
參考圖28，以下描述本發(fā)明的一個(gè)實(shí)施例的閾值設(shè)定器121。
塊差分絕對(duì)值計(jì)算器131-1到131-8計(jì)算感興趣像素和像素塊中的每個(gè)像素之間的各個(gè)差分絕對(duì)值，并將各個(gè)最大值提供給閾值確定器132。
像素塊包括像素塊B1到B8，如圖29中所示。像素塊B1用于檢測(cè)在感興趣像素垂直上方的紋理是否存在，并且其包括如圖29所示的14個(gè)像素C、U1、U2、P1到P10、P14和P15。像素塊B2用于檢測(cè)在感興趣像素斜對(duì)角右上方的紋理，并且其包括如圖29所示的11個(gè)像素C、U1、U2、R1、R2、P4、P9、P10、P15到P17。像素塊B3用于檢測(cè)在感興趣像素水平右側(cè)的紋理，并且其包括如圖29所示的14個(gè)像素C、R1、R2、P10、P11、P15到P17、P19、P23到P25、P30和P31。像素塊B4用于檢測(cè)在感興趣像素斜對(duì)角右下方的紋理，并且其包括如圖29所示的11個(gè)像素C、D1、D2、R1、R2、P23到P25、P29、P30和P35。
像素塊B5用于檢測(cè)在感興趣像素垂直下方的紋理，并且其包括如圖29所示的14個(gè)像素C、D1、D2、P22、P23、P27到P30、P32到P36。像素塊B6用于檢測(cè)在感興趣像素斜對(duì)角左下方的紋理，并且其包括如圖29所示的11個(gè)像素C、D1、D2、L1、L2、P20到P22、P27、P28、P33。像素塊B7用于檢測(cè)在感興趣像素水平左側(cè)的紋理，并且其包括如圖29所示的14個(gè)像素C、L1、L2、P6、P7、P12到P14、P18、P20到P22、P26和P27。像素塊B8用于檢測(cè)在感興趣像素斜對(duì)角左上方的紋理，并且其包括如圖29所示的11個(gè)像素C、U1、U2、L1、L2、P2、P7、P8和P12到P14。
閾值確定器132為從塊差分絕對(duì)值計(jì)算器131-1到131-8提供的最大差分絕對(duì)值中的最小值加上余量，并將所得到的和設(shè)定為閾值ε2，并將閾值ε2提供給水平方向平滑器32。
以下參考圖30中的流程圖描述圖28的閾值設(shè)定器36的閾值設(shè)定處理。
在步驟S131，塊差分絕對(duì)值計(jì)算器131-1到131-8確定感興趣像素和各個(gè)像素塊中的每個(gè)像素之間的各個(gè)差分絕對(duì)值，然后將它們所得到的最大值提供給閾值確定器132。
如圖29所示，塊差分絕對(duì)值計(jì)算器131-1計(jì)算像素塊B1中的|C-U1|、|C-U2|、|C-P1|到|C-P10|、|C-P14|和|C-P15|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-2計(jì)算像素塊B2中的|C-U1|、|C-U2|、|C-R1|、|C-R2|、|C-P4|、|C-P9|、|C-P10|、|C-P15|到|C-P17|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-3計(jì)算像素塊B3中的|C-R1|、|C-R2|、|C-P10|、|C-P11|、|C-P15|到|C-P17|、|C-P19|、|C-P23|和|C-P25|、|C-P30|和|C-P31|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-4計(jì)算像素塊B4中的|C-D1|、|C-D2|、|C-R1|、|C-R2|、|C-P23|到|C-P25|、|C-P29|、|C-P30|和|C-P35|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-5計(jì)算像素塊B5中的|C-D1|、|C-D2|、|C-P22|、|C-P23|、|C-P27|到|C-P30|和|C-P32|到|C-P36|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-6計(jì)算像素塊B6中的|C-D1|、|C-D2|、|C-L1|、|C-L2|、|C-P20|到|C-P22|、|C-P27|、|C-P28|和|C-P33|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-7計(jì)算像素塊B7中的|C-L1|、|C-L2|、|C-P6|、|C-P7|、|C-P12|到|C-P14|、|C-P18|、|C-P20|到|C-P22|、|C-P26|和|C-P27|，并將結(jié)果中的最大值提供給閾值確定器132。
塊差分絕對(duì)值計(jì)算器131-8計(jì)算像素塊B8中的|C-U1|、|C-U2|、|C-L1|、|C-L2|、|C-P2|、|C-P7|、|C-P8|和|C-P12|到|C-P14|，并將結(jié)果中的最大值提供給閾值確定器132。
在步驟S132，閾值確定器132為從塊差分絕對(duì)值計(jì)算器131-1到131-8提供的最大差分絕對(duì)值中的最小值加上余量，并將所得到的和設(shè)定為閾值ε2，并將閾值ε2提供給水平方向平滑器32。在提供差分絕對(duì)值的最小值的像素塊中的像素與感興趣像素具有高相關(guān)度，并且示出存在跨過(guò)(stride across)感興趣像素的紋理?xiàng)l紋的高可能性。將在各個(gè)像素塊中提供最小值的像素塊的最大差分絕對(duì)值設(shè)定為閾值ε2。
通過(guò)上述處理，基于在提供存在紋理的高可能性的方向上相鄰于感興趣像素的像素來(lái)設(shè)定閾值。從而平滑振幅分量，同時(shí)保留結(jié)構(gòu)分量?；谠诟信d趣像素的八個(gè)方向上的像素塊中的像素值，設(shè)定閾值ε2?？商鎿Q的，可以考慮在這八個(gè)方向之外的其他方向存在紋理的可能性來(lái)設(shè)定閾值。
在以上論述中，基于感興趣像素和可能存在紋理的方向上的像素塊中的每個(gè)像素之間的差分絕對(duì)值來(lái)設(shè)定閾值?？商鎿Q的，可以基于差分絕對(duì)值的分布設(shè)定閾值，而不管像素的方向如何。
圖31示出了閾值設(shè)定器121。閾值設(shè)定器121采用感興趣像素的像素值和相鄰于感興趣像素的每個(gè)像素的像素值之間的差分絕對(duì)值的直方圖，根據(jù)差分絕對(duì)值的分布來(lái)設(shè)定閾值。
差分絕對(duì)值計(jì)算器141將每個(gè)輸入像素設(shè)定為感興趣像素，計(jì)算感興趣像素的像素值和相鄰于感興趣像素的像素的像素值之間的差分絕對(duì)值，然后將該差分絕對(duì)值輸出到直方圖生成器142。
直方圖生成器142以所繪制的差分絕對(duì)值為橫坐標(biāo)，以所繪制的差分絕對(duì)值的頻率為縱坐標(biāo)，生成直方圖，然后將該直方圖提供給閾值確定器143。
閾值確定器143根據(jù)從直方圖生成器142提供的直方圖設(shè)定閾值ε2，然后將閾值ε2提供給非線(xiàn)性平滑器32。
以下參考圖32的流程圖描述圖31的閾值設(shè)定器121的閾值設(shè)定處理。
在步驟S141，差分絕對(duì)值計(jì)算器141依次將每個(gè)輸入像素設(shè)定為感興趣像素，計(jì)算感興趣像素的像素值和相鄰于感興趣像素的每個(gè)像素的像素值之間的差分絕對(duì)值，然后將該差分絕對(duì)值提供給直方圖生成器142。相鄰像素可以是以感興趣像素為中心的11個(gè)像素×11個(gè)像素。
在步驟S142，直方圖生成器142以所繪制的差分絕對(duì)值為橫坐標(biāo)，以其頻率為縱坐標(biāo)，生成直方圖，然后將該直方圖提供給閾值確定器143。從而，獲得圖33的具有峰值P1和P2的直方圖。
在步驟S143，閾值確定器143根據(jù)從直方圖生成器142提供的直方圖設(shè)定閾值ε2，然后將閾值ε2提供給非線(xiàn)性平滑器32。更具體而言，當(dāng)采用圖33的直方圖時(shí)，閾值確定器143確定分布了具有接近峰值P1和P2的差分絕對(duì)值的很多像素，并且認(rèn)為在像素之中存在邊緣。將在峰值P1和P2之間的具有低頻的差分絕對(duì)值，例如差分絕對(duì)值Bt，設(shè)定為閾值ε2。
通過(guò)上述過(guò)程，根據(jù)包含邊緣的差分絕對(duì)值的分布和差分絕對(duì)值的頻率來(lái)設(shè)定閾值ε2。僅僅對(duì)振幅分量進(jìn)行平滑，同時(shí)保留結(jié)構(gòu)分量。
已經(jīng)論述了水平方向平滑器22中的閾值設(shè)定器121。垂直方向平滑器24也包括閾值設(shè)定設(shè)定器151，如圖34所示。閾值設(shè)定器151在操作上與閾值設(shè)定器121相同，除了水平方向和垂直方向之間的關(guān)系顛倒，在此省略了相關(guān)的描述。
在以上論述中，在執(zhí)行了水平方向平滑處理之后，執(zhí)行垂直方向平滑處理。可替換的，可以首先執(zhí)行垂直方向平滑處理，然后執(zhí)行水平方向平滑處理。即使是對(duì)視頻信號(hào)執(zhí)行水平方向平滑處理或垂直方向平滑處理中的一個(gè)，實(shí)施例的效果也是顯著的。在處理方向上確定平坦率，并且控制處理方向上的非自然增強(qiáng)，除了邊緣之外的區(qū)域中的對(duì)比度和銳利度被增強(qiáng)。
非線(xiàn)性平滑器32采用感興趣像素和相對(duì)于感興趣像素的水平處理方向分量像素，執(zhí)行非線(xiàn)性平滑處理。可替換的，可以在非線(xiàn)性平滑處理中將垂直參考方向分量像素和水平處理方向分量像素一起使用。圖35示出了將垂直參考方向分量像素和水平處理方向分量像素一起使用的水平方向平滑器22。如圖35所示，為與圖3所示相同的元件指定相同的參考數(shù)字，在此省略的相關(guān)描述。
圖35的水平方向平滑器22與圖3的水平方向平滑器22的不同之處在于，采用非線(xiàn)性平滑器161替代非線(xiàn)性平滑器32，并且去掉了混合器33，從而將由平坦率計(jì)算器35所計(jì)算的平坦率Fr-V提供給非線(xiàn)性平滑器161。非線(xiàn)性平滑器161在操作上基本與非線(xiàn)性平滑器32相同。非線(xiàn)性平滑器161與非線(xiàn)性平滑器32的不同之處在于，在非線(xiàn)性平滑處理中，將從垂直參考方向分量像素提取器34提供的垂直參考方向分量像素和水平處理方向分量像素一起使用。
以下參考圖36詳細(xì)描述非線(xiàn)性平滑器161。在圖36中，為與圖5的非線(xiàn)性平滑器32相同的元件指定相同的參考數(shù)字，在此省略的相關(guān)描述。
圖36的非線(xiàn)性平滑器161與圖5的非線(xiàn)性平滑器32的不同之處在于，將控制信號(hào)生成器62替換為控制信號(hào)生成器171?？刂菩盘?hào)生成器171在操作上與控制信號(hào)生成器62相同，除了除水平處理方向分量像素之外，還采用從平坦率計(jì)算器35提供的平坦率Fr-V來(lái)生成控制信號(hào)。
以下將參考圖37的流程圖，描述圖35的水平方向平滑器22的非線(xiàn)性平滑處理。在圖37的流程圖中的步驟S153到S157分別與圖11的流程圖中的步驟S33到S37相同，在此省略的相關(guān)描述。
在步驟S151，在非線(xiàn)性濾波器51中的控制信號(hào)生成器62計(jì)算感興趣像素的像素值和每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值。
在步驟S152，低通濾波器61將從控制信號(hào)生成器171提供的感興趣像素C的像素值和多個(gè)水平處理方向分量像素中的每一個(gè)的像素值之間的每個(gè)差分絕對(duì)值與預(yù)定閾值ε2進(jìn)行比較。如果差分絕對(duì)值大于閾值ε2，則執(zhí)行第一處理，將該水平處理方向分量像素替換為感興趣像素C。考慮到從平坦率計(jì)算器35提供的平坦率Fr-V，對(duì)來(lái)自視頻信號(hào)S1的已經(jīng)經(jīng)過(guò)第一處理的每個(gè)像素執(zhí)行非線(xiàn)性平滑處理。
感興趣像素的右側(cè)的兩個(gè)像素和左側(cè)的兩個(gè)像素可以是L2、L1、C、R1和R2。根據(jù)來(lái)自控制信號(hào)生成器171的控制信號(hào)，如果感興趣像素C與每個(gè)像素的像素值差分大于閾值，則低通濾波器61將每個(gè)像素替換為感興趣像素C。低通濾波器61由此生成感興趣像素右側(cè)的兩個(gè)像素和感興趣像素左側(cè)的兩個(gè)像素，即L2′、L1′、C、R1′和R2′。低通濾波器61還考慮到平坦率Fr-V，進(jìn)一步處理每個(gè)信號(hào)L2′、L1′、C、R1′和R2′。
對(duì)于信號(hào)L2′，通過(guò)考慮平坦率Fr-V的處理獲得的信號(hào)L2″是采用以下等式(8)計(jì)算的L2″＝WC×C+WL2×L2′(8)其中WL2和WC大致是等式(5)中的權(quán)重，并且WC對(duì)應(yīng)于W1，WL2對(duì)應(yīng)于W2(WL2+WC＝1)。如果平坦率Fr-V小，權(quán)重WC最大化(＝1)，則信號(hào)L2″變?yōu)镃(L2″＝C)。
對(duì)像素信號(hào)執(zhí)行相同的處理，對(duì)信號(hào)L1′、R1′和R2′執(zhí)行由等式(9)到(11)所表示的運(yùn)算，分別為L(zhǎng)1″＝WC×C+WL1×L1′...(9)R1″＝WC×C+WR1×R1′...(10)R2″＝WC×C+WR2×R2′...(11)由于使用感興趣像素C的平坦率Fr-V，在實(shí)際中權(quán)重變?yōu)閃L2＝WL1＝WR2＝WR2。如果平坦率Fr-V小于預(yù)定閾值，則L1″＝C、R1″＝C和R2″＝C。
由此，低通濾波器61通過(guò)計(jì)算參考等式(1)的以下等式(12)，執(zhí)行水平方向平滑處理。
C′＝(1×C+2×C+3×C+2×C+1×C)/9＝C...(12)由此，如果平坦率Fr-V小，則按照原樣使用輸入視頻信號(hào)。相反地，如果平坦率Fr-V大，則采用基于水平方向像素的值，根據(jù)等式(1)進(jìn)行濾波處理的值。
由于考慮到平坦率執(zhí)行非線(xiàn)性平滑處理，因此能夠去掉隨后的混合器33(由此，從非線(xiàn)性平滑器161輸出的視頻信號(hào)SF-H變?yōu)閺乃椒较蚱交?2輸出的視頻信號(hào)SNL-H)。
通過(guò)上述處理，執(zhí)行不僅考慮感興趣像素的水平相關(guān)度而且考慮垂直相關(guān)度的非線(xiàn)性濾波處理。在保留邊緣的情況下，控制了在處理方向上的非自然處理。
參考圖36，在非線(xiàn)性平滑器161中的控制信號(hào)生成器171執(zhí)行除了考慮水平處理方向分量像素之外還考慮垂直參考方向分量像素的非線(xiàn)性濾波處理。當(dāng)檢測(cè)到微小的邊緣時(shí)，除了水平處理方向分量像素之外，還可以使用垂直參考方向分量像素。
圖8示出了非線(xiàn)性平滑器161。當(dāng)計(jì)算混合比Mr-H時(shí)，除了水平處理方向分量像素之外，非線(xiàn)性平滑器161還采用垂直參考方向分量像素。如圖38所示，為與圖5的非線(xiàn)性平滑器32中相同的元件指定相同的參考數(shù)字，在此省略的相關(guān)描述。
圖38的非線(xiàn)性平滑器161與圖5的非線(xiàn)性平滑器32的不同之處在于，將混合比檢測(cè)器53替換為混合比檢測(cè)器181?；旌媳葯z測(cè)器181在操作上基本與混合比檢測(cè)器53相同，除了除水平處理方向分量像素之外，還采用從平坦率計(jì)算器35提供的平坦率Fr-V來(lái)確定混合比Mr′-H以下參考圖39的流程圖描述圖38的非線(xiàn)性平滑器161的微小邊緣確定處理。圖39的流程圖中的步驟S171到S176分別與圖11的流程圖中的步驟S31到S36相同，在此省略了相關(guān)描述。
在步驟S177，混合比檢測(cè)器181計(jì)算感興趣像素的像素值和每個(gè)水平處理方向分量像素的像素值之間的差分絕對(duì)值，將所計(jì)算的差分絕對(duì)值中的最大值確定為混合比Mr-H(采用與步驟S35和S37中相同的方式來(lái)計(jì)算混合比Mr-H)，采用平坦率Fr-V計(jì)算混合比Mr′-H，并將混合比Mr′-H輸出到混合器52。
更具體而言，混合比檢測(cè)器181采用平坦率Fr-V，根據(jù)以下等式(13)確定混合比Mr′-HMr′-H＝WA×Mr-Hmax+WB×Mr-H(13)其中，權(quán)重WA和WB分別對(duì)應(yīng)于等式(5)中的權(quán)重W1和W2?；旌媳萂r-Hmax是混合比Mr-H的最大值。如果平坦率Fr-V小，則混合比Mr′-H＝最大混合比Mr-Hmax。如果平坦率Fr-V大，則Mr′-H＝Mr-H。例如，如果平坦率Fr-V小，從等式(3)得到視頻信號(hào)SF-H＝S1。并按照原樣輸出輸入視頻信號(hào)S1。
通過(guò)上述處理，在非線(xiàn)性平滑器的混合器中能夠加入在垂直方向上的信息。能夠不僅考慮相對(duì)于感興趣像素的水平處理方向分量像素，而且考慮垂直參考方向分量像素，來(lái)設(shè)定混合比Mr-H。混合更自然地濾波的視頻信號(hào)SLPF-H和輸入視頻信號(hào)S1。由此，通過(guò)保留邊緣，控制在處理方向上的非自然處理。
類(lèi)似地，垂直方向平滑器24可以不僅采用垂直處理方向分量像素，而且采用水平參考方向分量像素。圖40示出了不僅采用垂直處理方向分量像素，而且采用水平參考方向分量像素的垂直方向平滑器24。如圖40所示，為與圖4的垂直方向平滑器24中相同的元件指定了相同的參考數(shù)字，在此省略了相關(guān)描述。
圖40的垂直方向平滑器24與圖4的垂直方向平滑器24的不同之處在于，設(shè)置非線(xiàn)性平滑器191，去掉了混合器33，從而將由平坦率計(jì)算器45所計(jì)算的平坦率Fr-H提供給非線(xiàn)性平滑器191。非線(xiàn)性平滑器191在操作上基本與非線(xiàn)性平滑器42相同，除了將由平坦率計(jì)算器45提供的平坦率Fr-H與垂直處理方向分量像素一起使用。
非線(xiàn)性平滑器191在操作上與圖36和38的非線(xiàn)性平滑器161相同，除了將水平方向上的處理與垂直方向上的處理互換，在此省略的相關(guān)描述。在以上論述中，使用了閾值設(shè)定器36和46。如圖41所示，當(dāng)使用非線(xiàn)性平滑器161時(shí)，可以用閾值設(shè)定器121替換閾值設(shè)定器36。如圖42所示，當(dāng)使用非線(xiàn)性平滑器191時(shí)，可以用閾值設(shè)定器151替換閾值設(shè)定器46。在每一種情況下，閾值設(shè)定處理保持不變，并且不再論述。
根據(jù)本發(fā)明的實(shí)施例，將連續(xù)排列信號(hào)的每個(gè)相繼指定為感興趣信號(hào)。根據(jù)相鄰于所述感興趣信號(hào)的信號(hào)和所述感興趣信號(hào)之間的差分絕對(duì)值設(shè)定第一閾值。在相對(duì)于從在所指定感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)。根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均，生成平均信號(hào)。根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比。按照所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)。從在相對(duì)于所指定感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)。根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分，計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比。根據(jù)所述第二混合比，混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。對(duì)圖像的銳利邊緣之外的圖像進(jìn)行平滑，并保持像素的連續(xù)性和相關(guān)性。
上述處理步驟系列可以采用硬件或者軟件執(zhí)行。如果處理步驟步驟系列是采用軟件執(zhí)行的，則可以將構(gòu)成該軟件的程序安裝到通過(guò)執(zhí)行各種程序而執(zhí)行各種功能的具有專(zhuān)用硬件結(jié)構(gòu)的計(jì)算機(jī)上或者通用個(gè)人計(jì)算機(jī)上。
圖43示出了采用根據(jù)本發(fā)明實(shí)施例的軟件，體現(xiàn)圖2的增強(qiáng)處理器11的電子內(nèi)部結(jié)構(gòu)的個(gè)人計(jì)算機(jī)。個(gè)人計(jì)算機(jī)的CPU 201總體控制個(gè)人計(jì)算機(jī)。當(dāng)CPU 201經(jīng)由總線(xiàn)204和輸入輸出接口205接收到用戶(hù)輸入到輸入單元206的命令時(shí)，CPU 201執(zhí)行在只讀存儲(chǔ)器(ROM)202中存儲(chǔ)的程序。程序是從連接到驅(qū)動(dòng)器210上的磁盤(pán)221、光盤(pán)222、磁光盤(pán)223和半導(dǎo)體存儲(chǔ)器224中讀出，并安裝到存儲(chǔ)單元208上的。CPU 201將該程序裝載到隨機(jī)存取存儲(chǔ)器(RAM)203來(lái)執(zhí)行。從而使用軟件執(zhí)行圖2的增強(qiáng)處理器11的功能。CPU 201控制通信單元209來(lái)與外界交換數(shù)據(jù)。
如圖43所示，存儲(chǔ)程序的存儲(chǔ)介質(zhì)可以包括封裝介質(zhì)，其被發(fā)布給用戶(hù)，以獨(dú)立于計(jì)算機(jī)將程序提供給用戶(hù)，封裝介質(zhì)包括磁盤(pán)221(包括軟盤(pán))、光盤(pán)222(例如致密盤(pán)只讀存儲(chǔ)器(CD-ROM)或者數(shù)字化視頻光盤(pán)(DVD))、磁光盤(pán)223(Mini-Disk(MD))和半導(dǎo)體存儲(chǔ)器224，其每一個(gè)都存儲(chǔ)程序。存儲(chǔ)介質(zhì)還可以包括ROM202和在存儲(chǔ)單元208中的硬盤(pán)，其每一個(gè)都在計(jì)算機(jī)中提供給用戶(hù)，并存儲(chǔ)程序。
描述在存儲(chǔ)介質(zhì)中存儲(chǔ)的程序的處理步驟可以按照所描述的順序執(zhí)行。處理步驟不是必須要按照所述次序執(zhí)行，還可以并行地或者單獨(dú)地執(zhí)行。
本領(lǐng)域技術(shù)人員應(yīng)該理解的是，在所附的權(quán)利要求或者其等同的范圍內(nèi)，可以根據(jù)設(shè)計(jì)需求和其它因素涉及需要進(jìn)行各種修改、組合、次組合或者更換。
本發(fā)明包含與2005年11月2日在日本專(zhuān)利局提交的日本專(zhuān)利申請(qǐng)JP2005-319177相關(guān)的主題內(nèi)容，在此其整體引入作為參考。
權(quán)利要求
1.一種用于調(diào)整連續(xù)排列信號(hào)的級(jí)別的信號(hào)處理裝置，包括指定裝置，用于相繼地將所述連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)；設(shè)定裝置，用于根據(jù)相鄰于由所述指定裝置所指定的感興趣信號(hào)的信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值來(lái)設(shè)定第一閾值；處理信號(hào)提取裝置，用于從在相對(duì)于由所述指定裝置所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；計(jì)算裝置，用于通過(guò)根據(jù)所述感興趣信號(hào)與所述處理信號(hào)的每個(gè)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；第一混合比計(jì)算裝置，用于根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；第一混合裝置，用于通過(guò)按照由所述第一混合比計(jì)算裝置所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；參考信號(hào)提取裝置，用于從在相對(duì)于由所述指定裝置所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；第二混合比計(jì)算裝置，用于根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及第二混合裝置，用于通過(guò)根據(jù)由所述第二混合比計(jì)算裝置所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
2.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述信號(hào)包括構(gòu)成圖像的每個(gè)像素的像素值。
3.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括差分絕對(duì)值計(jì)算裝置，用于計(jì)算所述參考信號(hào)和所述感興趣像素之間的差分絕對(duì)值，其中，根據(jù)所述參考信號(hào)的每個(gè)與所述感興趣信號(hào)之間的差分絕對(duì)值中的最大值，設(shè)定所述第一閾值。
4.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括最大信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最大值的一個(gè)；以及最小信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，其中，根據(jù)所述參考信號(hào)和所述感興趣信號(hào)中的最大值與所述參考信號(hào)和所述感興趣信號(hào)中的最小值之間的差分絕對(duì)值，設(shè)定所述第一閾值。
5.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括前向方向計(jì)算裝置，用于計(jì)算每個(gè)所述參考信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；反向方向計(jì)算裝置，用于計(jì)算每個(gè)所述參考信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上，其中，根據(jù)由所述前向方向計(jì)算裝置計(jì)算的差分絕對(duì)值中的最大值和由所述反向方向計(jì)算裝置計(jì)算的差分絕對(duì)值中的最大值中較小的一個(gè)，設(shè)定所述第一閾值。
6.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括前向方向最大信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)或所述感興趣信號(hào)中提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向最小信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的前向方向上；前向方向差分絕對(duì)值計(jì)算裝置，用于計(jì)算由所述前向方向最大信號(hào)提取裝置提取的最大值和由所述前向方向最小信號(hào)提取裝置提取的最小值之間的差分絕對(duì)值；反向方向最大信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)之中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最大值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；反向方向最小信號(hào)提取裝置，用于從所述參考信號(hào)和所述感興趣信號(hào)中提取出所述參考信號(hào)和所述感興趣信號(hào)中提供最小值的一個(gè)，所述參考信號(hào)排列在關(guān)于相對(duì)于所述感興趣信號(hào)的所述第二方向的反向方向上；以及反向方向差分絕對(duì)值計(jì)算裝置，用于計(jì)算由所述反向方向最大信號(hào)提取裝置提取的最大值和由所述反向方向最小信號(hào)提取裝置提取的最小值之間的差分絕對(duì)值，其中，根據(jù)由所述前向方向差分絕對(duì)值計(jì)算裝置計(jì)算的差分絕對(duì)值或由所述反向方向差分絕對(duì)值計(jì)算裝置計(jì)算的差分絕對(duì)值中較小的一個(gè)，設(shè)定所述第一閾值。
7.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括塊差分絕對(duì)值計(jì)算裝置，用于計(jì)算在相對(duì)于所述感興趣信號(hào)的多個(gè)方向中設(shè)定的每個(gè)塊中感興趣像素與每個(gè)塊中的每個(gè)像素之間的差分絕對(duì)值，并輸出所述差分絕對(duì)值中的最大值，其中，根據(jù)由所述塊差分絕對(duì)值計(jì)算裝置計(jì)算的最大塊差分值中的最小值，設(shè)定所述第一閾值。
8.如權(quán)利要求1所述的信號(hào)處理裝置，其中，所述設(shè)定裝置包括相鄰差分絕對(duì)值計(jì)算裝置，用于計(jì)算所述感興趣信號(hào)和每個(gè)相鄰像素之間的差分絕對(duì)值；以及直方圖生成裝置，用于根據(jù)由所述相鄰差分絕對(duì)值計(jì)算裝置計(jì)算的每個(gè)像素和所述感興趣像素之間的差分絕對(duì)值來(lái)生成直方圖，其中，根據(jù)在所述直方圖中提供最小頻率的差分絕對(duì)值，設(shè)定所述第一閾值。
9.一種調(diào)整連續(xù)排列的信號(hào)的級(jí)別的方法，包括以下步驟相繼地將所述連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)；根據(jù)相鄰于所述指定步驟中所指定的感興趣信號(hào)的信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與所述處理信號(hào)的每個(gè)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照所述第一混合比計(jì)算步驟中所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)所述第二混合比計(jì)算步驟中所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
10.一種記錄介質(zhì)，存儲(chǔ)了用于調(diào)整連續(xù)排列的信號(hào)的級(jí)別的計(jì)算機(jī)可讀程序，所述計(jì)算機(jī)可讀程序包括以下步驟相繼地將所述連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)；根據(jù)相鄰于所述指定步驟中所指定的感興趣信號(hào)的信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與所述處理信號(hào)的每個(gè)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照所述第一混合比計(jì)算步驟中所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)所述第二混合比計(jì)算步驟中所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
11.一種程序，使得計(jì)算機(jī)調(diào)整連續(xù)排列的信號(hào)的級(jí)別，所述程序包括以下步驟相繼地將所述連續(xù)排列信號(hào)的每個(gè)指定為感興趣信號(hào)；根據(jù)相鄰于所述指定步驟中所指定的感興趣信號(hào)的信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值來(lái)設(shè)定第一閾值；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；通過(guò)根據(jù)所述感興趣信號(hào)與所述處理信號(hào)的每個(gè)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；通過(guò)按照所述第一混合比計(jì)算步驟中所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；從在相對(duì)于所述指定步驟中所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及通過(guò)根據(jù)所述第二混合比計(jì)算步驟中所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
12.一種用于調(diào)整連續(xù)排列信號(hào)的級(jí)別的信號(hào)處理裝置，所述信號(hào)處理裝置包括指定單元，用于相繼地將每個(gè)所述連續(xù)排列信號(hào)指定為感興趣信號(hào)；設(shè)定單元，用于根據(jù)相鄰于由所述指定單元所指定的感興趣信號(hào)的信號(hào)與所述感興趣信號(hào)之間的差分絕對(duì)值來(lái)設(shè)定第一閾值；處理信號(hào)提取單元，用于在相對(duì)于由所述指定單元所指定的感興趣信號(hào)的第一方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為處理信號(hào)；計(jì)算單元，用于通過(guò)根據(jù)所述感興趣信號(hào)與每個(gè)所述處理信號(hào)之間的處理差分和所述第一閾值之間進(jìn)行比較的比較結(jié)果，對(duì)所述感興趣信號(hào)和所述多個(gè)處理信號(hào)進(jìn)行加權(quán)平均來(lái)計(jì)算平均信號(hào)；第一混合比計(jì)算單元，用于根據(jù)所述處理差分和小于所述第一閾值的第二閾值進(jìn)行比較的比較結(jié)果，計(jì)算所述平均信號(hào)和所述感興趣信號(hào)的第一混合比；第一混合單元，用于通過(guò)按照由所述第一混合比計(jì)算單元所計(jì)算的第一混合比混合所述平均信號(hào)和所述感興趣信號(hào)，生成第一混合信號(hào)；參考信號(hào)提取單元，用于從在相對(duì)于由所述指定單元所指定的感興趣信號(hào)的第二方向上連續(xù)排列的信號(hào)中提取多個(gè)相鄰信號(hào)作為參考信號(hào)；第二混合比計(jì)算單元，用于根據(jù)所述感興趣信號(hào)與每個(gè)參考信號(hào)之間的參考差分來(lái)計(jì)算所述混合信號(hào)和所述感興趣信號(hào)的第二混合比；以及第二混合單元，用于通過(guò)根據(jù)由所述第二混合比計(jì)算單元所計(jì)算的第二混合比混合所述第一混合信號(hào)和所述感興趣信號(hào)，生成第二混合信號(hào)。
全文摘要
水平方向分量像素提取器從輸入視頻信號(hào)中提取感興趣像素和其水平方向分量像素。垂直方向分量像素提取器從輸入視頻信號(hào)中提取感興趣像素和其垂直方向分量像素。閾值設(shè)定器根據(jù)感興趣像素和其垂直處理方向分量像素設(shè)定閾值。非線(xiàn)性平滑器按照所設(shè)定的閾值，采用水平處理方向分量像素平滑感興趣像素，從而生成視頻信號(hào)。平坦率計(jì)算器采用垂直處理方向分量像素計(jì)算感興趣像素的垂直方向上的平坦率?；旌掀鞑捎迷撈教孤驶旌纤鲚斎胍曨l信號(hào)和所生成的視頻信號(hào)，從而輸出經(jīng)過(guò)水平方向平滑的視頻信號(hào)。
文檔編號(hào)G06T5/20GK101026686SQ20061006439
公開(kāi)日2007年8月29日 申請(qǐng)日期2006年11月2日 優(yōu)先權(quán)日2005年11月2日
發(fā)明者稻田哲治, 橫山一樹(shù), 淺野光康, 上田和彥 申請(qǐng)人:索尼株式會(huì)社