專利名稱：用于cfa圖像插值的自適應(yīng)分類方法
技術(shù)領(lǐng)域：
本發(fā)明涉及彩色濾光片矩陣(CFA)插值，更具體地說(shuō)，涉及一種自適應(yīng)分類方案，其基于確定的圖像分類類型來(lái)分配加權(quán)和/或加權(quán)計(jì)算算法。
背景技術(shù)：
最常使用的彩色濾光片矩陣(CFA)是Bayer模式(參見美國(guó)專利No.3,971,065，其公開都引用在此作為參考)。該模式一般用于能夠使用圖像的裝置，例如蜂窩電話、袖珍攝像機(jī)和其它圖像傳感器(例如用于監(jiān)視應(yīng)用中的那些傳感器)。因?yàn)樵贑FA輸出的每一個(gè)空間位置(或像素)處僅能獲得單一彩色分量，恢復(fù)的彩色圖像(諸如RGB彩色圖像)是通過(guò)從空間相鄰的CFA數(shù)據(jù)插值丟失的彩色分量來(lái)獲取。多種不同的CFA插值方法對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)是公知的。通過(guò)本技術(shù)領(lǐng)域的普通技術(shù)人員所公知的CFA圖像放大和插值(CFAIEI)的過(guò)程，能夠?qū)FA圖像插值為更大尺寸的RGB彩色圖像。
當(dāng)從多個(gè)鄰域已知的像素值中對(duì)未知的像素值進(jìn)行插值時(shí)，本技術(shù)領(lǐng)域公知的插值過(guò)程通常利用加權(quán)因子(例如當(dāng)執(zhí)行加權(quán)平均過(guò)程時(shí))。CFA插值過(guò)程中所使用的加權(quán)計(jì)算通常是一個(gè)巨大的計(jì)算過(guò)程，其花費(fèi)相當(dāng)大時(shí)間和功率來(lái)完成。在小尺寸架構(gòu)(small form factor)中，特別是便攜式、電池供能的成像設(shè)備，例如蜂窩電話或袖珍攝影機(jī)，這樣的計(jì)算需求耗盡電池并能大大縮短電子再充電或替換之間的時(shí)間。因此，本技術(shù)領(lǐng)域需要更有效地計(jì)算用于CFA插值過(guò)程的加權(quán)。
通過(guò)參考現(xiàn)有技術(shù)示例性CFA插值過(guò)程能更好地理解上述問(wèn)題。如同在有關(guān)消費(fèi)電子產(chǎn)品的IEEE學(xué)報(bào)中，第50卷、第1期、2004年2月、第15頁(yè)到24頁(yè)，R.Lukac等人的“Digtal Camera Zooming Based on Unified CFA ImageProcessing Steps”(參見16頁(yè)上的等式(4)和(5))中討論的；和Queen大學(xué)的第22屆通信專題雙年會(huì)討論的論文、2004年5月、第207頁(yè)到209頁(yè)，R.Lukak等人的“Bayer Patter Demosaicking Using Data-dependent Adaptive Filters”(參見207頁(yè)的等式(2))；這兩篇的公開都引用在此作為參考，常規(guī)的加權(quán)方法使用計(jì)算復(fù)雜的單一公式組來(lái)計(jì)算整個(gè)圖像區(qū)域上的加權(quán)。對(duì)于每一個(gè)未知像素位置執(zhí)行此復(fù)雜的公式來(lái)計(jì)算必要的插值加權(quán)需要相當(dāng)大數(shù)量的計(jì)算，這將消耗時(shí)間和功率。如果有一個(gè)對(duì)于加權(quán)計(jì)算來(lái)說(shuō)更計(jì)算有效的過(guò)程，這將是一個(gè)優(yōu)勢(shì)。
本技術(shù)領(lǐng)域的技術(shù)人員還認(rèn)識(shí)到對(duì)于確定的圖像類型，使用這種現(xiàn)有技術(shù)的加權(quán)公式產(chǎn)生的插值圖像的質(zhì)量是可以接受，還存在改進(jìn)的空間。例如當(dāng)圖像不是特別平滑、例如在源/輸入圖像中有邊和線時(shí)，如果插值的圖像質(zhì)量可以在現(xiàn)有技術(shù)上改進(jìn)的話(相對(duì)于感知質(zhì)量和PSNR/MAE/NCD質(zhì)量指數(shù))，這將是一種優(yōu)勢(shì)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)實(shí)施例，圖像插值過(guò)程，其中該圖像包括由多個(gè)已知像素值包圍的未知像素值，該過(guò)程包括將圖像區(qū)域進(jìn)行分類，其中未知和已知像素位于多種類型的其中一種類型；并基于圖像區(qū)域的分類類型從多個(gè)加權(quán)計(jì)算公式中選擇確定的加權(quán)計(jì)算公式。然后使用已選擇的確定的加權(quán)計(jì)算公式來(lái)計(jì)算插值加權(quán)，并且使用計(jì)算的插值加權(quán)從周圍已知的像素值對(duì)未知像素值進(jìn)行插值。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，圖像插值過(guò)程，其中該圖像包括由多個(gè)已知像素值包圍的未知像素值，該過(guò)程包括將圖像區(qū)域進(jìn)行分類，其中未知和已知像素位于多種類型的其中一種類型；并基于圖像區(qū)域的分類類型從多個(gè)預(yù)定插值加權(quán)中選擇至少一個(gè)確定的插值加權(quán)。然后，使用選擇的至少一個(gè)確定的插值加權(quán)從周圍已知的像素值對(duì)未知像素值進(jìn)行插值。
根據(jù)另一個(gè)實(shí)施例，一種過(guò)程包括接收第一個(gè)圖像；放大第一個(gè)圖像以創(chuàng)建第二個(gè)圖像，該第二個(gè)圖像包括多個(gè)未知像素值，其中每一個(gè)未知像素值具有多個(gè)鄰域已知像素值；并根據(jù)像素插值加權(quán)從已知像素值中對(duì)未知像素值進(jìn)行插值。在該環(huán)境中，插值包括通過(guò)如下方式確定這些插值加權(quán)基于已知像素值將圖像區(qū)域分類為多種類型的其中一種，并基于圖像區(qū)域的分類類型獲取至少一個(gè)確定的插值加權(quán)以用于對(duì)至少一個(gè)未知像素值進(jìn)行插值。


通過(guò)參考附圖，可以更全面地理解本發(fā)明，其中附圖1是圖像插值裝置的框圖；附圖2是CFA圖像放大和插值裝置的框圖；附圖3是說(shuō)明根據(jù)本發(fā)明實(shí)施例的像素插值過(guò)程的流程圖；附圖4是說(shuō)明附圖3中執(zhí)行的圖像類型分類過(guò)程的實(shí)施例的流程圖；附圖5說(shuō)明平滑圖像區(qū)域的像素排列；附圖6說(shuō)明異常鄰域圖像區(qū)域的像素排列；附圖7和8說(shuō)明線/邊圖像區(qū)域的像素排列；附圖9是附圖3和4中執(zhí)行的圖像類型分類過(guò)程的實(shí)施例的更詳細(xì)流程圖；附圖10是附圖3中執(zhí)行的加權(quán)計(jì)算過(guò)程的實(shí)施例的流程圖；和附圖11是附圖3中執(zhí)行的加權(quán)計(jì)算過(guò)程的另一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式
現(xiàn)在參照附圖1，其中示出具有處理功能的圖像插值裝置100的框圖，如果需要該功能可在硬件、軟件或固件中實(shí)現(xiàn)。例如，在硬件實(shí)現(xiàn)中，裝置100可包括一個(gè)專用集成電路(ASIC)，其電路被設(shè)計(jì)用來(lái)執(zhí)行特定消息處理任務(wù)?？商鎿Q地，在軟件實(shí)現(xiàn)中，裝置100可包括執(zhí)行完成這些信息處理任務(wù)的應(yīng)用程序的處理器。裝置100的物理實(shí)現(xiàn)的設(shè)計(jì)和構(gòu)建完全在本技術(shù)領(lǐng)域的普通技術(shù)人員的能力范圍內(nèi)。
裝置100運(yùn)行以接收102原始圖像。功能104處理已收到的原始圖像以便將其縮放為更大尺寸的中間圖像106。如本技術(shù)領(lǐng)域所公知，縮放過(guò)程創(chuàng)建具有多個(gè)未知像素的中間圖像106。接下來(lái)，通過(guò)功能108執(zhí)行像素插值過(guò)程來(lái)計(jì)算出從原始接收102的圖像獲取的鄰域像素值并使用這些值填充未知像素。如上所述，現(xiàn)有技術(shù)插值過(guò)程通常利用單個(gè)公式來(lái)計(jì)算整個(gè)圖像區(qū)域上的加權(quán)。然而，本發(fā)明的實(shí)施例，對(duì)于由功能108執(zhí)行的插值過(guò)程，利用將在此更詳細(xì)討論的改進(jìn)過(guò)程，由此使其中正在執(zhí)行插值的區(qū)域中的圖像被分類，然后a)基于該圖像分類來(lái)分配確定的預(yù)定加權(quán)，和/或b)然后將該圖像分類特定的確定加權(quán)公式用于計(jì)算該插值加權(quán)。
現(xiàn)在參考附圖2，其中示出了具有處理功能的CFA圖像放大和插值(CFAIEI)裝置200的框圖，如果需要其可以以硬件、軟件或固件實(shí)現(xiàn)。例如，在硬件實(shí)現(xiàn)中，裝置200可包括一個(gè)專用集成電路(ASIC)，其電路被設(shè)計(jì)用來(lái)執(zhí)行特定信息處理任務(wù)?？商鎿Q地，在軟件實(shí)現(xiàn)中，裝置200可包括執(zhí)行應(yīng)用程序來(lái)完成這些信息處理任務(wù)的處理器。裝置200的物理實(shí)現(xiàn)的設(shè)計(jì)和構(gòu)建完全在本技術(shù)領(lǐng)域的普通技術(shù)人員的能力范圍內(nèi)。
裝置200運(yùn)行以接收202 CFA圖像。功能204通過(guò)將接收的CFA圖像插值為更大尺寸的CFA圖像206來(lái)處理該圖像。如本技術(shù)領(lǐng)域所公知，功能204執(zhí)行的CFA圖像放大過(guò)程包括將原始CFA圖像縮放，這創(chuàng)建具有多個(gè)未知像素的中間圖像。由功能204執(zhí)行的CFA圖像放大也包括像素插值以計(jì)算出從原始接收202的圖像獲取的鄰域像素值并使用這些值來(lái)填充未知像素。接下來(lái)，由功能208執(zhí)行CFA-RGB像素插值過(guò)程以將更大尺寸CFA圖像206變換為同等尺寸RGB圖像210。最后，由功能212執(zhí)行后續(xù)處理過(guò)程以減少假彩色偽影并增強(qiáng)RGB圖像210的銳度。由功能212執(zhí)行的這些后續(xù)處理過(guò)程可以使用插值過(guò)程。如上所述，現(xiàn)有技術(shù)插值過(guò)程，例如由功能204、208和212使用的這些過(guò)程，通常對(duì)于給定過(guò)程使用單一公式來(lái)計(jì)算整個(gè)圖像區(qū)域上的加權(quán)。然而，本發(fā)明的實(shí)施例，對(duì)于由功能204、208和212執(zhí)行的插值過(guò)程，利用在此更詳細(xì)討論的改進(jìn)過(guò)程，由此使其中正在執(zhí)行插值的區(qū)域中的圖像被分類，然后a)基于圖像分類分配確定的預(yù)定加權(quán)，和/或b)然后使用該圖像分類特定的確定加權(quán)公式來(lái)計(jì)算插值。
現(xiàn)在參考附圖3，其中示出根據(jù)本發(fā)明實(shí)施例的像素插值過(guò)程300的流程圖。過(guò)程300可與任何像素插值處理功能一起使用，包括但不局限于附圖1的功能108和附圖2的功能204、208和212使用的那些插值過(guò)程。
要插值的圖像包括已知像素值和未知(即丟失)像素值的組合，該未知像素值從那些已知像素值中進(jìn)行插值。如上所述，該圖像可包括從縮放所接收的原始圖像獲取的更大尺寸中間圖像106(如用附圖1的功能104)。可替換地，該圖像可包括通過(guò)縮放原始CFA圖像來(lái)獲取的中間CFA圖像(如用附圖2的功能204)。進(jìn)一步，該圖像可包括被變換為同等尺寸RGB圖像的確定尺寸的CFA圖像(如用附圖2的功能208)?？商鎿Q地，該圖像可包括進(jìn)行后續(xù)處理的RGB圖像(如用附圖4的功能212)。事實(shí)上，要插值的圖像可以是本技術(shù)領(lǐng)域公知的任何一種圖像類型或種類，對(duì)其執(zhí)行基于加權(quán)的插值過(guò)程。
附圖3的像素插值過(guò)程包括從要插值的確定未知像素值的周圍的確定圖像區(qū)域接收302已知像素值的步驟。任何從確定區(qū)域選擇數(shù)量的已知像素值可在步驟304中接收并估算以對(duì)于該特定區(qū)域分類圖像類型。例如，在過(guò)程300的一個(gè)實(shí)施方案中，包圍確定的未知像素值的四個(gè)已知像素值在步驟304中估算。在另一個(gè)實(shí)施方案中，包圍確定的未知像素值的十六個(gè)已知像素值在步驟304中估算。在另一個(gè)實(shí)施方案中，包圍確定的未知像素值的在步驟304中估算的已知像素值的數(shù)量可以根據(jù)正在執(zhí)行的圖像類型分類測(cè)試而變化。
現(xiàn)在參考附圖4，其中示出說(shuō)明在附圖3的步驟304中執(zhí)行的圖像類型分類過(guò)程的實(shí)施例的流程圖。圖像類型分類過(guò)程304首先在步驟402中檢測(cè)包圍確定的未知像素值的已知像素值是否在第一圖像的平滑區(qū)域中?！捌交敝傅氖菆D像的平滑區(qū)，其中一個(gè)元素和其鄰域的數(shù)字值是彼此十分接近的(即如果有任何變化也是很小的變化)。對(duì)于未知像素“z”和已知鄰域像素“a”到“d”，該“平滑”分類類型由附圖5中的虛線示出(平行/垂直鄰域和對(duì)角線鄰域情況)，其中虛線包圍具有相似數(shù)字值的鄰域。如果這樣(即“是”)，則包圍要插值的確定未知像素值的第一圖像的確定區(qū)域在步驟404中被分配圖像類型分類“情況1”(即平滑)，并且過(guò)程304對(duì)于該特定未知像素結(jié)束406。如在此更詳細(xì)討論的，對(duì)于情況1分類類型，特定的加權(quán)在后續(xù)插值操作中可以分配給該區(qū)域，和/或適合平滑區(qū)域的特定計(jì)算方法在后續(xù)插值操作中分配給該區(qū)域。如果不是這樣(即“否”)，則過(guò)程304繼續(xù)進(jìn)行以在步驟408中檢測(cè)包圍確定的未知像素值的已知像素值是否表現(xiàn)為異常鄰域?！爱惓｀徲颉敝傅氖蔷哂衅嫣剜徲虻膮^(qū)域，其中一個(gè)單一鄰域的數(shù)字值與其它鄰域(其表現(xiàn)為彼此很小變化)的數(shù)字值十分不同。對(duì)于未知像素“z”和已知鄰域像素“a”到“d”，該“異常鄰域”分類類型由附圖6中的虛線示出(水平/垂直領(lǐng)域和對(duì)角線鄰域情況)，其中像素“a”是異常鄰域，其數(shù)字值與鄰域“b”到“d”的值顯著不同。如果這樣(即“是”)，則包圍要插值的確定未知像素值的第一個(gè)圖像的確定區(qū)域在步驟410被分配圖像類型分類“情況2”(即異常鄰域)，并且過(guò)程304對(duì)于該像素結(jié)束406。如同在此更詳細(xì)討論的，對(duì)于情況2分類類型，特定的加權(quán)可以在后續(xù)插值操作中分配給該區(qū)域，和/或適合具有異常鄰域的區(qū)域的特定加權(quán)計(jì)算方法可以在后續(xù)插值操作中分配給該區(qū)域。如果不是這樣(即“否”)，則過(guò)程304繼續(xù)進(jìn)行以在步驟412中檢測(cè)包圍確定的未知像素值的已知像素值是否顯示出邊或線，其覆蓋一些鄰域和其值將要被插值的未知像素位置。如果這樣(即“是”)，則包圍要插值的確定未知像素值的第一個(gè)圖像的確定區(qū)域在步驟414被分配圖像類型分類“情況3”(即線/邊)，并且過(guò)程304對(duì)于該像素結(jié)束406。如同在此更詳細(xì)討論的，對(duì)于情況3分類類型，特定的加權(quán)可以在后續(xù)插值操作中分配給該區(qū)域，和/或適合具有線或邊的區(qū)域的特定加權(quán)計(jì)算方法可以在后續(xù)插值操作中分配給該區(qū)域。如果不是這樣(即“否”)，則包圍要插值的確定的未知像素值的第一圖像的確定區(qū)域在步驟416被分配圖像類型分類“情況4”(即缺省或不是平滑、異?；蚓€/邊)，并且過(guò)程304對(duì)于該像素結(jié)束406。如同在此更詳細(xì)討論，對(duì)于情況4分類類型，特定的加權(quán)可以在后續(xù)插值操作中分配給該區(qū)域，和/或適合缺省(或沒(méi)有特定類型)的區(qū)域的特定加權(quán)計(jì)算方法可以在后續(xù)插值操作中分配給該區(qū)域。
可以認(rèn)識(shí)到，步驟412過(guò)程中發(fā)現(xiàn)的線/邊可以以多個(gè)定向的其中任何一個(gè)定向顯示。如果需要，在步驟414中的圖像類型分類“情況3”(即線/邊)可以進(jìn)一步提煉為兩個(gè)或多個(gè)子情況，其反映檢測(cè)的線/邊相對(duì)于包圍確定的未知像素值的已知像素值的定向。例如，對(duì)于未知像素“z”和已知鄰近像素“a”到“p”，具有定向e-h(或a-d)的“線/邊”分類類型的第一個(gè)子情況由附圖7中的線示出(水平/垂直鄰域和對(duì)角線鄰域情況)。如同在此更詳細(xì)討論的，對(duì)于情況3，第一子情況分類類型，特定的加權(quán)可以在后續(xù)插值操作中分配給該區(qū)域，和/或適合具有e-h(a-d)定向線的區(qū)域的特定加權(quán)計(jì)算方法可以在后續(xù)插值操作中分配給該區(qū)域。對(duì)于未知像素“z”和已知像素“a”到“p”，具有定向f-g(或b-c)的“線/邊”分類類型的第二個(gè)子情況由附圖8中的線示出(水平/垂直鄰域和對(duì)角線鄰域情況)。如同在此更詳細(xì)討論的，對(duì)情況3，第二子情況分類類型，特定的加權(quán)可以在后續(xù)插值操作中分配給該區(qū)域，和/或適合具有f-g(b-c)定向線的區(qū)域的特定加權(quán)計(jì)算方法可以在后續(xù)插值操作中分配給該區(qū)域。
現(xiàn)在再次參考附圖3。附圖3的像素插值過(guò)程還包括在步驟306中計(jì)算插值加權(quán)的步驟。如上所述，多個(gè)本技術(shù)領(lǐng)域公知的插值過(guò)程僅在計(jì)算插值加權(quán)中使用單一加權(quán)公式。根據(jù)本發(fā)明實(shí)施例，步驟306能夠基于在步驟304中確定的圖像類型分類情況執(zhí)行多個(gè)預(yù)定加權(quán)公式中的任何一種。每一種可用的加權(quán)公式特別設(shè)計(jì)用于確定類型(或情況)的圖像區(qū)域的環(huán)境中的加權(quán)計(jì)算。該公式的具體設(shè)計(jì)過(guò)程不僅考慮所討論的圖像區(qū)域類型，而且考慮處理需要、需求或限制，其都與插值過(guò)程相關(guān)。以這種方式，不用依靠必須適應(yīng)不同圖像區(qū)域類型(情況)的單一公式，而是在步驟306中可用于選擇和執(zhí)行的公式(或加權(quán)計(jì)算方法)可以適應(yīng)各種圖像區(qū)域類型(情況)的特定插值需要。步驟306過(guò)程的輸出是一組計(jì)算插值加權(quán)的合適公式(或方法)。
在可替換的實(shí)施方案中，在步驟306中計(jì)算插值加權(quán)的步驟僅包括基于在步驟304中確定的圖像類型分類情況來(lái)分配加權(quán)。每一個(gè)分配的加權(quán)可以專門設(shè)計(jì)以在特定類型(或情況)的圖像區(qū)域的環(huán)境中支持插值。該實(shí)施例的實(shí)施方案具有優(yōu)勢(shì)其消除了實(shí)時(shí)執(zhí)行任何加權(quán)計(jì)算公式的需要。取而代之，該加權(quán)計(jì)算公式可以預(yù)先執(zhí)行并且加載到存儲(chǔ)器(或許以查詢表格式)中的結(jié)果加權(quán)可根據(jù)在步驟304中確定的特定類型(或情況)的圖像區(qū)域來(lái)進(jìn)行訪問(wèn)。
附圖3的像素插值過(guò)程還進(jìn)一步包括對(duì)于未知像素值執(zhí)行加權(quán)的像素插值308的步驟。換句話說(shuō)，分配的加權(quán)和/或從步驟306中輸出的一組計(jì)算插值加權(quán)的合適公式可用于任何選擇的加權(quán)插值過(guò)程中來(lái)計(jì)算未知像素位置的值。更具體地，分配的加權(quán)和/或從步驟306輸出的一組計(jì)算插值加權(quán)的合適公式根據(jù)包圍確定的未知像素值的第一圖像的確定區(qū)域被算術(shù)地應(yīng)用到已知像素值，以便計(jì)算未知像素位置的值。
現(xiàn)在參考附圖9，其中示出在附圖3的步驟304中完成的圖像類型分類過(guò)程的實(shí)施例的更詳細(xì)的流程圖。為了附圖9和下面的討論，注意所有操作數(shù)和運(yùn)算都是整數(shù)。
在步驟902中，四個(gè)已知鄰域像素“a”-“d”的平均值M1計(jì)算如下M1＝(a+b+c+d)＞＞2，其中“＝”指的是賦值并且“＞＞”指的是右移。接下來(lái)，在步驟904，計(jì)算四個(gè)已知鄰域像素和中間值M1之間的絕對(duì)差值之和SUM＝|a-M1|+|b-M1|+|c-M1|+|d-M1|，接下來(lái)，在步驟906，確定SUM＜TH1，其中，TH1是預(yù)置閾值，而“＜”是小于運(yùn)算判定。如果“是”，則包圍確定的未知像素值的已知像素值在圖像的平滑區(qū)域，并且包圍要插值的確定未知像素值的圖像的確定區(qū)域在步驟404中被分配圖像類型分類“情況1”(即平滑)，并且該過(guò)程對(duì)于該像素結(jié)束406。如果“否”，則過(guò)程繼續(xù)進(jìn)行以考慮下一個(gè)可能的分類情況。
步驟902-906的過(guò)程是用于估算已知鄰域像素以便確定這些像素是否位于圖像的平滑區(qū)域的過(guò)程的一個(gè)具體實(shí)例?？梢岳斫猓瑸榇四康?，可以使用其它算法和過(guò)程來(lái)估算已知鄰域像素。
在步驟908中，四個(gè)已知像素間的絕對(duì)差值的四個(gè)總和計(jì)算如下Diff(0)＝|a-b|+|a-c|+|a-d|，Diff(1)＝|b-a|+|b-c|+|b-d|，Diff(2)＝|c-a|+|c-b|+|c-d|，和Diff(3)＝|d-a|+|d-b|+|d-c|。
接下來(lái)，在步驟910中，Diff(0)，...，Diff(3)從最小到最大排序并分配給SDiff(0)...，SDiff(3)。這樣，在排序后，SDiff(0)包含Diff(0)，...，Diff(3)中的最小值，而SDiff(3)包含Diff(0)，...，Diff(3)中的最大值。接下來(lái)，在步驟912，作出多部分判斷。判定的第一部分測(cè)試是否SDiff(3)-SDiff(2)＞TH2，其中，TH2是預(yù)置閾值而“＞”是大于運(yùn)算判定，以及其中附圖9所示的MAX是SDiff(3)-SDiff(2)或是Diff(0)到Diff(3)之中的最大值和第二最大值間的差值。判定的第二部分測(cè)試是否SDiff(3)-SDiff(2)≥(SDiff(2)-SDiff(0))xRATIO，其中RATIO是預(yù)置乘法因子，而“≥”是大于或等于運(yùn)算判定，而其中附圖9所示的MAX是與上述相同，并且其中附圖9所示的MIN是SDiff(2)-SDiff(0)或是Diff(0)到Diff(3)中的第二最大值和最小值之間的差值。如果這兩個(gè)測(cè)試部分都是“是”，則包圍確定的未知像素值的其中一個(gè)已知像素值是異常鄰域，并且包圍要插值的確定未知像素值的圖像的確定區(qū)域在步驟410中被分配圖像類型分類“情況2”(即異常鄰域)，并且過(guò)程對(duì)于該像素結(jié)束406。如果兩個(gè)或其中一個(gè)測(cè)試部分是“否”，則該過(guò)程繼續(xù)進(jìn)行以考慮下一個(gè)可能的分類情況。
步驟908-912的過(guò)程是用于估算已知鄰域像素以便確定這些像素是否位于處理異常鄰域的圖像區(qū)域中的過(guò)程的一個(gè)具體實(shí)例。可以理解，為此目的，可以使用其它算法和過(guò)程來(lái)估算已知的鄰域像素。
在步驟914中，計(jì)算十六個(gè)已知鄰域像素“a”-“p”的平均值M2M2＝(a+b+c+d+...m+n+o+p)＞＞4，
其中“＝”指的是賦值并且“＞＞”指的是右移。接下來(lái)，在步驟916中，估算比較已知像素與平均值M2的邏輯表達(dá)式((e＞M2)and(a＞M2)and(d＞M2)and(h＞M2))OR((e＜M2)and(a＜M2)and(d＜M2)and(h＜M2))如果在步驟916中估算的邏輯表達(dá)式為真，則標(biāo)志(Flag)＝1，否則標(biāo)志＝0。接下來(lái)，在步驟918中，標(biāo)志乘以2。由于標(biāo)志是整數(shù)，左移可以用于該運(yùn)算Flag＝flag＜＜1，其中，“＜＜”指的是左移。接下來(lái)，在步驟920中，估算比較已知像素和平均值M2的另一個(gè)邏輯表達(dá)式((g＞M2)and(c＞M2)and(b＞M2)and(f＞M2))OR((g＜M2)and(c＜M2)and(b＜M2)and(f＜M2))如果在步驟920中估算的邏輯表達(dá)式為真，則標(biāo)志增加1。
Flag＝Flag+1，否則，標(biāo)志保持相同。
接下來(lái)，在步驟922中，判定標(biāo)志是否等于2。如果“是”，則包圍確定的未知像素值的已知像素值在其中顯示線或邊的圖像區(qū)域中，并且包圍要插值的確定未知像素值的圖像的確定區(qū)域在步驟414(1)中被分配圖像類型分類“情況3”(即線性或線/邊)和“子情況1”(具有e-h定向)，并且該過(guò)程對(duì)于該像素結(jié)束406。如果“否”，則該過(guò)程繼續(xù)進(jìn)行以在步驟924中考慮下一個(gè)可能的分類情況，其中判定標(biāo)志是否等于1。如果“是”，則包圍確定的未知像素值的已知像素值在其中顯示線或邊的圖像區(qū)域中，并且包圍要插值的確定未知像素值的圖像的確定區(qū)域在步驟414(2)被分配圖像類型分類“情況3”(即線性)和“子情況2”(具有f-g定向)，并且該過(guò)程對(duì)于該像素結(jié)束406。如果“否”，則包圍確定的未知像素值的已知像素值在圖像的未分類區(qū)中，并且包圍要插值的確定未知像素值的圖像的確定區(qū)域在步驟416被分配圖像類型分類“情況4”(即缺省)，并且該過(guò)程結(jié)束406。
步驟914-924的過(guò)程是估算已知鄰域像素以便確定這些像素是否位于處理線或邊的圖像區(qū)域內(nèi)以及確定該線或邊的定向的過(guò)程的一個(gè)具體實(shí)例。可以理解，為此目的，可以使用其它算法和過(guò)程來(lái)估算已知的鄰域像素。
現(xiàn)在參考附圖10，其中示出在附圖3的步驟306中完成的加權(quán)計(jì)算過(guò)程的實(shí)施例的流程圖。在步驟1002提供多個(gè)加權(quán)計(jì)算公式。在示例性實(shí)施例中，提供的加權(quán)計(jì)算公式的數(shù)目與由附圖3的步驟304中執(zhí)行的圖像類型分類過(guò)程可確認(rèn)的情況(包括子情況)的數(shù)目一致。步驟304分配的已知鄰域像素的圖像區(qū)域的圖像類型分類(情況/子情況)在步驟1004中接收。在步驟1006中，執(zhí)行公式選擇過(guò)程以選擇多個(gè)加權(quán)公式(在步驟1002中提供)中的某一個(gè)。在一個(gè)實(shí)施例中，通過(guò)步驟1002為每一個(gè)步驟304分配的可能的圖像類型分類(情況/子情況)提供合適的一個(gè)加權(quán)計(jì)算公式，從而在步驟1006中作出選擇。在步驟1006中，通過(guò)選擇步驟1002提供的與步驟304確定的圖像類型分類對(duì)應(yīng)的公式簡(jiǎn)單地進(jìn)行公式選擇。
作為一個(gè)例子，結(jié)合附圖9所示的用于確定圖像類型分類的示例性實(shí)施方案的環(huán)境，步驟1002對(duì)于每一個(gè)平滑、異常鄰域、線性(子情況1)、線性(子情況2)和缺省圖像類型分類提供加權(quán)公式。步驟1006中的公式選擇僅操作以選擇那些與步驟304中確定的圖像類型分類相匹配的公式中的一個(gè)。作為例子，可以選擇任何合適的算術(shù)平均公式并在步驟1002中可將其用于平滑分類、異常鄰域分類和缺省分類，同時(shí)可以選擇任何合適的三次濾波公式并在步驟1002中將其用于線性(子情況1或子情況2)分類。算術(shù)平均和三次濾波算法在本技術(shù)領(lǐng)域內(nèi)都是公知的，并且提供合適公式用于步驟1002中的應(yīng)用完全在本技術(shù)普通技術(shù)人員的能力內(nèi)。
在選擇公式后，附圖10的過(guò)程繼續(xù)到步驟1008，其中選擇的公式用于計(jì)算必要的插值加權(quán)。計(jì)算的加權(quán)輸出到附圖3的步驟308的過(guò)程，其中該加權(quán)用于從包圍的已知像素值插值未知的像素值。
現(xiàn)在參考附圖11，其中示出附圖3實(shí)施的加權(quán)計(jì)算過(guò)程的另一個(gè)實(shí)施例的流程圖。在步驟1102提供多個(gè)分配的加權(quán)。在一示例性實(shí)施例中，提供的加權(quán)對(duì)應(yīng)于由附圖3的步驟304中執(zhí)行的圖像類型分類過(guò)程可確認(rèn)的情況(包括子情況)。步驟304分配的已知鄰域像素的圖像區(qū)域的圖像類型分類(情況/子情況)在步驟1104接收。在步驟1106中，執(zhí)行加權(quán)選擇過(guò)程以選擇確定的加權(quán)(在步驟1102中提供)。在該實(shí)施例的步驟1106中，通過(guò)步驟1102提供一個(gè)或多個(gè)特定的加權(quán)(其是預(yù)先確定的)作出選擇并且適合步驟304分配的每一個(gè)可能的圖像類型分類(情況/子情況)。在步驟1106中，僅通過(guò)選擇步驟1102提供的與步驟304中確定的圖像類型分類對(duì)應(yīng)的加權(quán)進(jìn)行加權(quán)選擇。選擇的加權(quán)輸出到附圖3的步驟308的過(guò)程，其中該加權(quán)用于從周圍的已知像素值插值未知的像素值。
作為一個(gè)例子，結(jié)合附圖9所示的用于確定圖像類型分類的示例性實(shí)施方案的環(huán)境，步驟1102對(duì)于每一個(gè)平滑、異常鄰域、線性(子情況1)、線性(子情況2)和缺省圖像類型分類提供加權(quán)。步驟1106中的加權(quán)選擇簡(jiǎn)單地操作以用來(lái)選擇那些與步驟304中確定的圖像類型分類相匹配的加權(quán)中的一個(gè)或多個(gè)。作為一個(gè)例子，認(rèn)為Wx是元素x的加權(quán)系數(shù)，其中x是要插值的元素z的鄰域。在這個(gè)環(huán)境中，元素z可在步驟308(附圖3)中由下式插值Z=ΣxiWxi·xi]]>對(duì)于平滑分類情況，在步驟1102中可得到的加權(quán)用于步驟1106中的選擇，給定如附圖5所示的四個(gè)鄰域“a”到“d”可能是Wa＝Wb＝Wc＝Wd＝1/4。
對(duì)于異常鄰域分類情況，在步驟1102中可得到的加權(quán)用于步驟1106中的選擇，給定如附圖6所示的四個(gè)鄰域“a”到“d”可能是Wa＝0，而Wb＝Wc＝Wd＝1/3。
對(duì)于線性(子情況1)分類，在步驟1102中可得到的加權(quán)用于步驟1106中的選擇，給定如附圖7所示的十六個(gè)鄰域“a”到“p”可能是對(duì)于沿著線的鄰域Wb＝Wd＝9/16，而We＝Wh＝-1/16。
對(duì)于線性(子情況2)分類，在步驟1102中可得到的加權(quán)用于步驟1106中的選擇，給定如附圖7所示的十六個(gè)鄰域“a”到“p”可能是對(duì)于沿著線的鄰域Wb＝Wc＝9/16，而Wf＝Wg＝-1/16。
對(duì)于缺省的分類，在步驟1102中可得到的加權(quán)用于步驟1106中的選擇，給定四個(gè)鄰域“a”到“d”可能是Wa＝Wb＝We＝Wd＝1/4。注意到缺省的條件與平滑分類是相同的。這僅僅是選擇的問(wèn)題，并且如果需要加權(quán)也可以取其它值。
認(rèn)識(shí)到這里公開的操作不同于所述的現(xiàn)有技術(shù)過(guò)程，其區(qū)別在于現(xiàn)有技術(shù)解決方法在選擇和/或計(jì)算插值加權(quán)前沒(méi)有區(qū)分關(guān)于正被處理的圖像的任何情況或分類。因此，現(xiàn)有技術(shù)解決方法僅使用一個(gè)復(fù)雜公式來(lái)進(jìn)行插值加權(quán)計(jì)算。相反，在此提出的解決方法在選擇和/或計(jì)算插值加權(quán)之前將圖像分類為至少四種情況中的一種情況。這使得可以得到各種不同的加權(quán)計(jì)算公式組，并選擇最適合或?yàn)榇_定的圖像分類特制的其中一個(gè)確定的可用公式。可替換地，這使得可以得到預(yù)定的加權(quán)，并且選擇最適合或?yàn)榇_定的圖像分類特制的確定加權(quán)。通過(guò)引進(jìn)這個(gè)自適應(yīng)分類方法來(lái)插值，并且特別是插值加權(quán)的計(jì)算和/或選擇，產(chǎn)生了一些益處，包括a)生成圖像的質(zhì)量在感觀上有所改進(jìn)，特別是原始圖像中存在規(guī)則邊的情況；和b)加權(quán)計(jì)算/選擇所需的總體計(jì)算需要(時(shí)間、周期、功率等)大大減少。
使用上述實(shí)施例(結(jié)合附圖1所說(shuō)明的)，在此示出的解決方法的操作已經(jīng)與現(xiàn)有技術(shù)解決方法(如上文引用的Lukac等人的論文中所教導(dǎo)的)進(jìn)行比較，其中對(duì)于多個(gè)不同分類預(yù)定加權(quán)。在圖像品質(zhì)測(cè)試中，并排感觀比較顯示現(xiàn)有技術(shù)解決方法和本解決方法產(chǎn)生的圖像十分類似。峰值信號(hào)比(PSNR)用于比較噪聲抑制，本解決方法的PSNR值與現(xiàn)有技術(shù)解決方法的PSNR值幾乎相同。平均絕對(duì)誤差(MAE)用于估算邊和生成圖像的細(xì)節(jié)保存，并且本解決方法的MAE值與現(xiàn)有技術(shù)的解決方法幾乎相同。標(biāo)準(zhǔn)化的色差(NCD)用于估算感觀誤差，并且本解決方法的NCD值與現(xiàn)有技術(shù)解決方法的NCD值幾乎相同。關(guān)于計(jì)算比較，現(xiàn)有技術(shù)解決方法和本解決方法都在數(shù)字信號(hào)處理器(DSP)上執(zhí)行，并且像素(色素)的分類和加權(quán)計(jì)算所需的循環(huán)次數(shù)都進(jìn)行計(jì)數(shù)。與現(xiàn)有技術(shù)解決方法(1681次循環(huán))相比，本解決方法所需的計(jì)算循環(huán)數(shù)目(81次循環(huán))顯著減少了。該減少主要?dú)w因于這種事實(shí)加權(quán)計(jì)算公式(或算法)不需要實(shí)施執(zhí)行，這是因?yàn)槊恳环N圖像分類情況的加權(quán)已經(jīng)預(yù)先計(jì)算并預(yù)定了。
前述示出了就生成圖像的質(zhì)量而言，本技術(shù)解決方法的方案實(shí)施得可與現(xiàn)有技術(shù)相比或比現(xiàn)有技術(shù)更好。本技術(shù)解決方案的最主要優(yōu)勢(shì)是加權(quán)計(jì)算所需的總計(jì)算量相比現(xiàn)有技術(shù)而言大大減少。事實(shí)上，一些試驗(yàn)示出當(dāng)使用預(yù)定加權(quán)時(shí)，本解決方法所需的計(jì)算量降低到現(xiàn)有技術(shù)解決方法所需的大約5％。如果一些預(yù)定加權(quán)是可得到的和/或如果執(zhí)行的公式已經(jīng)設(shè)計(jì)為具有減少的計(jì)算需求，那么即使當(dāng)使用實(shí)時(shí)執(zhí)行的加權(quán)計(jì)算公式時(shí)，也可能獲得計(jì)算需求的減少。
雖然本發(fā)明的方法和設(shè)備的優(yōu)選實(shí)施例已經(jīng)在附圖中示出并在前述詳細(xì)說(shuō)明中進(jìn)行了描述，應(yīng)當(dāng)理解本發(fā)明不限定為公開的實(shí)施例，在不脫離所附權(quán)利要求所描述和定義的本發(fā)明范圍的情況下，能夠有各種重新設(shè)置、修改和替換。
權(quán)利要求
1.一種圖像插值過(guò)程，其中所述圖像包括由多個(gè)已知像素包圍的未知像素值，該過(guò)程包括將圖像區(qū)域進(jìn)行分類，其中未知和已知像素位于多種類型的其中一種；基于圖像區(qū)域的分類類型，從多個(gè)加權(quán)計(jì)算公式中選擇確定的加權(quán)計(jì)算公式；使用選擇的確定加權(quán)計(jì)算公式來(lái)計(jì)算插值加權(quán)；和使用計(jì)算的插值加權(quán)從周圍的已知像素值對(duì)所述未知像素值進(jìn)行插值。
2.如權(quán)利要求1所述的過(guò)程，其中多個(gè)分類類型包括平滑區(qū)域、異常鄰域和線性。
3.如權(quán)利要求2所述的過(guò)程，其中線性分類類型包括多個(gè)取決于相對(duì)于已知像素的線定向的子情況。
4.如權(quán)利要求2所述的過(guò)程，其中在平滑區(qū)域分類類型中，已知的像素具有相似像素值。
5.如權(quán)利要求2所述的過(guò)程，其中在異常鄰域分類類型中，已知像素包括單個(gè)的已知像素，其像素值實(shí)質(zhì)上不同于其它已知像素的像素值。
6.如權(quán)利要求2所述的過(guò)程，其中在線性分類類型中，已知像素具有表示存在通過(guò)圖像區(qū)域的線和邊的值。
7.如權(quán)利要求1所述的過(guò)程，其中所述的步驟由集成電路裝置完成。
8.一種圖像插值過(guò)程，其中所述圖像包括由多個(gè)已知像素值包圍的未知像素值，該過(guò)程包括將圖像區(qū)域進(jìn)行分類，其中未知和已知像素位于多種類型的其中一種；基于圖像區(qū)域的分類類型從多個(gè)預(yù)定插值加權(quán)中選擇至少一個(gè)確定插值加權(quán)；和使用選擇的至少一個(gè)確定插值加權(quán)從周圍已知的像素值對(duì)未知像素值進(jìn)行插值。
9.如權(quán)利要求8所述的過(guò)程，其中，多個(gè)分類類型包括平滑區(qū)域、異常鄰域和線性。
10.如權(quán)利要求9所述的過(guò)程，其中線性分類類型包括多個(gè)取決于相對(duì)于已知像素的線定向的子情況。
11.如權(quán)利要求9所述的過(guò)程，其中在平滑區(qū)域分類類型中，已知的像素具有相似像素值。
12.如權(quán)利要求9所述的過(guò)程，其中在異常鄰域分類類型中，已知像素包括單個(gè)的已知像素，其像素值實(shí)質(zhì)上不同于其它已知像素的像素值。
13.如權(quán)利要求9所述的過(guò)程，其中在線性分類類型中，已知像素具有表示存在通過(guò)圖像區(qū)域的線或邊的值。
14.權(quán)利要求8的過(guò)程，其中所述的步驟由集成電路裝置完成。
15.一種過(guò)程，包括接收第一個(gè)圖像；放大第一個(gè)圖像以創(chuàng)建第二個(gè)圖像，第二個(gè)圖像包括多個(gè)未知像素值，其中每一個(gè)未知像素值具有多個(gè)鄰域的已知像素值；和根據(jù)像素插值加權(quán)，從已知像素值插值未知像素值，其中，所述插值包括確定這些插值加權(quán)，并且其中確定包括基于已知像素值，將圖像區(qū)域分類為多種類型的其中一種類型；和基于圖像區(qū)域的分類類型獲取至少一個(gè)確定的插值加權(quán)，以用于插值至少一個(gè)未知像素值。
16.如權(quán)利要求15所述的過(guò)程，其中第一個(gè)圖像是CFA圖像，第二個(gè)圖像是放大的CFA圖像并且插值產(chǎn)生RGB圖像。
17.如權(quán)利要求15所述的過(guò)程，其中獲取包括基于圖像區(qū)域的分類類型，從多個(gè)加權(quán)計(jì)算公式中選擇確定的加權(quán)計(jì)算公式；使用選擇的確定加權(quán)計(jì)算公式計(jì)算至少一個(gè)確定的插值加權(quán)。
18.如權(quán)利要求15所述的過(guò)程，其中獲取包括基于圖像區(qū)域的分類類型從多個(gè)預(yù)定的插值加權(quán)中選擇至少一個(gè)確定的插值加權(quán)。
19.如權(quán)利要求15所述的過(guò)程，其中，多個(gè)分類類型包括平滑區(qū)域、異常鄰域和線性。
20.如權(quán)利要求19所述的過(guò)程，其中線性分類類型包括多個(gè)取決于相對(duì)于已知像素的線定向的子情況。
21.如權(quán)利要求19所述的過(guò)程，其中在平滑區(qū)域分類類型中，已知的像素具有相似像素值。
22.如權(quán)利要求19所述的過(guò)程，其中在異常鄰域分類類型中，已知像素包括單個(gè)的已知像素，其像素值實(shí)質(zhì)上不同于其它已知像素的像素值。
23.如權(quán)利要求19所述的過(guò)程，其中在線性分類類型中，已知像素具有表示存在通過(guò)圖像區(qū)域的線或邊的值。
24.如權(quán)利要求15所述的過(guò)程，其中所述的步驟由集成電路裝置完成。
全文摘要
接收第一個(gè)圖像并將其放大以創(chuàng)建第二個(gè)圖像。第二個(gè)圖像包括多個(gè)未知像素值，其中每一個(gè)像素值具有多個(gè)鄰域已知像素值。根據(jù)像素插值加權(quán)，從已知像素值對(duì)未知像素值進(jìn)行插值。未知像素值的插值包括通過(guò)下列步驟確定所需的插值加權(quán)基于已知像素值將圖像區(qū)域分類為多種類型的其中一種類型；并基于圖像區(qū)域的分類類型來(lái)獲取至少一個(gè)確定的插值加權(quán)以用于插值至少一個(gè)未知的像素值。
文檔編號(hào)H04N3/10GK1953504SQ20051011654
公開日2007年4月25日 申請(qǐng)日期2005年10月21日 優(yōu)先權(quán)日2005年10月21日
發(fā)明者陳喆, 陳前 申請(qǐng)人:意法半導(dǎo)體研發(fā)(上海)有限公司