專利名稱：適用于視頻的超解析處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻處理技術(shù)領(lǐng)域，尤其涉及一種影像處理方法，更特定而言為一種基于二維隱藏式馬可夫模型的適用于視頻的超解析處理方法。
背景技術(shù)：
隨著各種顯示器技術(shù)的發(fā)展及推廣，目前各種高解析顯示裝置(顯示器、電視或其它)在一般家庭或?qū)I(yè)領(lǐng)域中已是被廣泛應(yīng)用的設(shè)備。從早期的標(biāo)準(zhǔn)解析(Mandard Definition, SD)演變到現(xiàn)在較為普遍的高解析(High Definition, HD)或全高解析(Full HD)標(biāo)準(zhǔn)，其中Full HD顯示器所能提供的解析能力已可達(dá)到「1920X1080」，而部分專業(yè)顯示器的分辨率更是已超越此標(biāo)準(zhǔn)，可廣泛用于像是娛樂、醫(yī)療或其它領(lǐng)域。為了充分利用顯示器具有的高解析能力，使用者也會(huì)希望能獲得各種高解析信號(hào)來源(Signal Source)，像是高解析的影像(Image)或視頻序列(Videc^equence)等，以達(dá)到最佳顯示效果。目前的信號(hào)來源極為廣泛，像是來自數(shù)字相機(jī)、數(shù)字?jǐn)z影機(jī)、有線/無線電視機(jī)上盒、電視游樂器、CD/DVD播放器、藍(lán)光播放器、計(jì)算機(jī)或其它等，使用者也可利用因特網(wǎng)于遠(yuǎn)程撥放或下載各種通過串流傳送的影像或視頻序列等。然而，上述信號(hào)來源中， 多半無法提供令人滿意的分辨率，舉例而言，臺(tái)灣的有線電視所能提供的畫質(zhì)大多僅有約 「640X480」。此外，通過因特網(wǎng)傳送的串流影片，為了提升傳輸速度，畫質(zhì)多半經(jīng)過壓縮而降低。再者，即使是分辨率較高的影像或視頻序列，也常會(huì)出現(xiàn)因?qū)共划?dāng)或其它原因造成的局部模糊的問題。因此，對(duì)于各種不同的信號(hào)來源，使用者皆有提升其信號(hào)源分辨率的需求。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例的目的在于提供一種適用于視頻的超解析處理方法，旨在解決現(xiàn)有技術(shù)提供的信號(hào)源無法提供令人滿意的分辨率，不能滿足用戶需求的問題。本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種適用于視頻的超解析處理方法，所述方法包括以下步驟利用一高解析影像以獲得多個(gè)訓(xùn)練用高解析高頻信息補(bǔ)丁及多個(gè)訓(xùn)練用低解析高頻信息補(bǔ)丁；將所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁進(jìn)行訓(xùn)練學(xué)習(xí)以獲得對(duì)應(yīng)關(guān)系以建立一訓(xùn)練數(shù)據(jù)庫；接收一低解析影像；將所述低解析影像依所述訓(xùn)練用低解析高頻信息補(bǔ)丁的大小劃分成多個(gè)區(qū)塊；將所述多個(gè)區(qū)塊于所述訓(xùn)練數(shù)據(jù)庫中尋找一相似的訓(xùn)練用低解析高頻信息補(bǔ)丁， 并尋找對(duì)應(yīng)于所述相似的訓(xùn)練用低解析高頻信息補(bǔ)丁的一訓(xùn)練用高解析高頻信息補(bǔ)?。焕靡惶幚砥骺刂埔怀馕瞿K以拼圖式方法或斜角式方法將所述高解析高頻信息補(bǔ)丁貼回所述低解析影像的所述多個(gè)區(qū)塊并以二維隱藏式馬可夫模型計(jì)算兼容性；及
產(chǎn)生一超解析影像。本發(fā)明實(shí)施例的另一目的在于提供一種適用于視頻的超解析處理方法，所述方法包括以下步驟接收一低解析影像；將所述低解析影像劃分成多個(gè)區(qū)塊；在一預(yù)先訓(xùn)練的數(shù)據(jù)庫中尋找高解析補(bǔ)丁 ；利用一處理器控制一超解析模塊以拼圖式方法或斜角式方法將所述高解析補(bǔ)丁貼回所述低解析影像的所述多個(gè)區(qū)塊并以二維隱藏式馬可夫模型計(jì)算兼容性；及產(chǎn)生一超解析影像。本發(fā)明實(shí)施例利用二維隱藏式馬可夫模型以拼圖式或斜角式方法進(jìn)行回貼補(bǔ)丁，可提升整體執(zhí)行效率，且所得到的超解析影像的信號(hào)噪聲比(Peak Signalto Noise Ratio, PSNR)可以提升影像的質(zhì)量。


圖1是本發(fā)明實(shí)施例提供的超解析處理方法流程示意圖；圖2A至2C是本發(fā)明實(shí)施例提供的訓(xùn)練學(xué)習(xí)階段流程示意圖；圖3A及;3B是本發(fā)明實(shí)施例提供的超解析階段流程示意圖；圖4A及4B是本發(fā)明實(shí)施例提供的二維隱藏式馬可夫模型補(bǔ)丁貼法示意圖，其中圖4A為拼圖式，而圖4B為斜角式；圖5A及5B是本發(fā)明實(shí)施例提供的二維隱藏式馬可夫模型補(bǔ)丁貼法權(quán)重狀態(tài)示意圖，其中圖5A為拼圖式權(quán)重狀態(tài)，而圖5B為斜角式權(quán)重狀態(tài)；圖6是本發(fā)明實(shí)施例提供的超解析處理系統(tǒng)示意圖；及圖7是本發(fā)明實(shí)施例提供的一示范性計(jì)算機(jī)硬件示意圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。圖1為本發(fā)明實(shí)施例提供的適用于視頻的超解析(Super Resolution, SR)處理方法流程示意圖。在圖1中，適用于視頻的超解析處理方法1000包含訓(xùn)練學(xué)習(xí)階段1100及超解析階段1200。各階段的步驟流程將于下文中詳述。為實(shí)施本發(fā)明下述所執(zhí)行的步驟、程序或階段，實(shí)施例中提供一超解析處理系統(tǒng)3000如圖6所示。為實(shí)施所述超解析處理系統(tǒng) 3000，實(shí)施例中提供一種示范性計(jì)算機(jī)硬件及操作環(huán)境示意圖如圖7所示。在圖7中，計(jì)算機(jī)4000包含一處理單元4002 (可為一處理器，更特定而言可為一可程序處理器)，通過譬如一總線4004耦合于一內(nèi)存4006、一儲(chǔ)存裝置接口 4008、一系統(tǒng)信息顯示裝置4010、一系統(tǒng)設(shè)定接口 4012、一影像輸入接口 4014、一影像輸出接口 4016及一其它接口 /裝置4018等。 其中，儲(chǔ)存裝置接口 4008包含PATA、SATA, e_SATA、USB、MS、CF、SD、MMC等或其它一或多種常用接口，可用以連接一計(jì)算機(jī)可讀取媒體4020。計(jì)算機(jī)可讀取媒體4020可包含外接或內(nèi)建的CD/DVD/藍(lán)光光驅(qū)、硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、記憶卡等或其它一或多種常用媒體。在一些實(shí)施例中，處理單元4002及計(jì)算機(jī)可讀取媒體4020也可整合于一微處理器中。其中， 計(jì)算機(jī)可讀取媒體4020及內(nèi)存4006可載有包含基本輸出入系統(tǒng)4022、操作系統(tǒng)40M、應(yīng)用程序40 、程序語言及對(duì)應(yīng)的編譯器40 及其它程序4030等，以執(zhí)行本發(fā)明的計(jì)算機(jī)程序產(chǎn)品。此外，利用影像輸入接口 4014可由有線或無線的影像輸入管道4032從一外部的影像提供端4034獲得高解析影像3004a(見圖6)及低解析影像2000(見圖6)，其影像輸入管道4032可包含網(wǎng)絡(luò)線纜線、有線電視纜線、無線基地臺(tái)信號(hào)或其它等。然而，本領(lǐng)域的具有通常知識(shí)者應(yīng)可理解，通過上述計(jì)算機(jī)可讀取媒體4020包含的外接或內(nèi)建的⑶/DVD/ 藍(lán)光光驅(qū)、硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、記憶卡等或其它一或多種常用媒體也可提供影像輸入的功能。通過超解析處理系統(tǒng)3000執(zhí)行超解析處理方法1000之后，所產(chǎn)生的超解析影像 3006b可利用影像輸出接口 4016，通過影像輸出管道4036提供給一外接或內(nèi)建的顯示屏幕 4038。再者，系統(tǒng)信息顯示裝置4010可為另一顯示屏幕，用以顯示目前系統(tǒng)工作狀態(tài)的信息。而系統(tǒng)設(shè)定接口 4012可包含譬如鼠標(biāo)、鍵盤、觸控面板或其它等一或多種輸入裝置及對(duì)應(yīng)的接口。此外，也應(yīng)包含基本輸入輸出單元￠10 。然而，需注意上述說明僅用以舉例說明可實(shí)施發(fā)明實(shí)施例的計(jì)算機(jī)硬件及操作環(huán)境，但并非用以限制本發(fā)明的實(shí)施方式。為將本發(fā)明更貼切適用于不同的使用態(tài)樣或環(huán)境，也可以不同的方式廣泛加以實(shí)施。舉例而言，若實(shí)施態(tài)樣為一數(shù)字機(jī)上盒，連接于一電視以接收數(shù)字視頻信號(hào)，則上述部分組件可能整合為單一微芯片，以縮小體積方便使用，也可能不需要鍵盤鼠標(biāo)或光驅(qū)等，直接將程序燒錄于上述單一微芯片中。此外，上述各組件的數(shù)量并不限于一個(gè)，可依實(shí)際需要加以更改， 部分組件可是需求加以刪除，也可加入其它組件。 圖2A至2C為本發(fā)明實(shí)施例提供的訓(xùn)練學(xué)習(xí)階段流程示意圖，并配合圖6及圖7 的系統(tǒng)軟硬件運(yùn)作、執(zhí)行，以利于獲得計(jì)算機(jī)可讀取的具體、實(shí)用的輸出結(jié)果。所述的程序、 步驟或階段是以信息技術(shù)將計(jì)算機(jī)可讀取數(shù)字?jǐn)?shù)據(jù)以計(jì)算機(jī)程序或指令記錄于計(jì)算機(jī)可讀取的儲(chǔ)存媒體內(nèi)，得執(zhí)行已知或本發(fā)明以下所述的功能。在圖2A中，訓(xùn)練學(xué)習(xí)階段1100 包含在步驟1102中，舉例而言，利用影像輸入接口 4014接收來自外部的一高解析影像 3004a(也可為視頻序列中的個(gè)別信號(hào)框)，儲(chǔ)存至訓(xùn)練數(shù)據(jù)庫模塊3008、緩存器(圖中未示出)、內(nèi)存4006或透過儲(chǔ)存裝置接口 4008至計(jì)算機(jī)可讀取記錄媒體4020內(nèi)，隨之透過指令的下達(dá)，透過處理單元4002呼叫應(yīng)用程序40 ,例如實(shí)施例的超解析處理系統(tǒng)3000的訓(xùn)練學(xué)習(xí)模塊3004 ；在步驟1104中，利用訓(xùn)練學(xué)習(xí)模塊3004分離出高解析影像3004a的彩度信息作為訓(xùn)練用高解析影像，同理，經(jīng)分離的訓(xùn)練用高解析影像將被儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008、緩存器、內(nèi)存4006或透過儲(chǔ)存裝置接口 4008至計(jì)算機(jī)可讀取記錄媒體4020內(nèi)，以供后續(xù)處理所需；在步驟1106中，利用指令的下達(dá)或原始的設(shè)定，訓(xùn)練學(xué)習(xí)模塊3004根據(jù)所述訓(xùn)練用高解析影像獲得訓(xùn)練用低解析影像，同理經(jīng)分離的作為訓(xùn)練用低解析影像將也被儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008、緩存器、內(nèi)存4006或透過儲(chǔ)存裝置接口 4008至計(jì)算機(jī)可讀取記錄媒體4020內(nèi)，以供后續(xù)處理所需；透過接口的指令輸入或初始的設(shè)定，在步驟1108 中，利用處理單元4002擷取所儲(chǔ)存的高解析影像及所述訓(xùn)練用低解析影像，透過訓(xùn)練學(xué)習(xí)模塊3004將所擷取的訓(xùn)練用高解析影像及所述訓(xùn)練用低解析影像分別進(jìn)行高通濾波處理以獲得訓(xùn)練用高解析高頻信息及訓(xùn)練用低解析高頻信息；在步驟1110中，利用訓(xùn)練學(xué)習(xí)模塊3004將所述訓(xùn)練用高解析高頻信息及所述訓(xùn)練用低解析高頻信息分別加以切割以獲得訓(xùn)練用高解析高頻信息補(bǔ)丁及訓(xùn)練用低解析高頻信息補(bǔ)丁，隨之將此經(jīng)處理信息暫存于內(nèi)存4006或儲(chǔ)存于計(jì)算機(jī)可讀取記錄媒體4020 ；在步驟1112中，透過相關(guān)硬件如處理單元 4002呼叫或執(zhí)行所述訓(xùn)練學(xué)習(xí)模塊將所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁進(jìn)行訓(xùn)練學(xué)習(xí)以獲得對(duì)應(yīng)關(guān)系；隨之在步驟1114中，將所得的處理信息儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008中。本領(lǐng)域的具有通常知識(shí)者應(yīng)可理解，在下述說明中，各步驟的運(yùn)作所需運(yùn)用的軟件及硬件的對(duì)應(yīng)關(guān)系與上述說明相似，為避免贅述，未必會(huì)對(duì)所有細(xì)節(jié)加以說明，可參考上述說明以更加理解。在本發(fā)明的較佳實(shí)施例中，在步驟1104中系將所述高解析影像的色彩空間轉(zhuǎn)換為明度、藍(lán)色差與紅色差(YCbCr)的格式。通過將所述高解析影像的亮度與彩度加以分離， 并忽略亮度而僅對(duì)彩度加以處理，可大幅減少高解析影像的數(shù)據(jù)量及運(yùn)算的復(fù)雜度。在本發(fā)明的較佳實(shí)施例中，步驟1106更包含如圖2B所示的步驟，包含在步驟 1106a中，利用訓(xùn)練學(xué)習(xí)模塊3004進(jìn)行模糊化處理；在步驟1106b中，利用訓(xùn)練學(xué)習(xí)模塊 3004進(jìn)行向下取樣處理；及在步驟1106c中，利用訓(xùn)練學(xué)習(xí)模塊3004進(jìn)行向上取樣處理。 其中，模糊化處理(1106a)的目的在于使所述訓(xùn)練用高解析影像失去高頻的影像信息。而進(jìn)行向下取樣處理(1106b)和進(jìn)行向上取樣處理(1106c)系可利用雙線性內(nèi)插法，以使所述訓(xùn)練用高解析影像在失去高頻的影像信息后，進(jìn)一步減少像素信息以創(chuàng)造出低解析的畫面，以獲得訓(xùn)練用低解析影像，并儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008中。在本發(fā)明的較佳實(shí)施例中，在步驟1108中，高通濾波處理系可利用傅立葉轉(zhuǎn)換 (Fourier Transform)以將一影像的空間域轉(zhuǎn)換為頻率域。接著，可利用一屏蔽以將頻率域中的低頻部分遮蓋掉，僅留下高頻部分。通過此方式，可將所述訓(xùn)練用高解析影像及所述訓(xùn)練用低解析影像分別進(jìn)行高通濾波處理以獲得訓(xùn)練用高解析高頻信息及訓(xùn)練用低解析高頻信息。其中，此中所指「高頻」或「低頻」是指空間頻率(Spatial Frequency) 0 一般而言，高頻部分可代表影像中變化較大之處。因此，以高頻部分?jǐn)X取一影像的特征，可減少低頻部分的影像，并可減少所需處理的數(shù)據(jù)量。在本發(fā)明的較佳實(shí)施例中，在步驟1110中，為了加強(qiáng)兼容度的處理，在分割影像成為補(bǔ)丁時(shí)，是將訓(xùn)練用低解析高頻信息補(bǔ)丁切割成稍大于訓(xùn)練用高解析高頻信息補(bǔ)丁。 舉例而言，訓(xùn)練用低解析高頻信息補(bǔ)丁可切割為7X7像素的補(bǔ)丁，而訓(xùn)練用高解析高頻信息補(bǔ)丁可切割為5X5像素的補(bǔ)丁。以利在高解析高頻信息補(bǔ)丁與低解析高頻信息補(bǔ)丁重迭訓(xùn)練其對(duì)應(yīng)關(guān)系時(shí)，可利用低解析高頻信息補(bǔ)丁多出來的部分計(jì)算其兼容度，以得到較佳的對(duì)應(yīng)關(guān)系。其訓(xùn)練方式將于下詳述。在本發(fā)明的較佳實(shí)施例中，為了求得所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁的對(duì)應(yīng)關(guān)系，步驟1112更包含如圖2C所示的步驟，包含在步驟 1112a中，利用訓(xùn)練學(xué)習(xí)模塊3004分別計(jì)算所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁的色彩總和值；在步驟1112b中，利用訓(xùn)練學(xué)習(xí)模塊3004記錄所儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008中的每一所述訓(xùn)練用解析高頻數(shù)據(jù)補(bǔ)丁于所述訓(xùn)練用低解析高頻信息補(bǔ)丁相對(duì)應(yīng)地址；在步驟1112c中，利用訓(xùn)練學(xué)習(xí)模塊3004根據(jù)所述色彩總和值于訓(xùn)練數(shù)據(jù)庫模塊3008中的所有高頻數(shù)據(jù)庫中進(jìn)行相似補(bǔ)丁初步比對(duì)；在步驟1112d中，利用訓(xùn)練學(xué)習(xí)模塊3004進(jìn)行像素比對(duì)；在步驟111 中，利用訓(xùn)練學(xué)習(xí)模塊3004根據(jù)所述像素比對(duì)進(jìn)行相似補(bǔ)丁進(jìn)一步比對(duì)及分類，再將上述結(jié)果儲(chǔ)存于訓(xùn)練數(shù)據(jù)庫模塊3008中。其中，由于切割出的補(bǔ)丁(所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁 )數(shù)量相當(dāng)龐大，因此，在本發(fā)明的較佳實(shí)施例中系利用訓(xùn)練學(xué)習(xí)模塊3004 對(duì)所有補(bǔ)丁個(gè)別計(jì)算出色彩總和值(1112a)并記錄每一補(bǔ)丁的色彩總和值的相對(duì)應(yīng)地址 (1112b)。接著利用針對(duì)個(gè)別補(bǔ)丁的色彩總和值進(jìn)行初步比對(duì)(1112c)，若色彩總和值相似， 在對(duì)補(bǔ)丁內(nèi)個(gè)別像素進(jìn)行進(jìn)一步比對(duì)(1112d)，若像素比對(duì)相似程度高，則可視為相同類型的補(bǔ)丁，在此中稱為相似補(bǔ)丁，并加以分類(111 )。以此方式，不但可以對(duì)于相似度高的補(bǔ)丁進(jìn)行分類統(tǒng)計(jì)，也可節(jié)省儲(chǔ)存補(bǔ)丁所需的儲(chǔ)存空間。此外，在計(jì)算時(shí)，每塊訓(xùn)練用高解析高頻信息補(bǔ)丁會(huì)有一些重迭的部分，在本發(fā)明實(shí)施例中是可以利用這些重迭的部分計(jì)算差異平方值，并將差異平方值最小者定為相似鄰近補(bǔ)丁。當(dāng)完成訓(xùn)練后，即可于圖2A中步驟 1114建立一訓(xùn)練數(shù)據(jù)庫。在完成訓(xùn)練數(shù)據(jù)庫后，便可從訓(xùn)練學(xué)習(xí)階段1100前進(jìn)至超解析階段1200。圖3A 及3B為本發(fā)明實(shí)施例提供的超解析階段流程示意圖，并配合圖6及圖7的系統(tǒng)軟硬件運(yùn)作、執(zhí)行來進(jìn)行說明。在圖3A中，超解析階段1200包含在步驟1202中，利用超解析處理系統(tǒng)3000的超解析模塊3006接收一來自外部的低解析影像2000，即欲進(jìn)行超解析處理而得到高解析效果的低解析影像；在步驟1204中，利用超解析模塊3006將低解析影像2000依所述訓(xùn)練用低解析高頻信息補(bǔ)丁的大小劃分成多個(gè)區(qū)塊；在步驟1206中，利用超解析模塊 3006在訓(xùn)練數(shù)據(jù)庫模塊3008中尋找相似的所述訓(xùn)練用低解析高頻信息補(bǔ)丁 ；在步驟1208 中，再利用超解析模塊3006在訓(xùn)練數(shù)據(jù)庫模塊3008中尋找對(duì)應(yīng)于所述相似的訓(xùn)練用低解析高頻信息補(bǔ)丁的所述訓(xùn)練用高解析高頻信息補(bǔ)丁 ；在步驟1210中，利用超解析模塊3006 以拼圖式或斜角式方法將所述高解析高頻信息補(bǔ)丁貼回低解析影像2000的多個(gè)區(qū)塊并以二維隱藏式馬可夫模型(Two DimensionalHidden Markov Model, 2D-HMM)計(jì)算兼容性；及在步驟1212中，利用超解析模塊3006產(chǎn)生超解析影像3006b。在本發(fā)明的較佳實(shí)施例中，在步驟1210中，利用超解析模塊3006將所述高解析高頻信息補(bǔ)丁貼回低解析影像2000的多個(gè)區(qū)塊時(shí)，是可以利用拼圖式或斜角式的方式進(jìn)行， 如圖4A及4B所示。其中，拼圖式是從外圈先拼貼完后再往內(nèi)圈逐圈拼貼；而斜角式是以左上-右下或右上-左下的傾斜角度逐斜線拼貼(其中以左上-右下實(shí)作較多，為較佳實(shí)施方式，但并不限于此)，其較佳傾斜角度為九十度但并不限于九十度。隱藏馬可夫模型為統(tǒng)計(jì)模型的集合，其目的是用來描述狀態(tài)轉(zhuǎn)移特性程序，一般隱藏馬可夫模型的組成包含為有限的狀態(tài)個(gè)數(shù)、狀態(tài)的轉(zhuǎn)移機(jī)率矩陣、以及一初始狀態(tài)機(jī)率分布。由于，馬可夫網(wǎng)絡(luò)(Markov Network)為給定一狀態(tài)后，則可以此狀態(tài)來預(yù)測(cè)其后續(xù)狀態(tài)的一種網(wǎng)絡(luò)模型，因此，在正常的馬可夫模型中，其后續(xù)狀態(tài)對(duì)于觀察者而言是可以直接看見的；但，在隱藏馬可夫模型中，其后續(xù)狀態(tài)對(duì)于觀察者而言卻不是可以直接看見的， 而是每一個(gè)狀態(tài)所對(duì)應(yīng)的可能輸出信號(hào)都存在著一個(gè)機(jī)率的分布。因此，在隱藏馬可夫模型中，需針對(duì)已知的狀態(tài)去尋找可能性最高的狀態(tài)轉(zhuǎn)移及輸出機(jī)率。于本發(fā)明的一些實(shí)施例中，在使用隱藏馬可夫模型于一低解析影像2000時(shí)，會(huì)對(duì)于所述低解析影像2000所劃分成的多個(gè)區(qū)塊個(gè)別給予1 5個(gè)狀態(tài)補(bǔ)丁，每一狀態(tài)補(bǔ)丁依據(jù)與對(duì)應(yīng)的區(qū)塊的相似度可得出一初始機(jī)率，而對(duì)于每一區(qū)塊的5個(gè)狀態(tài)補(bǔ)丁彼此的間也會(huì)存在一轉(zhuǎn)換機(jī)率，如此，則可以計(jì)算出彼此間的兼容性。在圖4A中系顯示二維隱藏馬可夫模型的拼圖式方法。對(duì)于低解析影像2000而言， 已在步驟1204中被區(qū)分為多個(gè)區(qū)塊2002 (為簡(jiǎn)化圖式，僅標(biāo)記一區(qū)塊)。在步驟1208中，將每一塊貼上的補(bǔ)丁與鄰近的八塊區(qū)塊做兼容程度計(jì)算，若將欲貼上的補(bǔ)丁位置表示為S(i， j)，則其相鄰區(qū)塊可表示為 Nl = {s(i-l，j)、s(i-l，j-l)、s(i，j-l)、s(i+l，j-l)、s(i+l， j)、S(i+l，j+1)、S(i，j+1)、s(i-l，j+1)}等如圖4A中以斜線表示的區(qū)塊位置。在圖4B中系顯示二維隱藏馬可夫模型的斜角式方法，其對(duì)于每一塊貼上的補(bǔ)丁會(huì)與鄰近的三塊區(qū)塊做兼容程度計(jì)算(比對(duì))，若將欲貼上的補(bǔ)丁位置表示為S(i，j)，則相鄰區(qū)塊可表示為N2 ={S(i-1，j)、s(i-l，j+l)、S(i，j+Ι)}，如圖4B中以斜線表示的區(qū)塊位置。藉此，其機(jī)率關(guān)系由下式所表示P{S(i, j)} = i+K, j+L e Nm,Σ P {S (i+K, j+L)}*e(i+KjJ+L),其中，S(i，j)表示正在重建的區(qū)塊，而S(i+K，j+L)表示鄰近的幾個(gè)區(qū)塊，且K及 L表示上下左右周圍的變量參數(shù)。m為隱藏馬可夫模型的選擇模式，當(dāng)m= 1時(shí)為拼圖式， 相鄰區(qū)塊最多會(huì)有八個(gè)可作為比較；而當(dāng)m = 2時(shí)為斜角式，相鄰區(qū)塊最多會(huì)有三個(gè)可作為比較，優(yōu)點(diǎn)為執(zhí)行速度較快。在較佳實(shí)施例中，步驟1210更包含兩階段，如圖:3B所示，包含在步驟1210a中， 利用超解析模塊3006進(jìn)行二維隱藏式馬可夫正算程序O^orward Pass)；及在步驟1210b 中，利用超解析模塊3006進(jìn)行二維隱藏式馬可夫逆算程序(Backward I^ass)。其中，每一補(bǔ)丁對(duì)于其每一相鄰區(qū)塊都有一對(duì)應(yīng)的轉(zhuǎn)換機(jī)率，在步驟1210a中，利用超解析模塊3006將各補(bǔ)丁與以建立好的相鄰區(qū)塊計(jì)算出權(quán)重值，即為每一相鄰區(qū)塊所對(duì)應(yīng)的轉(zhuǎn)換機(jī)率，其權(quán)重狀態(tài)如圖5A及5B所示。圖5A顯示二維隱藏馬可夫模型的拼圖式方法權(quán)重狀態(tài)示意圖， 而圖5B顯示二維隱藏馬可夫模型的斜角式方法權(quán)重狀態(tài)示意圖。在步驟1210b中，根據(jù)在步驟1210b中計(jì)算出的權(quán)重值，將轉(zhuǎn)換機(jī)率最高的那一塊訓(xùn)練用高解析高頻信息補(bǔ)丁貼回低解析影像2000的指定區(qū)塊2002中，如此以得到高解析的影像。在本發(fā)明的實(shí)施例中，由于是利用隱藏式馬可夫模型加以比對(duì)，因此相較于逐一比對(duì)而言，執(zhí)行時(shí)間較短，效率較佳。此外，并不需要反復(fù)計(jì)算才能獲得較佳結(jié)果。再者，由于每一塊拼貼的補(bǔ)丁會(huì)與相鄰三至八塊區(qū)塊加以比對(duì)，可降低拼貼錯(cuò)誤率，也可降低因前者選擇不佳而對(duì)后者拼貼正確性的影響程度。在此，需說明的是，經(jīng)過影像重建之后所得出的影像在某種程度下可能會(huì)與原始影像有些微的不同，因此，為了衡量重建后的影像質(zhì)量，會(huì)使用信號(hào)噪聲比(Peak Signal to Noise Ratio, PSNR)值來確認(rèn)所得的影像結(jié)果是否達(dá)到標(biāo)準(zhǔn)。其中，所計(jì)算的PSNR值越大就代表失真越少，此為一客觀的評(píng)比數(shù)據(jù)。利用本發(fā)明的視頻的超解析處理方法所得出的重建影像進(jìn)行PSNR值的計(jì)算之后，可證實(shí)通過超解析處理方法之后所得的影像質(zhì)量得以提升。在一較佳實(shí)施例中，PSNR的定義可為如下所示
權(quán)利要求
1.一種適用于視頻的超解析處理方法，其特征在于，所述方法包括以下步驟 利用一高解析影像以獲得多個(gè)訓(xùn)練用高解析高頻信息補(bǔ)丁及多個(gè)訓(xùn)練用低解析高頻信息補(bǔ)丁 ；將所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁進(jìn)行訓(xùn)練學(xué)習(xí)以獲得對(duì)應(yīng)關(guān)系以建立一訓(xùn)練數(shù)據(jù)庫； 接收一低解析影像；將所述低解析影像依所述訓(xùn)練用低解析高頻信息補(bǔ)丁的大小劃分成多個(gè)區(qū)塊； 將所述多個(gè)區(qū)塊于所述訓(xùn)練數(shù)據(jù)庫中尋找一相似的訓(xùn)練用低解析高頻信息補(bǔ)丁，并尋找對(duì)應(yīng)于所述相似的訓(xùn)練用低解析高頻信息補(bǔ)丁的一訓(xùn)練用高解析高頻信息補(bǔ)??；利用一處理器控制一超解析模塊以拼圖式方法或斜角式方法將所述高解析高頻信息補(bǔ)丁貼回所述低解析影像的所述多個(gè)區(qū)塊并以二維隱藏式馬可夫模型計(jì)算兼容性；及產(chǎn)生一超解析影像。
2.如權(quán)利要求1所述的適用于視頻的超解析處理方法，其特征在于，所述利用一高解析影像以獲得多個(gè)訓(xùn)練用高解析高頻信息補(bǔ)丁及多個(gè)訓(xùn)練用低解析高頻信息補(bǔ)丁的步驟進(jìn)一步包括以下步驟分離出所述高解析影像的彩度信息作為訓(xùn)練用高解析影像； 根據(jù)所述訓(xùn)練用高解析影像獲得訓(xùn)練用低解析影像；將所述訓(xùn)練用高解析影像及所述訓(xùn)練用低解析影像分別進(jìn)行高通濾波處理以獲得訓(xùn)練用高解析高頻信息及訓(xùn)練用低解析高頻信息；及將所述訓(xùn)練用高解析高頻信息及所述訓(xùn)練用低解析高頻信息分別加以切割以獲得多個(gè)訓(xùn)練用高解析高頻信息補(bǔ)丁及多個(gè)訓(xùn)練用低解析高頻信息補(bǔ)丁。
3.如權(quán)利要求2所述的適用于視頻的超解析處理方法，其特征在于，所述彩度信息的分離是利用將所述高解析影像的色彩空間轉(zhuǎn)換為YCbCr格式所獲得。
4.如權(quán)利要求2所述的適用于視頻的超解析處理方法，其特征在于，所述獲得訓(xùn)練用低解析影像的步驟包含進(jìn)行模糊化處理、進(jìn)行向下取樣處理及進(jìn)行向上取樣處理。
5.如權(quán)利要求1所述的適用于視頻的超解析處理方法，其特征在于，所述獲得對(duì)應(yīng)關(guān)系的步驟包含分別計(jì)算所述訓(xùn)練用高解析高頻信息補(bǔ)丁及所述訓(xùn)練用低解析高頻信息補(bǔ)丁的色彩總和值、記錄每一該訓(xùn)練用高解析高頻信息補(bǔ)丁與所述訓(xùn)練用低解析高頻信息補(bǔ)丁的所述色彩總和值的相對(duì)應(yīng)地址、根據(jù)所述色彩總值進(jìn)行相似補(bǔ)丁初步比對(duì)、進(jìn)行像素比對(duì)、及根據(jù)所述像素比對(duì)進(jìn)行相似補(bǔ)丁進(jìn)一步比對(duì)及分類。
6.如權(quán)利要求1所述的適用于視頻的超解析處理方法，其特征在于，所述二維隱藏式馬可夫模型計(jì)算的步驟包含進(jìn)行二維隱藏式馬可夫正算程序及進(jìn)行二維隱藏式馬可夫逆算程序。
7.如權(quán)利要求1所述的適用于視頻的超解析處理方法，其特征在于，所述斜角式方法包含計(jì)算周圍三個(gè)區(qū)塊的兼容性。
8.如權(quán)利要求1所述的適用于視頻的超解析處理方法，其特征在于，所述拼圖式方法包含計(jì)算周圍八個(gè)區(qū)塊的兼容性。
9.一種適用于視頻的超解析處理方法，其特征在于，所述方法包括以下步驟 接收一低解析影像；將所述低解析影像劃分成多個(gè)區(qū)塊； 在一預(yù)先訓(xùn)練的數(shù)據(jù)庫中尋找高解析補(bǔ)丁；利用一處理器控制一超解析模塊以拼圖式方法或斜角式方法將所述高解析補(bǔ)丁貼回所述低解析影像的所述多個(gè)區(qū)塊并以二維隱藏式馬可夫模型計(jì)算兼容性；及產(chǎn)生一超解析影像。
10.如權(quán)利要求9所述的適用于視頻的超解析處理方法，其特征在于，所述二維隱藏式馬可夫模型計(jì)算的步驟包含進(jìn)行二維隱藏式馬可夫正算程序及進(jìn)行二維隱藏式馬可夫逆算程序。
11.如權(quán)利要求9所述的適用于視頻的超解析處理方法，其特征在于，所述斜角式方法包含計(jì)算周圍三個(gè)區(qū)塊的兼容性。
12.如權(quán)利要求9所述的適用于視頻的超解析處理方法，其特征在于，所述拼圖式方法包含計(jì)算周圍八個(gè)區(qū)塊的兼容性。
全文摘要
本發(fā)明適用于視頻處理技術(shù)領(lǐng)域，提供了一種適用于視頻的超解析處理方法，包含接收一低解析影像；將所述低解析影像劃分成多個(gè)區(qū)塊；在一預(yù)先訓(xùn)練的數(shù)據(jù)庫中尋找高解析補(bǔ)??；以拼圖式方法或斜角式方法將所述高解析補(bǔ)丁貼回所述低解析影像的所述多個(gè)區(qū)塊并以二維隱藏式馬可夫模型計(jì)算兼容性；及產(chǎn)生一超解析影像。本發(fā)明實(shí)施例利用二維隱藏式馬可夫模型以拼圖式或斜角式方法進(jìn)行回貼補(bǔ)丁，可提升整體執(zhí)行效率，且所得到的超解析影像的信號(hào)噪聲比(Peak Signal to Noise Ratio，PSNR)可以提升影像的質(zhì)量。
文檔編號(hào)H04N7/01GK102202205SQ20101013483
公開日2011年9月28日 申請(qǐng)日期2010年3月24日 優(yōu)先權(quán)日2010年3月24日
發(fā)明者全柏翰, 謝禎冏, 高盟超 申請(qǐng)人:中華映管股份有限公司, 深圳華映顯示科技有限公司