專利名稱：一種增加連續(xù)影像序列時間解析度的方法
技術領域：
本發(fā)明涉及一種用以增加連續(xù)影像序列的時間解析度(temporalresolution)的方法，特別是涉及一種通過連續(xù)影像序列內插圖像增加播放畫面，以實現(xiàn)增加連續(xù)影像序列的時間解析度的方法。
本發(fā)明的目的是提供一種增加連續(xù)影像序列時間解析度的方法。
為實現(xiàn)本發(fā)明上述目的，本發(fā)明提出一種在一連續(xù)影像序列中插入一預測影像的方法，用以增加連續(xù)影像序列的時間解析度，包括在該連續(xù)影像序列中選定一第一幀，將其依據(jù)一預設值分割為多個區(qū)域；在該連續(xù)影像序列中選定一第二幀；針對該第一幀中每一區(qū)域，在該第二幀中尋找最相似的區(qū)域作為一對應區(qū)域；計算該第一幀和該第二幀中相對應區(qū)域的移動向量；重構一幀，方法是利用上述步驟計算得到的該移動向量，估算在該第一幀和該第二幀間一時間點上各相應區(qū)域像素值，并以該估算區(qū)域像素值組合產(chǎn)生一重構幀；對該重構幀進行一中值濾波程序；對該經(jīng)過中值濾波程序的重構幀進行一空間低通濾波程序。
為使熟悉該項技術的人士了解本發(fā)明的目的、特征及功效，茲通過下述具體實施例，并配合附圖
，對本發(fā)明詳加說明，說明如后。
上述第一幀是可以為當前幀，上述第二幀是可以為該當前幀的前一幀。
圖2為依據(jù)本發(fā)明方法中計算移動向量的方法的示意圖。幀20為當前幀，依據(jù)一預設值分割為多個區(qū)域。幀25為當前幀20的前一幀。針對幀20中每一區(qū)域，在幀25中尋找最相似的區(qū)域作為對應，將幀20和幀25內的對應區(qū)域互相比較，即可計算出幀20中各區(qū)域相對于幀25中對應區(qū)域的移動向量。
圖3A及圖3B為依據(jù)本發(fā)明方法重構幀的方法示意圖。本發(fā)明的重構幀的方法是先產(chǎn)生一第一內插幀和一第二內插幀，再求取該第一內插幀和該策二內插幀內像素數(shù)據(jù)的平均值，并以該平均值作為該重構幀內像素值。
圖3A為產(chǎn)生該第一內插幀的方法示意圖。第一幀30內一區(qū)域B1位于(x，y)的位置，其對應于第二幀35的移動向量為(dx，dy)，亦即區(qū)域B1在第二幀35中的對應位置為(x+dy，y+dy)，也就是圖3A所示的B2。設若在第一內插幀33-A中，位置(x，y)的區(qū)域B3，在第二幀35中的相對應位置為(x+dx/2，y+dy/2)，亦即圖3A中所示的區(qū)域C3b，另外其在第一幀30中的相對應位置為(x-dx/2，y-dy/2)，亦即區(qū)域C3f。由C3b與C3f中像素數(shù)據(jù)的平均值來重構出區(qū)域B3。重復這一方法，可以得出對應于第一幀30和第二幀35內每一區(qū)域，并由該內插區(qū)域構成第一內插幀33-A。
圖3B為產(chǎn)生該第二內插幀的方法示意圖。在此不考慮重構(x，y)位置的區(qū)域，而考慮(x+dx/2，y+dy/2)位置。依據(jù)第一幀30內區(qū)域B1的移動向量，可以預測其在第二內插幀33-B中的位置，亦即區(qū)域B3的位置。利用第一幀30中區(qū)域B1和第二幀35中區(qū)域B2的像素數(shù)據(jù)的平均值，求得第二內插幀33-B中區(qū)域B3的像素數(shù)據(jù)值。上述產(chǎn)生第二內插幀的方法較的上述產(chǎn)生第一內插幀的方法較符合邏輯且正確度也較高，但利用此法產(chǎn)生內插幀可能會造成一種情況，亦即，幀中某些像素可能會有多個重構的內插像素重疊，而某些像素卻沒有相對應的重構內插像素，而造成幀中有空白的區(qū)域產(chǎn)生，對于前者有多個重構內插像素重疊的狀況，吾人計算出所有重疊像素的平均值來代表該對應的像素值，對于后者，則利用上述產(chǎn)生第一內插幀的方法來預測該像素值。
產(chǎn)生第一內插幀33-A和第二內插幀33-B后，計算第一內插幀33-A及第二內插幀33-B內各區(qū)域像素值的平均值，并以計算得到的像素數(shù)據(jù)平均值產(chǎn)生一重構幀。
在產(chǎn)生重構幀后，進一步利用時間關連性信息(temporal information)來提升影像品質。由于上述重構幀的方法無法有效處理連續(xù)影像序列中物體旋轉或放大縮小的狀況，故利用時間關連信息可以減少重構幀所造成連續(xù)影像序列播放時不自然的結果。針對移動向量不為零的重構區(qū)域，進行一中值濾波程序的計算，其方法如下述。首先取得一中間值，其為將該第一幀、該第二幀及該重構幀中相對應區(qū)域的像素值加以比較，取每一組相比較的區(qū)域中像素值位于中間者為該中間值。再將該重構幀各區(qū)域像素值與該各區(qū)域像素中間值進行平均運算，輸出該運算后的平均值，使用公式如下NewY＝(MotCompY+Median(MotCompY，PastY，F(xiàn)utureY))/2
其中NewY為將該重構幀各區(qū)域像素值與輿該各區(qū)域像素中間值進行平均運算后的結果，MotCompY為利用上述方法產(chǎn)生的重構區(qū)域，PastY為該第二幀內區(qū)域的像素值，F(xiàn)utureY為該第一幀內區(qū)域的像素值。
上述經(jīng)過中值濾波程序處理的重構幀，再進一步經(jīng)過空間低通濾波程序處理，該處理程序可以采用下列幾種濾波公式116111181111]]>或112010181010]]>或18010141010]]>雖然本發(fā)明已以數(shù)個較佳實施例揭露如上，然其并非用以限定本發(fā)明，任何熟悉此技術者，在不脫離本發(fā)明的精神和范圍內，當可作各種的更動與潤飾，凡所做的各種更動與潤飾皆在本發(fā)明后附的權利要求范圍內。
權利要求
1.一種增加連續(xù)影像序列時間解析度的方法，其特征在于，它包括在該連續(xù)影像序列中選定一第一幀，將其依據(jù)一預設值分割為多個區(qū)域；在該連續(xù)影像序列中選定一第二幀；針對該第一幀中每一區(qū)域，在該第二幀中尋找最相似的區(qū)域作為一對應區(qū)域；計算該第一幀和該第二幀中相對應區(qū)域的移動向量；重構一幀，其為利用上述步驟計算得到的該移動向量，估算在該第一幀和該第二幀間一時間點上各相應區(qū)域像素值，并以該估算區(qū)域像素值組合產(chǎn)生一重構幀；對該重構幀進行一中值濾波程序的計算；對該經(jīng)過中值濾波程序的重構幀進行一空間低通濾波程序。
2.如權利要求1所述的增加連續(xù)影像序列時間解析度的方法，其特征在于，所述的第一幀為當前幀，所述該第二幀為該當前幀的前一幀。
3.如權利要求1所述的增加連續(xù)影像序列時間解析度的方法，其特征在于，所述的重構幀的方法包括產(chǎn)生一第一內插幀，其為以該第一內插幀與該第一幀內相對應區(qū)域的移動向量，及該內插幀與該第二幀內相對應區(qū)域的移動向量的估計值，推導得出該第一內插幀內各區(qū)域的像素值；產(chǎn)生一第二內插幀，其為以該第一幀和該第二幀內像素值的平均值推導出該第二內插幀內各區(qū)域的像素值；產(chǎn)生該重構幀，其為為該第一內插幀及該第二內插幀內各區(qū)域像素值的平均值所構成。
4.如權利要求1所述的增加連續(xù)影像序列時間解析度的方法，其特征在于，所述的中值濾波程序計算步驟包括取得一中間值，其為將該第一幀、該第二幀及該重構幀中相對應區(qū)域的像素值加以比較，取每一組比較標區(qū)域中像素值位于中間者為該中間值；將該重構幀各區(qū)域像素值與該各區(qū)域像素中間值進行平均運算，輸出該運算后的平均值。
5.如權利要求1所述的增加連續(xù)影像序列時間解析度的方法，其特征在于，所述的方法進一步包含將該經(jīng)動量補償后產(chǎn)生的該重構幀內的區(qū)域區(qū)分為一第一區(qū)域組和一第二區(qū)域組，并對該第一區(qū)域組進行該中值濾波程序，其中，該第一區(qū)域組為該第一幀和該第二幀內的區(qū)域中，相對應區(qū)域因為幀中物體影像移動而產(chǎn)生了變化的，該第二區(qū)域組為該第一幀和該第二幀內的區(qū)域中，相對應區(qū)域沒有變化的。
全文摘要
一種增加連續(xù)影像序列時間解析度的方法，包括在該連續(xù)影像序列中選定一第一幀，并將其依據(jù)一預設值分割為多個區(qū)域；在該連續(xù)影像序列中選定一第二幀；針對該第一幀中每一區(qū)域，在該第二幀中尋找最相似的區(qū)域作為一對應區(qū)域；計算該第一幀和該第二幀中相對應區(qū)域的移動向量；重構一幀，其為利用上述步驟計算得到的該移動向量，估算在該第一幀和該第二幀間一時間點上各相應區(qū)域像素值，并以該估算區(qū)域像素值組合產(chǎn)生一重構幀；對該重構幀進行一中值濾波程序；對該經(jīng)過中值濾波程序的重構幀進行一空間低通濾波程序。
文檔編號H04N5/91GK1422072SQ0114017
公開日2003年6月4日 申請日期2001年11月28日 優(yōu)先權日2001年11月28日
發(fā)明者徐俊文 申請人:天瀚科技股份有限公司