專利名稱：對圖像序列重設(shè)尺寸的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以根據(jù)圖像內(nèi)容的方式對相關(guān)圖像的有序序列進(jìn)行重設(shè)尺寸。本發(fā)明的一個(gè)應(yīng)用是電影或視頻資料的橫縱比變換。
背景技術(shù)：
經(jīng)常需要改變含圖像序列的一組圖像的整體形狀。一個(gè)實(shí)例是修改以16 : 9的橫縱比(寬高比)創(chuàng)建的視頻資料，以使其顯示在具有4 3的橫縱比的顯示設(shè)備上。在這樣的處理中，通常不期望改變圖像中描繪的對象的比例。已知的方法包括從圖像的部分 中去除(剪切)資料，以及應(yīng)用改變整個(gè)圖像區(qū)域的空間縮放，從而只有接近圖像邊緣的對
象失真。更復(fù)雜的技術(shù)包括這樣的系統(tǒng)，該系統(tǒng)分析圖像內(nèi)容以識別其空間比例必須被保留的被描繪對象，并且只縮放圖像的其他部分，以獲得符合要求的圖像的整個(gè)形狀的改變。Avidan和Shamir于2007年8月在SIGGRAPH會議的會議錄中發(fā)表的文章“SeamCarving for Content-Aware Image Resizing”中描述了一種用于對單一圖像重設(shè)尺寸的特別有趣的技術(shù)。在該技術(shù)中，經(jīng)由相鄰像素組(其具有累積的高空間頻率能量的最小測量值)來連接圖像的相對邊緣的路徑被認(rèn)為是“接縫(seam)”。然后，從圖像中去除包含這種接縫的像素，從而在與接縫正交的方向上將圖像尺寸減小一個(gè)像素間距。在被處理的圖像上重復(fù)該處理以識別也要去除的第二接縫；并且該處理一直持續(xù)到獲得期望的尺寸減小量。通過使用最小高空間頻率能量的測量值來識別接縫位置，去除位于更有可能表示被描繪對象之間的空間的相對不詳細(xì)的區(qū)域中的像素，從而使被描繪對象的形狀失真最小化。本文還描述了可以如何在縱向和橫向方向上應(yīng)用不同程度的尺寸減小以及該技術(shù)可以如何擴(kuò)展到處理圖像尺寸的放大。然而，這些技術(shù)對相關(guān)圖像的序列(諸如，在時(shí)間或視點(diǎn)序列中捕獲的相同場景的視圖)的應(yīng)用將導(dǎo)致令人不快的缺陷。

發(fā)明內(nèi)容
在一個(gè)方面中，本發(fā)明包括一種改變第一圖像的尺寸、形成部分圖像序列的方法和裝置，其中，將低空間頻率能量區(qū)從第一圖像中去除或者在第一圖像中放大，其中，第一圖像中要去除或放大的區(qū)域的選擇偏向序列中的第二圖像中的低空間頻率能量區(qū)的位置。優(yōu)選地，第一圖像中要去除或放大的區(qū)域的選擇偏向序列中的第二圖像中的低空間頻率能量區(qū)的運(yùn)動(dòng)補(bǔ)償位置，并且運(yùn)動(dòng)補(bǔ)償用于補(bǔ)償?shù)谝缓偷诙D像之間的移動(dòng)。
對于實(shí)現(xiàn)圖像尺寸減小，去除低空間頻率能量像素并將剩余像素移動(dòng)得更加接近，而無需改變它們各自的值，從而恢復(fù)像素位置的規(guī)則序列。對于實(shí)現(xiàn)圖像尺寸放大，復(fù)制低空間頻率能量像素并在鄰近該低空間頻率能量像素處插入復(fù)制的像素，以將初始像素移動(dòng)得更加分離，而無需改變它們各自的值，從而恢復(fù)像素位置的規(guī)則序列。在本發(fā)明的第二方面，對序列中的一個(gè)或多個(gè)圖像的像素推導(dǎo)出取決于一個(gè)或多個(gè)低空間頻率能量區(qū)的位置的一組像素位移值，從而由各自的像素位移值定義產(chǎn)生各自改變尺寸的輸出圖像所需要的輸入像素的平移(translation)，并通過將各自的像素位移值應(yīng)用到它們的像素而在尺寸上改變各自的圖像。
在另一方面中，可以通過在識別低空間頻率能量區(qū)之前內(nèi)插新圖像來增加序列中的圖像的數(shù)量。優(yōu)選地，通過運(yùn)動(dòng)補(bǔ)償內(nèi)插生成附加的圖像。在另一方面中，可以通過分析要改變尺寸的圖像的下采樣版本來識別低空間頻率
能量區(qū)。優(yōu)選地，該下采樣是各向異性的。優(yōu)選地，下采樣的間距在與圖像尺寸減小的方向正交的方向上更長。在另一方面中，通過分析要改變尺寸的圖像的空間低通濾波版本來識別低空間頻
率能量區(qū)。優(yōu)選地，該空間低通濾波器是各向異性的。 優(yōu)選地，該各向異性的空間濾波器的截止頻率在與圖像尺寸減小的方向正交的方向上更低。在第二方面中，該像素位移值可以在用于形成減小尺寸的圖像之前進(jìn)行空間濾波。優(yōu)選地，該空間濾波是各向異性的。優(yōu)選地，該各向異性空間濾波的截止頻率在與圖像尺寸減小的方向正交的方向上更低。在第二方面的某些實(shí)施例中，該像素位移值在用于形成減小尺寸的圖像之前進(jìn)行時(shí)間濾波。優(yōu)選地，時(shí)間濾波器是運(yùn)動(dòng)補(bǔ)償?shù)?。在第三方面中，本發(fā)明由基于像素序列的圖像的處理方法組成，該方法包括以下步驟在每個(gè)像素上或每個(gè)像素附近提供圖像能量的測量值；并對每個(gè)圖像識別延伸穿過該圖像的相鄰像素的低能量路徑，其中，關(guān)于一個(gè)圖像中的路徑的位置的信息用于識別序列的下一圖像中的路徑，其中，對每個(gè)圖像識別相鄰像素的低能量路徑的步驟包括識別其上測量能量的總和最小的路徑，其中識別其上測量能量的總和最小的路徑的步驟包括如下重復(fù)步驟選擇路徑中的下一像素以最小化沿該路徑的累積測量能量；以及其中，以等級次序識別在穿過圖像的公共方向上延伸的多個(gè)路徑，并將關(guān)于一個(gè)圖像中的路徑的位置的信息用于識別序列的下一圖像中具有相同等級次序的路徑。


現(xiàn)將參照附圖描述本發(fā)明的實(shí)例，其中圖I示出了減小圖像序列寬度的現(xiàn)有技術(shù)方法的流程圖。圖2示出了能量偏置相對于像素位置的曲線圖。圖3示出了根據(jù)本發(fā)明的實(shí)施例的減小圖像序列寬度的方法的流程圖。圖4示出了根據(jù)本發(fā)明的實(shí)施例的減小圖像序列寬度的方法的框圖。 圖5示出了輸入像素坐標(biāo)系相對于等效輸出像素坐標(biāo)系的曲線圖。
具體實(shí)施例方式為了解釋本發(fā)明的各個(gè)實(shí)施例，有益地，首先描述圖像序列中的第一圖像的分析以找出一個(gè)或多個(gè)接縫。假設(shè)需要橫向縮小一幅畫面。重復(fù)應(yīng)用接縫切割(seam carving)，一次將畫面縮小一個(gè)像素寬度。該過程的每個(gè)階段操作如下。計(jì)算畫面中的每個(gè)像素的能量或活動(dòng)函數(shù)。通常情況下，這是當(dāng)前像素的亮度值與其四個(gè)相鄰像素的每一個(gè)的亮度值的絕對差的總和。然后，找出從畫面的頂端延伸到底端的最小能量接縫。接縫是一組相連接的像素，每行一個(gè)像素，連接準(zhǔn)則通常是縱向或?qū)蔷€鄰接。接縫的能量是接縫中的像素的能量值的總和。使用遞歸技術(shù)可以找出最小能量接縫，在該遞歸技術(shù)中，計(jì)算使每個(gè)像素位于畫面的連續(xù)行上的最優(yōu)部分接縫，直到發(fā)現(xiàn)使每個(gè)像素位于底端行的最小能量接縫。然后，最小值通過沿著接縫到畫面的頂端的回溯(back-tracking)來采用全部底端行結(jié)果。已經(jīng)發(fā)現(xiàn)最小能量接縫之后，將其所有像素(在一種排列中)從畫面中簡單地去除，將畫面的剩余部分移動(dòng)到間隙中，以使新畫面比之前的畫面窄一個(gè)像素。這是從畫面中“切割”接縫的過程。圖I示出了這樣一種系統(tǒng)，用于發(fā)現(xiàn)基本上縱向的接縫，作為減少圖像寬度的第一步驟。如介紹中所述，該系統(tǒng)是基于評估一組相鄰像素的累積高空間頻率能量。當(dāng)位于笛卡爾坐標(biāo)系(x，y)的像素的亮度是Y(x，y)時(shí)，其中x和y分別以橫向和縱向像素間距為單位，其高空間頻率能量的測量值是相對于相鄰像素的亮度差的幅度之和|Y(X, W-Y0i-W1) I +|Y(x,y)-Y(x,y+1)| +|Y(x,y)-Y(x+1,y+1)卜|Y(x,y)-丫…I +|Y(x,y)-Y(x+1,y)| +|Y(x,y)-Y0^y-D I +|Y(X,W-Yk1) I +lYw-Yky—D這是對于正交采樣網(wǎng)格(lattice)的最簡單的測量，可以使用給出(x，y)處像素的高空間頻率能量的測量值的像素值的其他組合；例如，空間高通濾波器的整流輸出。參照圖1，在步驟(I)中，評估圖像的頂端線中的每個(gè)像素的高空間頻率能量。需要指出的是，由于在頂端線之上沒有像素，因此將需要適當(dāng)?shù)丶訖?quán)(如果使用以上測量值，則加權(quán)因子為6/9)能量級別，以給出直接等效于由相鄰像素完全包圍的那些像素的值。
在步驟(2)中，評估圖像的下一條(即，從頂端開始的第二條)線的像素中的每一個(gè)的高空間頻率能量。在步驟(3)中，對于從頂端線開始的第二條線的每個(gè)像素，形成三個(gè)能量總和a)該像素和直接在其之上的相鄰像素的能量總和。 b)該像素以及直接在其之上和在其左側(cè)的相鄰像素的能量總和。c)該像素以及直接在其之上和在其右側(cè)的相鄰像素的能量總和。
分別存儲第二條線的每個(gè)像素的這三個(gè)能量總和的最小值。相對于對總和有影響的空間更低像素的位置，還存儲對總和有影響的空間更高像素的位置。存在三個(gè)可能的相對位置縱向，情況(a);左對角線,情況(b);或右對角線,情況(C)。在步驟⑷中，進(jìn)行測試以確定圖像的所有線都已經(jīng)被處理。如果不是這種情況，則以將第三條線像素能量值與合適的第一和第二條線能量總和相加的類似方式處理從圖像頂端開始的第三條線。通過這種方式，確定從圖像的頂端線開始的最小累積能量路徑。過程繼續(xù)，直到圖像的底端線已經(jīng)被處理，然后步驟(4)將處理指向步驟(5)。在步驟(5)中，確定具有最小累積能量的底端線像素；識別其能量值對其累積能量有影響的一組像素；以及，將其定位的組存儲為接縫。該接縫將跟蹤從圖像的頂部邊緣上的一點(diǎn)到圖像的底部邊緣上的一點(diǎn)的一個(gè)像素寬度路徑。其可以包含縱向和或?qū)蔷€部分并且將在圖像的高能量區(qū)之間傳遞。在步驟(6)中，從圖像中去除這個(gè)接縫的像素，從而減小其寬度。在步驟(7)中，減小的圖像寬度與要求寬度相比較，如果需要進(jìn)一步的縮小，則處理返回到步驟(1)，然后以與以上所述相同的方式處理該局部減小的圖像以識別第二接縫；第二接縫的像素也被去除。重復(fù)該過程，直到達(dá)到要求的寬度減小量，步驟(7)使過程結(jié)束。在本發(fā)明的第一實(shí)施例中，通過從每個(gè)圖像中連續(xù)去除接縫來在寬度上縮小圖像序列的圖像。通過將遞歸偏置應(yīng)用到像素能量值來避免由于后續(xù)圖像中的接縫位置的不一致導(dǎo)致的缺陷。從用于確定當(dāng)前圖像中的接縫位置的像素能量值中減去取決于先前圖像中的接縫位置的偏置值，從而在位置上與序列的先前圖像中的接縫對應(yīng)的像素使其對累積能量測量值的能量影響減小。由于接縫確定過程尋找通過圖像的低能量路徑，因此其由于偏置而降低的能量影響的像素更可能被包含在新確定的接縫中。優(yōu)選地，遞歸將是運(yùn)動(dòng)補(bǔ)償遞歸，從而偏置偏向于將接縫置于上一畫面中的相應(yīng)接縫期望移動(dòng)到的位置。如上所述，在序列中識別接縫，在確定下一接縫之前去除每個(gè)接縫的像素。接縫確定的序列(對于具體圖像)給出了每個(gè)接縫的等級次序。從上一圖像中的相同等級的接縫位置推出用于確定接縫位置的偏置值。圖2中示出了合適的偏置函數(shù)，其示出了要從接近先前圖像中的接縫位置的像素減去的偏置值。參照圖2，上一圖像中的相關(guān)接縫(S卩，與正在識別的接縫相同等級的接縫)與正在像素坐標(biāo)系S中處理的線相交。坐標(biāo)系范圍S-4至S+4中的當(dāng)前圖像像素具有從它們影響各自累積能量總和的能量值中減去的I和20之間的能量值，最高偏置用于最接近坐標(biāo)系值S的像素。圖3中示出了根據(jù)本發(fā)明的使用遞歸能量偏置的寬度減小過程。與圖I中的步驟相似的步驟具有前綴為3的等效參考標(biāo)號?，F(xiàn)將參照圖3來描述與圖I的系統(tǒng)不同的步驟。
在步驟(31)確定頂端線的像素能量值并在步驟(33)確定下一條線的像素能量值之后，各自的像素能量值具有從其減去的各自的能量偏置值。根據(jù)相對于序列的上一圖像的相同線中的相同等級(即，發(fā)現(xiàn)等級)的接縫位置而正在處理的像素位置來確定偏置值。從最接近上一圖像的相同線中的等效接縫的位置的像素中減去更高的偏置值。為了發(fā)現(xiàn)偏置值，當(dāng)每個(gè)接縫的位置和等級被發(fā)現(xiàn)時(shí)，需要存儲每個(gè)接縫的位置和等級。在步驟(39)示出了該步驟。其他因素可以對偏置值有影響以改進(jìn)該過程。例如，如果已經(jīng)確定感興趣的區(qū)域，則可以對這個(gè)區(qū)域內(nèi)的像素給出附加偏置，以防止接縫穿過感興趣的區(qū)域。并且，從圖像中描繪的線性特征去除像素可能在主觀上會令人厭煩，這樣的特征可以被檢測到，并且將偏置應(yīng)用于接近該線性特征的像素，從而形成這樣的線性特征的一部分。與減去偏置值不同的是，依賴于偏置的乘法或非線性加權(quán)可以應(yīng)用于對累計(jì)能量總和有影響的像素能量值，根據(jù)該累計(jì)能量總和可以確定接縫位置。
用于發(fā)現(xiàn)接縫的上述過程需要處理每個(gè)圖像的所有像素。然而，還有可能確定空間下采樣圖像上的接縫位置；即，更少的像素用于表示每個(gè)圖像的內(nèi)容。這具有的優(yōu)點(diǎn)是，需要處理的像素更少，但是當(dāng)然，通常需要其他處理，以對圖像進(jìn)行下采樣。特別有幫助的是，在與圖像尺寸減小所要求的方向正交的方向上應(yīng)用下采樣。處理的像素更少，而沒有減小接縫位置的(在尺寸減小方向上的)位置分辨率。在使用這樣的各向異性下采樣時(shí)，還有利于修改用于確定函數(shù)的像素能量，以補(bǔ)償下采樣中出現(xiàn)的高空間頻率能量的損失。例如，在需要寬度減小并且在縱向方向應(yīng)用更嚴(yán)格的下采樣時(shí)，可以向垂直像素值差給出更大的加權(quán)，以確定像素能量值。在下采樣圖像中計(jì)算接縫位置時(shí)，需要合適的子像素內(nèi)插以確定完全分辨率圖像中的對應(yīng)的接縫位置。上一圖像的接縫位置的使用明顯不適用于后續(xù)圖像不相關(guān)的情況。可以通過“鏡頭改變檢測(shot-change detection) ”的任一種已知方法來檢測這種情況,并且來自不相關(guān)的后續(xù)圖像的接縫信息不用于確定接縫位置。接縫位置的時(shí)間濾波可以用于提高后續(xù)圖像之間的接縫位置的一致性，從而多于一個(gè)的先前圖像對當(dāng)前圖像的接縫位置有影響。還可以使用運(yùn)動(dòng)補(bǔ)償，從而分析由像素描繪的對象的移動(dòng)，以及在移動(dòng)區(qū)域中發(fā)現(xiàn)接縫的情況下，可以從那個(gè)圖像區(qū)域的移動(dòng)(運(yùn)動(dòng)矢量)的速度和方向的測量結(jié)果中推出后續(xù)圖像中該接縫的位置。可以通過在相鄰輸入圖像之間內(nèi)插一個(gè)或多個(gè)附加圖像并且對生成的時(shí)間上變換(up-converted)序列執(zhí)行接縫定位處理來提高從一個(gè)圖像到下一圖像的確定的接縫位置的一致性。運(yùn)動(dòng)補(bǔ)償內(nèi)插可以用于產(chǎn)生附加的中間圖像。接縫定位的過程可以用于圖像放大。與去除接縫像素不同的是，可以復(fù)制接縫像素，從而使每個(gè)圖像的尺寸相對于每個(gè)接縫增加一個(gè)像素?？梢砸耘c所述用于圖像減小類似的方式迭代接縫定位的過程，直到已經(jīng)定位足夠的接縫，以達(dá)到要求的放大程度。在本發(fā)明的備選實(shí)施例中，通過像素移動(dòng)處理而不是通過直接去除或復(fù)制接縫像素來實(shí)現(xiàn)對圖像進(jìn)行重設(shè)尺寸的過程。從與上述實(shí)施例相同的方式計(jì)算的接縫位置中推出像素移動(dòng)過程的控制。然后，接縫切割可以被認(rèn)為是生成鏈接輸入和輸出像素位置的映射函數(shù)的過程，有效地，生成用于一種繪制引擎的一組指令。然后，可以通過濾波、縮放或混合來處理該映射函數(shù)，以使接縫切割過程更加平滑并且還使接縫切割分析在下采樣畫面上執(zhí)行以節(jié)省計(jì)算資源。圖4中示出了備選實(shí)施例的框圖。參照圖(4)，將定義圖像序列的像素值流(40)輸入到數(shù)字視頻特技(DVE，digitalvideo effect)處理器(41)，DVE處理器的輸出(42)包括減小了尺寸的圖像序列。DVE處理器使用已知的數(shù)字視頻特技技術(shù)(包括可變空間內(nèi)插和抽取)以從由像素移動(dòng)控制信號
(43)定義的各個(gè)輸入像素中產(chǎn)生輸出像素。像素移動(dòng)控制信號(43)可以在圖像的不同像素之間以及在序列的后續(xù)圖像之間改變。根據(jù)各個(gè)輸入圖像的移動(dòng)的輸入像素，由像素移動(dòng)控制信號(43)定義每個(gè)輸出圖像的每個(gè)輸出像素的值；以及，存在比輸入像素(40)更少的輸出像素(42)。接縫發(fā)現(xiàn)過程(44)根據(jù)輸入像素值流(40)確定序列中的每個(gè)圖像的接縫位置?？蛇x地，在下變換塊(45)中，輸入像素可以被空間下采樣，從而簡化第一實(shí)施例的上述接縫發(fā)現(xiàn)過程。接縫發(fā)現(xiàn)過程(44)按照以上所述進(jìn)行操作，而除了(由于一旦已經(jīng)識別接縫就不去除接縫像素)必須提供一些手段以防止來自已經(jīng)定位的接縫(低等級接縫)的像素影響用于定位后續(xù)(高等級)接縫的能量總和的情況之外。對于序列中的每個(gè)圖像，接縫發(fā)現(xiàn)過程(44)的輸出(46)是將每個(gè)輸出像素位置鏈接到輸入像素位置的表格。通過考慮相關(guān)圖像中發(fā)現(xiàn)的所有接縫(根據(jù)要求的寬度減小而要發(fā)現(xiàn)的接縫數(shù)量)以及計(jì)算橫向像素位移值來推導(dǎo)該表格，當(dāng)被應(yīng)用于像素時(shí)，具有與從圖像中去除接縫像素相同的效果。該表格的備選格式是矢量字段，其中為每個(gè)輸出像素分配一個(gè)指示到相應(yīng)的輸入像素的距離和方向的矢量。對于寬度減小，這些矢量的所有縱向分量將為零。來自于接縫發(fā)現(xiàn)過程(44)的輸出(46)的空間分辨率可以比輸出像素分辨率更低。這與在可選擇的下采樣塊(45)中對輸入圖像進(jìn)行下采樣的情況十分相似。如果如此，則在使用空間內(nèi)插的任何已知方法的上變換處理(47)中，位移值表格(46)被上采樣，以獲得每個(gè)輸出像素位置的位移值。如上所述，當(dāng)后續(xù)圖像的重設(shè)尺寸不一致時(shí)將導(dǎo)致令人厭煩的缺陷。在平滑處理
(48)中，可以通過濾波位移值減少這些缺陷。該處理可以是空間和/或時(shí)間低通濾波。圖4的系統(tǒng)的特定優(yōu)點(diǎn)是，通過平滑處理(48)可以補(bǔ)償接縫發(fā)現(xiàn)過程中的更低的分辨率。這就實(shí)現(xiàn)了對于等效輸出質(zhì)量的處理資源的減小?？梢酝ㄟ^處理像素位移表格值(46)獲得附加的任意放大或縮小因子，現(xiàn)將參照圖5說明該過程。該圖示出了以輸入像素坐標(biāo)i相對于對應(yīng)的輸出像素坐標(biāo)X的曲線(50) 的形式的示例性的一組像素位移表格值。通過移動(dòng)一子組的I輸入像素獲得一組Xe輸出像素。在圖示中，將對應(yīng)于接縫的那些輸入像素標(biāo)記為SI至S11，并且這些像素沒有對應(yīng)的輸出像素。從曲線(50)中可見，合適的位移值被用于影響像素，以提供規(guī)則間隔的一組輸出像素。(需要指出的是，為方便起見已經(jīng)對接縫從坐標(biāo)原點(diǎn)以升序進(jìn)行編號。)這些接縫編號不對應(yīng)于上述接縫等級；如上所述，接縫等級涉及接縫識別的序列并且與接縫的坐標(biāo)不相關(guān)。由曲線(50)表示的該組像素位移值可以用于產(chǎn)生可以應(yīng)用于要放大的圖像的備選的一組位移值。通過曲線(51)示出了這樣的一組圖像放大位移值，其中已經(jīng)復(fù)制了每個(gè)接縫像素，以便從完整的一組I輸入像素中產(chǎn)生一組XE輸出像素。在曲線(50)中，每個(gè)接縫已經(jīng)去除一個(gè)像素；以及，在曲線(51)中，每個(gè)接縫已經(jīng)增加一個(gè)像素。例如，三個(gè)相鄰輸入像素P、Q和R包括接縫像素Q(接縫S6的像素中的一個(gè))。在曲線(50)的位移值產(chǎn)生的減小尺寸的圖像中，丟棄像素Q并移動(dòng)像素P和R使彼此緊鄰。在由曲線(51)的位移值產(chǎn)生的放大圖像中，復(fù)制像素Q以形成像素Ql和Q2;并且將這些復(fù)制的像素插入在像素P和R之間。如果將曲線(50)和(51)分別由以下函數(shù)表示i = C(X)以及i = E(X)
則可見這些函數(shù)在X方向上關(guān)于線i = X是相互影響的。如果我們分別定義等效反函數(shù)(即，表示用輸入像素坐標(biāo)的形式表示輸出像素坐標(biāo)的函數(shù))X = CT1 (i)以及x = E-1(i)則我們可以將該鏡像對稱表示為
E—1 ⑴-X = x-C—1 ⑴其中，以上等式的左側(cè)表示圖5中的線(52)的長度；而以上等式的右側(cè)表示線
(53)的長度。比曲線(51)提供的圖像放大因子更大的圖像放大因子可以由函數(shù)E(X)獲得x-C—1 ⑴ >E_i ⑴-X更一般地，像素位移值所要求的變換應(yīng)滿足等式a X [x-C_1 (i) ] = (I- a ) X [E_1 (i) -x] 其中，a為確定放大程度的參數(shù)。小于單位一的a的正值將給出每個(gè)接縫小于一個(gè)像素的尺寸增大值。a的負(fù)值定義給出圖像尺寸減小的像素位移函數(shù)；在這種情況下，位移值EU)的曲線位于圖5中的線i = X的左側(cè)。對應(yīng)于以上等式的適當(dāng)變換可以應(yīng)用于每個(gè)接縫尺寸減小情況C(X)的一個(gè)像素的像素位移值，以獲得獨(dú)立于定位的接縫數(shù)量的任意圖像放大或減小的像素位移值。來自接縫定位過程的像素位移數(shù)據(jù)的變換不需要提高到整數(shù)位移值。子像素內(nèi)插可以用于DVE處理器(41)，其中在(非整數(shù))要求的輸入像素坐標(biāo)的其中一側(cè)上定位的像素的值用于計(jì)算輸出像素值。來自接縫定位過程的像素位移數(shù)據(jù)的變換可以根據(jù)圖像內(nèi)的位置而改變。例如，可以將空間失真限制到圖像邊緣區(qū)域。完成該過程時(shí)，需要保證將足夠且相等的放大或減小值應(yīng)用于每個(gè)圖像的每條線。已經(jīng)描述的過程同樣可用于圖像高度修改。在這種情況中，對應(yīng)于圖像的左邊緣和右邊緣上的點(diǎn)之間的低累積高空間頻率能量路徑識別基本橫向的接縫。通過識別橫向和縱向接縫可以使高度和寬度修改相結(jié)合?？梢园措A段地進(jìn)行橫向和縱向接縫發(fā)現(xiàn)過程，從而可以發(fā)現(xiàn)在一個(gè)方向上的接縫的整體要求數(shù)量的比例，以及在另一方向上的要求的接縫的比例，而分析方向的這種交替可以繼續(xù)，直到發(fā)現(xiàn)每個(gè)方向上的所要求的接縫數(shù)量。如果橫向和縱向接縫位置都已知，則圖像可以在一個(gè)方向上放大而在另一方向上減小。可以處理非矩形圖像。在這種情況下，需要根據(jù)包含每個(gè)接縫的像素的數(shù)量對累積能量測量值進(jìn)行加權(quán)，從而根據(jù)每個(gè)像素的累積高空間頻率能量來對接縫進(jìn)行識別和排列。通過改變在接縫定位過程中增加累積能量的準(zhǔn)許方向可以獲得圖像放大或減小的其他方向。例如，如果需要對角線方向上的尺寸修改，則像素能量總和的選擇可以是a)該像素和直接在其之上的相鄰像素的能量總和。b)該像素和直接在其之上以及在其左側(cè)的相鄰像素的能量總和。
c)該像素和在其左側(cè)的橫向相鄰像素的能量總和?；谛蛄兄械膱D像的位置來表示時(shí)間是十分常見的理解，在本說明書中使用了術(shù)語“運(yùn)動(dòng)補(bǔ)償”。然而，可將模擬處理應(yīng)用于序列中的位置表示一些其他維度的情況，諸如相機(jī)位置。因此，參考運(yùn)動(dòng)補(bǔ)償應(yīng)包括由于定義序列中的圖像位置的非時(shí)間參數(shù)導(dǎo)致的圖像之間的描繪對象的位置移動(dòng)的補(bǔ)償。在上述過程中，所有接縫均具有相同效果；即，它們都使畫面高度或?qū)挾犬a(chǎn)生相同改變。備選的方法是考慮到在初始分析階段中由每個(gè)接縫從圖像中去除的能量的量。然后，該能量值確定實(shí)際被去除的畫面資料的寬度。第一少量接縫將“切割通過”畫面中的最清晰、能量最小的區(qū)域，因此我們會從這些區(qū)域中去除更多的圖像資料。例如，可以在非線性 函數(shù)中處理與每個(gè)接縫相關(guān)聯(lián)的能量值，以獲得將應(yīng)用于該接縫的位置上的圖像的寬度改變值。低能量值接縫將對應(yīng)于大寬度改變，而高能量值接縫將對應(yīng)于較小的寬度改變?？梢钥s放所有處理的接縫的寬度改變組，從而通過增加寬度改變組獲得的整體寬度改變等于要求的寬度改變。在前述的第一個(gè)寬度改變過程中，寬度改變對應(yīng)于像素的整數(shù)值(每個(gè)接縫一個(gè)像素)；并且一旦已經(jīng)達(dá)到期望的尺寸改變，則停止接縫定位的處理。然而，如果每個(gè)接縫的效果均取決于該接縫的整體能量，則可以發(fā)現(xiàn)選擇的任意數(shù)量的接縫，并可以縮放生成的圖像位移值，以獲得要求的圖像尺寸改變?？梢园l(fā)現(xiàn)固定數(shù)量的接縫，以限制需要的處理的量，或者可能存在與每個(gè)圖像寬度(對于寬度改變)或圖像高度(對于高度改變)的像素?cái)?shù)量一樣多的接縫。如上所述，在接縫發(fā)現(xiàn)過程中，發(fā)現(xiàn)最小能量接縫并在迭代過程中將其去除。要去除的第一接縫具有低能量，然后，由于已經(jīng)去除了更低的能量像素而導(dǎo)致能量升高。升高不總是嚴(yán)格單調(diào)的，這是由于一旦接縫被去除，則在整個(gè)圖像中重新計(jì)算能量。問題在于，對于接縫切割過程的結(jié)束，一些接縫將被去除而其他幾乎類似的能量的接縫將保留。這就導(dǎo)致序列中的后續(xù)圖像的不一致的結(jié)果，當(dāng)查看序列時(shí)隨之而來的是運(yùn)動(dòng)抖動(dòng)。這種問題的解決方案是從反比于接縫能量的輸出畫面中真正去除圖像資料的寬度，然后縮放生成的像素位移值，以實(shí)現(xiàn)期望的尺寸改變。這可以數(shù)學(xué)表示如下
權(quán)利要求
1.一種改變圖像的尺寸的方法，其中，對表示所述圖像的一組像素進(jìn)行處理，以找出包括所述一組像素的子組的、處于所述圖像的相對邊緣上的點(diǎn)之間的低空間頻率能量路徑，所述子組的像素的整體空間頻率能量被評估并用于確定應(yīng)用到位于所述路徑上的所述圖像的那些部分的一維放大或縮小的幅度，其中，由非線性函數(shù)修改的所述整體空間頻率能量的值被用于推導(dǎo)應(yīng)用于表示所述圖像的像素的一組像素位移值。
2.根據(jù)權(quán)利要求I所述的方法，其中，沿接縫i的路徑去除的資料的寬度由下式給出
3.根據(jù)權(quán)利要求2所述的方法，其中，A由下式給出，以將所述圖像的寬度從N縮小到
全文摘要
本發(fā)明可用于對圖像序列重設(shè)尺寸。為了修改視頻序列中的圖像的橫縱比(aspect ratio)，例如通過采用相鄰像素之間的差在每個(gè)像素上或附近提供一種圖像能量的測量。然后，識別延伸穿過圖像的一個(gè)邊緣到另一邊緣的相鄰像素的最小能量路徑，例如，如果要修改畫面的寬度則縱向識別。例如通過偏置路徑的能量測量將關(guān)于一個(gè)圖像中的路徑的位置信息用于下一圖像中的路徑的識別。然后，通過去除或通過復(fù)制相鄰像素的最小能量路徑來修改每個(gè)圖像的橫縱比。
文檔編號G06T3/40GK102708538SQ20121004137
公開日2012年10月3日 申請日期2008年11月17日 優(yōu)先權(quán)日2007年11月16日
發(fā)明者邁克爾·詹姆斯·尼 申請人:史諾有限公司