專利名稱：創(chuàng)建輸出圖像的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像的方法。
本發(fā)明此外還涉及一種由計算機裝置加載的計算機程序產(chǎn)品，包括基于一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像的指令。
本發(fā)明此外還涉及一種設(shè)置成用于基于一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像的圖像處理設(shè)備。
放映一連串時間上連貫的輸入圖像的優(yōu)點在于，能夠使動態(tài)事件形象化，例如，能夠展現(xiàn)出物體相對于它的背景的運動。例如象足球這樣的體育比賽能夠得以展現(xiàn)出來，其中球的實際運動是實質(zhì)性的。在廣播期間重放與足球比賽相對應(yīng)的一連串圖像中的一部分是常見的特效。在典型情況下，這些部分對應(yīng)于比賽最扣人心弦的瞬間。不過，在需要在例如報紙或某種其它種類的印刷媒體上圖示這樣的扣人心弦的瞬間的時候，該事件的吸引力會大打折扣。這是因為報紙上的圖畫不會表現(xiàn)出事件的動態(tài)。
本發(fā)明的目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動態(tài)事件的方法。
本發(fā)明的這一目的得以實現(xiàn)是由于該方法包括-識別第一個輸入圖像中的特定物體的特定部分；-從第一個輸入圖像中取出第一組像素，該第一組像素對應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個輸入圖像中的位置；-從第二個輸入圖像中取出第二組像素，該第二組像素對應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
一種顯而易見的描述動態(tài)事件的現(xiàn)有途徑是創(chuàng)建示意圖，例如，人工加工的圖形表示。按照本發(fā)明的方法的不同之處在于，利用一連串時間上連貫的輸入圖像(即，空間-時間數(shù)據(jù))來產(chǎn)生包括處于不同時間點上的輸入圖像的物體的靜態(tài)(即，空間)圖像。
從動態(tài)(x，y，t)輸入圖像中選取多個部分，并且將它們組合起來，以形成單獨一個靜態(tài)(x，y)輸出圖像。這是以這樣的方式完成的靜態(tài)輸出圖像描繪動態(tài)事件，例如物體的運動。一種特有特征在于，輸出圖像包括在不同時間點采集的特定物體的特定部分的圖像數(shù)據(jù)。換句話說，所述特定物體的特定部分在輸出圖像中出現(xiàn)多次。這是因為將第二組像素附加到了第一組像素上，典型地是使第一組像素緊挨著第二組像素。
與通過將不同的小圖像拼合在一起創(chuàng)建一個大的全景圖的現(xiàn)有技術(shù)存在著明顯的區(qū)別。在這種情況下，是使用多組空間圖像數(shù)據(jù)來創(chuàng)建較大的輸出圖像。在按照現(xiàn)有技術(shù)的方法中，將連貫圖像的多個部分有差別地組合起來。在典型情況下，要對空間上重疊的圖像區(qū)域的相應(yīng)像素加以合并。結(jié)果造成各個物體僅在輸出圖像中出現(xiàn)一次。
在按照本發(fā)明的方法中，明確地利用呈現(xiàn)不同時間點上的單獨一個物體的數(shù)據(jù)。
在按照本發(fā)明的方法中，所述附加包括第一組像素和第二組像素各自像素值的加權(quán)求和。加權(quán)求和的優(yōu)點是，使亮度和/或顏色從第一組像素到第二組像素的過渡變得平滑。按照另外一種可選方案，將第二組像素正好放在與第一組像素相鄰的位置上。在典型情況下，使用的是放置像素組和對過渡使用加權(quán)求和這二者的組合。這樣，選擇兩個圖像的一部分并且通過某種形式的內(nèi)插將它們組合起來，要么通過加權(quán)求平均，要么簡單地將這些部分放在彼此相鄰的位置上。
在按照本發(fā)明的方法的實施方式中，第一組像素相當(dāng)于第一個輸入圖像的多個像素列的像素。在按照本發(fā)明的方法的這種實施方式中，第一組像素以及相繼的像素組在與輸入圖像相應(yīng)的整個像素矩陣高度上延伸。這意味著選擇和使用了位于包括呈現(xiàn)特定物體的特定部分的像素的列上的所有像素作為構(gòu)成輸出圖像的切片的種類。換句話說，輸入圖像包括從連貫輸入圖像中取出的一組切片。各個切片展現(xiàn)各個輸入圖像中的特定物體的特定部分。在典型情況下，這些切片還呈現(xiàn)特定物體正在其前運動的背景。按照本發(fā)明的這種實施方式對于創(chuàng)建描繪物體的水平運動的輸出圖像是很有優(yōu)勢的。
在按照本發(fā)明的方法的實施方式中，第一組像素相當(dāng)于第一個輸入圖像的多個像素行的像素。在按照本發(fā)明的方法的這種實施方式中，第一組像素以及相繼的像素組在與輸入圖像相應(yīng)的整個像素矩陣寬度上延伸。這意味著選擇和使用了位于包括呈現(xiàn)特定物體的特定部分的像素的行上的所有像素作為構(gòu)成輸出圖像的切片的種類。換句話說，輸入圖像包括從連貫輸入圖像中取出的一組切片。各個切片展現(xiàn)各個輸入圖像中的特定物體的特定部分。在典型情況下，這些切片還呈現(xiàn)特定物體正在其前運動的背景。按照本發(fā)明的這種實施方式對于創(chuàng)建描繪物體的垂直運動的輸出圖像是很有優(yōu)勢的。
在按照本發(fā)明的方法的實施方式中，其中第一組像素相當(dāng)于第一個輸入圖像的多個像素列的像素，像素列的數(shù)量基于對所述特定物體進(jìn)行的跟蹤。對所述特定物體的運動加以估測。所估測的運動決定第一組像素的尺寸。例如如果所估測的特定物體的特定部分的運動等于20個像素，則像素列的數(shù)量也是20。
在按照本發(fā)明的方法的實施方式中，其中第一組像素相當(dāng)于第一個輸入圖像的多個像素行的像素，像素行的數(shù)量基于對所述特定物體進(jìn)行的跟蹤。對所述特定物體的運動加以估測。所估測的運動決定第一組像素的尺寸。例如如果所估測的特定物體的特定部分的運動等于20個像素，則像素行的數(shù)量也是20。
在按照本發(fā)明的實施方式中，所述跟蹤基于對多個運動向量備選對象進(jìn)行的評估，所述評估包括確立最小匹配誤差。這種技術(shù)一般稱為運動估測。最好，匹配誤差相當(dāng)于與第一個輸入圖像和/或第二個輸入圖像中的所述特定物體相對應(yīng)的相應(yīng)像素值之間的差。
運動是相對量?？梢韵鄬τ谶B貫輸入圖像的像素矩陣表達(dá)運動。如果連貫的輸入圖像是借助靜止固定的攝像機獲取的，那么這種途徑比較合適。這意味著可以直接使用特定物體的特定部分在第一個輸入圖像中的坐標(biāo)和所述特定物體的特定部分在第二個輸入圖像中的坐標(biāo)來計算該物體的運動。不過，在很多情況下在拍攝運動物體期間攝像機是在進(jìn)行搖攝和/或變焦的。如果所述一連串時間上連貫的輸入圖像基于這樣的拍攝，則最好針對這一攝像機的運動進(jìn)行修正。在按照本發(fā)明的優(yōu)選實施方式中，像素列的數(shù)量基于對第一個輸入圖像和/或第二個輸入圖像中背景的運動進(jìn)行的跟蹤。按照另外一種可選方案，像素行的數(shù)量基于對第一個輸入圖像和/或第二個輸入圖像中背景的運動進(jìn)行的跟蹤。一般來說，補償是依據(jù)背景運動模型實現(xiàn)的。這可以是所謂的搖攝一變焦模型，這種模型將背景模型模擬為平移和縮放的組合，但是也可以更加復(fù)雜并且也可以涵蓋其它方面，比如透視投影和旋轉(zhuǎn)。
正如所述的，所取出的列/行的數(shù)量基于運動。這一運動是相對于物體正在其前運動的背景的運動。在靜止定位攝像機的情況下，這一運動相當(dāng)于相對于各個不同像素矩陣的運動。
作為借助基于運動向量的評估的運動估測對特定物體進(jìn)行跟蹤的另一種可選方案，也可以半人工地對特定物體進(jìn)行跟蹤。在這種情況下像素列的數(shù)量是通過下列過程確定的-在識別第一個輸入圖像中的所述特定物體的特定部分的基礎(chǔ)上確定第一像素坐標(biāo)；-在識別第三個輸入圖像中所述特定物體的特定部分的基礎(chǔ)上確定第二像素坐標(biāo)；-確定在時間上位于第一個輸入圖像與第三個輸入圖像之間的連貫輸入圖像的數(shù)量；和-根據(jù)第一像素坐標(biāo)、第二像素坐標(biāo)和連貫輸入圖像的數(shù)量確定列的數(shù)量。
在按照本發(fā)明的這種實施方式中，用戶必須在多個圖像中指出特定物體的特定部分位于哪里。這可以借助相對于所顯示的輸入圖像移動光標(biāo)來完成。
本發(fā)明的另一個目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動態(tài)事件的計算機程序產(chǎn)品。
本發(fā)明的這一目的得以實現(xiàn)是由于該計算機程序產(chǎn)品在記載到包括處理裝置和存儲器的計算機裝置中之后會為所述處理裝置提供執(zhí)行下列過程的能力-接受第一個輸入圖像中特定物體的特定部分的位置；-從第一個輸入圖像中取出第一組像素，該第一組像素對應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個輸入圖像中的位置；-從第二個輸入圖像中取出第二組像素，該第二組像素對應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
本發(fā)明的另一個目的是提供一種開篇段落中介紹的那種用于在輸出圖像中匯總動態(tài)事件的圖像處理設(shè)備。
本發(fā)明的這一目的得以實現(xiàn)是由于該圖像處理設(shè)備包括具有執(zhí)行下列過程的能力的處理裝置-接受第一個輸入圖像中特定物體的特定部分的位置；-從第一個輸入圖像中取出第一組像素，該第一組像素對應(yīng)于所述特定物體的特定部分；-確定所述特定物體的特定部分在第二個輸入圖像中的位置；-從第二個輸入圖像中取出第二組像素，該第二組像素對應(yīng)于所述特定物體的特定部分；和-將第二組像素附加到第一組像素上，以形成輸出圖像。
方法的修改和它的變化可以對應(yīng)于正在介紹的圖像處理設(shè)備和計算機程序產(chǎn)品的修改和變化。
從下文參照附圖介紹的實現(xiàn)方式和實施方式中，按照本發(fā)明的圖像處理設(shè)備、方法和計算機程序產(chǎn)品的這些和其它方面將會變得顯而易見，并且將會針對下文中參照附圖介紹的實現(xiàn)方式和實施方式闡明按照本發(fā)明的圖像處理設(shè)備、方法和計算機程序產(chǎn)品的這些和其它方面，其中附

圖1示意性地表示按照本發(fā)明的方法，其中攝像機在獲取輸入圖像期間是靜止的；附圖2A示意性地表示按照本發(fā)明的方法，其中攝像機在獲取輸入圖像期間正在進(jìn)行搖攝；附圖2B示意性地表示按照本發(fā)明的多個輸出圖像；附圖3示意性地表示多個足球比賽的輸入圖像和基于這些輸入圖像按照本發(fā)明創(chuàng)建的輸出圖像；附圖4示意性地表示按照本發(fā)明的圖像處理設(shè)備的第一實施方式；和附圖5示意性地表示按照本發(fā)明的圖像處理設(shè)備的第二實施方式。
在全部附圖中，使用相同的附圖標(biāo)記來指代相似的部分。
附圖1示意性地表示按照本發(fā)明的方法，其中攝像機在獲取輸入圖像102、104和106期間是固定不動的。輸入圖像102、104和106呈現(xiàn)出在均質(zhì)背景前運動的物體，即，球100。攝像機在獲取輸入圖像102、104和106期間是不動的?？梢郧宄乜闯觯?00正在相對于與輸入圖像102、104和106對應(yīng)的像素矩陣從左向右移動?；谳斎雸D像102、104和106的輸出圖像108包括多個對應(yīng)輸入圖像102、104和106的切片110、112和114。用切片的意思是與輸入圖像的數(shù)列(或行)相應(yīng)的一組像素。附圖1中的箭頭描述的是從輸入圖像102、104和106中取出的切片與組成形成輸出圖像108的切片之間的關(guān)系。這些切片的大小取決于球100相對于像素矩陣的運動。輸出圖像108還包括第一輸入圖像102的開頭部分116和最后一個輸入圖像106的末尾部分118。開頭部分116和末尾部分118的大小與球100的運動無關(guān)。
附圖2A示意性地表示按照本發(fā)明的方法，其中攝像機在獲取輸入圖像期間在進(jìn)行搖攝全景。輸入圖像102、104和106呈現(xiàn)出在房子前進(jìn)行運動的物體，即，球100。攝像機在獲取輸入圖像102、104和106期間在搖攝全景。攝像機和球的運動方向是相同的。攝像機的運動速度高于球100的速度?；谳斎雸D像102、104和106的輸出圖像208包括多個相應(yīng)輸入圖像102、104和106的切片110、112和114。附圖2A中的箭頭描述的是從輸入圖像102、104和106中取出的切片與組成形成輸出圖像208的切片之間的關(guān)系。這些切片的大小取決于球100相對于背景的運動。輸出圖像208還包括第一輸入圖像102的開頭部分116和最后一個輸入圖像106的末尾部分118。開頭部分116和末尾部分118的大小與球100的運動無關(guān)。通過將輸出圖像208與輸入圖像102、104和106進(jìn)行比較，可以清楚地發(fā)現(xiàn)，輸出圖像比較大。輸出圖像208展現(xiàn)出完整的房子，而不同的輸入圖像展現(xiàn)了房子的一部分。這意味著按照本發(fā)明的方法是這樣的還要將空間上相關(guān)的圖像數(shù)據(jù)組合起來，導(dǎo)致輸出圖像相對較大。
將會明顯看出，每次將新的輸入圖像切片附加到此前構(gòu)成的輸出圖像中時，就會創(chuàng)建新的輸出圖像。換句話說，附加了切片的第一輸出圖像變成了第二輸出圖像。展示正在構(gòu)造中的這樣一系列輸出圖像會給用戶一種與事件已經(jīng)發(fā)生部分的歷史組合在一起的實況動態(tài)事件的印象。給用戶展示的是一系列大小不同的輸出圖像，即，后續(xù)的輸出圖像比它的前身大。
按照另外一種可選方案，首先根據(jù)一連串輸入圖像構(gòu)成一個相對較大的全貌圖像，其中該全貌圖像呈現(xiàn)出正在由輸入圖像采集的整個場景。不過與上面介紹的不完全相同。這最好是通過使用不包括呈現(xiàn)運動物體的像素的像素條帶來完成的。在典型情況下，這些條帶位于輸入圖像的邊緣。這些條帶的大小與所跟蹤的特定物體的運動無關(guān)，而是與背景相對于攝像機的運動有關(guān)。在創(chuàng)建了這樣的大全貌圖像之后，應(yīng)用按照本發(fā)明的方法。將該方法的中間結(jié)果(即，后續(xù)輸出圖像)與全貌圖像組合起來?；旧?，這意味著為后續(xù)輸出圖像附加上全貌圖像的各個部分(即，剩余部分)。附圖2B示意性地表示正在按照這種途徑構(gòu)成的多個輸出圖像202、204和208。第一個輸出圖像202表示所述全貌圖像，在該圖像中，僅可見到球100一次。在第二個輸出圖像204中，可見到球100兩次，而在第三個輸出圖像208中，可見到球100三次。
附圖3示意性地示出了足球比賽的多個輸入圖像102、104和106以及基于這些輸入圖像102、104和106按照本發(fā)明創(chuàng)建的輸出圖像308。應(yīng)當(dāng)注意，所示出的輸入圖像102、104和106僅僅是一長串連貫輸入圖像的一部分。輸入圖像102、104和106呈現(xiàn)的是足球比賽。在第一個輸入圖像102中，可以看到，球員踢中了球100?？磮A圈。在第二個輸入圖像104中，可以看到，球100在空中飛行。再看圓圈。在第三個輸入圖像106中，可以看到，球100到達(dá)了球門。附圖3還示出了基于所示的輸入圖像102、104和106并且基于將近40個未示出的輸入圖像的輸出圖像308。在輸出圖像308中可以清楚地看到球的實際軌跡。
附圖4示意性地表示按照本發(fā)明的圖像處理設(shè)備100的第一實施方式。在圖像處理設(shè)備400的圖像輸入接頭410處為該圖像處理設(shè)備400提供一連串的輸入圖像，并且將該圖像處理設(shè)備400設(shè)置成用于在其圖像輸出接頭414處給出一連串的中間輸出圖像和最終的輸出圖像。最好，為按照本發(fā)明的圖像處理設(shè)備提供定位信息，該定位信息是借助用戶互動來提供的，例如，由指出了多個輸入圖像中的關(guān)注對象的用戶提供。該圖像處理設(shè)備100包括具有實現(xiàn)下列功能的能力的處理裝置-借助定位信息輸入接口412接收第一個輸入圖像中特定物體的特定部分的位置；-借助像素處理器404從暫時存儲在輸入存儲器裝置402內(nèi)的第一個輸入圖像中取出第一組像素，其中第一組像素對應(yīng)于特定物體的特定部分；-借助定位單元408確定特定物體的特定部分在第二個輸入圖像中的位置；-借助像素處理器404從在第一個輸入圖像之后暫時存儲在輸入存儲器裝置402內(nèi)的第二個輸入圖像中取出第二組像素，其中第二組像素也對應(yīng)于特定物體的特定部分；和-將第二組像素附加在第一組像素上，以形成輸出圖像。像素處理器404設(shè)置成用于制作所訪問的第二組像素值的拷貝并且將該拷貝寫到輸出存儲器裝置406中適當(dāng)位置上的像素值上。
附圖5示意性地表示按照本發(fā)明的圖像處理設(shè)備500的第二實施方式。這一實施方式500基本上與結(jié)合附圖4介紹的實施方式400相同。差別在于，這種實施方式500設(shè)置成用于補償攝像機運動。圖像處理設(shè)備的這種實施方式設(shè)置成用于進(jìn)行背景的運動估測，以致能夠補償攝像機運動的影響。這種實施方式500包括用于臨時存儲第二輸入圖像的附加存儲器裝置。為定位單元408提供關(guān)注目標(biāo)(即，所要跟蹤的特定物體)在一連串輸入圖像內(nèi)的位置信息。除此之外，定位單元408還設(shè)置成用于計算目標(biāo)物體正在其前移動的背景的全局運動向量。該全局運動向量是通過將多個基于一對輸入圖像計算的運動向量合成起來而計算出來的。這些運動向量是借助標(biāo)準(zhǔn)運動估測器計算出來的，該標(biāo)準(zhǔn)運動估測器最好組合在定位單元408中。該運動估測器是例如象《IEEE Transaction on circuits and systems for videotechnology》1993年10月第5期第3卷第368-379頁中的G.de Haan等人所著的文章《True-Motion Estimation with 3-D RecursiveSearch Block Matching》中所詳細(xì)說明的那種運動估測器。
按照另外一種可選方案，整個圖像的運動向量是基于平均圖像行(x分量)和平均圖像列(y分量)計算出來的，就象《ElectronicLetter》第25卷第29-30頁中J.S.Kim和RH.Park所著的文章《feature-based block matching algorithm integralprojections》中所公開的那樣。
像素處理器404和定位單元408可以使用一個處理器來實現(xiàn)。通常，這些功能是在軟件程序產(chǎn)品的控制下執(zhí)行的。在執(zhí)行期間，通常要將該軟件程序產(chǎn)品加載到存儲器(象RAM之類)中，并且從那里執(zhí)行。該程序可以從后臺存儲器(象ROM、硬盤或磁性和/或光學(xué)存儲裝置之類)中加載，或者可以經(jīng)網(wǎng)絡(luò)(象因特網(wǎng)之類)加載。根據(jù)需要，可以由專用集成電路提供所公開的功能。
將會使用涉及到呈現(xiàn)出足球比賽中的任意球的一連串輸入圖像的例子來解釋說明附圖5中畫出的圖像處理設(shè)備的實施方式的操作過程。附圖3中示出了幾個輸入圖像，即，視頻幀。攝像機正在從踢球的位置到球門以不恒定的速度進(jìn)行全景搖攝。要在輸出圖像中采集的動態(tài)事件是球飛入球門中，因此必須要在一連串輸入圖像中跟蹤足球。
通過在x方向(就是沿著輸入圖像中從左到右的軸)上使用恒定速度來近似球的運動。這是球在發(fā)球與后面第一次與諸如球網(wǎng)之類的物體接觸之間的運動的合理假設(shè)。在這個例子中，將y方向(輸入圖像中從上到下的軸)上的運動忽略不計。對于足球的x位置，可以得出x屏幕(n)+x攝像機(n)＝x屏幕(n0)+x攝像機(n0)+v·(n-n0) (1)其中n0是參考輸入圖像號，式中將球在屏幕(即，像素矩陣)上的x位置(x屏幕)和攝像機的相對位置(x攝像機)看作是已知的。球的實際位置是由屏幕位置和攝像機位置的和給出的。
例如，如果球在“真實”世界中向右移動，則有可能是攝像機比球的運動更快地向右搖動，在這種情況下，看到的是球正在屏幕上向左運動。為了補償這種影響，將攝像機位置包含在等式(1)中。
如果已知輸入圖像n1上的第二屏幕位置，則可以使用下式計算出真實速度v
在這種實施方式中，需要用戶為輸入圖像ni提供兩個或更多空間-時間位置x屏幕(ni)，以便能夠確定速度v，還要提供事件的開始和結(jié)束點。
使用全局運動估測算法，從視頻序列中自動計算出各個輸入圖像n的相對攝像機位置x攝像機(n)。然后針對事件計算v，并且對于各個輸入圖像，將用屏幕坐標(biāo)表示的水平關(guān)注區(qū)域(即，包括多個輸入圖像列的切片)集中在x屏幕(n)周圍，x屏幕(n)可以用等式(1)計算出來。
x屏幕(n)＝x屏幕(n0)+x攝像機(n0)-x攝像機(n)+v·(n-n0) (3)將這些關(guān)注區(qū)域(即，切片)拷貝到輸出圖像的適當(dāng)部分上。
這里提出的實施方式在某些方面受到局限，這可以用更加先進(jìn)的處理技術(shù)加以克服。最值得注意的是，提供開始和結(jié)束輸入圖像以及“關(guān)注物體”的開始和結(jié)束位置依賴于用戶的互動?？梢允褂?基于對象的)運動估測和利用針對事件的開始和結(jié)束幀的智能自動選擇來使這一過程更加通用化(“跟隨球”)。
按照本發(fā)明的方法、計算機程序和圖像處理設(shè)備可能對多種應(yīng)用有益，例如-專業(yè)圖像處理，象電影制片廠、播音室中的那樣的專業(yè)圖像處理，或者用于制作報紙和其它類型的印刷媒體的專業(yè)圖像處理；-消費者電子裝置，象TV、機頂盒和個人視頻記錄裝置之類；-教育用途；和-消費者視頻處理軟件，例如用于制造家庭錄像的軟件。
應(yīng)當(dāng)注意，上面提到的實施方式僅僅是用來進(jìn)行解釋說明的，而不是用來限定本發(fā)明的，并且本領(lǐng)域的技術(shù)人員能夠設(shè)計出其它可供選用的實施方式，而不會超出所附權(quán)利要求的范圍。在權(quán)利要求中，置于括號中的任何附圖標(biāo)記皆不應(yīng)理解為是對權(quán)利要求的限定。詞“包括”并不排除存在權(quán)利要求中未列出的元件或步驟的情況。置于元件之前的詞“一個”或“一”并不排除存在多個此種元件的情況。本發(fā)明可以借助包括多個性質(zhì)不同的元件的硬件來實現(xiàn)，并且可以借助適當(dāng)程控的計算機來實現(xiàn)。在列舉出多個裝置的產(chǎn)品權(quán)利要求中，這些裝置中的若干個可以通過硬件的同一個部分來實現(xiàn)。詞“第一”、“第二”和“第三”等的使用并不表明有任何先后順序。應(yīng)將這些詞理解為名稱。
權(quán)利要求
1.一種基于一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的方法，該方法包括-識別第一個輸入圖像(102)中的特定物體(100)的特定部分；-從第一個輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個輸入圖像(104)中的位置；-從第二個輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
2.按照權(quán)利要求1所述的方法，其中所述附加包括第一組像素(110)和第二組像素(110)各自像素值的加權(quán)求和。
3.按照權(quán)利要求1所述的方法，其中第一組像素(110)相當(dāng)于第一個輸入圖像(102)的多個像素列的像素。
4.按照權(quán)利要求1所述的方法，其中第一組像素(110)相當(dāng)于第一個輸入圖像(102)的多個像素行的像素。
5.按照權(quán)利要求3所述的方法，其中像素列的數(shù)量基于對所述特定物體(100)進(jìn)行的跟蹤。
6.按照權(quán)利要求4所述的方法，其中像素行的數(shù)量基于對所述特定物體(100)進(jìn)行的跟蹤。
7.按照權(quán)利要求5或6的方法，其中跟蹤基于對多個運動向量備選對象進(jìn)行的評估，所述評估包括確立最小匹配誤差。
8.按照權(quán)利要求7所述的方法，其中匹配誤差相當(dāng)于與第一個輸入圖像(102)和/或第二個輸入圖像(104)中的所述特定物體(100)相對應(yīng)的相應(yīng)像素值之間的差。
9.按照權(quán)利要求5所述的方法，其中像素列的數(shù)量基于對第一個輸入圖像(102)和/或第二個輸入圖像(104)中背景的運動進(jìn)行的跟蹤。
10.按照權(quán)利要求6所述的方法，其中像素行的數(shù)量基于對第一個輸入圖像(102)和/或第二個輸入圖像(104)中背景的運動進(jìn)行的跟蹤。
11.按照權(quán)利要求5所述的方法，其中像素列的數(shù)量是這樣確定的-在識別第一個輸入圖像(102)中的所述特定物體(100)的特定部分的基礎(chǔ)上確定第一像素坐標(biāo)；-在識別第三個輸入圖像中所述特定物體(100)的特定部分的基礎(chǔ)上確定第二像素坐標(biāo)；-確定在時間上位于第一個輸入圖像(102)與第三個輸入圖像之間的連貫輸入圖像的數(shù)量；和-根據(jù)第一像素坐標(biāo)、第二像素坐標(biāo)和連貫輸入圖像的數(shù)量確定列的數(shù)量。
12.一種由計算機裝置加載的計算機程序產(chǎn)品，包括根據(jù)一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的指令，所述計算機裝置包括處理裝置和存儲器，所述計算機程序產(chǎn)品在被加載后為所述處理裝置提供執(zhí)行下列過程的能力-接受第一個輸入圖像(102)中特定物體(100)的特定部分的位置；-從第一個輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個輸入圖像(104)中的位置；-從第二個輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
13.一種圖像處理設(shè)備，設(shè)置為用于根據(jù)一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像(108)，該圖像處理設(shè)備包括具有執(zhí)行下列過程的能力的處理裝置-接受第一個輸入圖像(102)中特定物體(100)的特定部分的位置；-從第一個輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對應(yīng)于所述特定物體(100)的特定部分；-確定所述特定物體(100)的特定部分在第二個輸入圖像(104)中的位置；-從第二個輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對應(yīng)于所述特定物體(100)的特定部分；和-將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
14.按照權(quán)利要求13所述的圖像處理設(shè)備，其特征在于，此外還包括用于顯示輸出圖像的顯示裝置。
全文摘要
公開了一種基于一連串時間上連貫的輸入圖像創(chuàng)建輸出圖像(108)的方法。該方法包括識別第一個輸入圖像(102)中的特定物體(100)的特定部分；從第一個輸入圖像(102)中取出第一組像素(110)，該第一組像素(110)對應(yīng)于所述特定物體(100)的特定部分；確定所述特定物體(100)的特定部分在第二個輸入圖像(104)中的位置；從第二個輸入圖像(104)中取出第二組像素(110)，該第二組像素(110)對應(yīng)于所述特定物體(100)的特定部分；和將第二組像素(110)附加到第一組像素(110)上，以形成輸出圖像。
文檔編號G06T7/20GK1950847SQ200580014962
公開日2007年4月18日 申請日期2005年5月3日 優(yōu)先權(quán)日2004年5月10日
發(fā)明者H·W·P·范德海杰登, P·M·霍夫曼, C·N·科德斯 申請人:皇家飛利浦電子股份有限公司