本發(fā)明涉及用于比較視頻序列中的運(yùn)動(dòng)的裝置和方法及系統(tǒng)。

背景技術(shù)：
各種增強(qiáng)技術(shù)已經(jīng)被用于體育視頻廣播。這種增強(qiáng)可以向觀眾提供更好的觀看體驗(yàn)。例如，在賽車中，可以利用圖形來(lái)增強(qiáng)視頻，該圖形識(shí)別汽車駕駛者并且顯示（例如通過全球定位系統(tǒng)（GPS）獲得的）諸如汽車速度之類的信息。第一個(gè)例子是足球比賽的視頻序列，在該視頻序列中可以插入虛擬的越位線，這使得觀看者能夠明確看到何時(shí)以及如何犯規(guī)的。另一個(gè)例子是高爾夫球的視頻序列，其中碼數(shù)點(diǎn)、危險(xiǎn)區(qū)、傾斜球道以及果嶺前帶（falsefronts）可以被標(biāo)識(shí)并添加到視頻中。US7042493和WO01/78050A2公開了用于從視頻產(chǎn)生體育賽事的頻閃觀測(cè)儀序列的運(yùn)動(dòng)分析系統(tǒng)。這種系統(tǒng)允許觀看者看到在時(shí)間和空間上展開的運(yùn)動(dòng)員的運(yùn)動(dòng)，其中運(yùn)動(dòng)對(duì)象被感知為沿著對(duì)象軌跡的一系列靜態(tài)圖像。此外，EP1247255和WO01/39130A1公開了能夠從兩個(gè)給定的視頻序列產(chǎn)生合成視頻序列的圖像處理系統(tǒng)，該合成視頻序列包括來(lái)自每個(gè)給定的序列的視覺元素，這些視覺元素被適當(dāng)?shù)赝交⑶冶硎驹谶x定的焦平面中。例如，給定均分別示出不同選手在同一下坡賽道單獨(dú)比賽的兩個(gè)視頻序列，該合成序列可以包括來(lái)自給定序列中每一個(gè)的元素，以示出這兩個(gè)選手好像在同時(shí)比賽。另外，WO2007/006346A1公開一種用于通過限定某種體育運(yùn)動(dòng)的多個(gè)不均勻分布的關(guān)鍵位置來(lái)分析運(yùn)動(dòng)員的運(yùn)動(dòng)的方法。該方法從輸入的視頻中提取與這些關(guān)鍵位置相對(duì)應(yīng)的靜態(tài)圖片，并且將提取的靜態(tài)圖片同時(shí)顯示在屏幕上。可以通過預(yù)定義的模板來(lái)觸發(fā)靜態(tài)圖片的提取。然而，在上述現(xiàn)有系統(tǒng)中，通過將視頻展開為靜態(tài)圖片/幀的序列來(lái)分析運(yùn)動(dòng)員的運(yùn)動(dòng)，其中預(yù)定義的模板/規(guī)則可被用于提取與關(guān)鍵位置相對(duì)應(yīng)的靜態(tài)照片。然而，對(duì)于觀看者來(lái)說，仍不能看到運(yùn)動(dòng)員在每個(gè)單獨(dú)時(shí)刻/幀處如何運(yùn)動(dòng)。例如，不同的運(yùn)動(dòng)員可能以不同的速度和運(yùn)動(dòng)方向執(zhí)行相同的關(guān)鍵位置。當(dāng)比較兩個(gè)視頻時(shí)，在現(xiàn)有系統(tǒng)中考慮空間和時(shí)間的對(duì)準(zhǔn)。然而，這僅通過對(duì)準(zhǔn)視頻中的現(xiàn)有圖像/幀來(lái)完成。給定兩個(gè)不同的表現(xiàn)（來(lái)自不同的主體），因?yàn)檫\(yùn)動(dòng)的不同執(zhí)行（例如不同的速度或幅度）的緣故，基于現(xiàn)有幀的空間-時(shí)間對(duì)準(zhǔn)可能是困難的，有時(shí)導(dǎo)致不精確的對(duì)準(zhǔn)。US7602301和US6567536公開了用于基于身體上傳感器的運(yùn)動(dòng)分析的解決方案，但是這些解決方案需要應(yīng)用到身體上的額外的標(biāo)記和傳感器。GB2341997A公開一種用于增強(qiáng)電視圖像中的對(duì)象的圖像處理裝置和方法，其中通過運(yùn)動(dòng)檢測(cè)、邊界檢測(cè)或顏色檢測(cè)來(lái)檢測(cè)對(duì)象，從而定位對(duì)象。可以通過使用軌跡預(yù)測(cè)或外插法來(lái)促進(jìn)后續(xù)圖像中對(duì)象的位置檢測(cè)。重疊產(chǎn)生模塊利用中性背景和與所述對(duì)象的部分相對(duì)應(yīng)的位置中的加亮部分產(chǎn)生中間圖像。軌跡內(nèi)插模塊在先前圖像中對(duì)象的位置與當(dāng)前圖像中對(duì)象的位置之間插入一路徑。最后，圖像疊加模塊將該中間圖像、內(nèi)插圖像和數(shù)字圖像疊加，以產(chǎn)生輸出圖像，其中在對(duì)比度方面以及通過沿著對(duì)象的軌跡提供拖尾增強(qiáng)了所述對(duì)象的可視性。從而改善了對(duì)快速移動(dòng)或者在低對(duì)比度背景中描繪的對(duì)象的跟蹤。此外，EP1404130A1公開了輸入視頻信號(hào)到不同的場(chǎng)或幀速率的轉(zhuǎn)換，其中從現(xiàn)有幀的圖像數(shù)據(jù)產(chǎn)生要插入的附加幀。然而，該方法由于對(duì)象運(yùn)動(dòng)中的可見的不連續(xù)性的緣故而導(dǎo)致圖像降級(jí)。通過轉(zhuǎn)換后的視頻信號(hào)的視頻幀的對(duì)象的運(yùn)動(dòng)偏離原始視頻幀序列中對(duì)象的平滑運(yùn)動(dòng)，導(dǎo)致可感覺到的運(yùn)動(dòng)不連續(xù)性。為了克服該缺陷，幀內(nèi)對(duì)象的運(yùn)動(dòng)通過運(yùn)動(dòng)估計(jì)來(lái)檢測(cè)，并且用運(yùn)動(dòng)矢量來(lái)表示?；跈z測(cè)到的運(yùn)動(dòng)矢量，計(jì)算要插入的幀中對(duì)象的位置，并且相應(yīng)地插入對(duì)象的圖像數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的是提供一種用于在維持不引人注目的通過視頻的數(shù)據(jù)收集的同時(shí)更好地分析和比較運(yùn)動(dòng)的解決方案。該目的是通過如權(quán)利要求1所述的裝置、如權(quán)利要求8所述的方法以及通過如權(quán)利要求9所述的計(jì)算機(jī)程序產(chǎn)品來(lái)實(shí)現(xiàn)的。因此，可以在沒有用戶手動(dòng)繪圖/點(diǎn)擊以及也不使用任何身體上的標(biāo)記或傳感器的情況下，定量地且自動(dòng)地分析視頻序列中的任何類型對(duì)象的運(yùn)動(dòng)。運(yùn)動(dòng)估計(jì)的結(jié)果實(shí)現(xiàn)了更好的運(yùn)動(dòng)分析和比較，特別在體育運(yùn)動(dòng)中，同時(shí)維持不引人注目的通過視頻的數(shù)據(jù)收集。利用計(jì)算出的運(yùn)動(dòng)矢量，可以產(chǎn)生并插入中間幀，以實(shí)現(xiàn)更好的對(duì)準(zhǔn)。例如，當(dāng)比較兩個(gè)運(yùn)動(dòng)員的沖刺時(shí)，可以針對(duì)跑得較快的運(yùn)動(dòng)員插入中間幀。另一個(gè)應(yīng)用是比較利用不同幀速率的照相機(jī)捕獲的兩個(gè)視頻。例如，在某些情況中，可以利用高速照相機(jī)進(jìn)行一個(gè)重編碼。以低幀速率進(jìn)行的另一個(gè)重編碼需要通過中間幀來(lái)增強(qiáng)，以更好地進(jìn)行運(yùn)動(dòng)比較。根據(jù)第一方面，一種可視化器或者可視化級(jí)可以被提供用于使所述至少一個(gè)對(duì)象的運(yùn)動(dòng)可視化。根據(jù)可以與第一方面結(jié)合的第二方面，一種視頻產(chǎn)生器或者視頻產(chǎn)生級(jí)可以被提供用于產(chǎn)生第三視頻序列，該第三視頻序列包含由所提出的方法或裝置處理的第一和第二視頻序列的對(duì)象的運(yùn)動(dòng)差別。這樣，基于兩個(gè)視頻流的比較，也可能產(chǎn)生用于分析的特殊信息視頻，其中對(duì)兩個(gè)視頻流之間的運(yùn)動(dòng)差別進(jìn)行注釋。例如，可以想到游泳者和理想的模型（或者先前的記錄）之間膝蓋伸展的差別。這樣，除了提供兩個(gè)對(duì)準(zhǔn)的視頻流且然后讓這種解釋由用戶（例如教練員或運(yùn)動(dòng)員）完成之外，有可能產(chǎn)生利用運(yùn)動(dòng)差別增強(qiáng)的或者減少到運(yùn)動(dòng)差別的第三流，從而幫助用戶看到該差別。根據(jù)可以與第一和第二方面中的至少一個(gè)結(jié)合的第三方面，該可視化器或可視化級(jí)可以適于通過添加關(guān)于運(yùn)動(dòng)方向、運(yùn)動(dòng)量級(jí)和加速度中的至少一個(gè)的信息而使對(duì)象的運(yùn)動(dòng)可視化。在特定的示例性實(shí)施方式中，該可視化器或可視化級(jí)可以適于添加作為顏色編碼的信息。根據(jù)可以與上面的第一至第三方面中的至少一個(gè)結(jié)合的第四方面，該可視化器或可視化級(jí)可以適于檢測(cè)所述至少一個(gè)視頻序列中預(yù)定的關(guān)注對(duì)象（例如，身體部位）。上述裝置可以被實(shí)現(xiàn)為集成在單個(gè)芯片或芯片組上的或者在電路板上布線的硬件電路。作為可替代方案，該裝置的至少部分可以實(shí)現(xiàn)為計(jì)算機(jī)程序或軟件例程，當(dāng)該計(jì)算機(jī)程序運(yùn)行在控制該裝置的計(jì)算機(jī)上時(shí)，該計(jì)算機(jī)程序或軟件例程控制處理器或計(jì)算機(jī)設(shè)備以執(zhí)行上述方法的步驟。應(yīng)當(dāng)理解，本發(fā)明的優(yōu)選實(shí)施例也可以是從屬權(quán)利要求與相應(yīng)的獨(dú)立權(quán)利要求的任何組合。本發(fā)明的這些和其他方面將根據(jù)下文描述的實(shí)施例而清楚明白并參照這些實(shí)施例進(jìn)行闡述。附圖說明在附圖中：圖1示出根據(jù)第一實(shí)施例的運(yùn)動(dòng)比較過程或設(shè)備的示意性處理圖；圖2示出運(yùn)動(dòng)比較的例子；以及圖3示出根據(jù)第二實(shí)施例的運(yùn)動(dòng)比較過程或設(shè)備的示意性處理圖。具體實(shí)施方式現(xiàn)在基于其中定量分析視頻序列（例如，體育運(yùn)動(dòng)視頻）中的運(yùn)動(dòng)員或其他對(duì)象的運(yùn)動(dòng)的實(shí)施例來(lái)描述本發(fā)明。更具體來(lái)說，視頻分析被加強(qiáng)，以提取運(yùn)動(dòng)數(shù)據(jù)。即使在具有運(yùn)動(dòng)的不同執(zhí)行（例如不同速度并且/或者運(yùn)動(dòng)方向）的不同表現(xiàn)（由不同的主體進(jìn)行）的情況下，仍可以實(shí)現(xiàn)幀對(duì)準(zhǔn)。圖1示出根據(jù)第一實(shí)施例的處理流程或處理鏈的示意圖，其中使用可以發(fā)現(xiàn)視頻幀之間的對(duì)應(yīng)關(guān)系的運(yùn)動(dòng)估計(jì)或其他技術(shù)計(jì)算在各視頻幀處的運(yùn)動(dòng)矢量。在各視頻幀處計(jì)算出的運(yùn)動(dòng)矢量可被用于更好地比較運(yùn)動(dòng)。在步驟或階段110中，針對(duì)至少兩個(gè)視頻序列的各幀，計(jì)算運(yùn)動(dòng)矢量。然后在步驟或階段120中使用計(jì)算出的運(yùn)動(dòng)矢量來(lái)產(chǎn)生并插入中間幀。對(duì)于步驟或階段120，可以基于來(lái)自視頻領(lǐng)域的交錯(cuò)技術(shù)來(lái)產(chǎn)生中間幀，其中它例如用于從第一幀速率上調(diào)到第二幀速率（例如從50Hz到200Hz）?？梢允褂梅钦麛?shù)因子執(zhí)行該上調(diào)。為了比較（由不同的人或者由同一人在不同的時(shí)間執(zhí)行的）至少兩個(gè)視頻序列中的運(yùn)動(dòng)或者在視頻序列和基準(zhǔn)序列之間比較運(yùn)動(dòng)，在步驟130中將兩個(gè)序列在空間和時(shí)間上對(duì)準(zhǔn)。由于運(yùn)動(dòng)的不同執(zhí)行（例如，不同的速度或幅度）的緣故，基于現(xiàn)有幀的空間-時(shí)間對(duì)準(zhǔn)是困難的。然而，利用計(jì)算出的運(yùn)動(dòng)矢量，可以產(chǎn)生并插入中間幀，以實(shí)現(xiàn)更好的對(duì)準(zhǔn)。例如，當(dāng)比較兩個(gè)運(yùn)動(dòng)員的沖刺時(shí)，可以在針對(duì)所走的距離對(duì)準(zhǔn)圖像時(shí)，針對(duì)跑得較快的運(yùn)動(dòng)員構(gòu)成中間圖像。此外，當(dāng)比較實(shí)地記錄與更高速照相機(jī)的主視頻時(shí)，實(shí)體記錄可能需要增強(qiáng)以優(yōu)化比較性能。例如，在某些情況下，記錄由高速照相機(jī)制作。以低幀速率制作的記錄需要利用中間幀來(lái)增強(qiáng)，以用于更好的運(yùn)動(dòng)比較。最后，在步驟140中，將目標(biāo)對(duì)象或者目標(biāo)部分的運(yùn)動(dòng)參數(shù)可視化，以用于更好的比較。因此，在步驟或階段110中計(jì)算出的運(yùn)動(dòng)矢量可被用于比較所述運(yùn)動(dòng)。例如，基于這些運(yùn)動(dòng)矢量，在步驟或階段120可以插入中間幀，以在步驟130中實(shí)現(xiàn)更好的空間和時(shí)間對(duì)準(zhǔn)，導(dǎo)致增強(qiáng)的運(yùn)動(dòng)比較?？梢酝ㄟ^運(yùn)動(dòng)估計(jì)技術(shù)導(dǎo)出在每一幀處的運(yùn)動(dòng)矢量。在文獻(xiàn)中存在不同的運(yùn)動(dòng)估計(jì)算法。它們中的一種是3-D遞歸搜索塊匹配（3DRS）。然后計(jì)算出的運(yùn)動(dòng)矢量被用來(lái)增強(qiáng)視頻序列。在步驟或階段140中，可以通過可以根據(jù)用戶或者目標(biāo)觀眾（例如，運(yùn)動(dòng)員、教練員、粉絲）的需要選擇的不同方式使該運(yùn)動(dòng)可視化。作為例子，可以使用顏色編碼使該運(yùn)動(dòng)可視化。當(dāng)比較兩個(gè)視頻中的運(yùn)動(dòng)時(shí)，利用一個(gè)視頻作為基線/基準(zhǔn)，可以添加顏色以指示不同的（或相同的）運(yùn)動(dòng)。此外，為了更精確地測(cè)量目標(biāo)對(duì)象或?qū)ο蟛糠值倪\(yùn)動(dòng)，可以考慮其他線索。例如，對(duì)于游泳者來(lái)說，皮膚顏色可被用來(lái)消除非身體區(qū)域中的運(yùn)動(dòng)矢量。在某些情況下，人們有興趣觀看特定身體部分（例如，手臂）的運(yùn)動(dòng)。然后，可以應(yīng)用計(jì)算機(jī)視覺技術(shù)來(lái)自動(dòng)檢測(cè)感興趣的身體部分?？梢詮墓烙?jì)出的運(yùn)動(dòng)矢量導(dǎo)出進(jìn)一步的信息，并且該信息可以用于增強(qiáng)視頻。例如，可以導(dǎo)出加速度（即，運(yùn)動(dòng)速度的速度）。圖2示出兩個(gè)高爾夫球選手的高爾夫球運(yùn)動(dòng)的例子。在這些例子中，當(dāng)高爾夫球桿接觸球時(shí)，定義關(guān)鍵幀。盡管兩個(gè)選手都執(zhí)行該關(guān)鍵位置，但是他們可能具有不同的運(yùn)動(dòng)。使用顏色編碼針對(duì)這兩個(gè)選手使在該關(guān)鍵幀處的運(yùn)動(dòng)估計(jì)結(jié)果可視化，其中使用不同的顏色指示不同的運(yùn)動(dòng)方向，而顏色強(qiáng)度指示運(yùn)動(dòng)的量級(jí)。在圖2中，利用不同的影線圖案C1至C4簡(jiǎn)化顏色編碼。所給出的運(yùn)動(dòng)估計(jì)示出這兩個(gè)選手以不同的方式（即不同的運(yùn)動(dòng)速度和方向）表現(xiàn)。如從圖2中的影線圖案C1至C4可以獲悉，這兩個(gè)選手的右臂運(yùn)動(dòng)明顯不同。圖3示出根據(jù)第二實(shí)施例的處理流程或處理鏈的示意圖，其中產(chǎn)生包含兩個(gè)輸入的視頻序列V1和V2的兩個(gè)目標(biāo)對(duì)象之間的運(yùn)動(dòng)差別的視頻序列。在步驟或階段210A和210B中，針對(duì)所述輸入視頻序列V1和V2的各幀計(jì)算運(yùn)動(dòng)矢量。在步驟或階段220中，基于計(jì)算出的運(yùn)動(dòng)矢量，產(chǎn)生中間幀合成的中間幀以用于輸入視頻序列V1、V2中的至少一個(gè)，并將該中間幀插入到輸入視頻序列V1、V2中的至少一個(gè)。然后，在步驟或階段230中，將其中至少一個(gè)已經(jīng)通過插入的中間幀增強(qiáng)的兩個(gè)視頻序列V1、V2在空間和時(shí)間上對(duì)準(zhǔn)。在第二實(shí)施例中，在步驟或階段240中，基于兩個(gè)視頻序列V1、V2的比較，產(chǎn)生特殊信息視頻用于分析，在該特殊信息視頻中添加兩個(gè)視頻序列V1、V2之間的運(yùn)動(dòng)差別或者該特殊信息視頻減少到該差別。作為例子，這樣的差別可以是游泳者與理想模型（或者先前記錄）之間膝蓋伸展的差別。因此，除了提供兩個(gè)對(duì)準(zhǔn)的視頻序列且然后讓用戶（例如教練員或運(yùn)動(dòng)員）完成該解釋以外，還產(chǎn)生第三視頻序列，第三視頻序列利用運(yùn)動(dòng)差別來(lái)增強(qiáng)或者減少到該運(yùn)動(dòng)差別，從而幫助用戶識(shí)別和評(píng)價(jià)該差別。簡(jiǎn)而言之，本發(fā)明提出，通過在每一幀處執(zhí)行運(yùn)動(dòng)估計(jì)以確定運(yùn)動(dòng)矢量來(lái)分析視頻序列（例如體育運(yùn)動(dòng)視頻）中對(duì)象的運(yùn)動(dòng)。利用計(jì)算出的運(yùn)動(dòng)矢量，可以定量地測(cè)量對(duì)象（例如運(yùn)動(dòng)員）的運(yùn)動(dòng)?；诖?，可以在視頻序列的每個(gè)單獨(dú)幀處比較兩個(gè)視頻中的運(yùn)動(dòng)?？梢允褂貌煌姆椒ǎɡ珙伾幋a）來(lái)使所述運(yùn)動(dòng)可視化并且比較所述運(yùn)動(dòng)。利用運(yùn)動(dòng)估計(jì)，還可以插入中間幀以實(shí)現(xiàn)在兩個(gè)給定的視頻中更好的運(yùn)動(dòng)比較。本發(fā)明可被用于增強(qiáng)（體育運(yùn)動(dòng)）視頻廣播。作為表現(xiàn)反饋的方式，本發(fā)明可以被教練員或運(yùn)動(dòng)員用于訓(xùn)練目的。本發(fā)明還可以用在體育運(yùn)動(dòng)廣播中以用于增強(qiáng)的觀看者體驗(yàn)。本發(fā)明可以在諸如電視（TV）或其他顯示器之類的顯示設(shè)備中實(shí)現(xiàn)，作為電視機(jī)的附加功能，例如用于觀看體育運(yùn)動(dòng)。本發(fā)明也可以在用于廣播的電視演播室中實(shí)現(xiàn)。另一種應(yīng)用例如用在如WO01/26760中描述的游戲或賭博中，或者例如用在如由US6567536啟示的監(jiān)視和軍事中。作為表現(xiàn)反饋的方式，本發(fā)明也可以被教練員或運(yùn)動(dòng)員用于訓(xùn)練目的。另一種應(yīng)用是游戲或娛樂，其中本發(fā)明增強(qiáng)了與黃金參考模型或真實(shí)的人的差別分析。一個(gè)例子可以是視頻支持的游戲，其中使用照相機(jī)記錄玩家的運(yùn)動(dòng)，然后系統(tǒng)提供這里提到的反饋。本領(lǐng)域的技術(shù)人員通過研究附圖、公開內(nèi)容和所附權(quán)利要求書來(lái)實(shí)踐本發(fā)明時(shí)，可以理解并實(shí)現(xiàn)所公開的實(shí)施例的其他變體。在權(quán)利要求中，詞語(yǔ)“包括”不排除其它元素或步驟，并且不定冠詞“一”不排除多個(gè)。單個(gè)單元或設(shè)備可以實(shí)現(xiàn)權(quán)利要求中列舉的若干項(xiàng)功能。相互不同的從屬權(quán)利要求中列舉特定措施這一事實(shí)不表示這些措施的組合不能被有利地使用。圖1和圖3中的步驟或階段可以由單個(gè)單元或者由任意其他數(shù)目的不同單元來(lái)執(zhí)行。所提出的運(yùn)動(dòng)分析和/或比較的計(jì)算、處理和/或控制可以實(shí)現(xiàn)為計(jì)算機(jī)程序的程序代碼部和/或?qū)崿F(xiàn)為專用硬件。計(jì)算機(jī)程序可以存儲(chǔ)/分布在與其他硬件一起提供的或者作為其他硬件的一部分的諸如光學(xué)存儲(chǔ)介質(zhì)或者固態(tài)介質(zhì)之類的適當(dāng)?shù)慕橘|(zhì)上，但是也可以通過其他形式分發(fā)，例如經(jīng)由因特網(wǎng)或者其他有線或無(wú)線通信系統(tǒng)分發(fā)。權(quán)利要求中的任何附圖標(biāo)記不應(yīng)該理解為限制范圍。本發(fā)明提出通過在每一幀處執(zhí)行運(yùn)動(dòng)估計(jì)以確定運(yùn)動(dòng)矢量來(lái)分析視頻序列（例如體育運(yùn)動(dòng)視頻）中對(duì)象的運(yùn)動(dòng)。利用計(jì)算出的運(yùn)動(dòng)矢量，可以定量地測(cè)量對(duì)象（例如運(yùn)動(dòng)員）的運(yùn)動(dòng)?；诖?，可以在視頻序列的每個(gè)單獨(dú)幀處比較兩個(gè)視頻中的運(yùn)動(dòng)。可以使用不同的方法（例如顏色編碼）使所述運(yùn)動(dòng)可視化并且比較所述運(yùn)動(dòng)。利用運(yùn)動(dòng)估計(jì)，還可以插入中間幀，以實(shí)現(xiàn)在兩個(gè)給定的視頻中更好的運(yùn)動(dòng)比較。