分析體育運(yùn)動的視頻的方法
【專利摘要】本發(fā)明涉及一種用于分析體育運(yùn)動的視頻圖像的方法、設(shè)備、系統(tǒng)和計(jì)算機(jī)程序產(chǎn)品，并且更特定來說涉及識別視頻內(nèi)的關(guān)鍵運(yùn)動位置以及自動提取包含體育運(yùn)動的視頻片段。顯示體育運(yùn)動的視頻數(shù)據(jù)包括表示多個圖像幀的數(shù)據(jù)。針對多個圖像幀，在所述圖像幀與另一個圖像幀之間計(jì)算一個或多個幀差度量。分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀。展示所述體育運(yùn)動的含有所述體育運(yùn)動的所述視頻的所述片段是在展示所述關(guān)鍵位置的所述圖像幀中的兩個之間?？苫谙袼夭疃攘炕蚬饬骷夹g(shù)來計(jì)算幀差度量。
【專利說明】分析體育運(yùn)動的視頻的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種分析體育運(yùn)動視頻圖像的方法。更特定來說，本發(fā)明涉及識別視頻內(nèi)的關(guān)鍵運(yùn)動位置以及自動提取包含體育運(yùn)動的視頻片段。
【背景技術(shù)】
[0002]許多體育運(yùn)動的參與涉及一遍又一遍地重復(fù)某些動作。以特定方式執(zhí)行這些動作的連續(xù)能力通常對體育運(yùn)動中的表現(xiàn)良好而言是至關(guān)重要的。已經(jīng)發(fā)現(xiàn)不同方法來幫助參與者發(fā)展以某種方式重復(fù)移動的能力。在這類方法中逐漸使用技術(shù)來改進(jìn)體育運(yùn)動中的表現(xiàn)。
[0003]視頻分析是現(xiàn)代體育訓(xùn)練的一個重要部分。能夠看到自己執(zhí)行動作幫助個體識別技術(shù)中的缺陷并糾正所述缺陷。此外，可將視頻分析技術(shù)應(yīng)用于體育運(yùn)動的視頻來幫助識別需要改變的動作方面或識別正確執(zhí)行的動作方面以提供正面反饋。
[0004]以高爾夫球運(yùn)動為例，高爾夫球手的揮桿技術(shù)對其連續(xù)擊打高爾夫球以及因此表現(xiàn)優(yōu)秀的能力而言至關(guān)重要。多年以來，已經(jīng)識別優(yōu)選的高爾夫揮桿技術(shù)并且大多數(shù)高爾夫球手力求模仿?lián)]桿使其盡可能接近這種優(yōu)選技術(shù)。已經(jīng)在高爾夫球運(yùn)動中使用了視頻分析來改進(jìn)高爾夫球手的揮桿。
[0005]視頻分析的直接形式是簡單地記錄高爾夫揮桿并且將其回放來識別高爾夫球手自身或教練無法辨別的缺陷。視頻鏡頭可暫停使得可對展示特定揮桿位置的個別幀進(jìn)行分析。
[0006]另一種分析方法是將某人的高爾夫揮桿與另一個人的高爾夫揮桿相鄰地顯示以更容易識別與模范揮桿相比存在的差異。一些現(xiàn)有方法涉及使所述兩個揮桿同步，使得一起展示對應(yīng)的揮桿位置，這使比較變得更容易。
[0007]為了分析高爾夫揮桿，檢查某些揮桿位置(諸如，瞄準(zhǔn)位置、揮桿頂點(diǎn)位置、擊球位置和收桿位置)是有用的。因此需識別展示高爾夫球手在那些位置中的視頻幀。
[0008]當(dāng)捕獲高爾夫揮桿的視頻鏡頭時(shí)，可能存在記錄在揮桿自身每側(cè)的大量鏡頭，例如當(dāng)球員正準(zhǔn)備揮桿時(shí)。這類鏡頭大部分是多余的并且可能使得難以快速識別實(shí)際揮桿動作并且在存儲數(shù)字視頻數(shù)據(jù)的情況下可能占據(jù)寶貴的存儲空間。因此需提取僅包含高爾夫揮桿動作的視頻鏡頭片段。
[0009]高爾夫揮桿視頻分析的一些現(xiàn)有方法達(dá)到這些目標(biāo)，即提取包含高爾夫揮桿的視頻片段或識別關(guān)鍵揮桿位置，或兩者。應(yīng)容易了解識別瞄準(zhǔn)位置和收桿位置允許展示將被提取的高爾夫揮桿的視頻片段:高爾夫揮桿在視頻的所述部分中被展示為介于瞄準(zhǔn)位置與收桿位置之間。
[0010]這類現(xiàn)有方法的實(shí)例是:
[0011]?手動檢查視頻揮桿鏡頭以及識別展示高爾夫揮桿的片段和展示關(guān)鍵運(yùn)動位置的幀。這很耗費(fèi)時(shí)間，因?yàn)槠湫枰脩魹g覽所有視頻鏡頭。
[0012]?如在US6，537，076和US6，567，536中，檢測識別擊球時(shí)刻的擊球聲響。揮桿的剩余部分被假定為是在該時(shí)刻的任一側(cè)的某一時(shí)間內(nèi)。這種方法需要音頻檢測裝置與視頻捕獲裝置一起運(yùn)作并且僅能夠精確檢測擊球位置。這種方法運(yùn)用于不同速度的揮桿將是不可靠的。
[0013]?如在US2006/0281060中，使用其它類型的傳感器來檢測揮桿的多個部分，例如壓力墊。然而，這種方法要求使用另一類型的傳感器，其可能是昂貴的并且并非總是便利的。
[0014]?如在US7, 097, 459、US7, 704, 157和US7, 857，708中，將顏色標(biāo)記或其它可識別
標(biāo)簽置于高爾夫球手和高爾夫球桿上以及自動檢測其在視頻鏡頭中的位置。然而，這需要使用并非總是可用的標(biāo)記或標(biāo)簽，并且如果標(biāo)記不是置于正確位置，錯誤便可能發(fā)生。
[0015]?如在US2010/0303303中，使用基于目標(biāo)識別的方法，諸如識別球員的側(cè)影或身體部分。然而，這些方法涉及在應(yīng)用高爾夫揮桿分析方法之前解決困難的且耗時(shí)的人體形狀識別問題。因此這些方法非常復(fù)雜，需要高級處理能力/內(nèi)存并且需要一些時(shí)間來產(chǎn)生結(jié)果。
[0016]?如在KRl01002846中，檢測球在視頻鏡頭中的位置以及在運(yùn)動期間球如何改變。盡管這種方法避免了對除視頻捕獲裝置和處理器以外的器材的需求，但是其依賴于球的存在，而球并非總是可用。還假定在瞄準(zhǔn)位置期間球被桿頭遮蓋且因此對分析從瞄準(zhǔn)時(shí)球未被桿頭遮蓋的角度記錄的視頻并非有用。最后，其通過作出某些假設(shè)而估計(jì)哪個幀展示收桿位置，所述假設(shè)可能并非總是真實(shí)。
[0017]在分析高爾夫揮桿的另一方法中，如在US7，200, 282中，使用直線檢測方法，諸如霍夫或拉冬變換(Hough or Radon transform),檢測高爾夫球桿的位置。這類方法對于高爾夫球桿相對靜止的視頻片段而言可能是有用的，但是如果球桿快速移動且圖像模糊，那么這些方法便不能有效運(yùn)用。這些方法還需要進(jìn)行大量計(jì)算。
[0018]許多上述技術(shù)也可應(yīng)用于其它體育運(yùn)動中的運(yùn)動分析。
[0019]因此，本發(fā)明的目的是提供一種分析體育運(yùn)動的視頻圖像的改進(jìn)方法，其至少克服上文論述的缺點(diǎn)中的一些。
[0020]近年來，視頻捕獲裝置已經(jīng)逐漸被廣泛應(yīng)用。可在許多個人電子裝置(諸如數(shù)碼相機(jī)和移動電話)上捕獲視頻圖像。因此人們能夠非常簡單地捕獲執(zhí)行特定體育運(yùn)動的個體的視頻鏡頭。如果用來捕獲視頻鏡頭的相同裝置可以用來分析鏡頭，那么這將變得便利。因此，本發(fā)明的替代目的是提供一種可由個人電子裝置執(zhí)行分析體育運(yùn)動的視頻圖像的方法。
[0021]本發(fā)明的替代目的是提供一種用于分析體育運(yùn)動的視頻圖像的改進(jìn)設(shè)備和/或系統(tǒng)。
[0022]替代地，本發(fā)明的目的是為公眾至少提供一種有用選擇。

【發(fā)明內(nèi)容】

[0023]發(fā)明概要
[0024]根據(jù)本發(fā)明的第一個方面，提供一種用于分析視頻的方法，所述視頻的至少一部分顯示體育運(yùn)動，所述方法包括下列步驟:
[0025]接收表示T個圖像幀的數(shù)據(jù)；[0026]針對Tc個圖像幀中的每個，計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差
度量；
[0027]分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
[0028]優(yōu)選地，所述方法還包括識別顯示體育運(yùn)動的視頻的部分的步驟。更優(yōu)選地，識別顯示體育運(yùn)動的視頻的部分的步驟包括在體育運(yùn)動的關(guān)鍵位置中的兩個之間選擇圖像幀。
[0029]優(yōu)選地，所述方法還包括從幀差度量識別體育運(yùn)動的一個或多個運(yùn)動階段。更優(yōu)選地，所述方法包括使用運(yùn)動階段的識別來識別體育運(yùn)動的關(guān)鍵位置。
[0030]應(yīng)理解，“幀差度量”是指示圖像幀之間的視頻數(shù)據(jù)中的差分的數(shù)量。在本發(fā)明的優(yōu)選實(shí)施方案中，所述一個或多個幀差度量包括下列度量中的一個或多個:
[0031]1.圖像幀之間的移動量的度量；
[0032]2.圖像幀之間的移動位置的度量；和
[0033]3.圖像幀之間的移動速度或其導(dǎo)數(shù)(諸如加速度)的度量。
[0034]每個幀差度量可以是幀之間的差分的全局度量或局部度量。全局度量可被理解為在基本上整個圖像的水平下的度量。局部度量可被理解為在像素或子圖像水平下的度量。
[0035]優(yōu)選地，每個圖像幀包括P個像素或像素組，且所述方法還包括:
[0036]針對Tc個圖像幀中的每個，將P。個像素或像素組中的每個與另一圖像幀中的對應(yīng)像素或像素組進(jìn)行比較以及計(jì)算一個或多個像素差度量。
[0037]更優(yōu)選地，像素差度量包括像素或像素組之間的強(qiáng)度差。
[0038]優(yōu)選地，所述方法包括基于所述一個或多個像素差度量計(jì)算所述一個或多個幀差度量。
[0039]更優(yōu)選地，所述方法包括計(jì)算圖像幀之間的像素差度量的統(tǒng)計(jì)值。優(yōu)選地，所述方法包括計(jì)算超出預(yù)定閾值的像素差度量的統(tǒng)計(jì)值。像素差度量可以包括下列度量中的一個或多個:
[0040]1.圖像幀之間的像素移動量的度量；
[0041]2.圖像幀之間的像素移動位置的度量；和
[0042]3.圖像幀之間的像素移動速度或其導(dǎo)數(shù)(諸如加速度)的度量。
[0043]更優(yōu)選地，所計(jì)算的像素差度量的統(tǒng)計(jì)值可包括以下項(xiàng)中的一個或多個:中間值、平均數(shù)、第η個百分位數(shù)、標(biāo)注偏差。
[0044]在本發(fā)明的第二優(yōu)選實(shí)施方案中，所述方法包括:
[0045]針對Tc個圖像幀中的每個，確定像素或像素組與另一圖像幀中的對應(yīng)像素或像素組之間的光流。
[0046]更優(yōu)選地，確定光流的步驟包括確定每個圖像幀與另一圖像幀之間的像素或像素組之間的局部相關(guān)性。
[0047]在本發(fā)明的優(yōu)選實(shí)施方案中，分析幀差度量來識別各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀的步驟包括:
[0048]識別在幀差度量中的時(shí)間變化的多個模式；和
[0049]使每個模式與體育運(yùn)動的運(yùn)動階段中的一個相關(guān)。
[0050]優(yōu)選地，識別多個模式的步驟包括識別幀差度量中的時(shí)間變化的峰和/或谷。
[0051]更優(yōu)選地，識別多個模式的步驟包括識別圖像幀之間的垂直像素移動中的峰和/或谷。
[0052]在本發(fā)明的某些實(shí)施方案中，決策模型被用來分析幀差度量以識別各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
[0053]在本發(fā)明的優(yōu)選實(shí)施方案中，所述方法包括將圖像改進(jìn)算法應(yīng)用于視頻的步驟。例如，在一個實(shí)施方案中，將圖像穩(wěn)定算法應(yīng)用于視頻。
[0054]在本發(fā)明的一個實(shí)施方案中，所述方法包括應(yīng)用包括計(jì)算光流向量的圖像穩(wěn)定算法以及隨后使用光流向量來計(jì)算幀差度量。
[0055]在本發(fā)明的一個實(shí)施方案中，圖像改進(jìn)算法可包括對比增強(qiáng)算法。
[0056]優(yōu)選地，分析幀差度量的步驟包括將降噪濾波器應(yīng)用于幀差度量的時(shí)間變化。
[0057]優(yōu)選地，針對計(jì)算幀差度量的每個步驟，通過預(yù)定數(shù)量的圖像幀將另一圖像幀與所述圖像幀分開。更優(yōu)選地，另一圖像幀是前一個幀或后一個幀。
[0058]優(yōu)選地，幀差度量被計(jì)算的圖像幀數(shù)目Tc等于視頻數(shù)據(jù)中的圖像幀數(shù)目T。
[0059]優(yōu)選地，像素或像素組的數(shù)目Pc等于圖像幀中的像素或像素組的數(shù)目P。
[0060]優(yōu)選地，所述方法還包括將表示展示體育運(yùn)動的關(guān)鍵位置的圖像幀和/或顯示體育運(yùn)動的視頻的部分的數(shù)據(jù)寫入計(jì)算機(jī)可讀媒介。所述方法還可包括擦除所有其它數(shù)據(jù)。
[0061]更優(yōu)選地，所述方法包括在顯示裝置上輸出展示體育運(yùn)動的關(guān)鍵位置的圖像幀和/或顯示體育運(yùn)動的視頻的部分的步驟。
[0062]優(yōu)選地，所述方法包括在視頻捕獲裝置上記錄視頻。更優(yōu)選地，在視頻捕獲裝置上執(zhí)行分析視頻的方法。在一個實(shí)施方案中，視頻捕獲裝置是移動電話。
[0063]優(yōu)選地，所述方法還包括使兩個體育運(yùn)動同步以及在顯示裝置上一起顯示所述兩個體育運(yùn)動。所述兩個體育運(yùn)動可以是一個人執(zhí)行體育運(yùn)動的替代視圖或兩個人執(zhí)行體育運(yùn)動的相同視圖。更優(yōu)選地，同步方法包括同時(shí)顯示每個體育運(yùn)動的關(guān)鍵位置的圖像幀。
[0064]優(yōu)選地，所述方法還包括計(jì)算指示體育運(yùn)動的持續(xù)時(shí)間的值。更優(yōu)選地，指示體育運(yùn)動的持續(xù)時(shí)間的值包括展示兩個關(guān)鍵位置的圖像幀之間消逝的時(shí)間。
[0065]在本發(fā)明的優(yōu)選實(shí)施方案中，體育運(yùn)動是高爾夫揮桿。
[0066]在本發(fā)明的優(yōu)選實(shí)施方案中，所述方法還包括識別一個或多個圖像幀中的目標(biāo)。更優(yōu)選地，所述方法包括在展示體育運(yùn)動的關(guān)鍵位置中的一個的至少一個圖像幀中識別目標(biāo)。
[0067]例如，所述方法包括識別一個或多個圖像幀(且特定來說展示瞄準(zhǔn)位置和收桿位置的圖像幀)中的高爾夫球桿?；舴蚧蚶儞Q方法可被用來識別高爾夫球桿。
[0068]優(yōu)選地，所述方法包括構(gòu)建一條或多條線以及在一個或多個圖像幀上顯示所述一條或多條線。
[0069]例如在一個實(shí)施方案中，所述方法包括在瞄準(zhǔn)位置中穿過高爾夫球桿構(gòu)建第一條線和構(gòu)建第二條線使其與第一條線成近似17° (在第一條線上方)以及在高爾夫球手側(cè)視圖的一個或多個圖像幀中顯示所述線。在另一實(shí)施方案中，所述方法包括近似穿過高爾夫球桿構(gòu)建垂直線以及在高爾夫球手的前視圖的一個或多個圖像幀中顯示所述線。
[0070]優(yōu)選地，所述方法還包括分析圖像幀以及因此提供改進(jìn)指令。
[0071]根據(jù)本發(fā)明的第二個方面，提供一種用于分析視頻的設(shè)備，所述視頻的至少一部分顯示體育運(yùn)動，所述設(shè)備包括:[0072]用于接收表示T個圖像幀的數(shù)據(jù)的構(gòu)件；
[0073]用于針對Tc個圖像幀中的每個而計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量的構(gòu)件；
[0074]用于分析幀差度量來識別各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀的構(gòu)件。
[0075]優(yōu)選地，所述設(shè)備還包括用于記錄視頻的視頻捕獲裝置。更優(yōu)選地，所述設(shè)備還包括用于顯示關(guān)鍵位置圖像幀的構(gòu)件。
[0076]在本發(fā)明的優(yōu)選實(shí)施方案中，所述設(shè)備包括移動電話、移動平板計(jì)算機(jī)或膝上型計(jì)算機(jī)。
[0077]根據(jù)本發(fā)明的第三個方面，提供一種用于分析視頻的系統(tǒng)，所述視頻的至少一部分顯示體育運(yùn)動，所述系統(tǒng)包括:
[0078]用于接收表示T個圖像幀的數(shù)據(jù)的構(gòu)件；
[0079]用于針對Tc個圖像幀中的每個而計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量的構(gòu)件；
[0080]用于分析幀差度量來識別各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀的構(gòu)件。
[0081]根據(jù)本發(fā)明的第四個方面，提供一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)，其促使計(jì)算機(jī)執(zhí)行包括下列步驟的方法:
[0082]接收表示T個圖像幀的數(shù)據(jù)；
[0083]針對Tc個圖像幀中的每個而計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀
差度量；
[0084]分析幀差度量來識別各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
[0085]在閱讀了提供本發(fā)明的實(shí)際應(yīng)用的至少一個實(shí)例的下列描述后，本領(lǐng)域技術(shù)人員應(yīng)明白本發(fā)明的其它方面，以其所有新穎方面考量本發(fā)明。
【專利附圖】

【附圖說明】
[0086]下文將僅以舉例的方式描述本發(fā)明的一個或多個實(shí)施方案，且無限制之意，參考下列圖，其中:
[0087]圖1是示出根據(jù)本發(fā)明的實(shí)施方案的分析高爾夫揮桿的方法的流程圖；
[0088]圖2是根據(jù)本發(fā)明的實(shí)施方案的用于分析高爾夫揮桿的系統(tǒng)或設(shè)備的圖示；
[0089]圖3是構(gòu)成根據(jù)本發(fā)明的實(shí)施方案的高爾夫球手的視頻的多個圖像幀的圖示；
[0090]圖4是示出根據(jù)本發(fā)明的一個實(shí)施方案的分析視頻數(shù)據(jù)的方法中的步驟的流程圖；
[0091]圖5是根據(jù)本發(fā)明的一個實(shí)施方案的分析結(jié)果的圖示；
[0092]圖6是由根據(jù)本發(fā)明的一個實(shí)施方案的方法計(jì)算的數(shù)據(jù)的圖示；
[0093]圖7是圖6所示的圖形中的一個的部分的圖示；
[0094]圖8是展示當(dāng)根據(jù)本發(fā)明的實(shí)施方案的方法應(yīng)用于圖3所示的視頻數(shù)據(jù)時(shí)的關(guān)鍵揮桿位置的圖像的圖示；和
[0095]圖9是展示根據(jù)本發(fā)明的另一實(shí)施方案的關(guān)鍵揮桿位置的圖像的圖示。
【具體實(shí)施方式】[0096]在下列描述中，將描述涉及高爾夫揮桿的分析的本發(fā)明的實(shí)施方案。盡管這是本發(fā)明的一個應(yīng)用，但是應(yīng)了解這類實(shí)施方案僅以舉例的方式描述，且在本發(fā)明的其它實(shí)施方案中，可分析其它體育運(yùn)動。
[0097]例如，除了高爾夫揮桿之外，本發(fā)明的實(shí)施方案還可以用來分析棒球桿揮桿、棒球投擲、板球揮擊、橄欖球踢、網(wǎng)球拍打和其它體育運(yùn)動。本發(fā)明不限于使用于任何特定體育運(yùn)動并且本領(lǐng)域技術(shù)人員在閱讀下列描述后應(yīng)容易理解本發(fā)明可如何應(yīng)用于分析本文未論述的體育運(yùn)動。
[0098]圖1是示出根據(jù)本發(fā)明的實(shí)施方案的分析高爾夫揮桿的方法100的流程圖。圖2是根據(jù)本發(fā)明的相同實(shí)施方案用于分析高爾夫揮桿的系統(tǒng)或設(shè)備200的圖示。
[0099]在步驟101，記錄個體進(jìn)行高爾夫揮桿的視頻。視頻可以包括某多余鏡頭，即未展示實(shí)際高爾夫揮桿而是展示球員開始或準(zhǔn)備揮桿等的視頻的部分。視頻可以被記錄在任何視頻捕獲裝置201上且在一些實(shí)施方案中使用易攜帶的數(shù)字裝置，諸如攝像機(jī)、數(shù)碼相機(jī)、移動電話、平板計(jì)算機(jī)等等。方便在任何地方記錄以及分析高爾夫揮桿是本發(fā)明的一些實(shí)施方案的優(yōu)點(diǎn)。
[0100]在數(shù)字錄像的情況下，步驟101的最終結(jié)果是表示共同構(gòu)成視頻的圖像幀的數(shù)字?jǐn)?shù)據(jù)。這類數(shù)據(jù)可以存儲在視頻捕獲裝置上或任何合適的數(shù)據(jù)存儲媒介上，諸如硬盤、存儲卡、⑶、軟磁盤等等。
[0101]在步驟102，在適用于執(zhí)行根據(jù)本發(fā)明的分析步驟的計(jì)算機(jī)或處理器202上接收代表性數(shù)據(jù)。在一些實(shí)施方案中，處理器202被具體實(shí)施于用來捕獲視頻的相同設(shè)備201(例如，移動電話)中，使得僅需要單個裝置來捕獲并分析視頻并且顯示分析結(jié)果。
[0102]在步驟103，所述方法可以包括將圖像改進(jìn)算法應(yīng)用于視頻數(shù)據(jù)的步驟。此類算法可被用來改進(jìn)數(shù)據(jù)品質(zhì)且從而改進(jìn)分析方法的結(jié)果?？梢允褂玫膱D像改進(jìn)算法的實(shí)例包括圖像穩(wěn)定算法、對比增強(qiáng)算法、降噪算法等等。圖像穩(wěn)定算法有助于例如在相機(jī)手持于某人手中的情況下減小相機(jī)抖動的影響，這可降低所得結(jié)果的質(zhì)量。在所捕獲的視頻的光質(zhì)較差的情況下，對比增強(qiáng)算法可能特別有用，例如，在高爾夫練球場上捕獲的視頻光質(zhì)可能較差，這是因?yàn)檫@些高爾夫練球場一般處在遮光處。合適的算法在本領(lǐng)域中已是眾所周知并且將不進(jìn)行更詳細(xì)的論述。
[0103]在步驟104，處理器202計(jì)算由處理器接收的多個圖像幀的幀差度量。在本發(fā)明的上下文中，幀差度量是指示圖像幀之間的視頻數(shù)據(jù)中的差分的數(shù)量。這個步驟將在下文中進(jìn)行更詳細(xì)說明。
[0104]在步驟105，處理器202例如通過將決策模型應(yīng)用于所計(jì)算的幀差度量分析幀差度量。這個步驟也將在下文進(jìn)行更詳細(xì)說明。
[0105]在步驟106，處理器202輸出步驟105的分析結(jié)果。在本發(fā)明的實(shí)施方案中，分析結(jié)果包括各自展示體育運(yùn)動的關(guān)鍵位置的多個圖像幀以及顯示體育運(yùn)動的視頻的部分，即無任何多余視頻片段。
[0106]體育運(yùn)動的關(guān)鍵位置應(yīng)被理解為意指在體育運(yùn)動分析中被視為重要的任何位置。什么位置是那些關(guān)鍵位置取決于正被分析的體育運(yùn)動以及參與其中的人員:在個體體育運(yùn)動中，不同人員可在不同位置中表現(xiàn)出不同程度的重要性。在高爾夫揮桿分析的實(shí)例中，關(guān)鍵位置一般被視為高爾夫球手在瞄準(zhǔn)、上桿中點(diǎn)、上桿頂點(diǎn)、下桿中點(diǎn)、擊球以及送桿時(shí)的位置。然而，這些位置僅以舉例的方式提及并且高爾夫揮桿中的任何其它位置可被視為關(guān)鍵位置。例如，體育運(yùn)動的位置僅鑒于其被選擇用于顯示給用戶的事實(shí)可以被視為關(guān)鍵位置。
[0107]顯示體育運(yùn)動的視頻的部分(在運(yùn)動的任一側(cè)上無任何多余視頻)將通常是但并非總是第一個關(guān)鍵位置與最后一個關(guān)鍵位置之間的視頻的部分。在高爾夫揮桿的情況下，相關(guān)視頻部分包括展示瞄準(zhǔn)位置的幀與展示送桿位置或完成位置的地址之間的所有圖像幀。在其它實(shí)施方案中，可根據(jù)需要提取視頻的其它部分。所需視頻片段的開始或結(jié)束可以特定方式涉及例如在從第一個關(guān)鍵位置到最后一個關(guān)鍵位置的某一時(shí)間內(nèi)或多個幀內(nèi)的某些關(guān)鍵位置。
[0108]在步驟107，由處理器202輸出的分析結(jié)果被顯示在顯示裝置203上。顯示裝置203可包括如本領(lǐng)域中已知能夠顯示圖像幀和視頻鏡頭的任何合適裝置。在一些實(shí)施方案中，顯示裝置203被具體實(shí)施在與處理器202和/或視頻捕獲裝置201相同的設(shè)備中。例如，顯示裝置203可包括移動電話上的屏幕。
[0109]在步驟108，輸出的結(jié)果還可被自動分析并且以改進(jìn)指令的形式提供反饋。例如，在高爾夫揮桿的情況下，可檢測到高爾夫球桿瞄準(zhǔn)時(shí)的位置(下文論述)。如果高爾夫球桿所成角度過大或過小，那么可以檢測到這種情況并且提供合適反饋，例如(“靠近/遠(yuǎn)離球”)。
[0110]根據(jù)本發(fā)明的一些實(shí)施方案的顯示分析結(jié)果的方式將在下文進(jìn)行描述。
[0111]圖3是構(gòu)成根據(jù)本發(fā)明的實(shí)施方案的高爾夫球手的視頻300的多個圖像幀301的圖示。以30幀/秒(fps)獲得的視頻記錄的持續(xù)時(shí)間是近似23秒。為方便起見，僅每5個圖像幀中的一個展示在圖3中。在視頻期間，高爾夫球手完成四次高爾夫高揮桿并且展示這些揮桿的圖像幀被 突顯并且被標(biāo)記為302。
[0112]視頻300是一系列T個圖像幀X(t)，每個以數(shù)據(jù)表示。每個圖像幀X由Ρ=[ι\ xnj個像素組成，其中I是圖像幀中像素的行數(shù)，且η。是像素的列數(shù)。圖像幀可被表示為:
[0113]Χ(?) = [χ(?)^.],其中 i=l, 2,..., nr, j=l, 2，...，nc 且 t=l, 2，...，Τ。
[0114]圖4是示出根據(jù)本發(fā)明的一個實(shí)施方案的分析視頻數(shù)據(jù)的方法400中的步驟的流程圖。圖4中所示的方法400可以在線視頻分析方法實(shí)施。
[0115]在步驟401，使用Tc圖像幀進(jìn)行分析。1^可以等于或小于Τ。在所論述的實(shí)施方案中，Κ，使得分析所有可用數(shù)據(jù)。然而，如果僅分析可用幀的子集，那么可以加速處理，但是必須分析足夠數(shù)量的幀以得到所要結(jié)果。在高速視頻的情況下(例如，每秒30個或更多個幀)，可能并非需要所有圖像幀用于更快速處理以及確保幀之間的圖像的充分改變使得可在圖像幀之間進(jìn)行有意義的比較。
[0116]圖像幀可作為具有像素強(qiáng)度X的灰度圖像處理，其中x(t)是[0，最大像素強(qiáng)度]中的一個數(shù)。使用灰度簡化所述方法。在其它實(shí)施方案中，可使用其它度量，例如像素中的顏色成分。
[0117]在步驟402，選擇當(dāng)前圖像幀來進(jìn)行分析。在一個實(shí)施方案中，所述方法可以按順序?qū)σ曨l中待分析的圖像幀進(jìn)行分析。在另一實(shí)施方案中，所述方法可以每隔幾幀進(jìn)行分析以試圖得出結(jié)果，而無需分析每個幀，僅根據(jù)需要對其它幀進(jìn)行分析。在其它實(shí)施方案中，可使用其它方式來選擇圖像幀的順序以進(jìn)行分析。[0118]在步驟403，計(jì)算幀差或差分圖像D(t)。幀差是當(dāng)前圖像幀X(t)的PC個像素中的每個與過去或?qū)淼牧硪粓D像幀X(t-m)的對應(yīng)像素之間的絕對差分，其中m是t之前幀的數(shù)目。
[0119]D (t) = I X (t) -X (t-m) |。
[0120]在其它實(shí)施方案中，D(t)是作為對應(yīng)像素的另一差分函數(shù)計(jì)算。例如，差分圖像D(t)可以是方差、變換差分、絕對差分對數(shù)、對數(shù)差分等等。
[0121]在一些實(shí)施方案中，m=± I。即，幀差是基于前一個圖像幀或后一個圖像幀之間的差分。然而，m可以是任何整數(shù)。例如在對高速視頻進(jìn)行更快速處理以及檢測幀之間的圖像的更大改變的情況下，可以使用大于I的整數(shù)。
[0122]在一個實(shí)施方案中，Pc=P,即圖像幀中的所有像素與另一圖像幀中的像素進(jìn)行比較。然而，在一些實(shí)施方案中，P。小于P，使得在每個幀中僅對像素的子集進(jìn)行比較或僅對下采樣(即，分辨率減小)幀進(jìn)行比較。這可以提高效率，尤其是在無需處理所有像素即可達(dá)成充足結(jié)果的高分辨率圖像的情況下。在另一實(shí)施方案中，在幀之間對像素組進(jìn)行比較。
[0123]在步驟404，計(jì)算一個或多個幀差度量。在當(dāng)前論述的實(shí)施方案中，其中圖像幀由像素組成。幀差度量包括幀或其統(tǒng)計(jì)值之間的像素差度量。例如，在步驟404a，計(jì)算差分比DRatio (dthres)。差分比是在差分圖像D中超過預(yù)定強(qiáng)度閾值dttoes的像素的比例。
[0124]DRatio (dthres) =Count ([(Iij]≤ dthres) / (nrX nc)。
[0125]差分比是差分圖像中移動量(即圖像幀之間的移動量)的度量。這是全局度量，因?yàn)槠渖婕罢麄€圖像幀(與在像素或`子圖像水平下的移動的局部度量相反)。DRatio (dthres)的高位值指示幀之間的大量移動。其對于圖像的旋轉(zhuǎn)變換而言是不變的。
[0126]在步驟404b，計(jì)算差分位置指示符。假定選定強(qiáng)度閾值ettoes，那么對應(yīng)于D中超過eth_的像素的二元矩陣E可被定義為:
[0127]E= [(Iij] ^ ethres。
[0128]使eh=[ Σ ^eijl) Σ ^eij2)...Σ ^eijj)]成為總列數(shù) E 的向量，且使ev=[ Σ」(氣」)Σ j(e2，j)...Σ j(ei，j)]成為總行數(shù)E的向量。下列差分位置指示符被定義為:
[0129]水平差分位置指示符:HDPrctile(p) =第p個百分位數(shù)(eh)
[0130]垂直差分位置指示符:VDPrctile(p) =第p個百分位數(shù)(ev)
[0131]以上定義的水平和垂直差分位置指示符是圖像幀之間的移動位置的度量。P值可以是任意值但是可以例如從[5，25，50，75，95]中選取且多個值還可用于給出一個以上差分位置指示符。
[0132]圖5是根據(jù)本發(fā)明的一個實(shí)施方案的分析結(jié)果的圖示。圖5示出被分析X(t)的幀501。幀501是高爾夫球手的高爾夫揮桿方式中的部分的圖像。幀差D(t)示于圖像502中。這展示在幀501與比較幀(在本實(shí)例中，其是緊接著的幀)之間存在差異的所有像素。圖像503示出像素在幀差中超過預(yù)定閾值ettoes的位置。圖形504和505分別示出幀差中超過預(yù)定閾值ethres的像素的垂直分布和水平分布。連接圖形504和505與圖像503的線展示第5、第50和第95個百分位數(shù)的近似位置，即HDPrctile(p)和VDPrctile (p)中的每個的三個不同值，其中P等于5、50和95。
[0133]圖6是涉及由根據(jù)本發(fā)明的一個實(shí)施方案的方法計(jì)算的多個圖像幀的數(shù)據(jù)的圖示。圖形602是圖像幀之間的移動量的度量DRatio對時(shí)間(或幀數(shù))的制圖。圖形603是圖像幀之間的移動位置的度量VDPrctile (50)對時(shí)間的制圖。VDPrctile (50)是超過幀差中的某個閾值的像素的垂直位置的中間值。注意圖形603的y軸上的標(biāo)簽與繪制數(shù)據(jù)的方式相反，事實(shí)上，在圖形頂部y=0且在底部y=200。
[0134]再參考圖4，現(xiàn)在將描述根據(jù)本發(fā)明的一個實(shí)施方案的分析幀差度量來識別高爾夫球手揮桿的關(guān)鍵位置的步驟。在本實(shí)施方案中，使用簡單的時(shí)間識別策略。下文論述的方法的細(xì)節(jié)涉及分析高爾夫球手的側(cè)視圖視頻(按照圖3)。
[0135]在步驟405，高斯濾波器可被應(yīng)用于所計(jì)算的時(shí)間幀差度量數(shù)據(jù)，目前為止用來減小數(shù)據(jù)中的噪音。
[0136]在步驟406，試圖在幀差度量數(shù)據(jù)中識別揮桿階段。區(qū)域604、605和606展示在圖形602和603的數(shù)據(jù)中識別揮桿階段的結(jié)果。區(qū)域604展示不表示高揮桿的模式。區(qū)域605和606指示與幀差度量數(shù)據(jù)中的模式相關(guān)的揮桿階段。更特定地說，識別四個不同的揮桿階段。在圖6中，這些揮桿階段被稱為“開始”、“上-下”、“下-上”和“結(jié)束”。每個揮桿階段的特征在于幀差度量數(shù)據(jù)的模式。例如，在開始和結(jié)束階段期間，DRatio的值相對較小，指示小的整體移動。在上-下階段中間，DRatio和VDPrctiIe (50)同時(shí)擊到谷底(因此在圖603中，VDPrctile (50)是高的，因?yàn)閥軸是倒置的)，指示移動最小且移動位置處于其最高點(diǎn)的下桿頂點(diǎn)。在下-上階段或下桿期間，DRatio是最高的，因?yàn)樯眢w移動最大。普遍使用的峰檢測方法可被用來識別數(shù)據(jù)中的峰或谷。
[0137]完整的揮桿必須包含連續(xù)的所有4個階段。因此該揮桿階段特有的特性化模式的檢測和一行連續(xù)的4個階段被用來識別數(shù)據(jù)中的完整揮桿。成功的揮桿識別也可被證實(shí)，例如通過確定每個階段的持續(xù)時(shí)間。在以每秒30個幀進(jìn)行視頻記錄的情況下，對于大多數(shù)高爾夫揮桿，每個揮桿階段應(yīng)不長于約60個幀。
[0138]在決策步驟407，確定是否已經(jīng)識別揮桿。例如，揮桿的檢測可能需要檢測將被連續(xù)檢測的所有4個揮桿階段。如果尚未識別揮桿，那么方法返回至步驟402，分析視頻數(shù)據(jù)中另一圖像幀的數(shù)據(jù)。如果已經(jīng)識別揮桿，那么方法繼續(xù)前進(jìn)到步驟409。
[0139]在步驟408，基于數(shù)據(jù)中所識別的揮桿階段，識別展示揮桿的關(guān)鍵位置的圖像幀。圖7是如圖6所示的圖形603的部分的圖示。圖7所示的圖形701是包括表示第一次完整揮桿的數(shù)據(jù)的圖形603的部分。
[0140]下文說明如何識別展示關(guān)鍵揮桿位置的圖像幀的實(shí)例:
[0141]瞄準(zhǔn)-在開始階段VDPrctile (50)中的主峰位置；
[0142]揮桿頂點(diǎn)-上-下階段中VDPrctile (50)中的主谷的位置；
[0143]擊球-下-上階段中VDPrctile (50)中的主峰的位置；
[0144]收桿-結(jié)束階段中VDPrctile (50)中的主谷的位置；和
[0145]上桿和下桿-如果峰到谷(Peak-to-Tough)=開始階段VDPrctile (50)中的主峰-上-下階段中VDPrctile (50)中的主峰,且交比(CrossRatio)=用于確定上桿位置和下桿位置的峰到谷的選取比率，那么上桿幀和下桿幀=瞄準(zhǔn)幀和擊球幀之間的第一個位置和最后一個位置，其中VDPrctile(50)分別在第一個位置和第二個位置處于谷上方交叉(交比*峰到谷)。在一個實(shí)施方案中，交比近似等于0.3。在另一實(shí)施方案中，可選擇0.5。
[0146]在本發(fā)明的一些實(shí)施方案中，可使用目標(biāo)檢測方法來識別體育運(yùn)動中的某些目標(biāo)并且可選地使用所述目標(biāo)檢測來幫助或證實(shí)揮桿階段和/或關(guān)鍵位置的識別。在高爾夫揮桿分析的情況下，可使用高爾夫球桿檢測方法，例如直線檢測算法。
[0147]再參考圖6，圖形601示出圖形幀的霍夫變換中峰角檢測的結(jié)果。S卩，圖形601中的數(shù)據(jù)表示圖像幀中高爾夫球桿的角度。在替代實(shí)施方案中，可使用拉冬變換或任何其它合適算法?？稍谇驐U相對靜止的瞄準(zhǔn)位置和收桿位置處進(jìn)行最精確地識別球桿角度和位置。
[0148]在圖4中的步驟409，輸出其中示出關(guān)鍵揮桿位置的圖像幀。圖8是示出在根據(jù)本發(fā)明的實(shí)施方案的方法被應(yīng)用于圖3所示的視頻數(shù)據(jù)時(shí)的關(guān)鍵揮桿位置的圖像的圖示。針對所記錄視頻中四個揮桿中的每個，提供六個關(guān)鍵位置。在所示實(shí)施方案中，已經(jīng)應(yīng)用目標(biāo)檢測算法來指示瞄準(zhǔn)時(shí)高爾夫球桿的位置。這在所有幀中由線來展示。
[0149]在步驟410，輸出展示高爾夫揮桿的初始記錄視頻的部分。這個部分以包括瞄準(zhǔn)位置與收桿位置之間的圖像幀的視頻數(shù)據(jù)的形式輸出，并且也可根據(jù)需要包括這些位置的任一側(cè)的數(shù)個圖像幀。在圖3所示的視頻的情況下，將輸出四個短視頻片段，每個片段示出所記錄的揮桿中的一個。
[0150]由于內(nèi)存需求和處理速度的減小，僅輸出關(guān)鍵位置幀而不輸出所提取的高爾夫揮桿片段可能是有利的。
[0151]在步驟410之后，方法可返回到步驟402以繼續(xù)分析可能存在的任何更多揮桿的視頻。
[0152]應(yīng)注意，本發(fā)明的方法步驟中的一些可以同時(shí)發(fā)生或以不同順序發(fā)生。僅出于說明目的，圖4的步驟被展示為依次進(jìn)行。通過視情況同時(shí)執(zhí)行方法的一些步驟，本發(fā)明的方法能夠滿足“實(shí)時(shí)”操作，或至少極短的處理時(shí)間。
[0153]圖9是根據(jù)本發(fā)明的另一實(shí)施方案示出關(guān)鍵揮桿位置的圖像的圖示。圖9示出“專業(yè)球手”揮桿901的關(guān)鍵揮桿位置且這些關(guān)鍵揮桿位置與對象902的三次揮桿的等效關(guān)鍵揮桿位置對齊。以此方式顯示圖像幀對于對象將其揮桿與專業(yè)球手的揮桿進(jìn)行比較極其有用。
[0154]在圖9的圖像幀中，在所有幀中顯示第一條線903，其標(biāo)記瞄準(zhǔn)幀中高爾夫球桿的位置。在優(yōu)選實(shí)施方案中，使用目標(biāo)檢測算法(諸如霍夫變換)構(gòu)建這條線。還構(gòu)建并顯示第二條線904。已發(fā)現(xiàn)將第二條線904繪制成與第一條線903近似成17° (其中這個角度對著高爾夫球桿頭)提供有用的教學(xué)工具。第二條線904跨高爾夫球手的肩膀而經(jīng)過?？赡苄枰^察到身體的某些部位相對于第二條線904的位置，例如在擊球時(shí)高爾夫球手的手應(yīng)該大致在第一條線903與第二條線904之間。
[0155]在分析高爾夫球手的前視圖的另一實(shí)施方案中，構(gòu)建并顯示在瞄準(zhǔn)位置時(shí)近似延伸穿過高爾夫球桿的垂直線。再者可以使用適當(dāng)?shù)哪繕?biāo)檢測算法來達(dá)成這種做法。這對于觀察整個揮桿過程中高爾夫球手的頭部相對于這條線的移動可能是有用的。
[0156]在本發(fā)明的一個實(shí)施方案中，僅使用幀差度量DRatio來識別揮桿階段且因此識別關(guān)鍵幀位置。在另一實(shí)施方案中，垂直方向上的移動量可以是用來識別揮桿階段且因此識別關(guān)鍵幀位置的幀差度量。不同度量可以在識別體育運(yùn)動中提供不同優(yōu)點(diǎn)且因此在不同場合下可能是有用的。在其它實(shí)施方案中，使用一個以上幀差度量并且度量之間的交叉證實(shí)可以提高運(yùn)動分析方法的精確性。識別不同揮桿階段和關(guān)鍵位置的規(guī)則可能需要根據(jù)使用何種度量而改變。
[0157]如上文所論述，幀差度量可以包括HDPrctile (P)和VDPrctile (p)，即超過預(yù)定閾值的幀差中像素的各自垂直分布和水平分布。在一些情況下，計(jì)算沿著旋轉(zhuǎn)角度的這類分布使得移動變化更精確地預(yù)測所捕獲運(yùn)動可能更加有利。例如，在高爾夫揮桿的情況下，可以計(jì)算在瞄準(zhǔn)位置時(shí)在平行于球桿的平面的方向上的分布。在瞄準(zhǔn)位置時(shí)在垂直于球桿的平面的方向上的分布可能無法產(chǎn)生最優(yōu)結(jié)果，因?yàn)樵谶@個方向上高爾夫球移動將是最小的。
[0158]上述實(shí)例說明可如何在從后面捕獲的高爾夫揮桿的視頻數(shù)據(jù)中識別揮桿階段且因此識別關(guān)鍵位置。用于識別所述揮桿階段和關(guān)鍵位置的規(guī)則限于展示這個特定角度的這種類型的體育運(yùn)動的視頻。然而，原理可以簡單地適于延伸所述方法以在已經(jīng)識別幀差度量中的適當(dāng)模式時(shí)識別其它角度以及其它體育運(yùn)動的運(yùn)動階段和關(guān)鍵位置。
[0159]在上述實(shí)例中，基于規(guī)則的模型被用來從幀差度量識別揮桿階段和關(guān)鍵位置。在其它實(shí)施方案中，可以使用用于數(shù)據(jù)分類、識別和回歸的其它預(yù)測性和/或機(jī)器學(xué)習(xí)模型，諸如隱馬爾可夫模型(Hidden Markov Model),狀態(tài)空間模型、有限狀態(tài)機(jī)、回歸方法、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)以及模糊邏輯。當(dāng)遇到學(xué)習(xí)許多不同類型的體育運(yùn)動并將其分類的任務(wù)時(shí)，利用機(jī)器學(xué)習(xí)技術(shù)的方法特別有利。
[0160]在本發(fā)明的替代實(shí)施方案中，幀差度量(其為圖像幀之間的移動速度的度量)的計(jì)算被用來分析體育運(yùn)動視頻。例如，計(jì)算圖像幀之間的像素移動的速度(由速度和方向兩者組成)。
[0161]在本發(fā)明的一個實(shí)施方案中可以使用光流技術(shù)來計(jì)算相鄰幀之間的所有像素的像素移動速度?？蓪⑷魏我阎墓饬骷夹g(shù)應(yīng)用于圖像幀中的像素或像素組，其使用鄰近相關(guān)功能來導(dǎo)出像素移動速度值。這些速度是可針對時(shí)間繪出并被分析以用與已描述的方式類似的方式來識別揮桿階段和關(guān)鍵位置圖像幀的幀差度量值。
[0162]在其中使用光流技術(shù)的本發(fā)明的實(shí)施方案中，應(yīng)用圖像穩(wěn)定算法可能是有利的，因?yàn)楣饬飨蛄靠勺鳛閳D像穩(wěn)定算法的部分來計(jì)算(例如，如在H.Farid和J.B.Woodward于2007 年 9 月所著的 Video Stabilization and Enhancement, TR2007-605, Department ofComputer Science, Dartmouth College中所述),其隨后可以在分析方法中使用，因此獲得使用圖像穩(wěn)定算法和改進(jìn)處理速度的優(yōu)點(diǎn)。
[0163]光流技術(shù)相較于上文關(guān)于圖4論述的方法可能具有更大的計(jì)算量，這是因?yàn)楣饬骷夹g(shù)計(jì)算受關(guān)注的每個像素/像素組的像素/像素組速度的局部估計(jì)。
[0164]在本發(fā)明的一些實(shí)施方案中，提供一種具體實(shí)施本發(fā)明方法的計(jì)算機(jī)程序產(chǎn)品。例如，能夠?qū)σ曨l數(shù)據(jù)執(zhí)行本發(fā)明的分析的程序可能能夠被安裝在計(jì)算機(jī)或計(jì)算裝置上，諸如移動電話或平板計(jì)算機(jī)。在一個實(shí)施方案中，計(jì)算機(jī)程序產(chǎn)品可作為可安裝在裝置上的可下載產(chǎn)品使用。例如，計(jì)算機(jī)程序產(chǎn)品可被供應(yīng)為移動電話上的應(yīng)用程序。
[0165]下文提供被配置為執(zhí)行根據(jù)本發(fā)明的一個實(shí)施方案的體育運(yùn)動分析方法的部分的計(jì)算機(jī)程序產(chǎn)品的偽代碼:
[0166]
【權(quán)利要求】
1.一種分析視頻的方法，所述視頻的至少一部分顯示體育運(yùn)動，所述方法包括下列步驟: 接收表示T個圖像幀的數(shù)據(jù)； 針對Tc個所述圖像幀中的每個，計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量； 分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述方法還包括識別顯示所述體育運(yùn)動的所述視頻的部分的所述步驟。
3.根據(jù)權(quán)利要求2所述的方法，其中，識別顯示所述體育運(yùn)動的所述視頻的所述部分的所述步驟包括選擇在所述體育運(yùn)動的兩個所述關(guān)鍵位置之間的圖像幀。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括從所述幀差度量識別所述體育運(yùn)動的一個或多個運(yùn)動階段。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述方法包括使用所述運(yùn)動階段的識別來識別所述體育運(yùn)動的所述關(guān)鍵位置。
6.根據(jù)前述權(quán)利 要求中任一項(xiàng)所述的方法，其中，所述一個或多個幀差度量包括下列度量中的一個或多個: 圖像幀之間的移動量的度量； 圖像幀之間的移動位置的度量；和 圖像幀之間的移動的速度或其導(dǎo)數(shù)的度量，其中，所述導(dǎo)數(shù)是加速度。
7.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，每個幀差度量是幀之間的差的全局度量。
8.根據(jù)前述權(quán)利要求1到6中任一項(xiàng)所述的方法，其中，每個幀差度量是幀之間的差的局部度量。
9.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，每個圖像幀包括P個像素或像素組并且所述方法還包括: 針對所述Tc個圖像幀中的每個，將P。個像素或像素組中的每個與另一圖像幀中的對應(yīng)像素或像素組進(jìn)行比較且計(jì)算一個或多個像素差度量。
10.根據(jù)權(quán)利要求9中所述的方法，其中，所述像素差度量包括像素或像素組之間的強(qiáng)度差。
11.根據(jù)權(quán)利要求9到10中任一項(xiàng)所述的方法，其中，所述方法包括基于所述一個或多個像素差度量計(jì)算所述一個或多個幀差度量。
12.根據(jù)權(quán)利要求9到11中任一項(xiàng)所述的方法，其中，所述方法包括計(jì)算圖像幀之間的像素差度量的統(tǒng)計(jì)值。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述方法包括計(jì)算超過預(yù)定閾值的像素差度量的統(tǒng)計(jì)值。
14.根據(jù)權(quán)利要求9到13中任一項(xiàng)所述的方法，其中，所述像素差度量包括下列度量中的一個或多個: 圖像幀之間的像素移動量的度量； 圖像幀之間的像素移動位置的度量；圖像幀之間的像素移動的速度或其導(dǎo)數(shù)的度量，其中，所述導(dǎo)數(shù)是加速度。
15.根據(jù)權(quán)利要求12到14中任一項(xiàng)所述的方法，其中，所計(jì)算的像素差度量的所述統(tǒng)計(jì)值可包括以下項(xiàng)中的一個或多個:中間值、平均值、第η個百分位數(shù)、標(biāo)準(zhǔn)偏差。
16.根據(jù)權(quán)利要求1到8中任一項(xiàng)所述的方法，其中，所述方法包括: 針對Tc個圖像幀中的每個，確定所述像素或像素組與另一圖像幀中的對應(yīng)像素或像素組之間的光流。
17.根據(jù)權(quán)利要求16所述的方法，其中，確定光流的所述步驟包括確定每個圖像幀與另一圖像幀之間的像素或像素組之間的局部相關(guān)性。
18.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，分析所述幀差度量以識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀的所述步驟包括: 識別幀差度量中時(shí)間變化的多個模式；和 使每個模式與所述體育運(yùn)動的所述運(yùn)動階段之一相關(guān)。
19.根據(jù)權(quán)利要求18所述的方法，其中，識別多個模式的所述步驟包括識別幀差度量中的所述時(shí)間變化的峰 和/或谷。
20.根據(jù)權(quán)利要求19所述的方法，其中，識別多個模式的所述步驟包括識別圖像幀之間的垂直像素移動中的峰和/或谷。
21.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括使用決策模型來分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
22.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法包括將圖像改進(jìn)算法應(yīng)用于所述視頻的步驟。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述方法還包括將圖像穩(wěn)定算法應(yīng)用于所述視頻。
24.根據(jù)權(quán)利要求23所述的方法，當(dāng)其附屬于權(quán)利要求16時(shí)，其中，所述方法包括應(yīng)用包括計(jì)算光流向量的圖像穩(wěn)定算法且隨后使用所述光流向量來計(jì)算所述幀差度量。
25.根據(jù)權(quán)利要求22到24中任一項(xiàng)所述的方法，其中，所述圖像改進(jìn)算法包括對比增強(qiáng)算法。
26.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，分析所述幀差度量的所述步驟包括將降噪濾波器應(yīng)用于幀差度量中的時(shí)間變化。
27.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，針對計(jì)算所述幀差度量的每個步驟，所述另一圖像幀與所述圖像幀分開預(yù)定數(shù)量的圖像幀。
28.根據(jù)權(quán)利要求27所述的方法，其中，所述另一圖像幀是在先或隨后的幀。
29.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，幀差度量被計(jì)算的圖像幀的數(shù)目Τ。等于所述視頻數(shù)據(jù)中的圖像幀數(shù)目Τ。
30.根據(jù)權(quán)利要求9到29中任一項(xiàng)所述的方法，當(dāng)附屬于權(quán)利要求9時(shí)，其中，像素或像素組的數(shù)目Pc等于所述圖像幀中的像素或像素組的數(shù)目P。
31.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括將表示展示所述體育運(yùn)動的所述關(guān)鍵位置的所述圖像幀和/或顯示所述體育運(yùn)動的所述視頻的所述部分的數(shù)據(jù)寫入計(jì)算機(jī)可讀介質(zhì)。
32.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法包括下列步驟:輸出展示所述體育運(yùn)動的所述關(guān)鍵位置的所述圖像幀和/或在顯示裝置上顯示所述體育運(yùn)動的所述視頻的所述部分。
33.根據(jù)權(quán)利要求32所述的方法，其中，所述方法還包括使兩個體育運(yùn)動同步以及在所述顯示裝置上一起顯示所述兩個體育運(yùn)動。
34.根據(jù)權(quán)利要求33所述的方法，其中所，述同步的方法包括同時(shí)顯示每個體育運(yùn)動的所述關(guān)鍵位置的圖像幀。
35.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法包括在視頻捕獲裝置上記錄所述視頻。
36.根據(jù)權(quán)利要求35所述的方法，其中，在所述視頻捕獲裝置上執(zhí)行分析所述視頻的所述方法。
37.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括計(jì)算指示所述體育運(yùn)動的持續(xù)時(shí)間的值。
38.根據(jù)權(quán)利要求37所述的方法，其中，指示所述體育運(yùn)動的所述持續(xù)時(shí)間的所述值包括展示兩個所述關(guān)鍵位置中的圖像幀之間消逝的時(shí)間。
39.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述體育運(yùn)動是高爾夫揮桿。
40.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括在一個或多個所述圖像幀中識別目標(biāo)。
41.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法包括在展示所述體育運(yùn)動的所述關(guān)鍵位置之一的所述圖像幀的至少一個中識別所述目標(biāo)。
42.根據(jù)權(quán)利要求41所述的方法，其中，所述方法包括使用霍夫或拉冬變換方法來識別高爾夫球桿。
43.根據(jù)權(quán)利要求40到42中任一項(xiàng)所述的方法，其中，所述方法包括構(gòu)建一條或多條線以及在一個或多個所述圖像幀上顯示所述一條或多條線。
44.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中，所述方法還包括分析所述圖像幀和因此提供改進(jìn)指令。
45.一種用于分析視頻的設(shè)備，所述視頻的至少一部分顯示體育運(yùn)動，所述設(shè)備包括: 用于接收表示T個圖像幀的數(shù)據(jù)的裝置； 用于針對Tc個所述圖像幀中的每個來計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量的裝置； 用于分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀的裝置。
46.根據(jù)權(quán)利要求45所述的設(shè)備，其中，所述設(shè)備還包括用于記錄所述視頻的視頻捕獲裝置。
47.根據(jù)權(quán)利要求45或46所述的設(shè)備，其中，所述設(shè)備還包括用于顯示所述關(guān)鍵位置圖像幀的顯示裝置。
48.根據(jù)權(quán)利要求47所述的設(shè)備，其中，所述設(shè)備包括移動電話、移動平板計(jì)算機(jī)、或膝上型計(jì)算機(jī)。
49.一種用于分析視頻的系統(tǒng)，所述視頻的至少一部分顯示體育運(yùn)動，所述系統(tǒng)包括: 用于接收表示T個圖像幀的數(shù)據(jù)的裝置；用于針對Tc個所述圖像幀中的每個來計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量的裝置； 用于分析所述幀差度量來識別各自展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀的裝置。
50.一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)，所述計(jì)算機(jī)程序產(chǎn)品促使所述計(jì)算機(jī)執(zhí)行包括下列步驟的方法: 接收表示T個圖像幀的數(shù)據(jù)； 針對Tc個所述圖像幀中的每個來計(jì)算所述圖像幀與另一圖像幀之間的一個或多個幀差度量； 分析所述幀差度量來識別各自 展示所述體育運(yùn)動的關(guān)鍵位置的多個圖像幀。
【文檔編號】G06K9/46GK103688275SQ201280031761
【公開日】2014年3月26日 申請日期:2012年6月27日 優(yōu)先權(quán)日:2011年6月27日
【發(fā)明者】陳信恒 申請人:陳信恒