一種在足球場地畫面上疊加虛擬圖形的操作方法及裝置制造方法
【專利摘要】本發(fā)明公開了一種在足球場地畫面上疊加虛擬圖形的操作方法及裝置，其中，所述方法包括：在足球場地畫面的圖像上識別參考標志線；依據(jù)所述參考標志線確定所述足球場地的實際標志線；依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上。本發(fā)明提高了對足球場地的識別精度，提高了虛擬圖形疊加的匹配度，能更適配足球比賽轉(zhuǎn)播的要求。
【專利說明】一種在足球場地畫面上疊加虛擬圖形的操作方法及裝置
【技術領域】
[0001]本發(fā)明涉及圖像處理的【技術領域】，具體涉及一種在足球場地畫面上疊加虛擬圖形的操作方法，以及一種在足球場地畫面上疊加虛擬圖形的操作裝置。
【背景技術】
[0002]在電視轉(zhuǎn)播過程中，常需要在電視畫面上疊加虛擬圖形以幫助觀眾更好的理解和欣賞所收看的電視節(jié)目。尤其是在體育賽事的轉(zhuǎn)播過程中，針對不同的體育項目，需要因地制宜地在比賽場上展示比賽成績、場地特征、運動員數(shù)據(jù)、贊助商等信息，例如，需要在田徑項目的比賽中展示世界記錄線，在游泳項目的比賽中展示泳道上所鋪設的國旗，以及，在足球項目的比賽中展示越位線和罰球9碼線等，這些虛擬圖形往往需要作為實際場景的一部分，融合到實際場景之中。
[0003]為了實現(xiàn)虛實融合的效果，需要計算機能實時跟蹤攝像機的變化，以求在攝像機轉(zhuǎn)動或變焦的同時，虛擬圖形也能進行相應地變化，讓虛擬圖形和實際場景始終貼合。
[0004]為了保證計算機能實時跟蹤攝像機的變化，通常采用的技術主要有兩種方法，傳感器方法和圖像方法。具體而言，傳感器方法是通過在攝像機云臺的齒輪中內(nèi)嵌傳感器，實時記錄攝像機轉(zhuǎn)動或變焦信息，從而計算出虛擬圖形的相應變化；圖像方法是通過對場景的直接識別，計算出攝像機轉(zhuǎn)動或變焦時場景在圖像空間的變化，從而計算出虛擬圖形的相應變化。
[0005]在足球比賽的轉(zhuǎn)播過程中，由于疊加虛擬圖形的準確性將影響觀眾的理解判斷，因此實現(xiàn)在場地畫面上疊加虛擬圖形的操作，需要對足球場地有較高的識別精度要求；由于足球場地面積較大，足球比賽過程形勢多變，因而需要布置繁多的攝像機機位。若采用傳感器方法，為了捕捉到需要的比賽畫面，通常需要在每一臺攝像機上都安裝傳感器，則成本過高，而且，每臺攝像機在轉(zhuǎn)播過程中的作用不同，構(gòu)成不同的軟件系統(tǒng)，由這些傳感器和攝像機分類部屬組成的硬件系統(tǒng)將過于復雜；若采用圖像方法，由于足球場地容易受到人員或其它物體遮擋或污損，極易造成在實際中無法選點或者選點不準確的情況，對足球場地的識別就難以完成或者識別不夠準確，從而虛擬圖形的疊加就難以完成或者疊加不夠準確，達不到足球比賽轉(zhuǎn)播的要求。
[0006]因此，目前需要本領域技術人員迫切解決的一個技術問題就是:提供一種在足球場地畫面上疊加虛擬圖形的操作方法及裝置，用以提高對足球場地的識別精度，提高虛擬圖形疊加的匹配度，以更適配足球比賽轉(zhuǎn)播的要求。

【發(fā)明內(nèi)容】

[0007]本申請所要解決的技術問題是提供一種在足球場地畫面上疊加虛擬圖形的操作方法，用以提高對足球場地的識別精度，從而能提高虛擬圖形疊加的匹配度，以更適配足球比賽轉(zhuǎn)播的要求。
[0008]本發(fā)明還提供了一種在足球場地畫面上疊加虛擬圖形的操作裝置，用以保證上述方法的實現(xiàn)及應用。
[0009]為了解決上述問題，本申請公開了一種在足球場地畫面上疊加虛擬圖形的操作方法，包括:
[0010]在足球場地畫面的圖像上識別參考標志線；
[0011]依據(jù)所述參考標志線確定所述足球場地的實際標志線；
[0012]依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0013]優(yōu)選地，所述依據(jù)所述參考標志線確定所述足球場地的實際標志線的步驟包括:
[0014]遍歷各條參考標志線，提取形成夾角的直線對；
[0015]當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和；
[0016]將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線；
[0017]獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立；
[0018]若成立，則判定所述基準標志線為當前足球場地上相應的實際標志線；
[0019]采用已標注出的實際標志線，對未標注出的參考標志線進行標注，直至標注出的實際標志線至少滿足預設條件，所述預設條件為獲得不完全平行的四條及以上的直線。
[0020]優(yōu)選地，所述在足球場地畫面的圖像上識別參考標志線的步驟包括:
[0021]獲取所述足球場地畫面的圖像的場地蒙板；
[0022]從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
[0023]優(yōu)選地，所述基準標志線為所述足球場地的禁區(qū)端線和底線；
[0024]所述預置規(guī)則包括:
[0025]所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交；
[0026]所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點；
[0027]所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點；
[0028]其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
[0029]優(yōu)選地，所述依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上的步驟包括:
[0030]計算所述實際標志線的交點；
[0031]依據(jù)所述交點計算單應矩陣；
[0032]將所述單應矩陣擴充為投影矩陣；
[0033]采用所述投影矩陣生成虛擬圖形；
[0034]將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0035]優(yōu)選地，所述依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上的步驟還包括:
[0036]在依據(jù)所述交點計算單應矩陣的子步驟之前，
[0037]接收輸入點；[0038]采用所述輸入點矯正所述交點；
[0039]以及，
[0040]在將所述單應矩陣擴充為投影矩陣的子步驟之前，
[0041 ] 對所述單應矩陣進行濾波。
[0042]本申請還公開了一種在足球場地畫面上疊加虛擬圖形的操作裝置，包括:
[0043]參考標志線標定模塊，用于在足球場地畫面的圖像上標定參考標志線；
[0044]實際標志線標定模塊，用于依據(jù)所述參考標志線確定所述足球場地的實際標志線.[0045]虛擬圖形疊加模塊，用于依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上；
[0046]其中，所述實際標志線標定模塊包括:
[0047]直線提取子模塊，用于遍歷各條參考標志線，提取形成夾角的直線對；
[0048]長度計算子模塊，用于當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和；
[0049]基準標志線標注子模塊，用于將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線；
[0050]驗證子模塊，用于獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立；
[0051]判定子模塊，用于在所述其他參考標志線與所述基準標志線的關聯(lián)關系成立時，判定所述基準標志線為當前足球場地上相應的實際標志線；
[0052]識別子模塊，用于采用已標注出的實際標志線，對未標注出的參考標志線進行識另IJ，并將識別出的參考標志線作為實際標志線進行標注；
[0053]確認完成子模塊，用于在標注出的實際標志線滿足預設條件時，完成所述實際標志線的確定，所述預設條件為不完全平行的四條及以上的直線。
[0054]優(yōu)選地,所述參考標志線標定模塊包括:
[0055]蒙板獲取子模塊，用于獲取所述足球場地畫面的圖像的場地蒙板；
[0056]參考標志線提取子模塊，用于從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
[0057]優(yōu)選地，所述基準標志線為所述足球場地的禁區(qū)端線和底線；
[0058]所述預置規(guī)則包括:
[0059]所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交；
[0060]所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點；
[0061]所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點；
[0062]其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
[0063]優(yōu)選地，所述虛擬圖形疊加模塊包括:
[0064]交點計算子模塊，用于計算所述實際標志線的交點；
[0065]單應矩陣計算子模塊，用于依據(jù)所述交點計算單應矩陣；[0066]投影矩陣擴充子模塊，用于將所述單應矩陣擴充為投影矩陣；
[0067]虛擬圖形生成子模塊，用于采用所述投影矩陣生成虛擬圖形；
[0068]虛擬圖形疊加子模塊，用于將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0069]與現(xiàn)有技術相比，本申請包括以下優(yōu)點:
[0070]本發(fā)明通過判定基準標志線為當前足球場地上相應的實際標志線，以及采用已標注出的實際標志線，對未標注出的參考標志線進行識別，并將識別出的參考標志線作為實際標志線進行標注，從而將參考標志線和實際標志線一一對應，精確地識別出場景的基本位置和方位，以及實際標志線在足球場地畫面的圖像上的位置，因而，提高了對足球場地的識別精度。
[0071]本發(fā)明通過依據(jù)實際標志線的交點計算單應矩陣，采用由單應矩陣擴充的投影矩陣生成虛擬圖形，避免了虛擬圖形的疊加難以完成或者疊加不夠準確的問題，從而提高了虛擬圖形疊加的匹配度，可以更適配足球比賽轉(zhuǎn)播的要求。
[0072]本發(fā)明通過采用輸入點矯正交點，避免了以局部平面標定整體平面單應矩陣的問題，通過對單應矩陣進行濾波，避免了當攝像機移動時，單應矩陣因噪聲而晃動的問題，進一步提高了對足球場地的識別精度。
【專利附圖】

【附圖說明】
[0073]圖1是本發(fā)明實施例的一種在足球場地畫面上疊加虛擬圖形的操作方法實施例的步驟流程圖；
[0074]圖2是本發(fā)明實施例的一種示例中足球場地畫面的輸入圖像的示意圖；
[0075]圖3是本發(fā)明實施例的一種示例中綠色色鍵的鍵二值的示意圖；
[0076]圖4是本發(fā)明實施例的一種示例中場地蒙板的示意圖；
[0077]圖5是本發(fā)明實施例的一種示例中白色色鍵的鍵二值的示意圖；
[0078]圖6是本發(fā)明實施例的一種示例中一種步驟102的優(yōu)選示例的實際標志線標定的示意圖；
[0079]圖7是本發(fā)明實施例的一種示例中事件發(fā)生時刻足球場地畫面的輸入圖像的示意圖；
[0080]圖8是本發(fā)明實施例的一種示例中9碼線疊加效果示意圖；
[0081]圖9是本發(fā)明實施例的一種示例中越位線疊加效果示意圖；
[0082]圖10是本發(fā)明實施例的一種在足球場地畫面上疊加虛擬圖形的操作裝置實施例的結(jié)構(gòu)框圖。
【具體實施方式】
[0083]為使本發(fā)明實施例的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結(jié)合附圖和【具體實施方式】對本發(fā)明實施例作進一步詳細的說明。
[0084]本發(fā)明實施例的核心構(gòu)思之一在于，在輸入的足球場地畫面的圖像中，根據(jù)基準標志線判斷足球場地的基本位置和方位，再根據(jù)判斷出來的足球場地的基本位置和方位信息，標注參考標志線，相較于現(xiàn)有技術而言，本發(fā)明所采用的參考標志線具有準確性，即使其部分受到遮擋或者污損，仍然能夠準確與實際標志線一一對應，從而可以建立足球場地和圖像平面之間的單應矩陣，有效解決對足球場地的識別難以完成或者識別不夠準確的問題，提高對足球場地的識別精度。
[0085]參照圖1，示出了本發(fā)明實施例的一種在足球場地畫面上疊加虛擬圖形的操作方法實施例的步驟流程圖，具體可以包括如下步驟:
[0086]步驟101，在足球場地畫面的圖像上識別參考標志線；
[0087]需要說明的是，足球場地畫面的圖像可以為通過連接攝像機采集的足球場地畫面的輸入圖像，標志線是指足球場地上的邊線、底線、中線、中圈線、禁區(qū)線(大禁區(qū)、小禁區(qū))、禁區(qū)弧線和角球線，在本發(fā)明實施例中，所述參考標志線，是指初步識別出來的參考用的足球場地上的標志線。
[0088]在本發(fā)明的一種優(yōu)選實施例中，所述步驟101具體可以包括如下子步驟:
[0089]子步驟S11，獲取所述足球場地畫面的圖像的場地蒙板；
[0090]子步驟S12，從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
[0091]作為本發(fā)明實施例具體應用的一種示例，針對攝像機采集的足球場地畫面的輸入圖像可以通過內(nèi)置的綠色色鍵進行扣像，之后，可以通過在綠色色鍵的鍵二值圖上找出等值線，以最大的等值線為草皮區(qū)域，剔除草皮區(qū)域之外的背景；以最大等值線內(nèi)一級子等值線為球員，將其剔除。這樣就得到了一個場地蒙板，該場地蒙板只露出草皮區(qū)域和白色標志線。
[0092]然后，輸入 圖像可以通過內(nèi)置的白色色鍵，將足球場地上的白色標志線提取出來，并將其余部分置零。
[0093]最后，在經(jīng)過兩個色鍵處理得到的輸入圖像上，利用霍夫變換識別出白色線段，然后對白色線段進行合并，將斷線連成一整條參考標志線。此時參考標志線未必對應于實際標志線，可能由噪聲產(chǎn)生。
[0094]在具體實現(xiàn)中，扣像的原理就是把圖像中特有的顏色扣除，從而加上想要的效果。等值線具有以下性質(zhì):通常為一條光滑連續(xù)曲線；對于給定的某個高度值的平面，相應的等值線數(shù)量不止一條；由于定義域是有界的，等值線可能是閉合的，也可能是不封閉的；等值線一般不相互交錯。
[0095]當然，上述標定參考標志線的處理方法只是作為示例，在實施本發(fā)明實施例時，可以根據(jù)實際情況設置其他標定參考標志線的處理方法，本發(fā)明實施例對此不加以限制。另外，除了上述標定參考標志線的處理方法外，本領域技術人員還可以根據(jù)實際需要采用其它標定參考標志線的處理方法，本發(fā)明實施例對此也不加以限制。
[0096]步驟102，依據(jù)所述參考標志線確定所述足球場地的實際標志線；
[0097]在本發(fā)明實施例中，所述實際標志線是指依據(jù)參考標志線進一步識別判定出來的足球場地上的實際的標志線。
[0098]在本發(fā)明的一種優(yōu)選實施例中，所述步驟102具體可以包括如下子步驟:
[0099]子步驟S201，遍歷各條參考標志線，提取形成夾角的直線對；
[0100]子步驟S202，當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和；
[0101]子步驟S203，將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線.-^4 ，[0102]子步驟S204，獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立；
[0103]子步驟S205，若成立，將判定所述基準標志線為當前足球場地上相應的實際標志線.[0104]子步驟S206，采用已標注出的實際標志線，對未標注出的參考標志線進行標注，直至標注出的實際標志線至少滿足預設條件，所述預設條件為獲得不完全平行的四條及以上的直線。
[0105]在具體實現(xiàn)中，上述子步驟可以由推斷器實現(xiàn)。在本發(fā)明實施例中，所述推斷器的一個任務是標注足夠多的參考標志線，推斷器主要有兩部分組成:自下而上推斷場地部分和自上而下標示場地部分。自下而上推斷場地部分是指通過場地里的一些元素和片斷，來判斷場地的核心信息，比如說“這有一個鼻子，這有兩個眼睛，所以這應該有一個人臉”；自上而下標示場地部分是指通過場地的核心信息判斷元素和片斷的屬性信息，比如說“雖然開始并沒有在這找到一個耳朵，但通過鼻子和眼睛的信息我知道了這有一個人臉，所以我猜測這應該是一個耳朵，再去圖像上找一找，是不是真有”。
[0106]自下而上推斷場地部分實現(xiàn)的主要依據(jù)是:一是，足球場地為長方形，主要由兩組平行線段組成，由于投影效應，平行線在圖像空間不平行，但是通常攝像機機位離足球場地都有一定距離，平行線之間在圖像空間夾角較?。欢?，實際標志線通常較長。
[0107]具體而言，自下而上推斷場地部分采用了建議-確認-修改的模式，即根據(jù)某些依據(jù)，推斷器首先建議一個推斷結(jié)果，再通過其它參考標志線驗證這一推斷，如果建議成功，則進入自上而下標示場地部分，否則修改建議。無論自下而上推斷場地部分是否找到足夠多的直線，推斷器都進入自上而下標示場地部分，利用已識別出來的足球場地信息，對未識別成功的參考標志線進行標示。經(jīng)過自上而下標示場地部分，如果推斷器識別出足夠多的實際標志線，則推斷器推斷成功；如果推斷器仍未標注出足夠多的實際標志線，則推斷器返回錯誤。未成功標注出實際標志線的原因主要有兩個:一是，足球場地畫面中的參考標志線不夠多，原則上無法標注；二是，由于參考標志線被球員遮擋或者草皮被污損，導致個別實際標志線未成功標注。
[0108]此外，推斷器的設計還要考慮防錯機制，即如果推斷器推斷錯誤，則不應該由錯誤的推斷結(jié)果計算單應矩陣，因為錯誤的單應矩陣，會導致虛擬圖形劇烈波動，因此，推斷器的另一個任務是判斷自身是否工作正常，如果推斷器工作不正常，則跳過此幀，此時的單應矩陣拷貝上次成功推斷時得到的單應矩陣。
[0109]需要說明的是，足夠多的直線是指能成功識別出球場的直線數(shù)目，嚴格來說是不完全平行的四條及以上的直線。不完全平行的四條及以上的直線指的是，四條及以上的直線中任一的直線至少有一條與其平行的直線，且所有直線不全平行。
[0110]為使本領域技術人員更好地理解本發(fā)明，以下通過一個具體示例對本發(fā)明實施例的步驟102作進一步說明。
[0111]參照圖6，示出了本發(fā)明實施例的一種步驟102的優(yōu)選示例的實際標志線標定圖像，具體可以包括如下子步驟:
[0112]第一步，將直線O、直線1、直線2、直線3、直線4、直線5、直線6兩兩組合成直線對；[0113]第二步，直線O與直線1、直線O與直線2、直線I與直線2、直線3與直線4、直線3與直線5和直線4與直線5組成的直線對在預設的角度閾值范圍(pi/8?pi/6)內(nèi)，計算各直線對的長度之和；
[0114]第三步，所述長度之和最大的直線對為直線O與直線2的組合，標注為禁區(qū)端線和底線的組合；
[0115]第四步，獲取與直線對為直線O與直線2的組合關聯(lián)的直線3，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立；所述預置規(guī)則包括:
[0116]所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交；
[0117]所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點；
[0118]所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點；
[0119]其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
[0120]第五步，直線3與直線對為直線O與直線2的組合關聯(lián)關系成立，判定直線O與直線2為禁區(qū)端線和底線的組合；
[0121]第六步，采用標注為禁區(qū)端線和底線的組合，對未標注的禁區(qū)的左邊線進行識別，直線3經(jīng)過直線2的左端點，將直線3標注為禁區(qū)的左邊線；
[0122]第七步，采用標注為禁區(qū)端線和底線的組合，對未標注的禁區(qū)的右邊線進行識別，直線6經(jīng)過直線2的右端點，將直線6標注為禁區(qū)的右邊線；
[0123]第八步，標注的禁區(qū)端線和底線、禁區(qū)的左邊線以及禁區(qū)的右邊線滿足預設條件，完成所述實際標志線的確定，所述預設條件為不完全平行的四條及以上的直線。
[0124]在本發(fā)明實施例的示例中，自下而上推斷場地部分就是通過參考標志線判斷足球場地，自上而下標示場地部分就是通過被判斷的足球場地標示其余參考標志線。
[0125]更具體地說，在計算機中預設了兩條直線間夾角閾值的一個范圍，對于輸入圖像中滿足此閾值的直線對，計算其長度之和，按照排序算法，對所述長度之和進行從大到小排序，得到長度之和最大的直線組合被建議為禁區(qū)端線和底線的組合，推斷器進而通過其他直線和這兩條直線的相交關系來驗證此建議，建議直接被驗證，推斷器自下而上推斷場地部分推斷成功，進入自上而下標示場地部分，利用已識別出來的禁區(qū)端線和底線的組合，對其余的參考標志線進行標示。
[0126]所述排序算法為任意一種排序算法，比如快速排序，所述排序算法可以由本領域技術人員任意選用，本發(fā)明對此無需加以限制。
[0127]當然，上述確定實際標志線的處理方法只是作為示例，在實施本發(fā)明實施例時，可以根據(jù)實際情況設置其他確定實際標志線的處理方法，本發(fā)明實施例對此不加以限制。另夕卜，除了上述確定實際標志線的處理方法外，本領域技術人員還可以根據(jù)實際需要采用其它確定實際標志線的處理方法，本發(fā)明實施例對此也不加以限制。
[0128]步驟103，依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上；
[0129]需要說明的是，虛擬圖形可以為表示越位線的直線、表示9碼線的圓等等其他圖形，本領域技術人員可以根據(jù)足球比賽轉(zhuǎn)播需要制定相應的圖形，本發(fā)明實施例對此不加以限制。
[0130]在本發(fā)明的一種優(yōu)選實施例中，所述步驟103具體可以包括如下子步驟:
[0131]子步驟S301，計算所述實際標志線的交點；
[0132]子步驟S302，依據(jù)所述交點計算單應矩陣；
[0133]子步驟S303，將所述單應矩陣擴充為投影矩陣；
[0134]子步驟S304，采用所述投影矩陣生成虛擬圖形；
[0135]子步驟S305，將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0136]在具體實現(xiàn)中，單應矩陣是表示兩個平面單應關系的矩陣，通過實際標志線可由任意優(yōu)化算法獲得，比如最小二乘法計算單應矩陣。
[0137]將單應矩陣擴充為投影矩陣，即為將單應矩陣中其它元素置零。因此，可以先將3D圖形渲染成2D圖形，之后再利用單應矩陣進行投影，所謂進行投影，就是乘以單應矩陣。
[0138]在本發(fā)明的另一種優(yōu)選實施例中，所述步驟103具體可以包括如下子步驟:
[0139]子步驟S301，計算所述實際標志線的交點；
[0140]子步驟S302，接收輸入點；
[0141]子步驟S303，采用所述輸入點矯正所述交點；
[0142]子步驟S304，依據(jù)所述交點計算單應矩陣；
[0143]子步驟S305，對所述單應矩陣進行濾波。
[0144]子步驟S306，將所述單應矩陣擴充為投影矩陣；
[0145]子步驟S307，采用所述投影矩陣生成虛擬圖形；
[0146]子步驟S308，將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0147]在具體實現(xiàn)中，如果識別出來的實際標志線的交點比較集中，則會有以局部平面標定整體平面單應矩陣的問題，此時場地的識別精度可能會達不到足球比賽轉(zhuǎn)播的要求，因此需要接收輸入點信息，輸入點可以是大禁區(qū)弧線與端線的交點，矯正可以是計算輸入點和平均位移之和，平均位移可以通過計算其余交點的位移平均值得到，濾波可以通過將單應矩陣代入卡爾曼濾波器中進行，從而保證當攝像機移動時，單應矩陣不會因噪聲而晃動。在采用卡爾曼濾波的時候，動力學模型為慣性模型，即如果沒有新的測量量，卡爾曼濾波器將預測單應矩陣的元素勻速變化。
[0148]為便于本領域技術人員更好地理解本發(fā)明，以下以在足球比賽轉(zhuǎn)播中疊加9碼線和越位線為例，簡單說明虛擬圖形疊加至當前足球場地畫面的圖像上的方法。
[0149]例如，
[0150]為了在足球場地畫面的圖像上預定位置疊加9碼線，需要知道9碼線在足球場地的位置和該9碼線在足球場地畫面的圖像上的位置之間的對應關系，即需要建立足球場和圖像平面之間投影映射關系。
[0151]將多機位的攝像機信號接給計算機，攝像機機位之間利用板卡切換，攝像機實時采集選中機位的比賽畫面，在計算機內(nèi)存中緩存5秒左右的比賽畫面以供回放系統(tǒng)使用，需要疊加9碼線時，攝像機對準罰球點，獲得如圖7所示場地，令計算機識別場地，計算足球場平面和圖像平面之間的單應矩陣，依據(jù)前述單應矩陣描述即可得知，至此，即求出了單應矩陣。單應矩陣進行投影得到投影矩陣；選取球的位置，依據(jù)投影矩陣生成表示9碼線的圓，此圓以球為圓心，虛擬圖形就疊加至當前足球場地畫面的圖像上了，如圖8所示，操作渲染單元播出9碼線的圓。
[0152]又如，
[0153]為了在足球場地畫面的圖像上預定位置疊加越位線，需要知道越位線在足球場地的位置和該越位線在足球場地畫面的圖像上的位置之間的對應關系，即需要建立足球場和圖像平面之間投影映射關系。
[0154]將多機位的攝像機信號接給計算機，攝像機機位之間利用板卡切換，攝像機實時采集選中機位的比賽畫面，在計算機內(nèi)存中緩存5秒左右的比賽畫面以供回放系統(tǒng)使用，需要疊加越位線時，回放系統(tǒng)回放輸入圖像到越位發(fā)生時刻，獲得如圖7所示場地，令計算機識別場地，計算足球場和圖像平面之間的單應矩陣，依據(jù)前述單應矩陣描述即可得知，至此，即求出了單應矩陣。單應矩陣進行投影得到投影矩陣；選取最后一名防守隊員位置，依據(jù)投影矩陣生成表示越位線的直線，虛擬圖形就疊加至當前足球場地畫面的圖像上了，如圖9所示，進一步回放到越位發(fā)生時刻之前，在播放到越位發(fā)生時刻時，操作渲染單元播出越位線。
[0155]對于方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本發(fā)明實施例并不受所描述的動作順序的限制，因為依據(jù)本發(fā)明實施例，某些步驟可以采用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作并不一定是本發(fā)明實施例所必須的。
[0156]參考圖10，示出了本發(fā)明實施例的一種在足球場地畫面上疊加虛擬圖形的操作裝置實施例的結(jié)構(gòu)框圖，具體可以包括以下模塊:
[0157]參考標志線標定模塊1001，用于在足球場地畫面的圖像上識別參考標志線；
[0158]實際標志線標定模塊1002，用于依據(jù)所述參考標志線確定所述足球場地的實際標志線；
[0159]虛擬圖形疊加模塊1003，用于依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上；
[0160]作為一種優(yōu)選實施例，所述實際標志線標注模塊1002包括:
[0161]直線提取子模塊，用于遍歷各條參考標志線，提取形成夾角的直線對；
[0162]長度計算子模塊，用于當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和；
[0163]基準標志線標注子模塊，用于將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線；
[0164]作為另一優(yōu)選實施例，所述基準標志線為所述足球場地的禁區(qū)端線和底線；
[0165]驗證子模塊，用于獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立；
[0166]判定子模塊，用于在所述其他參考標志線與所述基準標志線的關聯(lián)關系成立時，則判定所述基準標志線為當前足球場地上相應的實際標志線；
[0167]標注子模塊，用于采用已標注出的實際標志線，對未標注出的參考標志線進行標注，直至標注出的實際標志線至少滿足預設條件，所述預設條件為獲得不完全平行的四條及以上的直線。
[0168]作為另一優(yōu)選實施例,所述參考標志線標定模塊1001包括:[0169]蒙板獲取子模塊，用于獲取所述足球場地畫面的圖像的場地蒙板；
[0170]參考標志線提取子模塊，用于從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
[0171]作為另一優(yōu)選實施例，所述基準標志線為所述足球場地的禁區(qū)端線和底線；
[0172]所述預置規(guī)則包括:
[0173]所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交；
[0174]所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點；
[0175]所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點；
[0176]其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
[0177]作為另一優(yōu)選實施例，所述虛擬圖形疊加模塊1003包括:
[0178]交點計算子模塊，用于計算所述實際標志線的交點；
[0179]單應矩陣計算子模塊，用于依據(jù)所述交點計算單應矩陣；
[0180]投影矩陣擴充子模塊，用于將所述單應矩陣擴充為投影矩陣；
[0181]虛擬 圖形生成子模塊，用于采用所述投影矩陣生成虛擬圖形；
[0182]虛擬圖形疊加子模塊，用于將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
[0183]作為另一優(yōu)選實施例，所述虛擬圖形疊加模塊1003還包括:
[0184]輸入點接收子模塊，用于接收輸入點；
[0185]交點矯正子模塊,用于采用所述輸入點矯正所述交點；
[0186]以及，
[0187]濾波子模塊，用于對所述單應矩陣進行濾波。
[0188]由于本發(fā)明的裝置實施例基本相應于前述的方法實施例，故本實施例的描述中未詳盡之處，可以參見前述實施例中的相關說明，在此就不贅述了。
[0189]盡管已描述了本發(fā)明實施例的優(yōu)選實施例，但本領域內(nèi)的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例做出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明實施例范圍的所有變更和修改。
[0190]最后，還需要說明的是，在本文中，諸如第一和第二等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。而且，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者移動設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者移動設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者移動設備中還存在另外的相同要素。
[0191]以上對本發(fā)明實施例所提供的一種在足球場地畫面上疊加虛擬圖形的操作方法及裝置，進行了詳細介紹，本文中應用了具體個例對本發(fā)明實施例的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明實施例的方法及其核心思想；同時，對于本領域的一般技術人員，依據(jù)本發(fā)明實施例的思想，在【具體實施方式】及應用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應理解為對本發(fā)明實施例的限制。
【權利要求】
1.一種在足球場地畫面上疊加虛擬圖形的操作方法，其特征在于，包括: 在足球場地畫面的圖像上識別參考標志線； 依據(jù)所述參考標志線確定所述足球場地的實際標志線； 依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
2.根據(jù)權利要求1所述的方法，其特征在于，所述依據(jù)所述參考標志線確定所述足球場地的實際標志線的步驟包括: 遍歷各條參考標志線，提取形成夾角的直線對； 當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和； 將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線； 獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立； 若成立，則判定所述基準標志線為當前足球場地上相應的實際標志線； 采用已標注出的實際標志線，對未標注出的參考標志線進行標注，直至標注出的實際標志線至少滿足預設條件，所述預設條件為獲得不完全平行的四條及以上的直線。
3.根據(jù)權利要求1所述的方法，其特征在于，所述在足球場地畫面的圖像上識別參考標志線的步驟包括: 獲取所述足球場地畫面的圖像的場地蒙板； 從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
4.根據(jù)權利要求2所述的方法，其特征在于，所述基準標志線為所述足球場地的禁區(qū)端線和底線； 所述預置規(guī)則包括: 所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交； 所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點； 所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點； 其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
5.根據(jù)權利要求1或2或3或4所述的方法，其特征在于，所述依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上的步驟包括: 計算所述實際標志線的交點； 依據(jù)所述交點計算單應矩陣； 將所述單應矩陣擴充為投影矩陣； 采用所述投影矩陣生成虛擬圖形； 將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
6.根據(jù)權利要求5所述的方法，其特征在于，所述依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上的步驟還包括: 在依據(jù)所述交點計算單應矩陣的子步驟之前，接收輸入點； 采用所述輸入點矯正所述交點； 以及， 在將所述單應矩陣擴充為投影矩陣的子步驟之前， 對所述單應矩陣進行濾波。
7.—種在足球場地畫面上疊加虛擬圖形的操作裝置，其特征在于，包括: 參考標志線標定模塊，用于在足球場地畫面的圖像上標定參考標志線； 實際標志線標定模塊，用于依據(jù)所述參考標志線確定所述足球場地的實際標志線；虛擬圖形疊加模塊，用于依據(jù)所述實際標志線生成虛擬圖形，將所述虛擬圖形疊加至當前足球場地畫面的圖像上； 其中，所述實際標志線標定模塊包括: 直線提取子模塊，用于遍歷各條參考標志線，提取形成夾角的直線對； 長度計算子模塊，用于當所述直線對形成的夾角在預設的角度閾值范圍內(nèi)時，則計算所述直線對的長度之和； 基準標志線標注子模塊 ，用于將所述長度之和最大的直線對所對應的參考標志線標注為基準標志線； 驗證子模塊，用于獲取與所述基準標志線關聯(lián)的其他參考標志線，并按照預置規(guī)則驗證所述其他參考標志線與所述基準標志線的關聯(lián)關系是否成立； 判定子模塊，用于在所述其他參考標志線與所述基準標志線的關聯(lián)關系成立時，判定所述基準標志線為當前足球場地上相應的實際標志線； 識別子模塊，用于采用已標注出的實際標志線，對未標注出的參考標志線進行識別，并將識別出的參考標志線作為實際標志線進行標注； 確認完成子模塊，用于在標注出的實際標志線滿足預設條件時，完成所述實際標志線的確定，所述預設條件為不完全平行的四條及以上的直線。
8.根據(jù)權利要求7所述的裝置，其特征在于，所述參考標志線標定模塊包括: 蒙板獲取子模塊，用于獲取所述足球場地畫面的圖像的場地蒙板； 參考標志線提取子模塊，用于從所述場地蒙板中提取草皮區(qū)域之上的標志線為參考標志線。
9.根據(jù)權利要求7所述的裝置，其特征在于，所述基準標志線為所述足球場地的禁區(qū)端線和底線； 所述預置規(guī)則包括: 所述禁區(qū)的左邊線應同時與底線和禁區(qū)端線相交； 所述禁區(qū)的左邊線若與底線相交，則應形成丁狀交點； 所述禁區(qū)的左邊線若與禁區(qū)端線相交，則應形成角狀交點； 其中，所述丁狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與一條直線有兩個交點，另一條直線有一個交點；所述角狀交點為，若以交點為圓心，畫一個半徑為相交兩線較小者長度1/4的圓，應該與相交兩線各有一個交點。
10.根據(jù)權利要求7或8或9所述的裝置，其特征在于，所述虛擬圖形疊加模塊包括: 交點計算子模塊，用于計算所述實際標志線的交點；單應矩陣計算子模塊，用于依據(jù)所述交點計算單應矩陣；投影矩陣擴充子模塊，用于將所述單應矩陣擴充為投影矩陣；虛擬圖形生成子模塊，用于采用所述投影矩陣生成虛擬圖形； 虛擬圖形疊加子模塊，用于將所述虛擬圖形疊加至當前足球場地畫面的圖像上。
【文檔編號】G06T11/00GK103606174SQ201310557133
【公開日】2014年2月26日 申請日期:2013年11月11日 優(yōu)先權日:2013年11月11日
【發(fā)明者】閻鶴凌 申請人:新奧特（北京）視頻技術有限公司