專利名稱：方法、裝置和手持機的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法、裝置和手持機。
背景技術(shù)：
當觀看事件或場景 時，獲得場景事件的進一步細節(jié)可能是有用的。這有時被稱作為增強現(xiàn)實。與增強現(xiàn)實相關(guān)的一個問題是在現(xiàn)實生活的圖像上覆蓋評注的速度和精確性。本發(fā)明實施例的目的是解決這些問題。

發(fā)明內(nèi)容
根據(jù)第一方面，提供了一種在顯示器上評注攝像機捕獲的場景圖像中的多個對象的方法，所述方法包括接收i)表示要被應(yīng)用到每個對象的不同評注的元數(shù)據(jù)，和ii)標識圖像中的評注要被應(yīng)用到的場景中每個對象的真實世界位置的位置信息；確定攝像機的焦距和應(yīng)用于攝像機的傾斜；確定攝像機相關(guān)于被捕獲的場景的位置；和根據(jù)位置信息將評注應(yīng)用到攝像機捕獲的圖像。方法還可包括從不同于攝像機的具有場景的視場的圖像捕獲設(shè)備獲得位置信息，并且其中根據(jù)圖像捕獲設(shè)備所捕獲的場景圖像來確定位置信息。方法還可包括根據(jù)所接收的對象的真實世界位置信息、攝像機的位置信息、攝像機的焦距和應(yīng)用于攝像機的傾斜來識別攝像機所捕獲的圖像中的至少一個對象；和根據(jù)所識別對象將評注應(yīng)用于圖像。識別對象的步驟包括檢測圖像中的對象。方法還可包括根據(jù)攝像機的存儲的光學(xué)畸變特征來識別對象。位置信息可以是全球定位系統(tǒng)的位置信息。一個對象可以是位于場景中的靜態(tài)對象，或者是場景中獨特的對象。 方法還可包括存儲元數(shù)據(jù)和根據(jù)所存儲元數(shù)據(jù)顯示評注。根據(jù)另一個方面，提供了一種包括顯示器和攝像機的裝置，顯示器操作為用于顯示具有多個對象的場景圖像，圖像由攝像機捕獲，所述裝置還包括接收設(shè)備，可操作為接收i)表示要被應(yīng)用到每個對象的不同評注的元數(shù)據(jù)，和ii)標識圖像中的評注要被應(yīng)用到的場景中每個對象的真實世界位置的位置信息；確定設(shè)備，可操作為確定攝像機的焦距和應(yīng)用于攝像機的傾斜；和確定攝像機相關(guān)于被捕獲的場景的位置；并且裝置包括控制器，該控制器可操作為根據(jù)位置信息將評注應(yīng)用到攝像機捕獲的圖像。裝置還可包括獲得設(shè)備，該獲得設(shè)備可操作為從不同于攝像機的具有場景的視場的圖像捕獲設(shè)備獲得位置信息，并且其中根據(jù)圖像捕獲設(shè)備所捕獲的場景圖像來確定位置信息。
控制器還可操作為根據(jù)所接收的對象的真實世界位置信息、攝像機的位置信息、攝像機的焦距和應(yīng)用于攝像機的傾斜來識別攝像機所捕獲的圖像中的至少一個對象；和根據(jù)所識別對象將評注應(yīng)用于圖像?？刂破骺刹僮鳛闄z測圖像中的對象。控制器還可操作為根據(jù)攝像機的存儲的光學(xué)畸變特征來識別對象。位置信息可以是全球定位系統(tǒng)的位置信息。一個對象可以是位于場景中的靜態(tài)對象，或者是場景中獨特的對象。裝置還可包括存儲設(shè)備，該存儲設(shè)備可操作為存儲元數(shù)據(jù)并且控制器可操作為根據(jù)所存儲元數(shù)據(jù)顯示評注。
根據(jù)另一個方面，提供了一種移動手持機，其包括用于連接到網(wǎng)絡(luò)的收發(fā)器和根據(jù)上面任何一個實施例所述的裝置。


根據(jù)要結(jié)合附圖來閱讀的說明性實施例的以下詳細描述，本發(fā)明的上面和其它目的、特征和優(yōu)點將是明顯的，在附圖中圖I示出了根據(jù)本發(fā)明第一實施例的系統(tǒng)；圖2示出了第一實施例的系統(tǒng)中的客戶端設(shè)備；圖3示出了根據(jù)本發(fā)明第二實施例的系統(tǒng)；圖4A示出了本發(fā)明第一實施例的服務(wù)器；圖4B示出了本發(fā)明第二實施例的服務(wù)器；圖5示出了說明根據(jù)第一實施例或第二實施例的客戶端設(shè)備向服務(wù)器的注冊處理的流程圖；圖6示出了根據(jù)可應(yīng)用于第一和第二實施例的本發(fā)明示例的對象跟蹤方法的流程圖；圖7A示出了根據(jù)本發(fā)明第一和第二實施例的對象關(guān)鍵字的創(chuàng)建；圖7B示出了根據(jù)本發(fā)明第一和第二實施例的對斜度的3D模型的方向表示的添加；圖8示出了根據(jù)本發(fā)明第一和第二實施例的多個選手和他們相關(guān)聯(lián)的邊界框；圖9示出了根據(jù)本發(fā)明第一和第二實施例的對象跟蹤和遮擋檢測方法的流程圖；圖IOA和IOB示出了根據(jù)本發(fā)明第一和第二實施例的對象跟蹤和遮擋檢測的某些示例；圖11示出了根據(jù)本發(fā)明第一實施例的位于服務(wù)器內(nèi)的重定格式設(shè)備；圖12示出了根據(jù)本發(fā)明第二實施例的位于服務(wù)器內(nèi)的重定格式設(shè)備；圖13是根據(jù)本發(fā)明第一和第二實施例的用于確定攝像機的位置和攝像機視場內(nèi)的對象之間的距離的系統(tǒng)的示意圖；圖14是根據(jù)本發(fā)明第一和第二實施例的用于確定攝像機和攝像機視場內(nèi)的對象之間的距離的系統(tǒng)的示意圖；圖15A示出了根據(jù)本發(fā)明第一實施例的客戶端設(shè)備；圖15B示出了根據(jù)本發(fā)明第二實施例的客戶端設(shè)備；
圖16A示出了位于圖15A的客戶端設(shè)備中的客戶端處理設(shè)備；圖16B示出了位于圖15B的客戶端設(shè)備中的客戶端處理設(shè)備；圖17示出了根據(jù)本發(fā)明另一個實施例的聯(lián)網(wǎng)系統(tǒng)；圖18示出了用于生成突出包的位于圖17的聯(lián)網(wǎng)系統(tǒng)中的根據(jù)第一或第二實施例的客戶端設(shè)備；圖19A和19B示出了用于生成突出包的位于圖17的聯(lián)網(wǎng)系統(tǒng)中的根據(jù)第一或第二實施例的客戶端設(shè)備；圖20示出了根據(jù)本發(fā)明另一個實施例的其中可在便攜式設(shè)備上實現(xiàn)增強現(xiàn)實的體育場的平面圖； 圖21示出了根據(jù)圖20的便攜式設(shè)備的框圖；圖22示出了當啟動增強現(xiàn)實時圖20和圖21的便攜式設(shè)備的顯示器；并且圖23示出了說明本發(fā)明的增強現(xiàn)實實施例的流程圖。
具體實施例方式圖I中示出了系統(tǒng)100。在該系統(tǒng)100中，由攝像機裝置130捕獲場景圖像。在實施例中，場景是體育賽事，例如足球比賽，盡管本發(fā)明不限于此。在該攝像機布置130中，三個高清攝像機位于平臺上(未示出)。裝置130使得能夠生成縫合圖像。裝置130因此具有都捕獲相同場景的不同部分的攝像機，所述不同部分具有每個攝像機之間的視場中的小重疊部分。三個圖像都是高清圖像，其當被縫合在一起時，產(chǎn)生超高清圖像。攝像機布置130中的三個攝像機捕獲的三個高清圖像被饋送到執(zhí)行圖像編輯(例如顏色增強)的圖像處理器135。此外，圖像處理器135從攝像機布置130中的攝像機接收與攝像機參數(shù)(例如焦距、縮放因子等)相關(guān)的元數(shù)據(jù)。增強的圖像和元數(shù)據(jù)被饋送到將在隨后參考圖4A說明的第一實施例的服務(wù)器110或?qū)⒃陔S后參考圖4B說明的第二實施例的服務(wù)器110’。在實施例中，在用戶設(shè)備200A-N中執(zhí)行實際的圖像縫合。然而，為了減少用戶設(shè)備200A-N內(nèi)的計算消耗，在圖像處理設(shè)備135連接到的服務(wù)器110內(nèi)計算執(zhí)行縫合所需的參數(shù)。服務(wù)器110可直接或經(jīng)由網(wǎng)絡(luò)(例如局域網(wǎng)、廣域網(wǎng)或因特網(wǎng))有線或無線地連接到圖像處理器135。計算參數(shù)和實際執(zhí)行縫合的方法在GB 2444566A中描述。在GB 2444566A中還公開了適當類型的攝像機布置130。這里合并了與參數(shù)計算、縫合方法和攝像機布置相關(guān)的GB 2444566A的內(nèi)容。如GB 2444566A中所述，確定用于攝像機布置130中每個攝像機的攝像機參數(shù)。這些參數(shù)包括用于每個攝像機的焦距和相對側(cè)轉(zhuǎn)、斜度和旋轉(zhuǎn)以及校正透鏡畸變、桶形畸變等的參數(shù)并且在服務(wù)器110上被確定。此外，縫合圖像所需的其它參數(shù)，例如色差校正參數(shù)、色度測量和曝光校正參數(shù)，也可在服務(wù)器110中計算。此外，如技術(shù)人員將會理解的，可能有圖像縫合處理中所需的在服務(wù)器110中計算的其它值。這些值在GB2444566A中進行說明并且因此為了簡潔將不在以下進行說明。服務(wù)器110中計算的這些值被發(fā)送到每個用戶設(shè)備200A-N，如將在隨后所說明。除了在服務(wù)器110內(nèi)計算的圖像縫合參數(shù)，也出現(xiàn)其它計算。例如，出現(xiàn)對象檢測和分割，其識別和提取可對其應(yīng)用三維效果的圖像中的對象。還在服務(wù)器110內(nèi)確定標識圖像內(nèi)每個所檢測對象的位置的位置信息。
此外，在服務(wù)器110內(nèi)生成深度圖。深度圖用所捕獲場景中離開攝像機的相應(yīng)距離來分配攝像機所捕獲的圖像中的每個像素。換言之，一旦為所捕獲圖像完成了深度圖，可以確定對應(yīng)于像素的場景中的點和捕獲圖像的攝像機之間的距離。還在服務(wù)器Iio內(nèi)維護的是被周期性更新的背景模型。更新背景模型以使得以不同的速率來更新背景圖像的不同部分。特定地，取決于圖像的部分是否被檢測為先前幀中的選手來更新背景模型。作為候選，服務(wù)器110可具有兩個背景模型。在該情況下，在服務(wù)器110內(nèi)維持長期背景模型和短期背景模型。長期背景模型定義了更長的時段(例如5分鐘)內(nèi)圖像中的背景，而短期模型定義了更短的時段(例如I秒鐘)內(nèi)的背景。短期和長期背景模型的使用使得能夠考慮到短期事件(例如照明變化)。
在服務(wù)器110內(nèi)計算的深度圖被發(fā)送到每個用戶設(shè)備200A-N。在實施例中，攝像機布置130內(nèi)的每個攝像機是固定的。這意味著深度圖不會隨著時間改變。然而，在觸發(fā)以允許新的用戶設(shè)備連接到服務(wù)器110時，用于每個攝像機的深度圖被發(fā)送到每個用戶設(shè)備200A-N。例如，當新用戶設(shè)備向服務(wù)器110注冊時或者按時周期性地，可將深度圖發(fā)送出去。如將會理解的，如果攝像機的視場移動了，將需要更頻繁地重新計算深度圖并且將其發(fā)送到用戶設(shè)備200A-N。然而，還設(shè)想到，深度圖被持續(xù)地發(fā)送到每個用戶設(shè)備200A-N。將在隨后說明生成深度圖和背景模型的方式。此外，將在隨后說明執(zhí)行對象檢測和對象分割的方式。還連接到服務(wù)器110的是多個用戶設(shè)備200A-N。在實施例中，這些用戶設(shè)備200A-N經(jīng)由因特網(wǎng)120連接到服務(wù)器110。然而，要理解本發(fā)明不限于此并且用戶設(shè)備200A-N可經(jīng)由任何類型的網(wǎng)絡(luò)(例如局域網(wǎng)(LAN))連接到服務(wù)器110，或者可有線連接到服務(wù)器110或無線連接到服務(wù)器110。還連接到每個用戶設(shè)備的是相應(yīng)的顯示器205A-N。顯示器205A-N可以是電視、或者監(jiān)視器或能夠顯示可由用戶感覺為三維圖像的圖像的任何種類的顯示器。在本發(fā)明的實施例中，用戶設(shè)備200A-N是PlayStation 3游戲終端。然而，本發(fā)明不限于此。實際上，用戶設(shè)備可以是機頂盒、計算機或能夠處理圖像的任何其它類型的設(shè)備。還經(jīng)由因特網(wǎng)120連接到服務(wù)器110和每個用戶設(shè)備200A-N的是社區(qū)集線器1700(有時稱作為網(wǎng)絡(luò)服務(wù)器)。將在隨后說明社區(qū)集線器1700的結(jié)構(gòu)和功能。圖2中示出了用戶設(shè)備200A的示意圖。用戶設(shè)備包含存儲介質(zhì)220。在本發(fā)明的實施例中，存儲介質(zhì)220是硬盤驅(qū)動器，但是本發(fā)明不限于此。存儲介質(zhì)可以是光學(xué)介質(zhì)、或半導(dǎo)體存儲器等。連接到存儲介質(zhì)220的是中央處理器250。在實施例中，中央處理器250是單元處理器。在實施例中，單元處理器是有利的，因為它特別適于復(fù)雜計算(例如圖像處理)。還連接到中央處理器250的是無線附件接口 210，其可適合于連接到無線附件210A并且與其通信。在實施例中，無線附件210A是用戶操作的設(shè)備，其可以是六軸控制器，盡管本發(fā)明不限于此。六軸控制器允許用戶與用戶設(shè)備200A交互并且對其進行控制。此外，圖形處理器230連接到中央處理器250。圖形處理器230可操作為連接到顯示器205A并且控制顯示器205A顯示立體像。如將會理解的，其它處理器(例如音頻處理器240)連接到中央處理器250。
參考圖3，示出了系統(tǒng)100的不同實施例。該不同系統(tǒng)被稱為100’(其中相同的數(shù)字指代相同的部件)并且被配置為經(jīng)由長期演進3GPP網(wǎng)絡(luò)提供內(nèi)容。在該不同的實施例中，服務(wù)器110’連接到服務(wù)網(wǎng)關(guān)305并且提供特別適于經(jīng)由移動網(wǎng)絡(luò)分發(fā)的內(nèi)容。如技術(shù)人員將會理解的，服務(wù)網(wǎng)關(guān)305向多個增強的節(jié)點B和從其路由用戶數(shù)據(jù)。為了簡潔，圖3中示出了單個增強的節(jié)點B 310。增強的節(jié)點B 310與多個用戶裝置315A-C通信。圖4A示出了服務(wù)器110的實施例。在圖4A的實施例中，圖像處理器135處理的圖像被饋送到圖像縫合設(shè)備1101。如上所述，圖像縫合設(shè)備1101生成由被縫合到一起的三個單獨所捕獲圖像所構(gòu)成的超高清圖片。這在GB 2444566中被描述并且因此將不在以下進行描述。所縫合圖像被饋送到背景生成器1102，背景生成器1102從所縫合圖像移除前景對象。換言之，背景生成器1102生成僅包含所縫合圖像背景的圖像。將在隨后說明背景生成器1102的結(jié)構(gòu)和功能。另外，所縫合圖像被饋送到對象關(guān)鍵字產(chǎn)生設(shè)備1103。其識別所縫合圖像中的前景對象并且確定每個所識別對象的位置，這將被說明。 所生成的背景被饋送到重定格式設(shè)備1104和對象關(guān)鍵字產(chǎn)生設(shè)備1103。重定格式設(shè)備1104將所生成的背景格式化為經(jīng)由網(wǎng)絡(luò)120傳輸更適合的格式，這將在隨后說明。來自對象關(guān)鍵字產(chǎn)生設(shè)備1103的輸出被饋送到加法器1105和先進視頻編碼(AVC)編碼器1106。特定地，對象關(guān)鍵字產(chǎn)生設(shè)備1103的一個輸出可操作為控制與AVC編碼器1106相關(guān)的量化器。AVC編碼器1106的輸出產(chǎn)生包括來自攝像機布置130的縫合圖像和所提取對象的合成流，這將在隨后說明。來自對象關(guān)鍵字產(chǎn)生設(shè)備1103的輸出還包含與對象相關(guān)聯(lián)的元數(shù)據(jù)。例如，元數(shù)據(jù)可包括選手姓名、選手號碼或選手生命信息。該元數(shù)據(jù)被饋送到連接到網(wǎng)絡(luò)120的數(shù)據(jù)流產(chǎn)生設(shè)備1108。重定格式設(shè)備1104的輸出也饋送到加法器1105。來自加法器1105的輸出被饋送到AVC編碼器1106。來自AVC編碼器1106的輸出被饋送到數(shù)據(jù)流產(chǎn)生設(shè)備1108。然后，數(shù)據(jù)流產(chǎn)生設(shè)備1108將信號多路復(fù)用到一起。然后，被多路復(fù)用的流被轉(zhuǎn)換為數(shù)據(jù)分組并且經(jīng)由因特網(wǎng)120傳送到適當?shù)挠脩粼O(shè)備。圖4B示出了候選服務(wù)器110’。在候選服務(wù)器110’中，許多組件與相關(guān)于圖4A所論述的相同。這些相同的組件具有相同的標號。然而，該實施例中的背景生成器1102’沒有到重定格式設(shè)備1104’的輸出。代替地，來自圖像縫合設(shè)備1101的輸出被饋送到背景生成器1102’和重定格式設(shè)備1104’。此外，在候選服務(wù)器110’中，沒有加法器。代替地，來自重定格式設(shè)備1104’的輸出被直接饋送到AVC編碼器1106’。此外，在該實施例中的對象關(guān)鍵字產(chǎn)生設(shè)備1103’不產(chǎn)生如圖4A的實施例中所產(chǎn)生的組合圖像。用戶注冊在從服務(wù)器110向任何用戶設(shè)備200A-N或從候選服務(wù)器110’向用戶裝置315A-C發(fā)送任何內(nèi)容之前，各個設(shè)備或裝置需要向適當?shù)姆?wù)器注冊。以下涉及用戶設(shè)備200A向服務(wù)器110的注冊并且在圖5中說明。應(yīng)當注意，用戶裝置將以相同方式向候選服務(wù)器110’注冊。當用戶開啟用戶設(shè)備200A時，用戶使用無線附件210A來選擇他們希望在顯示器205A上觀看的特定事件。該事件可以是流行音樂會、體育賽事或任何種類的事件。在以下示例中，事件是足球比賽。該選擇是起始步驟S50。為了觀看事件，用戶可需要支付一次性費用，或者事件可以是預(yù)訂包的一部分。該費用或預(yù)訂包可通過在觀看事件之前，在用戶設(shè)備200A中輸入信用卡細節(jié)來購買。作為候選，可通過任何其它方法來購買事件，或者實際上事件可以是免費的。為了觀看事件，用戶將需要向服務(wù)器110注冊。用戶設(shè)備200A因此用作為相關(guān)于服務(wù)器110的客戶端設(shè)備。該注冊發(fā)生在步驟S55并且允許服務(wù)器110從用戶設(shè)備200A獲得必要的信息，例如IP地址等，以使得能夠在服務(wù)器110和用戶設(shè)備200A之間發(fā)生通信。此外，在該階段可由服務(wù)器110收集其它信息，例如與要由用戶觀看的事件相關(guān)的信息，這允許發(fā)生用于該用戶的針對性廣告。在注冊后，在步驟S510中用戶確認他們希望觀看的事件并且確認支付細節(jié)。在步驟S515中，用戶設(shè)備200A從服務(wù)器110和顯示器205A接收初始化信息。來 自顯示器205A的初始化信息可包括與屏幕大小相關(guān)的信息。這可直接從顯示器205A獲得或者由用戶輸入。來自服務(wù)器110的初始化信息可包括深度圖?？身憫?yīng)于來自用戶設(shè)備200A的請求提供初始化信息或者可響應(yīng)于注冊從服務(wù)器110傳送初始化信息。作為候選，初始化信息可周期性地被傳送到連接到服務(wù)器110的每個用戶設(shè)備200A。這里應(yīng)當注意，深度圖僅需要被提供給用戶設(shè)備200A—次，因為攝像機裝置130是固定的。在攝像機裝置130可移動的情況下，那么初始化信息將被更加定期地提供。初始化信息存儲在用戶設(shè)備200A內(nèi)的存儲介質(zhì)220中。在步驟S520中，服務(wù)器110提供已從在圖像縫合設(shè)備1101中縫合到一起的圖像生成的背景的格式化的高清圖像。用戶設(shè)備200A的中央處理器250使用格式化的背景圖像來生成超高清圖像用于顯示。另外，處理器250生成超高清圖像的左版本和右版本和/或超高清圖像的可變視場以顯示超高清圖像的3D(或立體)表示或圖像的視場。如這里所述，用戶還可確定它們希望的事件的視場。將使用接口 210A來選擇該視場。GB 2444566A中還描述了用戶設(shè)備200A使用的允許選擇適當視場的方法。另外，對于每個所捕獲圖像，服務(wù)器110分析圖像以檢測圖像中的對象。該檢測在對象關(guān)鍵字產(chǎn)生設(shè)備1103中執(zhí)行，對象關(guān)鍵字產(chǎn)生設(shè)備1103的功能在下面論述。在檢測圖像中的對象之后，產(chǎn)生對象塊。對象塊包含前景對象。這將在隨后說明。還產(chǎn)生的是標識在圖像中所提取的對象位于哪里的位置數(shù)據(jù)。這也在隨后論述。高清背景圖像、圖像內(nèi)的所分割對象和位置數(shù)據(jù)被發(fā)送到用戶設(shè)備200A。在用戶設(shè)備200A從服務(wù)器110接收前述信息之后，用戶設(shè)備200A生成超高清圖像。這是步驟S325。另外，使用深度圖、分離的對象塊和圖像中所檢測對象的位置數(shù)據(jù)，用戶設(shè)備200A將三維效果應(yīng)用到超高清圖像。此外，其它元數(shù)據(jù)被提供給用戶設(shè)備200A。為了改善用戶體驗，提供對象元數(shù)據(jù)，例如選手信息。此外，連同每一個對象塊一起，可提供宏塊數(shù)目。這標識了與每一個對象塊相關(guān)的宏塊數(shù)目。這減少了將對象塊置于背景圖像上的用戶設(shè)備200A內(nèi)的計算消耗。關(guān)于候選服務(wù)器110’，向用戶裝置320A提供類似信息。然而，在該實施例中，提供了重定格式的所捕獲和所縫合的圖像(而不是服務(wù)器110的實施例的重定格式的背景圖像)。另外，不提供對象塊，因為在該實施例中沒有另外的三維效果被應(yīng)用到所檢測對象。對象檢測和跟蹤
現(xiàn)在將參考圖6、7和8描述根據(jù)本發(fā)明示例的對象跟蹤。特定地，以下的對象檢測和跟蹤指服務(wù)器110。然而，相同的對象檢測和跟蹤技術(shù)用于候選服務(wù)器110’中。圖6示出了根據(jù)本發(fā)明示例的對象跟蹤方法的流程圖。為了跟蹤對象，根據(jù)被檢測為在預(yù)定幀數(shù)目內(nèi)基本靜止的所接收視頻的那部分來構(gòu)建背景模型。在第一步驟S60中，從布置130內(nèi)的一個攝像機接收的視頻圖像(其表示足球場)被處理以構(gòu)建圖像的背景模型。背景模型被構(gòu)建以便創(chuàng)建幫助識別和跟蹤個人選手的前景掩模。前景掩模將被用于生成隨后說明的對象關(guān)鍵字。在步驟S60，通過為每個像素確定像素的均值以及連續(xù)幀之間像素值的差異以便構(gòu)建背景模型，形成背景模型。因此，在像素均值變化不大的連續(xù)幀中，這些像素可被識別為背景像素以便識別前景掩模。該背景/前景分割是圖像處理領(lǐng)域中已知的處理并且本技術(shù)可利用在2004的ICVGIP 會議中公布的 Manzanera 和 Richefeu 的標題為 “A robust and ComputationallyEfficient Motion Detection Algorithm Based on Σ - Δ Background Estimation，，的文檔中所描述的算法。然而，本技術(shù)不應(yīng)當被認為限于該已知技術(shù)并且用于相關(guān)于背景模型生成前景掩模以用于跟蹤的其它技術(shù)也是已知的。 將會理解，在攝像機的視場包含某些觀眾的情況下，觀眾未必被包括在背景模型中，因為他們將可能是走來走去的。這是不期望的，因為可能在執(zhí)行對象跟蹤時增加了單元處理器的處理負載，并且是不必要的，因為大多數(shù)體育廣播員不太可能對跟蹤觀眾中的人感興趣。在本發(fā)明的示例中，可構(gòu)建單個背景模型或者實際上可構(gòu)建兩個背景模型。在構(gòu)建單個背景模型的情況下，取決于在先前幀中的該位置是否檢測到了選手，以不同的速率更新背景的不同部分。例如，在先前幀中存在選手的時候，可不那么頻繁地更新背景以使得選手不會變成背景圖像的一部分。作為候選，在創(chuàng)建兩個背景模型的情況下，一個模型可在比賽開始時構(gòu)建并且甚至可在選手來到球場之前完成。這被稱為長期背景模型。另外，另一個背景模型在比賽期間被周期性地重新計算以便考慮照明條件的任何變化，例如在比賽期間可變化的陰影。這是短期背景模型。在比賽開始時創(chuàng)建的背景模型和被周期性重新計算的背景模型都存儲在服務(wù)器110中，存儲在存儲介質(zhì)中(未示出)。對于以下的說明，使用單個背景模型。在步驟S605中，從來自攝像機的進入圖像去除背景模型以便識別差異區(qū)域。因此，從圖像去除背景模型并且使用結(jié)果圖像來生成用于每個選手的掩模。在步驟S610中，，相對于當已去除背景模型后的結(jié)果圖像版本中的像素值創(chuàng)建閾值。通過首先確定視頻圖像的一系列幀內(nèi)像素的均值來生成背景模型。根據(jù)每個像素的均值，可根據(jù)視頻圖像的幀來計算每個像素的差異。然后，像素的差異用于確定閾值，閾值對于視頻圖像的全部像素中的每個像素將是變化的。對于對應(yīng)于部分圖像的像素，在變化較大時，例如包括觀眾的部分，閾值可被設(shè)置為高值，而對應(yīng)于球場的部分圖像將具有較低的閾值，因為球場的顏色和內(nèi)容將一貫地相同(除去選手的存在)。因此，閾值將確定前景元素是否存在，并且因此可相應(yīng)地識別前景掩模。在步驟S615中，基于與均值人類形狀模型的相關(guān)性的形狀概率被用于提取前景掩模內(nèi)的形狀。此外，從圖像提取顏色特征以便創(chuàng)建顏色概率掩模，以便例如根據(jù)選手襯衣的顏色來識別選手。因此，每個隊襯衣的顏色可被用于將選手相互區(qū)分。為此，月艮務(wù)器110取決于每個足球隊的隊伍裝備的已知顏色來生成顏色模板。因此，需要每個隊的襯衣顏色，守門員和裁判員的襯衣的顏色。然而，將會理解，可使用其它適當?shù)念伾０搴?或匹配處理的模板。上面說明的背景生成在背景生成器1102中執(zhí)行。返回圖6，在步驟S615中，服務(wù)器110比較每個顏色模板的每個像素和與選手圖像的襯衣區(qū)域?qū)?yīng)的像素。然后，服務(wù)器Iio生成表示顏色模板的像素和所選擇像素之間的相似性的概率值，以便基于色相飽和度值(HSV)色空間中離隊伍和襯衣顏色模型的距離形成顏色概率。另外，形狀概率被用于局部化選手，這基于和平均人類形狀模型的相關(guān)性。此夕卜，運動概率基于離由遞歸最小平方估計器使用開始位置、速率和加速度參數(shù)所預(yù)測的位置的距離。圖7A中示出了對象關(guān)鍵字創(chuàng)建設(shè)備1106對對象關(guān)鍵字的創(chuàng)建。圖7A示出了裝置130中的一個攝像機所生成的足球場的攝像機視野710。如已經(jīng)說明的，球場形成背景模型的一部分，而選手730、732、734、736、738、740應(yīng)當形成前景掩模的一部分并且都分別如上所述。選手邊界框(可被稱作為矩形輪廓)被示出為每個選手周圍的虛線。迄今，相關(guān)于攝像機圖像處理來執(zhí)行步驟S60、S605、S610和S615。設(shè)計前景掩模， 在步驟S620中，在首先按到攝像機的接近度排序選手軌跡之后執(zhí)行選手跟蹤。因此，被識別為最接近攝像機的選手被首先處理以便從跟蹤處理去除這些選手。在步驟S630，更新選手位置以便最大化形狀、顏色和運動概率。在步驟S640中，構(gòu)建排除要由其它更接近的選手軌跡覆蓋的已經(jīng)已知的圖像區(qū)域的遮擋掩模。這確保其它選手部分或完全遮擋的選手僅可被匹配到可視圖像區(qū)域。遮擋掩模改善了跟蹤可靠性，因為它減少了跟蹤合并的發(fā)生率(由此在遮擋事件后兩個跟蹤跟隨相同的選手)。這是當許多目標看起來相同時的特定問題，因為它們不能(容易地)按顏色區(qū)分。遮擋掩模允許像素被分配到附近的選手并且從另外的選手被排除，防止兩個軌跡匹配到相同的像素組并且因此維持了他們的不同身份。然后，通過提取攝像機圖像內(nèi)提供的特征并且將它們映射到3D模型來遵循跟蹤每個選手的處理，如圖7A和7B中所示。因此，對于攝像機產(chǎn)生的2D圖像內(nèi)的相應(yīng)位置，將3D位置分配到最大化形狀、顏色和運動概率的選手。如將簡短說明的，如果檢測到遮擋事件，將修改選手從2D圖像到3D模型的選擇和映射。為了幫助從2D圖像到3D模型的映射，在步驟S625中，初始化要跟蹤的選手以便形狀和顏色概率中的峰值被映射到對選手的最適當選擇。應(yīng)當強調(diào)，在步驟S625執(zhí)行的跟蹤初始化僅執(zhí)行一次，通常在跟蹤處理開始時。對于系統(tǒng)的良好跟蹤初始化，選手應(yīng)當被很好地分離。根據(jù)本技術(shù)在跟蹤初始化之后跟蹤選手中的任何錯誤被自動校正，其不需要手工干涉。為了實現(xiàn)根據(jù)2D圖像位置在3D模型中的跟蹤，通過使用射影矩陣P來實現(xiàn)變換。跟蹤需要2D圖像位置可涉及3D模型內(nèi)的位置。該變換通過使用射影(P)矩陣來完成。2D空間中的點等于3D空間中的線
-χ 尸00 尸01 卩02[Χy = Ρ'° Ρη Ρχ1 ρ13 '
I 尸20 Al Pji Pu ζ
-」 O O O I」w2D空間中的點等于3D空間中的線，因為作為離攝像機的距離的第三維度不是已知的并且因此將相應(yīng)地呈現(xiàn)為跨越3D模型的線。對象(選手)的高度可被用于確定離攝像機的距離。通過選擇位于已知地水準平面上固定高度(平均人類高度)處的沿著線的點來獲得3D空間中的點。在攝像機校準處理的匹配之前，針對每個攝像機射影矩陣P被推斷地獲得一次，其中球場的物理特征(例如球場70的角落7la、7Ib、71c、71d被用于確定攝像機參數(shù)，其因此可幫助將所識別的選手的2D位置映射到3D模型。這是已知的技術(shù)，使用確定的方法。根據(jù)物理參數(shù)，射影矩陣P合并攝像機的縮放級別、光心、3D位置和3D旋轉(zhuǎn)向量(當它被指向時)。步驟S630中執(zhí)行的跟蹤算法是可伸縮的并且可在一個或多個攝像機上操作，僅需要球場上的所有點從至少一個攝像機是可見的(以足夠的分辨率)。除了顏色和形狀匹配，步驟S630包括其中還包括被跟蹤的選手的運動的處理以便用更大的概率來正確地識別每個選手。因此，可根據(jù)有關(guān)運動并且在方向上確定幀之間的選手的有關(guān)運動。因此，相對運動可被用于隨后的幀以產(chǎn)生搜索區(qū)域以便識別特定選手。此外，如圖7B中所示，足球場的3D模型可用線730. 1,732. 1,734. 1,736. 1,738. 1,740. I來擴大，線730. 1,732. 1,734. 1,736. 1,738. 1,740. I相對于選手位置的圖形表示來定位以便 反映足球場上選手運動的相對方向。在步驟S640，一旦已在3D模型中識別了選手的相對位置，那么該位置被相應(yīng)地投射回足球場的2D圖像視圖并且圍繞根據(jù)3D模型中選手的位置所識別的選手來投射相對邊界。此外，在步驟S640，然后將選手周圍的相對邊界添加到用于該選手的遮擋掩模。圖7B示出了足球場的虛擬模型220的平面圖。在圖7B中所示的示例中，選手730、732和734 (在球場的左手側(cè))已被服務(wù)器110識別為穿有顏色不同于選手736、738和740 (在球場的右手側(cè))的足球襯衣，因此表示他們在不同的隊伍。以該方式區(qū)分選手使得在遮擋事件之后檢測每個選手更容易，因為可通過他們衣服的顏色容易地對他們相互區(qū)分。返回參考圖6，在步驟S630，使用已知技術(shù)(例如卡爾曼濾波)來跟蹤每個選手的位置，盡管將會理解，可使用其它適當技術(shù)。該跟蹤發(fā)生在攝像機視野710和虛擬模型720中。在本發(fā)明的示例中，由服務(wù)器110使用虛擬模型720中選手的位置來執(zhí)行的速率預(yù)測被用于幫助跟蹤攝像機視野710中的每個選手。重復(fù)步驟S630和S640，直到所有選手已被處理為由判定框S635表示。因此，如果未處理全部選手，那么處理繼續(xù)到步驟S630，而如果處理完成，那么處理在步驟S645結(jié)束。如圖6中所示，所示出的方法包括另外的步驟S650，其在圖像由多個攝像機產(chǎn)生時是必需的。照此，可對于來自每個攝像機的視頻圖像執(zhí)行處理步驟S60到S645。照此，將為每個選手提供來自每個攝像機的檢測概率。因此，根據(jù)步驟S650，根據(jù)來自每個攝像機的用于每個選手的概率和根據(jù)每個攝像機提供的概率中的最高者所估計的選手位置來估計每個選手的位置，以使得用于每個選手的具有最高概率的位置被識別為用于該選手的位置。該位置為上述的位置數(shù)據(jù)。如果已確定在跟蹤足球場上的選手中出現(xiàn)了錯誤，那么在步驟S655中可重新初始化用于該選手的軌跡。在檢測特定選手的概率對于特定軌跡相對較低并且因此重新初始化軌跡的情況下，產(chǎn)生了跟蹤中的錯誤檢測。執(zhí)行圖6中所示方法的結(jié)果是生成用于每個選手的路徑數(shù)據(jù)，其提供了視頻圖像的每個幀中的選手位置，其表示了選手在比賽期間所采取的路徑。該所計算位置是發(fā)送到用戶設(shè)備200A的位置數(shù)據(jù)。因此，路徑數(shù)據(jù)提供相關(guān)于時間的位置。
如果一個選手遮擋了另一個選手的全部或部分，當從單個攝像機視野跟蹤每個選手的位置時可出現(xiàn)問題，如圖8中所示。圖8示出了多個選手810、820、830和840以及與他們相關(guān)的邊界框(如每個選手周圍的虛線所示)。當選手810和840可被清楚地相互區(qū)分時，選手820遮擋了選手830的部分。這是所謂的遮擋事件。在一個選手的全部或部分遮擋了至少一個其他選手的全部或部分使得即使在考慮了其它因素(例如選手的相對運動和方向)之后對選手的跟蹤仍變得模糊，可出現(xiàn)遮擋事件。然而，將會了解，可出現(xiàn)其中涉及兩個或多個選手的遮擋事件。為了檢測遮擋事件，服務(wù)器110檢測與選手相關(guān)的全部或部分掩模是否出現(xiàn)在與和另一個選手相關(guān)的全部或部分掩模相同的圖像區(qū)域中，如圖8中所示。在遮擋事件中涉及的選手在相反的隊伍并且因此具有不同顏色的襯衣的情況下，他們因此可被容易地區(qū)分和跟蹤。然而，在遮擋事件之后，如果選手在相同的隊伍，那么服務(wù)器110可能不能區(qū)分哪個選手是哪個，特別是因為遮擋事件之后他們的運動(其例如由碰撞造成)可能不能預(yù)測，并且因此可能不能正確地跟蹤選手。結(jié)果，分配給每個選手的跟蹤路徑可被交換。
為了解決所跟蹤選手中的模糊，服務(wù)器110用遮擋事件中涉及的所有那些選手的身份來標記遮擋事件中涉及的全部選手。因此，在隨后的時間，如果一個或多個選手變得可易于區(qū)分，服務(wù)器110使用該信息來將選手的身份重新分配到正確的選手，以便維持哪個選手是哪個的記錄。該處理參考圖9來被更詳細地描述。圖9示出了根據(jù)本發(fā)明示例的對象跟蹤和遮擋檢測的方法的流程圖。在步驟S900，服務(wù)器110執(zhí)行對所捕獲視頻圖像的圖像處理以便提取一個或多個圖像特征，如上參考圖6所述。然后，將所提取的圖像特征與從可能的對象示例提取的相應(yīng)圖像特征比較以便識別每個對象。在示例中，根據(jù)襯衣上的號碼來識別選手。然后，服務(wù)器110生成識別每個對象的用于每個對象的對象標識。該標識作為元數(shù)據(jù)結(jié)合圖像和位置信息來存儲。作為候選，在示例中，每個對象(例如選手)經(jīng)由操作者接口由操作者來標識。然后，服務(wù)器110使用從操作者接口輸入的數(shù)據(jù)來生成對象標識數(shù)據(jù)。然而，技術(shù)人員將會理解，圖像識別技術(shù)可與操作者的標識相組合以便生成對象標識數(shù)據(jù)，或者可使用其它適當?shù)膶ο髽俗R方法，例如數(shù)字識別，其通過選手襯衣背面上的號碼來識別選手。在步驟s905，服務(wù)器110依賴于在步驟s900提取的一個或多個圖像特征來檢測要被檢測的任何對象(例如選手)，如上面參考圖6所述。如上所述，還使用虛擬模型720和攝像機視野710來跟蹤每個選手。服務(wù)器110使用在跟蹤處理期間生成的數(shù)據(jù)來生成和存儲描述每個對象在所接收的視頻圖像內(nèi)所采取的路徑的對象路徑數(shù)據(jù)。對象路徑數(shù)據(jù)采用選手相關(guān)于時間的x-y坐標的采樣形式。在本發(fā)明的示例中，路徑數(shù)據(jù)具有格式(\、\、Yi)，其中ti是采樣時間，并且Xi和Ji是對象在采樣時間h的X和y坐標。然而,將會理解，可使用其它適當?shù)穆窂綌?shù)據(jù)格式。在步驟s915，服務(wù)器110記錄用于每個對象的對象標識數(shù)據(jù)連同涉及每個對象在視頻圖像內(nèi)所采用的路徑的對象路徑數(shù)據(jù)。所記錄的數(shù)據(jù)存儲在服務(wù)器110的硬盤驅(qū)動器(HDD)上或動態(tài)隨機訪問存儲器(DRAM)中。這允許保存關(guān)于選手關(guān)聯(lián)于每個所檢測和跟蹤的路徑的記錄。然后，所記錄的數(shù)據(jù)可用于生成關(guān)于每個選手的以及在比賽期間他們在哪里的數(shù)據(jù)。例如，選手在球場特定區(qū)域中所花費的時間可根據(jù)相關(guān)記錄中存儲的數(shù)據(jù)來生成。該信息可在比賽期間或比賽結(jié)束時被發(fā)送到用戶設(shè)備200A，并且可被顯示給用戶(如果他們期望的話)。在本發(fā)明的實施例中，所顯示的所記錄數(shù)據(jù)可包括選手覆蓋的距離等。這將由用戶設(shè)備200A的用戶選擇。此外，如果出于任何原因，選手和路徑之間的關(guān)聯(lián)變得模糊，例如如同可在遮擋事件之后發(fā)生的，那么該記錄可被保存，直到解決了模糊性，如下所述。所記錄的對象標識數(shù)據(jù)連同對象路徑數(shù)據(jù)的示例在下面的表格I中示出。
對象ID t X y
A tx X1 γ1 A t2 x2 y2 A t3 x3 y3
^ ti yt
表格I因此，用于每個對象的對象標識數(shù)據(jù)和用于該對象的對象路徑數(shù)據(jù)之間的關(guān)聯(lián)允許跟蹤和識別每個對象。在上述示例中，可跟蹤每個選手，因此使得廣播員能夠知道哪個選手是哪個，即使選手可能離得太遠而不能由操作者或由服務(wù)器110執(zhí)行的圖像識別可視地識別。這允許廣播員基于該關(guān)聯(lián)來合并廣播內(nèi)容的觀眾可期望找到的另外特征和信息。在步驟S920，服務(wù)器110檢測是否已出現(xiàn)遮擋事件，如上參考圖6所述。如果未檢測到遮擋事件，那么處理返回到其中檢測對象的步驟s905。以該方式，每個對象可被單個地跟蹤并且每個對象的路徑唯一地關(guān)聯(lián)于該對象的身份。然而，如果檢測到遮擋事件，那么在步驟s925，服務(wù)器110將用于遮擋事件中涉及的每個對象的對象標識數(shù)據(jù)與用于遮擋事件中涉及的每個對象的對象路徑數(shù)據(jù)關(guān)聯(lián)。例如，如果標記為A和B的兩個對象分別關(guān)聯(lián)于路徑P和Q，在檢測到涉及對象A和B的遮擋事件之后，路徑P將關(guān)聯(lián)于A和B，并且路徑Q將關(guān)聯(lián)于A和B。然后記錄在遮擋事件之后服務(wù)器110生成的關(guān)聯(lián)，如上所述。這允許跟蹤遮擋事件中涉及的對象(例如選手)，而不必重新識別每個對象，即使關(guān)于哪個選手是哪個存在某些不確定性。因此，減少服務(wù)器110上的處理負載，因為僅遮擋事件中涉及的那些對象被模糊地識別，而遮擋事件中未涉及的對象仍可被識別。在步驟s930，服務(wù)器110檢查來察看是否已識別了遮擋事件中涉及的一個或多個對象，以使得可解決與所生成路徑相關(guān)聯(lián)的對象的身份。通過比較與該對象相關(guān)的一個或多個圖像特征和從可能的對象示例提取的圖像特征，由服務(wù)器110執(zhí)行對至少一個對象的識別。如果未做出識別，那么處理進行到步驟S905，用于每個對象的所生成路徑數(shù)據(jù)關(guān)聯(lián)于遮擋事件中涉及的所有那些對象。然而，如果檢測到出現(xiàn)了遮擋事件中涉及的一個或多個對象的標識，那么在步驟s935，更新所記錄的路徑數(shù)據(jù)以反映被確定地識別的對象的身份。在上面給出的示例中，將更新關(guān)聯(lián)記錄以使得A關(guān)聯(lián)于路徑P，并且B關(guān)聯(lián)于路徑Q。作為候選，由服務(wù)器110使用根據(jù)本發(fā)明示例的圖像識別技術(shù)(如下所述)或通過兩種技術(shù)的組合，可由操作者經(jīng)由操作者接口執(zhí)行對象的識別。然而，將會理解，可使用適于區(qū)分或識別每個對象的任何其它識別技術(shù)。在圖像識別的情況下，服務(wù)器110可生成表示要多可能地校正圖像識別處理所進行的識別的可信度。在本發(fā)明的示例中，識別被確定是在可信度高于預(yù)定閾值的情況下。另外，操作者可向他們的識別分配可信度，并且如果該可信度超過預(yù)定閾值，那么檢測識別。在本發(fā)明的示例中，生成表示何時更新了所記錄路徑數(shù)據(jù)的事件歷史并且這也可被存儲以便在明確的識別變?yōu)椴徽_的情況下用作為備份。例如，當操作者相信遠離攝像機布置130的選手具有特定身份但是當選手更靠近攝像機(允許用戶看到選手的更高分辨率的圖像)時識別可變?yōu)椴徽_。在該情況下，他們可使用操作者接口來覆蓋他們先前對選手的識別，以便服務(wù)器110可因此更新所記錄的路徑數(shù)據(jù)。在上面給出的示例中，識別事 件歷史可存儲在服務(wù)器110的硬盤驅(qū)動器(HDD)上或者動態(tài)隨機訪問存儲器(DRAM)中，該識別事件歷史具有示出在確定的識別之前往往關(guān)聯(lián)于A和B的路徑P以及往往關(guān)聯(lián)于A和B的路徑Q的數(shù)據(jù)。識別事件歷史也可包括在識別處理期間生成的可信度。如果隨后的識別由具有比先前的確定識別更高的可信度的對象形成，那么隨后識別的可信度可被用于驗證或取消先前的驗證。將會理解，在遮擋事件的檢測之后，可在遮擋事件之后的任何時刻識別對象以便對遮擋事件中涉及的對象消除歧義。因此，在遮擋事件的檢測之后，作為與步驟sl05到sl25同時運行的后臺處理，服務(wù)器110可監(jiān)測是否已出現(xiàn)了對象的確定識別。現(xiàn)在將參考圖IOa和IOb描述根據(jù)本發(fā)明示例的對象跟蹤和遮擋檢測的某些示例。在圖IOa中所示的示例中，遮擋事件1010中涉及識別為A和B的兩個對象。在遮擋事件之后，如箭頭所表示的兩個所檢測對象路徑關(guān)聯(lián)于A和B (AB)。一段時間后，對象B被確定地識別，如在較低路徑上的Ag所表示。然后，該識別被用于更新對象和路徑之間的關(guān)聯(lián)以使得在遮擋事件1010之后對象A關(guān)聯(lián)于較高的路徑，并且在遮擋事件1010之后對象B關(guān)聯(lián)于較低的路徑。在圖IOb中所示的示例中，在遮擋事件420中初始地涉及對象A和B。然而，在可確定地識別對象A和B之前，在遮擋事件1020之后在較低路徑上與A和B關(guān)聯(lián)的對象在具有對象C的另一個遮擋事件1030中被涉及。因此，在遮擋事件1030之前，在遮擋事件1020之后較低路徑上的對象是對象A還是對象B是不清楚的。因此，在遮擋事件1030之后，兩個對象跟隨的較高和較低路徑關(guān)聯(lián)于對象A、B和C(ABC)。在隨后的時間，在遮擋事件1030之后的較低路徑上的對象被明確識別為是對象B(ABC)0因此，可更新關(guān)聯(lián)記錄以使得遮擋事件1030之后的較高路徑關(guān)聯(lián)于對象C。此外，該信息可用于更新關(guān)聯(lián)記錄以使得遮擋事件1020中涉及的兩個對象可被消除歧義，因為當遮擋事件1030之后對象B被確定地識別為關(guān)聯(lián)于較低路徑時在遮擋事件1030中涉及的必然是對象B。因此，可更新關(guān)聯(lián)記錄以使得在遮擋事件1020之后的較高路徑關(guān)聯(lián)于對象A并且遮擋事件1020之后的較低路徑關(guān)聯(lián)于對象B。因此，本發(fā)明的示例允許對象關(guān)聯(lián)于對象的所跟蹤路徑，即使在對象被明確識別之前可出現(xiàn)多個遮擋事件。此外，本發(fā)明的示例允許不同對象的身份被相互交叉引用以便允許每個路徑關(guān)聯(lián)于正確的對象。
在某些示例中，識別對象開始位置的數(shù)據(jù)可被用于初始化和驗證對象跟蹤。用足球作為示例，選手可能在比賽場地上近似固定的位置開始比賽。每個選手可能位于距離比賽場地上特定坐標的閾值距離內(nèi)。開始位置可依賴于隊伍排列，例如4-4-2(四個防守、四個中場、兩個進攻)或5-3-2，以及哪個隊伍中場開球和哪個隊伍防守中場開球。類似的位置可能由來自從地面進行的球門球的選手所采用。這些位置信息可被用于發(fā)起選手跟蹤，例如通過比較位置數(shù)據(jù)和隊伍表和排列信息。該位置信息也可被用于在出現(xiàn)遮擋事件時糾正路徑信息。使用隊伍排列信息是有利的，因為如果隊伍排列的變化例如在替補或罰下之后變得明顯了，這可由操作者在比賽過程期間重置。這將改善對象跟蹤的精確性和可靠性。構(gòu)建超高清圖像內(nèi)每個對象(或者在該示例中為選手)的位置。另外，構(gòu)建在圖7A中分別示出為框730到740的每個選手周圍的框。每個框?qū)x手的圖像并且所以將被稱作為“選手框”。當使用AVC編碼器1106’編碼圖像時，選手框?qū)⑿纬蓤D像內(nèi)的一個或多個宏塊。因為選手框?qū)τ谟脩粢约皩τ谟脩粼O(shè)備上立體像的創(chuàng)建將是重要的，所以圖像內(nèi)的選手框的宏塊地址由對象關(guān)鍵字生成器1103’生成。對象關(guān)鍵字生成器1103’向?qū)ο箨P(guān)鍵字生成器1103’內(nèi)的量化控制提供宏塊地址，這確保選手框被編碼為相比于剩余圖像更高的分辨率。這確保所編碼圖像經(jīng)由其傳送的網(wǎng)絡(luò)帶寬被最有效地利用。 這里應(yīng)當注意，在服務(wù)器110的對象關(guān)鍵字生成器1103中，除了生成的對象位置和宏塊號碼，從超高清圖像提取選手塊的內(nèi)容。換言之，在對象關(guān)鍵字生成器1103中，從超高清圖像提取單個選手。然而，在候選服務(wù)器110’的對象關(guān)鍵字生成器1103’中，僅生成位置和宏塊號碼，并且不提取選手框的內(nèi)容。重定格式設(shè)備現(xiàn)在將參考圖11描述服務(wù)器110的重定格式設(shè)備1104。背景生成器所生成的超高清圖像的背景被饋送到換算設(shè)備1150。超高清圖像的背景是6kX Ik的像素尺寸。換算設(shè)備1150將該比例減少為3840X720像素。如應(yīng)當注意的，水平方向上的換算數(shù)量小于垂直方向的。換言之，水平方向上的數(shù)據(jù)減少小于垂直方向的數(shù)據(jù)減少。這在捕獲像足球比賽這樣的事件時特別有用，因為球在水平方向上移動并且選手的大部分移動是在水平方向上。因此，確保水平方向上的分辨率較高時重要的。然而，本發(fā)明不限于此并且如果存在垂直移動最重要的情況下捕獲事件的圖像的情況，那么垂直方向上的換算數(shù)量將少于水平方向的。換算的圖像被饋送到幀分解器1160。幀分解器1160在水平方向上平等地分解換算的背景圖像。幀分解器1160被配置為產(chǎn)生1920X1080像素的兩個幀。這是符合108030P(1920)幀AVCHD格式的。這兩個幀被饋送到加法器1105。如將在這里所述的，幀分解器1160在垂直方向上添加360個空白像素。然而，為了有效地利用帶寬，該空白空間將具有其中插入的對象關(guān)鍵字生成器1103所提取的單獨選手框。這意味著單獨選手框可以有效方式經(jīng)由因特網(wǎng)120被傳送。在加法器1105中單獨選手框被插入到兩個圖像內(nèi)。這意味著被饋送到AVC編碼器1106的來自加法器1105的輸出包括合成圖像(包括換算和分解的背景以及被插入到360個空白像素內(nèi)的單獨選手框)。參考圖12，描述了候選服務(wù)器110’的重定格式設(shè)備1104’。在該情況下，超高清圖像被饋送到換算器1150 ’，換算器1150 ’被配置為將超高清圖像換算為2880 X 540像素的圖像。換算的圖像被饋送到幀分解器1160’。幀分解器1160’被配置為在水平方向上平等地分解換算的圖像并且形成1440X1080像素大小的一個圖像并且因此符合108030P(1440)幀AVCHD格式。換言之，換算的圖像的左側(cè)形成所生成圖像的上半部分并且換算的圖像的右側(cè)形成所生成圖像的下半部分。該單個圖像被饋送到AVC編碼器1106’。AVC 編碼現(xiàn)在將描述服務(wù)器110中的AVC編碼器1106執(zhí)行的AVC編碼。如先前所述，對象關(guān)鍵字生成器1104生成選手框并且從超高清圖像提取選手框的內(nèi)容。選手框的內(nèi)容在換算和分解的合成圖像中的空白的360個像素中提供。與選手框的位置(即空白像素中每個選手框的位置)關(guān)聯(lián)的宏塊被饋送到AVC編碼器1106中的量化器。特定地，控制合成圖像中選手框的量化以使得AVC編碼器1106相比于圖像中的任何其它位置使用更多的位來編碼選手框。這改善了選手框的質(zhì)量，因為用戶將注意觀看選手框。使用H. 264編碼對構(gòu)成背景和選手框的兩個合成圖像進行AVC編碼并且用近似7Mbps的比特率將其發(fā)送，盡管這可取決于網(wǎng)絡(luò)性能而變化。在候選服務(wù)器110’中，由AVC編碼器1106’執(zhí)行AVC編碼。如上所述，被饋送到AVC編碼器1106’的重定格式的圖像時108030P (1440)格式的超高清圖像。不像服務(wù)器110，候選服務(wù)器110’中的對象關(guān)鍵字生成器1103’不提取選手框的內(nèi)容。代替地，每個選手框的位置和與每個選手框相關(guān)聯(lián)的宏塊號碼被用于控制AVC編碼器1106’的量化。控制量化以確保用比圖像的任何其它部分更多的位來編碼選手框，以便確保清楚地再現(xiàn)選手。AVC編碼器1106’以大約3Mbps的比特率使用H. 264標準來編碼圖像，盡管這可取決于網(wǎng)絡(luò)性能而變化。在任一種服務(wù)器中由編碼器產(chǎn)生的所編碼圖像被饋送到數(shù)據(jù)流產(chǎn)生設(shè)備1108。另外饋送到數(shù)據(jù)流產(chǎn)生設(shè)備1108的是與各個選手框相關(guān)聯(lián)的宏塊號碼和所編碼圖像中每個選手框的位置。這被發(fā)送到客戶端設(shè)備200A或用戶裝置作為元數(shù)據(jù)。深度圖和位置數(shù)據(jù)生成現(xiàn)在將參考圖13到15描述其中攝像機和攝像機捕獲的圖像內(nèi)的對象之間的距離被用于確定偏移量的本發(fā)明實施例。這在位于服務(wù)器110和候選服務(wù)器110’中的深度圖生成器1107中執(zhí)行。圖13是根據(jù)本發(fā)明實施例的用于確定攝像機的位置和攝像機視場內(nèi)的對象之間的距離的系統(tǒng)的示意圖。圖13示出了布置為傳送攝像機布置130中的攝像機(其捕獲球場70的圖像)的服務(wù)器110。如上所述，服務(wù)器110可操作為分析攝像機捕獲的圖像以便跟蹤球場70上的選手，并且確定他們在球場70上的位置。在某些實施例中，系統(tǒng)包括可操作為檢測攝像機和攝像機視場內(nèi)的對象之間的距離的距離檢測器1210。距離檢測器1210和它的操作將隨后在下面更詳細地被描述。在某些實施例中，服務(wù)器110可使用跟蹤數(shù)據(jù)和位置數(shù)據(jù)來確定攝像機的位置和球場上球員之間的距離。例如，服務(wù)器110可分析所捕獲圖像以便確定攝像機位置和選手1201之間的距離1201a、攝像機位置和選手1203之間的距離1203a、以及攝像機位置和選手1205之間的距離1205a。換言之，本發(fā)明的實施例確定場景內(nèi)對象和相關(guān)于攝像機定義的基準位置之間的距離。在參考圖13所述的實施例中，基準位置位于攝像機的位置。
另外，在某些實施例中，服務(wù)器110可操作為檢測與場景內(nèi)已知特征點對應(yīng)的所捕獲圖像內(nèi)的預(yù)定圖像特征。例如，服務(wù)器110可使用已知技術(shù)分析所捕獲圖像以便檢測對應(yīng)于足球場特征(例如角落、中心點、罰球區(qū)等)的圖像特征?；谒鶛z測的已知特征點(圖像特征)的所檢測位置，服務(wù)器110然后可使用已知技術(shù)將球場70的三維模型映射到所捕獲圖像。因此，然后服務(wù)器110可分析所捕獲圖像以便取決于相關(guān)于已映射到所捕獲圖像的3D模型的選手所檢測位置來檢測攝像機和選手之間的距離。在本發(fā)明的某些實施例中，服務(wù)器110可分析所捕獲圖像以便確定選手的腳與球場接觸的位置。換言之，服務(wù)器110可確定對象(例如選手)與平面(例如球場70)相符合的相交點。在對象被檢測為在多個相交點與平面相符合時(例如選手的兩只腳與球場70接 觸)，那么服務(wù)器110可操作為檢測哪個相交點最接近攝像機并且使用該距離用于生成偏移量。作為候選，當生成偏移量時用于該對象的全部所檢測相交點的平均距離可被計算和使用。然而，將會理解，可選擇其它適當?shù)南嘟稽c，例如距離攝像機最遠的相交點。然而，在某些情況下，如上所述確定攝像機位置和場景內(nèi)對象之間距離的方法可造成三維圖像的呈現(xiàn)失真。在圖像由非常廣角的攝像機捕獲或通過將許多高清攝像機捕獲的圖像縫合在一起而形成(例如本發(fā)明實施例中的情況)時該失真可能特別明顯。例如，在球場70要被顯示為選手和球在其上重疊的三維圖像時，三維圖像中的圖像失真可能發(fā)生。在該情況下，角落71b和71c將呈現(xiàn)為相比于中心點1214在最接近攝像機30的邊線上更加遠離。邊線因此可呈現(xiàn)為彎曲，即使在所捕獲圖像中邊線為筆直的。當在相對小的顯示器(例如計算機監(jiān)視器)上觀看三維圖像時，該效果可尤其明顯。如果在比較大的屏幕(例如電影院屏幕)上觀看三維圖像，那么該效果不那么明顯，因為角落71b和71c更可能位于觀眾的外圍視覺中。隨后將在下面更詳細地描述可將球場顯示為三維圖像的方式。解決該問題的可能方式將是對于圖像的每個部分生成適當偏移量以便補償失真。然而，這是計算密集型，并且依賴于多個物理參數(shù)，例如由于廣角圖像造成的失真程度、顯不器大小等。因此，為了減少三維圖像中的失真并且試圖確保球場的前面(即最接近攝像機的邊線)以距離顯示器的恒定深度呈現(xiàn)，特別是當要在相對小的顯示器(例如計算機監(jiān)視器或電視屏幕)上觀看三維圖像時，本發(fā)明的實施例確定對象和位于基準線上的基準位置之間的距離?；鶞示€正交于攝像機的光軸并且通過攝像機的位置，并且基準位置位于基準線上對象位置線和基準線相交的點。對象位置線正交于基準線并且通過對象。這將在下面參考圖14來描述。圖14是根據(jù)本發(fā)明實施例的用于確定攝像機和攝像機視場內(nèi)的對象之間的距離的系統(tǒng)的示意圖。圖14中所示的實施例基本上與上面參考圖9所述的相同。然而，在圖14中所示的實施例中，服務(wù)器110可操作為確定對象和虛線1207所表示的基準線之間的距離。如圖14中所示，基準線1207正交于攝像機的光軸(即處于與光軸的正確角度)并且通過攝像機的位置。另外，圖14示出了位于基準線1207上的基準位置1401a、1403a和1405ao
例如，工作站可操作為確定基準位置1401a和選手1201之間的距離1401?；鶞饰恢?401a位于基準線1207上用于選手801的對象基準線(由虛線1401b表示)與基準線1207相交的地方。類似地，基準位置1403a位于基準線1207上用于選手1203的對象基準線(由虛線1403b表示)與基準線1207相交的地方，并且基準位置1405a位于基準線1207上對象基準線(由虛線1405b表示)與基準線1207相交的地方。對象基準線1401b、1403b和1405b正交于基準線1207并且分別通過選手1201、1203和1205。在某些實施例中，基準線1207平行于連接角落71b和71c的邊線，以使得當以適當方式在顯示器上一起觀看球場的所捕獲圖像和球場的所修改圖像時，連接角落71b和71c的邊線上的所有點呈現(xiàn)為似乎距離顯示器 恒定的距離(深度)。這改善了三維圖像的呈現(xiàn)，而不必生成補償任何失真的偏移量，所述失真可在使用廣角攝像機或根據(jù)通過組合兩個或多個攝像機捕獲的圖像形成的合成圖像(如本發(fā)明實施例中的情況)捕獲圖像時出現(xiàn)。然而，將會理解，基準線需要平行于邊線，并且可平行于場景內(nèi)的任何其它適當特征，或者相關(guān)于場景內(nèi)的任何其它適當特征來布置。為了圖像生成為使得當被觀看時，它們呈現(xiàn)為三維的，服務(wù)器110可操作為檢測所捕獲圖像內(nèi)對象(例如選手)的位置。服務(wù)器110檢測圖像內(nèi)對象的方式在上面參考圖6進行了描述。該信息被饋送到用戶設(shè)備200A。用戶設(shè)備200A然后通過按偏移量移動所捕獲圖像內(nèi)對象的位置根據(jù)所捕獲圖像生成所修改圖像，以使得當在顯示器205上將所修改圖像和所捕獲圖像作為一對圖像一起觀看時，對象呈現(xiàn)為位于距離顯示器的預(yù)定距離處。這將在下面說明。為了產(chǎn)生正確的移動以便模擬三維效果，用戶設(shè)備200A需要知道對象離攝像機的距離。這可使用深度圖，或某些其它方法來實現(xiàn)。在本發(fā)明的某些實施例中，系統(tǒng)包括可經(jīng)由網(wǎng)絡(luò)與服務(wù)器Iio或用戶設(shè)備200A通信的距離檢測器1210。距離檢測器1210可連接到攝像機布置130內(nèi)的攝像機，或者它可與攝像機布置分離。距離檢測器可操作為生成表示攝像機和球場70上的對象(例如選手)之間的距離的距離數(shù)據(jù)。距離檢測器1210可操作經(jīng)由適當通信鏈路向服務(wù)器110發(fā)送距離數(shù)據(jù)，如圖13中的虛線1212所表示。然后服務(wù)器110可操作為依賴于從距離檢測器1210接收的距離數(shù)據(jù)來確定攝像機和對象之間的距離。換言之，距離檢測器1210用作為距離傳感器。該距離傳感器是領(lǐng)域中已知的并且可使用紅外光、超聲波、激光等來檢測到對象的距離。用于每個對象的距離數(shù)據(jù)然后被饋送到用戶設(shè)備200A。在某些實施例中，距離檢測器可操作為生成對于所捕獲圖像的每個像素表示攝像機和符合該像素的場景內(nèi)的場景特征之間的相應(yīng)距離的深度圖數(shù)據(jù)。然后，從服務(wù)器110發(fā)送到用戶設(shè)備200A的距離數(shù)據(jù)可包括距離圖數(shù)據(jù)。為了實現(xiàn)該功能，距離檢測器可包括發(fā)射紅外光脈沖的紅外光源。然后攝像機可按預(yù)定時間間隔(通常是納秒級)檢測從攝像機視場內(nèi)的對象反射的紅外光的強度以便生成表示對象離攝像機的距離的灰度圖像。換言之，灰度圖像可被認為是根據(jù)檢測紅外光從源到攝像機的飛行時間所生成的距離圖。為了簡化設(shè)計，攝像機可包括紅外光源形式的距離檢測器。該攝像機是領(lǐng)域中已知的，例如3DV系統(tǒng)制造的“Z-Cam”。然而，將會理解，可使用生成3D深度圖的其它已知方法，例如紅外模式失真檢測。
將會理解，可使用任何其它的適當距離檢測器。例如，可使用具有垂直于攝像機光軸的光軸的攝像機來捕獲球場圖像。這些另外捕獲的圖像可由服務(wù)器110來分析以檢測和跟蹤選手位置和與來自攝像機的圖像數(shù)據(jù)相關(guān)的合成數(shù)據(jù)，以便更精確地對選手位置做三角測量。在某些實施例中，服務(wù)器110可操作為使用距離檢測器1210來檢測和跟蹤攝像機視場中的其它對象，例如足球，盡管將會理解，可檢測任何其它適當對象。例如，一個或多個另外攝像機捕獲的圖像可由服務(wù)器110分析并且與來自跟蹤系統(tǒng)的數(shù)據(jù)組合，以便跟蹤足球。該數(shù)據(jù)被饋送到用戶設(shè)備200A作為位置和深度信息，以使得用戶設(shè)備200A可因此生成適當?shù)淖笫趾陀沂謭D像。服務(wù)器110可操作為檢測與場景內(nèi)的對象對應(yīng)的所捕獲圖像內(nèi)的對象像素。在上述實施例中，對象像素對應(yīng)于用于生成所修改圖像的選手掩模的那些像素，如下所述。選手掩模被饋送到用戶設(shè)備200A以使得用戶設(shè)備200A可生成所修改圖像。
然后，用戶設(shè)備200A使用距離圖數(shù)據(jù)中與選手掩模的像素相關(guān)聯(lián)的距離數(shù)據(jù)來確定攝像機和選手之間的距離。為了簡化三維顯示，與選手掩模的像素對應(yīng)的距離圖數(shù)據(jù)中的距離值的平均值可被用于生成偏移量，如上所述。然而，將會理解，可使用從對應(yīng)于對象的距離圖數(shù)據(jù)選擇距離值的任何其它適當方法。用戶設(shè)備200A可操作為生成偏移量以對于深度圖數(shù)據(jù)中的每個像素應(yīng)用在左手圖像和右手圖像之間。因此，在應(yīng)用了不一致性之后，當左手圖像和右手圖像作為一對圖像在顯示器上被一起觀看時(如上所述)，對象可具有改善的三維呈現(xiàn)，因為對象的表面維度可被更精確地再現(xiàn)，而不是將對象顯示為好像它是距離顯示器某距離處的二維圖像。用戶設(shè)備200A和用戶裝置320A現(xiàn)在將參考圖15A描述用戶設(shè)備200A的實施例。用戶設(shè)備200A包括經(jīng)由因特網(wǎng)接收多路復(fù)用的數(shù)據(jù)流的分路器1505。分路器1505連接到AVC解碼器1510、音頻解碼器1515和客戶端處理設(shè)備1500。分路器1505將多路復(fù)用的數(shù)據(jù)流多路分解為AVC流(其被饋送到AVC解碼器1510)、音頻流(其被饋送到音頻解碼器1515)和深度圖數(shù)據(jù)、選手元數(shù)據(jù)(例如選手的姓名)、和任何其它元數(shù)據(jù)(其被饋送到客戶端處理設(shè)備1500)。用戶還可使用將數(shù)據(jù)發(fā)送到客戶端處理設(shè)備1500的控制器1520與用戶設(shè)備200A交互。將參考圖16A詳細描述客戶端處理設(shè)備1500。將參考圖15B描述用戶裝置315A的實施例。如將明顯的，用戶裝置315A中的許多組件與相關(guān)于用戶設(shè)備200A所描述的是相同的或者提供類似的功能。這些組件具有相同的標號并且將不再被進一步描述。然而，如根據(jù)圖15B將明顯的，代替圖15A中的客戶端處理設(shè)備1500，提供用戶裝置處理設(shè)備1500’。然而，應(yīng)當注意，用戶裝置處理設(shè)備1500’接收類似于到客戶端處理設(shè)備1500的數(shù)據(jù)并且將在圖15B中描述用戶裝置處理設(shè)備1500’的功能。圖15B中的用戶控制1520可作為觸摸屏或鍵盤等被集成到用戶裝置315A內(nèi)?？蛻舳颂幚碓O(shè)備1500客戶端處理設(shè)備1500包括生成要顯示的左圖像和右圖像的圖像處理單元1600。圖像處理單元1600從服務(wù)器110接收兩個合成的背景圖像。來自服務(wù)器110的兩個合成背景圖像還被饋送到選手框提取設(shè)備1615。選手框提取設(shè)備1615從合成圖像提取選手框。所提取的選手框被饋送到圖像處理單元1600。還從選手框提取設(shè)備1615饋送到圖像處理單元1600的是每個背景合成圖像上每個選手框的位置和與選手框相關(guān)聯(lián)的宏塊號碼。這使得圖像處理單元1600能夠在背景合成圖像上的正確位置放置選手框，以便有效地重新創(chuàng)建超高清圖像的兩個合成圖像。由圖像處理單元1600將兩個合成圖像縫合在一起以形成超高清圖像。包括選手框中每個選手的名稱的選手元數(shù)據(jù)在數(shù)據(jù)控制器1610中被接收。還饋送到數(shù)據(jù)控制器1610的是來自用戶控制器1520的信息和提供允許用戶選擇適當視場的攝像機布置的參數(shù)等的另外元數(shù)據(jù)，如GB2444566A中所述。數(shù)據(jù)控制器1610的輸出時包含該信息的多路復(fù)用的數(shù)據(jù)流。數(shù)據(jù)控制器1610的多路復(fù)用的輸出被饋送到虛擬攝像機生成器1605。此外，虛擬攝像機生成器1605接收深度圖。當從用戶控制1520向虛擬攝像機生成器1605饋送信息時，虛擬攝像機生成器1605識別虛擬攝像機的邊界。換言之，用戶操縱用戶控制器1520以確定超高清圖像的哪個區(qū)域或段對他們是重要的。虛擬攝像機生成器1605選擇重要的超高清片段并且顯示該區(qū)域。GB 2444566A中描述了生成和顯示區(qū)域的方法。
GB 2444566A中的方法涉及生成單個圖像。然而，在本發(fā)明的實施例中，所選擇區(qū)域可被立體地顯示。換言之，所選擇區(qū)域應(yīng)當被顯示以使得它可以3D形式被觀看。為了實現(xiàn)此，生成移動的所選擇段，其具有的背景具有按照取決于深度圖的數(shù)量移動的每個像素和水平移動的前景對象。因為用戶所選擇區(qū)域的屏幕上的位置是已知的，并且要在其上顯示圖像的屏幕的大小是已知的，使用所選擇區(qū)域距離攝像機的相應(yīng)距離(即深度圖)，確定前景對象之間的不一致性(即，用戶定義的段中的前景對象和第二所選擇的段之間的水平移動)，如技術(shù)人員將會理解的。該不一致性確定了與屏幕上的前景對象相關(guān)聯(lián)的明顯深度。然后，用戶選擇的段顯示在要由用戶左眼觀看的顯示器上并且移動的所選擇段顯示在要由用戶的右眼觀看的顯示器上。用戶選擇的段和移動的所選擇段被立體地顯示。此外，用戶可控制移動量，這允許用戶調(diào)節(jié)所選擇段的左眼圖像和右眼圖像之間的移動量以便調(diào)節(jié)3D圖像中場景的明顯深度。用戶裝置處理設(shè)備1500’現(xiàn)在將參考圖16B描述用戶裝置處理設(shè)備1500’。經(jīng)由LTE網(wǎng)絡(luò)發(fā)送的合成圖像被饋送到用戶裝置圖像處理器1600’。另外提供到用戶裝置圖像處理器1600’的是提供允許用戶選擇超高清圖像的區(qū)域以用于顯示的攝像機參數(shù)等的另外元數(shù)據(jù)。所需的元數(shù)據(jù)在GB 244566A中敘述并且允許用戶選擇超高清圖像的區(qū)域用于觀看。在GB 244566A中還描述了選擇和顯示區(qū)域的方法。用戶裝置處理設(shè)備1500’還具有輸入到其的選手元數(shù)據(jù)(表示選手位于合成圖像中的哪里)。在實施例中，該選手元數(shù)據(jù)是在合成圖像中定義圍繞選手的框的一組坐標。另夕卜的選手元數(shù)據(jù)可包括每個選手的姓名和統(tǒng)計數(shù)據(jù)，例如年齡、先前俱樂部、隊伍中的位置等。選手元數(shù)據(jù)和另外的選手元數(shù)據(jù)被饋送到用戶裝置數(shù)據(jù)控制器1610’內(nèi)。還饋送到用戶裝置數(shù)據(jù)控制器1610’的是由用戶控制設(shè)備1520’產(chǎn)生的用戶生成的控制信息。這允許用戶與用戶裝置交互以便改變超高清圖像中所選擇區(qū)域的位置以及其它交互性控制。用戶裝置數(shù)據(jù)控制器1610’的輸出被饋送到虛擬攝像機處理設(shè)備1605’作為多路復(fù)用的數(shù)據(jù)流。還饋送到虛擬攝像機處理設(shè)備1605’的是深度圖。虛擬攝像機處理設(shè)備1605’以與上面相關(guān)于虛擬攝像機生成器1605’所述的相同方式生成用戶選擇的左圖像段和右圖像段。這提供了立體圖像用于3D顯示。應(yīng)當注意，虛擬攝像機處理設(shè)備1605’稍微不同于虛擬攝像機生成器1605之處在于整個圖像被視為背景，所以所選擇區(qū)域中的每個圖像像素按照取決于深度圖的數(shù)量被移動，不管它是構(gòu)成背景的一部分還是前景對象的一部分。每個像素按照所計算的不一致性所提供的數(shù)量(其根據(jù)深度圖和顯示器大小計算，如技術(shù)人員將會理解的)被水平移動。這允許在顯示器上對場景進行3D觀看。應(yīng)當注意，在參考圖16A和16B所述的兩個實施例中，定義虛擬攝像機的縮放、搖動、傾斜和收斂的信息，以及定義屏幕上所選擇區(qū)域的位置的細節(jié)，和任何其它用戶定義的信息(例如水平移動的任何變化)將由用戶設(shè)備200A或用戶裝置315A存儲。另外存儲的是唯一標識符，例如與特定片段(其中體驗該觀看)相關(guān)聯(lián)的UMID。該信息將作為元數(shù)據(jù)被存儲，其包含比所顯示的圖像數(shù)據(jù)更少的數(shù)據(jù)，并且可存儲在用戶設(shè)備200A或用戶裝置315A之一上或者網(wǎng)絡(luò)服務(wù)器1700上。該所存儲元數(shù)據(jù)當結(jié)合合成圖像一起被提供時，選手關(guān)鍵字(如果需要)和選手信息將使得用戶能夠在用戶設(shè)備200A或用戶裝置315A之一上重新創(chuàng)建相同的體驗。此外，如果提供給不同的用戶，那么該所存儲元數(shù)據(jù)將使得不同用戶能夠重新創(chuàng)建第一用戶的體驗。將參考圖17到19B來說明描述使用所存儲元數(shù)據(jù)的實施例。 社區(qū)觀看網(wǎng)絡(luò)服務(wù)器1700連接到因特網(wǎng)并且在圖17中示出。網(wǎng)絡(luò)服務(wù)器1700可同樣地連接到用戶裝置315A和用戶設(shè)備200A。實際上，在實施例中，一個用戶可使用用戶賬戶將他的或她的用戶裝置315A和他的或她的用戶設(shè)備200A連接到網(wǎng)絡(luò)服務(wù)器1700。然而，為了簡潔，現(xiàn)在描述用戶設(shè)備200A的連接和使用。參考圖17，網(wǎng)絡(luò)服務(wù)器1700包含可以為光或磁記錄介質(zhì)的存儲介質(zhì)1705。存儲介質(zhì)1705連接到在存儲介質(zhì)1705上存儲信息的數(shù)據(jù)庫管理器1710。數(shù)據(jù)庫管理器1710還用于檢索存儲介質(zhì)1705上存儲的數(shù)據(jù)。數(shù)據(jù)庫管理器1710連接到控制對數(shù)據(jù)庫管理器1710的訪問的網(wǎng)絡(luò)處理器1715。網(wǎng)絡(luò)處理器1715連接到允許數(shù)據(jù)經(jīng)由因特網(wǎng)120被傳送的網(wǎng)絡(luò)接口 1720。當用戶設(shè)備200A連接到因特網(wǎng)120時，用戶設(shè)備200A可連接到網(wǎng)絡(luò)服務(wù)器1700。當用戶設(shè)備200A首次連接到網(wǎng)絡(luò)服務(wù)器1700時，用戶被要求登錄到網(wǎng)絡(luò)服務(wù)器1700上他的或她的賬戶或者創(chuàng)建新賬戶。如果用戶選擇登錄到賬戶，用戶被要求輸入用戶名和密碼。這對網(wǎng)絡(luò)服務(wù)器1700驗證用戶。在正確驗證之后(其由網(wǎng)絡(luò)處理器1715執(zhí)行)，用戶可訪問存儲介質(zhì)1705上存儲的他的或她的賬戶細節(jié)。賬戶細節(jié)可提供與用戶喜歡的足球隊或用戶喜歡的選手相關(guān)的信息。通過提供該信息，可以突出部分向用戶提供最相關(guān)的片段，如將在隨后說明。通常，用戶可擁有用戶設(shè)備和用戶裝置。如果這種情況的話，網(wǎng)絡(luò)服務(wù)器1700將存儲用戶所擁有的裝置的細節(jié)。網(wǎng)絡(luò)服務(wù)器1700還將通過對用戶設(shè)備的詢問來確定是用戶設(shè)備還是用戶裝置連接到網(wǎng)絡(luò)服務(wù)器1700。用戶一旦登錄了，可從他或她的賬戶添加或刪除設(shè)備。與用戶帳戶相關(guān)聯(lián)的選項之一是上載用戶設(shè)備200A上存儲的元數(shù)據(jù)，這將允許用戶或不同用戶重新創(chuàng)建用戶的觀看體驗。該元數(shù)據(jù)可在觀看比賽時或當在觀看比賽前用戶登錄到網(wǎng)絡(luò)服務(wù)器1700時由用戶設(shè)備200A收集，元數(shù)據(jù)可存儲在網(wǎng)絡(luò)服務(wù)器1700內(nèi)。如果在用戶設(shè)備200A上收集元數(shù)據(jù)，那么在用戶連接到網(wǎng)絡(luò)服務(wù)器1700時，用戶可將元數(shù)據(jù)上載到網(wǎng)絡(luò)服務(wù)器1700。這可被自動或者在用戶指示下完成。除了使得觀眾的體驗?zāi)軌虮粡?fù)制的元數(shù)據(jù)，另外的元數(shù)據(jù)可被傳送到網(wǎng)絡(luò)服務(wù)器1700。另外元數(shù)據(jù)的生成和形成將參考圖18來說明，圖18示出了用戶用來生成元數(shù)據(jù)和另外的元數(shù)據(jù)的圖形用戶接口。圖18中所示的圖形用戶接口允許用戶生成對比賽的評注。這些評注增強了觀眾的比賽體驗。此外，因為僅存儲重新創(chuàng)建比賽的元數(shù)據(jù)，而不是視頻剪輯本身，所以減少了被存儲來重新創(chuàng)建比賽的數(shù)據(jù)量。在用戶設(shè)備200A的顯示器205A上示出了圖形用戶接口。用戶使用控制器210A與接口交互。顯示器包含顯示縫合的超高清圖像的縫合圖像顯示區(qū)域1835。在超高清圖像內(nèi)的是使得用戶能夠選擇縫合圖像的視場的虛擬視場。這顯示在虛擬視場區(qū)域1800中。為了用戶識別超高清圖像的哪部分形成了虛擬視場，虛擬視場1840的輪廓示出在超高清圖像上。虛擬視場區(qū)域1800下面的是標準視頻控制按鈕1805，例如暫停、快進、倒回、停止 和記錄。該組視頻控制按鈕不是限制性的并且可包括控制顯示器上的視頻動作的任何類型的按鈕。在虛擬視場區(qū)域1800右側(cè)的是編輯按鈕1810。這些編輯按鈕1810允許對視頻的另外評注，例如對視頻添加文本、畫線或添加形狀。當被添加到視頻時，這些另外的評注形成了另外元數(shù)據(jù)的一部分。存在允許元數(shù)據(jù)標簽被添加到視頻特定幀的元數(shù)據(jù)標簽輸入?yún)^(qū)域1815。這可包括幀內(nèi)容的文本描述，例如處罰、鏟球、任意球等。此外，為了使得能夠容易地評注，常見標簽(例如黃牌、進球和沖突)作為熱鍵1720被提供。此外，提供自由的文本輸入?yún)^(qū)域1825。這允許添加用戶希望的任何文本。該文本連同元數(shù)據(jù)標簽輸入也形成另外元數(shù)據(jù)的一部分。最后，提供了事件列表區(qū)域1830。事件列表區(qū)域1830可按元數(shù)據(jù)標簽自動地更新，或可由用戶創(chuàng)建。作為候選，事件列表可使用元數(shù)據(jù)標簽自動地生成，并且可由用戶糾正或驗證。因為隨著比賽進行用戶更新進球和警告等，可以自動地生成事件列表。實際上，當在元數(shù)據(jù)中提供選手位置信息時，如果用戶在圖像中識別哪個選手進球得分了，那么用戶設(shè)備200A知道哪個選手進球得分了。此外，如果自動地跟蹤球的位置，那么用戶設(shè)備200A可以自動將得分者定義為在產(chǎn)生“進球”元數(shù)據(jù)之前接觸球的最后選手。通過使用元數(shù)據(jù)標簽自動更新事件列表，容易生成事件列表。此外，通過使用元數(shù)據(jù)和另外的元數(shù)據(jù)，用戶設(shè)備200A或網(wǎng)絡(luò)服務(wù)器1700內(nèi)存儲的數(shù)據(jù)量減少了，因為事件列表是“實時”生成的并且因此不需要被存儲。此外對于將元數(shù)據(jù)上載到網(wǎng)絡(luò)服務(wù)器1700上，用戶也可訪問和觀看網(wǎng)絡(luò)服務(wù)器1700的其他用戶生成的突出節(jié)目。換言之，對于訪問他們生成的突出包，用戶也可訪問另外用戶生成的突出包。為了實現(xiàn)此，用戶設(shè)備200A需要原始的比賽片段以及不同用戶上載的元數(shù)據(jù)和另外的元數(shù)據(jù)。原始的比賽片段可從網(wǎng)絡(luò)服務(wù)器1700提供或者使用點到點系統(tǒng)(其將增加提供比賽片段的速度)提供。元數(shù)據(jù)和另外的元數(shù)據(jù)將由網(wǎng)絡(luò)服務(wù)器1700提供。參考圖19A和19B說明查找和觀看其他用戶的觀看體驗的方法。參考圖19A，顯示器1900具有文本搜索框1905。這允許搜索網(wǎng)絡(luò)服務(wù)器1700上存儲的自由文本元數(shù)據(jù)和元數(shù)據(jù)標簽。在圖19A中所示的示例中，對于“NUFC和MUFC”之間的突出片段執(zhí)行搜索。如根據(jù)圖19A將理解的，比賽數(shù)據(jù)1910以時間順序被返回。換言之，最近的比賽位于接近列表頂部，比較舊的比賽位于接近屏幕的底部。對于搜索的結(jié)果，網(wǎng)絡(luò)服務(wù)器1700可使用用戶帳戶中提供的信息(例如喜歡的足球隊或喜歡的選手)來返回最相關(guān)的結(jié)果，而不需用戶執(zhí)行搜索。例如，如果用戶是紐卡斯爾聯(lián)隊足球俱樂部的愛好者，那么將在家庭屏幕上放置最新的紐卡斯爾聯(lián)隊足球比賽。類似地，如果用戶表示他們是法布雷加斯的愛好者，那么將在家庭屏幕上放置包括元數(shù)據(jù)標簽“法布雷加斯”的最新剪輯。鄰近比賽數(shù)據(jù)1910的是用戶數(shù)據(jù)1915。這示出了已載了用于比賽的突出包的每個用戶的用戶名。鄰近用戶數(shù)據(jù)1915的是用戶評級數(shù)據(jù)1920。這給出了觀看用戶數(shù)據(jù)1915所識別的用戶創(chuàng)建的其它比賽的突出包的其他用戶所給出的平均分數(shù)。如果用戶點擊“評論”超鏈接，那么用戶的評論也是可訪問的。為了幫助用戶選擇要選擇哪個其他用戶的突出包，最流行的用戶處于列表頂部，并且最不流行的位于列表底部。鄰近用戶評級數(shù)據(jù)1920的是比賽評級數(shù)據(jù)評級1925。這提供了對用于該比賽的 特定突出包的用戶反饋。該類型的信息是有用的，因為通常執(zhí)行卓越突出包的用戶可產(chǎn)生用于該比賽的特別不好的突出包。作為候選，通常產(chǎn)生中等突出包的用戶可執(zhí)行用于該比賽的特別好的突出包。為了提供用戶靈活性，可取決于用戶偏好來改變每一列數(shù)據(jù)的排序。在用戶選擇了特定突出包之后，初始比賽被下載和本地存儲在用戶設(shè)備200A內(nèi)。另外下載的(從網(wǎng)絡(luò)服務(wù)器1700)是用于顯示產(chǎn)生突出包的其他用戶所體驗的視場的元數(shù)據(jù)和其他用戶生成的任何其它元數(shù)據(jù)。因為元數(shù)據(jù)比它表示的數(shù)據(jù)更小，所以與元數(shù)據(jù)相關(guān)聯(lián)的下載速度和存儲需求相比于下載突出剪輯更小。參考圖19B，屏幕1900具有示出創(chuàng)建突出包的其他用戶所體驗的視場的視場區(qū)域1930。這根據(jù)元數(shù)據(jù)和初始片段創(chuàng)建。事件列表區(qū)域1935也在顯示器1900上。該列表對應(yīng)于圖18中的事件列表1830。根據(jù)另外的元數(shù)據(jù)創(chuàng)建評注觀看區(qū)域1940。這顯示了要顯示給用戶的最后的幀和其他用戶添加的評注。例如，如果其他用戶用標記突出了特定沖突，這將被放置在評注觀看區(qū)域1940中。提供標準的視頻控制按鈕組1945，例如加速或減慢視場1930中顯示的視頻。位于視頻控制按鈕1945鄰近的下一個事件按鈕1950允許用戶略過下一個事件。下一個事件是用戶特別感興趣的一個片段。用戶可通過下一個事件選擇按鈕1955來選擇特別感興趣的下一個事件。在該實施例中，下一個事件包括下一個進球、下一個任意球、下一個黃牌或紅牌或者下一個角球。用戶可通過圍繞適當?shù)南乱粋€事件符號的框容易地看到選擇了哪個事件。在實施例中，下一個事件突出框I960圍繞下一個進球。用戶還能夠改進另一個用戶的特定突出包以便例如改善虛擬攝像機定位，編輯突出包的持續(xù)時間或添加另外的評注。這可由用戶在創(chuàng)建可編輯的突出包時許可。此外，關(guān)于特定突出包的另外評注可由其他用戶添加。這使得另外的用戶能夠?qū)μ囟ㄍ怀霭M行評論。例如，用戶可添加識別也許由突出包的創(chuàng)建者遺漏的特定內(nèi)容特征的評論。所以在足球比賽的上下文中，不同的用戶可識別可能未由其他用戶所注意的球場上選手的定位。這可導(dǎo)致用戶組(都在觀看相同的突出包)之間的實時通信。可以對于具有1920X1080像素分辨率的顯示器上示出的視頻輸入突出包的作者所應(yīng)用的評注。然而，其他用戶可在具有更小顯示器的便攜式手持設(shè)備上觀看所評注的視頻。例如，手持設(shè)備可以是具有320X240像素分辨率的顯示器的設(shè)備。此外，便攜式設(shè)備上的其他用戶可對于在較大顯示器上創(chuàng)建的突出包應(yīng)用另外的評注。在實施例中，為了解決此，元數(shù)據(jù)可連同突出包一起存儲以表示在其上創(chuàng)建評注的顯示器的大小。因此，顯示器上評注的像素位置可被換算或調(diào)節(jié)為確保當在不同大小的顯示器上再現(xiàn)評注時，評注被放置在顯示器的正確區(qū)域上。作為示例，如果在具有1920X1080像素的顯示器上生成突出包并且具有240X90像素大小的評注被輸入到具有(430，210)的左上像素位置的突出包上的幀內(nèi)，那么生成定義評注、評注的大小和像素位置、其上生成評注的顯示器的大小的元數(shù)據(jù)。這和包一起存儲。當另一個用戶希望在便攜式設(shè)備上觀看突出包時，檢索描述評注的元數(shù)據(jù)。便攜式設(shè)備知道評注的大小和像素位置以及在其上創(chuàng)建評注的顯示器的大小。因此，便攜式設(shè) 備換算評注以使得評注的大小對于顯示器是正確的。特定地，便攜式設(shè)備上評注的大小是40X20像素。當為便攜式設(shè)備顯示器換算時的評注位置將是像素(71.6，46.6)。為了選擇正確的像素位置，將在像素位置(72，47)處放置評注。這是簡單的對最接近像素的向上舍入。然而，可想象當換算導(dǎo)致小數(shù)像素位置時進行像素選擇的其它方法。如果便攜式設(shè)備的用戶創(chuàng)建了在像素位置(140，103)處具有38X28的像素大小的另外評注，那么創(chuàng)建描述評注和在其上創(chuàng)建該評注的顯示器的大小的元數(shù)據(jù)。因此，如果初始作者再次觀看包，那么便攜式設(shè)備的用戶創(chuàng)建的評注將被向上換算為在像素位置(840,463. 5)處具有228X 126大小的評注。此外，為了正確地在初始作者的顯示器上顯示評注，評注將被放置在像素位置(840，464)處。最后，用戶可以使用框1970來評定特定突出包的質(zhì)量。用戶選擇適當標記(在該情況下為5中的一個)，并且點擊框1970。然后該值被傳送到網(wǎng)絡(luò)服務(wù)器1700，在那它與其他用戶和該特定突出包相關(guān)聯(lián)地存儲。通過向網(wǎng)絡(luò)服務(wù)器1700發(fā)送元數(shù)據(jù)和另外的元數(shù)據(jù)而不是視頻剪輯，減少了經(jīng)由網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。實際上，當經(jīng)由不同方法向用戶提供初始視頻片段時，可進一步減少網(wǎng)絡(luò)服務(wù)器1700處理的數(shù)據(jù)量。例如，用戶可使用點到點系統(tǒng)或通過郵件等在記錄介質(zhì)上接收初始視頻片段。創(chuàng)建突出包的用戶，或觀看突出包的用戶可為此付費。費用可以每次觀看時支付，或者可以是按月或按年的預(yù)訂服務(wù)。盡管前面參考用戶設(shè)備200A進行描述，但是可同樣適用用戶裝置315A?？蛻舳嗽O(shè)備上的增強現(xiàn)實圖20示出了其中舉行足球比賽的體育場2000的平面圖。足球場2020位于體育場2000內(nèi)并且比賽正由攝影機系統(tǒng)2010拍攝。攝像機系統(tǒng)2010包括攝像機布置130、圖像處理設(shè)備135和服務(wù)器110。攝像機系統(tǒng)包括全球定位系統(tǒng)(GPS)傳感器(未示出)、高度傳感器和傾斜傳感器。GPS系統(tǒng)提供攝像機系統(tǒng)2010的坐標位置，高度傳感器提供對攝像機系統(tǒng)高度的識別并且傾斜傳感器提供應(yīng)用到攝像機系統(tǒng)2010的傾斜量的表示。GPS系統(tǒng)、高度和傾斜傳感器是已知的并且所以不在以下進行描述。在球場上的是第一選手2040、第二選手2050、第三選手2055、第四選手2060、第五選手2065、第六選手2070和第七選手2075。還提供了由選手2040控制的球2045。攝像機系統(tǒng)2010正捕獲足球比賽，如前面實施例中所述。位于人群中的是正在通過他的移動電話機2100觀看比賽的觀眾2030，在實施例中移動電話機 2100 是 Sony Ericsson Mobilem Communications 制造的 Xperia XlO 電話機。將參考圖21描述移動電話機2100。移動電話機2100包括可使用3G或LTE網(wǎng)絡(luò)標準經(jīng)由蜂窩網(wǎng)絡(luò)通信的通信接口 2160。實際上，通信接口 2160可能夠使用任何網(wǎng)絡(luò)標準(例如WiFi或藍牙等)進行通信。還提供了存儲器2140。在存儲器上存儲了數(shù)據(jù)。存儲器例如可以是固態(tài)存儲器。存儲器還存儲計算機可讀指令并且因此存儲器2140是存儲計算機程序的存儲介質(zhì)。另外，存儲器2140存儲其它類型的數(shù)據(jù)，例如元數(shù)據(jù)，或用戶專有的數(shù)據(jù)，以及與移動電話機2100中的攝像機2120的光學(xué)畸變相關(guān)的數(shù)據(jù)。移動電話機2100配備有向用戶顯示信息的顯示器2110。攝像機2120被布置為捕獲可存儲在存儲器2140或可直接顯示到顯示器2110 (存儲或不存儲在存儲器2140中)的圖像。還提供了為移動電話機2100提供全球唯一位置的GPS傳感器2130。此外，還提供了表示應(yīng)用到移動電話機2100的傾斜和電話機2100的高度的傾斜和高度傳感器2155。另外，用于觀看場景的攝像機2120的焦距由電話機2100確 定。還提供的是控制每一個前述組件并且被布置為在其上運行計算機軟件的處理器2150。在本實施例中處理器2150的不例是Qlialcomm 制造的SnapDragon Processor。處理器2150使用數(shù)據(jù)總線2155連接到每個組件。圖22示出了如用戶2030所見的移動電話機2100。用戶2030正在持有移動電話機2100以使得他可容易地看到顯示器2110。用戶在比賽時正指向移動電話機2100的攝像機2120。顯示器2110在移動電話機2100上示出了攝像機2120所捕獲的比賽的實況圖像。這在圖22中示出，其中第一到第七選手中的每一個示出在球場2020上。另外，位于選手2040到2075中每一個上面的是每個選手的姓名。每個選手的姓名由處理器2150置于顯示器2110上。每個選手的姓名從攝像機系統(tǒng)2010中生成的選手元數(shù)據(jù)提供。這將在隨后參考圖23來說明。除了每個選手上面的姓名，在顯示器2110上提供示出比賽時間的時鐘2220，并且還顯示當前比賽分數(shù)2225。在實施例中，顯示器2110是觸摸屏，其允許用戶2030通過按壓顯示器2110來向移動電話機2100發(fā)出命令。為了提供增強的用戶能力，位于每個選手上面的姓名可由用戶2030觸摸來顯示選手傳記。選手傳記可在比賽前存儲在存儲器2140中。作為候選或者另外地，通過按下選手上面的姓名可提供與選手相關(guān)的實時比賽統(tǒng)計數(shù)據(jù)。換言之，實時比賽統(tǒng)計數(shù)據(jù)提供選手得分的進球數(shù)量，選手完成的過人數(shù)量，并且因為攝像機系統(tǒng)2010使用選手跟蹤，還提供選手奔跑的距離量。該信息可響應(yīng)于用戶觸摸姓名而提供到電話機2100。作為候選，該數(shù)據(jù)可經(jīng)由網(wǎng)絡(luò)被持續(xù)地更新并且存儲在存儲器2140中，以使得當用戶觸摸姓名時從存儲器2140檢索信息。這相比于經(jīng)由網(wǎng)絡(luò)請求信息更快。該信息由攝像機系統(tǒng)生成,如上參考圖9所述。參考圖23，描述了在顯示器2110上放置選手姓名的方法。移動電話機2100向攝像機系統(tǒng)2010注冊。在注冊處理期間，完成識別移動電話機2100的用戶是否有資格訪問信息的驗證處理。例如，交換支付信息。這在步驟S2310中示出。如上所述，攝像機系統(tǒng)2010捕獲比賽圖像并且根據(jù)該捕獲的圖像，檢測圖像中每個選手的位置并且確定選手的真實世界位置。為了實現(xiàn)此，攝像機系統(tǒng)2010使用圖14中描述的技術(shù)來識別所檢測的對象在球場上的位置。重要的是要注意，使用該技術(shù)的球場上選手的位置確定了選手相對于攝像機系統(tǒng)2010的位置。因此，當向攝像機系統(tǒng)2010提供它的GPS位置時，攝像機系統(tǒng)2010確定每個選手的GPS位置(或真實世界位置)。另外，因為每個選手的身份已知，所以還生成與選手相關(guān)聯(lián)的元數(shù)據(jù)，例如選手姓名。這是步驟S2320。真實世界的位置信息和元數(shù)據(jù)被發(fā)送到移動電話機2100。這是步驟S2330。應(yīng)當注意，所檢測的圖像(例如足球)，或者裁判員或助理裁判員也可被傳送到移動電話機2100。移動電話機2100接收與每個所檢測的選手相關(guān)聯(lián)的真實世界位置信息和所檢測的球。移動電話機2100從GPS傳感器檢索識別移動電話機2100位置的GPS值。這是步驟S2340。此外，從位于移動電話機2100內(nèi)的高度和傾斜傳感器檢索高度和傾斜值。另外， 確定電話機2100中攝像機2120的焦距。這是步驟S2350。使用電話機2100的GPS位置、傾斜角和焦距，電話機2100確定使用攝像機2120捕獲的球場區(qū)域。換言之，電話機2100確定攝像機所看到的真實世界位置的邊界。這通過攝像機系統(tǒng)2010提供球場上基準點的真實世界位置而進一步便利。為了實現(xiàn)此，這些基準點被用于計算真實世界位置和球場平面的角度。使用電話機的GPS位置和它的傾斜角，計算表示真實世界中電話機的鏡頭指向的方向的三維向量。使用已知技術(shù)，可因此計算該向量把球場平面一分為二的真實世界點。該真實世界點是攝像機視場的中心。為了確定視場的范圍，必須首先計算水平和垂直視場的角度。這些使用已知技術(shù)根據(jù)傳感器大小和鏡頭的焦距來計算。作為示例，使用例如以下的公式FOV (horizontal) = 2*arctan(SensorWidth/(FocalLength*2))FOV (vertical) = 2*arctan(SensorHeight/(FocalLength*2))然后，這些角度被用于旋轉(zhuǎn)表示電話機鏡頭指向的方向的向量，以使得它通過攝像機圖像的角落之一。此外，使用已知技術(shù)，計算該向量把球場平面一分為二的真實世界點。該真實世界點是攝像機視場的角落。該技術(shù)然后被重復(fù)用于攝像機視場的全部四個角落以便確定攝像機所看見的真實世界位置的邊界。當移動電話機2100提供球場上選手的真實世界位置以及球場上的真實世界關(guān)鍵點時，電話機2100確定最可能在攝像機2120觀看的圖像中的什么位置看到選手和關(guān)鍵點。然后它在圖像內(nèi)的這些位置定位評注。在候選實施例中，為了增加評注放置的精確性，移動電話機2100然后對所捕獲圖像執(zhí)行圖像檢測以便檢測圖像內(nèi)的任何對象。這是步驟S2360。因為移動電話機2100知道攝像機所看到的真實世界位置的邊界，所以電話機2100識別圖像內(nèi)所檢測的每個對象的真實世界位置。因此，通過比較電話機2100所捕獲的每個對象的真實世界位置和攝像機系統(tǒng)2010所捕獲的每個對象的真實世界位置，可以確定移動電話機2100捕獲的圖像內(nèi)的哪個對象對應(yīng)于哪個所檢測的選手。攝像機系統(tǒng)2010提供的評注(作為元數(shù)據(jù)被提供)被應(yīng)用到圖像內(nèi)的正確對象。這是步驟S2370。這里應(yīng)當注意，為了改善評注處理的精確性，考慮了移動電話機2100中攝像機的光學(xué)畸變。例如，如果攝像機內(nèi)的光學(xué)畸變使得光線向左彎曲5個像素通過鏡頭，那么所檢測對象的真實世界位置將不同于攝像機所捕獲的。因此，可對所捕獲圖像內(nèi)的所檢測位置應(yīng)用校正以便糾正該錯誤。光學(xué)畸變存儲在存儲器2140中，并且當制造電話機時生成。然后處理結(jié)束(步驟S2380)。使用該信息，與移動電話機攝像機的當前焦距組合，移動電話機可確定體育場的哪部分將出現(xiàn)在它的視場中并且因此計算攝像機系統(tǒng)所檢測的任何選手應(yīng)當出現(xiàn)在它屏幕上的什么位置。在實施例中，可使用塊匹配技術(shù)等來執(zhí)行移動電話機2100所捕獲的圖像中的對象檢測。這可改善評注被放置在移動電話機2100的顯示器上的精確性。攝像機系統(tǒng)可向移動電話機2100發(fā)送對象的表示(例如每個選手的裁剪)。移動電話機2100所檢測的對象可與從攝像機系統(tǒng)2010接收的相比較。該改善了檢測技術(shù)的質(zhì)量。為了減少執(zhí)行該對象比較所需的處理器功率，實施例中的移動電話機2100比較 來自攝像機系統(tǒng)的已知基準位置和它的視場內(nèi)的相應(yīng)基準位置。例如，從攝像機系統(tǒng)2010接收的任何球場標記可與移動電話機2100捕獲的圖像中的任何所檢測球場標記比較。比較球場標記是有用的，因為它們在場景中是靜態(tài)的，并且因此標記的位置將保持不變。如果不匹配，或者匹配概率低于比如98%的閾值，那么從攝像機系統(tǒng)2010接收的所檢測球與移動電話機2100所檢測的其它對象比較。因為用戶可能專注于球，最希望的是移動電話機2100捕獲的任何圖像將包括球。此外，因為球是圖像中的獨特對象，檢測該對象將是更容易的并且因此減少了移動電話機2100內(nèi)的處理能力。如果沒有球的匹配或者匹配的概率低于閾值，那么移動電話機2100所檢測的對象再次與從攝像機系統(tǒng)2010發(fā)送的其它對象比較。當實現(xiàn)了確定的比較時，移動電話機2100所檢測的對象位置與通過變換所計算的位置比較。這確立了校正值。然后校正值被應(yīng)用于每個變換的位置值。該校正的變換位置值標識向其提供元數(shù)據(jù)(例如選手姓名)的選手的位置。移動電話機2100將姓名應(yīng)用到最接近校正的變換位置值的所檢測對象。特定地，移動電話機2100在所檢測對象上面插入姓名。這改善了放置評注的精確性。為了提供增強的用戶體驗，比賽時間和比賽分數(shù)被應(yīng)用到顯示器的特定區(qū)域，例如在顯示器的角落中。這些區(qū)域通常不是用戶的焦點，所以將不會模糊動作?？稍O(shè)想增強現(xiàn)實實施例將是在移動電話機2100上運行的計算機程序。例如，實施例可以是所謂的“應(yīng)用”。為了幫助用戶，當初始化應(yīng)用時，移動電話機2100將自動啟動GPS傳感器和高度和傾斜傳感器。此外，如在比賽期間期望的，用戶可能希望不與移動電話機2100交互。通常，為了節(jié)省電池能量，顯示器將在一段不活動周期之后關(guān)閉。然而，這將是不方便的。因此，應(yīng)用將禁止自動關(guān)閉顯示器。盡管前面描述了根據(jù)所捕獲對象確定球場上不同對象的位置，但是本發(fā)明不限于此。例如，每個選手可以攜帶使用GPS系統(tǒng)提供球場上選手位置的設(shè)備。此外，類似的設(shè)備可放置在球中。這將減少系統(tǒng)的計算消耗，因為該信息將被自動提供而不需要計算位置。盡管這里參考附圖詳細描述了本發(fā)明的說明性實施例，應(yīng)當理解，本發(fā)明不限于那些精確的實施例，并且可由本領(lǐng)域技術(shù)人員在其中實現(xiàn)各種改變和修改而不會偏離如所附權(quán)利要求所定義的本發(fā)明的范圍和精神。
權(quán)利要求
1.一種在顯示器上評注攝像機捕獲的場景圖像中的多個對象的方法，所述方法包括 接收i)表示要被應(yīng)用到每個對象的不同評注的元數(shù)據(jù)，和ii)標識所述圖像中的評注要被應(yīng)用到的所述場景中的每個對象的真實世界位置的位置信息； 確定所述攝像機的焦距和應(yīng)用于所述攝像機的傾斜； 確定所述攝像機相對于被捕獲的所述場景的位置； 根據(jù)所述位置信息將所述評注應(yīng)用到所述攝像機捕獲的所述圖像；和從與所述攝像機不同的具有所述場景的視場的圖像捕獲設(shè)備獲得所述位置信息，其中其中根據(jù)所述圖像捕獲設(shè)備所捕獲的所述場景的圖像來確定所述位置信息。
2.根據(jù)權(quán)利要求I所述的方法，還包括根據(jù)所接收的所述對象的真實世界位置信息、所述攝像機的位置信息、所述攝像機的焦距和應(yīng)用于所述攝像機的傾斜，識別所述攝像機所捕獲的所述圖像中的至少一個對象；以及根據(jù)識別出的對象將所述評注應(yīng)用于所述圖像。
3.根據(jù)權(quán)利要求2所述的方法，其中，識別所述對象的步驟包括檢測所述圖像中的對象。
4.根據(jù)權(quán)利要求2或3所述的方法，還包括根據(jù)所述攝像機的存儲的光學(xué)畸變特征來識別所述對象。
5.根據(jù)權(quán)利要求I所述的方法，其中，所述位置信息是全球定位系統(tǒng)位置信息。
6.根據(jù)權(quán)利要求I所述的方法，其中，所述一個對象是位于所述場景中的靜態(tài)對象，或者是所述場景中的獨特對象。
7.根據(jù)權(quán)利要求I所述的方法，還包括存儲所述元數(shù)據(jù)和根據(jù)所存儲的元數(shù)據(jù)顯示所述評注。
8.一種裝置，包括顯示器和攝像機，所述顯示器可操作為用于顯示具有多個對象的場景圖像，所述圖像由所述攝像機捕獲，所述裝置還包括 接收設(shè)備，可操作為接收i)表示要被應(yīng)用到每個所述對象的不同評注的元數(shù)據(jù)，和 )標識所述圖像中的評注要被應(yīng)用到的所述場景中的每個對象的真實世界位置的位置信息； 確定設(shè)備，被配置為 確定所述攝像機的焦距和應(yīng)用于所述攝像機的傾斜；和 確定所述攝像機相對于被捕獲的場景的位置； 并且，所述裝置包括控制器，該控制器可操作為根據(jù)所述位置信息將所述評注應(yīng)用到所述攝像機捕獲的所述圖像；并且所述裝置還包括獲得設(shè)備，該獲得設(shè)備可操作為從與所述攝像機不同的具有所述場景的視場的圖像捕獲設(shè)備獲得所述位置信息，并且其中根據(jù)所述圖像捕獲設(shè)備所捕獲的所述場景圖像來確定所述位置信息。
9.根據(jù)權(quán)利要求8所述的裝置，其中，所述控制器還可操作為根據(jù)所接收的所述對象的真實世界位置信息、所述攝像機的位置信息、所述攝像機的焦距和應(yīng)用于所述攝像機的傾斜，識別所述攝像機所捕獲的所述圖像中的至少一個對象；以及根據(jù)識別出的對象將所述評注應(yīng)用于所述圖像。
10.根據(jù)權(quán)利要求9所述的裝置，其中，所述控制器可操作為檢測所述圖像中的對象。
11.根據(jù)權(quán)利要求9或10所述的裝置，其中，所述控制器還可操作為根據(jù)所述攝像機的存儲的光學(xué)畸變特征來識別所述對象。
12.根據(jù)權(quán)利要求8所述的裝置，其中，所述位置信息是全球定位系統(tǒng)位置信息。
13.根據(jù)權(quán)利要求8所述的裝置，其中，所述一個對象是位于所述場景中的靜態(tài)對象，或者是所述場景中獨特的對象。
14.根據(jù)權(quán)利要求8所述的裝置，還包括存儲設(shè)備，該存儲設(shè)備可操作為存儲所述元數(shù)據(jù)，并且所述控制器可操作為根據(jù)所存儲的元數(shù)據(jù)顯示所述評注。
15.一種移動手持機，其包括用于連接到網(wǎng)絡(luò)的收發(fā)器和根據(jù)權(quán)利要求8所述的裝置。
16.一種計算機程序，其包括當載入計算機時將所述計算機配置為執(zhí)行根據(jù)權(quán)利要求I所述的方法的計算機可讀指令。
17.一種存儲介質(zhì)，其配置為在其中或其上存儲有根據(jù)權(quán)利要求16所述的計算機程序。
全文摘要
公開了一種方法、裝置和手持機。一種在顯示器上攝像機捕獲的場景圖像中的多個對象的方法，方法包括接收i)表示要被應(yīng)用到每個對象的不同評注的元數(shù)據(jù)，和ii)標識圖像中的評注要被應(yīng)用到的場景中每個對象的真實世界位置的位置信息；確定攝像機的焦距和應(yīng)用于攝像機的傾斜；確定攝像機相關(guān)于被捕獲的場景的位置；和根據(jù)位置信息將評注應(yīng)用到攝像機捕獲的圖像。
文檔編號H04N5/262GK102843523SQ20121009292
公開日2012年12月26日 申請日期2012年3月29日 優(yōu)先權(quán)日2011年3月29日
發(fā)明者羅伯特·馬克·斯特凡·波特 申請人:索尼公司