專利名稱::用于通信的系統(tǒng)和方法用^I信的系^fB方法鵬員域本發(fā)明涉及一種用于將包括多個位于同一平面上的m的場景的三iW/示傳輸^^N^多個客戶^g的系辦n方法,^H鄉(xiāng)t^^皿由柳^M相豐;i^捕獲的^f:的一個或多個柳頻圖像中產(chǎn)生的。背景魷隨^ffl信M的發(fā)展,例如,接入網(wǎng)絡(luò)(WiFi,UMTS,3G),現(xiàn)在例如移動電話之類的客戶^S肯,te訴見頻,??梢岳靡蛱鼐W(wǎng)協(xié)i^l國際互^I信網(wǎng)來傳輸!鵬,,其鵬于4糊服務(wù)質(zhì)誠確倒腿時和可預(yù)測蹄寺網(wǎng)協(xié)議包不穩(wěn)定性以及包丟失。以這種方式^^柳頻,是已知的,如因特網(wǎng)協(xié)議電視(IPTV)。但是,艦因特網(wǎng)通信繊iif^枧頻,雜一個fe^挑戰(zhàn),由于因特網(wǎng)通信的一4^爭性是獸^^通信帶寬的約束,其可以用于^M柳頻并且可能因?yàn)镮P包丟失而引起娜的丟失。廣播l^i^i,,一個^:衫戰(zhàn),由于用于&縮新牛的編蹄見號的可禾擁時間是有限的。財卜,當(dāng)用戶觀看實(shí)時或非實(shí)時產(chǎn)生的挪頻圖像時,其期望盡可育^t、用戶對謝牛的欣賞的^a。為了^a用戶對從柳頃圖像中觀看的謝牛的鵬時,可以〗頓多^w^M辦誠爐的照相inA而以不同健和角s^見看*#。財卜,戶刑胃的運(yùn)動員^t幾(cams)辛細(xì)^中捕辦寺^ii動員的動作。但是,布置多個^m/人而驢一個事件是非常昂貴的并^ajt^卜將每一個Mt機(jī)產(chǎn)生的圖鵬合是—個鋭的任務(wù)。麟,無論艦多少攝傲幾,要從沒有,幾的娜贈靴的需求。因此,可以認(rèn)iRM柳有限的通儲寬將顯恭鵬事件,如體育割牛的視頻,嫌合客戶端設(shè)備是一個技術(shù)蜱
發(fā)明內(nèi)容鄉(xiāng)一方面,衝共一種用于將包含了多個位于一竹面上的鄉(xiāng)的驗(yàn)的表示傳輸^"個或者多個客戶設(shè)備的系統(tǒng)。iM^是由柳^f斜幾獲得的^:的一個或者多個枧頻圖像產(chǎn)生的。該系^^括MM^M,可操作用于接W人柳頻攝像機(jī)接收的場景的視頻圖像,該Jif:包括在該平面上的鄉(xiāng)的視圖,用于《獲得的視頻圖像從而從每一個對象中提取一個或者多個圖像特征,用于將該一個或者多個圖像特征與來自視頻S^包含的可肖際例對象的預(yù)定組的樣本S^特征進(jìn)行比較,用于根據(jù)該圖像伊征與頓肖際例鄉(xiāng)的腕圖像特征靴匕棘i湖U,用于為每一個,產(chǎn)生i湖湘^m的)(^徑l^;并且Jlf共已iR^對象在視頻圖像中的所述平面的三維豐Mi:t樹于時間的位置;用^it^t據(jù)m路徑將每一個對象的^從柳頻圖像中的平面投影到該平面的三維模型中的,矩陣。分配服務(wù)器可操作用于接收由MM^fi產(chǎn)生的x^m^和投魏陣,從而將iMm^徑和^E陣^S^iJ—個赫多個客戶端設(shè)備。在一個實(shí)施例中,該客戶端設(shè)備可以被隨為產(chǎn)生力硫的三itt/示,其包括位于該平面上的多個鄉(xiāng)的每一個的合腿示。在另一個實(shí)施例中,該客戶端設(shè)備可以被隨為接收柳頻a^同目標(biāo)路^^和s^g陣,從而禾,來自分配月艮務(wù)器的目標(biāo)路^i^和i^e陣i賜晦一個目標(biāo),并且響鵬戶的選擇,來顯t個赫多個鄉(xiāng)啲目標(biāo)所在的1分鵬,。本發(fā)明的實(shí)施例可以鄉(xiāng)一種ifig,其中,例如運(yùn)齢事件的一個事件的表示可以產(chǎn)生并且被傳fi^多個客戶端設(shè)備,使得用戶^g可以以三纟tt/示再現(xiàn)該割牛。在一酵仔中,可以鵬單個的^*產(chǎn)生謝見頻圖像,盡管可以i頓多個*幾。因此,本發(fā)明的實(shí)施例可以麟多館點(diǎn),包搖以一種,的方式M31允許客戶端設(shè)備改變以三維方力見看事件的相對視亂從而允許客戶端設(shè)備觀看新牛的三食w^,例如足球比條允許客戶端設(shè)備^#~種粒了三鄉(xiāng)^的方式,包括贈的合《^,禾口/m^^f處的平面6^的^;斷ra于恭示新牛所需晰言息的M,其可以TOMil例如移動通信網(wǎng)絡(luò)^^互聯(lián)網(wǎng)通信^^之類的具WW限帶寬6^體傳輸一^Hi^新牛附腿;—種配置,其中客戶端設(shè)備可以提取一部分具有選擇的一個^多個鄉(xiāng)的視頻圖像,而無需要求,一個樹斜脈專門采集這&J^的柳頻圖像,其由整個;tM(足球比賽)的圖像產(chǎn)生一個局部(運(yùn)動員集合)視圖。本發(fā)明的實(shí)施例允許改變,生的三維M中的相對視圖,使f粘顯見看點(diǎn)以該場景的三維,IM樹期見看,在真實(shí)環(huán)境中在該觀看點(diǎn)并不^用于獲取JM場景^^頻,的s^a。因此,該場景的三維豐趣掛共了一個真實(shí)t綠的戯以M/示,其可以用于e^6^tlM的觀看。本發(fā)明的實(shí)施例也Jlf共了僅iW^h)^mg某m^的觀看,而無^i^一個^a專門用于M^m中獲鵬P個g那Mm。本發(fā)明的其他M方面禾時寺征由附加的權(quán)利要求限定,其包括一種#^s、一種客戶端設(shè)備、一種方法和一種具有其上記載了teHt^;m^的信息信號的綠媒體的娜載體。1^將##附圖來1鵬述本發(fā)明的實(shí)施例,其中圖i是根據(jù)本發(fā)明的一個實(shí)施例的^isi系統(tǒng)的示意亂圖2是一個根據(jù)本發(fā)明的實(shí)施例的^t^方法的淑呈圖3A和3B是根據(jù)本發(fā)明的實(shí)施例的X^i蹤的示意亂圖4是根據(jù)本發(fā)明的實(shí)施例的X^ii^的遮^^測的/琉圖6A和6B是根據(jù)本^明的實(shí)施例的^i^口遮m測的示意亂圖7示出了根據(jù)本發(fā)明的實(shí)施例的圖像i賜仿法的纟繊圖;圖8示出了根據(jù)本發(fā)明的實(shí)施例的圖像特征的圖像鵬的示意亂圖9示出了根據(jù)本發(fā)明的實(shí)施例的用^i十算特征向量^圖像特征的圖像,的示意圖;'圖10是一個從一個場景中獲得的柳頻圖像的示意圖,其示出了包括要Mii^的隊員的足球比賽;圖11A是一個B^M用本發(fā)明的^M^平均^而產(chǎn)生背景^^的視頻圖像的示意圖,并且圖11B示出了考慮至咬化時的背景豐I^;圖12是一個B^OT本發(fā)明的fe^M的卑鵬圖像的示意亂從而示出了運(yùn)動員的iil^置;圖13^A兩個不同的照相機(jī)獲得的兩個4見頻,的示意圖,其中的每一個照相豐鵬W^的每Hi,以腿球比賽的JME見實(shí)的蔬圖,其中的運(yùn)動員在相應(yīng)時間被追蹤;圖14是一個足球比賽的視頻圖像的顯示,其中根據(jù)本發(fā)明的^a^的隊員被總;圖15是一個足球比賽的齒以模型的三纟/示,其中比賽的觀看可以被;圖16是一個用于產(chǎn)^£球比賽的^^模型的系統(tǒng)的禱框圖,其中比賽艦可MS聯(lián)網(wǎng),給客戶端設(shè)備的AX合,素顯示。圖17是一個用f^客戶端設(shè)^^產(chǎn)生:^t的1分挪頻圖像的Wl的系統(tǒng)的^亂其中的^^出了部^f的m:圖18是一^^圖16和17中示出的系統(tǒng),作的漸呈的示意圖;以及圖19是一^/示圖17中示出的系統(tǒng)W^作的讞呈的示意圖。具體實(shí)施例公開了xmii蹤的系鄉(xiāng)卩方法。在下面的描述中,為了對本發(fā)明的實(shí)施例有全面的理解,公開了許多特定細(xì)節(jié)。然而,很明顯,對于本領(lǐng)域的S^人員來說,無需<頓這離定細(xì)節(jié)也可實(shí)1發(fā)明。相,出于清楚說明實(shí)施例的目的,省略了對于本領(lǐng)m^人員來說是已知的特定細(xì)節(jié)。圖1示出了按照本發(fā)明實(shí)施例的^I^系統(tǒng)的示意圖。在如圖1所示的實(shí)施例中,要M^的mJi^^30上的足^g動員(標(biāo)出)。辦湯30的高清(HD)枧頻,(1920x1080像素)由一個或多個高清^MIM獲。盡管本發(fā)明的實(shí)施例可用于自多個^的柳頻,中11£^,但在一些實(shí)施例中僅使用一個樹斜幾??梢?的是,高清wm很貴,所以僅4頓一個衝斜幾能斷氐實(shí)測OT本^的系^^需的總費(fèi)用。然而,僅^OT—個衝象機(jī)只肖^f井vX^排列于其中的:t綠的一個二維視圖。結(jié)果,ffi由柳頻圖^^的場景中的鄉(xiāng)更加困難了,因?yàn)樵谄渲幸粋€^ii擋另一個X^的遮擋事件更可能了。圖l中示出了這樣的單個M^幾20的實(shí)例,盡管如纖機(jī)22.1和22.2所示,可以選擇使用兩個S^幾,#^于足^的不同半場。在圖1中,視^^幾20位于足球體育場中的固定點(diǎn),并被安掃瞎g由MWl20捕獲的冬鵬圖像的信號^Jl^內(nèi)^bSX作站10,后者執(zhí)行圖像《及其ft!^作,以il!^^^上的運(yùn)動員+樹于時間的^S。然后,iS^^禾胸于時間的運(yùn)動員^1!的,以^和比,計,例々嫩^ii動員在比賽場,寺定部分所花費(fèi)時間的長度、^tit動員奔跑了多遠(yuǎn)磐。^目對于時間的運(yùn)動員OT的ic^為^Ht動員形^^,據(jù),^^及Wt動員在視頻,中的路徑。根據(jù)足職(^tm平面)的三維牛難4^^^,以鄉(xiāng)與根據(jù)運(yùn)動員場上,的運(yùn)動員移動相關(guān)聯(lián)的信息,這禾幅息從(二維的)柳頻圖像中看來不是很明顯。隨后,這種已產(chǎn)生的路《^M細(xì)于當(dāng)足球比賽的鏡頭通過^1的介質(zhì)#^^觀,働見的觀看,,自旨導(dǎo)足球隊時幫助教練。下面將詳細(xì)描j^tm的追蹤,所^tm例如是球場30上的運(yùn)動員。在本發(fā)明的實(shí)施例中,內(nèi)MbSX作站10^ffi由Sony、Toshiba⑧及I,^^研發(fā)的Cell自機(jī)。Cell^S機(jī)的^^性使得它特別適合執(zhí)mt^1^的^bS任務(wù),例如圖像鵬、圖像i湖諷^ii^。然而,fe^人員可以離,招可適合的工作站和,單元都可以用于實(shí)1^發(fā)明的實(shí)施例??梢噪x的是,根據(jù)本發(fā)明實(shí)施例的W^系鄉(xiāng)防法不必鄉(xiāng)蹄偽鵬^igl上的運(yùn)動員。例如,可以鵬其它體育隊的運(yùn)動員,例女PltW、板球、美戰(zhàn)球、》姆、^t磐。另外,根據(jù)本發(fā)明的實(shí)施例,還可以鵬如球、冰球用:例如賽車的1具等等的)^0根據(jù)本發(fā)明的技術(shù),^ffi高清柳Mt機(jī)20產(chǎn)生的視頻圖像被安排用于捕^^的視亂使得可以itl^fc湯上的運(yùn)動員。因此,/AMf斜幾20的靜碰置捕1^,盡管如j^;m,為了捕ww^可以4OT多于一個攝ftt幾。在一個實(shí)例中,如J^/M,lOT兩個^tm22.1和22.2,^h位W^f的不同半場。在這個實(shí)例中,如英國專利申請NO.0624410.7臓,^^衝斜/L^生的視頻,可以被內(nèi)msx作站10結(jié)合在1以il^自高^^率視頻圖像。在這個實(shí)施例中,在纟頓結(jié)合M(stitchingprocess)之后,SHtl幾集群的輸出被認(rèn)為是單個的超高彌率,。超高清設(shè)備的優(yōu)點(diǎn)很多,包括無需進(jìn)行光學(xué)并因此不必影響體育場的整體,即育狹出顯^i動員的特定特征的能力。財卜,由于比賽的背景是靜止的及WE^iii^tm的較高屏^fl率,使得)^的自動,很容易。!^參考圖2、3和4來描^i據(jù)本發(fā)明實(shí)施例的^tii^。圖2示出了根據(jù)本發(fā)明實(shí)施例的^ii^方法的淑呈圖。為了itl^j^,從已接收柳頻的在f腕義縫的幀上實(shí)質(zhì)上被檢測為靜止的那鄉(xiāng)分中構(gòu)造背景模型。^"^驟S30中,對接收自^Ml20的^^^^的枧頻MiS行^i,以構(gòu)造圖像的背景豐!Mo構(gòu)造背景豐i^是為了創(chuàng)建輔助i朋訴tai^單個運(yùn)動員的前景屏蔽(mask)。在步驟S30,為了粒背景鄉(xiāng),艦為,象素確鵬斜貞之間的像mim&像素傲M^形成背景t難。因此,^^貞中像糊值不做大的被,隨后為了i湖i撤景屏蔽,可以將^^Mi別i偽背景像素。這樣的背景/前景分割是圖像鵬領(lǐng)域已知的方法,本發(fā)明的S^應(yīng)用了由Manzanera和Richefeu所著的、發(fā)表于2004年ICVGIP會寸義錄的、名為"ArobustandCcmputationallyEfficientMotionDetectionAlgorithmBasedonH-ABackgroundEstimation"的文章中戶腿的算法。然而,本發(fā)明的tfe^F限于這個已失鵬,根據(jù)用于鵬的背景豐難:^r景屏蔽的其fffi^也是已知的??梢缘氖牵?^幾的船1^括一些人群的情況下,背景輕中不太可能包括人群,因?yàn)樗w艮可育^^走去。這是不希望發(fā)生的,因?yàn)楫?dāng)執(zhí)行對mill^時,很可能增加Cell鵬ai:的雌負(fù)載,而1J^也是不必要的,因?yàn)榇蠖鄶?shù)體育轉(zhuǎn)播公司不太可軎樹,人群中的人們感興趣。在本發(fā)明的實(shí)施例中,在比賽開始,造背景模型,并且甚至能^ii動員入場前誠。另外,Wh比賽中周斯ttMifi憎背景翻,以考慮照明^i牛的招5J^化,例如齡比賽中齢被的陰影。在步驟s40,M^自mm的弓i入圖像中減去背景豐趣以i照杯同區(qū)域。因此,從該圖像中減去背景,難,得到的s^用于^^wt動員的屏蔽。在步驟S45,根據(jù)在背景|鄉(xiāng)被減去時產(chǎn)生的翻象|的像素繊犍閾值。ffiil首先確定在一系歹訴見頻圖像幀上的像mi^i^產(chǎn)生背景豐IM。從^h^素的,中,可以計算來自現(xiàn)頻,幀的^m素的方差。然后,^^素的方魏于確定閾值,該閾于視頻圖像的所有像素范圍中的^€素來說是可以變化的。對于對應(yīng)于部分圖像的像素來說,方差高的地方,例如包括人群的部分,閾值被^S為高值,而對應(yīng)w^的圖像的部分具w^低閾值,因?yàn)檗k湯的鵬和內(nèi)容始終是相同的,除了運(yùn)動員出現(xiàn)的地方。因此,閾值將確定前景元素;i^存在,并且為此相魁也i賜J前景屏蔽。在步驟S50,基于與平均人l^l趣的關(guān)聯(lián)的^^概率TO于Mf景屏蔽中提^態(tài)。財卜,為了創(chuàng)^fe概率屏蔽,為了i尸^J運(yùn)動員,從圖像中提Mfe1T征,例如Mii動員襯衫的鵬中提取。因此,每隊襯衫的顏色會嫩用于將運(yùn)動員彼此區(qū)別欣。最后,內(nèi)WMx條io條已知的^h足球隊的固,^^fet娥。因此,需要每隊襯衫的鵬、守門員及辦l損襯衫的顏色。然而,可以M的是,可以使用其他^i的M^皿和/劍莫阪匹配方法?;氐綀D2,在步驟S50中,內(nèi)^WT作站10將^^Mfe牛鎌的^t^素與對應(yīng)于運(yùn)動員圖像的襯衫區(qū)域的像^a行比較。隨后,內(nèi)#1:作站10產(chǎn)生指示^fe^S像素與戶;M像素之間樹以性的概率值,以便基i^m^B值(HSV)fe^空間中的距離鄉(xiāng))^fe概率,該^S空間來自球隊和^^鵬^難。另外,麟概率用于定條動員,^^概率基于與平均人l^^觀的關(guān)聯(lián)。跳移動概率基于與隨的距離,該^Sfflil鵬開始錢、m^/鵬織的遞歸最小平方估^t算得出。圖3A示出了運(yùn)動員屏蔽的創(chuàng)自程。圖3A示出了由視ilM像機(jī)20產(chǎn)生的足嫩湯30的^視圖210。就像B^說明過的,嫩湯30形成了背景豐翻的一部分,同附(Lt^M,運(yùn)動員230、232、234、236、238、240形成了前景屏蔽的1分。運(yùn)動員的邊界方框(boundingbox)以^h運(yùn)動員周圍的虛^出。至此,對于|幾圖像,,已執(zhí)行步驟S30、S40、S45和S50。已設(shè)計前景屏^§,在首5W運(yùn)動員flffl聘之后,在步驟S55中M:^ifi^^ltt^行運(yùn)動員麟。因此,為了Mi^逝呈中除去這些運(yùn)動員,首先M被i朋偽離攝f斜/Wa的運(yùn)動員。在步驟S60,Mlfii動員的雌以便于最大化條、鵬和移動概率。在步驟S70,構(gòu)造排除了已知的將要被其他Mifi的運(yùn)動員執(zhí)J^fa^的圖像區(qū)域的遮擋屏蔽。這確保了被其^ii動員部分或^P鵬的運(yùn)動員只能與可視圖像區(qū)域匹配。遮擋屏蔽提高了鵬的可靠性,因?yàn)槠鋽嗍狭塑嘇^洽并(其中^U當(dāng)事件之后,兩條車AM隨相同的運(yùn)動員)的發(fā)生率。當(dāng)多個目1if^辦目同時,這J^^辦問題,因?yàn)樗麄儾粋}^iiWfe(簡單地)被區(qū)分。遮擋屏蔽允許^^素分職(5f他的運(yùn)動員湘滁頓的運(yùn)動員,P肚兩條車M匹配相同集合糊象素,從而麟了他們的與蟲鄉(xiāng)U。然后,下面iliiill^m圖像中衝共的伊征并艦們,到如圖3A和3B所示的三維,I3Lt,繼續(xù)iii^^Ng動員的鵬。因此,為了與^f斜/l^生的二維圖像中的^g相一致,將三維^a分船能動員,其最大化g、,和移動概率。簡要說明,如果已經(jīng)檢測至腿擋割牛,貝ij更e^動員的選擇皿二維圖像至iH維teU:的艦。為了輔助步驟S65中從二維圖像向三維豐勉的,,對將要lffi^的運(yùn)動員進(jìn)行初始化,以使得KfeSMfe概率中的ilW,到:Sii合的運(yùn)動員選取。要強(qiáng)調(diào)的是,步驟S65中執(zhí)行的凈加臺化僅執(zhí)行一次,典型Jttii^戰(zhàn)呈開始的時fi^w亍一次。為了對系^a行好的初始化,運(yùn)動員應(yīng)凝當(dāng)浙。初始^t后,根據(jù)本發(fā)明的M,運(yùn)動員,中的樹可^^|5#被自動更正,其不需要AI干涉。為了實(shí)tt^自二維S^位置的三維模型中的追蹤,通過^ffiS^g陣P進(jìn)行轉(zhuǎn)換。麟需要二維圖像腿與三維禾翅中的健相縣。ffl^頓職(P)矩陣來誠離換。二維空間中的點(diǎn)等于三維空間中的線<formula>formulaseeoriginaldocumentpage14</formula>二維空間中的點(diǎn)等于三維空間中的線,因?yàn)榈谌S絲知的,織三維是離S^幾的距離,因此會作為穿HH維翻的^^相艦出現(xiàn)。膽(運(yùn)動員)的高度可以用于確定與,幾的距離。艦沿位于已知地面a的固定高度(平均人類高度)的^t取點(diǎn),可以獲得三維空間中的點(diǎn)。在由M^n校準(zhǔn)^sia行的匹ss^前,^^Mt幾一wwKffs^g陣p,^mn校準(zhǔn)M中,的物理伊征(例如鄉(xiāng)30的拐角31A、31B、31C、31D)用于確定樹斜幾參數(shù),因此,其可以輔助將已i朋啲運(yùn)動員的二維腿,至lj三維t難上。4頓已粒的方法,這是已知的駄。根鵬理織,S^g陣P合^f斜幾的^^7K平(zoomlevel)、光心、三維^S&H維旋轉(zhuǎn)短(指向的地方)。步驟S60中執(zhí)行的繊算法是可伸縮的,其肖,用^"個或多個i^a僅僅需要MS4"個M^幾處可以看見鄉(xiāng)上的所有點(diǎn)(以足夠的^fl率)。除了和條匹15^外,步驟S60包括H^呈,其中,為了以^bMft率準(zhǔn)確i朋lj^hl動員,也包括了正在M1^的運(yùn)動員的移動。因此,根據(jù)禾樹運(yùn)動和方向可以確定幀之間的運(yùn)動員的相對運(yùn)動。因此,相對運(yùn)動可用于隨后的幀以產(chǎn)頓于i鄉(xiāng)將^it動員的〗嫁區(qū)域。形卜,如圖犯所示,足鄉(xiāng)的三維,趣可以歸到30.1、32.1、34.1、36.1、38.1、240.1的^i4行擴(kuò)展,戶;ft^相對于運(yùn)動員^S的圖形J際定位,以反,嫩lLhit動員移動的相對方向。在步驟S70,一旦三維模型中的運(yùn)動員相,置被ij測,隨后將i^g相應(yīng)M^回足嫩湯的二維S^視圖中,并將禾樹邊^(qū)^到三維豐翻中根據(jù)其體識別的運(yùn)動員周圍。還是在步驟S70,運(yùn)動員周圍的豐,界隨后動卩到i^g動員的遮擋屏蔽。圖3B示出了足嫩湯的戯財趣220的平面圖。在圖3B所示的實(shí)施例中,運(yùn)動員230、232和234(位于場地的左手邊)已被內(nèi)^MT作站10i湖ij為穿著與運(yùn)動員236、238和240(位于場地的右手邊)不同的足球襯衫,因此J際他們屬于不同隊伍。以這種方式區(qū)^i動員使^ai擋割牛之后檢測^1^動員變得容易一些,因?yàn)槁氉鰅、湖艮的Mfe可以很容易地區(qū)分Wh。回頭##圖2,在步驟S60,《頓例如卡爾曼濾波的已矢P^i^^tit動員的,,當(dāng)然^^其他^的s^也是可以s^的。該,發(fā)生^mm視圖210禾口傲以豐難220中。在本發(fā)明的實(shí)施例中,由內(nèi)^ME作站104頓^^模型220中的運(yùn)動員^3^1行的皿預(yù)測被用于輔助^|^|幾視圖210中的每重復(fù)步驟S60和S70,鼓咖判定框S75所示的男P^fcS^^有運(yùn)動員。因此,如果不Ji^有的運(yùn)動員繊鵬了,Wa轉(zhuǎn)到步驟S60,M^,如果鵬誠;feWt預(yù)驟S80結(jié)束。如圖2戶標(biāo),圖示的方法進(jìn)1包鄉(xiāng)驟S85,如果圖像由多個Smn^生就需要該步驟。由此,可M來自齡衝斜幾的柳頻圖像執(zhí)行鵬步驟S30到S80。這樣可以麟^Hg動員來自齡Mm的檢屑概率。因此,根據(jù)步驟S85,按照沬自^t衝斜幾的^tii動員,率來估算^1Si動員的iig,并且根據(jù)每個^mW^的最大概率來估算i^J員6^,使得^Sl動員具有最^Jt率的,被ii^iJ為運(yùn)動員的^S。如果B^確定ffii^^^JJi動員的斑呈中發(fā)生錯誤,那么就在步驟S90中Sf初始,i^i動員的,。,^^動員的檢測的概率對^#定1^說相對較低,就會產(chǎn)^i^中的錯誤檢測,并從而重新初始化辦Aa。執(zhí)行如圖2戶麻的方法的結(jié)果是為^tit動員產(chǎn)鎖徑娜,^t枧頻圖像的^^貞中^^運(yùn)動員&^e,iMm^^j員整場比賽所走的路徑。因此,路M^皿了關(guān)于時間6^S。鵬麟如果如圖4戶;f^,一^i動員遮擋另一^Ht動員的M或部分,當(dāng)^旨運(yùn)動員的皿形^^個樹Ml視圖時就會出現(xiàn)問題。圖4示出了多iSt動員310、320、330和340,與他們關(guān)聯(lián)的邊界框如針運(yùn)動員周圍的虛^B^。運(yùn)動員310與340清楚的區(qū)分tt,而運(yùn)動員320遮擋了運(yùn)動員330的一部分。iM尤敲刑胃的遮擋新牛。當(dāng)一^ig動員的^P或部,擋至^"個其^g動員的鄉(xiāng)或部分荊吏得對運(yùn)動員的鵬變得模湖時,甚至在考慮其他因素(例如運(yùn)動員的豐,動和方向)之后,京撥生了遮擋事件。然而,可以,可以發(fā)生兩個^M多^ii^員牽涉其中的遮擋事件。,內(nèi)^MT作站10檢測與運(yùn)動員有關(guān)聯(lián)的屏蔽的^P或部分^和與另一^Ni動員有關(guān)聯(lián)的屏蔽的,或部分出現(xiàn)于相同的,區(qū)域。^!擋割牛中涉及的運(yùn)動員屬于對立的球卩AS因此而穿著不同顏色襯衫的情況下,可以很容易的區(qū)瓶動員鄉(xiāng)Jtbiili他們。然而,遮擋事件發(fā)^t后,如果運(yùn)動員都屬于同一方,內(nèi)WMX作站io可能無法區(qū)洲(MSi動員是明PK尤其是由^il徵件之后他們的移動(例如由鵬童導(dǎo)致的移動)可能無法預(yù)測并因此無法Miii^ii動員。結(jié)果,分1^^運(yùn)動員的11纟她許被魏了。為了解決運(yùn)動員鵬中的豐娜性,內(nèi)^hSX作站10為遮擋割牛中涉及的所有運(yùn)動員標(biāo)±薪牛中涉及的所有運(yùn)動員的身份|^8。然后,在稍后如果一個或多^ii動員變得易于區(qū)分,內(nèi)WMT作站io就J柳這^Ht息將運(yùn)動員的身份^RSf^Se^正確的運(yùn)動員,以便于f;^rHi動員是哪個的記錄。參考圖5詳細(xì)鵬鄉(xiāng)呈c圖5示出了根據(jù)本發(fā)明實(shí)施例的x^i^SM^ti柳方法的流程圖。在步驟sioo,內(nèi)WWi作站對已捕獲的豐鵬圖像執(zhí)行圖像M,以便于提取##上面圖2戶腿的一個或多個圖像特征。隨后已提取的圖像特征與提取自對象的可能實(shí)例的對應(yīng)M特tES行比較,以識別^h對象。在本發(fā)明的實(shí)施例中,下面t^圖7和圖8詳細(xì)^A襯衫上的數(shù)字i賜膽動員。然后,內(nèi)^bSX作站為^tm生成i賜ij^hm的^m極只??墒乓?,在本發(fā)明的實(shí)施例中,操作員M^作員界面i照iM^對象(例如運(yùn)動員)。然后,內(nèi)^MT作站10使用i^a作員界面輸入的l^以產(chǎn)^^椒尸激據(jù)。然而,t^:人員可以,,通a^作員可以將,i湖iJS^與裕尸為^^以便于產(chǎn)^m標(biāo)i尸激據(jù),或可以^^其合的)^^標(biāo)識方法,例如數(shù)字i朋iJ,m字i朋iJMMii動員襯衫背后的數(shù)字來鄉(xiāng)鵬員。在步驟S105,依^步驟S100提取的一個或M圖像特征,內(nèi)^MT作站10檢領(lǐng)!H5J可,te^測的^,例如##上面圖2所描述的運(yùn)動員。如上所述,J頓J^M魏220禾口^m幾視圖210鵬#1^動員。內(nèi)^bmi作站10j頓追1^11呈期間^;的*產(chǎn)生^#存路徑,該路4^^描述了^h)^m在接,啲,鵬,中所走的路徑。^mma^i^關(guān)于時間的運(yùn)動員x-y坐標(biāo)的樣本的形式。在本發(fā)明的實(shí)施例中,路徑數(shù)據(jù)的形式為U,&力),其中";i^樣時間,A和義是^^樣時間6時的m的x和y坐標(biāo)。然而可以S^,可以細(xì)其他鋮的路式。據(jù)一起,iM^徑i^涉及^h^在柳頻圖像中^i的路徑。、己Bt的i^存i^f內(nèi)^hSX作站10柳M驅(qū)動器(HDD)g^隨機(jī)訪問存儲器(DRAM)上。這使得肖&iat明MSi動員與^h檢測和鵬的路徑相關(guān)。隨后已記錄的繊育,用于^^^Ni動員以及比糊間他們在何處的i^。例如,可以從存4針關(guān)聯(lián)碟中的娜得到運(yùn)動員在^^寺定區(qū)i^;f花費(fèi)的時間。財卜,如果由于樹可原因運(yùn)動員與路^t間的關(guān),得模糊,例如擋薪牛后可肖撥生,這種i碌能被麟到如下所^l決豐難胸題為止。下面的表1示出了與mj各徑~^的已^^^斜尸的實(shí)例。<table>tableseeoriginaldocumentpage17</column></row><table>^h^的)^m^iPJ^和iM^的)^路徑f^之間的關(guān)聯(lián)允iWh對斜目,Mii^及il^ij。^m實(shí)施例中,可以iEl^Ng動員,因此允許轉(zhuǎn)播公司了鵬JH^動員是誰,即4數(shù)MSS動員可鄉(xiāng)巨離很遠(yuǎn)以至于無法在視覺上被操作員i湖戚被內(nèi)^WT作站10所執(zhí)行的醜i湖ij附鄉(xiāng)j。這允許轉(zhuǎn)播公司基于鉄勝且合更多的、轉(zhuǎn)播內(nèi)容的觀眾可能會需要的^tK信息。顯示圖像視圖中的ill^據(jù)的更多的例子稍后描述。在步驟S120,參考圖4,內(nèi)^tlO:作站10檢測參照圖4所述的謝牛M發(fā)生。如果沒有檢測至1事件,處M^就轉(zhuǎn)至l臉測M^的步驟S105。這樣,m^tm肯嫩賴蟲的鵬,^h鄉(xiāng)的路徑與iMm的梳只唯一地關(guān)聯(lián)。然而,如果檢測到遮擋薪牛,那么在步驟S125,CellMm^遮擋^^牛中涉及的^N^的,標(biāo)i尸J^與遮擋事件中涉及的^N^的対象路徑數(shù)據(jù)關(guān)聯(lián)。例如,如果兩個標(biāo)為A和B的)(^m分別與路徑P和Q相關(guān),在涉^J^A和B的遮擋執(zhí)^測之后,路徑PM被關(guān)職lJA和B,路徑Q^被關(guān)職UA和b。隨后,^!Wi牛之后,如j^mia^由內(nèi)Mhax作站io產(chǎn)生的關(guān)聯(lián)。^!尤允許鵬割牛中涉及的膽(例如運(yùn)動員)IfeiiSl而無需魏i湖J^^艦,艮P麟于明Wt動員是明Ph雜一些W定性。因此,陶氐了內(nèi)^MI^^占10上的M負(fù)載,因?yàn)閮Httl^ii^謝牛中涉及的mi^地i湖ij,而割牛中沒有涉及的鄉(xiāng)仍能被鄉(xiāng)IJ。在步驟S130,內(nèi)^bai作站io檢歸歸已i鄉(xiāng)拙遮擋事件中涉及的一個夠個鄉(xiāng),以便育嫩解決與所產(chǎn)4^徑相關(guān)聯(lián)的膽的身份。內(nèi)WMX作站ilii將一個或多個與iM^眹聯(lián)的圖像伊征與提取自iM^的可能實(shí)例的圖像^!Ba行比較,來i咽侄^"個^M^。如果沒有i朋咄,則接著MMIS,與,謝牛中涉及的所有那^t^相關(guān)聯(lián)的w^m的已^m徑轉(zhuǎn)至ij步驟S105。然而,如果檢測至i腿W^牛中涉及的一個或多個贈的i賜JB撥生,另P么在步驟S135,魏已綠的路M^,以iK^肯定己被i明啲鄉(xiāng)的身份。在上面給出的實(shí)例中,魏關(guān)聯(lián)"i碌以便A與路徑P相關(guān)聯(lián),B與路徑Q相關(guān)聯(lián)???,x^的豐!H只可由操作員m:^作界面^i行,也可由內(nèi)^MT作站l(HOT根據(jù)本發(fā)明實(shí)施例的,i朋JM(如下戶艦)*^1行,M31兩種技術(shù)的結(jié)^e誠。然而,可以,,樹可其鵬于區(qū)分或i湖ij^h順的i湖啦糊可使用。就圖像i湖睞說內(nèi)WbSO:作站10可以^S信度(confidencelevel),體信度指明了由圖像i朋IJM^f做的標(biāo)識有多大可能是正確的。在本發(fā)明的實(shí)施例中,標(biāo)識被確定為在其中置信度高于予跪義的閾值。另外,操作員可以將置信度分鵬他們的極只,如果^g信j^l了予腕義的閾值,另卩么就檢測到標(biāo)識。在本發(fā)明的實(shí)施例中,事件的歷對旨出了己在何時魏了1戰(zhàn)的路^,這也可以被存儲以便于在肯定的t斜鄰正實(shí)為不正確的情況下作為^^。例如,操作員之M^遠(yuǎn)離柳^Ml20的運(yùn)動員具有特定標(biāo)識,但是當(dāng)i^j員離枧頻i^i;i^一些的時候(允許用戶看至隨動員更高辨,率的圖像),操作員意爐^j他,昔了,此咐斜只育胸證實(shí)為不正確的。如果^s樣,術(shù)|'訶以{頓操作員界面MM他們先IM運(yùn)動員的i賜J,只要內(nèi)^SX作站io肯嫩因此而MfH3^的路^。"面給出的實(shí)例中,標(biāo)識執(zhí)牛歷史可以與—^#儲于內(nèi)#工作站10柳跑驅(qū)娜(HDD)^g隨機(jī)訪問存儲器(D薩)上,iM^標(biāo)新只新牛歷史也能包括在極尸sMI呈中產(chǎn)生的置信度。如果后來的標(biāo)識由具有高于先前肯定的極只的置信度的一個置信度的m構(gòu)成,那么后來的標(biāo)識的置信度可用于檢驗(yàn)離除先前的標(biāo)識??梢裕跈z測至'腿擋割牛之后,可以在itJ當(dāng)新牛之后的樹可時間標(biāo)iR^象,以便消f^M^f牛中涉及的m的才I^性。因此,在檢測至'爐擋事件之后,內(nèi)w^x作站io可以mm^的肯定的柳凝作為背景鵬而發(fā)生,戶;MW景M與步驟S105到S125同時進(jìn)行。I贓參考圖7a和圖7b說明根據(jù)本發(fā)明實(shí)施例的)^ii^&l擋檢測的一些實(shí)例。在圖6a所示的實(shí)例中,標(biāo)識為A和B的兩個X^m涉,l腿擋事件410。鄉(xiāng)擋事件之后,如箭頭所示的兩個檢測的)^&徑都與A和B相關(guān)聯(lián)(AB)。一段時間之后,肯^fc^^B硫只為如Ay/f^的^^^m:。該標(biāo)識隨后用于Mig與路徑之間的關(guān)聯(lián),以H!^mA在遮擋事件410之后與較高路徑相關(guān)聯(lián),對象BM^割牛410之后與劍氐路徑相關(guān)聯(lián)。在圖6b所示的實(shí)例中,聰A和B最凈7J^及至腿擋事件420。然而,^j"^A和B肖辦肯,被i朋lj之前,在遮件420后與A和B躺目關(guān)聯(lián)的^f氐路祉的X^m又涉及與膽C的另一^Hi擋割牛430。因此,^ii擋新牛430之前,稀MI當(dāng)割牛420;t^^^低路祉的贈^j^A還JiX^B。所以,擋謝牛430之后,兩個)^^走的較高路徑和較低路徑,)^A,B和C相關(guān)聯(lián)(ABC)。一段時間之后,遮擋割牛430之后樹氐路祉的鄉(xiāng)肯定地被i賜j為膽B(tài)(A^C)。所以,Mff關(guān)聯(lián)i碌以igii擋事件430之后的較高路徑與^C相關(guān)聯(lián)。財卜,此信息可以用于,關(guān)聯(lián)記錄以便獸嫩消M^割牛420中涉及的兩個對象的翻性,因?yàn)轾i薪牛430后鄉(xiāng)B被明確i賜J為與樹鵬徑相關(guān)聯(lián),遮擋事件430中所涉及的必定j^t^B。因此,魏關(guān)聯(lián)1碌以{1擋*#420后的較高路徑與膽A相關(guān)聯(lián),遮擋割牛420后的較低路徑與膽B(tài)相關(guān)聯(lián)。所以,即使在肯魏i鄉(xiāng)Mm^前也許B^撥生幾4^M事件,本發(fā)明的實(shí)施例也允許^與m的iii^&徑相關(guān)聯(lián)。財卜,本發(fā)明的實(shí)施例允許對不同對象的身份相SS行^X弓間,以鵬iWh路徑與正確的,目關(guān)聯(lián)。數(shù)字i賜JK參考圖7說明根據(jù)本發(fā)明實(shí)施例的i朋iMm的方法。圖7示出了根據(jù)本發(fā)明實(shí)施例的圖像i湖仿法的漸呈圖。在本發(fā)明的實(shí)施例中,一種肯魏鄉(xiāng)隨動員的方法是檢測并卿該運(yùn)動員襯衫背后的數(shù)字。因此,在步驟S200,夠圖3、4a和4b,如J^Mtfe^l鵬割牛中涉及的至d^"^i動員Smg。在下述的實(shí)施例中,假設(shè){5^割牛中涉及的一個運(yùn)動員進(jìn)行,i賜ij,但是可以SM,當(dāng)至^^4^員位于現(xiàn)^幾20的視場中時,戶脫方法魏常地可翻于在樹可時間檢測并i賜J至少^^Si動員。然后,在步驟S205,提W"應(yīng)于,面積的可能區(qū)域的M區(qū)域,其中該圖像面積的可能區(qū)自應(yīng)于^i鵬運(yùn)動員。^*發(fā)明的實(shí)施例中,皿隔離對應(yīng)于運(yùn)動員的屏蔽的,區(qū)鄉(xiāng)^i&一步驟,0MP蔽在圖2的步驟S45M,但是可以M可以i頓其他統(tǒng)的方法。財卜,^^膽的已知屬性^^測到的S^伊征育灘進(jìn)"^efciSWtv行,i賜J的,區(qū)域。例如,京捉軀動員來說,我們矢爐,i照隨動員的數(shù)字通常印ffii動員足球衫的后面。印艇動員足球衫后面的數(shù)字是要fe^測的圖像餘征的實(shí)例,但是可以離,其他額的圖像特征也能微測。ilii^對應(yīng)^it動員屏蔽的圖像區(qū)^Mra當(dāng)分割,育^l取圖像區(qū)域,其中很可能找到所需的屬性或S^特征。然而,tfc^人員可以,,可以4頓其他魏的方^M^m行,i湖啲,區(qū)域。用這種方法提取圖像區(qū)鵬加了圖像區(qū)域中有用信m^冗余信息的比例,因?yàn)橐猧湖鵬特征極有可能d^圖像區(qū)域的^:比例。在一個實(shí)例中,il31,素與閾it^行對比l^l取或分離那^1閾值w素來誠分割。在步驟S210,圖像閾itffl于所提取的M區(qū)域以便于將戶;f^圖像區(qū):^換為二值圖像。典型地,應(yīng)用閾值以便于Mi黑白閾值圖像,但是可以理解,可以使用其他,閾值,例如那^S于樂絶的閾值。在本發(fā)明的實(shí)施例中,要被i朋啲所需a^r鵬M區(qū)域的一些其他特征的現(xiàn)有知識可用于^^二值圖像。例如,可以O(shè)Ti動員襯衫的Mfel^,閾值以il^生二值圖像。MiKOT基于將被i朋啲特^^的屬性的現(xiàn)有知識的,閾值,可以提高要i賜j的所需圖像牛鞭與背景之間的差異,^^與將i湖啲a^ir征不一致的圖像餘征包含在合隨后,在步驟S215,^^鵬的閾值,區(qū)域中檢測那薪皮此鄰接的圖像區(qū)域。然后將已檢測的鄰接(contiguous)區(qū)域分配為戶腿的、g^Ti^^圖像鵬的鄰接圖像區(qū)域。因此,步驟S215檢測feit鄰接的相同翻的像素。繼,術(shù)語"相同類型"是指像素的顏色、像素的亮度(也就尉象素的屬性)等等。換句話說,鄰接的圖像區(qū)^i艦相鄰并對應(yīng)于在分割中標(biāo)識的相同鄉(xiāng)的像素屬性的那,素所標(biāo)識的,區(qū)域。例如,^i^的合成閾值圖像是黑白圖像的情況下,對應(yīng)于鄰接的黑色像素的圖像區(qū)域(也就是:相鄰柳陛黑色像素)可以被檢測并被分配為戶腿的鄰接,區(qū)域。在步驟S220,倒可不太可能與特性相一致的戶腿鄰接圖像區(qū)域作為虛假圖像區(qū)嫩皮移除,Mf除的戶鵬階,區(qū)域以鵬定要i照啲特性的數(shù)目。在本發(fā)明的實(shí)施例中,為了移除虛假圖像區(qū)域,依靠戶膽的鄰接圖像區(qū)域、基于在已提取的,區(qū)域中戶腿的鄰接,區(qū)域的大小、麟、ffi^t隨禾,荊OT已矢Pi^:來計^^同的Mo在##檢測足^動員襯衫的數(shù)字的,實(shí)施例中,很可能雜一個或兩個數(shù)邦檢測。因此,例如,ftl可彼此ra相同高戯彼具有超辦目同尺寸的戶;^鄰接,區(qū)斬太可肖鵬要1啲數(shù)字。因此,放棄那些不太可能與要檢測的特性一致的戶;^鄰接圖像區(qū)域。然后,4頓高斯概率^a信度,體信度指明乘除的戶腿鄰接圖像區(qū)域與予腚義ms:的特性相一致的可肯^。在本發(fā)明的實(shí)施例中,Mf除的戶;M鄰接圖像區(qū)域,以便參考上面給出的足球衫實(shí)例來確定他們與兩w寺性纖字題一致。如體信度沒有^31予腕的閾值,另,么假設(shè)只雜一個數(shù)字,并選取已提取的圖像區(qū)域的中心區(qū)域中的招可戶;f^鄰接圖像伊tt^瑰^的翻象鵬。然而,如棘除的戶;^鄰接,區(qū)域確實(shí)對應(yīng)于兩個數(shù)字,那么分離鵬戶;^鄰接圖像區(qū)域,^i行關(guān)于^hf除的戶腿鄰接,區(qū)域的如下戶腿的進(jìn)"^圖像處理。這>了需要分類的不同特性的數(shù)目,因而離了內(nèi)^bS工作站10上的處理負(fù)載。例如,當(dāng)要i湖擻字時,如果同時^^有剩余的所選鄰接圖像區(qū)^U:執(zhí)行數(shù)字識^J,那么僅,字0到9而不是0"99或0"999需要分類。在步驟S225,細(xì)化在步驟S220分離出的戶膽鄰接圖像區(qū)域。憑借此鵬,將鄰接區(qū)縱寬度方向上>為僅1501錯素的行寬。典型地,已M^、的行寬是一刊象素的寬度。像素數(shù)量由細(xì)化MiS1ff腕義^^于^^取的所需要的圖像特征。ThierryM.Bernard禾口AntoineManzanera所著的、名為"ImprovedLowComplexityFullyParallelThinningAlgorithm:發(fā)軒1999年第十屆圖像分析M國際^i義(ICIAP,99)第215-220頁的文章描述了賴的細(xì)化M方法。細(xì)化鄰接,區(qū)域的好處在于斷氐了形態(tài)的復(fù)雜度,因此簡化了所有的進(jìn)一步處理步驟。例如,MM化數(shù)字而不管所4頓的雜,可以產(chǎn)生實(shí)質(zhì)上相同的臓。參考圖s說明對戶;M鄰接圖像區(qū)域的細(xì)化。艦?zāi)切┮驯淮_定為可能與要檢測的特性相一致的戶;M鄰接圖像區(qū)Ji^行的細(xì)化^sM^了必須由內(nèi)^Mr作站io執(zhí)行的,M的M:。圖8示出了根據(jù)本發(fā)明實(shí)施例的戶;^鄰接圖像,征的圖像鵬的示意圖。在圖8戶標(biāo)的實(shí)施例中,要被檢測和i賜J的圖像特征是數(shù)字5。在根據(jù)步驟S200到S220的圖像^Ot后,提^^,的鄰接M區(qū)域510以用于細(xì)化M。細(xì)itt后,圖像1T征510M^了,以至于其僅有一,素的寬度,因成了修正的寬度圖像特征520,對該修正的伊征可以進(jìn),~^處理。從圖8可以看出,圖像1T征的復(fù)雜度陶氐了。由于修正的寬度劉象特征僅一,素的寬度,所以數(shù)字5在寬JtJl的變4^字體的個揪伊征(例如字,征530)被移除了。在本發(fā)明的實(shí)施例中,一旦所選的鄰接圖像區(qū)敏薄(細(xì)化)為一,穀且的線,就在步驟S230將其膨,B厚為予腚義,素寬度,以致在魏取特征向量的戶腿的鄰接圖像區(qū)域中有更多像素。然后,對于^^分離的戶;f^鄰接M區(qū)域,在步驟S230計算該圖像區(qū)域的特征向量。典型地,由于得到的輸出就旋轉(zhuǎn)及伸縮不變的,所以^f頓Zernike^fc誠iMf呈。這么1腿有優(yōu)勢的,因?yàn)槠湓试S從,中提取實(shí)質(zhì)上相同的特征向量,即j^被i湖鵬特性^^方面發(fā)生失真(例如由于衣服不堅挺而發(fā)生^t動員襯衫上)。然而,fe^人員可以,,i情來自圖像特征的伊征向量的其他^S的對旋轉(zhuǎn)及伸縮不變的(rotationalandscalarinvariant)方ffli可以艦。在本發(fā)明的實(shí)施例中,為了提柳;^鄰接圖像區(qū)域的ir征向量,〗柳已矢啦術(shù)來i憎該區(qū)域的質(zhì)心?!筋D質(zhì)'lM乍為i憎Zernike矩的原點(diǎn)。另外,檢測己提取圖像區(qū)域中具有距原點(diǎn)最対巨離的像素,并統(tǒng)一標(biāo)準(zhǔn)化己檢測的距離以輔助Zernike矩的計算。矩計算中<頓的Zernike多項劾卩下給出(例如,參見http:〃mathworld.wolfram.ccm/ZernikePolynanial.html)。這里,p是離原點(diǎn)的徑向距離,0《p《1,4>是方位角,0《d)《2兀,n和m是!EMt關(guān)于111,n的^;(力如下定義,其中n^0:。-m)/2(-l)'("—/)!/![〃2("+w)—/]![〃2("-w)—0n-m為偶數(shù)n-m為奇數(shù)為已提取的,區(qū)域中的^t素健計算Zernike矩,隨后在已提取的圖像區(qū)^il斜n所述Zernike矩以^征向量。得到的特征向有與在矩{情中使用的多項式同樣多的元素。下面示出特征向量的實(shí)例。多項式餘征向量廣Xi、XzXaXiXsXi此處,用于i!3i^MiM瞎,區(qū)域的像素的和來計算矩的多項式在標(biāo)題為"多項式"的列中示出,矩將得至啲值Xi是頓的伊征向量的元素。典型地,從到"7(A-)的Zernike多項式用于^lt征向量,這在計算旨性和M具有足^M的元素以^ti行分類時消,性m之間的模湖性的伊征向量之間鄉(xiāng)了很好的平衡。然而,可以,,可以i婉超l壞同階的其它范圍戯戶腿多項式體的矩。如w脫,在本發(fā)明的實(shí)施例中,一旦細(xì)化了戶;f^鄰接,區(qū)域,其可以隨后^l^Eit^之辦皮加厚到跪義的線寬。^>了在已細(xì)化,區(qū)域中特征向量計算對于噪聲#差的性,因?yàn)樾〉姆組^向于超IJ平衡。圖9示出了根據(jù)本發(fā)明實(shí)施例的用Tit^特征向量的加厚的所選鄰接圖像區(qū)域。圖9示出了itM寺征向St働幅的戶;f^鄰接,區(qū)域600的實(shí)例。此處,翻象特征630說明了Zernike多項式的實(shí)例圖。如J^M在醜區(qū)域600中的每^H象素^Si憤Zernike多項式的值(例如,對僅出于說明目的示出的像素605、610、615和620)。隨后將在^ht素iMi十算出的多項式的值斜B,以給出該多項舒H,區(qū)域600的Zernike矩。該得到的值隨后用悩tLh^服的特征向量中的項目。作為將已細(xì)化的鄰接圖像區(qū)働卩厚到^義的線寬的可割戈方法,可以使用插值法幫HT^f本f[S,對這些樣本斜呵以形成Zernike矩。在步驟S235,4頓誠的分?jǐn)?shù)頗步驟S230中i"t奪出的特征向量進(jìn)行分類,以便檢測其可育^t應(yīng)于明mt性。扯面給出的i朋隨動員襯衫上數(shù)字的實(shí)例中,可能的特性是數(shù)字0"9,雖然可以a^他們可以是倒可其他誠的特性。在本發(fā)明的實(shí)施例中,f頓已知的神經(jīng)網(wǎng)^^ir征向量進(jìn)行分類,以便于對已頓的伊征向SS行分類。隨后神經(jīng)網(wǎng)絡(luò)的輸出用于檢測所選鄰接,區(qū)域可育鵬于liW性。在另一個實(shí)施例中,將步驟S230中產(chǎn)生6^jir征向量與先前由I^義特^生的餘征向量進(jìn)行比較。^ffi與步驟S230相同的特征向ft^生方^l^^預(yù)定義特性的伊征向量,以便在予跪義的特性與艘i照啲已檢測圖像特tiEt間進(jìn)行比較。^^寺征向量^^方法以便于為^Hf性頓明顯不同,征向量,以便繊它們各自的伊征向i^輕易i^lt特性艦區(qū)^W^在該實(shí)施例中,^^前的伊征向量的置信度,其^^來自在步驟S230中產(chǎn)生的已檢測圖像伊征的特征向量與旨先前產(chǎn)生的伊征向量之間的相似性。例如,將圖8中所示的產(chǎn)生自細(xì)化的鄰接區(qū)域(5卩^1>寬度的圖像特征520)辦寺征向量與先前產(chǎn)生自數(shù)字0-9的特征向量相比較。當(dāng)與一個先前產(chǎn)生,征向量比較時,如IK^了離的圖像特征的置信M31予腚義閾值,那么就艦少了繊的圖像伊征i湖偽與用于^i,生的特征向量的特性一致。例如,在圖8所示的實(shí)施例中,被i湖啲數(shù)字,字5。將產(chǎn)生自減少了寬度的圖像特征520的特征向量與先前產(chǎn)生自數(shù)字5的醜的特征向Sa行比較,該比,生置信度,如果體信M31閾值,那么就m^了寬度的ffl^特征520i賜J為數(shù)字5。將SM寺征與至少兩錯前頓的不同的餘征向sa行比較,生驢信度,如果^S信i^i腚義的閾值,那么該i湖J無效,重復(fù)涉及接收自視^W^m20的另一^M貞的WiH呈?!﹊鄉(xiāng)j了數(shù)字或特性,(在將被i賜J鵬性包括兩個鞭多^K寺性的情況下)可以將^4爭性的i湖跑合在1,以便于i湖j運(yùn)動員襯衫上的數(shù)字。數(shù)字的i朋贖著可以與^^HDD740±^#插入在BD-R0M驅(qū)動器760中的介質(zhì)上的査^使用,以便于ii^ijil^員。一fiig動員被ij拐ij,就可以在圖5的步驟S130和S135i頓這個娜以魏關(guān)聯(lián)綠。另外,在本發(fā)明的實(shí)施例中,—旦內(nèi)^bSX作站10已經(jīng)卿嫩它會際操作^M3i統(tǒng),作者界面驗(yàn)證該鄉(xiāng)J。示例說明圖10、IIA、11B和12衛(wèi)共了辦比賽的實(shí)例現(xiàn)頻圖像的幀的示例說明,其中4頓本發(fā)明的S^i^動員并^^比賽的三維豐趣作為戯以,難。圖10提供了由一個高清樹斜幾產(chǎn)生的足球比賽的視頃圖像的示例。圖11A提供圖9的枧頻圖像的實(shí)例,其中僅使用旨像素的i^I^M圖像以^背景,圖UB提供圖9辦鵬圖像實(shí)例,其中僅使用圖像中^#素的方^處理圖像以生成背景。圖12鄉(xiāng)鵬結(jié)果的實(shí)例,其樹共了與圖3A中所示實(shí)例相一致的在^h運(yùn)動員周圍的邊界框。圖13提供了相應(yīng)的實(shí)例,其中使用兩臺攝傲幾(如攝像機(jī)22.1、22.2)來^頻,,^t樹斜幾分別定位預(yù)至杯同的半場。彼半場和右半場中,如圖朋^131在#^運(yùn)動員±^卩的邊界{^1動員。在圖13的下半部分,^^球比賽的虛柳IM以^ii動員的位置,在圖13的上半部分,如二維現(xiàn)頻圖像中由1朋膽到糊,,根據(jù)運(yùn)動員在場上的錢用數(shù)字進(jìn)很斜只。因此,足球比賽的三維+趣視圖與圖3B所示的^^趣的實(shí)例相一致。按照沐發(fā)明的M,如J^^4W足球比賽二維圖像的三維豐I3^f產(chǎn)生的ii^息可以柳倒由柳^^傲臓獲的掛頻圖像中。圖14中說明了實(shí)例。如圖3B所示,足嫩湯的三維禾IOT于輔助鵬及檢測縱嫩湯上的運(yùn)動員。一旦/AH維牛IM中檢測至i返動員的相對^g,那么隨后將i^I動員的屏蔽,到二維M上,并用于輔助在二維圖像中檢測和iiSlil動員。然而,一fiii^員的健以相對高的概率被i鄉(xiāng)J,就能得知樹象機(jī)的二維柳頻圖像中^^動員的健。因此,說明運(yùn)動員身份的圖形(如iil^制古算的男,)可以艦內(nèi)^KT作站10覆蓋于/AMt幾m的直播視m^。因此,如圖14所示,為W^動員300、302、304、306皿相應(yīng)的t礎(chǔ)308、310、312、314,為了itSlii動員的身份,該禾蔬隨后用于Wtt湯周圍足Mig動員。圖14中的,視圖te出了兩個已提取圖像的集合320、322。給足嫩湯的每~^^己提取圖像鵬合320和322中的一個。齡,是由衞斜幾20麟的斷象糊蚊部分,其打算盡可育^itk分離足嫩湯上的運(yùn)動員。因此,iR^齡運(yùn)動員,然后可以提取柳頻圖像中凝動員的圖傲并和與足辦湯上^WPM應(yīng)的^t^合中的其J艇動員^M示出來。已提取,的這種^^可以掛共特^ii動員視圖的自動分,無需單獨(dú)的Mln^場,比^P,i^i動員。因此,可以4頓一個^t鵬Wh足,,京鵬4頓多個11^動員一^^場比賽中ii^1SI動員。結(jié)果,可以在很対mhM^摘,斷氐系統(tǒng)鋭度。在真實(shí)圖像與^^SM司轉(zhuǎn)換如上所述,參考圖3A和3B,為了幫助對運(yùn)動員的ii^llS^位,,^1動員的戰(zhàn)呈利用了足職的三維纟趣。!據(jù)關(guān)于運(yùn)動員健估算的信息并在柳頻,的^M響、司()(^,據(jù))皿1^息,可以i!31合成^h運(yùn)動員的圖像并^H維模型中恭^M^動員救iME播現(xiàn)頻M的MJ^示。財卜,可以使用已矢P^:來調(diào)整豐難視圖的t樹健^^以空間中的合成的樹象機(jī)健,以便m^t湯的三維禾翅的相關(guān)視圖。因此,對于由Mt,生的圖像視圖所確定的運(yùn)動員的^關(guān)于時間的位置,可以iA^斜幾的所需^S中重新創(chuàng)M:播足球比賽的^JOH維視圖。如圖15中實(shí)例所示,Mil將WI動員的路徑繊鄉(xiāng)到三維f翻可以合^H維豐難(如圖3B和13戶標(biāo)),并且可以由^h^員在隨時間頓的健處的禾IM泰^t動員。財卜,由于可以改t維牛難的視圖,為了在現(xiàn)實(shí)世界中不#^幾的地;^比賽的視亂可以機(jī)的*胸健。因此,作為實(shí)例,如果判罰了任意球,如圖15戶麻,為了在現(xiàn)實(shí)世界中^#^#1的地旅,意球的視圖,可以從球門的后面掛(斜幾的相對位置。如上戶,,^fflS^g陣P及將相對,映射到來自球場拐角的mi幾,的三維t趣中,呲目的。財卜,如J^WtM古算Wi動員的相對方位,然后該相對方位可以與WS動員的路《^1被,,并顯示具有該方位的運(yùn)動員的合^t翅,i^"位隨時間被。因此,向被i朋偽J^ii^鵬的一部分的運(yùn)動員的方位,路S^,以^^^球比賽的三維禾IM,由于其對應(yīng)于真實(shí)圖像,i^"i^用于^^^中的運(yùn)動員方位。用于用戶決定內(nèi)容的IFTV圖16說明了本發(fā)明進(jìn)一步的實(shí)施例。如上B^,為了實(shí)際直播足球比賽的表示,通過^ffl^算法產(chǎn)生的^i息()^m激據(jù)),及結(jié)合由圖3B中方織J際的他們的^t方^teffl^t運(yùn)動員的合成的恭示,可以合麟實(shí)足球比賽的三維^m禾IM。因皿^ffi^縮形式,因?yàn)镾31以合成的,,割^球場jji動員的iii^a,直播視頻圖像可以由三維的合鵬5S^^。由此,根據(jù)三維戯以豐M的足球比賽的^可WM51因特網(wǎng)流向客戶端設(shè)備。圖16中示出了這樣的裝置,其中內(nèi)^hSX作站10接收來自i^存儲器400的數(shù)據(jù),^f共跌M的足^t動員的合^/示。為了增^£球比賽的戯^/示,該恭示也可以包括屬W^i動員姿勢、枕態(tài)或行為的信息。因此,產(chǎn)生自如J^腿的,ai呈的路徑數(shù)據(jù)可以被增加為包括與運(yùn)動員姿勢、狀態(tài)或行為相關(guān)的信息,這,息用于選取相應(yīng)的運(yùn)動員的合淑I^。^存儲器400,收合^/示,內(nèi)^fcSX作站10可以4^球比賽的三維腐M/示,并且可選#^^^三維^^的1^傳給后設(shè)備410。后^hS機(jī)410可用于將與,比賽的三維^^I^有關(guān)的信息打包以船盼劉艮務(wù)器420。在圖16中,多個客戶端鵬機(jī)422中的每一個都肖^M^取涉^S^喜歡的球,腐歡的特能動員的視圖的選項(其隨后供磁合分劃艮務(wù)器420),來請求鵬比賽的三維^^魏鵬定視圖。然后,分劃艮務(wù)器420肖,據(jù)客戶終端422,W^項,^!f^球比賽的三維^^M的,。然后,客戶終端422育,幫見他們的三維^M趣的^M見圖,其斧^tWf共了由^t機(jī)20產(chǎn)生的直播柳頻圖像的i^縮版本。因此,用于tt^比賽的三維豐趣的繊可以,M^iu客戶端設(shè)備,其鄉(xiāng)了直播或^sm播的足球比賽的低帶t^本。微據(jù)可以簡單地包括,^t^動員關(guān)于時間的位置的ii^的^^各徑數(shù)據(jù),并可以包^hit動員的方位。足球場的三維,IM可以ffl31位于客戶終端的CT軟件來,,其mAii動員的合淑I^并應(yīng)用路纟^^以創(chuàng)M球比賽的三維豐IM。,地,三維MM可用于創(chuàng)建i+^幾,,其fi^^fi^真實(shí)的比賽。圖17示出了本餘的另一,仔,其中^t幾22.1、22.2產(chǎn)生的其中顯示^^足球比賽的!鵬,M^的柳頻,與mm^和S^陣一起傳輸給客戶設(shè)備。該冬J^,m內(nèi)^hSX作站104^f^客戶設(shè)備422#從分配月艮務(wù)器420縱。例如圖17中戶標(biāo)的,內(nèi)^bJil作站10M;信道500糊見頻圖像1吩賺務(wù)器420。如圖麻該鵬圖^M51M/,了艦轉(zhuǎn)換禾鵬來自,場的兩個半場的枧頻圖像形成的足球比賽504的場景。分,艮務(wù)器420隨后將也肯^^鵬客戶設(shè)備422的柳頻圖像與絲二信道502接幡啲鄉(xiāng)路徑繊打包。根據(jù)本發(fā)明的S^,客戶設(shè)備422被配置為顯示足球比賽的1分現(xiàn)頻圖像,例如其僅,示足,上的一個隊員,通5i^卑,圖像中將足^^上的該隊員的視圖隔離??蛻粼O(shè)備422包括一個用于接收由工作站產(chǎn)生的)(^徑和矩陣的通儲口。如B^描述的,m^^g為每一個i湖啲隊員鄉(xiāng)了每一個M球場(平面)的三維MM中的隊員豐樹于時間6^置??蛻粼O(shè)備中的,鵬器(標(biāo)出)禾,m^^和i^陣i賜J柳頻圖像中的足嫩湯上的每一個隊員。在一,仔中,客戶設(shè)備422中的娜鵬器重新產(chǎn)狄TO的3D模型并且^^6陣與^路徑—,于定^^辦湯上的每一個隊員。Sil將足微的三維豐翅與柳頻圖像中掛共的嫩湯的視圖相匹配,柳頻圖像中的每一個隊員可以被i口^J。同樣,M了一個期望的隊員,貝0辦皮,為在客戶設(shè)備的顯示屏幕J^^視頻TO的僅僅出現(xiàn)該隊員的那1分。如圖17戶標(biāo)的示例',統(tǒng)6^作,選擇的每一個隊員的,,如在圖14中作為例子的在組320、322中的每一個可以顯示在客戶設(shè)備422的屏幕上。無需附加的^m^3fciJI^每一個隊員6^見頻圖像,并且?guī)缀跛械挠糜趯?shí)現(xiàn)每一個隊員的隔離的iti^bS都可以在內(nèi)^bSI作站10(例如PS3)中執(zhí)行,因此減少了需要在客戶端設(shè)備422(例如PSP)中執(zhí)行的M的數(shù)量。形卜,特定隊員的隔離的視圖可以從^h足,的視圖中實(shí)現(xiàn)。圖18和19提供了一個流程,其示出了圖16和17中示出的系統(tǒng),作。在圖18中,該示出的方^&,驟S300;接收韋見頻圖像。S305;M獲得的豐鵬圖像從而從每一個^中提取一個^多^HT征,將一個^多個圖像伊征與^MM皿的可能的示例)^的預(yù)定組的采樣a^特tet行比較,從而根據(jù)圖像特征與可能的豨iMm的予腕圖像特征靴匕較而識jj撒S310;產(chǎn)生每一個X^的)(^^徑數(shù)據(jù),其i朋啲相應(yīng)的對象,并且提供識別的鄉(xiāng)在枧頻圖像中的平面的三維f魏抖樹于時間棘圖像幀的健。S315;根棘封鵬圖像的該平面的)^徑,十敦每每一個膽的讎臓到該平面的三維豐翅中的S^陣;以及S320;將^^^和i^E陣^il^^個^多個客戶設(shè)備。為了反映圖16^的系統(tǒng),作,圖18中可,作包括S325;產(chǎn)生一個場景的三^^:,其包括位于平面上的多個)^中的每一個的合^M^,利用^g陣和予腕的每一個膽的高度的假設(shè)^t假設(shè)的MMl與三維,Mm的位置的確定的距離,通過根據(jù))^m^^將m^si^至膽綠的三維豐M平面上。圖19示出了圖19示出的系統(tǒng)執(zhí)行的處理,其包,驟S330;將具有X^^m和^E陣的^iM^i^個^多個客戶端設(shè)備,S335;禾,從,艮務(wù),收的)^§徑和^^陣,在客戶端設(shè)備識別每一個撒以及S340;響應(yīng)于用戶的麟,顯示其中包括一個赫多個i湖啲膽的一部分柳頻圖像。在—徵仔中,了一種系辦昉法,用于將包含了多個位h個平面上的^的:t綠的三^te^^^個^多個客戶設(shè)備,i^3W^是由MW傲幾獲得驗(yàn)的一個棘多個柳頻W產(chǎn)生的。縣統(tǒng)包括一個圖像M^S,可操作用于接收由卑見^Mftl鵬收的包括在一M面上的鄉(xiāng)的觀看的滅的鵬圖像,用于M獲得的枧頻M從而從每一個)^m中提取一個^多個翻象ir征,用于將一個^多個圖像伊征與來自視頻圖像包含的可能的示伊mm的予腕組的樣本圖像特tES行比較,用于根據(jù)該圖像1T征與可能的示伊M^的予跪圖像特征的比^i湖樹象,用于產(chǎn)生i朋湘^m的每一個X^的X^徑i^;并且產(chǎn)生在柳頻,中的一M面上的i朋鵬X^t應(yīng)于時間6^;用于i"f^l^一個)^的^g根皿自視頻圖像中的平面的)^^投影灘琉的三維模式中的i^g陣,以及用于^irx^m^^從而產(chǎn)生在平面上的多個m中的每一個的合皿示的體??梢?,不脫離由附啲權(quán)利要求確定的本發(fā)明范圍,就可以對說實(shí)施例做出多種修改。例如,雖総考足球比賽說明示例實(shí)施例,但可以鄉(xiāng)的是,倒可其他體育比賽鄉(xiāng)姊表演(例如鄉(xiāng)ij)timr以考慮鵬上面公開的獄。此外,可以4柳除了ceii^^紋外的其他M^i^m行戶;f^^術(shù)。根據(jù)本發(fā)明技術(shù)的處MMf呈可以用計穀;i^聘產(chǎn)品的形^現(xiàn),該計穀ii^y產(chǎn)品包括剤軒|^體(例如、M、《離、PR(M、國、閃存,些^它存儲介質(zhì)的任意組合)上的^bs器可執(zhí)行指令,鵬網(wǎng)絡(luò)(例如以太網(wǎng)、職網(wǎng)、因特網(wǎng)鵬些鄉(xiāng)他網(wǎng)絡(luò)的任意組合)JbMil娜信號儲的艦器可執(zhí)行指令。權(quán)利要求1、一種用于將包含了多個位于一個平面上的對象的場景的表示傳輸給一個或者多個客戶設(shè)備的系統(tǒng),該表示是由視頻攝像機(jī)獲得的場景的一個或者多個視頻圖像產(chǎn)生的,該系統(tǒng)包括圖像處理裝置,可操作用于接收從視頻攝像機(jī)接收的場景的視頻圖像,該場景包括在該平面上的對象的視圖,用于處理獲得的視頻圖像從而從每一個對象中提取一個或者多個圖像特征,用于將該一個或者多個圖像特征與來自視頻圖像包含的可能示例對象的預(yù)定組的樣本圖像特征進(jìn)行比較,用于根據(jù)該圖像特征與該可能示例對象的預(yù)定圖像特征的比較來識別對象,用于為每一個對象產(chǎn)生識別相應(yīng)對象的對象路徑數(shù)據(jù);并且提供已識別對象在視頻圖像中的所述平面的三維模型上相對于時間的位置;用于計算根據(jù)對象路徑數(shù)據(jù)將每一個對象的位置從視頻圖像中的平面投影到該平面的三維模型中的投影矩陣,以及分配服務(wù)器,可操作用于接收由圖像處理裝置產(chǎn)生的對象路徑數(shù)據(jù)和投影矩陣,從而將該對象路徑和投影矩陣分配到一個或者多個客戶端設(shè)備。2、如權(quán)利要求1的系統(tǒng),其中客戶端設(shè)備可操作用于MMf鵬投影矩陣和每一個膽的高度的予婉假設(shè)將根據(jù))^m^的對象的位置鄉(xiāng)至腸景的三維豐趣的平面上,產(chǎn)生該場景的三纟t^,^H纟W/示^^位于該平面上的多個,的每一個的合皿示。3、々敝禾展求1的系統(tǒng),其中客戶端設(shè)純括用戶接口,用于接收標(biāo)改變所i^H維模型的視圖的請求的用戶控第i臘號,以及響應(yīng)該用戶控帶臘號,該客戶端設(shè)備被操作用于當(dāng)^M示屏幕J:M^H維模型的顯示時改變產(chǎn)生的三維tlM4、如權(quán)利要求1的系統(tǒng),其中,鵬驢可操作用于為每一個x^t^產(chǎn)生在該平面J^tm的相對方向的際,以及將該相對方向的指示包含^]^^徑數(shù)據(jù)中,并且該客戶端設(shè)備可操作用于禾'J用與對象路徑數(shù)據(jù)一起提供的該方向指示來定向三維模型平面中的合成的對象。5、女P^利要求1的系統(tǒng),其中客戶端設(shè)備被配置為接收^^每一個對象的合成的標(biāo)的娜,以用于產(chǎn)43對魏。6、女p^利要求1的系統(tǒng),其中該客戶設(shè)備鵬作用于傳輸一^i青求給服務(wù)器,該請^/示用戶對對^示、i^^景內(nèi)的平面^S^g陣中至^i^個的選擇,并且劍艮務(wù)器可操作為根據(jù)該請求匹Md^m的悉示,該模辦湯景的平面赫微矩陣,并且傳輸4様所匹配的m的^/于、該模^t琉的平面離S^E陣以用于產(chǎn)^3對I^。7、如權(quán)利要求l的系統(tǒng),其中每一個Xjm都是人并且該,M縫可操作為每一個)M^產(chǎn)生在柳頻圖像的平面中的人的相對姿態(tài)、體態(tài)^t行為的指示,以及用于將關(guān)于人的^、M^t行為的^^包含至iM^路a^中,并且該客戶端設(shè)備可操作用于,視頻圖像中的每一個人的一組表示,在該組中的每一^^對應(yīng)于徑中的人的木斷驗(yàn)、條棘行為的一個可能t際,禾口用于根據(jù)對象路徑娜中的人的相對魏、體態(tài)或錢的線從每—個對象的可肖^^且中選,一個人的^,和用于在根據(jù),路^^ems和方向上,^H維模型的平面中生卿;f^擇的標(biāo)。8、々敝利要求i的系統(tǒng),其中利用因特網(wǎng)協(xié)議,iiii因特網(wǎng)將x^^徑娜和S^g陣傳繊合客戶端設(shè)備。9、如權(quán)利要求1的系統(tǒng),其中分,艮務(wù)親皮I2S為接收該i綠的柳頻圖像,并且該分配服務(wù)器可操作用于糊見頻酣象與)^^路^iyg和^E陣"^傳,一個赫針客戶端設(shè)備,并且該客戶端設(shè)備鵬作用于利用從分配服務(wù)fm^出的^^^^和^E陣i賜晦一個鄉(xiāng),以及用于響應(yīng)于用戶鵬,顯示具有一個赫多個已i鄉(xiāng)j鄉(xiāng)的一部分柳頻圖像。10、一種可操作用于產(chǎn)生場景的三鄉(xiāng)^的客戶端設(shè)備,^H^^,包括位于一個平面上的多個對象,^3t^從一個或多個由攝像豐;u人場景的觀看中獲得的挪頻,產(chǎn)生,該^t包括多個)^,該客戶端設(shè)備包括通信接口,可操作用于接收由|^§^生的^|徑和,矩陣的,iMm路徑i^為^"H^jm,了相wm的m只;以及在柳頻TO中的該平面的三維凈,己i照iM^S對于時間的,,禾B鵬器,可操作用于爐收卽艮務(wù)器的膽路^^和s^g陣中產(chǎn)生該場景的三纟^,^H纟t^^包括戶,平面上的多個m的每一個的合皿示。11、如權(quán)利要求10的客戶端設(shè)備,其中繊艦器可操作用于鵬傭蹄矩陣和每一個膽的高度的m^假設(shè)將根據(jù)x^徑繊的繊的錢鄉(xiāng)至?xí)尘暗娜S+魏的平面上,產(chǎn)生該力琉的三纟t^/示,^H纟W^包括位于該平面上的多個鄉(xiāng)的每一個的合腿示。12、女敝利要求10的客戶端設(shè)備,包括用戶接口,用于接收^/示^0f^H維豐IM的視圖的請求的用戶控偉賠號,以及響應(yīng)該用戶控葡臘號,該客戶端設(shè)備IS^作用于當(dāng)^M示屏幕JiM^H維l翻的顯示時^^生的三維,趣的相對觀看點(diǎn)。13、一種客戶端設(shè)備,可操作于M^t的一個g多個視頻圖像的1分,該場景包括位于一個平面上的多個對象,該抓頻圖像是由衝斜/u人包括多個x^m的驗(yàn)的觀看中獲得的,該客戶端設(shè)純括通信接口,可操作用于接收由sm^s^a^生糊w^^w和,矩陣的數(shù)據(jù),iM^路徑數(shù)據(jù)為每一個)^m提供了相^t^的標(biāo)識;以及己i朋ijm在視頻圖像中的該平面的三維,I3Ui相對于時間的位置,,1^皿一個或多個柳頻,,器,可操作用于利用x^mm^和s^g陣來i湖i勝柳頻謝象內(nèi)的平面上的^^個x^,以及用于響應(yīng)于用戶的選擇,顯示具有一個或者多個已i賜iMm的一部分柳頻圖像的。14、^J^利要求13的客戶端設(shè)備,其中的M鵬器可操作用^31利用投,陣和每一個)^的高度的予^假設(shè)將根據(jù))^jm路^^的,6mi,到場景的三維模型的平面上,i湖贓柳頻圖像內(nèi)的平面上的每一個對象,以及裕見頻圖像中的該平面與三維輕中的平面匹配。15、女?dāng)±?2的客戶端設(shè)備,包括用戶接口,用于接鵬戶控偉賠號,溯戶控帝臘號^/示對于與艘顯示的一個或多個己識冽職眹的一部分柳頻圖像的請求,并且響應(yīng)于該用戶控帶臘號,該客戶端設(shè)備可操作用于提取包括了一個或者多個己i賜M^的1分枧頻M,并M示提取的部分。16、一種服務(wù)器,用于將,鵬^1^生的)(^^和^^陣傳輸?shù)揭粋€棘多個客戶端設(shè)備,該圖像M^!A包括在一^P面上的多個膽的視圖的場景的一個或者多個柳頻圖像產(chǎn)^和&^陣,該現(xiàn)頻,由視頻攝像機(jī)產(chǎn)生,M獲得的圖像從而從每一個m中提取一個或者多個圖像特征,將一個或者多個圖像特征與來自視頻a^包含的可肖際例對象的頁定組的樣本圖像特征比較,根據(jù)圖像1T征與存儲的可肯際例膽的SM寺征的比棘識別對象,為每一個對象產(chǎn)生i朋湘/Mm的)(^徑繊;以^l^己i湖iMm在三維模型平面上的相對于時間em置;并且計算用于根據(jù)^徑將每一個膽的位置從視頻圖像的平面鄉(xiāng)到該力綠的三維牛魏中的iam陣,劍艮務(wù)器可操作用于接wm^^和is^g陣,以及將請求、)^j^^和s^g陣^^客戶端設(shè)備。17、—種用于將包含了多個位T^HF面上的鄉(xiāng)的驗(yàn)的^^傳^^個赫多個客戶設(shè)備的方法,i^^是由該驗(yàn)的一個赫多個枧頻ffl^產(chǎn)生的,其包括由柳^m;i^生的該平面上的)^m,,括鵬獲得的現(xiàn)頻,從而從每一個贈中提取一個赫多憤征,將一個,多個圖像伊征與來自視頻圖像所包括的可肖際例對象的預(yù)定組的樣本圖像特腿行比較,根據(jù)圖像伊征與可肖^,ij膽的予腚圖像特征的比棘i賜ij膽,產(chǎn)生每一個^的^^^,其i湖湘應(yīng)的)^,并E^已爐^Mm在柳頻圖像中的平面的三維,趣中相對于時間的隨;計,據(jù)對象路徑將每一個^的^§^枧頻圖像的該平面,到該平面的三維,IM中的^E陣;以及將x^]^^和^g陣傳総l個棘多個客戶設(shè)備。18、女n^利要求17的方法,包Mil利用Si^g陣和^^個鄉(xiāng)的高度的預(yù)定假設(shè)將根據(jù)對象路徑的)^的至?xí)尘暗娜S模型的平面上,產(chǎn)生該場景的三維,,^H纟S^包括位于該平面上的多個m的每一個的合皿示。19、如權(quán)利要求17的方法,包括粉見頻圖像和對象路徑娜以及^g陣"^傳fi^所述一個棘多個客戶端設(shè)備,在客戶端設(shè)備利用從細(xì)艮務(wù)離收的^m5M和S^陣i湖晦一個撒以及口向應(yīng)于用戶的織,顯示包括一個或者多個已i湖樹象的一部分柳頻M。20、一種包括由計鋭幾可讀指令的載體,當(dāng)由i1^t幾執(zhí)行時,促使計算機(jī)實(shí)鵬據(jù)權(quán)利要求17的方法。21、一種用于將包含了^h位于一個平面上的)^的:t據(jù)的^^W^個或者多個客戶設(shè)備的縫,i^/于是由該驗(yàn)的一個棘多個柳頻a^產(chǎn)生的,其包括由柳^WWl^生的該平面上的自,該^S包括用于處理獲得的視頻圖像從而從每一個對象中提取一個或者多個特征的裝置,用于將一個^多個圖像特征與來自1^圖像所包括的可肖際例對象的預(yù)定組的樣本W(wǎng)特鵬亍比較的驢,用于根據(jù)圖像特征與可能示例對象的預(yù)定圖像特征的比g識別對象的裝置,用于產(chǎn)生每一個對象的)(t^路徑娜,其i湖湘應(yīng)的鄉(xiāng),并且鄉(xiāng)已i湖ijX^^在IMM中的平面的三維^M中相對于時間的位置的,;用于計,據(jù)對象路^g將每一個g的^S從枧頻M的該平面,到該平面的三維模型中的S^E陣的裝置;以及用于將X^M^^和^e陣^^^個或者多個客戶設(shè)備的裝置。全文摘要本發(fā)明涉及一種用于通信的系統(tǒng)和方法,更具體地涉及用于將包含了多個位于一個平面上的對象的場景的表示傳輸給一個或者多個客戶設(shè)備的系統(tǒng),該系統(tǒng)包括圖像處理裝置,可操作用于接收場景的視頻圖像,用于處理獲得的視頻圖像從而從每一個對象中提取一個或者多個圖像特征,用于將該一個或者多個圖像特征與來自可能示例對象的預(yù)定組的樣本圖像特征進(jìn)行比較,用于根據(jù)該圖像特征與該可能示例對象的預(yù)定圖像特征的比較來識別對象,用于為每一個對象產(chǎn)生對象路徑數(shù)據(jù);并且提供已識別對象在平面的三維模型上相對于時間的位置;用于計算投影矩陣,以及分配服務(wù)器,可操作用于接收對象路徑數(shù)據(jù)和投影矩陣,從而將它們分配到一個或者多個客戶端設(shè)備。文檔編號H04N13/00GK101415125SQ20081017698公開日2009年4月22日申請日期2008年9月5日優(yōu)先權(quán)日2007年9月5日發(fā)明者C·H·吉拉爾,M·W·A·戴維申請人:索尼株式會社