專利名稱：面向目標的視頻系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及視頻編碼和處理方法，更具體但不排它地涉及支持在視頻場景中多個任意構形視頻目標并對每個目標允許定義個別動畫和交互狀態(tài)，并且通過編碼面向目標控制允許動態(tài)媒體成份進入可以由遠端客戶或獨立系統(tǒng)解碼地視頻流共存的視頻編碼系統(tǒng)。客戶機系統(tǒng)可以在標準計算機或移動計算機裝置上執(zhí)行，該移動計算機裝置是諸如個人數(shù)字助理(PDA)、智能無線電話、手持計算機和利用低功率，通用CPU的耐用計算裝置。這些裝置可以包括對編碼視頻流的無線傳輸?shù)闹С帧?br> 背景技術：
當前技術的進步已經導致引入了個人計算裝置，這些裝置剛好開始包含全面無線通信技術。無線移動電話的全面發(fā)展已經取得重大成功，但仍然具有相當大的潛在增長空間。已經認識到，尚沒有對潛在新的和創(chuàng)新的移動視頻處理提供視頻質量、幀速率或低功耗的任何視頻技術解決方案。由于受到移動裝置的處理能力的限制，當前沒有用于處理正在使用的各種個人計算裝置的適合的移動視頻解決辦法，這些個人計算裝置諸如是移動電視會議裝置、超薄無線網絡客戶機計算裝置、廣播無線移動視頻裝置、移動視頻促銷或監(jiān)督裝置。
試圖在諸如智能電話和PDA之類的便攜手持裝置上顯示視頻的難以解決的問題是一般這些裝置具有有限的顯示能力。因為視頻一般利用連續(xù)色表示進行編碼，要求提供真彩色(16或24比特)顯示能力，當使用8比特顯示器時，導致嚴格執(zhí)行降格操作。這是由于在客戶機執(zhí)行量化和抖動處理，變換視頻圖象為適合利用固定彩圖在各裝置顯示的8比特格式，這種做法降低了質量并帶來了大量的處理額外開銷。
基于電視會議的計算機當前利用標準計算機工作站或者通過網絡連接的各個PC，該網絡包括物理纜線和網絡計算機通信協(xié)議層。這種情況的例子是利用物理連接的端對端的纜線，并利用TCP/IP網絡通信協(xié)議，通過互聯(lián)網的兩個PC之間的電視會議。這種類型的電視會議具有到互聯(lián)網的物理連接，并且還利用大的、以計算機為基礎的視頻監(jiān)視設備。這種系統(tǒng)提供各固定位置之間的電視會議，但它附加地限制了各個參加者在特定時間與會，以保證兩個當事人將同時在適當位置上。
對個人手持計算機或智能電話的無線文本信息的廣播，隨著新的和創(chuàng)新的無線技術與手持計算裝置的進步，近來變得切實可行。手持計算裝置和移動電話能夠無線連接到能提供文本信息給用戶裝置的廣域網。目前尚沒有到無線手持計算裝置的視頻實時傳輸。這種視頻內容連接性的缺乏，往往限制了現(xiàn)存系統(tǒng)的商業(yè)可利用性，特別是，當一個人認為“廣播”系統(tǒng)沒有為廣告的目的定標(targeted)向各個目標用戶的的能力時。以任何形式對廣播媒體的一個重要市場發(fā)布是廣告和如何得到支持的問題。有效發(fā)布廣告應當是定標到用戶和地理位置，但廣播技術在這方面固有地受到限制。作為一種推理，支持這種系統(tǒng)的專業(yè)產品的“適當位置”的廣告將是難以作到的。
由于考慮處理要求需要在傳輸期間實時地插入廣告內容到視頻數(shù)據(jù)流中，當前視頻廣播不能插入有目標的廣告。在本發(fā)明人看來按照有規(guī)律的基礎上將要執(zhí)行的在傳輸之前預組合視頻的替代方法太繁鎖冗長。另外，一旦廣告插入到視頻流中，用戶不能與廣告交互，這樣降低了廣告的作用。顯然，已經認識到通過交互技術可以實現(xiàn)更大的廣告作用。
大多數(shù)編碼器/解碼器對于卡通或動畫內容呈現(xiàn)差的性能，但是，對于互聯(lián)網而言，正在產生比視頻更多的卡通和動畫內容。已經認識到，存在著能夠有效地編碼動畫和卡通圖形以及視頻的編解碼器的需求。
利用實現(xiàn)在中央位置的具有視頻監(jiān)視的閉路監(jiān)視系統(tǒng)，已經實現(xiàn)了對數(shù)據(jù)的基于商業(yè)和家庭安全的視頻監(jiān)視系統(tǒng)，要求全時間地關注專門的監(jiān)視警戒。在中央控制中心利用專用監(jiān)視設備僅可以實現(xiàn)多位置的視頻監(jiān)視。安全警戒在巡檢的同時不必訪問來自被監(jiān)視位置的視頻。
利用輕型客戶機工作站以網絡為基礎的計算包括在客戶機工作站中的小型軟件處理，而軟件處理的多數(shù)部分發(fā)生在服務器計算機中。由于信息的集中和操作軟件的配置，客戶機計算降低了計算機管理的成本?？蛻艄ぷ髡就ㄟ^諸如10 Base T以太網之類的標準局域網進行到服務器計算機的物理連線?？蛻艄ぷ髡具\行小型操作系統(tǒng)，能夠與后端服務器計算機和在客戶機視頻監(jiān)視設備上的信息顯示器進行通信。但是，現(xiàn)存的各種系統(tǒng)仍受到限制。它們是典型地限制了一些特殊應用或賣主的軟件。例如，當前輕型客戶機不能同時服務于顯示視頻和電子表格應用。
為了在市場上直接促銷產品，銷售代表可以利用視頻演示說明產品和用途和性能。當前，對于移動銷售商，包括使用笨重的專用視頻顯示設備，可以帶到各個用戶的地點用于產品展示。存在可得到的非移動攜帶式的視頻顯示解決方案，提供實時的視頻用于產品和市場促銷目的。
視頻節(jié)目集(video brochure)經常用于市場和廣告業(yè)務。但是，由于視頻是一種經典的被動媒體，所以它們的效率始終受到限制。已經認識到，如果設計成交互方式，可能極大地改善視頻節(jié)目集的效率。如果這種交互性可能在編解碼器中固有地提供，這可能開拓以視頻為基礎的電子商業(yè)應用之路。對于交互視頻的常規(guī)定義包括播放器，能夠解壓正常壓縮的視頻為收視窗口，并且翻譯某些定義按鍵和疊加在視頻上的隱藏“熱區(qū)”的元數(shù)據(jù)，一般代表超鏈路，用戶的鼠標點擊將調用某些預定的操作。在這種典型的方法中，視頻被作為來自元數(shù)據(jù)的分別的單元進行存儲，并且交互的性質受到極大的限制，因為視頻內容與施加的外部控制之間不存在集成。
提供交互視頻的另外一種方法是允許多目標的MPEG4，但是，發(fā)現(xiàn)這種方法在當今一般諸如具有128Mb的RMA的奔III 500MHz計算機之類的臺式計算機上運行困難。原因是目標形狀信息由目標的色度/亮度信息分別進行編碼，產生附加的存儲額外開銷，并且情景描述(BIFS)的性質和文件格式已經部分地采取虛擬實體標記語言(VRML)是非常復雜的。這意味著對于視頻目標的每個視頻幀的3個分別的分量亮度信息、形狀/透明度信息、和BIFS必須全解碼。然后，在目標可以被顯示之前，這些必須被混合在一起。規(guī)定以DCT為基礎的視頻編解碼器本身已具有很強的計算能力，而除了存儲的額外開銷以外，附加的解碼還要求引入了大量的處理額外開銷。
對個人數(shù)字助理(PDA)的無線接入兼容性，通過能實時地無線傳送音頻-視頻內容到PDA，允許電子書籍免除了其存儲方面的限制。許多團體訓練的應用需要在便攜裝置以無線方式得到視聽信息。視聽訓練教材的特點是交互的并且提供大量存儲內容的非線性導航。利用現(xiàn)有技術的當前狀態(tài)是不能提供的。發(fā)明目的
本發(fā)明的一個目的是克服上述的各個缺點。本發(fā)明的另一個目的的提供一種播放視頻流的軟件并在低處理功率移動裝置諸如利用通用處理器不用專用DSP或傳統(tǒng)硬件的通用手持裝置上顯示視頻。
本發(fā)明的另一個目的是提供一種用于無線連接的移動裝置的高性能低復雜性的軟件視頻編解碼器。無線連接可以由以下無線網絡操作形式提供的，這些網絡可以是通過分組交換或電路交換的按CDMA、TDMA、FDMA發(fā)送模型操作的GSM、CDMA、GPRS、PHG、UMTS、IEEE 802.11等網絡。
本發(fā)明的另一個目的是發(fā)送色預量化數(shù)據(jù)，用于當利用使用連續(xù)色表示的色彩時在客戶機上以8比特顯示的色量化實時色數(shù)據(jù)(映射任何非固定的3維數(shù)據(jù)為1維數(shù)據(jù))。
本發(fā)明的另一個目的是利用無另外數(shù)據(jù)額外開銷或處理額外開銷的方式在單場景中支持多個任意構形視頻目標。
本發(fā)明的另一個目的是無接縫集成音頻、視頻、文本、音樂和動畫圖形到視頻場景中。
本發(fā)明的另一個目的是在視頻比特流中直接將控制信息加到各個目標上，定義在場景中各個目標的交互行為、修飾(rendering)、組合、數(shù)字權限(rights)管理信息、和壓縮數(shù)據(jù)的翻譯。
本發(fā)明的另一個目的是在視頻和控制修飾中與個別目標的交互，以及正在顯示的內容的組合。
本發(fā)明的再另一個目的是提供交互視頻處理能力，能夠改善單個視頻目標的修飾參數(shù)，當條件變真時執(zhí)行分配給各個視頻目標的特定動作，并改善整個系統(tǒng)狀態(tài)的能力并執(zhí)行非線性視頻導航。這是通過加到各個單個目標上的控制信息實現(xiàn)的。
本發(fā)明的另一個目的是提供非線性視頻和組合媒體的能力，其中系統(tǒng)能夠響應請求，通過跳到規(guī)定的場景控制用戶與超鏈路連接的各目標的交互。在另外的例子中，采取通過視頻規(guī)定部分的路徑不是直接由用戶與其他非直接相關目標交互確定的。例如，系統(tǒng)可以跟蹤以前已經收視過的場景并且根據(jù)這個歷史自動確定待顯示的下一個場景。
在內容服務期間交互跟蹤數(shù)據(jù)可以提供給服務器。為了下載內容，交互跟蹤數(shù)據(jù)可以存儲在裝置中用于以后返回服務器的同步。在內容離線重放期間選擇的超鏈路請求或者附加信息請求將被存儲并被發(fā)送到服務器，用于在下一次同步中的執(zhí)行(形式和交互事數(shù)據(jù)的異步加載)。
本發(fā)明的另一個目的是提供通過面向目標視頻的相同交互控制，不論是視頻數(shù)據(jù)正在從遠端服務器流出還是正從本地存儲器離線重放。這允許交互視頻的應用在下列分配的各種情況下流動(“拉”)、預定(“推”)、和下載。當利用下載或預定分配模型時，提供從客戶裝置自動和異步的形式和交互數(shù)據(jù)的加載。
本發(fā)明的一個目的是在一個場景中作音頻/視頻目標的動畫修飾參數(shù)。這包括位置、比例、取向、深度、透明度、色彩和音量。本發(fā)明的目的在于按照用戶交互的直接或間接結果，通過定義修飾參數(shù)的固定的動畫路徑，從遠端服務器發(fā)送命令修改該修飾參數(shù)，并改變修飾參數(shù)實現(xiàn)這個目的，例如當用戶點擊一個目標時激活動畫路徑。
本發(fā)明的另一個目的是定義當用戶與目標交互時執(zhí)行的個別音頻-視頻目標的行為，其中這些行為包括動畫、超鏈接、設置系統(tǒng)的狀態(tài)/變量和動態(tài)媒體組合的控制。
本發(fā)明的另一個目的是有條件地對各個目標執(zhí)行立即動畫和行為動作。這些條件可以包括系統(tǒng)變量的狀態(tài)、定時器事件、用戶事件和各個目標之間的相關性(例如，重疊)、延遲這些動作直至各個條件變真的能力、和定義復雜條件表達的能力。還可能從一個目標到另一個目標重新指向任何控制，使得與一個目標的交互影響另一個目標，而非自身。
本發(fā)明的另一個目的包括產生視頻菜單和寄存用戶選擇的簡單形式的能力。所述形式是如果系統(tǒng)在線能自動同步地加載到遠端服務器或如果系統(tǒng)離線能異步地加載。
本發(fā)明的一個目的是提供一種交互視頻，包括包括定義各環(huán)路的能力，諸如播放單個目標的內容的環(huán)路或目標控制信息的環(huán)路或者整個場景的環(huán)路。
本發(fā)明的另一個目的是提供多信道控制，其中用戶可以改變收視內容流到另外的信道，例如從/到多點傳送(分組或電路交換的)信道到/從單點傳送(分組交換連接的)會話。例如交互目標行為可以被用于實現(xiàn)信道改變的特征，其中在支持兩種連接模型的裝置中，與一個目標的交互通過從分組交換改變到電路交換連接執(zhí)行改變信道，并在電路交換連接中在單點傳送和廣播信道之間的變化并且反之亦然。
本發(fā)明的另一個目的是通過動態(tài)媒體組合(“DMC”)提供內容個性化，這是正在收視的同時，允許顯示視頻場景的實際內容動態(tài)實時地改變，這是通過插入、去掉或取代該場景包含的任何任意構形的視頻/音頻目標，或者通過視頻修剪改變場景。
一個例子將是含有視頻目標成分的娛樂視頻，該視頻目標部分涉及用戶的概況。例如在移動的場景中，一個房間可能含有高爾夫運動設備而不是網球設備。在廣告媒體中這應當特別有用的，這里存在著一個相容的消息，但利用各種各樣的可替代的視頻目標部分。
本發(fā)明的另一個目的是能夠利用或不利用交互行為，在圖象中有針對性地將交互廣告視頻目標的傳送和插入到收視場景，作為動態(tài)媒體處理的實施例。廣告目標可以根據(jù)一天的時間、地理位置、用戶的概況等定標到用戶。另外，本發(fā)明的目的是允許處理對于用戶與所述目標的交互操作(例如，用戶的點擊)立即的或者延遲的各種類型交互響應，其中包括去掉廣告、執(zhí)行諸如立即以另外的目標取代該目標、或以新的場景替代收視的場景、寄存離線還要繼續(xù)操作的用戶或者在當前級別場景/會話結束時跳到新的超鏈路目的地或連接、或和改變廣告目標的透明度或者使它遠去或消失的DMC操作。在用戶與廣告目標交互跟蹤的情況下，當存在按實時提供場景時，還允許訂制預期目的或廣告效果評估。
本發(fā)明的另一個目的是補貼(subsidise)與無線網相關的話費，或利用在呼叫期間或呼叫結束時自動顯示用于發(fā)起人呼叫的發(fā)起人視頻廣告目標，通過廣告的智能電話的使用。另外一種方案，如果用戶與該目標執(zhí)行某些交互的話，在呼叫之前、期間或以后顯示一個交互視頻目標，提供響應關系。
本發(fā)明的一個目的是提供一種用于移動裝置的無線交互電子商務系統(tǒng)，該系統(tǒng)利用在線和離線情況的音頻和視頻數(shù)據(jù)。該電子商務包括市場運營/促銷目的，利用超鏈路鏈接的圖象廣告或利用非線性導航的交互視頻節(jié)目集，或者直接在線購物，其中可以產生作為目標的單獨銷售項，以便用戶可以與它們進行交互操作，諸如將它們拖到購物籃等。
本發(fā)明的目的包括一種方法和系統(tǒng)，自由地提供公共的，(或補貼費用)存儲器裝置，諸如緊湊閃速存儲器或者存儲棒或具有某些其它形式因素的存儲器裝置，這些存儲器裝置含有帶廣告或促銷內容或產品信息的交互視頻節(jié)目集。該存儲器裝置最好是只讀裝置，雖然其它類型存儲器也可以使用。該存儲器裝置可以被配置為向生產商提供反饋機制的，可以利用在線通信、或者通過在存儲卡寫入某些數(shù)據(jù)，然后這些數(shù)據(jù)存放在某些收集點。不利用物理存儲卡，利用該裝置注意到是否準備接收數(shù)據(jù)和可接收量，隨著導航注入信息到裝置中，利用本地無線分配也可以達到相同的目的。
本發(fā)明的一個目的是當下載時向用戶發(fā)送交互視頻節(jié)目集、視頻化(videozines)和視頻(活動性)書等，然后使得它們可以與包含填寫表格等的節(jié)目集進行交互。如果存在視頻節(jié)目集并由用戶操作或者交互，然后當客戶機重新變?yōu)樵诰€時，這些用戶數(shù)據(jù)/形式將被異步加載到始發(fā)服務器。如果希望，加載可以自動地和/或異步地執(zhí)行。這些節(jié)目集可以包含用于訓練/教育、市場或促銷、產品信息目的的視頻，并且收集的用戶信息可以是測試、調查、對更多信息的請求和購買定單等。交互視頻節(jié)目集、視頻化和視頻(活動性)書可以利用圖象廣告目標的方式產生。
本發(fā)明的另一個目的是利用我們的根據(jù)交互視頻方案的目標，根據(jù)用于移動裝置的用戶接口產生唯一的視頻。
本發(fā)明的另一個目的是提供用于無線連接的移動用戶的視頻電子函件，其中可以產生和訂制電子賀卡和消息，并在各個用戶中傳送。
本發(fā)明的另一個目的是提供如在運動場或諸如機場、購物商業(yè)街之類的其它本地環(huán)境的本地廣播，這種業(yè)務具有返回信道交互用戶的請求，用于附加信息或電子商務應用。
本發(fā)明的另一個目的是利用交互視頻系統(tǒng)提供一種在線應用的語音命令和控制的方法。
本發(fā)明的另一個目的是提供無線超薄客戶機，經無線連接接入到遠端計算服務器。該遠端計算服務器可以是私人擁有的計算機或者由應用服務提供商提供的計算機。
本發(fā)明還有一個目的是提供在低端無線裝置上包含多方電視會議的電視會議，該電視會議帶或不帶圖象廣告。
本發(fā)明的另一個目的是提供一種視頻監(jiān)視方法，由此無線視頻監(jiān)視系統(tǒng)從視頻攝象機，視頻存儲器裝置，電纜電視和廣播電視輸入信號，在無線連接的PDA或移動電話上遠程收視的碼流互聯(lián)網視頻技術。本發(fā)明的另一個目的是利用街道交通攝象機提供交通監(jiān)視業(yè)務。發(fā)明內容系統(tǒng)/編解碼器方面
如果希望的話，本發(fā)明提供在低功率移動裝置上利用軟件發(fā)碼流和/或運行視頻的能力。本發(fā)明還提供以4元樹為基礎的編解碼器，用于色映射視頻數(shù)據(jù)。本發(fā)明還提供利用具有透明葉表示的以4元樹為基礎的編解碼器，隨同對任意構形定義的支持，利用FIFO的葉色彩預測，底層節(jié)點消除。
本發(fā)明還包括以4元樹為基礎的編解碼器，對于任意構形定義具有對非底層葉的第n序插入和對底層葉的第0序插入。因此，本發(fā)明的各個實施例的特征可以包括一個或多個如下特征
發(fā)送色量化信息到允許實時的客戶機側進行色量化；
利用動態(tài)8元樹數(shù)據(jù)結構代表3D數(shù)據(jù)的映射，分隔為用于矢量量化的自適應碼簿；
無縫組合集成音頻、視頻、文本、音樂和動畫圖象到一個無線流視頻場景的能力；
在單一場景中支持多任意構形視頻目標。這個特征是利用非特別數(shù)據(jù)額外開銷或處理額外開銷實現(xiàn)的，例如通過編碼從亮度或紋理信息分出的附加構形信息；
基本文件格式結構，諸如文件實體層次、目標數(shù)據(jù)流、修飾的分別規(guī)范、定義和內容參數(shù)、目錄、場景、和目標基礎控制；
與無線流視頻中的個別目標交互的能力；
在視頻碼流中加控制數(shù)據(jù)到各個目標上，控制交互行為、修飾參數(shù)、組成等的能力；
加數(shù)字正確管理信息到視頻或圖形動畫數(shù)據(jù)流上的能力，用于以無線流為基礎的分配和用于下載和重放為基礎的分配。
產生視頻目標用戶接口(“VUI’s”)，代替常規(guī)的圖形用戶接口(GUI’s)；和/或
使用XML為基礎的標記語言(“IACML”)或類似源程序定義目標控制的能力，諸如在多媒體表達中DMC功能的修飾參數(shù)和程序控制。交互方面
本發(fā)明還提供一種通過支持以下內容用于控制用戶交互和動畫(自動作)的方法和系統(tǒng)
- 用于從流服務器發(fā)送目標控制修改數(shù)據(jù)內容或者修飾內容的方法和系統(tǒng)。
- 在數(shù)據(jù)文件中加目標控制修改數(shù)據(jù)內容或者修飾內容。
- 根據(jù)直接或間接的用戶交互，客戶機可以任選地執(zhí)行由目標控制定義的動作。
本發(fā)明還提供一種加可執(zhí)行的行為到各個目標上的能力，包括對視頻場景中的音頻/視頻目標的實施參數(shù)的動畫、超鏈路、啟動定時器、發(fā)出話音呼叫、動態(tài)媒體組合動作、改變系統(tǒng)狀態(tài)(例如，暫停/播放)、改變用戶變量(例如，設置布爾運算標志)。
本發(fā)明還提供一種當用戶事件發(fā)生(按暫停鍵、或按鍵)時，或者當系統(tǒng)事件發(fā)生(例如，達到場景結束)時，當用戶具體與目標交互(例如，點擊目標或拖動目標)時動作目標行為的能力。
本發(fā)明還提供一種分配條件給各個動作和行為的方法和系統(tǒng)，這些條件包括定時器事件(例如，定時器已終止)、用戶事件(例如，按下鍵)、系統(tǒng)事件(例如，場景2正在播放)、交互事件(例如，用戶已點擊了目標)、目標之間的關系(例如，重疊)、用戶變量(例如，布爾運算標志設置)、和系統(tǒng)狀態(tài)(例如，播放或者暫停、碼流播放或獨立播放)。
另外，本發(fā)明利用AND-OR平面邏輯在動作執(zhí)行前等待各條件變真提供形成復雜條件表達能力，清除等待動作的能力，重新定標與各個目標交互的結果和從一個目標到另一個目標的其它控制的能力，根據(jù)用戶的交互在播放的同時允許各目標被其它各目標取代，和/或通過與現(xiàn)存目標的交互允許各新的目標的產生或例示。
本發(fā)明提供定義目標數(shù)據(jù)(例如，對于單個的各個目標的幀序列)、各目標控制(例如，修飾參數(shù))、和整個場景(對于所有各個目標和控制重新開始幀序列)的環(huán)型播放的能力。
再有，本發(fā)明提供產生用于用戶反饋的形式或用戶控制的菜單和按碼流移動視頻交互的各種形式的能力，和拖各個視頻目標到其它各個目標的頂端使得系統(tǒng)狀態(tài)變化的能力。動態(tài)媒體組合
本發(fā)明提供允許通過修改場景改變整個視頻成分和通過修改各目標改變整個場景成分的能力。這可以在在線碼流、離線播放視頻(獨立地)、和混合的情況下執(zhí)行。單個圖象中的各目標可以被另外的目標取代、可以增加到當前的場景、和從當前場景中刪除。
在包括固定、自適應、和用戶處于中間的3種模型下執(zhí)行DMC。對DMC支持的本地目標庫可以被用于存儲DMC中使用的目標，存儲的目標用于直接播放，該目標可以由碼流服務器進行管理(插入、更新、清除)，并且該目標可以由服務器進行查詢。另外，對DMC支持的本地目標庫具有對庫存目標的翻譯控制、對非持久庫存目標的自動期滿檢查、和從服務器中自動目標更新。另外，本發(fā)明包括對庫存目標的多級別訪問控制，對于每個庫存目標支持唯一ID、具有每個庫存目標的歷史或狀態(tài)，并且在兩個以后之間可以使能特殊媒體目標的共享。另外的應用
本發(fā)明提供經無線連接接入遠端計算服務器的超薄客戶機，允許用戶產生、訂制和發(fā)送電子賀卡給移動智能電話，使用語音命令的處理控制視頻顯示，利用非線性導航與服務器的用于訓練/教育目的的交互碼流無線視頻的使用，發(fā)送碼流卡通/圖象動畫到無線裝置，無線碼流交互視頻電子商務應用，利用視頻目標和碼流視頻定標圖象中廣告。
另外，本發(fā)明允許發(fā)送生動交通視頻碼流該給用戶。這可以以多個可選擇的方案執(zhí)行，包括用戶撥一個特殊電話號碼并且然后選擇交通攝象機位置，通過操作員/交換機收看該范圍的圖象，或者用戶撥一個特殊電話號碼和該用戶的地理位置(從GPS或小區(qū)三角定位獲得)被用于自動提供交通攝象機的選擇進行收看。另外一種方案是用戶可以寄存在特殊的服務器，該服務器的提供商將呼叫該用戶并自動發(fā)表示可能具有潛在交通塞擁的乘車路線的視頻信息。為此目的，當寄存的用戶選擇一個提出的路線時，并可以幫助確定該路線。在任何情況下，系統(tǒng)可以跟蹤用戶的速度和位置，確定行駛的方向和正在遵循的路線，然后沿著潛在路線搜索監(jiān)視交通攝象機的表，確定是否有任何地方被擁塞。如果有擁塞，系統(tǒng)將呼叫駕駛員并提供交通圖象。對不動的用戶或者以步行速度行駛的用戶將進行呼叫。另外一種方案，規(guī)定指示擁塞的交通攝象機，系統(tǒng)可以通過寄存用戶的表進行搜索行駛在該道路上的用戶并且對他們進行告警。
本發(fā)明還提供免費或者補貼費用的公共存儲裝置，例如緊湊閃速存儲器、存儲棒、或諸如光盤之類的以任何其它形式的存儲裝置，這些存儲裝置中含有具有廣告或者促銷內容或者產品信息的交互視頻節(jié)目集。雖然如果需要可以使用諸如讀/寫存儲器之類的其它類型的存儲器，但是對于用戶來說存儲裝置最好使用只讀存儲器。該存儲裝置可以被配置為提供對制造商的反饋機制，這種機制利用在線通信，或者利用將某些數(shù)據(jù)寫回到放置在某些收集點的存儲裝置。
不用物理的存儲卡或者其它存儲裝置，也可以實現(xiàn)這種相同的處理，即利用本地無線分配，考慮是否該裝置準備接收數(shù)據(jù)，并如果準備接收數(shù)據(jù)，可接收多大數(shù)量，隨著該裝置的導航注入信息到該裝置中。所包含的步驟包括a)移動裝置進入本地無線網的范圍(這可以是IEEE 802.11或蘭牙等網絡類型)，網絡檢測載波信號和服務器的連接請求。如果同意，客戶機通過可聞性告警或某些其它方法告警用戶，指示將進行傳輸；b)如果該用戶配置的移動裝置接受這些連接請求，則建立與服務器的連接，否則該請求被拒絕；c)客戶機向服務器發(fā)送配置信息，諸如顯示屏尺寸、存儲器容量和CPU速度、裝置制造商/型號和操作系統(tǒng)；d)服務器接收這個信息并選擇正確的數(shù)據(jù)流發(fā)送到客戶機；如果都不適合，則中止連接；e)在信息被傳送以后，服務器結束該連接并且客戶機告警該用戶傳輸結束；和f)如果在傳輸完成以前，由于丟失連接不正當?shù)亟Y束傳輸，則客戶機清掉使用的任何存儲器并且自身重新開始新的連接請求。本發(fā)明的陳述
按照本發(fā)明，提供一種產生面向目標的交互多媒體文件的方法，包括
分別按照視頻包碼流、文本包碼流、音頻包碼流、音樂包碼流、和/或圖形包碼流編碼視頻、文本、音頻、和/或圖形單元中的至少一個的數(shù)據(jù)；
組合所述包碼流為單一自取向目標，所述目標含有其自己的控制信息；
放置多個所述目標到數(shù)據(jù)流中；和
分組單一連接的自取向場景中所述各數(shù)據(jù)流的一個或多個，所述場景包括作為各個包的序列中初始包的格式定義。
本發(fā)明還提供從非靜止3維數(shù)據(jù)集為1維的實時映射的方法，包括步驟
預計算所述數(shù)據(jù)；編碼所述映射；
發(fā)送編碼的映射到客戶機；和
所述客戶機應用所述映射到所述數(shù)據(jù)。
本發(fā)明還提供一種在面向目標交互視頻系統(tǒng)中用于動態(tài)改變顯示視頻的實際內容的系統(tǒng)，包括
包含交互多媒體文件格式的動態(tài)媒體組合處理，包括含有視頻、文本、音頻、音樂、和/或圖形數(shù)據(jù)的各個目標，其中所述各目標的至少一個包括數(shù)據(jù)流，所述各數(shù)據(jù)流的至少一個包括一個場景，所述各場景的至少一個包括一個文件；
用于提供文件信息的目錄數(shù)據(jù)結構；
用于使各個目標組合在一起的正確組合的選擇機制；
用于根據(jù)所述目錄信息利用目錄信息和所述各個目標的位置知識的數(shù)據(jù)流管理器；
用于用戶收視的同時，實時地在所述場景中和在所述視頻中的各個場景中插入、刪除、或替代所述目標的控制機制。
本發(fā)明還提供一種面向目標交互多媒體文件，包括
一個或多個連續(xù)的自包含場景的組合；
每個所述場景包括作為第一包的場景格式定義，和接著所述第一包的一個或多個數(shù)據(jù)流的一個組；
來自所述第一數(shù)據(jù)流的每個所述數(shù)據(jù)流部分包括可以被任選地解碼的各個目標并且根據(jù)按所述第一數(shù)據(jù)流中的目標控制信息規(guī)定的動態(tài)媒體組合處理進行顯示；和
每個所述數(shù)據(jù)流包含一個或多個單個自含目標并且由一個終端流標志定界；所述各個目標的每個含有自身的控制信息并且由組合各個包碼流形成的；通過編碼未加工的交互多媒體數(shù)據(jù)形成的所述包碼流包括視頻、文本、音頻、音樂、或圖形單元的至少一個或者組合，分別作為視頻包碼流、文本包碼流、音頻包碼流、音樂包碼流、音樂包碼流和圖形包碼流。
本發(fā)明還提供一種提供低功率裝置的語音命令操作的方法，該低功率裝置能夠操作碼流視頻系統(tǒng)，包括以下步驟
在所述裝置捕捉用戶的話音；
壓縮所述話音；
將所述壓縮話音的編碼樣值插入到用戶的控制包中；
發(fā)送所述壓縮的話音掉能夠處理語音命令的服務器；
所述服務器執(zhí)行自動話音識別；
所述服務器映射該轉錄的話音為一個命令集；
所述系統(tǒng)檢查是否所述命令由所述用戶或所述服務器產生；
如果所述轉錄的命令是來自所述服務器，則所述服務器執(zhí)行所述命令；
如果所述轉錄的命令是來自所述用戶，則所述系統(tǒng)轉移所述命令到所述用戶裝置；
所述用戶執(zhí)行所述命令。
本發(fā)明還提供一種圖象處理方法，包括以下步驟
根據(jù)圖象的顏色產生色利用該色圖確定該圖象的關系；和
確定利用色圖表示的該圖象的至少一部分的相對運動。
本發(fā)明還提供一種確定圖象的編碼表示的方法，包括
分析表示顏色的所使用的比特數(shù)；
當表示顏色使用的比特數(shù)超過第一值時，利用第一標志值和第一預比特定數(shù)表示顏色；和
當表示顏色使用的比特數(shù)未超過第一值時，利用第二標志值和第二預比特定數(shù)表示顏色。
本發(fā)明還提供一種圖象處理系統(tǒng)，包括
用于根據(jù)圖象的顏色產生色圖的裝置；
用于利于色圖確定圖象表示的裝置；和
用于確定利用色圖表示的該圖象的至少一部分的相對運動的裝置。
本發(fā)明還提供一種用于確定圖象的編碼表示的圖象編碼系統(tǒng)，包括
用于分析表示顏色所使用的比特數(shù)的裝置；
當表示顏色使用的比特數(shù)超過第一值時，利用第一標志值和第一預比特定數(shù)表示顏色的裝置；和
當表示顏色使用的比特數(shù)未超過第一值時，利用第二標志值和第二預比特定數(shù)表示顏色的裝置。
本發(fā)明還提供一種處理各個目標的方法，包括以下步驟
按源程序語言分析信息；
讀多個數(shù)據(jù)源，該數(shù)據(jù)源含有至少以視頻、圖形、動畫、和音頻形式的多個目標；
根據(jù)按源程序語言的信息，加控制信息到多個目標上；和
交錯該多個目標到數(shù)據(jù)流和文件的至少一個中。
本發(fā)明還提供一種處理各個目標的系統(tǒng)，包括
用于按源程序語言分析信息的裝置；
用于讀多個數(shù)據(jù)源的裝置，該數(shù)據(jù)源含有至少以視頻、圖形、動畫、和音頻形式的多個目標；
用于根據(jù)按源程序語言的信息，加控制信息到多個目標上的裝置；和
用于交錯該多個目標到數(shù)據(jù)流和文件的至少一個中的裝置。
本發(fā)明還提供一種遠端控制計算機的方法，包括以下步驟
根據(jù)數(shù)據(jù)在服務器上執(zhí)行計算操作；
根據(jù)計算操作在服務器上產生圖象信息；
經無線連接從該服務器發(fā)送圖象信息到客戶機計算裝置，而不發(fā)送所述數(shù)據(jù)；
由客戶機計算裝置接收該圖象信息；和
由客戶機計算裝置顯示該圖象信息。
本發(fā)明還提供一種遠端控制計算機的系統(tǒng)，包括
用于根據(jù)數(shù)據(jù)在服務器上執(zhí)行計算操作的裝置；
用于根據(jù)計算操作在服務器上產生圖象信息的裝置；
用于經無線連接從該服務器發(fā)送圖象信息到客戶機計算裝置，而不發(fā)送所述數(shù)據(jù)的裝置；
用于由客戶機計算裝置接收該圖象信息的裝置；和
用于由客戶機計算裝置顯示該圖象信息的裝置。
本發(fā)明還提供一種發(fā)送電子賀卡的方法，包括以下步驟；
輸入指示賀卡的特征的信息；
產生對應于該賀卡的圖象信息；
編碼該圖象信息為具有控制信息的目標；
通過無線連接發(fā)送具有控制信息的目標；
由無線手持計算裝置接收具有控制信息的目標；
由無線手持計算裝置解碼具有控制信息的目標；
顯示在手持計算裝置中已被解碼的賀卡圖象。
本發(fā)明還提供一種發(fā)送電子賀卡的系統(tǒng)，包括
用于輸入指示賀卡的特征的信息的裝置；
用于產生對應于該賀卡的圖象信息的裝置；
用于編碼該圖象信息為具有控制信息的目標的裝置；
用于通過無線連接發(fā)送具有控制信息的目標的裝置；
用于由無線手持計算裝置接收具有控制信息的目標的裝置；
用于由無線手持計算裝置解碼具有控制信息的目標的裝置；
用于顯示在手持計算裝置中已被解碼的賀卡圖象的裝置。
本發(fā)明還提供一種控制計算裝置的方法，該方法包括
由計算裝置輸入音頻信號；
編碼該音頻信號；
發(fā)送該音頻信號到遠端計算裝置；
在遠端計算裝置翻譯該音頻信號并產生對應于該音頻信號的信息；
發(fā)送對應于該音頻信號的信息到該計算裝置；和
利用對應于該音頻信號的信息控制該計算裝置。
本發(fā)明還提供一種控制計算裝置的系統(tǒng)，該方法包括
由計算裝置輸入音頻信號；
編碼該音頻信號；
發(fā)送該音頻信號到遠端計算裝置；
在遠端計算裝置翻譯該音頻信號并產生對應于該音頻信號的信息；
發(fā)送對應于該音頻信號的信息到該計算裝置；和
利用對應于該音頻信號的信息控制該計算裝置。
本發(fā)明還提供一種執(zhí)行發(fā)送的系統(tǒng)，包括
用于在無線手持裝置上顯示廣告的裝置；
用于從無線手持裝置發(fā)送信息的裝置；和
用于接收與由于顯示廣告已經發(fā)送的信息相關的打折價格的裝置。
本發(fā)明還提供一種提供視頻的方法，包括以下步驟
確定是否一個事件已經發(fā)生；和
響應于該事件，通過該區(qū)域的視頻無線傳輸，獲得給一個用戶的一個區(qū)域的發(fā)送的視頻。
本發(fā)明還提供一種提供視頻的系統(tǒng)，包括
用于確定是否一個事件已經發(fā)生的裝置；
用于獲得一個區(qū)域的視頻的裝置；和
用于響應于該事件，通過該區(qū)域的視頻無線傳輸，發(fā)送到一個用戶的裝置。
本發(fā)明還提供一種面向目標多媒體視頻系統(tǒng)的系統(tǒng)，能夠支持多個任意構形視頻目標，不需要特別數(shù)據(jù)的額外開銷和處理的額外開銷，以提供視頻目標構形信息。
本發(fā)明還提供一種由服務器始發(fā)通信傳送多媒體內容到無線裝置的方法，其中內容按希望的時間或成本效率的方式進行預先安排以便傳送并且所述用戶經裝置的顯示器或其它指示器被告警傳送完成。
本發(fā)明還提供一種交互系統(tǒng)，其中存儲的信息可以進行離線收視并存儲用戶輸入并且當所述裝置下一步連接在線時，通過無線網絡將自動轉移交互到特定的遠端服務器。
本發(fā)明還提供一種視頻編碼方法，包括
利用目標控制數(shù)據(jù)作為視頻目標編碼視頻數(shù)據(jù)；并且
產生包含多個所述視頻目標的數(shù)據(jù)流，所述視頻目標具有各自的視頻數(shù)據(jù)和目標控制數(shù)據(jù)。
本發(fā)明還提供一種視頻編碼方法，包括
根據(jù)色減少表示，量化視頻流中的色數(shù)據(jù)；
產生編碼的代表所述量化的色和透明范圍的視頻幀數(shù)據(jù)；并且
利用所述編碼的視頻數(shù)據(jù)產生編碼的音頻數(shù)據(jù)和目標控制數(shù)據(jù)。
本發(fā)明還提供一種視頻編碼方法，包括
(i)選擇對于視頻數(shù)據(jù)的每個視頻幀的減少的顏色集；
(ii)逐幀地協(xié)調顏色一致；
(iii)執(zhí)行運動補償；
(iv)根據(jù)感覺上的色差測量，確定一個幀的更新區(qū)；
(v)根據(jù)步驟(i)到(iv)將所述各幀的視頻數(shù)據(jù)編碼為各視頻目標；和
(vi)包括每個視頻目標動畫、實施和動態(tài)組成控制。
本發(fā)明還提供一種無線碼流視頻和動畫系統(tǒng)，包括
(i)便攜監(jiān)視裝置和第一無線通信裝置；
(ii)用于存儲壓縮數(shù)字視頻和計算機動畫的服務器，并且能使用戶從可用視頻庫中瀏覽和選擇數(shù)字視頻進行收視；并且
(iii)至少一個接口模塊包含第二無線通信裝置，用于從服務器向便攜監(jiān)視裝置傳送可傳送數(shù)據(jù)，該便攜監(jiān)視裝置包括用于接收所述可傳送數(shù)據(jù)、變換該可傳送數(shù)據(jù)為顯示視頻圖象的視頻圖象、并允許用戶與服務器通信交互地瀏覽和選擇進行收視的視頻的裝置。
本發(fā)明還提供一種提供無線視頻碼流和動畫的方法，至少包括以下步驟之一
(a)通過廣域網從遠端服務器下載并存儲壓縮的視頻和動畫數(shù)據(jù)，用于以后從本地服務器的傳輸；
(b)允許用戶從存儲在本地服務器的視頻數(shù)據(jù)庫中瀏覽和選擇數(shù)字視頻，進行收視；
(c)發(fā)送數(shù)據(jù)到便攜監(jiān)視裝置；和
(d)處理數(shù)據(jù)在便攜監(jiān)視裝置上顯示圖象。
本發(fā)明還提供一種提供交互視頻節(jié)目集的方法，包括以下各個步驟的至少一個
(a)通過以下規(guī)定產生視頻節(jié)目集，(i)在節(jié)目集中的各種場景和可能出現(xiàn)在每個場景中的各種視頻目標，(ii)規(guī)定預置的和用戶可選擇的場景導航控制和對于每個場景的單個構成規(guī)則，(iii)對每個媒體目標規(guī)定修飾參數(shù)，(iv)規(guī)定對媒體目標的控制，產生各個形式，收集用戶反饋，(v)集成壓縮的媒體流和目標控制信息為成分數(shù)據(jù)流。
本發(fā)明還提供一種向移動裝置產生和發(fā)送視頻賀卡的方法，包括至少一個步驟
(a)允許用戶通過以下步驟產生視頻賀卡(i)從一個庫中選擇模板視頻場景或動畫，(ii)通過增加用戶供給的文本或音頻模板或從一個庫中選擇視頻模板插入將作為場景中的角色訂制模板；
(b)從用戶獲得(i)識別細節(jié)，(ii)理想的傳送方法，(iii)付費細節(jié)，(iv)指定接收的移動裝置的號碼；和
(c)取決于指定的傳送方法排隊賀卡，直至帶寬變?yōu)榭捎没蛘呖梢垣@得非峰值傳送，輪詢各個接收裝置，看是否能夠處理賀卡，并且如果可以處理，則傳送到指定的移動裝置。
本發(fā)明還提供一種用于解碼編碼的數(shù)據(jù)的視頻解碼方法。
本發(fā)明還提供一種動態(tài)色間隔空間編碼方法，允許進一步將色量化信息發(fā)送到客戶機，能根據(jù)色減少的方式實現(xiàn)實時客戶機。
本發(fā)明還提供一種有目的的用戶和/或局部視頻廣告的方法。
本發(fā)明還提供一種可以是無線的和能夠提供接人遠端服務器的超薄客戶機。
本發(fā)明還提供一種多方電視會議的方法。
本發(fā)明還提供一種動態(tài)媒體組合的方法。
本發(fā)明還提供一種允許用戶訂制并傳送電子賀卡和明信片到移動智能電話的方法。
本發(fā)明還提供一種用于多媒體數(shù)據(jù)的無線碼流的糾錯方法。
本發(fā)明還提供用于分別執(zhí)行上述方法之一的系統(tǒng)。
本發(fā)明還提供服務器軟件，用于允許用戶對視頻數(shù)據(jù)的無線流的糾錯的方法。
本發(fā)明還提供一種計算機軟件，用于分別執(zhí)行上述各方法的任何一個的步驟。
本發(fā)明還在需要的系統(tǒng)上提供視頻。本發(fā)明還提供一種視頻安全系統(tǒng)。本發(fā)明還提供一種交互移動視頻系統(tǒng)。
本發(fā)明還提供一種處理語音命令控制視頻顯示器的方法。
本發(fā)明還提供包括用于控制面向目標視頻和/或音頻的碼的軟件。有利地是，該碼可以包含基于XML的IAVML結構。


下面僅以例子的方式參照附圖描述本發(fā)明的各個優(yōu)選實施例，其中
圖1是本發(fā)明的一個實施例的面向目標多媒體系統(tǒng)的簡化框圖2是表示交叉組合入圖1的實施例的面向目標數(shù)據(jù)流的3種主要包類型的示意圖3是表示在本發(fā)明的面向目標多媒體播放機實施例中數(shù)據(jù)處理的3個階段的框圖4是表示在按照本發(fā)明的面向目標數(shù)據(jù)文件中各目標類型分層的示意圖5是表示按照本發(fā)明的數(shù)據(jù)文件或碼流中典型包序列的圖6是表示按照本發(fā)明的面向目標多媒體播放機的客戶機與服務器部件之間的信息流的圖7是表示按照本發(fā)明的面向目標多媒體播放機客戶機的主要部件的框圖8是按照本發(fā)明的面向目標多媒體播放機客戶機的功能部件的框圖9是描述按照本發(fā)明的多目標客戶機分離修飾(rending)處理主要步驟的流程圖10是按照本發(fā)明的客戶機修飾引擎的優(yōu)選實施例的框圖11是按照本發(fā)明的客戶機交互引擎的優(yōu)選實施例的框圖12是描述具有DMC功能的交互多目標視頻場景的實施例的組成部分圖13是描述客戶機執(zhí)行播放按照本發(fā)明的交互面向目標視頻處理中的主要步驟的流程圖14是按照本發(fā)明的交互多媒體播放機的本地服務器部分的框圖15是按照本發(fā)明的遠端碼流服務器的框圖16是描述由按照本發(fā)明的客戶機執(zhí)行的動態(tài)媒體部分的主要步驟的流程圖17是描述按照本發(fā)明的由服務器客戶機執(zhí)行的動態(tài)媒體部分的主要步驟的流程圖18是按照本發(fā)明的面向目標視頻編碼器的框圖19是由按照本發(fā)明的視頻編碼器執(zhí)行的主要步驟的流程圖20是按照本發(fā)明的視頻編碼器中的輸入色處理部分的框圖21是用于按照本發(fā)明的視頻編碼器中的范圍更新選擇處理的各個部分的框圖22是用于視頻編碼中的3個快速運動補償方法的圖23是用于按照本發(fā)明的視頻編碼器中的樹形分裂方法的圖24是編碼來自按照本發(fā)明的視頻壓縮處理的數(shù)據(jù)結果所執(zhí)行的主要步驟的流程圖25是用于編碼按照本發(fā)明的色圖更新信息的各步驟的流程圖26是編碼對于按照本發(fā)明的正常預測幀的4元樹結構數(shù)據(jù)的各步驟的流程圖27是編碼按照本發(fā)明的4元樹結構中葉色的步驟的流程圖28是按照本發(fā)明由視頻編碼器執(zhí)行的壓縮視頻關鍵幀的主要步驟的流程圖29是按照本發(fā)明由視頻編碼器利用另外一種編碼方法執(zhí)行的壓縮視頻的主要步驟的流程圖30是按照本發(fā)明在客戶機中按實時地執(zhí)行實時色(矢量)量化主要包含的預量化處理的流程圖31是按照本發(fā)明的語音命令處理中的主要步驟的流程圖32是按照本發(fā)明的超薄計算客戶機局域無線網(LAN)系統(tǒng)的框圖33是按照本發(fā)明的超薄計算客戶機廣域無線網(WAN)系統(tǒng)的框圖34是按照本發(fā)明的超薄計算客戶機遠端LAN服務器系統(tǒng)的框圖35是按照本發(fā)明的多方無線電視會議系統(tǒng)的框圖36是按照本發(fā)明的定標圖象中的用戶廣告的交互′按需式視頻′系統(tǒng)的一實施例的框圖37是傳送和操作處理按照本發(fā)明的圖象中定標用戶廣告的交互的一個實施例所包括的主要步驟的流程圖38是在傳送和操作處理按照本發(fā)明的交互視頻節(jié)目集的一個實施例的所包括主要步驟的流程圖39是在一個交互視頻節(jié)目集的實施例中的可能用戶交互的序列的流程圖40是按照本發(fā)明的包含視頻數(shù)據(jù)的基于推或拉分配的主要步驟的流程圖41是按照本發(fā)明的交互′按需式視頻′系統(tǒng)的框圖，具有以遠端服務器為基礎的包括用戶認證、接入控制、計費和利用率計量的數(shù)字權限管理功能；
圖42是按照本發(fā)明播放需要的碼流無線視頻的處理中播放機軟件執(zhí)行的主要步驟的流程圖43是按照本發(fā)明的視頻安全/監(jiān)視系統(tǒng)的框圖44是按照本發(fā)明的電子賀卡系統(tǒng)和服務的框圖45是按照本發(fā)明產生和發(fā)送個性化電子賀卡或視頻電子函件到移動電話所包括的主要步驟的流程圖46是表示利用MPEG4標準描述集中參數(shù)場景的框圖47是表示按照本發(fā)明提供色量化數(shù)據(jù)給解碼器用于實時色量化的主要步驟的框圖48是表示按照本發(fā)明的目標庫的主要部分的框圖49是表示按照本發(fā)明的視頻解碼器的主要步驟的流程圖50是按照本發(fā)明解碼4元樹形編碼的視頻幀包括的主要步驟的流程圖51是按照本發(fā)明的解碼4元樹的葉色中包括的主要步驟的流程圖。本發(fā)明詳細描述術語表
比特流從服務器向客戶機發(fā)送的比特序列，但可以被存儲在存儲器中；
數(shù)據(jù)流一個或多個交叉的包流；
動態(tài)媒體成分改變按實時表現(xiàn)的多目標多媒體的成分；
文件面向目標多媒體文件；
圖象中目標在場景中重疊的視頻目標；
媒體目標一個或多個交叉的媒體類型的組合，包括音頻、視頻、矢量圖形、文本和音樂；
目標一個或多個交叉的媒體類型的組合，包括音頻、視頻、矢量圖形、文本和音樂；
包流屬于從服務器向客戶機發(fā)送的一個目標的各個數(shù)據(jù)包序列，但可以被存儲在存儲器中的；
場景一個或多個碼流的封裝，包括多目標多媒體表現(xiàn)；
碼流一個或多個交叉的包流的組合，存儲在一個面向目標多媒體文件中；
視頻目標一個或多個交叉的媒體類型的組合；包括音頻、視頻、矢量圖形、文本和音樂。縮寫
FIFO先進先出緩沖器；
IAVML交互音頻可視標記語言；
PDA個人數(shù)字助理；
DMC動態(tài)媒體組合；
IME交互管理引擎；
DRM數(shù)字權限管理；
ASR自動語音識別；
PCMCIA個人計算機存儲卡國際協(xié)會。一般系統(tǒng)結構體系
描述在這里的處理和算法形成一種可實現(xiàn)的技術平臺，用于諸如電子商務之類的先進增強式交互多媒體應用。所描述的方法的最大優(yōu)點是如果希望的話，它們可以在諸如移動電話和PDA之類的非常低的處理功率的裝置上僅利用軟件執(zhí)行。這將從如圖42所示的流程圖和伴隨的描述中變得更明顯。對于這種技術，特定的視頻編解碼器是基本的，因為它能在低功率移動視頻系統(tǒng)中提供先進的面向目標交互處理能力。該系統(tǒng)的一個重要優(yōu)點是在這種系統(tǒng)中存在低的額外開銷。這種先進的面向目標交互處理比以前在無線裝置能提供功能、用戶體驗和應用上的更新的級別。
諸如MPEG1/2，H.263播放機之類的典型的視頻播放機給用戶一種消極的經歷。它們讀出單一的壓縮視頻數(shù)據(jù)流并通過對接收數(shù)據(jù)執(zhí)行單一、固定的解碼轉換進行播放。相反，作為描述在這里的面向目標視頻播放機提供先進的交互視頻能力并且允許來自多個源的多個視頻目標的動態(tài)組合，訂制用戶體驗的內容。該系統(tǒng)不僅允許多個、任意構形視頻目標共存，而且還根據(jù)用戶的交互或者預先確定的設置，確定哪些目標可以在任何瞬間實時地共存。例如，取決于用戶的愛好或用戶的交互操作，視頻的一個場景可以被編輯為在一個場景中作不同事情的兩個不同角色中的一個。
為了提供這種靈活性，已經開發(fā)出一種面向目標視頻系統(tǒng)，包括編碼階段、播放機客戶機和服務器，如圖1所示。編碼階段包括編碼器50，它壓縮未加工的多媒體目標數(shù)據(jù)51為壓縮的目標數(shù)據(jù)文件52。服務器部分包括可編程、動態(tài)媒體組合部分76，根據(jù)一個規(guī)定的原本，它將來自多個編碼階段的壓縮的目標數(shù)據(jù)與定義和控制數(shù)據(jù)復用在一起，并發(fā)送產生的數(shù)據(jù)流到播放機客戶機。播放機客戶機包括解碼引擎62，它解壓目標數(shù)據(jù)流并在發(fā)送它們到適當?shù)挠布敵鲅b置61之前修飾各種目標。
參照圖2，解碼引擎62對3個交叉的數(shù)據(jù)流執(zhí)行操作；壓縮數(shù)據(jù)包64、定義數(shù)據(jù)包66和目標控制包68。壓縮數(shù)據(jù)包64含有將由適當?shù)木幋a器/解碼器(‘編解碼器’)解碼的壓縮目標(例如，視頻)數(shù)據(jù)。在下面討論用于編碼和解碼視頻數(shù)據(jù)的方法。定義數(shù)據(jù)包66傳送用于翻譯壓縮的數(shù)據(jù)包64的媒體格式和其它信息。目標控制包68定義目標行為、修飾、動畫和交互參數(shù)。
圖3是表示面向目標多媒體播放機中數(shù)據(jù)處理三個階段的框圖。如所示，對面向目標數(shù)據(jù)施加分別的變換，經系統(tǒng)顯示器70和音頻子系統(tǒng)產生最后的音頻-視頻表示?！畡討B(tài)媒體組合’(DMC)處理76修改數(shù)據(jù)流的實際內容和發(fā)送它到解碼引擎62。在解碼引擎62中，正常解碼處理72提取壓縮的音頻和視頻數(shù)據(jù)，并發(fā)送它到修飾引擎74，在此施加其它的變換，包括對單個目標的修飾參數(shù)的幾何變換(例如，轉換)。每個變換通過插入到數(shù)據(jù)流中的各個參數(shù)單個地進行控制。
最后2個變換的每個的特殊性質取決于動態(tài)媒體組合處理76的輸出，因為這個輸出確定傳送到解碼引擎62的數(shù)據(jù)流的內容。例如，動態(tài)媒體組合處理76可以插入特定視頻目標到比特流中。在這種情況下，除了視頻數(shù)據(jù)將被解碼外，數(shù)據(jù)比特流將含有用于解碼處理72和修飾引擎74的配置參數(shù)。
面向目標比特流數(shù)據(jù)格式允許不同種類媒體目標之間的無縫集成，支持用戶與這些目標的交互，并且能對顯示場景中的內容，無論來自遠端服務器的還是接入本地存儲內容的都可以進行編程控制。
圖4是表示面向目標多媒體數(shù)據(jù)文件中的各個目標類型的分層的示意圖。該數(shù)據(jù)格式按如下定義了各個實體的分層可以包含一個或多個場景81的面向目標數(shù)據(jù)文件80。每個場景可以包含一個或多個含有一個或多個獨立同時的媒體目標52的流82。媒體目標52可以是諸如視頻83、音頻84、文本85、矢量圖象(GRAF)86、音樂87或這樣一些單元的組合89的單一媒體單元89。在單一場景中，上述各個媒體類型的每個的多個例子可以與其它媒體類型同時發(fā)生。每個目標52可以含有包封在各個數(shù)據(jù)包中的一個或多個幀88。在場景81中，當出現(xiàn)多于一個媒體目標52時，交叉每個包。單一媒體目標52完整地自包含實體，該實體具有虛擬地非相關性。包含一個或多個定義包66、接著的數(shù)據(jù)包64和任何控制包68的各個包序列被定義為都具有相同目標識別號。數(shù)據(jù)文件中的所有包具有相同的首端信息(基本首端)，該信息規(guī)定了對應于在包中的數(shù)據(jù)類型、在序列中該包的號和該包含有的數(shù)據(jù)量(包尺寸)的目標。在下面部分描述文件格式的細節(jié)。
與MPEG4系統(tǒng)的區(qū)別將是很明顯的。參照圖46，對于各個場景(BIFS)01a，MPEG4依賴于按二進制形式的集中參數(shù)場景描述，它是各節(jié)點的分層結構，這些節(jié)點可以含有各個目標和其它信息的屬性。從非常復雜的虛擬實體標記語言(VRML)語法直接借用BIFS 01a。在這種方法中，集中的BIFS結構01a實際上是場景本身在面向目標視頻中是基本成分，不是目標本身。視頻目標數(shù)據(jù)可以被規(guī)定使用在場景中，但是不能用作定義場景本身。這樣，例如一個新的視頻目標不能被引入到一個場景中，除非BIFS結構01a首次被修改為包括參考該視頻數(shù)據(jù)的一個節(jié)點。BIFS還不直接參考任何目標數(shù)據(jù)流，代之以稱為目標描述符01b的中間獨立裝置在BIFS 01a節(jié)點中的任何OBJ ID與含有視頻數(shù)據(jù)的單元數(shù)據(jù)流01c之間映射。因此，MPEG方法中，這3個分別的實體01a、01b、01c的每個是互相依賴的，使得如果一個目標流被復制到另外的文件中，則它丟失任何交互性能和與其相關的任何其它控制信息。因為MPEG 4不是目標中心的，它的各個數(shù)據(jù)包被稱為原子，具有包括任何類型和包尺寸信息的公共首端，但沒有目標識別符。
這里所描述的格式是非常簡單的，因為沒有定義是哪個場景的中心結構。代之以，場景是自含有的并且完全由存在于該場景的目標進行定義。每個目標也是自含有的，具有加上的規(guī)定目標的屬性和交互行為的任何控制信息。新的目標可以被復制到剛通過插入其數(shù)據(jù)到比特流中的一個場景中，為此引入所有目標控制信息以及其壓縮數(shù)據(jù)到該場景中。存在著各個媒體目標之間或各個場景之間的虛擬無相互依賴。這種方法降低了復雜性和復雜的BIF方法相關的存儲及處理的額外開銷。
在視頻數(shù)據(jù)的下載和播放的情況下，允許交互，諸如選擇哪個角色出現(xiàn)在場景中能力的多媒體數(shù)據(jù)的面向目標操縱，輸入數(shù)據(jù)不包括具有單‘角色’目標的單一場景，而是可以根據(jù)用戶的輸入進行選擇或“組合入”在運行時間所顯示的場景中的每個場景中的一個或多個可供選擇的目標數(shù)據(jù)流。因為在運行時間之前不知道場景的組合，不可能交叉正確目標數(shù)據(jù)流到場景中。
圖5是表示數(shù)據(jù)文件中的典型包序列的圖。存儲的場景81包括多個獨立可選擇的流82、為動態(tài)媒體組合處理的侯選物的每個“角色”目標52，參照圖3。在場景81中僅第一流82含有多于一個(交叉的)的媒體目標52。場景81中的第一流82定義場景結構、組成的各目標及其行為。在場景81中的附加流82含有任選的目標數(shù)據(jù)流52。在每個場景81的開始設置流的目錄59，使能隨機地訪問每個獨立的流82。
在該比特流能夠支持先進的交互視頻能力和動態(tài)媒體組合的同時，它還支持3個實現(xiàn)級別、提供各種功能級別。這些是
1.消極媒體單目標、非交互播放機
2.交互媒體單目標、有限交互的播放機
3.面向目標積極媒體多目標、全交互播放機
該最簡單的實現(xiàn)提供具有單一媒體情況并且沒有交互性的消極收視經歷。這是一種傳統(tǒng)的媒體播放機，在這種播放機中用戶限于播放、暫停和停止正常視頻或音頻的重放。
下一個實現(xiàn)級別通過允許定位行為的各熱區(qū)定義增加了交互支持消極媒體。這是通過產生具有有限目標控制功能的矢量圖形目標提供的。因此，雖然它可能依然這樣出現(xiàn)在用戶面前，但該系統(tǒng)不再是一個照字面意義的單一目標系統(tǒng)。除了主媒體目標看來是透明的外，可點擊矢量圖形目標也是允許的其它目標類型。這允許產生簡單的交互經歷，諸如非線性導航等等。
最后實現(xiàn)的級別定義了不限制多目標和全目標控制功能的使用，包括動畫、條件事件等，并且利用在這種結構中的所有成分的實現(xiàn)。實際上，這種級別與前面級別之間的區(qū)別可能僅在于裝飾上。
圖6是表示在面向目標多媒體系統(tǒng)中的客戶機與服務器成分之間的信息流(或比特流)的圖。該比特流支持客戶機側與服務器側之間的交互。客戶機側的交互是經定義的動作集支持的，這些動作可能通過用戶經歷產生修改的各個目標調用，但這里表示為目標控制包68。服務器側交互支持是用戶交互，表示在這里的是的用戶控制包69，經返回信道從客戶機20中繼到遠端服務器21，并且對在線用戶在動態(tài)媒體組合的形式上起支配地位地提供服務/內容補充的調解。因此，處理比特流的交互媒體播放機具有客戶機-服務器結構?？蛻魴C20響應于從服務器21發(fā)送給它的解碼的壓縮數(shù)據(jù)包64、定義包66和目標控制包68。附加地，客戶機20可響應于目標同步，施加修飾變換、組成最后的顯示輸出、管理用戶的輸入和傳送用戶控制返回到服務器21。服務器21可響應于來自正確源(各個源)的管理、讀出、和分析部分比特流，根據(jù)來自客戶機20的用戶的具有適當控制指令的輸入構成復合比特流，并且傳送該比特流到客戶機20，用于解碼和修飾。表示在圖3的部分76的這種服務器側的動態(tài)媒體組合允許媒體的內容根據(jù)用戶的交互或按存儲的源程序預定義的設置被實時地組合。
當播放返回數(shù)據(jù)本地存儲時，并還當數(shù)據(jù)是來自服務器21的碼流時，媒體播放機支持服務器側和客戶機側兩者的交互性/功能性。因為執(zhí)行DMC和管理源的服務器部分21的可響應性，在本地重放的情況下，服務器是與客戶機20共同在一個位置上的，雖然在碼流情況下是在遠端位置上的。在客戶機20訪問來自本地和遠端位置的源/服務器21數(shù)據(jù)的情況下，還支持混合操作。交互客戶機
圖7是表示面向目標多媒體播放機客戶機20的主要部分的框圖。面向目標多媒體播放機客戶機20能接收和解碼由服務器21發(fā)送并由圖3的DMC處理76產生的數(shù)據(jù)。面向目標多媒體播放機客戶機20還包括多個執(zhí)行解碼處理的部分。與編碼處理比較，解碼處理的步驟是非常簡單的，并且可以完全在諸如Palm Pilot IIIc或智能電話之類的低功率移動計算裝置中由軟件編輯執(zhí)行。輸入數(shù)據(jù)緩沖器30被用于保持從服務器21輸入的數(shù)據(jù)，直至全部包已經被接收或讀出。然后，直接或經由解密單元34，數(shù)據(jù)被傳送到輸入數(shù)據(jù)交換/去復用器32。輸入數(shù)據(jù)交換/去復用器32確定要求哪個子處理器33、38、40、42解碼該數(shù)據(jù)，并且然后根據(jù)執(zhí)行子處理的包類型，傳送該數(shù)據(jù)到正確的部件。獨立的部件33、38和42分別執(zhí)行矢量圖形、視頻和音頻解碼。解碼器中的視頻和音頻解碼模塊38和42獨立地解壓任何發(fā)送給它們的數(shù)據(jù)并且在暫時緩沖器中執(zhí)行初步的修飾。目標管理部分40提取對于控制視頻場景使用的目標行為和修飾信息。視頻顯示部分44在從矢量圖形解碼器33、視頻解碼器38和目標管理部分40接收的數(shù)據(jù)的基礎上修飾視頻目標。音頻播放部分46在從音頻解碼和目標管理部分40接收數(shù)據(jù)的基礎上產生音頻。以后用戶輸入/控制部分48產生指令并控制由顯示和重放部分44和46產生的視頻和音頻。以后用戶控制部分48還發(fā)送控制消息返回到服務器21。
圖8是表示面向目標多媒體播放機客戶機20的各個功能部分的框圖，包括如下
1.用于主數(shù)據(jù)路徑的具有任選目標存儲器39的解碼器43(圖7的多個部分33、38和42的組合)
2.修飾引擎(圖7的部分44和46)
3.交互管理引擎41(圖7的部分40和48)
4.目標控制40路徑(圖7的部分40的一部分)
5.輸入數(shù)據(jù)緩沖器30和輸入數(shù)據(jù)交換/去復用器32
6.任選數(shù)字權限管理(DRM)引擎45
7.持久本地目標庫75
通過客戶機系統(tǒng)20有兩個主要的數(shù)據(jù)流。來自服務器21或持續(xù)本地目標庫75的壓縮的目標數(shù)據(jù)52被傳送到客戶機輸入緩沖器30。輸入數(shù)據(jù)交換/去復用器32分裂經緩沖的壓縮目標數(shù)據(jù)52為壓縮數(shù)據(jù)包64、定義包66和目標控制包68。壓縮數(shù)據(jù)包64和定義包66根據(jù)在包首端所識別的包類型被分別擇徑到適當?shù)慕獯a器43。目標控制包68被發(fā)送到目標控制部分40進行解碼。另外一種方案，如果目標控制包被接收規(guī)定了庫更新信息，則壓縮數(shù)據(jù)包64、定義包66和目標控制包68可以從輸入數(shù)據(jù)交換/去復用器32進行擇徑到用于持久本地存儲的目標庫75。對于每個媒體目標和每個媒體類型，存在一個解碼器43和一個目標存儲器39。因此不僅存在對于每個媒體類型的不同解碼器43，而且如果在場景中有3個視頻目標，則將存在3個視頻解碼器43的情況。每個解碼器43接收發(fā)送給它的適當壓縮數(shù)據(jù)包64和定義包66并且在目標數(shù)據(jù)存儲器39中緩沖解碼數(shù)據(jù)。每個目標存儲器39可響應于與修飾引擎74相連接的每個媒體目標的同步管理，如果解碼滯后于(視頻)幀更新速率，然后指令解碼器43適當卸下各個幀。由修飾引擎74讀出目標存儲器39中的數(shù)據(jù)，組成最后顯示的場景。對目標存儲器39的讀和寫的訪問是異步的，以便解碼器43可以僅以低速率更新目標存儲器39，同時修飾引擎74可以以較快的速率讀出數(shù)據(jù)，或者反之亦然，這取決于全面媒體同步請求。修飾引擎74從每個目標存儲器39讀出數(shù)據(jù)并且根據(jù)來自交互管理引擎41的修飾信息組成最后的顯示場景和聲音場景兩者。這種處理的結果是通過系統(tǒng)圖形用戶接口73處理的一系列位映像，將被顯示在顯示裝置70上和一系列音頻樣值，將被傳送到系統(tǒng)的音頻裝置72。
第二數(shù)據(jù)浪通過客戶機系統(tǒng)20經圖形用戶接口73從用戶以用戶事件47的形式輸入到交互管理引擎41，在這里該用戶事件被分裂，它們的某些部分以修飾參數(shù)的形式被傳送到修飾引擎74，并且其余部分作為用戶控制包69通過返回信道被傳送回到服務器21，服務器21利用這些數(shù)據(jù)控制動態(tài)媒體組合引擎76。為了判斷在哪里或者是否用戶事件被傳送到系統(tǒng)的其它部分，交互管理引擎41可以要求修飾引擎74執(zhí)行命中測試。交互管理引擎41的操作由接收從服務器21發(fā)送的指令(目標控制包68)的目標控制部分40進行控制，該指令定義交互管理引擎41如何翻譯來自圖形用戶接口73的用戶事件47，和哪個動畫和交互行為是與單個媒體目標相關。交互管理引擎41負責控制修飾引擎74進行修飾變換。另外，交互管理引擎41負責控制目標庫75，擇徑庫目標到達輸入數(shù)據(jù)交換/去復用器32。
修飾引擎74具有如圖10所示的4個主要部分。位映像編排器35從視頻目標存儲緩沖器53讀出各個位映像并編排它們到最后顯示的場景屏面71。矢量圖形原始掃描變換器36修飾來自矢量圖象解碼器的矢量圖形顯示表54為顯示場景屏面71。音頻混合器37讀音頻目標存儲器55并在傳送的結果到音頻裝置72之前混合音頻數(shù)據(jù)。讀出各種目標存儲緩沖器53到55的的序列以及如何將其內容變換為顯示場景屏面71通過來自交互管理引擎41的修飾參數(shù)56確定。可能的變換包括Z-序、3D取向、位置、比例、透明度、顏色和音量。為了加速修飾處理，可以不需要修飾整個顯示場景，而僅修飾其一部分。修飾引擎的第4個主要部分是命中測試器31，它按照交互管理引擎41的用戶事件控制器41c的控制下，對用戶筆事件執(zhí)行目標命中測試。
當用戶通過點擊或拖動一個可拖的目標選擇一個鍵時，和當更新動畫時，每當按照同步信息從服務器21接收視頻數(shù)據(jù)的情況下，顯示場景應當進行修飾。為了修飾場景，可以編排到畫面外緩沖器(顯示場景屏面71)，并然后移到輸出裝置70。目標修飾/位映像組合處理表示在從步驟s101開始的圖9中。維持包含一個指針的表，指示含有各個視頻目標的每個媒體目標存儲。在步驟s102按照Z序存儲該表。接下來，在步驟s103，位映像組合器得到具有最低Z序的媒體目標。如果在步驟s104，再沒有別的目標進行組合，則在步驟s118，結束視頻目標的修飾處理。否則，始終處于第一目標的情況下，在步驟s105，從目標緩沖器讀出解碼的位映像。在步驟s106，如果存在目標修飾控制，則在步驟s107設置屏幕位置、取向和比例。具體地，目標修飾控制定義適當2/3D幾何變換，確定映射到哪個座標的目標像素。在步驟s108，從目標緩沖器讀出第一像素，并且如果在步驟S109有更多像素處理，則在步驟s110，從目標緩沖器讀出下一個像素。在目標緩沖器中的每個像素被單個地進行處理。在步驟S111，如果像素是透明的(像素值是0xFE)，則修飾處理忽略該像素并且返回到步驟s109開始處理目標緩沖器中的下一個像素。否則，在步驟s112，如果該像素未改變(像素值是0xFF)，則在步驟s113，背景色像素被移到顯示場景屏面。但是，在步驟s114，如果像素既不透明又不是未改變，并且不能進行α混合，則在步驟s115，目標色像素被移到顯示場景屏面。在步驟s114，如果能進行α混合，則執(zhí)行α混合組合處理，對目標設置定義的透明度級別。但是，不像傳統(tǒng)α混合處理，需要分別對位映像中的每個像素編碼混合系數(shù)，這種方法不使用α信道。代之以，在實際位映像表示中，使用單個α值規(guī)定與插入透明范圍指示相關的的整個位映像的不透明度。因此，當在步驟s116計算新的α混合目標像素色時，在步驟s117，該目標像素色被移到顯示場景屏面。這終止對每個單獨像素的處理，因此控制返回到步驟s109，以開始目標緩沖器中新的像素的處理。在步驟s109，如果沒有像素仍將被處理，則處理返回到步驟s104，開始處理器下一個目標。位映像編排器35讀按照與每個媒體目標相關的Z序序列存儲的每個視頻目標，并且復制它到顯示場景屏面71。如果沒有Z序已被明確地分配給各個目標，對于一個目標的Z序值可以取與object ID相同的值。如果兩個目標具有相同Z序，則它們被移到上階目標ID的序。
如所述，位映像編排器35使用視頻幀可以具有的3個區(qū)類型將修飾色像素的區(qū)域、將使透明的區(qū)域和保持不變的區(qū)域。色像素被適當?shù)卅粱旌系斤@示場景屏面71，并且未改變的像素被忽略，使得顯示場景屏面71不受影響。透明像素迫使對應背景顯示場景將被刷新。當正在討論的目標的像素與某些其它目標的像素重疊時，通過簡單地什么也不要作，就可以執(zhí)行這種操作，但是如果該像素正在通過場景背景被直接移動，則該像素需要被設置為場景背景色。
如果目標存儲器含有顯示表代替位映像，則對顯示表中的每個座標施加幾何變換，并且在顯示表中規(guī)定的圖形基本要素的掃描變換期間執(zhí)行α混合。
參照圖10，位映像編排器35支持具有不同色分辨率的顯示場景屏面，并管理具有不同比特深度的位映像。如果顯示場景屏面71具有15、16或24比特的深度，和位映像是映射8比特圖象的色，則位映像編排器35從位映像中讀出每個色索引值，在與特定目標存儲器相關的色圖中查尋該色，并且以正確形式寫該色的紅、綠和蘭分量到顯示場景屏面71。如果該位映像是連續(xù)色調圖象，位映像編排器35簡單地復制每個像素的色值到顯示場景屏面71的正確位置。如果顯示場景屏面71具有8比特深度和色查尋表，則取決于顯示的目標數(shù)適當?shù)娜≈?。如果僅一個視頻目標被顯示，則它的色圖直接被復制到顯示場景屏面71的色圖。如果存在多個視頻目標，則顯示場景屏面71將被建立一個通用色圖，并且設置在顯示場景屏面71中的像素值將最接近地匹配于由位映像中的索引值指示的色。
當用戶在屏幕上通過比較筆事件位置座標與每個顯示的目標，已經選擇一個視頻目標時，修飾引擎74的命中測試部分31負責評估。如圖10所示，由交互管理引擎41的用戶事件控制器41c請求這種“命中測試”并且使用由位映像編排器35和矢量圖象基本要素掃描變換器36部分提供的目標位置和變換信息。命中測試部分31對每個目標施加筆事件位置的反向幾何變換，并且按產生的反向變換座標的結果評估該位映像的透明度。如果該評估是真，則寄存一個命中，并且該結果返回到交互管理引擎41的用戶事件控制器41c。
修飾引擎的音頻混合器部分37以循環(huán)的方式讀存儲在相關音頻目標存儲器中的每個音頻幀，并根據(jù)由交互引擎提供的修飾參數(shù)56混合該音頻數(shù)據(jù)，獲得組合幀。例如，用于音頻混合的修飾參數(shù)可以包括音量控制。然后，音頻混合部分37傳送混合的音頻數(shù)據(jù)到音頻輸出裝置72。
圖8的目標控制部分40基本上是一個編解碼器，它從交換/去復用器輸入的流中讀編碼的目標控制包和發(fā)指示控制的指令到交互管理引擎41。控制指令可以被發(fā)出，改變單個目標或系統(tǒng)寬度的屬性。這些控制是寬范圍的，并包括修飾參數(shù)、動畫路徑的定義、產生條件事件、控制包含從目標庫75插入各目標的媒體播放序列、分配超鏈路、設置定時器、設置和復位系統(tǒng)狀態(tài)寄存器等，并且定義用戶激活的目標行為。
交互引擎41管理多個不同的處理；圖13的流程表示交互客戶機在執(zhí)行交互面向目標視頻中的主要步驟。處理在步驟s201開始。在步驟s202，從圖8的目標存儲器39或者圖8的目標控制部分40的輸入數(shù)據(jù)源讀出數(shù)據(jù)包和控制包。在步驟s203，如果包是數(shù)據(jù)包，則在步驟s204進行幀解碼和緩沖。但是，如果包是目標控制包，則在步驟s206，交互引擎41對目標加適當?shù)膭幼?。然后，在步驟s205對目標進行修飾。在步驟S207，如果沒有用戶與目標進行交互(即，沒有用戶點擊目標)，并且在步驟s208沒有目標等待動作，則處理返回步驟s202，并在步驟s202從輸入數(shù)據(jù)源讀出新的包。但是，在步驟s208如果目標等待動作，或者沒有用戶交互，但在步驟s209目標附有動作，在步驟s210對動作條件進行測試，并且如果條件滿足，則在步驟S211執(zhí)行該動作。否則，在步驟S202從輸入數(shù)據(jù)源讀出下一個包。
交互引擎41不預測行為交互引擎41可以執(zhí)行或響應的所有動作和條件是由目標控制包68定義的，如圖8所示。交互引擎41可以無條件地立即執(zhí)行預定動作(諸如到達場景中的最后視頻幀時跳回到場景的開始)，或者延遲執(zhí)行直至某些系統(tǒng)條件被滿足(諸如定時器事件)，或者它可以按規(guī)定的行為響應用戶的輸入(諸如點擊或拖一個目標)，這種響應可以是無條件的或者是從屬于系統(tǒng)條件的?？赡艿膭幼靼ㄐ揎棇傩宰兓?、動畫、循環(huán)地和非連續(xù)播放序列、跳到超鏈路、顯示的目標流被可能來自持久本地目標庫75的另外目標取代的動態(tài)媒體組合、和當規(guī)定條件或用戶事件變真時調用的其它系統(tǒng)行為。
交互引擎41包括3個主要部分交互控制部分41a、等待動作管理器41d、和動畫管理器41b，如圖11所示。動畫管理器41b包括交互控制部分41a和動畫路徑插補器(interpolator)/動畫表41b，并存儲當前進行中的所有動畫。對每個動作動畫，在由目標控制邏輯63規(guī)定的間隔，該管理器內插發(fā)送到修飾引擎74的修飾參數(shù)56。當一個動畫已經完成時，被從動畫表41b的動作的動畫表中去除，除非它被定義為循環(huán)動畫。等待動作管理器41d包括交互控制部分41d和等待動作表41d，并存儲將施加到條件變真的所有目標控制動作。交互控制部分41a有規(guī)律地輪詢等待動作管理器41d并評估與每個等待動作相關的條件。如果滿足對一個動作的條件，則交互控制部分41a將執(zhí)行該動作并且從等待動作表41d中將其清除，除非該動作已經變定義為目標行為，在這種情況下它仍然在等待動作表41d上用于將來進一步執(zhí)行。對于條件評估，交互管理引擎41使用條件評估器41f和狀態(tài)標志寄存器41e。交互控制部分41a更新狀態(tài)標志寄存器41e，并保持一組用戶可定義系統(tǒng)標志。條件評估器41f在每個目標的基礎上按交互控制部分41a發(fā)的指令執(zhí)行條件評估，比較當前系統(tǒng)狀態(tài)和狀態(tài)標志寄存器41e中的系統(tǒng)標志，并且如果適當?shù)南到y(tǒng)標志被設置，則條件評估器41f通知交互控制部分41a該條件是真，并且將執(zhí)行該動作。如果該客戶機是離線的(即，沒有連接到遠端服務器上)，則交互控制部分41a保持執(zhí)行的所有交互動作的記錄(用戶事件等)。這些是暫時存儲在歷史/形式存儲器41d，并且當該客戶機在線時利用用戶控制包69發(fā)送到服務器。
目標控制包68并因此目標控制邏輯63可以設置許多用戶可定義系統(tǒng)標志。這些標志用于允許系統(tǒng)具有其當前狀態(tài)的存儲器，并且這些標志被存儲在狀態(tài)標志寄存器41e中。例如，當重放視頻中的某場景或幀時，或當用戶與一個目標交互時，可以設置這些標志之一。利用用戶事件控制器41c從圖形用戶接口73接收輸入的用戶事件47監(jiān)視用戶交互。另外，用戶事件控制器41c可以請求修飾引擎74利用修飾引擎的命中測試器31執(zhí)行‘命中測試’。一般，對諸如用戶筆點擊/選擇之類的用戶筆事件請求命中測試。用戶事件控制器41c傳送用戶事件到交互控制部分41a。然后，這可以用于確定在下一個非線性視頻中播放哪個場景，或者在一個場景中修飾哪些目標。在電子商務應用中，用戶可以拖一個或多個圖符到購物籃目標中。然后，這將寄存想要的購買。當點擊購物籃時，視頻將跳到檢驗場景，在那里顯示拖到購物籃中的所有目標，允許用戶確認或刪除項目。分別的視頻目標可以被用作按鈕，指示用戶希望寄存的購買單或者刪除它。
目標控制包68并因此目標控制邏輯63可以包含滿足任何要執(zhí)行的規(guī)定動作的條件，這些條件是由條件評估器41f進行評估的。這些條件可以包括系統(tǒng)狀態(tài)、本地或碼流重放、系統(tǒng)事件、規(guī)定的用戶與目標的交互等。一個條件可以具有等待標志設置，指示該條件當前不滿足，然后等待直至滿足。等待標志經常用于等待諸如用戶筆出現(xiàn)之類的用戶事件。當滿足一個等待動作時，從與一個目標相關的等待動作表41d中去除。如果設置目標控制包68的行為標志，則在等待動作表41d中將保持一個目標的動作，即使在該目標已經執(zhí)行以后。
目標控制包68并因此目標控制邏輯63可以規(guī)定影響另外的目標的動作。在這種情況下，條件將對在基本首端規(guī)定的目標上被滿足，而該動作是在其它目標上執(zhí)行的。目標控制邏輯可以規(guī)定被傳送到目標庫75的目標庫控制58。例如，具有用戶對要求的目標的點擊事件的條件，并由用戶事件控制器41c結合命中測試器31進行評估，并且系統(tǒng)在執(zhí)行該指令之前將等待其變?yōu)檎?，目標控制邏?3可以規(guī)定將與動畫一起執(zhí)行的跳躍動作(超鏈路)。在這種情況下，動作或控制將在等待動作表41d中等待，直至它被執(zhí)行并然后它將被去除。例如，類似這種控制可以與視頻中由角色穿著的一雙運動鞋相聯(lián)系，這樣當用戶點擊它們時，鞋子可以圍繞場景移動并在用戶改變視頻幾秒鐘之前以在線操作提供出售鞋子信息和鞋子的購買或出價的機會。
圖12表示多目標交互視頻場景的組成。最后場景90包括背景視頻目標91、3個任意構形“信道改變”視頻目標92、和3個“信道”視頻目標93a、93b、93c。目標可以利用用戶點擊事件的條件，通過分配“行為”、“跳躍”和“其它”特性的控制，定義為“信道改變”92。這種控制被存儲在等待動作表41d，直至場景發(fā)生的結束并且只要被點擊將使得DMC改變場景90的組成。在這個說明中“信道改變”目標將顯示正在顯示在其它信道的內容的縮小形式。
目標控制包68并因此目標控制邏輯63可以具有動畫標志設置，指示將跟隨的多命令而不是單命令(諸如，移動到)。如果動畫標志不能設置，則只要條件滿足，動作就執(zhí)行。隨著經常修飾變化的發(fā)生，顯示場景也將被更新。不像大多數(shù)修飾動作是由用戶事件47或目標控制邏輯63驅動的，動畫將迫使修飾自更新。動畫進行更新以后，并如果整個動畫完成，則動畫將從動畫表41b中去掉。動畫路徑插補器41b確定動畫當前位于哪兩個控制點之間。沿著動畫已在兩個控制點之間(‘中間’值)傳播率的這個信息用于內插相關的修飾參數(shù)56。該中間值被表示為根據(jù)分子與分母的比
X＝x[開始]+(x[結束]-x[開始])*分子/分母
如果動畫被設置為循環(huán)，則動畫的開始時間被設置為動畫結束時的當前時間，使得更新以后也不被去掉。
客戶機支持如下高級別用戶交互的類型點擊、拖、重疊、和移動。一個目標可以具有與其相關的按鈕圖象，當筆保持在一個目標之上時，這個圖象被顯示。如果筆壓向一個目標并在規(guī)定像素上移動時，則該目標被拖動(只要拖動沒有被目標或場景保護)。拖動實際上移動了筆下的目標。當筆被釋放時，該目標被移動動新的位置，除非移動被目標或場景保護。如果移動被保護，當筆被釋放時，拖動的目標移回原始位置?？梢詫崿F(xiàn)拖動，使得用戶可以下拉在其它各目標的頂上的目標(例如，拖一個項到購物籃)中。如果筆被釋放，同時該筆還在其它目標之上，則這些目標被通知為與所拖目標的重疊事件。
通過目標控制包68在透明或深度上，各目標可以從點擊、移動、拖動、或改變進行保護。在目標控制包68中的PROTECT(保護)命令可以具有單個的目標范圍或系統(tǒng)范圍。如果具有系統(tǒng)范圍，則所有目標受到PROTECT命令的影響。系統(tǒng)范圍保護超越目標范圍保護。
JUMPTO(跳躍)命令具有4種變量。一種變量允許跳躍到由超鏈路規(guī)定的另外的文件中新規(guī)定場景。另一種允許利用來自由超鏈路規(guī)定的分別的文件或場景的另外媒體目標替代在當前場景中的當前播放的媒體目標流，和另外兩個變量允許跳到相同文件中新的場景或利用由目錄索引規(guī)定的相同場景中另外目標替代播放媒體目標。每個變量可以利用或不利用目標映射進行調用。另外，JUMPTO命令可以利用來自本地持久目標庫75存儲的媒體目標取代當前播放媒體目標流。
雖然大多數(shù)交互控制功能可以由客戶機20利用修飾引擎74結合交互管理器41進行處理，但某些控制例可能需要按較低級別進行處理，并被傳回到服務器21。這包括用于非線性導航的命令，以便跳到超鏈路和動態(tài)場景組合，除指令來自目標庫75的目標插入的命令外。
圖8的目標庫75是持久的本地媒體目標庫。通過稱為目標庫控制包的特殊的目標控制包68和具有目標庫模型字段設置的場景定義包66，各個目標可以插入或從這個庫去除。目標庫控制包定義將對目標執(zhí)行的動作，包括；插入、更新、拖動和查詢目標庫。如果定義適當目標庫動作(例如插入或更新)，輸入數(shù)據(jù)交換/去復用32可以擇徑壓縮數(shù)據(jù)包52直接到目標庫75。如圖48的框圖所示，每個目標被作為分別的流存儲在目標庫數(shù)據(jù)存儲器75g，該庫不支持多交叉目標，因為尋址是根據(jù)流號碼的庫ID的。因此，庫可以包含高達200個分別的用戶目標，并且目標庫可以利用特定場景號(例如250)進行參考。該庫還支持達55個系統(tǒng)目標，諸如缺省按鈕、檢查框、形式等。該庫支持垃圾收集，諸如在某個時間周期以后一個目標可能被設置為過期的，此時該目標被從庫中清除出。對于每個目標/流，包含在目標庫控制包中的信息由客戶機20存儲，含有用于流/目標的附加信息，包括庫id 75a、版本信息75b、目標持續(xù)信息75c、訪問限制信息75d、唯一目標識別符75e和其它狀態(tài)信息75f。該目標流附加地包括壓縮目標數(shù)據(jù)52。目標庫75可以按照目標控制部分40的操縱，由圖8的交互管理引擎41進行查詢。這是通過對庫75中的所有目標連續(xù)讀出和比較目標識別符值找出與饋送的搜索密鑰的匹配值實現(xiàn)的。庫查詢結果75i被返回到交互管理引擎41，進行處理或者發(fā)送到服務器21。目標庫管理器75h負責管理與該目標庫的所有交互。服務器軟件
服務器系統(tǒng)21的目的是(i)產生正確數(shù)據(jù)流，用于客戶機進行解碼和修飾；(ii)通過包括TDMA、FDMA、或CDMA系統(tǒng)的無線信道可靠地發(fā)送所述數(shù)據(jù)到客戶機；和(iii)處理用戶交互。數(shù)據(jù)流的內容是動態(tài)媒體組合處理76和由非線性媒體導航施加的非連續(xù)訪問請求的函數(shù)?？蛻魴C20和服務器21兩者包括在DMC處理76中。組合數(shù)據(jù)流的源數(shù)據(jù)可以來自單一源或來自多個源。在單一源的情況下，該源應當包含對組成最后數(shù)據(jù)流所要求的所有任選數(shù)據(jù)成分。因此，這個源可能包含不同場景的庫，和將被用于組合的各種媒體目標的多個數(shù)據(jù)流。因為這些媒體目標可以被同時組合入一個場景，對服務器21的這部分提供先進的非連續(xù)訪問能力，從每個媒體目標流中選擇合適的數(shù)據(jù)部分，以便交叉它們到最后的組合數(shù)據(jù)流中發(fā)送到客戶機20。在多源的情況下，將被用于組合的不同媒體目標的每個可以具有單個的源。具有按分別源的一個場景的各個組成目標減輕服務器21的復雜訪問請求，因為雖然存在著多個源進行管理，但每個源僅需要順序地進行訪問。
支持兩種源的情況。對于下載和播放功能來說，最好是傳送含有打包內容的一個文件，而不是多個數(shù)據(jù)文件。對于流的播放，最好是保持各個源的獨立，因為這樣允許在組合處理中的更多靈活性并訂制諸如定標用戶的廣告之類的特殊用戶需要。分別源的情況還降低服務器設備的負荷，因為所有文件的訪問有順序的。
圖14是播放本地存儲文件的交互媒體播放機的本地服務器部分的框圖。如圖14所示，獨立的播放機需要本地客戶機系統(tǒng)20和本地單一源服務器系統(tǒng)23。
如圖15所示，碼流播放機需要本地客戶機20和遠端多源服務器24。但是，播放機還能同時播放本地文件和碼流內容，這樣客戶機系統(tǒng)20還能從本地服務器和遠端服務器兩者同時接收數(shù)據(jù)。本地服務器23或者遠端服務器24可以構成服務器21。
參照具有圖14的消極媒體播放機的最簡單的情況，本地服務器23打開面向目標數(shù)據(jù)文件80和連續(xù)地讀它的內容，傳送數(shù)據(jù)64到客戶機20。當按用戶控制包68執(zhí)行用戶命令時，文件的讀操作可以從它的當前位置上停止、暫停、和繼續(xù)，或者可以從面向目標數(shù)據(jù)文件80的開始端重新開始。服務器23執(zhí)行2個功能訪問面向目標數(shù)據(jù)文件80和控制這種訪問。這些可以被綜合到復用器/數(shù)據(jù)源管理器25和動態(tài)媒體組合引擎76中。
在具有本地視頻重放和動態(tài)媒體組合的更先進的情況中(圖14)，對于客戶機不可能只順序地讀具有復用目標的一個預定流，因為當產生面向目標數(shù)據(jù)文件80時，復用流的內容是不知道的。因此，面向目標數(shù)據(jù)文件80包括用于連續(xù)存儲的每個場景的多個流。本地服務器23隨機地訪問一個場景中的每個流并選擇將要發(fā)送到客戶機20用于修飾的需要的目標。另外，持久目標庫75由客戶機20進行維護并且當在線時可以從遠端服務器進行管理。這被用作存儲公共下載的各個目標，諸如用于形成檢查框圖象。
圖14的數(shù)據(jù)源管理器/復用器25隨機地訪問面向目標數(shù)據(jù)文件80，從該各種流中讀出數(shù)據(jù)和控制包，用于組成顯示場景，并且復用這些在一起產生客戶機20用于修飾組成的場景的復合包流64。一個流純粹是概念上的，因為沒有一個流的指示開始的包。但是，存在一個流結束的包，劃分流邊界的界線，如圖5的53所示。一般，在一個場景中的第一流含有場景中各個目標的描述。該場景中的目標控制包可以改變一個特定目標到不同流的源數(shù)據(jù)。然后，當執(zhí)行本地重放時，服務器23需要從一個面向目標數(shù)據(jù)文件80中同時讀出多于一個的流。并不是產生分別的線索，而是可以產生一個陣列或鏈接的流表。數(shù)據(jù)源管理器/復用器25以循環(huán)的方式從每個流中讀出一個包。至少，每個流需要存儲在文件中的當前位置和一個參考目標的表。
在這種情況下，當從客戶機20接收到用戶控制信息68時，圖14的動態(tài)媒體組合引擎76選擇將被組合在一起的各個目標的正確的組合，并保證根據(jù)由復用器/數(shù)據(jù)源管理器25提供給動態(tài)媒體組合引擎76目錄信息，復用器/數(shù)據(jù)源管理器25知道到哪里找到這些目標。這還可以要求一種目標映射功能，映射具有運行時間目標識別符的存儲目標識別符，因為取決于組合它們可以不同。典型的情況是，這可能發(fā)生在文件80中的多個場景可能希望共享一個特定視頻或音頻目標時。因為一個文件可以含有多個場景，這可以通過在特定“庫”場景中存儲共享的內容來實現(xiàn)。在一個場景中的各個目標具有從0-200范圍的目標ID，并且每次遇到新場景定義包，沒有目標的場景被復位。每個包含有基本首端，規(guī)定包的類型以及參考目標的目標ID。254的目標ID代表場景，而255的目標ID代表文件。當多個場景共享一個目標數(shù)據(jù)流時，并不知道哪個目標ID將已被分配給不同的場景，因此，不可能在共享目標流中預選目標ID，可能這些ID已經在一個場景中被分配了。解決這個問題的一種方法是在一個文件中具有唯一ID，但這樣增加了存儲空間并且使得管理稀少目標ID更困難。這個問題是通過允許每個場景使用它自己的目標ID解決的并且當來自一個場景的包指示跳到另一個場景時，它規(guī)定來自每個場景ID之間的目標映射。當從新的場景讀出各個包時，該映射被用于轉換該目標ID。
期望目標映射信息將在與JUMPTO命令相同的包中。如果這個信息是不可用的，則該命令被簡單地忽略。目標映射可以由兩個陣列表示一個用于將在流中遇到的源目標ID，和另一個用于目的目標ID，這個ID是將由源目標ID變換的。在當前流中如果存在目標映射，則新的映射的目的ID利用當前流的目標映射陣列進行變換。如果在包中不規(guī)定目標映射，則新的流繼承當前流(它可能是零)的目標映射。在一個流中的所有目標ID應當進行變換。例如，諸如基本首端ID、其他ID、按鈕ID、copyFrame(復制幀)ID、和重疊ID的各個參數(shù)應當都被變換為目的目標ID。
在遠端服務器情況，如圖15所示，該服務器是與客戶機遠離的，這樣數(shù)據(jù)64將發(fā)碼流到客戶機。媒體播放機客戶機20被設計為解碼從服務器24接收的各個包并發(fā)回用戶操作68到服務器。在這種情況下，遠端服務器24負責響應用戶操作(如點擊一個目標)，并且修改正在發(fā)到客戶機的包流64。在這種情況下，每個場景含有單一復用流(由一個或多個目標組成)。
在這種情況下，根據(jù)客戶機請求，服務器24通過復用多個目標數(shù)據(jù)流實時地組成各個場景，以構成一個單一復用包流64(對于任何規(guī)定場景)，該流被碼流發(fā)到該客戶機用于重放。這種結構允許根據(jù)用戶的交互，使正在重放的媒體內容進行改變。例如，兩個視頻目標可以進行同時重放。當用戶點擊或選擇一個時，其改變?yōu)椴煌哪繕?，同時另一個視頻目標仍然不變。每個視頻可以來自不同的源，使得服務器打開各個源和交叉比特流兩者，增加適當?shù)目刂菩畔⒉魉托陆M成的流到客戶機。服務器的責任是在碼流發(fā)到客戶機之前適當修改該流。
圖15是遠端碼流服務器24的框圖。如所示，類似于本地服務器，遠端服務器24具有2個主要功能部分數(shù)據(jù)流管理器26和動態(tài)媒體合成引擎76。但是，智能復用器27可以例如從多個數(shù)據(jù)流管理器26提取輸入，每個具有單一數(shù)據(jù)源并來自動態(tài)媒體組合引擎76，而不是來自具有多輸入的單一管理器。連同從各個源被復用在一起的目標數(shù)據(jù)包，智能復用器27插入附加各個控制包到包流中，以控制組成的場景中的各個組成目標的修飾。遠端數(shù)據(jù)流管理器26也是比較簡單的，僅執(zhí)行順序訪問。此外，遠端服務器包括XML分析器28，能夠通過IAVML源程序(script)29可編程地控制動態(tài)媒體組合。遠端服務器還從服務器操作員數(shù)據(jù)庫19接收多個輸入，進一步控制和訂制動態(tài)媒體組合處理76?？赡艿妮斎氚刻斓臅r間、每周的星期幾、每年的天、客戶機的地理位置，和用戶的人口統(tǒng)計數(shù)據(jù)，諸如性別、年齡、任何存儲的用戶概況等。這些輸入可以利用IAVML源程序作為變量以有條件地表達式而實現(xiàn)。遠端服務器24還負責傳送諸如目標選擇之類的用戶交互信息并形成數(shù)據(jù)返回到服務器操作員數(shù)據(jù)庫19，用于以后接著的處理，諸如數(shù)據(jù)小型化等等。
如圖15所示，DMC引擎76接收3個輸入和提供3個輸出。輸入包括以XML為基礎的源程序、用戶輸入和數(shù)據(jù)庫信息。XML源程序被用于通過規(guī)定如何組成正在碼流發(fā)到客戶機20的場景控制DMC引擎76的操作。組合是通過來自用戶與在當前場景中的各目標的交互的可能而傳遞，或來自分別的數(shù)據(jù)庫的輸入而傳遞的，這些當前場景中的目標具有加在上面的DMC控制操作。這個數(shù)據(jù)庫可以含有涉及日期時間、客戶機的地理位置、或用戶概況的信息。該源程序可以根據(jù)這些輸入的任何組合控制動態(tài)組合處理。這是通過指令數(shù)據(jù)流管理器打開到DMC操作的連接和讀出DMC操作所需的適當目標數(shù)據(jù)請求，由DMC處理執(zhí)行的，它還指令智能復用器修改它的從數(shù)據(jù)流管理器接收的各目標包的交叉，并且指令DMC引擎76實現(xiàn)一個場景中的目標的去除、插入或替代。DMC引擎76還根據(jù)對每個在源程序中的目標控制規(guī)定，選擇性地產生和加控制信息到各目標上，并且提供這個信息到智能復用器，用于作為目標的一部分發(fā)碼流到客戶機20。因此，由DMC引擎76執(zhí)行所有處理并且沒有工作由客戶機20執(zhí)行，而不是根據(jù)由任何目標控制信息提供的參數(shù)修飾自含目標。DMC引擎76能夠交替一個場景中的各個目標和視頻中的各個場景兩者。
與這種處理不同MPEG4要求執(zhí)行相似功能。這種處理不利用源程序語言，而依賴BIFS。因此，場景的任何修改都要求如下分別的修改/插入操作(i)BIFS、(ii)目標描述符、(iii)目標構形信息、和(iv)視頻目標數(shù)據(jù)包。BIFS必須在客戶機中利用特定的BIFS-命令協(xié)議進行更新。因為MPEG4具有分別的而不互相依賴的數(shù)據(jù)部分定義一個場景，在組成成分中的改變不能通過簡單地復用各目標數(shù)據(jù)包(有或沒有控制信息)到一個包流實現(xiàn)，而要求遠端操縱BIFS、數(shù)據(jù)包的復用和構形信息、和新的目標描述符包的產生和傳送。另外，如果對MPEG4目標要求先進的交互功能，分別寫的Java程序被發(fā)送到BIFS，用于由客戶機執(zhí)行，這樣明顯加重處理的額外開銷。
如圖16所示的流程圖描述了本地客戶機執(zhí)行動態(tài)媒體組合(DMC)操作。在步驟s301，客戶機DMC處理開始并立即開始提供目標組合信息到數(shù)據(jù)流管理器、簡化多目標視頻重放，如步驟s302所示。DMC檢查用戶命令表和其它各多媒體目標的可用性，保證視頻仍然在播放(步驟s303)；如果沒有更多數(shù)據(jù)或用戶已經停止視頻重放，則客戶機DMC處理結束(步驟s309)。在步驟s303，如果視頻重放繼續(xù)，則DMC處理將瀏覽啟動DMC動作的用戶命令表和目標控制數(shù)據(jù)。如步驟s304所示，如果沒有被啟動的動作，則處理返回步驟s302并且視頻重放繼續(xù)。但是，如果在步驟s304已經啟動DMC動作，則DMC處理檢查對象多媒體目標的位置，如步驟s305所示。如果對象目標本地存儲，則本地服務器ADMC處理發(fā)送指令到本地數(shù)據(jù)源管理器，從本地源端出修改的目標流，如步驟s306所示，然后處理返回步驟s304檢查進一步啟動的DMC動作。如果對象目標存儲在遠端，則MDC處理發(fā)送適當?shù)腄MC指令到遠端服務器，如步驟s308所示。另外一種方案，DMC動作可以請求來源于本地和遠端兩者的對象目標，如步驟s307所示，因此適當?shù)腄MC動作由本地DMC處理執(zhí)行(步驟s306)，并且DMC指令被發(fā)送到遠端服務器來處理(步驟s308)。從這種討論中清楚看出，本地服務器支持混合、多目標視頻重放，其中源數(shù)據(jù)是從本地和遠端兩者傳送的。
利用如圖17所示的流程圖描述動態(tài)媒體組合引擎76的操作。在步驟s401開始DMC處理，并且在步驟s402進入等待狀態(tài)，直至接收到DMC請求。在接收到一個請求以后，在步驟s403、s404和s405，DMC引擎76查詢請求類型。如果在步驟s403該請求被確定為目標替換動作，則存在兩個對象目標，一個動作對象目標和一個新的對象目標將被加到流中。首先，在步驟s406指令數(shù)據(jù)流管理器從復用的比特流中刪除動作對象目標包，并停止從存儲器中讀動作對象目標流。其次，在步驟s408指令數(shù)據(jù)流管理器從存儲器中讀新的對象目標流，并且交叉這些包到發(fā)送的復用比特流中。然后，在步驟s402，DMC引擎76返回其等待狀態(tài)。如果在步驟s403請求不是目標替換動作，在步驟s404如果動作類型是目標去除動作，則是動作對象目標的一個對象目標存在。在步驟s407處理目標去除動作，在該步驟指令數(shù)據(jù)流管理器從復用比特流中刪除動作對象目標包，并停止從存儲器中讀動作對象目標流。然后，在步驟s402，DMC引擎76返回等待狀態(tài)。在步驟s404，如果請求的動作不是目標去除動作，在步驟s405如果動作是目標加入動作，則是新的對象目標的一個對象目標存在。在步驟408處理目標加入動作，在該步驟指令數(shù)據(jù)流管理器從存儲器讀新的對象目標流，并且交叉這些包到發(fā)送的復用比特流中。然后，在步驟s402，DMC引擎76返回等待狀態(tài)。最后，請求的DMC動作不是目標替換動作(在步驟s403)、或不是目標去除動作(在步驟s404)、或不是目標加入動作(在步驟s405)，則在步驟s402，DMC引擎76忽略請求并返回等待狀態(tài)。視頻解碼器
存儲、發(fā)送和處理未加工的視頻數(shù)據(jù)是低效率的，這樣計算機視頻系統(tǒng)通常編碼視頻數(shù)據(jù)為壓縮格式。下面這部分是描述如何將視頻數(shù)據(jù)編碼為有效的壓縮形式。這部分描述負責從壓縮的視頻數(shù)據(jù)流中產生視頻數(shù)據(jù)的視頻解碼器。該視頻編解碼器支持任意構形的視頻目標。它利用3個信息分量表示每個視頻幀一個色圖、一個樹形編碼位映像、和一個運動矢量表。該色圖是在幀中使用的所有的色的表，該表是按分配給紅、綠和蘭每個分量的8比特的具有24比特的精度。通過它們的索引這些色被引入到色圖中。位映像被用于定義許多部分，包括在顯示時將被修飾的幀中的各個像素的色、將被作成透明的幀的區(qū)域、和將不改變的幀的區(qū)域。在編碼幀中的每個像素可以分配給這些功能之一。通過它的值定義一個像素起到這些功能中的哪個的作用。例如，如果使用8比特色表示，則色值0xFF可以被分配給指示對應于場景上的像素，它從其當前值是不改變的，并且色值0xFE可以被分配給指示對應于場景上的該目標將是透明的像素。編碼的幀像素色值指示它是透明的一個場景的情況下，屏上像素的最后色取決于背景場景色和任何在下面的視頻目標。下面描述對于這些分量的每個使用的構成編碼視頻幀的具體編碼。
通過首先發(fā)送一個整數(shù)值到比特流以指示接著的表項目號來編碼色表。將要發(fā)送的每個表項目然后由首先發(fā)送的其索引進行編碼。接著，對每個色分量(Rf、Gf和Bf)發(fā)送1比特標志，指示如果該標志是ON(通)，則色分量被全字節(jié)發(fā)送，并且如果該標志是OFF(斷)，則將發(fā)送代表色分量的高序半字節(jié)(4比特)和低序半字節(jié)設置為0。因此，按照下列圖形對表項目進行編碼，其中括號中的數(shù)或C語言指示發(fā)送的比特數(shù)R(Rf？84)、G(Gf？84)、B(Bf？84)。
運動矢量按照一個陣列進行編碼。首先，發(fā)送按16位值的陣列中的各運動矢量的號，接著是宏塊的尺寸，然后是運動矢量的陣列。陣列中的每個項目含有宏塊位置和塊的運動矢量。運動矢量按2個帶符號的矢量的每個水平和垂直分量之一的半字節(jié)進行編碼。
利用預定樹遍歷方法編碼實際視頻幀數(shù)據(jù)。在樹的葉上存在兩個類型透明葉和區(qū)域色葉。透明葉指示由葉表示的屏上顯示區(qū)是不變的，而色葉將強迫屏上區(qū)為由葉規(guī)定的色。根據(jù)這3個功能，可以按照事先的描述分配任何編碼的像素，透明葉將對應于0xFF的色值，而表示屏上區(qū)被強迫為透明的具有0xFE值的像素被處理為正常區(qū)色的葉。該編碼器在樹的頂端開始并在每個節(jié)點存儲單一比特，指示是否該節(jié)點是一個葉或一個父體。如果是葉，這個比特值設置為ON(通)，并且發(fā)送另外的單一比特，指示是否該區(qū)是透明的(OFF)，否則接著另一個比特標志設置為ON，指示是否該葉的色作為一個索引被發(fā)送到FIFO緩沖器或者作為實際索引發(fā)送到色圖。如果這個標志被設置為OFF，則兩個比特的碼字作為FIFO緩沖器的各項目之一的索引被發(fā)送。如果標志ON，則這指示在FIFO中未找到葉色，并且實際色值被發(fā)送并且還插入到FIFO，推出存在的各項目之一。如果該樹節(jié)點是父節(jié)點，則存儲一個單一OFF比特，并且然后利用相同方法，4個子節(jié)點的每個單個地進行存儲。當編碼器到達樹的最低級別時，則所有節(jié)點是葉節(jié)點并且不使用葉/父體指示比特，代之以存儲第一葉色碼字接著的透明比特。比特圖形的發(fā)送可以被表示為如下。使用如下的各個符號節(jié)點類型(N)、透明(T)、FIFO預測色(P)、色值(C)、FIFP索引(F)
N(1)…off→N(1)[…]，N(1)[…]，N(1)[…]，N(1)[…]
\…on→T(1)…off
\…on→P(1)…off→F(2)
\…on→C(x)
圖49是表示視頻幀解碼處理一個實施例的之一步驟的流程圖。對壓縮比特流的視頻幀解碼處理在步驟s2201開始。在步驟s2202從比特流中讀出壓縮比特流中用于物理地分開各種信息分量的層識別符。如果層識別符指示運動矢量數(shù)據(jù)層開始，則步驟s2203前進到s2204，從比特流中讀出和解碼運動矢量，并且執(zhí)行移動補償。運動矢量被用于從以前緩沖的幀中將指示的宏塊復制到葉該矢量指示的新位置。當移動補償處理完成時，在步驟s2202從比特流讀出下一層指示符。如果該層指示符指示4元樹數(shù)據(jù)層開始，步驟s2205前進到步驟s2206，并且利用讀出的葉色處理啟動FIFO緩沖器。接下來，在步驟s2207，從壓縮比特流中讀出4元樹的深度，并用于啟動該4元樹的4個側面。在步驟S2208，壓縮的位映像4元樹現(xiàn)在被解碼。由于4元樹的數(shù)據(jù)被解碼，根據(jù)葉值修改幀中的區(qū)域值。它們可能被用新的色重寫、設置透明、或保持不變。當4元樹數(shù)據(jù)被解碼時，在步驟s2202，解碼處理從壓縮比特流中讀下一層識別符。如果該層指示色圖數(shù)據(jù)層開始，步驟s2209前進到步驟s2210，從壓縮比特流中讀出將被更新的色數(shù)。在步驟s2211如果存在一個或多個色更新，則在步驟s2212從壓縮比特流中讀出第一色圖索引值，并在步驟s2213從壓縮比特流中讀出色分量值。每個色更新又通過步驟s2211、s2212、和s2213讀出，直至所有色更新均已被執(zhí)行，此時步驟s2211前進到步驟s2202，從壓縮比特流中讀出新的層識別符。如果層識別符是一個數(shù)據(jù)結束識別符，步驟s2214前進到步驟s2215并結束視頻幀解碼處理。如果通過步驟s2203、s2205、s2209和s2214層識別符是未知的，則層識別符被忽略，并且處理返回s2202讀下一個層識別符。
圖50是表示具有底級別節(jié)點類型消除的4元樹解碼器主要步驟的流程圖。這個流程圖實現(xiàn)一種遞歸方法，對于處理的每個樹的象限遞歸地調用自身。4元樹解碼方法從步驟s2301開始，具有與識別將被解碼的象限的深度和位置相同的機制。在步驟s2302中，如果該象限是非底部象限，則在步驟s2307，從壓縮比特流中讀節(jié)點的類型。在步驟s2308，如果節(jié)點類型是父節(jié)點，則然后在步驟s2309對頂部左象限、在步驟s2310對頂部右象限、在步驟s2311對底部左象限、在步驟s2312對底部右象限，4個遞歸調用作出4元樹解碼處理，接著在步驟s2317該解碼處理的迭代結束。對每個象限的作出的遞歸調用的具體次序是任意的，但是，該次序與由編碼器執(zhí)行的4元樹去組合處理的次序是相同的。如果該節(jié)點類型是一個葉節(jié)點，處理從步驟s2308到s2313繼續(xù)，并從壓縮比特流中讀出葉類型值。在步驟s2314，如果該葉類型值指示一個透明葉，則在步驟s2317，解碼處理結束。如果該葉是不透明的，則在步驟s2315從壓縮比特流中讀出葉色。在本說明書中，葉讀出色值功能使用FIFO緩沖器。接下來，在步驟s2316，該圖象樹被設置適當葉色值，這可能是背景目標色或按指示的葉色。在圖象更新完成以后，在步驟s2317，這次迭代4元樹解碼功能結束。遞歸調用4元樹解碼功能繼續(xù)，直至達到底層象限。在這一層不存在需要包括壓縮比特流中的父體/葉節(jié)點的指示符，因為在這一層的每個節(jié)點都是葉，因此步驟s2302前進到步驟s2303，并立即讀出葉類型值。如果在步驟s2304葉是不透明的，則在步驟s2305從壓縮比特流中讀出葉色值，并且在步驟s2306圖象象限色被適當更新。這種解碼處理的迭代在步驟s2317結束。4元樹解碼處理的遞歸處理實行繼續(xù)，直至壓縮比特流中的所有葉節(jié)點都已被解碼。
圖51表示讀4元樹葉色執(zhí)行的步驟，在步驟s2401開始。在步驟s2402從壓縮比特流中讀單一標志。這個標志指示該葉色是將從FIFO緩沖器還是直接從比特流讀出的。在步驟s2403如果葉色不是從FIFO讀出的，則葉色是在步驟s2404從壓縮比特流讀出的，并且在步驟s2405被存儲在FIFO緩沖器中。在FIFO中存儲的新讀出的色推出FIFO中最近加入的色。在更新FIFO后于步驟s2408，讀取葉色功能結束。然而，如果該葉的色已經被存儲在FIFO中，則在步驟s2406從壓縮比特流讀出FIFO索引碼字。在步驟s2407，根據(jù)當前讀出的碼字通過檢索FIFO確定該葉色。在步驟s2408結束讀出葉色的處理。視頻編碼器
到此為止，討論了針對預存在的視頻目標和含有視頻數(shù)據(jù)的文件的操作。以前的部分，描述了如何將壓縮的視頻數(shù)據(jù)進行解碼產生未加工的視頻數(shù)據(jù)。在這部分中，討論產生這種數(shù)據(jù)的處理。該系統(tǒng)被設計為支持多個不同編解碼器。這里描述兩個這樣的編解碼器，其它方案還可以用于包括MPEG族和H.261和H.263及其后繼版本。
該編碼器包括如圖18所示的各個主要部分。這些部分是按軟件實現(xiàn)的，但為了增加編碼器的速度，所有部件可以用特別開發(fā)執(zhí)行編碼處理的各個步驟的專用集成電路(ASIC)實現(xiàn)。音頻編碼部分12壓縮輸入音頻數(shù)據(jù)。根據(jù)ITU規(guī)范G.723或者IMA ADPCM編解碼器，音頻編碼部分12可以使用自適應增量脈沖編碼調制(ADPCM)。場景/目標控制數(shù)據(jù)部分14編碼與輸入音頻和視頻相關的場景動畫和表示參數(shù)，確定每個視頻目標的關系和行為。輸入色處理部分10接收和處理單個的輸入視頻幀并消除殘余和不希望的色。這種處理還從圖象中去掉不希望的噪聲?？梢赃x擇地，利用以前編碼幀作為基礎，對輸入色處理器10的輸出執(zhí)行移動補償。色差管理和同步部分16接收輸入色處理器10的輸出，并根據(jù)以前編碼幀作為基礎確定利用任選移動補償進行編碼。然后，輸出被提供到組合空間/時間編碼器18以壓縮視頻數(shù)據(jù)，并被提供到執(zhí)行反向功能的解碼器20用以在一個幀延遲24之后提供幀到移動補償部分11兩者。發(fā)送緩沖器22接收空間/時間編碼器18、音頻編碼部分12和控制數(shù)據(jù)部分14的輸出。發(fā)送緩沖器22經速率信息反饋到組合空間/時間編碼器18，通過交叉編碼數(shù)據(jù)和控制數(shù)據(jù)速率，管理來自裝在編碼器中的視頻服務器的發(fā)送。如果需要，編碼數(shù)據(jù)可以由用于傳輸?shù)募用懿糠?8進行加密。
圖19的流程圖描述編碼器執(zhí)行的主要步驟。視頻壓縮處理在s501開始，輸入幀壓縮環(huán)路(s502到s521)，并當在步驟s502輸入視頻數(shù)據(jù)流中沒有剩余視頻數(shù)據(jù)幀時，在步驟s522結束。在步驟s503取出來自輸入數(shù)據(jù)流的未加工視頻幀。此時，可能希望執(zhí)行空間過濾。執(zhí)行空間過濾以降低正在產生的視頻的比特率或總位數(shù)。但是空間過濾還降低保真度。如果在步驟s504確定執(zhí)行空間過濾，則在步驟s505計算當前輸入視頻幀與以前處理過的或重建過的視頻幀之間的色差幀。最好是執(zhí)行其中存在著運動的空間過濾，以及計算幀差的步驟指示存在著運動的，如果沒有差，則不存在運動，并且一個幀在各區(qū)域中的差指示這些區(qū)域的運動。接下來，在步驟s506，對輸入視頻幀執(zhí)行局部空間過濾。這種過濾是局部的，使得僅各幀之間有改變的圖象區(qū)被過濾。如果希望，也可以對I幀執(zhí)行空間過濾。這可以利用任何希望的技術進行，包括例如反向梯度過濾、中間過濾、和/或這兩種類型的組合過濾。在步驟s505中，如果希望對一個關鍵幀執(zhí)行空間過濾并且還計算幀差，則用于計算幀差的參考幀可以是一個空幀。
在步驟s507執(zhí)行色量化，從圖象去除統(tǒng)計上不重要的色。對于靜止圖象的色量化的一般處理是公知的?？梢允褂迷诒景l(fā)明中的色量化的舉例類型的所有技術包括但不限于描述在和援引于美國專利5432893和4654720的所有技術中，這些專利援引于此以資參考。還包含供參考的是在這些專利中援引和參考的所有文獻。關于步驟s507的色量化的進一步的信息參考圖20的單元10a、10b和10c進行說明。如果對這一幀執(zhí)行色圖更新，流程從步驟s508前進到步驟s509。為了實現(xiàn)高質量的圖象，色圖可以每幀被更新。但是，這樣可能導致太多信息要被傳輸，或者可能要求太多的處理。因此，替代更新每幀的色圖，色圖以每n幀被更新，其中n是等于或大于2的整數(shù)，最好是小于100，并更好是小于20。另一種方案是，色圖可以被平均每n幀更新，其中n不要求是一個整數(shù)，而可以是包括大于1和小于諸如100和更好是小于20的預定數(shù)的分數(shù)的任何值。這些數(shù)僅是示例性的并且，如果希望，按照需要色圖可以經?；虿唤洺５馗?。
當希望更新色圖時，在步驟s509執(zhí)行新色圖的選擇和與以前幀的色圖進行相關。當色圖改變或被更新時，則希望保持當前幀的色圖類似于以前幀的色圖，以便沒有使用不同色圖的各個幀之間的視覺上的不連續(xù)性。
如果在步驟s508沒有色圖(例如，不需要更新色圖)，則以前幀的色圖被選擇或使用于這一幀。在步驟s510，根據(jù)選擇的色圖，量化的輸入圖象色被重新映射為新的色。步驟s510對應于圖20的方框10d。接下來，在步驟s511執(zhí)行幀緩沖器交換。步驟s511的幀緩沖器交換促進更快和更高存儲器效率的編碼。作為幀緩沖器交換的實施例子，可以使用兩個幀緩沖器。當一個幀已經被處理時，用于這個幀的緩沖器被指定保持過去的幀，和一個在另外的緩沖器接收的新幀被指定為當前幀。這種幀緩沖器的交換允許有效的存儲器分配。
一個關鍵參考幀，也稱為參考幀或關鍵幀可以用作參考。如果步驟s512確定這個幀(當前幀)將被編碼為，或者指定為關鍵幀，則視頻壓縮處理直接到步驟s519，以編碼和發(fā)送該幀。一個視頻幀可以被編碼為關鍵幀，由于如下原因，包括(i)接著視頻定義包的視頻幀序列中的第一幀，(ii)該編碼器檢測視覺場景在視頻內容的變化，或(iii)用戶已經選擇將插入到視頻包流中的關鍵幀。如果該幀不是關鍵幀，在步驟s513視頻壓縮處理計算當前色圖索引的幀與以前重建色圖索引的幀之間的差幀。該差幀、以前重建的色圖的索引的幀、和當前色圖索引的幀被使用在步驟s514中，以產生運動矢量，在步驟s515該運動矢量又被使用于重排以前幀。
在步驟s516比較重排的以前幀和當前幀，產生有條件的補充圖象。如果在步驟s517能實現(xiàn)蘭屏透明，則s518將脫離落入蘭屏閾值的差幀的各區(qū)域。在步驟s519，現(xiàn)在該差幀被編碼和發(fā)送。步驟s519下面參照圖24將進一步說明。在步驟s520根據(jù)編碼比特流的尺寸建立比特速率控制參數(shù)。最后在步驟s521重建編碼幀，用于在步驟s502開始編碼下一個視頻幀。
圖18的輸入色處理部分10執(zhí)行統(tǒng)計上的不重要色的減少。選擇執(zhí)行這種色減少的色空間是不重要的，因為利用多個不同色空間的任何一個可以實現(xiàn)相同的結果。
如上所述，利用各種矢量量化技術可以實現(xiàn)統(tǒng)計上不重要色的減少，并且利用包括描述在作者為S.J.Wan，P.Prusinkiewicz，S.KM.Wong的出版物“Variance-Based Color Image Quantizationfor Frame Buffer Display”，(Color Research and Application，Vol.15，No.1，F(xiàn)eb 1990)中的普及的、中央分割的、k-最近似鄰近值的和方差方法的任何其它技術也可以實現(xiàn)，該出版物援引于此，以資參考。如圖20所示，這些方法可以利用一種初始統(tǒng)一或非自適應量化步驟10a通過減少矢量空間，改善矢量量化算法10b的性能。如果需要，方法的選擇是保持各個量化視頻幀之間的最高時間相關量。到這種處理的輸入是侯選視頻幀，并且通過分析個幀中的統(tǒng)計色分配使該處理繼續(xù)進行。在10c，選擇用于代表圖象的各個色。利用某些手工處理裝置或者個人數(shù)字幫助的現(xiàn)在可用的技術，同時顯示例如256色可能存在著限制。因此，10c可以用于選擇將用于代表圖象的256個不同色。矢量量化處理的輸出是一個表示整個幀10c的各個色的表，該幀可以在尺寸上進行限制。在普及方法的情況下，選擇最經常N個色。最后，原始幀中的每個色被重新映射10d到表示集中的各個色之一。
輸入色處理部分10的色管理部分10b、10c和10d管理視頻中的色變化。輸入色處理部分10產生含有一組顯示色的表。這組色隨時間動態(tài)地變化，規(guī)定處理是以每幀為基礎自適應的。這允許各個視頻幀的色成分不降低圖象質量地改變。選擇適當?shù)姆桨腹芾砩珗D的自適應是重要的。對于每個色圖存在3個不同的可能性可以是靜態(tài)的、分段和部分靜態(tài)的、或全動態(tài)的。利用固定或靜態(tài)的色圖，局部色質量將被降低，但保存幀間的高相關性，導致高的壓縮增益。為了保持在視頻場景可能經常變化情況中的高質量圖象，色圖應當能夠立即自適應。對每幀任選新的最佳色圖具有高的帶寬要求，因為不僅色圖要每幀更新，而且還有大量的像素每次應將需要重新映射。這種重新映射還引入色圖閃爍的問題。一種折中是僅允許在連續(xù)幀之間的有限的色變化。這可以通過分割色圖為靜態(tài)和動態(tài)部分，或者通過限制每幀允許變化的色數(shù)來實現(xiàn)。在第一種情況下，可以修改表的動態(tài)部分的項目，它保證某些預定義的色始終是可用的。在另外一種方案中，不保留各個色和可修改任何色。同時這種方法幫助保存某些數(shù)據(jù)相關性，色圖可能不能迅速地足以在某些情況下消除圖象質量惡化的自適應?，F(xiàn)存的各個方法折中圖象質量與保存幀間的圖象相關性。
對于任何這些動態(tài)色圖的方案，對保存時間上的相關性同步是重要的。這種同步處理具有3個部分
1.保證隨著時間從一幀轉到下一幀的色被映射到相同的索引。這涉及采用與當前色圖相關的每個新色。
2.一種替換方案被用于更新改變的色圖，降低色閃爍的量，最適合的方案是利用最相似的新替代色替代絕對色。
3.最后，在圖象中對不再受到支持的任何色的所有現(xiàn)存的參考由對當前支持色的參考替代。
接著圖18的輸入色處理10，視頻編碼器的下一個部分索引的各個色幀并任選地執(zhí)行運動補償11。如果不執(zhí)行運動補償，則來自幀緩沖器的24的以前幀不由運動補償部分11修改并直接傳送到色差管理和同步部分16。優(yōu)選的運動補償方法由分段視頻幀為小塊開始，并確定視頻幀中像素數(shù)需要補充或更新和超過某個閾值是不透明的所有塊。然后，對產生的像素塊執(zhí)行運動補償處理。首先，在該區(qū)的鄰近進行搜索，確定是否該區(qū)從以前幀已經被取代。對于執(zhí)行這種操作的傳統(tǒng)方法是計算參考區(qū)與侯選替換區(qū)之間的均方誤差(MSE)或和誤差平方和(SSE)度量。如圖22所示，可用利用一種窮舉搜索或多個其它現(xiàn)存搜索技術之一執(zhí)行這種處理，這些技術諸如2D對數(shù)11a、3步驟11b、或簡化的共扼方向搜索11c。這種搜索的目的是找到對該區(qū)的替代矢量，通常叫做運動矢量。傳統(tǒng)的度量不利用索引的/色映射圖象表示，因為這些方法依靠提供連續(xù)圖象表示的連續(xù)性和空間-時間相關性。利用索引表示，存在非常小的空間相關并且從一幀到一幀非逐漸地或連續(xù)地像素色改變，相反，改變是不連續(xù)地，按照色索引跳到新的色圖項目，反映像素色的變化。因此，單索引/像素變化色將引入對于MSE或SSE的大的變化，降低了這些度量的可靠性。因此，對于定位區(qū)替換的較好的度量是如果該區(qū)不透明以前幀與當前幀區(qū)比較的差最小的像素數(shù)。找到一旦運動矢量，根據(jù)運動矢量，通過從其在以前幀中的原始位置預測該區(qū)中的像素值。如果給出最小差的該矢量對應于非替換，該運動矢量可能是0。對于每個替換塊的運動矢量，連同其相關塊地址被編碼到輸出比特流。接著，色差管理器部分16計算運動補償以前幀與當前幀之間的感覺差。
色差管理器部分16負責計算當前的與以前幀之間的每個像素的感覺色差。這種感覺色差是根據(jù)對感覺色降低所描述的相似方法計算的。如果它們的色已經變化超過規(guī)定量，則更新像素。色差管理器部分16還負責清除圖象中所有無效色圖參考，并利用有效參考替換這些，產生一個有條件的補充圖象。當在色圖中較新的色替代老的色時，可能發(fā)生無效色圖參考。然后，這種信息被傳到視頻編碼處理中的空間/時間編碼部分18。這種信息指示在幀中哪個區(qū)是全透明的，并且哪個需要替換，并且在色圖中哪個色需要更新。幀中不更新的所有區(qū)由設置像素為已經選擇表示不更新的預定值予以識別。這個值的含義允許任意構形的視頻目標的產生。為了保證預測誤差不累積并不惡化圖象質量，使用環(huán)路過濾器。這強迫幀補充數(shù)據(jù)將從該出現(xiàn)的幀和累積的以前發(fā)送數(shù)據(jù)(解碼圖象的當前狀態(tài))來確定，而不是從出現(xiàn)的和以前的幀確定。圖21提供色差管理部分16的更詳細的圖。當前幀存儲器16a含有從輸入色處理部分10產生的圖象。以前幀存儲部分16b含有由1幀延遲部分14緩沖的幀，它可以有或者可以沒有由運動補償部分11進行的運動補償。色差管理部分16分為2個主要部分各個像素之間的感覺色差的計算16c，和無效色圖參考的清除16f。感覺色差相對于閾值16d進行評估，確定哪些像素需要更新，并且產生的像素被任選地過濾16e，以降低數(shù)據(jù)速率。從過濾空間過濾器16e和無效色圖參考16f的輸出形成最后更新的圖象16g，并且被發(fā)送到空間編碼器18。
這產生現(xiàn)在編碼有條件補充幀?？臻g編碼器18利用樹分裂方法，根據(jù)分裂的標準，遞歸地分割每個幀為較小的多邊形。如圖23所示使用4元樹分裂23d。在一個第0序插值的例子中，這試圖通過統(tǒng)一塊表示圖象23a，其值等于該圖象的整體平均值。在另外一個例子中，可以使用第一和第二序插值。在圖象的某個位置上，如果這個表示值與實際值之間的差超過某個容限的閾值，則該塊被遞歸地均勻地細分為2個或4個子區(qū)，并且對每個子區(qū)計算新的平均值。對于無損失地圖象編碼，不存在容限閾值。樹結構23d、23e、23f是由各個節(jié)點和各個指針組成的。其中每個節(jié)點表示一個區(qū)并含有對任何可能存在的代表子區(qū)的子節(jié)點的各個指針。有2個類型的節(jié)點葉23b和非葉23c節(jié)點。葉節(jié)點23b是不進一步分解并從而沒有子女的，代之以含有暗示區(qū)的值的這樣的節(jié)點。非葉節(jié)點23c不含有代表值，因為這些節(jié)點葉進一步由各個子區(qū)組成并且從而含有相應各個子節(jié)點的指針。這些節(jié)點也可以叫做父節(jié)點。動態(tài)位映像(色)編碼
單一視頻幀的實際編碼表示包括位映像、色圖、運動矢量和視頻增量數(shù)據(jù)。如圖24所示，視頻幀編碼處理從步驟s601開始。如果(s602)運動矢量經由運動補償處理產生，則在步驟s603對運動矢量編碼。如果因為以前的視頻幀(s604)色圖已改變，則在步驟s605編碼新的色圖項目。在步驟s606從位映像幀產生樹結構并在步驟s607進行編碼。如果(s608)視頻增量數(shù)據(jù)將進行編碼，則在步驟s609編碼增量數(shù)據(jù)。最后，在步驟s610結束視頻幀編碼處理。
實際4元樹視頻幀數(shù)據(jù)利用預排序樹遍歷方法(preordered treetraversal method)。樹中可能有2種類型的葉透明葉和區(qū)域有色葉。透明葉表示由葉指示的區(qū)從以前值不改變(這些不存在于視頻關鍵幀中)，并且色葉含有區(qū)色。圖26表示預定樹遍歷編碼方法，用于具有第0序插值和底層節(jié)點類型消除的正常預測的視頻幀。圖26的編碼器在步驟s801開始，在步驟s802初始地加4元樹層識別符到編碼的比特流上。在樹的頂部開始，步驟s803，編碼器得到初始節(jié)點。在步驟s804，如果節(jié)點的父節(jié)點，則在步驟s805，編碼器加一個父節(jié)點指示符(一個單0比特)到比特流中。接著，在步驟s806，從樹取下一個節(jié)點，并且編碼處理返回步驟s804，編碼樹中的接下來的各個節(jié)點。在步驟s804，如果節(jié)點不是父節(jié)點，即是葉節(jié)點，則在步驟s807編碼器檢查該節(jié)點在樹中的級別。在步驟s807，如果該節(jié)點不是樹的底部，則在步驟s808，編碼器即加一個葉節(jié)點標志(一個單一的1比特)到比特流中。在步驟s809，如果該葉區(qū)是透明的，則在步驟s810，透明葉標志(一個單0比特)被加到比特流中。否則，在步驟s811，一個不透明葉標志(單1比特)被加到比特流中。然后在步驟s812，不透明葉色被按如圖27所示編碼。但是，在步驟s807，如果葉節(jié)點是在樹的底部級別，則發(fā)生底部級別節(jié)點類型的消除，因為所有節(jié)點都是葉節(jié)點，并且沒有使用葉/父體指示比特，使得在步驟s813，4個標志都被加到比特流中，以指示在這個級別上的4個葉的每一個是透明的(0)或是不透明的(1)。接下來，在步驟s814，如果頂部的左葉是不透明的，則在步驟s815頂部的左葉的色被按如圖27所示編碼。在這個第二底部級別，每個葉節(jié)點重復步驟s814和s815的每一步，對于頂部右節(jié)點，如在步驟s816和s817所示，對于底部左節(jié)點，如在步驟s818和s819所示，對于底部右節(jié)點，如在步驟s820和s821所示。在葉節(jié)點被編碼以后(從步驟s810、s812、s820或s821)，在步驟s822，編碼器檢查在樹上是否還有剩余的節(jié)點。如果在樹上沒有剩余的節(jié)點，則在步驟s823編碼處理結束。否則，在步驟s806編碼處理繼續(xù)，在該步驟從樹上選擇下一個節(jié)點，并且從步驟s804對新的節(jié)點整個處理重新開始。
在視頻關鍵幀(沒有預測)的特殊情況下，如圖28所示，這些不具有透明的葉和使用稍不同的編碼方法。關鍵幀編碼處理從步驟s1001開始，在步驟s1002初始地加4元樹級別指示符到編碼的比特流中。在樹的頂部開始，步驟s1003，編碼器得到初始節(jié)點。在步驟s1004，如果該節(jié)點是父節(jié)點，則步驟s1005編碼器加父節(jié)點標志(單一0比特)到比特流中，接下來，在步驟s1006從樹取下一個節(jié)點，并返回步驟s1004的編碼處理，以編碼樹的下一個節(jié)點。但是，如果在步驟s1004該節(jié)點不是父節(jié)點，即是葉節(jié)點，則在步驟s1007編碼器檢查該節(jié)點在樹上的節(jié)點級別。在步驟s1007如果該節(jié)點大于樹的從底部一個級別，則在步驟s1008編碼器加一個葉節(jié)點標志(一個單一1比特)到比特流。然后，在步驟s1009按如圖27所示編碼不透明葉色。但是，在步驟s1007如果該葉節(jié)點是從樹的底部的一個級別，則出現(xiàn)底部級別節(jié)點類型消除，因為所有節(jié)點都是葉節(jié)點并且不使用葉父體指示比特。因此，在步驟s1010，頂部左葉色被按如圖27所示編碼。接下來，在步驟s1011、s1012和s1013，不透明葉色被分別類似于頂部右葉、底部的左葉和底部的右葉編碼。在葉節(jié)點被編碼(從步驟s1009或s1013)以后，在步驟s1014編碼器檢查是否還有節(jié)點在樹上。如果沒有節(jié)點在樹上，在步驟s1015編碼處理結束。否則，在步驟s1016編碼處理繼續(xù)，在該步驟從樹選擇下一個節(jié)點，并且對新的節(jié)點從步驟s1004整個處理重新開始。
利用FIFO緩沖器如圖27所示對不透明葉色進行編碼。葉色編碼處理從步驟S901開始。要編碼的色與已經在FIFO中的4個色比較。在步驟s902如果確定該色在FIFO緩沖器中，則在步驟s903單一FIFO查找標志(單一1比特)被加到比特流中，接著在步驟s904作為索引表示葉色的比特碼字進入FIFO緩沖器。這個碼字索引FIFO緩沖器中4個項目之一。例如，00、01和10的索引值分別規(guī)定該葉色與以前葉、此前的以前不同葉色、和此前的以前葉色相同。但是，在步驟s902如果待編碼的色是FIFO中不可用的，則在步驟s905發(fā)送的色標志(單一0比特)被加到比特流中，在步驟s906接著發(fā)送表示頂部實際色值的N比特。另外，該色被加到FIFO，推出現(xiàn)存的各個項目之一。然后，色葉編碼處理在步驟s907結束。
色圖被類似地壓縮。標準表示是按24比特發(fā)送每個索引，其中8比特規(guī)定紅分量值、8比特用于綠分量和8比特用于蘭分量。在壓縮格式中，單一比特標志指示是否每個色分量是按照全8比特值規(guī)定的，或者剛好頂部半字節(jié)與底部4比特設置為0。接著這個標志，分量值按照8或4比特根據(jù)該標志進行發(fā)送。圖25的流程圖描述利用8比特色圖索引的色圖編碼方法的一個實施例。在這個實施例中，在各個色分量之前，規(guī)定一個色的所有分量的色分量分辨率的單一比特標志被編碼。色圖更新處理在步驟s701開始。開始，在步驟s702色圖層識別符被加到比特流中，在步驟s703接著發(fā)送指示更新的色數(shù)。在步驟s704該處理檢查附加更新的色更新表，如果沒有另外的色更新要求編碼，則處理在步驟s717結束。但是，如果仍有色要編碼，則在步驟s705待更新的色表索引被加到比特流中。對于每個色一般存在多個分量(例如，紅、綠和蘭)，因此步驟s706形成圍繞步驟s707、s708、s709和s710的一個環(huán)路條件，分別處理每個分量。在步驟s707從數(shù)據(jù)緩沖器中讀出每個分量。接下來，在步驟s708如果該分量的低序半字節(jié)是0，則在步驟s709，一個off標志(單一0比特)被加到比特流中，或如果低序半字節(jié)不是0，則在步驟s710，一個on標志(單一1比特)被加到比特流中。處理通過返回步驟s706重復，直至沒有剩余色分量。接下來，在步驟s711從數(shù)據(jù)緩沖器再次輸出第一分量。同樣，步驟s712，形成圍繞步驟s713、s714、s715和s716的環(huán)路條件，分別處理每個分量。接下來，在步驟s712如果分量的低序半字節(jié)是0，則在步驟s713分量的高序半字節(jié)被加到比特流。另一種方案，如果低序半字節(jié)不是0，則步驟s714分量的8位色分量被加到比特流。在步驟s715如果還有色分量仍要相加，則在步驟s716從輸入數(shù)據(jù)流讀出下一個色分量，并且處理返回步驟s712處理這個分量。否則，在步驟s715如果沒有剩余分量，則色圖編碼處理返回步驟s704處理任何剩余色圖更新。備用編碼方法
在該備用編碼方法中，處理非常類似于如圖29所示的第一種方法，除了圖18的輸入色處理部分10不執(zhí)行色減少，如果需要的話，而代之以保證輸入色空間是按從RGB變換的YCbCr格式。沒有要求的色量化或色圖管理，因此圖19的步驟s507到s510被單一的色空間變換步驟取代，保證幀是按YCbCr色空間表示的。圖18的運動補償部分11對Y分量執(zhí)行“傳統(tǒng)”運動補償并存儲運動矢量。然后從利用來自Y分量的各運動矢量對Y、Cb、Cr分量每個的幀間編碼處理，產生有條件的補充圖象。然后，通過在每個方向的2個系數(shù)下取樣Cb和Cr位映像后，獨立壓縮3個結果的不同圖象。位映像的編碼使用一種類似的遞歸樹分解，但這次對不在樹底部的每個葉，存儲3個值，平均對于由該葉代表的區(qū)的位映像值，和水平和垂直方向的梯度。圖28的流程圖描述備用位映像編碼處理，從步驟s1101開始。在步驟s1102選擇編碼的圖象分量(Y、Cb或Cr)，然后在s1103選擇初始樹節(jié)點。在步驟s104，如果這個節(jié)點是父節(jié)點，則在步驟s1105將父節(jié)點標志(1比特)加到比特流中。然后在步驟s1106從樹選擇下一個節(jié)點，并且備用位映像編碼處理返回s1104。在步驟s1104如果新的節(jié)點不是父節(jié)點，則在步驟s1107確定樹的節(jié)點深度。在步驟s1107該節(jié)點不是樹的底部級別的節(jié)點，則利用非底部葉節(jié)點編碼方法編碼該節(jié)點，使得在步驟s1108將葉節(jié)點標志(1比特)加到比特流。接下來，在步驟s1109如果葉是透明的，則透明葉標志(1比特)被加到比特流。然而，如果葉是不透明的，則不透明葉標志(1比特)被加到比特流中，接下來在步驟S1112編碼葉色平均值。與第一種方法一樣，通過發(fā)送一個標志和按2比特的FIFO索引或者按8比特的平均值本身，該平均值利用FIFO編碼。在步驟s1113如果該區(qū)不是不可見背景區(qū)(用于任意構形視頻目標)，則在步驟s1114編碼葉水平和垂直梯度。利用平均值的特殊值，例如0xFF編碼不可見的背景區(qū)。按照4位量化值發(fā)送該梯度。但是，如果在S1117確定該葉節(jié)點是在樹的最底部級別，則通過發(fā)送位映像值和非父體/引導指示標志按以前的方法編碼對應的葉。與以前一樣利用單一比特標志編碼透明葉和色葉。在任意構形視頻的情況下，利用平均值的特殊值，例如0xFF，編碼不可見的背景區(qū)，并且在這種情況下，不發(fā)送梯度值。具體地，然后在步驟s1154個標志被加到比特流上，以指示是否在這個級別上的4個葉的每個是透明或者不透明的。接下來，在步驟s1116，如果頂部葉是不透明的，則在步驟s1117該頂部左葉色按照上述不透明葉色編碼進行編碼。對這個底部級別的每個葉節(jié)點重復步驟s1116和s1117的每個，如所示對頂部右節(jié)點重復步驟s1118和s1119的每個所示，對底部左節(jié)點重復步驟s1120和s1121的每個，對底部右節(jié)點重復步驟s1122和s1123的每個。完成葉節(jié)點編碼時，在步驟s1124編碼處理檢查樹的另外節(jié)點，如果沒有剩余節(jié)點編碼則在步驟s1125結束。另外一種情況下，在步驟S1106取下一個節(jié)點，并且處理在步驟S1104重新開始。在這種情況的重建包括利用第一、第二或第三序插值在由葉識別的每個區(qū)插入各個值并且然后組合對于Y、Cb和Cr分量每個的值，產生每個像素的24位RGB值。為了利用8位裝置，映射色的顯示、色的量化是在顯示前執(zhí)行的。色預量化數(shù)據(jù)的編碼
為了改善圖象的質量，與在前面描述的備用編碼方法一樣，可以使用第一或第二序插值編碼。在這種情況下，不僅對存儲的葉每個葉代表區(qū)的是平均色，而且還是每個葉的色梯度信息。然后利用二次方程或三次方程插值產生連續(xù)色調圖象執(zhí)行重建。當在裝置利用索引的色顯示連續(xù)顯示色圖象時，這可能產生一個問題。在這些情況下，需要下降到8位的量化輸出和按實時地索引是禁止的。如圖47所示，在這種情況下編碼器50可以執(zhí)行24位色數(shù)據(jù)02a的矢量量化02b，產生色預量化數(shù)據(jù)。如下所述，利用8元樹壓縮2c可以編碼色量化信息。這個壓縮的色預量化數(shù)據(jù)隨著編碼的連續(xù)色調圖象進行發(fā)送，通過施加預計算的色量化數(shù)據(jù)使得視頻解碼器/播放機38執(zhí)行實時色量化02d，因此產生可選8位索引的色視頻實時表示02e。當使用重建過濾產生將可以顯示在8位裝置上的24位結果時，還可以使用這種技術。這個問題通過發(fā)送少量信息到視頻解碼器38可以解決，該信息描述從24位色結果到8位色表的映射。這種處理描述在從步驟s1201開始的圖30的流程圖中，并且包括包含在客戶機中執(zhí)行實時色量化的預量化處理中的主要步驟。在步驟s1202視頻中的所有幀按照通過條件塊的指示被連續(xù)地處理。如果沒有剩余幀，則在步驟s1210預量化結束。否則在步驟s1203從輸入視頻流中取下一個視頻幀，并且然后在步驟s1204矢量預量化數(shù)據(jù)被編碼。接下來，在步驟s1205編碼/壓縮基于非索引的色視頻幀。壓縮/編碼的幀數(shù)據(jù)在步驟s1206被發(fā)送到客戶機，該數(shù)據(jù)在步驟s1207由客戶機接著解碼為全色視頻幀。在步驟s1208現(xiàn)在矢量預量化數(shù)據(jù)被用于矢量后量化，并且最后客戶機在步驟s1209修飾視頻幀。該處理返回步驟s1202處理接著的流中的視頻幀。矢量預量化數(shù)據(jù)包括尺寸為32×64×32的3維陣列，其中，陣列中各單元含有r、g、b座標的索引值。十分清楚，存儲和發(fā)送32×64×32＝65536索引值是在技術上不實際的大的額外開銷。解決辦法是按緊湊的表示編碼這個信息。一種方法是如圖30的從步驟s1301開始的流程圖所示，利用8元樹表示編碼這個3維索引陣列。圖47的編碼器50可以使用這個方法。在步驟s1302，從輸入源讀出3D數(shù)據(jù)集/視頻幀，使得Fj(r、g、b)代表RGB色空間中對于視頻幀中所有j像素的所有唯一色。接著在步驟s1303中選擇最代表3D數(shù)據(jù)集Fj(r、g、b)的N個編碼簿矢量Vi。在步驟s1304產生3D陣列t
。對于陣列t中的所有單元，在步驟s1305確定最接近碼本矢量Vi。在步驟s1306，用于每個單元的最接近編碼簿矢量被存儲在陣列中。在步驟s1307，如果以前的視頻幀已經被編碼，使得以前的陣列t存在，則步驟s1308確定當前與以前陣列t之間的差，接著在步驟s1309產生更新的陣列。然后，在步驟s1309更新陣列或者在步驟s1310利用有損耗8元樹方法編碼全陣列。這個方法取3D陣列(立方體)并且按類似于以4元樹為基礎的表示遞歸地分裂該陣列。因為矢量編碼簿(Vi)/色圖是自由地動態(tài)變化，這種映射信息還進行更新，逐幀地反映這個變化到色圖中。建議一種有條件補充方法，利用索引值255代表應該未變化座標映射和其它各個值代表3D映射陣列的更新值，執(zhí)行這種操作。類似空間編碼，該處理利用預排序8元樹遍歷方法編碼色空間映射到色表中。各個透明葉指示葉指示的色空間的區(qū)未變化并且索引葉含有由該單元的座標規(guī)定的色的色表索引。8元樹編碼器在樹的頂部開始并且如果該節(jié)點是葉的話對每個節(jié)點存儲單一的1比特，或如果是父體的話存儲0比特。如果是葉并且色空間區(qū)是不變的，則存儲另外單一的0比特，否則對應的色圖索引按照n比特碼字進行編碼。如果該節(jié)點是父節(jié)點并且曾存儲0比特，則8個子節(jié)點的每個被按所描述的遞歸地進行存儲。當編碼器達到樹的最低級別，則所有節(jié)點是葉節(jié)點并且不使用葉/父體指示比特，替代存儲接著色索引碼字的第一未變化比特。最后，在步驟s1311，編碼的8元樹被發(fā)送到解碼器用于后量化數(shù)據(jù)并且在步驟s1312代碼簿矢量Vi/色圖被發(fā)送到解碼器，因此在步驟s1313結束矢量預量化處理。解碼器執(zhí)行反向處理、矢量后量化，如圖30在步驟s1401開始的流程圖所示。在步驟S1402讀出壓縮的8元樹數(shù)據(jù)，并且解碼器再生在s1403來自編碼的8元樹的3D陣列，與描述過的2D 4元樹解碼處理一樣。然后，對于任何24位色值，對應的色索引可以通過簡單查找存儲在3D陣列最的索引值予以確定，正如在步驟s1404表示的。在步驟s1405矢量后量化處理結束。這種技術可以用于映射任何非靜止3D數(shù)據(jù)為單維數(shù)據(jù)。當矢量量化被用于選擇將被用于代表原始多維數(shù)據(jù)集的代碼簿時，一般這是應該要求。在哪個階段執(zhí)行處理矢量量化并不是問題。例如，我們可能直接4元樹接著VQ編碼24位數(shù)據(jù)，或者我們可能首先VQ數(shù)據(jù)并然后4元樹編碼結果，像我們在這里作的那樣。這種方法的最大優(yōu)點是在不同種的環(huán)境中，可以允許24位數(shù)據(jù)將被發(fā)送到如果能夠顯示24位數(shù)據(jù)的各個客戶機，但是如果不能顯示，則可以接收預量化數(shù)據(jù)并應用這個數(shù)據(jù)實現(xiàn)實時的24位源數(shù)據(jù)的高質量量化。
圖18的場景/目標控制數(shù)據(jù)部分14允許每個目標將與一個視頻數(shù)據(jù)流、一個音頻數(shù)據(jù)流和任何其它數(shù)據(jù)流相關。它還允許對每個目標的各種修飾和表達參數(shù)將被貫穿整個場景從此時到彼時動態(tài)地修改。這些包括目標的透明、目標的規(guī)格、目標的音量、目標在3D空間的位置、和目標在3D空間的取向(旋轉)。
壓縮的視頻和音頻數(shù)據(jù)現(xiàn)在被傳送或存儲，用于以后作為一系列數(shù)據(jù)包傳輸。存在著多個不同包類型。每個包包括一個公共基本首端和一個有效負荷?；臼锥俗R別包類型、包含有效負荷的包的總尺寸、它與哪個目標相關、和序列識別符。當前定義如下包的類型SCENEDEFN、VIDEODEFN、AUDIODEFN、TEXTDEFN、GRAFDEFN、VIDEODAT、VIDEOKEY、AUDIODAT、TEXTDAT、GRAFDAT、OBJCTRL、LINKCTRL、USERCTRL、METADATA、DIRECTORY、VIDEOENH、AUDIOENH、VIDEOEXTN、VIDEOTRP、STREAMEND、MUSICDEFN、FONTLIB、OBJLIBCTRL。如上所述，有3種主要類型的包定義、控制和數(shù)據(jù)包?？刂瓢?CTRL)被用于定義目標的修飾變換、動畫和將由目標控制引擎執(zhí)行的動作、交互目標的行為、動態(tài)媒體組合參數(shù)和任何上述執(zhí)行或應用的條件，這些定義是對于單個目標或者對于正在收視的整個場景的。數(shù)據(jù)包含有構成每個媒體目標的壓縮信息。格式定義包(DEFN)傳送配置參數(shù)到每個編解碼器，并且規(guī)定各個媒體目標的格式和如何翻譯相關的數(shù)據(jù)包兩者。場景定義包定義場景的格式、規(guī)定目標的數(shù)量、和定義其它場景的特性。USERCTRL包用于利用基干信道傳送用戶的交互和返回遠端服務器的數(shù)據(jù)，METADATA包含有關于視頻的元數(shù)據(jù)，DIRECTORY包含有幫助隨機接入比特流的信息，和STREAMEND包劃分流的邊界。接入控制和識別
面向目標視頻系統(tǒng)的另外的部分是加密/解密用于內容安全性的視頻流的裝置。通過利用RSA公共密鑰系統(tǒng)編碼，將執(zhí)行解密的密鑰被單獨和安全地傳送到終端用戶。
另外的安全措施包括通用的在編碼視頻流上加唯一商標/識別符。這種措施采取4種主要形式
a.在電視會議應用中，一個單一唯一識別符被施加到編碼視頻流的所有實例，
b.在每個視頻數(shù)據(jù)流中有多視頻目標的廣播視頻點播(VOD)中，每個單獨視頻目標具有用于特定視頻流的唯一識別符，
c.無線的、超薄客戶機系統(tǒng)具有唯一識別符，識別用于該無線超薄系統(tǒng)服務器編碼的編碼器類型，以及識別這種軟件編碼器的唯一實例。
d.無線超薄客戶機系統(tǒng)具有唯一識別符該客戶機解碼器實例，以便匹配以互聯(lián)網為基礎的用戶的狀況，確定該相連的客戶機用戶。
唯一地識別視頻目標與數(shù)據(jù)流的能力是特別有益的。在電視會議應用中，沒有實際需要監(jiān)視或記錄電話會議的視頻數(shù)據(jù)流，除了在有廣告內容出現(xiàn)的情況(唯一地按照VOD識別)外。客戶機側解碼器軟件記錄收視的解碼視頻流(識別符、持續(xù)期)。按照實時地或按照連續(xù)同步地，這個數(shù)據(jù)被傳送到以互聯(lián)網為基礎的服務器。這個信息被用于產生市場調查稅收流以及結合客戶機個人概況的市場調查/統(tǒng)計。
在VOD中，解碼器可以被限制解碼廣播流或僅有安全密鑰時才能使用。當訪問互聯(lián)網認證/接入/帳單服務提供商時，它提供使能解碼器授權付費的裝置，如果連接到互聯(lián)網實時地，或按裝置以前的同步，可以執(zhí)行操作使能。另外一種方案，可以對以收視的視頻流進行付費。在類似于廣告視頻流的電視會議中，隨著正在收視期間，解碼器記錄有關VOD的編碼視頻流。這個信息被傳送回互聯(lián)網服務器，用于市場調查/反饋和付費的目的。
在無線超薄客戶機(NetPC)應用中，通過加唯一識別符到編碼的視頻流中，實現(xiàn)來自互聯(lián)網或基于計算機服務器的別的地方的視頻流的實時編碼、傳輸和解碼?？蛻魴C側解碼器被使能，以便解碼視頻流?？蛻魴C側解碼器的使能發(fā)生在VOD應用的沿經授權付費的線路，或者通過安全加密密鑰處理，使能接入編碼視頻流的無線NetPC的各種級別。計算機服務器編碼軟件簡化多接入級別。在廣播形式中，無線互聯(lián)網包括從客戶機解碼器軟件反饋到計算機服務器，通過解碼器確認監(jiān)視客戶機連接的機制。這些計算機服務器監(jiān)視服務器應用處理的客戶機利用率和相應的變化，并且還監(jiān)視流向終端客戶機的廣告。交互音頻視頻標記語言(IAVML)
這個系統(tǒng)的強有力的部分是通過源程序控制音頻-視頻場景組成能力。利用源程序，通過源程序語言的限制強加于對組成功能的限制。在這種情況下使用的源程序語言是從XML標準得到的IAVML。IAVML是用于規(guī)定目標控制信息的文本形式，該目標控制信號是被編碼為壓縮的比特流。
在某些方面IAVML類似HTML，但是特別設計將用于面向目標多媒體時-空空間的，諸如音頻/視頻。它還可以被用于定義這些空間的邏輯和布局結構，包括分層，它還可以被用于定義鏈接、尋址并且還有元數(shù)據(jù)。這是通過允許提供描述和參考信息等的標記的5個基本類型實現(xiàn)的。這些是系統(tǒng)標記、結構定義標記、表示格式、和鏈路和內容。類似HTML，IAVML是情況不敏感的，并且每個標記進入打開和關閉形式，用于包封被進行注釋的文本的各部分。例如
<TAG>some text in here</TAG>
音頻-視頻空間的結構定義使用結構標記并包括如下
由這些結合目錄的標記和元數(shù)據(jù)標記定義的結構允許靈活地訪問和瀏覽面向目標的比特流。
音頻-視頻目標的布局定義使用基于目標控制的布局標記(修飾參數(shù))，以定義在任何給定場景中的各個目標的時空布局，并且包括如下的標記
音頻-視頻目標的表示定義使用表示標記定義目標的表示(格式定義)并包括如下標記目標行為和動作標記封裝目標控制并包括如下類型
文件中的超鏈路參考允許點擊目標調用定義的各動作。
利用具有BUTTON、OTHER和用OTHER參數(shù)定義的JUMPTO標記定義的多媒體目標可以產生簡單的視頻菜單，指示當前場景和指示新場景JUMPTO參數(shù)。通過定義OTHER參數(shù)指示背景視頻目標和JUMPTO參數(shù)指示替代視頻目標可以產生持久的菜單。通過放棄和使能單個的選擇，下面定義條件的變化可以用于定制這些菜單。
利用具有從2幀視頻目標產生的多個檢查框的場景可以產生寄存用戶選擇的簡單形式。對每個檢查框目標，定義JUMPTO和SETFLAG標記。JUMPTO標記用于當該目標被選擇或不被選擇的情況下，對于指示的該目標選擇顯示哪一幀圖象，并指示的系統(tǒng)標記寄存該選擇的狀態(tài)。利用BUTTON和SENDFORM定義的媒體目標可以用于返回該選擇到服務器，用于存儲或處理。
在可能有多個信道正在廣播或多點傳送的情況下，CHANNEL標記能使在單點傳送模型操作和廣播或多點傳送模型和返回之間轉換。
各個條件在它們在客戶機上執(zhí)行之前，可以被應用到行為和動作上(目標控制)。這些是利用<IF>或<SWITCH>標記產生條件表達式，按IAVML實現(xiàn)的?？蛻魴C的條件包括如下類型
控制動態(tài)媒體成分處理的可以應用到遠端服務器控制的條件包括如下類型
一般IAVML文件將有一個或多個場景和一個源程序。按如下方式每個場景定義為有確定的空間尺寸、缺省背景色和任選的背景目標
<SCENE＝“ sceneone”>
<SCENESIZE SX＝“320”、SY＝“240”>
<BACKCOLR＝“#RRGGBB”>
<VIDEODAT SRC＝“URL”>
<AUDIODAT SRC＝“URL”>
<TEXTDAT>這是一些文本串</a>
</SCENE>
另外一種方式，背景目標可以被事先定義并然后剛好在場景中表示
<OBJECT＝“backgrnd”>
<VIDEODAT SRC＝“URL”>
<AUDIODAT SRC＝“URL”>
<TEXTDAT>這是一些文本串</a>
<SCALE＝“2”>
<ROTATION＝“90”>
<POSITION＝XPOS＝“50”YPOS＝“100”>
</OBJECT>
<SCENE>
<SCENESIZE SX＝“320”，SY＝“240”>
<BACKCOLR＝“#RRGGBB”>
<OBJECT＝“backgrnd”>
</SCENE>
場景中可以含有任何數(shù)量的前景目標
<SCENE>
<SCENESIZE SX＝“320”，SY＝“240”>
<FORECOLR＝“#RRGGBB”>
<OBJECT＝“foregnd_object1”、PATH＝“somepath”>
<OBJECT＝“foregnd_object2”、PATH＝“someotherpath”>
<OBJECT＝“foregnd_object3”、PATH＝“anypath”>
</SCENE>
定義場景中每個動畫目標的路徑
<PATH＝“somepath”>
<TIME START＝“0”、END＝“100”>
<POSITION TIME＝START、XPOS＝“0”、YPOS＝“100”>
<POSITION TIME＝END、XPOS＝“0”、YPOS＝“100”>
<INTERPOLATION＝LINEAR>
</PATH>
利用IAVML，內容產生器可以文本地產生面向目標視頻的動畫源程序并且連續(xù)地定義動態(tài)媒體組合和修飾參數(shù)。產生IAVML文件以后，遠端服務器軟件處理IAVML源程序，產生可以插入傳送到媒體播放器的組成視頻流中的目標控制包。服務器還利用IAVML源程序內在地知道如何響應通過用戶交互從客戶機經用戶控制包返回傳遞的動態(tài)媒體組合的請求。碼流糾錯協(xié)議
在無線碼流的情況下，使用適合的網絡協(xié)議保證視頻數(shù)據(jù)被可靠地通過無線鏈路發(fā)送到遠端監(jiān)視器。這些可以被諸如TCP之類的連接，或者諸如UDP之類的無連接取向。協(xié)議的特性將取決于所使用的無線網的特性、帶寬、和信道特性。該協(xié)議執(zhí)行如下功能差錯控制、流量控制、分組化、連接建立、和鏈路管理。
有許多現(xiàn)存的為數(shù)據(jù)網設計的用于這些目的的協(xié)議。但是，在視頻的情況下，特別關注可能要求對差錯的處理，因為，由于視頻特性對發(fā)送數(shù)據(jù)的接收和處理的實時限制，有差錯的數(shù)據(jù)的再發(fā)送是不合適的。
為了處理這種情況，提供如下的糾錯方案
(1)視頻數(shù)據(jù)的幀被單個地發(fā)送到接收機，每個幀具有添加的能使接收機評估幀中是否含有差錯的檢驗和或循環(huán)冗余檢驗；
(2a)如果沒有差錯，則該幀被正常地處理；
(2b)如果該幀有差錯，則該幀被丟棄并且將一個狀態(tài)消息發(fā)送到發(fā)送機，指示有差錯的視頻幀的號；
(3)當接收到這種差錯狀態(tài)消息時，視頻發(fā)送機停止發(fā)送所有預定幀，并代之以立即發(fā)送下一個可用關鍵幀到接收機；
(4)發(fā)送關鍵幀以后，發(fā)送機重新開始發(fā)送正常幀間編碼的視頻幀，直至接收到另外的差錯狀態(tài)消息。
關鍵幀是僅進行幀內編碼而不進行幀間編碼的一種視頻幀。幀間編碼是在執(zhí)行預測處理處并使這些幀取決于所有在先視頻幀，在最后的關鍵幀之后并包括其。關鍵幀是作為第一幀和每當出現(xiàn)差錯時發(fā)送的。第一幀需要是一個關鍵幀，因為沒有以前幀用于幀間編碼。語音命令處理
因為無線裝置是很小的，對于操作該裝置手動輸入文本命令和處理數(shù)據(jù)的能力是困難的。已建議語音命令作為該裝置不用手操作的一種途徑。但這樣出現(xiàn)一個問題，即在許多無線裝置具有非常低的處理能力，極低于一般的自動語音識別(ASR)的要求。在這種情況的解決辦法是在該裝置捕捉用戶的語音，將其壓縮，并將其發(fā)送到服務器用于ASR并且按如圖31所示執(zhí)行，因為在任何情況下，服務器將操作所有用戶命令。這使該裝置不必須執(zhí)行這種復雜的處理，因為它有可能投入其大多數(shù)處理資源去解碼和修飾任何碼流音頻/視頻內容。這種處理由在步驟s1501開始的圖31的流程圖予以描述。在步驟s1502，當用戶講一個命令被輸入到該裝置的麥克風時，該處理被初始化。在步驟s1503，如果語音命令不可用，則該語音命令被忽略并且處理在步驟s1517結束。否則，在步驟s1504語音命令被捕捉和壓縮，在步驟s1505編碼的樣值被插入到USERCTRL包，并且在步驟s1506發(fā)送到語音命令服務器。然后在步驟S1507，語音命令服務器執(zhí)行自動話音識別，并且在步驟s1508映射轉錄的語音到一個命令集。在步驟s1509，如果該轉錄的命令不是預定的，則在步驟s1510轉錄的測試串被發(fā)送到客戶機，并且客戶機插入文本串到適當?shù)奈谋咀侄?。如?步驟s1509)轉錄命令是預定的，則在步驟s1512檢查命令類型(服務器或客戶機)。如果命令是服務器命令，則在步驟s1513傳送到服務器，并且在步驟s1514服務器執(zhí)行該命令。如果命令是客戶機命令，則在步驟s1515該命令被返回客戶機，并且在步驟s1516客戶機執(zhí)行該命令，在步驟s1517結束語音命令處理。應用超薄客戶機處理和計算服務器
利用超薄客戶機作為從任何其它類型個人移動計算裝置控制任何類型的計算機的裝置，產生虛擬計算網絡。在這種新應用中，用戶的計算裝置不執(zhí)行數(shù)據(jù)處理，而作為用戶的服務器接口到虛擬計算網絡。所有數(shù)據(jù)處理由位于網絡中的計算服務器執(zhí)行。幾乎是，該終端被限制為解碼所有輸出和編碼所有輸入數(shù)據(jù)，包括實際用戶接口顯示。從結構上講，輸入和輸出數(shù)據(jù)流在用戶終端中總的是獨立的。在輸入數(shù)據(jù)進行處理的計算服務器中執(zhí)行輸出或顯示數(shù)據(jù)的控制。因此，圖形用戶接口(GUI)解壓輸入為2個獨立的數(shù)據(jù)流視頻輸入和輸出顯示部分。輸入流是命令序列，可用是ASCII字符和鼠標或筆事件的組合。對于大的范圍，解碼和修飾顯示數(shù)據(jù)包括這種終端的主要功能，并且可用修飾復雜的GUI顯示。
圖32表示操作在無線LAN環(huán)境的超薄客戶機系統(tǒng)。這種系統(tǒng)可能同樣地工作在無線WAN環(huán)境，諸如CDMA、GSM、PHS或類似的網絡。在無線LAN環(huán)境系統(tǒng)中，從300米的戶內到高達1km戶外的范圍是典型的范圍。超薄客戶機是具有無線網卡和接收信號的天線的個人數(shù)字助理或掌上計算機。無線網卡通過PCMCIA槽、緊湊閃存口或其它裝置接口個人數(shù)字助理。計算服務器可用是運行GUI的任何計算機，GUI連接到具有無線LAN能力的互聯(lián)網或局域網。計算服務器系統(tǒng)可以由執(zhí)行GUI程序(11001)組成，該程序通過具有包含音頻和GUI顯示的程序輸出的客戶機響應(11007)進行控制，利用程序輸出視頻變換器(11002)進行讀出和編碼。通過11002中的第一視頻編碼GUI顯示到遠端控制系統(tǒng)(11012)的傳送，該系統(tǒng)利用OO視頻編碼(11004)變換通過GUI屏讀出(11003)的GUI顯示，和通過音頻讀出(11004)的任何音頻，利用以前描述的處理壓縮視頻以便編碼和發(fā)送它到超薄客戶機。GUI顯示可以利用GUI屏讀出(11003)進行捕捉，它是在諸如Microsoft Windows中的CopyScreenToDIB()之類的許多操作系統(tǒng)中的標準功能。超薄客戶機經Tx/Rx緩沖器(11008和11010)接收壓縮的視頻并在經OO視頻解碼(11010)解碼以后，利用GUI顯示和輸入(11009)對用戶顯示適當?shù)匦揎棥Ｈ魏斡脩艨刂茢?shù)據(jù)被發(fā)送回計算服務器，在服務器中利用超薄客戶機對GUI控制翻譯(11006)進行翻譯，并且通過程序性GUI控制執(zhí)行(11005)控制執(zhí)行GUI程序(11001)。這包括執(zhí)行新的程序、結束程序、執(zhí)行操作系統(tǒng)功能、和與運行程序有關的任何其他的功能。這種控制在各種形式下都是有效的，在MS WindowNT的情況下，可以使用Hooks/Journal Playck Fune()。
對于較大范圍的應用，最好是圖33的WAN系統(tǒng)。在這種情況下，計算機服務器直接連接到標準電話接口。發(fā)送(11116)用于通過CDMA、PHS、GSM或類似蜂窩電話網。在這種情況下超薄客戶機包括具有連接到電話的個人數(shù)字助理、手持機和調制解調器(11115)。所有其他方面類似于描述在圖32的WAN系統(tǒng)的配置。在這種系統(tǒng)的變形中PDA和電話集成在一個裝置中。在這種超薄客戶機系統(tǒng)的一個例子中，移動裝置從任何位置全面接入到計算服務器，同時達到諸如CDMA、PHS或GMS之類的標準移動電話網。這種系統(tǒng)不用移動電話的有電纜的方式也可以使用，使得超薄計算裝置通過調制解調器被直接連接到有線網絡。
計算機服務器還可以位于遠端并經互聯(lián)網或內聯(lián)網(11215)連接到本地無線發(fā)送機/接收機(11216)，如圖34所示。這種超薄客戶機應用特別適合于應急互聯(lián)網的進程活動關系為基礎的虛擬計算系統(tǒng)。豐富音頻-視頻接口
在沒有目標控制數(shù)據(jù)插入到比特流中的超薄客戶機系統(tǒng)中，客戶機可以不執(zhí)行處理，而是修飾單一視頻目標進行顯示并且返回所有用戶交換到服務器用于處理。雖然該方法可以被用于訪問遠端執(zhí)行處理的圖形用戶接口，但它不適合用于產生本地執(zhí)行處理的用戶接口。
規(guī)定DMC的目標為基礎的能力和交換引擎，這個整個系統(tǒng)和它的客戶機-服務器模型特別適合用于豐富音頻-視頻接口的核芯。不像基于大致靜止圖符和矩形窗口的典型圖形用戶接口一樣，當前的系統(tǒng)利用多視頻和其它媒體目標能夠產生豐富用戶接口，這些目標可以簡化與本地裝置或遠端程序執(zhí)行的設施進行交互。多方無線電視會議處理
圖35表示包含2個或多個無線客戶機電話裝置的多方無線電視會議系統(tǒng)。在這種應用中，2個和多個參與者在他們當中可以被設置多個視頻通信鏈路。存在非集中控制機制，并且每個參與者可以決定在多方會議中哪些鏈路激活。例如，在包括A、B、C三人的三人會議中，可以在人AB、BC和AC之間形成鏈路(3個鏈路)，或者可替代地是AB和BC但沒有AC(2個鏈路)。在這種系統(tǒng)中，按照他們的意愿，每個用戶可以同時設置許多鏈路到不同的參與者，不要求集中網絡控制并且每個鏈路是分別管理的。對于每個新的電視會議鏈路的輸入視頻數(shù)據(jù)形成一個新的視頻流，該流被饋送到連接到相關于輸入視頻數(shù)據(jù)的鏈路上的每個無線裝置的面向目標解碼器。在這種應用中，目標視頻解碼器(面向目標解碼器11011)按照一種表現(xiàn)模型被運行，在該模型中每個視頻目標基于正在顯示的多個視頻目標，按照布局規(guī)則進行修飾。各個視頻目標之一可以按照當前動作被識別，并且這個目標可以在比其他目標大的尺寸上被修飾。利用具有最大聲音能量(響度/時間)的視頻目標的自動裝置或者由用戶手動可以執(zhí)行哪個目標是當前動作的選擇。客戶機電話裝置(11313、11311、11310、11302)包括個人電話助理、手持個人計算機、個人計算裝置(諸如筆記本和臺式PC)和無線電話手持機?？蛻魴C電話裝置可以包括無線網卡(11306)和發(fā)送和接收信號的天線(11308)。無線網卡通過PCMCIA槽、緊湊閃存口或其它連接接口接口客戶機電話裝置。無線電話手機可以用于PDA無線連接(11312)。在LAN/互聯(lián)網/內聯(lián)網之間可以建立一個鏈路(11309)。每個客戶機裝置(例如，11302)可以包括數(shù)字視頻捕捉的攝象機(11307)和用于聲音捕捉的一個或者多個麥克風。客戶機電話裝置包括視頻編碼器(OO視頻編碼11305)，利用上述的處理壓縮捕捉的視頻和音頻信號，這些信號然后被發(fā)送到一個或者多個其他客戶機電話裝置。數(shù)字攝象機可以僅捕捉數(shù)字視頻和傳送它到客戶機電話裝置用于壓縮和傳送，或還可以利用VLSI硬件芯片(ASIC)壓縮視頻本身并傳送編碼的視頻到用于發(fā)送的電話裝置。含有特殊軟件的客戶機電話裝置接收壓縮的視頻和音頻信號并利用上述處理適當修飾它們到用戶顯示和麥克風輸出。這個實施例還包括在客戶機電話裝置上利用上述交互目標管理的處理，直接視頻管理或做廣告，這可以通過與上述其他客戶機電話裝置相同的裝置被反映(在GUI顯示器上重現(xiàn))，特別是在相同的電話會議中。這個實施例可以包括在客戶機電話裝置之間用戶控制數(shù)據(jù)的發(fā)送，例如對其它客戶機電話裝置提供遙控。任何用戶控制數(shù)據(jù)被發(fā)送回適當?shù)目蛻魴C電話裝置，進行翻譯和然后用于控制視頻圖象和其他軟件和硬件功能。作為在超薄客戶機系統(tǒng)的應用的情況，可以使用各種網絡接口。有定標圖象用戶做廣告的按需交互動畫或視頻
圖36是有目標用戶視頻廣告按需系統(tǒng)的交互視頻的方框圖。在這個系統(tǒng)中，服務提供商(例如，生活新聞、視頻點播(VOD)提供商等)將單點傳送或者多點傳送視頻數(shù)據(jù)流到單個用戶。視頻廣告可以包括來自不同源的多個視頻目標。在視頻解碼器的一個例子中，小的視頻廣告目標(11414)被動態(tài)地組成為視頻流，傳送到解碼器(11404)將被修飾為在某種時間進行收視的場景。這個視頻廣告目標可以來自存儲在庫(11406)中裝置中的預下載的廣告，或者經在線視頻服務器(例如，視頻按需服務器11407)來自遠端存儲器發(fā)來的碼流(11412)進行改變，能夠利用視頻目標疊加(11408)進行動態(tài)媒體組合。這個視頻廣告目標根據(jù)該客戶機自己(用戶的)概況信息有目標地特別針對該客戶機裝置(11402)。用戶的概況信息可以具有存儲在多個位置的各個部分，例如在線服務器庫(11413)或本地客戶機裝置。對于基于廣告的有目標視頻，利用視頻流的反饋和控制機制以及其收視。服務提供商或者另外一方可以保持和操作存儲壓縮視頻流(11412)的視頻服務器。當用戶從視頻服務器選擇一個節(jié)目時，提供商的發(fā)送系統(tǒng)自動從用戶概況數(shù)據(jù)庫(11413)獲得的信息中，選擇哪個促銷或廣告數(shù)據(jù)是可應用的，該數(shù)據(jù)庫可以包括諸如用戶年齡、性別、地理位置、預定歷史、個人喜好、購買歷史等。然后，可以作為單一視頻目標存儲的廣告數(shù)據(jù)連同請求的視頻數(shù)據(jù)一起可以插入發(fā)送的數(shù)據(jù)流中并且發(fā)送給用戶。作為單獨的視頻目標，然后，通過調整表現(xiàn)/顯示特性，用戶可以與廣告視頻目標進行交互。通過對目標點擊或拖等操作，用戶還可以與廣告視頻目標進行交互，因此發(fā)送消息返回視頻服務器，指示用戶希望激活某些與廣告視頻目標相關的功能，作為服務提供商或廣告目標提供商確定的目標。這種功能可以簡單地要求從廣告商對另外信息的請求，設置視頻/電話呼叫給廣告商，初始化銷售憑證處理，根據(jù)事務處理或者某些其他控制形式初始化近程。除了廣告外，這個功能可以由服務提供商直接使用，促進附加的視頻貢獻，諸如其他可用視頻信道、它可以按小的移動圖符圖象做廣告。在這種情況下，在這種圖符上點擊的用戶動作可以通過提供商使用，以改變發(fā)送到用戶的主要視頻數(shù)據(jù)或者發(fā)送附加數(shù)據(jù)?？梢酝ㄟ^視頻目標的重疊(11408)組合多個視頻目標數(shù)據(jù)流到最后的組合數(shù)據(jù)流，它被發(fā)送到每個客戶機。通過按照以前描述的實時或預處理編碼(視頻編碼11411)的來自諸如其他視頻服務器、網絡攝象機(11410)、或者計算服務器之類的不同遠端源的視頻促進選擇(11409)，被組合的分別的視頻目標流的每個可以通過互聯(lián)網進行檢索。再有，作為超薄客戶機和電視會議的其他系統(tǒng)應用，可以使用各種優(yōu)選的網絡接口。
有圖象廣告的一個實施例中，視頻廣告目標可以類似如圖37所示的按鈕那樣進行編程操作，當由用戶選擇時，可以做如下事情之一
·立即改變正在收視的視頻場景跳到新的場景，該場景提供更多關于正在做廣告的產品的信息，或者到能夠存儲的在線電子商務。例如，可以用于改變“視頻信道”。
·通過利用另外的目標替代該目標，提供更多關于正在做廣告的產品的信息，立即改變視頻廣告目標為類似子題目的碼流文本信息。這在顯示的場景中不影響任何其他視頻目標。
·去掉視頻廣告目標并設置指示用戶已經選擇了廣告的系統(tǒng)標志，然后當前視頻將正常地播放到結束并且然后跳到指示的廣告目標。
·發(fā)送消息返回服務器，寄存感興趣的產品以進一步異步跟蹤信息，可以通過經電子函件或作為附加碼流視頻目標等。
·在視頻廣告目標僅被用于做標記的目的場合，點擊目標可以觸發(fā)它的不透明并使它半透明，或者能使它執(zhí)行預定的動畫，例如按3D旋轉或在圓形路徑上移動。
利用視頻廣告目標的另外的方式是對移動智能電活用戶補貼分組費用或者呼叫費用，通過如下方式；
·對于無條件響應呼叫期間或呼叫結束期間，自動顯示響應者的視頻廣告目標。
·如果用戶與目標執(zhí)行某些交互，在提供發(fā)起呼叫之前、期間、或之后，顯示交互視頻目標。
圖37表示有圖象廣告系統(tǒng)的一個例子，當有圖象廣告會話開始(內流廣告開始S1601)時，對于音頻-視頻流(從服務器請求AV數(shù)據(jù)流S1602)的請求從客戶機裝置(客戶機)被發(fā)送到服務器處理。服務器處理(服務器)可以位于客戶機裝置或者遠端在線服務器。響應于該請求開始發(fā)送碼流請求數(shù)據(jù)(S1603)到客戶機。在碼流數(shù)據(jù)由客戶機接收的同時，它執(zhí)行修飾該數(shù)據(jù)流的處理，并且接受和響應用戶的交互。因此，客戶機檢查看是否接收的數(shù)據(jù)指示當前AV碼流的結束已經達到(S1604)。如果這是真，并且除非存在另外排隊的AV數(shù)據(jù)流(S1605)是當前碼流剛結束的未完碼流，則該有圖象內廣告會話可以結束(S1606)。如果排隊AV數(shù)據(jù)流存在，則服務器開始發(fā)送新的AV數(shù)據(jù)碼流(返回到S1603)。雖然在數(shù)據(jù)流的處理中AV流的結束還未達到(S1604-否)并且如果當前廣告目標未開始發(fā)碼流，則服務器可以選擇(S1608)并根據(jù)包括位置、用戶概況等各個參數(shù)在AV流(S1609)中插入新的廣告目標。如果服務器正在處理發(fā)的AV數(shù)據(jù)流并且廣告目標已經被選擇并且插入到AV流中，則如上所述客戶機解碼該比特流并且修飾各個目標(S1610)。在AV流可能繼續(xù)的同時，由于各種原因，包括客戶機交互、服務器交互、或者廣告流結束，圖象內的廣告流可能結束(S1611)。如果圖象中廣告流已經結束(S1611-是)，則通過S1608可重新選擇新的圖象內廣告。如果AV數(shù)據(jù)流和圖象內廣告流繼續(xù)(S1611-否)，則客戶機捕捉與廣告目標的任何交互。如果用戶點擊該目標(S1612-是)，則客戶機發(fā)通知到服務器(S1613)。服務器的動態(tài)媒體組合程序的源程序定義哪些動作將要采取作為響應。這些包括無動作、延遲(推遲)或者立即動作(S1614)。在無動作(S1614-無)的情況下，服務器可以寄存這個事實，用于接著以后(在線或離線)的動作(S1619)，這可能包括更新用戶的概況信息，它可能用于定標類似的廣告或者接著的廣告。在延遲動作(S1614-延期)的情況下，則要采取的動作可能包括寄存(S1619)以下采取S1619或排隊新的AV數(shù)據(jù)(S1618)，用于發(fā)當前未完成AV數(shù)據(jù)流的碼流。在當服務器在客戶機裝置的情況下，這可以進行排隊和當該裝置可以下一個被連接到在線服務器時進行下載。在遠端在線服務器的情況下，則當當前AV流完成時，則排隊的流可以進行播放(S1605-是)。在立即動作(S1614-立即)的情況下，則根據(jù)加到廣告目標上的控制信息可能執(zhí)行多個動作，包括對當前廣告目標改變動畫參數(shù)(S1615-動畫)、替換當前廣告目標(S1615-廣告)和替換當前AV流(S1617)。動畫請求改變(S1615-動畫)可能導致對目標的修飾，例如變換或旋轉、和透明度等。這可能在以下的步驟進行寄存(S1619)。在廣告目標改變請求(S1615-動畫)情況下，與以前(S1608)一樣可能選擇一個新的廣告目標。在另外一個實施例中，這種視頻系統(tǒng)的動態(tài)媒體組合能力可能被用于能夠使收視者定制他們的內容。一個例子是用戶可以能夠從一個故事情節(jié)的主要人物中選擇一個人物。在這種具有動畫卡通情況下，收視者能夠從男或女的人物中選擇。這種選擇可能從共享的人物組中交互地執(zhí)行，例如在線的多參與者環(huán)境或者可以根據(jù)存儲的用戶概況。選擇男的人物將產生組合到比特流中的男人物聲視媒體目標，替代女的人物。在另外的例子中，不是固定情節(jié)選擇主要人物，通過在收視期間進行選擇，情節(jié)本身可以改變，通過選擇某個場景跳動顯示下一個場景改變情節(jié)。在任何給定的點上多個可以替換的場景可以使用。選擇可由各種機制限制，如以前的選擇、所選擇的視頻且標以及故事情節(jié)中圖象的位置。
服務提供商可以提供用戶認證和對視頻材料的訪問控制、內容消費量的計量和使用帳單。圖41表示所有用戶在他們被提供接入服務(例如，內容服務)之前，能寄存認證/接入提供商(11507)系統(tǒng)的實施例。認證/接入服務將對每個用戶產生‘唯一識別符’和‘接入信息’(11506)。當客戶機在線時(例如，首先接入服務器)，唯一識別符將被自動轉移動客戶機裝置(11502)用于本地存儲。由用戶的所有后續(xù)請求經視頻內容提供商(11511)存儲的視頻內容(11510)可以利用客戶機系統(tǒng)的用戶識別符進行控制。在一個利用率的例子中，用戶將被計帳能夠由通過他們的唯一識別符認證的用戶訪問內容有規(guī)律簽約的費用。另外一種方案，可以通過利用率收集每收視一次付費一次狀態(tài)的計費信息(11508)，關于諸如計量之類的利用率的信息可以由內容提供商進行記錄(11511)和饋送到一個或多個計費服務提供商(11509)和接入代理人/計量提供商(11507)。對不同用戶和不同內容可以授予不同的接入級別。由以前系統(tǒng)實現(xiàn)的無線接入可以有多種方法實現(xiàn)。圖41表示通過Tx/Rx緩沖器(11505)接入客戶機裝置(11502)到本地無線發(fā)送機(11513)，該發(fā)送機經LAN/內聯(lián)網或不包括無線WAN的互聯(lián)網連接(11513)提供接入到服務提供商?？蛻魴C裝置可以實時地依靠接入代理人/計量提供商(11507)，以增加對內容的接入權限。編碼的比特流可以按照以前描述的通過11504進行解碼并利用以前描述的(11503)客戶機交互對場景進行修飾。接入控制和或計費服務提供商可以保持用戶的利用率概況，然后它可以出售或者許可給第三方，用于廣告/促銷的目的。為了實現(xiàn)計費和利用率控制，如上所述，可以開發(fā)適合的加密方法。除此以外，如上所述，可以使用唯一的做標記/識別編碼視頻的處理。視頻廣告節(jié)目集
可以下載交互視頻文件，而不是發(fā)碼流到一個裝置，使得如圖38所示在任何時間可以收視離線或在線。下載視頻文件仍然保持如上所述的由在線碼流處理提供的所有交互和動態(tài)媒體組合能力。視頻節(jié)目集可以包括菜單、廣告目標、和寄存用戶選擇和反饋的一致形式。差別僅在于，因為視頻節(jié)目集可以進行在線收視，加到視頻目標上的超鏈路可以不指定沒有位于該裝置上的新的目標。在這種情況下，客戶機裝置可能存儲不能從裝置中的數(shù)據(jù)進行服務所有用戶的選擇并且當下次該裝置在線或者與PC同步時，傳送這些到適當?shù)倪h端服務器。按這種方式傳送用戶的選擇可以產生將要執(zhí)行的各種動作，例如提供進一步的信息、下載要求的場景或者鏈接到要求的URL。交互視頻節(jié)目集可用于許多內容類型，例如交互廣告節(jié)目集、團體訓練內容交互娛樂和用于交互貨物和服務的在線和離線購買。
圖38表示交互視頻節(jié)目集(IVB)的一種可能的實施例。在這個例子中，當請求時(從服務器拉出)或者按照事先安排(從服務器推出)(S1701)，IVB(SKY文件)文件數(shù)據(jù)可以被下載到客戶機裝置(S1702)。下載可能出現(xiàn)在任何情況下，經由與臺式PC同步無線地，或按諸如緊湊閃存、或存儲棒之類的媒體存儲技術分配?？蛻魴C播放機將解碼比特流(按照以前描述的)并且修飾來自IVB的第一個場景(S1703)。如果播放機達到IVB的結束(S1705-是)，則IVB將結束(S1708)。當播放機未達到IVB的結束，則它修飾各個場景并且無條件的執(zhí)行所有目標控制動作(S1706)。用戶可以按照目標控制所定義地與目標交互。如果用戶不與目標交互(S1707-否)，則播放機繼續(xù)從數(shù)據(jù)文件中讀出(S1704)。如果用戶與目標在場景中交互(S1707-是)和目標控制動作是執(zhí)行形成操作(S1709-是)，并且如果用戶是在線(S1712-是)，則形成的數(shù)據(jù)將被發(fā)送到在線服務器(S1711)，否則如果是離線(S1712-否)，則形成數(shù)據(jù)將被存儲，用于當該裝置回到在線時以后的加載(S1715)。如果目標控制動作是跳躍行為(S1713-是)和規(guī)定跳到新場景的控制，則播放機將尋找新場景在數(shù)據(jù)文件中的位置(S1710)和繼續(xù)從那里讀數(shù)據(jù)。如果控制規(guī)定跳到另外的目標(S1714-目標)，則這將通過訪問按照存儲在數(shù)據(jù)文件中的該場景的正確數(shù)據(jù)流，產生將被替代和被修飾的對象目標(S1717)。如果目標控制動作改變目標的動畫參數(shù)(S1716-是)，則目標動畫參數(shù)將可能被更新或者取決于由目標控制規(guī)定的參數(shù)進行動作(S1718)。如果目標的控制動作對該目標執(zhí)行某些其他操作(S1719-是)和由控制規(guī)定的所有條件都滿足(S1720-是)，則執(zhí)行控制操作(S1721)。如果選擇的目標不具有控制操作(S1719-否、S1720-否)，則播放機可以繼續(xù)進行讀出和進行修飾視頻場景。在任何這些情況下，動作的請求可以被記錄和通知可以被存儲，用于如果離線以后加載到服務器，或者如果在線被直接轉移到服務器。
圖39表示用于廣告和購買應用的交互視頻節(jié)目集的一個實施例。該例子包含用于在線購買和內容收視選擇的形式。IVB被選擇和播放開始(S1801)。引入的場景可能進行播放(S1802)，該場景由多個目標組成，如所示(S1803、視頻目標A、視頻目標B、視頻目標C)。所有視頻目標可能具有由它們附加的控制數(shù)據(jù)定義的各種修飾參數(shù)動畫，例如A、B和C可能在主收視目標已經開始進行修飾以后從右手側移動(S1804)。用戶可以與任何目標進行交互并初始化目標控制動作，例如用戶可以點擊B(S1805)，它可能具有“跳到”超鏈路，控制動作停止播放當前場景并開始播放由控制參數(shù)指示的新的場景(S1806、S1807)。這可能含有多個目標，例如它可能含有用于用戶可以選擇的導航控制的菜單目標(S1808)，以返回到主場景(S1809、S1820)。用戶可能與另外目標交互，例如A(S1811)，它可能具有跳到另一規(guī)定場景的行為(S1812、S1813)。在所示的例子中，用戶可能再次選擇菜單選擇(S1814)返回主場景(S1815，S1816)。另外的用戶交互可能是拖目標B到購買籃中(S1817)，這可能引起另外的目標控制的執(zhí)行，該目標控制是對重疊目標B和購買籃有條件的，以通過設置適當用戶狀態(tài)標志變量(S1818)寄存購買請求并且還根據(jù)動態(tài)媒體組合，引起目標動畫或變化(S1819、S1820)，在這個例子中表示購物籃已滿。用戶可能與購物籃目標交互(S1821)，該交互可能具有跳躍到檢查事務處理和信息場景的行為(S1822、S1823)，這些可表示請求的購買。顯示在這個場景的目標將根據(jù)用戶標志變量的值由動態(tài)媒體組合確定。用戶可以與各個目標交互，通過按照由目標控制參數(shù)的定義修改用戶標志，改變它們的購買請求狀態(tài)通/斷，這些將引起動態(tài)媒體組合處理表示在場景中已選擇目標或者不選擇目標。用戶可以交替地選擇與購買交互，或者返回可能已經跳到以適當場景作為對象的新場景控制行為的目標，例如主場景或者涉及進行事務處理的場景(S1825)。涉及的事務處理可能被存儲在客戶機裝置，如果離線用于以后加載到服務器或者可能被實時地加載到服務器，如果客戶機裝置在線用于購買/信用卡確認。選擇購買目標可能跳到確認場景(S1827、S1828)，同時事務處理可能被發(fā)送到服務器(S1826)，在事務處理完成以后(S1824)播放任何剩余的視頻。分配模型和DMC操作
存在多種用于傳送比特流到客戶機的分配機制，包括與客戶機同步地下載到臺式PC、無線在線連接到裝置和緊湊媒體存儲裝置。內容的傳送可以由客戶機始發(fā)或者由網絡始發(fā)。分配機制傳送始發(fā)的組合提供了多種傳送模型。一種這樣的模型客戶機啟動傳送的是按需發(fā)碼流，其中一個實施例是提供低帶寬和低閑置信道的按需發(fā)碼流(例如，無線WAN連接)并且內容是實時發(fā)送到收視發(fā)送的碼流的客戶機裝置的。第二種內容傳送模型是客戶機通過在線無線連接啟動傳送，例如利用文件轉移協(xié)議，在播放以前內容可以被迅速全部下載，一個實施例提供高帶寬、高閑置信道，其中內容被立即傳送和接著收視。第三傳送模型是網絡啟動傳送，其中一個實施例提供低帶寬和高閑置，這種裝置被稱為“始終接通”，因為客戶機裝置可以始終在線。在這種模型中，視頻內容可以被在夜間或全體非高峰期間巧妙地下載到裝置中，并且緩沖在存儲器中用于以后收視。在這種模型中，系統(tǒng)的操作不同于上面的第二種模型(客戶機啟動按需下載)，其中用戶應當寄存向內容服務提供商請求傳送特殊內容。然后，這個請求將被用于由服務器自動安排網絡向客戶機裝置的啟動傳送。當內容傳送的適合時間發(fā)生時，例如網絡利用率的非高峰時，服務器將建立與客戶機裝置的連接、協(xié)商傳輸參數(shù)并管理與客戶機的數(shù)據(jù)轉移。另一種方案，利用所在網絡已分配的任何可用殘留帶寬(例如，恒定速率連接)，服務器將每次少量發(fā)送數(shù)據(jù)。通過可視或可聞的指示向用戶發(fā)信令，用戶將知道所請求的數(shù)據(jù)已經全部被傳送，使得當用戶準備好時，然后他們可以收視數(shù)據(jù)。
播放機能夠處理推或拉兩種發(fā)送模型。一個系統(tǒng)操作的實施例如圖40所示。無線碼流的會話可以由客戶機裝置(S1903-拉)或者由網絡(S1903-推)(S1901)開始。在客戶機啟動的碼流會話中，客戶機可以通過各種方式(S1904)啟動碼流，例如輸入URL與交互目標的超鏈接、或者撥無線服務提供商的電話號碼。連接請求可以從客戶機發(fā)送到遠端服務器(S1906)。服務器可以建立和開始拉連接(S1908)，它可以發(fā)送碼流到客戶機裝置(S1910)。在發(fā)碼流期間，如上所述客戶機進行解碼和修飾比特流以及取用戶的輸入。由于更多數(shù)據(jù)被發(fā)送(S1912-是)，服務器繼續(xù)發(fā)新的數(shù)據(jù)到客戶機，用于解碼和修飾，如上所述這種處理可以包括交互性和DMC功能。一般，當碼流中沒有更多數(shù)據(jù)(S1912-否)時，用戶可以結束從客戶機裝置的呼叫(S1915-柱)，但是用戶可以在任何時間結束呼叫。呼叫的結束將停止無線碼流會話，否則如果在數(shù)據(jù)已經完成發(fā)送以后用戶不結束呼叫，客戶機可以進入空閑狀態(tài)，但是仍然在線。在網絡啟動無線碼流會話(S1903-推)的例子中，服務器將呼叫客戶機裝置(S1902)?？蛻魴C裝置將自動應答呼叫(S1905)與客戶機建立推連接(S1907)。建立的處理可以包括服務器與客戶機之間協(xié)商有關客戶機裝置的容量、或配置或用戶的具體數(shù)據(jù)。然后，服務器將發(fā)數(shù)據(jù)到客戶機(S1909)，客戶機存儲接收的數(shù)據(jù)用于以后收視(S1911)。當更多的數(shù)據(jù)需要發(fā)送(S1912-是)時，這個處理將繼續(xù)通過非常長的時間周期(低帶寬緩慢下碼流)或者通過較短的時間周期(高帶寬下載)。當整個數(shù)據(jù)流或者某些源程序位置達到碼流中(S1912-否)，則在這種推連接中(S1915-推)的客戶機裝置可以發(fā)信號給用戶，用于播放的內容已經準備好(S1914)。在發(fā)完所有需要的內容以后，服務器將結束到客戶機裝置的呼叫或者連接(S1917)以結束無線碼流會話(S1918)。在另外一種個實施例中，利用網絡啟動的消息給無線客戶機，利用發(fā)給無線客戶機裝置的網絡啟動消息，如上所述當該消息被接收時可以由用戶進行交互以開始推連接，推與拉連接之間的混合操作可能發(fā)生。按這種方式，通過由含有適合超鏈路的數(shù)據(jù)網絡安排的傳送可以促進推連接。
這3種分配模型適合于單點傳送操作模式。在如上所述的第一種按需分配模型中，遠端碼流服務器可以無限制地執(zhí)行動態(tài)媒體組合和實時地處理用戶交互并且執(zhí)行目標控制動作等，而在另外兩種模型中，當用戶可能收視離線內容時，本地客戶機可以處理用戶交互和執(zhí)行DMC。如果客戶機在線，將被發(fā)送到服務器的任何用戶交互數(shù)據(jù)和形成的數(shù)據(jù)可以被立即傳送，或者如果用戶離線在承擔轉移數(shù)據(jù)的后續(xù)處理的不確定時間進行傳送。
圖42是描述按照本發(fā)明的無線碼流播放機/客戶機執(zhí)行按需發(fā)無線視頻碼流的主要步驟的實施例的流程圖?？蛻魴C應用程序在步驟S2001開始，在步驟S2002等待用戶輸入URL或者遠端服務器的電話號碼。當用戶輸入遠端服務器URL或者電話號碼時，在步驟S2003軟件初始化與無線網絡的網絡連接(如果尚未連接)。在連接建立以后，在步驟S2004客戶機軟件請求將從該服務器發(fā)碼流的數(shù)據(jù)。然后，客戶機繼續(xù)處理按需發(fā)視頻碼流，直至在步驟S2005用戶請求斷開，軟件前進到步驟S2007啟動與無線網絡和遠端服務器的呼叫斷開。最后，在步驟S2009軟件釋放可能已經分配的各個資源并且在步驟S2011客戶機應用程序結束。直至用戶請求，將在步驟S2005結束的呼叫前進到檢查接收網絡的數(shù)據(jù)的步驟S2006。如果沒有數(shù)據(jù)被接收到，軟件返回到步驟S2005。但是如果從網絡接收到數(shù)據(jù)，則輸入數(shù)據(jù)在步驟S2008緩沖，直至接收到整個包。當在步驟S2010接收到完全的包時，檢查數(shù)據(jù)包的差錯、序列信息、和同步信息。如果在S2012該數(shù)據(jù)包包含差錯、或者是在序列之外的，在步驟S2013，狀態(tài)消息被發(fā)送到遠端服務器指示這種情況，接著返回步驟S2005檢查用戶呼叫斷開請求。但是如果在S2012無差錯地接收到包，則前進到步驟S2014并且在步驟S2014數(shù)據(jù)包被傳送到軟件解碼器并進行解碼。在S2015解碼的幀在存儲器中被緩沖，用于在步驟S2016進行修飾。最后，應用程序返回到步驟S2005，檢查用戶呼叫斷開，無線碼流播放機應用程序繼續(xù)。
除單點傳送外，其它的操作模式包括多點傳送和廣播。在多點傳送和廣播的情況下，系統(tǒng)/用戶交互和DMC能力被限制和可能按與單點傳送模型不同方式操作。在無線環(huán)境中，很可能多點傳送和廣播數(shù)據(jù)將在分別的信道中發(fā)送。與分組網一樣，不存在純邏輯信道，而代之以這些可能是電路交換信道。一個單一的發(fā)送是從一個服務器發(fā)送到多個客戶機的。因此，用戶交互數(shù)據(jù)利用用于每個用戶的單獨的單個單點傳送‘反向信道’連接，可以被返回到服務器。多點傳送與廣播之間的區(qū)別是，多點傳送數(shù)據(jù)可能僅在某些地理邊界，例如無線小區(qū)的范圍進行廣播。在數(shù)據(jù)傳送到客戶機裝置的廣播模型的一個實施例中，數(shù)據(jù)可以被發(fā)送到一個網絡中的所有無線小區(qū)，通過特定的無線信道廣播數(shù)據(jù)使客戶機裝置接收。
可以如何利用一個廣播信道的例子是發(fā)送含有服務目錄的場景的循環(huán)。各個場景可能被分類為含有一組對應于其它選擇的廣播信道的超鏈路視頻目標，使得用戶選擇的一個目標將改變相關的信道。另一個場景可以含有一組適合視頻按需服務的超鏈路視頻目標，其中用戶通過選擇一個視頻目標，可能產生一個新的單點傳送信道并且從廣播轉換到這個信道。同樣，在單點傳送按需信道中的超鏈路目標將能夠改變由客戶機接收的比特流為從特定的廣播信道接收的比特流。
因為多點傳送或廣播信道從服務器到所有客戶機發(fā)送相同數(shù)據(jù)，DMC被限制在它的為每個用戶訂制場景的能力。在廣播模型中DMC對信道的控制可以不受該單個用戶的限制，在這種情況下它不可能與單個用戶交互修改廣播的比特流的內容。因為廣播依靠實時碼流，相同的方法不可以用于本地客戶機DMC作為離線收視，在這種情況下每個場景可以具有多個目標流并且可以執(zhí)行跳躍控制。但是，在廣播模型下，用戶不能完全禁止與場景交互，他們仍然自由地修改修飾參數(shù)，諸如激活動畫等，利用服務器寄存目標選擇，并且通過激活與視頻目標相連的任何超鏈路進行跳躍，他們自由地選擇一個新的單點傳送或廣播信道。
DMC可以被用于在廣播中訂制用戶經歷的一種方法是監(jiān)視正在收視該信道的不同用戶的分配和根據(jù)平均用戶的概況構成定義將被修飾的場景的輸出比特流，例如圖象中的廣告目標的選擇可以基于收視者主要是男的還是女的。在廣播狀態(tài)DMC可以被用于訂制用戶的經歷的另外一種方式是發(fā)送具有多個媒體目標組合的比特流，而不考慮當前收視者分配。在這種情況下，客戶機根據(jù)用戶的概況從廣告目標中進行選擇，產生最終的場景。例如，按照多種語言的多種字幕可以被插入到廣播的定義的場景的比特流中。然后，客戶機根據(jù)特定的條件在比特流中的目標控制數(shù)據(jù)廣播選擇哪種語言字幕修飾。視頻監(jiān)視系統(tǒng)
圖43表示視頻監(jiān)視系統(tǒng)的一個實施例，它可能用于實時地監(jiān)視許多不同的環(huán)境，諸如家庭財產和家族、商業(yè)財產和員工、交通、氣候和特別感興趣的地方。在這個例子中，攝象機裝置(11604)可以被用于視頻捕捉。捕捉的視頻可能在11602按如上所述被編碼，如上所述該編碼利用組合來自其它存儲器(11602)或者利用控制(11607)從服務器遠程發(fā)送的碼流的附加視頻目標的能力。監(jiān)視裝置(11602)可能是攝象機部分(例如按ASIC實現(xiàn)的)、客戶機裝置部分(例如具有攝象機和ASIC的PDA)、分別來自攝象機(例如，分別的監(jiān)視編碼裝置)或者來自遠端視頻捕捉(例如，具有活動視頻饋送的服務器編碼處理)。編碼的比特流在安排的時間可以進行發(fā)送或進行下載到客戶機裝置(11603)，在那里該比特流可以被如上所述地解碼(11609)和修飾(11608)。除了通過利用無線LAN接口在近距離范圍發(fā)送遠端視頻到無線處理裝置外，監(jiān)視裝置(11602)還能夠利用標準無線網絡基礎設施通過長距離發(fā)送遠端視頻例如通過利用PHS、GSM或其它無線網絡的TDMA、FDMA、CDMA傳輸?shù)碾娫捊涌凇Ｆ渌尤刖W結構也可以使用。該監(jiān)視系統(tǒng)具有智能功能，諸如移動檢測告警、自動通知和撥號告警、記錄和檢索視頻段、多個攝象機輸入之間的選擇和切換、和在遠端位置提供給用戶多個數(shù)字或模擬輸出。這種應用包括家庭安全、兒童監(jiān)護和交通監(jiān)視。在這個最后的情況下，活動交通視頻被發(fā)送給各個用戶并且可以按多種可替代的方法執(zhí)行
a.用戶撥號特定的電話號碼和然后選擇交通攝象機位置，收視由操作員/交換機進行處理的范圍。
b.用戶撥號特定電話號碼和用戶的地理位置(例如從GPS或者GSM小區(qū)三角定位得到的)被用于自動提供交通攝象機位置的選擇，收視可能伴隨的交通信息。在這種方法中用戶任選地規(guī)定他或者她的目的地，可以用于幫助提供交通攝象機的選擇。
c.用戶可以寄存特殊的服務，服務提供商將呼叫該用戶和自動發(fā)送碼流視頻，顯示可能具有潛在塞車的汽車路由。當進行寄存時，用戶可以決定一個或多個為此預安排的路由，這些路由可以被系統(tǒng)存儲，在與來自GPS或者小區(qū)三角定位的定位信息的配合下幫助預測用戶的路由。系統(tǒng)將跟蹤用戶的速度和位置確定行駛和正在遵循的路由方向，然后潛在的路由搜索它的監(jiān)視交通攝象機表，確定是否有地方塞車。如果有，則系統(tǒng)將通知駕駛員有塞車并且向用戶提供最相關的交通圖。靜止的用戶或以步行速度行進的用戶將不被呼叫。另外規(guī)定指示塞車的交通攝象機，系統(tǒng)可以通過寄存用戶表搜索并告警他們，所述用戶正行駛在那里。電子賀卡服務
圖44是用于智能移動電話11702和11712和無線連接的PDA的電子賀卡服務的一個實施例的框圖。在這個系統(tǒng)中，一個開始的用戶11702可以利用互聯(lián)網連接的個人計算機11707的互聯(lián)網11708或者利用移動智能電話11706或者無線連接PDA的移動電話網11703訪問賀卡服務器11710。賀卡服務器11710通過軟件接口，允許用戶從存儲的服務器中的模板庫11711選擇訂制的賀卡模板。模板是一段短視頻或者動畫，包括多個諸如生日祝愿、明信片、良好祝愿等內容。訂制可能包括文本和或音頻內容插入到視頻和動畫模板中。在訂制以后，用戶可以付給用于事務處理和傳送電子賀卡到個人的移動電話號碼的費用。然后，電子賀卡被傳送到碼流服務器11712，將被存儲器。最后，賀卡經無線電話網11704在非高峰期間從碼流媒體服務器11709傳送到希望的用戶11705的移動裝置11712。在明信片的情況下，在每個地理位置用于移動電話網的特定模板視頻可以被產生，僅可以員物理地在該當?shù)氐娜诉M行發(fā)送。在另外的實施例中，用戶能夠加載一個短的視頻到遠端應用服務提供商，然后該提供商壓縮該視頻和進行存儲，用于以后傳送到目的地的電話號碼。圖45是表示按照本發(fā)明用戶可能執(zhí)行產生并發(fā)送電子賀卡的一個實施例的主要步驟的流程圖。處理在步驟S2101開始，在該步驟經互聯(lián)網或者無線電話網用戶被連接到應用服務器提供商ASP。在步驟S2102，如果用戶希望使用他們自己的視頻內容，用戶可以捕捉活動視頻或者從多個源的任何一個源獲得視頻內容。在步驟S2103，這個視頻內容被存儲在一個文件中，并且在步驟S2105由用戶對應用服務提供商進行更新并由賀卡服務器進行存儲。在步驟S2102如果用戶不希望使用他們自己的視頻，則前進到步驟S2104，在該步驟用戶從由ASP保持的模板庫選擇賀卡/電子函件，在步驟S2106用戶可選擇訂制視頻賀卡/電子函件，因此在步驟S2107用戶從模板庫選擇一個或者多個視頻目標，并且在S2108應用服務提供商插入選擇的目標到已選擇的視頻數(shù)據(jù)中。當用戶已經完成訂制的電子賀卡/電子函件時，在步驟S2109用戶輸入目的地電話號碼/地址。接下來在步驟S2110 ASP壓縮數(shù)據(jù)流并且存儲它用于傳送到碼流媒體服務器。在步驟S2111處理完成。無線本地環(huán)路碼流視頻和動畫系統(tǒng)
另外的應用是無線接入到存儲在本地服務器的包含音頻-視頻訓練材料，或者用于無線接入到家庭環(huán)境的諸如音樂視頻之類的音頻-視頻娛樂。在無線發(fā)送碼流中遇到到一個問題是在廣域無線網中的低帶寬容量和相關的高成本問題。碼流高質量視頻利用高鏈路帶寬，可以是通過無線網的一種挑戰(zhàn)。一種代替的解決方法是，在這些環(huán)境中發(fā)送碼流通過廣域網連接到本地無線服務器假脫機收視的視頻，或和一旦已經全部或者部分被接收，通過高容量本地環(huán)路或專用無線網開始無線發(fā)送碼流數(shù)據(jù)到客戶機裝置。
對此用于這種應用的一個實施例是本地無線音樂視頻碼流。用戶從互聯(lián)網下載音樂視頻到連接無線家庭網上的本地計算機中。然后，這些音樂視頻可以被發(fā)送到也是無線連接的客戶機裝置(例如，PDA、耐用計算機裝置)。運行在本地計算機服務器上的軟件管理系統(tǒng)管理視頻庫，并且響應于來自客戶機裝置/PDA的客戶機用戶的命令控制碼流處理。
服務器側軟件管理系統(tǒng)存在著4種主要部分瀏覽結構產生部分；用戶接口部分；碼流控制部分；和網絡協(xié)議部分。瀏覽結構產生部分產生數(shù)據(jù)結構，該結構被用于產生用于瀏覽本地存儲視頻的用戶接口的數(shù)據(jù)結構。在一個實施例中，利用服務器軟件，用戶可以產生多個播放表，這些播放表是由用戶接口部分格式化的，用于發(fā)送到客戶機播放機。另外一種方案，用戶可以按一種分層文件目錄結構存儲視頻數(shù)據(jù)并且通過自動導航目錄結構瀏覽結構部分產生瀏覽數(shù)據(jù)結構。用戶接口部分格式化瀏覽數(shù)據(jù)，用于發(fā)送到客戶機和從客戶機接收命令，該命令被中繼到碼流控制部分。用戶重放控制可以包括‘標準’功能，諸如重放開始、暫停、循環(huán)等。在一個實施例中，用戶接口部分格式化瀏覽數(shù)據(jù)為HTML，而用戶重放控制為訂制格式。在這個實施例中，客戶機用戶接口包括兩個分別的部分HTML瀏覽器處理瀏覽功能，而重放控制功能是由視頻解碼器/播放機控制。在另外的實施例中，在客戶機軟件中不存在分別的功能，并且視頻解碼器/播放機處理所有用戶接口功能。在這種情況下，用戶接口部分格式化瀏覽數(shù)據(jù)為由視頻解碼器/播放機直接理解的訂制格式。
這種應用最適合于在家庭或公司應用中實現(xiàn)訓練或者娛樂的目的。例如，技術員可以利用這種配置獲得音頻-視頻材料，有關怎樣修理或調整有缺陷的裝置，而不必須從工作區(qū)移到在另外房間的計算機操作臺。另外的應用是家庭用戶在他們的院子里悠閑散步的同時，收視高質量音頻-視頻娛樂。返回信道允許用戶從庫中選擇他們希望收視的音頻視頻內容。主要的優(yōu)點是視頻監(jiān)視器是便攜的并因此用戶可以在辦公室或家中自由移動。視頻數(shù)據(jù)流可以象如上所述地包含多個具有交互能力的視頻目標。顯然，這是比電子書本和通過無線蜂窩網碼流發(fā)送的現(xiàn)有技術的明顯改善。面向目標數(shù)據(jù)格式
面向目標多媒體文件格式被指定滿足如下目標
·速度-文件被指定為按高速度修飾。
·簡單性-格式是簡單的，使得快速分析和形成端口容易。另外，通過簡單地添加文件就可以執(zhí)行組合。
·可擴展性-該格式是加標記格式，使得隨著播放機的發(fā)展，可以定義新的包類型，同時仍然與老的播放機相兼容。
·靈活性-從其修飾定義中存在一種數(shù)據(jù)分離，允許總的靈活性，例如改變數(shù)據(jù)速率、和編解碼器中流匆忙運行。
文件按大endian字節(jié)序進行存儲。使用如下數(shù)據(jù)類型
文件流被分為各個包或各個數(shù)據(jù)塊。每個包被包圍在類似于Quicktime中的原子概念的容器中，但不分層。一個容器由規(guī)定有效負荷類型的BaseHeader記錄和某些輔助包控制信息和數(shù)據(jù)有效負荷的尺寸組成。有效負荷類型定義在流中的各種包。這種規(guī)則的一個例外是用于端對端網絡鏈路管理的SystemControl包。這些包由沒有有效負荷的BaseHeader組成。在這種情況下，有效負荷尺寸字段被重新翻譯。在流通過電路交換網絡的情況下，一個預備的附加網絡容器通過提供同步和檢查和被用于實現(xiàn)差錯恢復。
在比特流中存在著4種主要包的類型數(shù)據(jù)包、定義包、控制包、和各種類型的元數(shù)據(jù)包。定義包用于傳送媒體格式和被用于翻譯數(shù)據(jù)包的編解碼器信息。數(shù)據(jù)包傳送由選擇的應用程序待解碼的壓縮數(shù)據(jù)。因此，適合的定義包在每個規(guī)定數(shù)據(jù)類型的任何數(shù)據(jù)包之前。定義修飾和動畫參數(shù)的控制包出現(xiàn)在定義包之后，但在數(shù)據(jù)包之前。
從概念上講，面向目標數(shù)據(jù)可以被認為是由3個交叉的主要數(shù)據(jù)流組成，即定義、數(shù)據(jù)、控制流。元數(shù)據(jù)是任選的第四個流。這些3個主要流交互以產生最后的音頻視頻表示，提供給用戶。
所有文件從SceneDefinition塊開始，該塊定義AV場景空間為將被修飾的任何音頻或視頻流或目標。元數(shù)據(jù)和目錄包含有關于由數(shù)據(jù)和定義包包含的數(shù)據(jù)的附加信息，幫助瀏覽各個數(shù)據(jù)包。如果任何元數(shù)據(jù)塊存在，它們出現(xiàn)在緊接著SceneDefinition包之后。如果不存在元數(shù)據(jù)包的話，目錄包緊接著元數(shù)據(jù)包或者SceneDefinition包。
文件格式允許不同媒體類型的綜合，當來自遠端服務器碼流數(shù)據(jù)或者接入本地存儲內容兩者時，支持面向目標交互。為此，可以定義多場景并且每個可以同時含有多達200個分別的媒體目標。這些目標可能是單一媒體類型的，例如視頻、音頻、文本或矢量圖形，或者是這些媒體類型的組合產生的組合體。
如圖4所示，文件結構定義各個實體的分層文件含有一個和多個場景，每個場景可以含有一個或多個目標，并且每個目標可以含有一個或多個幀。實際上，每個場景由多個獨立交叉的數(shù)據(jù)流組成，每個目標之一由多個幀組成。每個流由多個定義包之一組成，接著數(shù)據(jù)和所有都具有相同object id號的各個控制包。流語法有效包類型
BaseHeader按照有效負荷允許總數(shù)達255個不同包類型。這個部分定義對于有效包類型的包格式，列于下表中。
BaseHeader
短的BaseHeader是用于比65536字節(jié)更短的包
長BaseHeader將支持從64K到0xFFFFFFFF字節(jié)的包
系統(tǒng)BaseHeader是用于端對端網絡鏈路管理
總尺寸是6到10字節(jié)
SceneDefinition
總尺寸是14字節(jié)
MetaData目錄
這是WORD或DWORD的陣列。尺寸是由BaseHeader包中的長度字段規(guī)定的。
VideoDefinition
總尺寸是10字節(jié)
AudioDefinition
總尺寸是8字節(jié)
TextDefinition
總尺寸是16字節(jié)
GrafDefinition
總尺寸是12字節(jié)VidieoKev、VidieoData、Audiodata、TextData、GrafData and MusicDataStreamEnd
總尺寸是6字節(jié)
UserControl
總尺寸是8+字節(jié)
ObjctControl
ObjLibCtrl
語義
BaseHeader
這是在流中所有信息包的容器。
Type-BYTE
描述-按照上述定義規(guī)定包中有效負荷的類型
有效值從0到255，見下面有效負荷類型表
Obj_id-BYTE
描述-目標ID-定義范圍-這個包中屬于哪個目標。
還定義在255個步驟中的Z序，朝收視者增加
多達4個不同媒體類型可以共享相同Obj_id。
有效值在SceneDefinition中定義0-NumObjs(最大200)個NumObjs
201-253保留給系統(tǒng)使用
250目標庫
251保留
252流的目錄
253場景的目錄
254這個場景
255這個文件
Seq_no-word
描述-幀序號，在一個目標內每個媒體類型的單獨序列。序列號是在每個新的SceneDefinition包以后重新開始的。
有效值0-0xFFFF
Flag(任選)-WORD
描述-用于指示長的BaseHeader包
有效值0xFFFF
Lengh-WORD/D WORD
用于指示按字節(jié)的有效負荷長度，(如果標志設置包尺寸＝長度+0xFFFF)
有效值0x0001-0xFFF，如果標志設置0x0000001-0xFFFFFFFF，0-保留用于Endof File/Stream 0xFFFF
Status-WORD
使用SysControl數(shù)據(jù)類型標志，用于端對端鏈路管理。
有效值從0到65535SceneDefinition這個定義AV場景空間性質，將播放視頻和音頻目標。Magic-BYTE[4]描述-用于格式確認，有效值ASKY＝0x41534B59
Version-BYTE
描述-用于系統(tǒng)格式確認，
有效值0-255(當前＝0)
Compatible-BYTE
描述-哪個是可以讀這種格式的最小播放機
有效范圍0-版本
Width-WORD
描述-像素中的SceneSpace寬度
有效范圍0x0000-0xFFFF
Height-WORD
描述-像素中的SceneSpace高度
有效范圍0x0000-0xFFFF
BackFill-(保留)WORD
描述-背景場景填充(位映射、實色、傾斜)
有效范圍0x1000-0xFFFF，實色按15比特格式，另外低序BYTE定義矢量目標的目標id，和高序BYTE(0-15)是傾斜填充風格表的索引。這個矢量目標定義出現(xiàn)在任何數(shù)據(jù)控制包之前。
NumObjs-BYTE
描述-在這個場景中有多少數(shù)據(jù)目標
有效范圍0-200(201-255保留用于系統(tǒng)目標)
Mode-BYTE
描述-幀播放模式比特字段
比特[7]播放狀態(tài)-暫停＝1，播放＝0//連續(xù)播放或步進
比特[6]保留作變焦-最好＝1，通常＝0//播放變焦
比特[5]保留做數(shù)據(jù)存儲-活動的＝1，存儲的＝0//正在發(fā)碼流？
比特[4]保留發(fā)碼流-可靠的＝1，最好試試＝0//是否發(fā)的碼流可靠
比特[3]保留數(shù)據(jù)源-視頻＝1，薄的客戶機＝1//始發(fā)源
比特[2]保留交互-允許＝1，不允許＝0
比特[1]保留
比特
庫場景-該庫場景1＝是，0＝否
MetaData
這個規(guī)定與實體文件、場景或者與個別AV目標相關的元數(shù)據(jù)。因為這些文件可以被連接，不保證在文件范圍內元數(shù)據(jù)塊在過去的場景是有效的。但是，簡單地比較文件的尺寸與在這個元數(shù)據(jù)包中的SCENESIZE字段可以確認這個。
在BaseHeader中的OBJ_ID字段定義元數(shù)據(jù)包的范圍。這個范圍可以是整個文件(255)、單一場景(254)、或個別的視頻目標(0-200)。因此，如果在文件中出現(xiàn)元數(shù)據(jù)包，它們出現(xiàn)在緊接著SceneDefinition包的flock(packs？)中。
NumItem-WORD
描述-在文件/場景中的場景/幀數(shù)。場景范圍NumItem包含多個具有obj_id的視頻目標的幀。
有效范圍0-65535(0＝未規(guī)定)
SceneSize-DWORD
描述-包含在文件/場景/目標中的字節(jié)中自包含的尺寸
有效范圍0x0000-0xFFFFFFFF(0＝未規(guī)定)
SceneTime-WORD
描述-按秒計的文件/場景/目標播放時間
有效范圍0x0000-0xFFFF(0＝未規(guī)定)
BitRate-WORD
描述-這個文件/場景/目標的按kbit/秒的比特速率，
有效范圍0x0000-0xFFFF(0＝未規(guī)定)
MetaMask-(保留的)DWORD
描述-按如下次序規(guī)定任選的32元數(shù)據(jù)字段的比特字段，
比特值[31]標題
比特值[30]創(chuàng)建者
比特值[29]創(chuàng)建日期
比特值[28]版權
比特值[27]速率
比特值[26]編碼器ID
比特值[26-27]保留
標題-(任選)BYTE[]
描述-多達254個字符的串
創(chuàng)建者-(任選)BYTE[]
描述-多達254個字符的串
日期-(任選)BYTE[8]
描述-按ASCII＝>DDMMYYYY的創(chuàng)建日期
版權-(任選)BYTE[8]
描述-多達254個字符的串
速率-(任選)BYTE
描述-BYTE規(guī)定0-255
目錄
這是對整個文件或者對場景規(guī)定目錄信息。因為文件可以連接，不保證具有文件范圍的元數(shù)據(jù)塊在過去的場景是有效的。但是，簡單地比較文件尺寸與元數(shù)據(jù)包中的SCENESIZE字段可以確認。
在BaseHeader中的OBJ_ID字段定義目錄包的范圍。如果OBJ_ID字段的值小于200，則該目錄是對于視頻數(shù)據(jù)目標的關鍵幀的序列號的表(WORD)。否則，該目錄是系統(tǒng)目標的一個位置表。在這種情況下，表的項目是字節(jié)(DWORD)中從文件開始的相關偏移(對于場景的目錄和目錄)或者對于其它系統(tǒng)目標的場景。表中的項目數(shù)和表的尺寸可以從BaseHeader包中的LENGTH字段計算。
類似于元數(shù)據(jù)包，如果目錄包在文件中出現(xiàn)，則它們出現(xiàn)在緊接著SceneDefinition或Metadata包的flocks(packs？)中。
VideoDefinition
編解碼器-BYTE
描述-壓縮類型
有效值從0到255Frate-BYTE描述-按1/5秒(即，最大＝51fps，最小＝0.2fps)的幀播放速率有效值1-255，播放/開始播放，如果停止0-停止播放
Width-WORD
描述-視頻幀中像素多寬
有效值0-65535
Height-WORD
描述-視頻幀中像素多高
有效值0-65535
Times-WORD
描述-從場景開始按50ms分辨率的時間標記(0＝未規(guī)定)
有效值1-0xFFFFFFFF(0＝未規(guī)定)
AudioDefinition
編解碼器-BYTE
描述-壓縮類型
有效值1(0＝未規(guī)定)
Format-BYTE
描述-這個BYTE被分裂為2個獨立定義的單獨字段。上4個比特定義音頻格式(格式＞＞4)而下4個比特分別定義樣值速率(格式&0xF)。
低位4個比特，值從0到15，取樣速率
比特4-5，值從0到3，格式
高位2個比特(6-7)，值從0到3，特殊的
Fsize-WORD
描述-每幀樣值
有效值0-65535
Times-WORD
描述-從場景開始按50ms分辨率的時間標記(0＝未規(guī)定)
有效值1-0xFFFFFFFF(0＝未規(guī)定)
Text Definition
我們需要包括寫方向，它可以是LRTB、RLTB、TBRL、或TBLR。這可以利用文本的主體中的特殊字母代碼指示方向，例如我們可以利用DC1-DC4(ASCII裝置控制代碼17-20)完成這個任務。我們還需要具有在位映射字型的開始下載的字型表。取決于播放機運行平臺，修飾可以忽略位映射字型或者試圖使用位映射字型修飾文本。如果沒有位映射字型表或者如果被播放機忽略，修飾系統(tǒng)將自動使用操作系統(tǒng)文本輸出功能修飾文本。
Type-BYTE
描述-定義多少文本數(shù)據(jù)在低半字節(jié)(Type & 0x0F)翻譯和在高半字節(jié)(Type＞＞4)的壓縮方法
低半字節(jié)，值從0到15，類型-翻譯高位4比特，值從0到15，壓縮方法
Fontlnfo-BYTE
描述-在低半字節(jié)的尺寸(FontInfo & 0x0F)，在高半字節(jié)的風格(FontInfo＞＞4)
如果類型是WML或HTML，這個字段忽略。
低位4比特，值0-15 FontSize
高位4比特，值0-15 FontSyle
Colour-WORD
描述-文本表面色
有效值0x0000-0xEFFF，15比特RGB(R5、G5、B5)0x8000-0x80FF中的色，色作為VideoData LUT(0x80FF＝透明)中的索引
0x8100-0xFFFF保留
BackFill-WORD
描述-背景色
有效值0x0000-0xEFFF，15比特RGB(R5、G5、B5)0x8000-0x80FF中的色，色作為VideoData LUT(0x80FF＝透明)中的索引
0x8100-0xFFFF保留
Bounds-WORD
描述-字符單元中的文本邊界框(框架)，寬度按LoByte(Bound&0x0F)，和高度按HiByte(Bound＞＞4)。文本將利用寬度限制(wrap)和高度剪切。
有效值寬度＝1-255，高度＝1-255，寬度＝0-不執(zhí)行限制，高度＝0-不執(zhí)行剪切
Xpos-WORD
描述-如果定義，pos涉及目標來源，否則涉及0，0
有效值0x0000-OxFFFF
Ypos-WORD
描述-如果定義，pos涉及目標來源，否則涉及0，0
有效值0x0000-OxFFFF
注意在0x80F0-0x80FF范圍內的色是加入VideoData LUT的無效色索引，因為它們僅支持到240色。因此，它們按照如下表翻譯。根據(jù)這個表按照最好的可能，這些色應當被映射到特定裝置/OS系統(tǒng)色。在標準Palm OS UI中，僅使用8色并且這些色的某些色類似于其它平臺，但不相同，這是表示不保持固定狀態(tài)。丟失的8色將必須通過應用程序進行設置。
GrafDefinition
這個包含有基本動畫參數(shù)。實際圖形目標定義被包含在GrafData包中，并且動畫控制包含在objControl包。
Xpos-WORD
描述-如果定義，Xpos涉及目標來源，否則涉及0，0
有效值
Ypos-WORD
描述-如果定義，Xpos涉及目標來源，否則涉及0，0
有效值
FrameRate-WORD
描述-按8.8fps的幀延遲
有效值
FrameSize-WORD
描述-按兩倍ps(1/20pel)的幀尺寸-用于確定比例以適應場景空間
有效值
FrameCount-WORD
描述-在這個動畫中有多少幀
有效值
Time-DWORD
描述-從場景開始按50ms分辨率進行時間標記
有效值
VideoKey、VideoData、VideoTrp和AudioData
這些包含有編解碼器特殊的壓縮數(shù)據(jù)。
緩沖器尺寸將從在VideoDefn和AudioDefn包傳送的信息中確定。在遠處的TypeTag VideoKey包類似于VideoData包，不同僅在于它們能夠編碼透明區(qū)-VideoKey幀沒有透明區(qū)。在類型定義上的區(qū)別使得在文件分析級別上關鍵幀是可視的，容易瀏覽。VideoKey包是VideoData包序列的整體部件；一般它們散布在VideoData包序列之中，作為相同包序列的部分。VideoTrp包代表對于視頻流非實質性的幀，因此它們可以被Syk解碼引擎丟棄。
TextData
文本數(shù)據(jù)包包含用于將被修飾的文本的ASCII字符碼。無論哪種襯線(serif)系統(tǒng)字型是可用的，一個客戶機裝置將被用于修飾這些字型。因為成比例的字型要求附加的處理進行修飾，襯線字型將是可以使用的。在特殊襯線系統(tǒng)的字型風格是不可以使用的情況下，則將使用最接近匹配的可用字型。
無格式文本被直接修飾，不用任何翻譯。規(guī)定如下的非LF(新行)字符的白空格字符和用于表格與形式的空格與其它特殊碼都被忽略并且跳過。所有文本在場景邊界進行剪裁。
邊界框定義文本如何進行限制功能。文本將利用寬度進行限制和如果超高進行剪裁。如果邊界寬度是0，則不進行限制。如果高度是0，則不進行剪裁。
表數(shù)據(jù)類似于具有LF例外的無格式文本進行處理，被用于行的結束，并且CR字符被用于表示列中斷。
WML和HTML根據(jù)它們各自的標準進行翻譯，并且在這些格式中規(guī)定的字型風格被忽略。在WML和HTML中不支持圖象。
為了獲得碼流文本數(shù)據(jù)，新的TextData被發(fā)送，更新相關的目標。另外在正常文本動畫中，可以利用ObjectControl包定義TextData的修飾。
GrafData
這個包含有用于圖形動畫的有所有圖形形狀和風格定義。這是非常簡單的動畫數(shù)據(jù)類型。每個形狀是由路徑、某些屬性和畫法風格定義的。一個圖形目標可以包含任何一個GraphData包中的路徑陣列。這個圖形目標的動畫可以通過清除或者替換個別的形狀記錄陣列整體在下一幀中發(fā)生，利用執(zhí)行CLEAR和SKIP路徑類型，還可以執(zhí)行把新的記錄增加到陣列。
GrafData Packet
ShapeRecordPath-BYTE描述-設置在高半字節(jié)中的形狀路徑和低半字節(jié)中的#頂端低位4比特值0-15，多路徑中的頂端數(shù)高位4比特值ENUMERATED0-15定義路徑形狀
Style-BYTE
描述-定義路徑如何翻譯
低位4比特值0-15行密度
高位4個比特BITFIELD路徑修飾參數(shù)。所有默認沒有表示出形狀，使得按照不可見熱區(qū)進行操作。
比特[4]CLOSED-如果設置該比特，則路徑關閉
比特[5]FILLFLAT-默認不填充-如果填充，則不操作
比特[6]FILLSHADE-默認不填充-如果填充，則不操作
比特[7]LINECOLOR-默認不概述
UserControl
用于控制用戶系統(tǒng)和用戶目標交互事件。用作反向信道返回用戶交互到服務器，影響服務器側的控制。但是，如果文件不是發(fā)碼流進行的，這些用戶交互由客戶機處理。在每個包中對于用戶目標控制可以定義多個動作。在這個版本中定義如下動作。用戶目標交互不需要規(guī)定，除了通知服務器交互已經發(fā)生，因為服務器知道哪些動作是有效的。
用戶目標交互取決于，當由用戶點擊時每個目標的哪個被定義。通過ObjectControl消息的媒體播放機可以知道這些動作。如果不知道，它們可以被傳送到在線服務器用于處理。利用用戶-目標交互在BaseHeader obj_id字段指示相關目標的識別。這應用OBJCTRL和FORMDATA事件類型。對于用戶-系統(tǒng)交互，obj_id字段的值是255。在UserControl包中的事件類型規(guī)定按鍵、HiWord和LoWord數(shù)據(jù)字段的翻譯。
Event-BYTE
描述-用戶事件類型
有效值從0到255
按鍵、HiWord和LoWord-BYTE、WORD、WORD
描述-用于不同事件類型的參數(shù)數(shù)據(jù)
有效值這些字段翻譯如下
Time-WORD
描述-用戶事件的時間＝被激活目標的序列號
有效值0-0xFFFF
Data-(RESERVED-OPTIONAL)
描述-來自形式目標的文本串
有效值0…65535字節(jié)長度
注示在播放業(yè)已暫停但重復按暫停的PLAYCTRL事件的情況下，應當從服務器調用幀前置響應。停止應當將播放復位，到文件/流的開始。
ObjectControl
ObjectControl包被用于定義目標-場景和系統(tǒng)場景的交互。它們還具體定義如何修飾目標和如何播放場景。一個新的OBJCTRL包被用于每個幀，對個別目標布局定座標。在每個包中對每個包中可以定義多個動作。在這個版本中定義如下動作
·Control-BYTE
°描述-比特字段-控制屏蔽定義對目標級別和系統(tǒng)級別操作的控制。接著ControlMask是指示受影響目標的目標id的任選參數(shù)。如果沒有受影響的規(guī)定目標ID，則受影響id是基本首端的目標id。接著ControlMask的ActionMask(目標或系統(tǒng)范圍)的類型是由受影響的目標id確定的。
■比特[7]CONDITION-執(zhí)行這些動作需要哪個
■比特[6]BACKCOLR-設置目標背景色
■比特[5]PROTECT-限制用戶對場景目標的修改
■比特[4]JUMPTO-用另外的替換一個目標的源流
■比特[3]HYPERLINK-設置超鏈路對象
■比特[2]OTHER-受影響目標的目標id將接著(255＝系統(tǒng))
■比特[1]SETTIMER-設置定時器和開始下計數(shù)
■比特
EXTEND-保留用于將來擴展
·ControlObject-BYTE(任選)
°描述受影響目標的ID。如果ControlMask的比特被設置，則被包括
°有效值0-255
·Timer-WORD(任選)
°描述上半字節(jié)＝定時器號，下12比特＝時間設置
°上半字節(jié)，有效值0-15對于這個目標的定時器號
°下12比特有效值范圍0-4096時間設置，按100ms步進
·ActionMask[OBJECT scope]-WORD
°描述-比特字段-定義在這個記錄和如下參數(shù)中規(guī)定哪個動作。對其它系統(tǒng)范圍的一個目標存在兩個版本。這個字段定義應用到媒體目標上的動作。
°有效值對在ActionMask16中16比特之一的每個目標識別將要采取的一個動作。如果設置一個比特，則附加相關參數(shù)值接著這個字段。
■比特[15]BEHAVIOR-指示這個動作和條件保持該目標，即使該動作已經執(zhí)行后
■比特[14]ANIMATE-定義路徑的多控制點將如下
■比特[13]MOVETO-設置動作位置
■比特[12]ZORDER-設置深度
■比特[11]ROTATE-3D取向
■比特[10]ALPHA-透明度
■比特[9]SCALE-比例/尺寸
■比特[8]VOLUME-設置響度
■比特[7]FORECOLR-設置/改變前景色
■比特[6]CTRLLOOP-重復下面的#動作(如果另設置ENDLOOP)
■比特[5]ENDLOOP-如果循環(huán)控制/動畫，則中斷
■比特[4]BUTTON-用按鈕定義penDown圖象
■比特[3]COPYFRAME-從目標復制幀到這個目標(檢查框)
■比特[2]CLEAR_WATTING_ACTIONS-清等待動作
■比特[1]OBJECT_MAPPING-規(guī)定各個流之間的目標映射
■比特
ACTIONEXTEND-擴展動作屏蔽跟隨
·ActionExtend[OBJECT范圍]-WORD
°描述-比特字段-保留
·ActionMask[SYSTEM范圍]-BYTE
°描述-比特字段-定義哪個動作被規(guī)定在這個記錄和接著的參數(shù)中。對其它系統(tǒng)范圍的一個目標存在兩個版本。這個字段定義具有場景寬度范圍的動作。
°有效值對在ActionMask中16比特之一的每個系統(tǒng)識別將要采取的一個動作。如果設置一個比特，則附加相關參數(shù)值接著這個字段。
■比特[7]PAUSEPLAY-是否播放暫停
■比特[6]SNDMUTE-如果發(fā)聲則靜音，如果靜音則有聲
■比特[5]SETFLAG-設置用戶可指定的系統(tǒng)標志值
■比特[4]MAKECALL-改變/打開物理信道
■比特[3]SENDDTMF-在語音呼叫中發(fā)DTMF音調
■比特[2-0]-保留
·Params-BYTE陣列
°描述-比特陣列。在上述比特字段中定義的主要動作使用附加參數(shù)。被設置的由比特字段值指示的所用參數(shù)被按與用于屏蔽的從上(15)到下(0)的比特字段相同次序規(guī)定在這里。ActionMask則[Object/System]Mask(除了在兩個之間業(yè)已規(guī)定的受影響的objectid外)。這些參數(shù)可以包括任選字段，這些在下表中表示為黃色的行。
°CONDITION比特-由鏈接在一起的一個或多個狀態(tài)記錄組成，每個記錄還可以在其后具有任選的幀號字段。每個記錄中的各個條件被邏輯“與”。為了更大的靈活性，附加記錄可以通過比特0進行鏈接，產生邏輯“或”條件。除此以外，對于產生多個用于每個目標的條件控制路徑的任何一個目標，多個不同定義記錄可以存在?！鉇NIMATE比特設置-如果設置動畫比特，則動畫參數(shù)接著規(guī)定時間和動畫插值。動畫比特還影響存在于這個控制的MOVETO、ZORDER、ROTATE、ALPHA、SCALE、和VOLUME參數(shù)。對于每個參數(shù)將有多個值，每個控制點一個值?！鉓OVETO比特設置°ZORDER比特設置°ROTATE比特設置°ALPHA比特設置°SCALE比特設置°VOLUME比特設置°BACKCOLR比特設置°PROTECT比特設置°CTRLLOOP比特設置°SETFLAG比特設置°HYPERLINK比特設置°JUMPTO比特設置°BUTTON比特設置°COPYFRAME比特設置
°OBJECTMAPPING比特設置-當一個目標跳到另外的流時，該流可以使用與當前場景不同目標id。因此目標映射規(guī)定為在含有JUMPTO命令的相同包中?！鉓AKECALL比特設置°SENDDTMF比特設置
注示
·沒有用于PAUSEPLAY和SNDMUTE動作的參數(shù)，因為它們是二進制標志。
·通過在初始透明設置的額外圖象目標可以產生按鈕狀態(tài)。當用戶點擊按鈕目標時，則這個目標被不可見目標替換，即利用按鈕行為字段設置可見的目標并且當筆抬起時回到原來的狀態(tài)。
ObjLibControl
ObjLibCtrl包被用于控制播放機維持的持久本地目標庫。在一個場景中，在一個場景中，本地目標庫可以被認為是存儲資源?？倲?shù)200個用戶目標和55個系統(tǒng)目標可以被存儲在每個庫中。在重放期間利用object_id＝250目標庫可以對于場景直接進行尋址。目標庫是非常強有力的并且不像字型庫，支持持久和自動收集垃圾兩者。
通過組合具有設置在Mode比特字段[比特0]中的ObjLibrary比特的ObjLibCtrl包和SceneDefn包，將各個目標插入目標庫。在SceneDefn包中設置這個比特告訴播放機，接著這個比特的數(shù)據(jù)將不直接進行播出，而是為了增殖目標庫。用于目標庫的實際目標數(shù)據(jù)不以任何特殊方式打包，而仍然由定義包和數(shù)據(jù)包組成。差別是現(xiàn)在存在用于每個目標的相關的ObjLibCtrl包，指令播放機在場景中用目標數(shù)據(jù)作哪些事情。每個ObjLibCtrl包含有對基本首端中具有相同object_id的目標的管理信息。一種ObjLibCtrl包的特殊情況是在基本首端中的object_id設置為250。這些被用于傳送庫系統(tǒng)管理命令到播放機。
描述在這里的本發(fā)明可以根據(jù)提供的規(guī)范技術應用通用數(shù)字計算機或者本說明發(fā)描述編程微處理器方便地實施，以及對于計算機領域的技術人員將是顯而易見的。由熟練的編程員根據(jù)本發(fā)明提供的技術可以制備適當?shù)能浖幋a，這對本專業(yè)的技術人員也是顯而易見的。本發(fā)明還可以通過制備專用集成電路或者通過互聯(lián)常規(guī)部件電路的適當網絡來實施，這對本專業(yè)的技術人員也是顯而易見的。應當注意到，本發(fā)明不僅包括披露在這里的編碼處理和系統(tǒng)，而且還包括對應的解碼系統(tǒng)和處理，后者可以操作解碼編碼的比特流或由編碼產生的文件實現(xiàn)的，而后者基本上是避開編碼的某些步驟的編碼的相反次序的操作。
本發(fā)明包括計算機程序產品或制造的物品，它們是包含指令的存儲介質，這些指令可以用于編程計算機或者計算裝置，以執(zhí)行本發(fā)明的處理過程。存儲介質可以包括，但不限于任何類型的盤，包括軟盤、光盤、CD-ROM、和磁光盤、ROM、RAM、EPROM、EEPROM、磁或光卡、或者適于存儲電子指令的任何類型的媒介。本發(fā)明還包括由本發(fā)明的編碼處理產生的數(shù)據(jù)或信號。這種數(shù)據(jù)或信號可以是以電磁波的形式或者存儲在適于的存儲媒介中的。
在不脫離這里所描述的本發(fā)明的精神和范圍的情況下，本專業(yè)的技術人員作出許多修改將是顯而易見的。
權利要求
1.一種產生面向目標交互多媒體文件的方法，包括
編碼至少由視頻、文本、音頻、音樂和/或圖形單元之一組成的數(shù)據(jù)分別作為視頻包流、文本包流、音頻包流、音樂包流和/或圖形包流；
組合所述包流為單一自包含的目標，所述目標含有其自己的控制信息；
放置多個所述目標到數(shù)據(jù)流中；以及
在單一鄰近的自包含場景中，分組一個或多個所述數(shù)據(jù)流，所述場景包括作為包序列中的初始包的格式定義。
2.按照權利要求1的產生交互多媒體文件的方法，包括組合一個或多個所述場景。
3.按照權利要求1的產生交互多媒體文件的方法，其中單一場景含有目標庫。
4.按照權利要求1的產生交互多媒體文件的方法，其中用于組成可訂制的解壓變換的數(shù)據(jù)包含在所述目標中。
5.按照權利要求1的產生交互多媒體文件的方法，其中目標控制數(shù)據(jù)被附加到交叉到視頻比特流中的各個目標上，并且所述目標控制數(shù)據(jù)控制交互行為、修飾參數(shù)、組合、以及壓縮數(shù)據(jù)的翻譯。
6.按照權利要求1的產生交互多媒體文件的方法，包括分層目錄結構，其中包含場景信息第一級別目錄數(shù)據(jù)包括有所述第一場景，包含流信息的第二級別目錄數(shù)據(jù)包括有一個或多個所述場景，并且其中包含識別幀內位置信息的第三級別目錄數(shù)據(jù)包括在所述數(shù)據(jù)流中。
7.一種產生面向目標交互多媒體文件的方法，包括
編碼至少由視頻和音頻單元之一組成的數(shù)據(jù)分別作為視頻包流和音頻包流；
組合所述包流為單一自包含組態(tài)目標；
放置所述目標在數(shù)據(jù)流中；
放置所述流到單一鄰近的自包含場景中，所述場景包括格式定義；和
組合多個所述場景。
8.按照權利要求1的產生交互多媒體文件的方法，其中所述目標控制數(shù)據(jù)采取消息包圍在目標控制包中的形式并且代表下列的參數(shù)用于修飾視頻和圖形目標，用于定義所述各個目標的交互行為，用于產生到所述目標和從所述目標的超鏈接，用于定義所述目標的動畫路徑，用于定義動態(tài)媒體組合參數(shù)，用于分配各個值到用戶變量，用于重新定向或重新定標與各個目標交互和從一個目標到另一個目標的其他控制的結果，用于附加可執(zhí)行的行為到各個目標，包括語音呼叫和啟動與停止定時器，以及用于定義控制動作執(zhí)行的各個條件。
9.按照權利要求7的產生交互多媒體文件的方法，其中修飾參數(shù)代表目標的透明度、比例、音量、位置、Z-序、背景色和旋轉，在此，所述動畫路徑影響任何所述修飾參數(shù)，所述超鏈路支持到另外視頻文件、在一個文件中的單個場景、和在一個場景中的作為對象的其他目標流的非線性視頻和鏈路，所述交互行為數(shù)據(jù)包括播放的暫停和循環(huán)播放、返回用戶信息到服務器、激活或者去激活目標動畫、定義菜單、和可以寄存各個用戶選擇的簡單形式。
10.按照權利要求7的產生交互多媒體文件的方法，其中提供修飾動作或目標行為的有條件執(zhí)行，各個條件采取定時器事件、用戶事件、系統(tǒng)事件、交互事件、各個目標之間關系事件、用戶變量、和諸如播放、暫停、發(fā)碼流或獨立播放之類的各個系統(tǒng)狀態(tài)。
11.一種從非靜止三維數(shù)據(jù)集到一維的實時映射方法，包括以下各個步驟
預計算所述數(shù)據(jù)，編碼所述映射；
發(fā)送編碼的映射到客戶機；和
所述客戶機應用所述映射到所述數(shù)據(jù)。
12.按照權利要求11的從非靜止三維數(shù)據(jù)集到一維的實時映射方法，其中所述數(shù)據(jù)集包括色視頻幀和所述預計算包括矢量量化處理；
在映射處理中對于每個單元確定最接近的碼簿矢量；
利用8元樹表示執(zhí)行所述編碼；
發(fā)送所述編碼的8元樹到解碼器；和
然后所述解碼器對所述數(shù)據(jù)集施加映射。
13.一種交互多媒體文件格式，該格式含有單個的包含視頻、文本、音頻、音樂、和/或圖形數(shù)據(jù)的單個目標，其中所述各個目標的至少一個包括數(shù)據(jù)流，并且所述數(shù)據(jù)流的至少一個包括一個場景，所述場景的至少一個包括文件，并且其中目錄數(shù)據(jù)和元數(shù)據(jù)提供文件信息。
14.一種在面向目標交互視頻系統(tǒng)中動態(tài)改變顯示視頻的實際內容的系統(tǒng)，包括
動態(tài)媒體組合處理，包括包含各個目標的交互多媒體文件格式，該目標含有視頻、文本、音頻、音樂、和/或圖形數(shù)據(jù)，其中所述各個目標的至少一個包含數(shù)據(jù)流，所述數(shù)據(jù)流的至少一個包含場景，所述場景的至少一個包含文件；
用于提供文件信息的目錄數(shù)據(jù)結構；
用于允許要組合在一起的各個目標正確組合的選擇機制；
用于根據(jù)所述目錄信息利用目錄信息并了解所述目標位置的數(shù)據(jù)流管理器；
用于在由用戶收視的同時，實時地插入、刪除、或替換所述場景中的所述目標和所述視頻中的場景的控制機制；
15.按照權利要求14的系統(tǒng)，包括非連續(xù)訪問能力的遠端服務器，用于從每個目標流中選擇適當數(shù)據(jù)部分的選擇機制，用于放置所述數(shù)據(jù)部分到最后組合的數(shù)據(jù)流中的交叉機制，和用于發(fā)送所述最后組合的流到客戶機的無線傳輸機制。
16.按照權利要求14的系統(tǒng)，包括非連續(xù)訪問能力的遠端服務器，包括用于執(zhí)行從所述遠端服務器傳送到所述系統(tǒng)的庫管理指令的機制，所述服務器能夠詢問所述庫和接收關于其中含有規(guī)定目標的信息，并且插入、更新、或刪除所述庫內容；并且如果要求的話，所述動態(tài)媒體組合引擎能夠同時從所述庫和遠端服務器兩者來源目標數(shù)據(jù)流。
17.按照權利要求14的系統(tǒng)，包括提供離線播放模式的本地服務器
用于在本地文件中存儲適當數(shù)據(jù)部分的存儲機制；
用于從分別的源選擇適當數(shù)據(jù)部分的選擇機制；
本地數(shù)據(jù)文件包括用于連續(xù)存儲在所述文件中的每個場景的多個流；
用于所述本地服務器隨機地訪問所述場景中的每個流的訪問機制；
用于選擇進行修飾的所述目標的選擇機制；
用于能夠從所述遠端服務器管理的動態(tài)媒體組合的持久目標庫，利用全數(shù)字權限管理信息所述目標能夠存儲在所述庫中；
可用于客戶機的軟件，用于執(zhí)行從遠端服務器傳送庫管理指令到客戶機，所述服務器能夠詢問所述庫并接收關于包含在其中的特定目標的信息，并且插入、更新、或刪除所述庫的內容；和
所述動態(tài)媒體組合引擎能夠從所述庫和遠端服務器兩者同時來源目標數(shù)據(jù)流。
18.按照權利要求14的系統(tǒng)，其中每個所述流包括一個流結束包，用于劃界流邊界，在所述場景中的所述第一流含有所述場景中的所述目標的描述；
所述場景中的目標控制包提供用于與不同流的特定目標交互、改變源數(shù)據(jù)的信息；
在所述服務器中的讀出機制，用于當執(zhí)行本地重放時，從所述文件中同時讀出多于一個的流；和
用于管理陣列或各流的鏈接表的機制，數(shù)據(jù)流管理器能夠從每個流中按循環(huán)方式讀出一個包；用于在所述文件中存儲當前位置的存儲機制；和用于存儲各個參考目標的表的存儲機制。
19.按照權利要求14的系統(tǒng)，其中數(shù)據(jù)被碼流發(fā)送到媒體播放機客戶機，所述客戶機能夠解碼從遠端服務器接收的包和送回用戶操作到所述服務器，所述服務器響應于用戶的諸如點擊之類的操作，并且修改發(fā)送到客戶機的所述數(shù)據(jù)，每個所述場景含有由一個或多個目標組成的單一的被復用的流，所述服務器根據(jù)客戶機請求通過復用多個目標數(shù)據(jù)流能夠實時地組合各個場景，以對任何給度場景構成一個單一復用的流，并且無線發(fā)送碼流到所述客戶機用于重放。
20.按照權利要求14的系統(tǒng)，包括用于同時播放多個視頻目標的播放機制，每個所述視頻目標能夠從不同源始發(fā)，所述服務器能夠打開每個所述源、交叉比特流、增加適當控制信息和傳送新的組合流到所述客戶機。
21.按照權利要求14的系統(tǒng)，包括數(shù)據(jù)源管理器，能夠隨機訪問所述源文件、從需要組合顯示場景的所述各個流中讀出正確數(shù)據(jù)和控制包，并且包括服務器復用器，能夠從具有單一輸入端的多源管理器和從所述動態(tài)媒體組合引擎接收輸入，所述復用器能夠從所述源復用各個目標數(shù)據(jù)在一起并插入附加的控制包到所述數(shù)據(jù)流中，用于控制組合的場景中的各個組成目標的修飾。
22.按照權利要求14的系統(tǒng)，包括XML分析器，能夠通過IAVML源程序，可編程地對所述動態(tài)媒體組合進行控制。
23.按照權利要求14的系統(tǒng)，其中所述遠端服務器能夠從服務器操作員接受多個輸入，以進一步控制和訂制所述動態(tài)媒體組合處理，所述輸入包括用戶概況、人口統(tǒng)計、地理位置、或一天的時間。
24.按照權利要求14的系統(tǒng)，其中所述遠端服務器能夠從服務器操作員接受多個輸入，以進一步控制和訂制所述動態(tài)媒體組合處理，所述輸入包括用戶交互的記錄，諸如哪些廣告對用戶是成功的知識。
25.一種面向目標交互多媒體文件，包括
一個或多個連續(xù)的自包含場景的組合；
每個所述場景包括作為第一包的場景格式定義，和接著所述第一包的一個或多個數(shù)據(jù)流組；
每個所述數(shù)據(jù)流與含有各目標的第一數(shù)據(jù)流分開，該第一數(shù)據(jù)流可以根據(jù)由所述第一數(shù)據(jù)流中的目標控制信息規(guī)定進行動態(tài)媒體組合處理任選地解碼和顯示；和
每個所述數(shù)據(jù)流包括一個或多個單一自包含目標并由結束流標志劃分；每個所述目標含有其自己控制信息并且通過組合包流形成；通過編碼未加工的交互多媒體數(shù)據(jù)形成的所述包流，包括視頻、文本、音頻、音樂、或圖形元件的至少一個或組合分別作為視頻包流、文本包流、音頻包流、音樂包流和圖象包流。
26.按照權利要求25的包含交互多媒體文件格式的面向目標視頻系統(tǒng)，包括
服務器軟件，用于執(zhí)行所述動態(tài)媒體組合處理，所述處理允許在用戶收視的同時，顯示的視頻場景的實際內容將被實時動態(tài)地改變，并且用于插入、替換、或增加任何所述場景的任意構形的視頻/音頻視頻目標；和
控制機制，用于由其他目標替換圖象中的目標，以增加或刪除圖象中的目標，或形成當前場景以按照固定、自適應、或用戶中介模式執(zhí)行所述處理。
27.按照權利要求25的面向目標的交互多媒體文件的，包括在所述場景中構成可訂制地解壓變換的數(shù)據(jù)。
28.按照權利要求25的包含交互多媒體文件格式的面向目標視頻系統(tǒng)，包括
提供本地目標庫支持所述處理的控制機制，所述庫包括存儲裝置，用于存儲所述處理的各個目標，控制機制能夠從碼流服務器管理所述庫，控制機制用于對所述庫目標提供版本控制，和用于使非持久庫目標自動期滿；和
控制機制，用于自動更新來自所述服務器的各個目標，用于對所述庫目標提供多水平訪問控制，并且用于對所述庫目標的每個支持唯一識別、歷史和狀態(tài)。
29.按照權利要求25的包含交互多媒體文件格式的面向目標視頻系統(tǒng)，包括
控制機制，用于通過立即執(zhí)行所述動態(tài)媒體組合處理響應于會話中用戶對所述目標的點擊；和
控制機制，用于寄存用戶的離線繼續(xù)動作，并且用于在所述會話結束時移動到新的超鏈路目的地。
30.按照權利要求25的面向目標文件格式中實時發(fā)文件數(shù)據(jù)的方法，通過無線網絡，因此一個場景僅包括一個碼流，并且所述動態(tài)媒體組合引擎按適當?shù)乃俾式徊鎭碜云渌鞲鱾€目標到所述第一流。
31.按照權利要求25的面向目標文件格式中實時發(fā)文件數(shù)據(jù)的方法，通過無線網絡，因此一個場景僅包括一個碼流，并且所述動態(tài)媒體組合引擎按適當?shù)乃俾式徊鎭碜云渌鞲鱾€目標到所述第一流。
32.按照發(fā)活動視頻內容到用戶的權利要求30的方法，其中其它碼流包括按實時編碼的碼流。
33.按照發(fā)活動視頻內容到用戶的權利要求31的方法包括如下步驟
所述用戶連接到遠端服務器；和
所述用戶選擇一個攝象機位置，收視由操作員/交換機處理的范圍。
34.按照發(fā)活動視頻內容到用戶的權利要求31的方法包括如下步驟
所述用戶連接到遠端服務器；和
從全球定位系統(tǒng)或小區(qū)三角定位得到的所述用戶的地理位置被用于自動提供攝象機位置的選擇，幫助目的地的所述用戶是選擇。
35.按照發(fā)活動視頻內容到用戶的權利要求31的方法包括如下步驟
所述用戶登記特殊的服務，服務提供商呼叫所述用戶并自動發(fā)碼流視頻顯示可能有潛在問題的乘車路由；
當所述用戶登記時，可以選擇為此目的的指定路由，并且可以幫助確定所述路由；和
所述系統(tǒng)跟蹤所述用戶的速度和位置，確定行駛方向和遵循的路由，然后所述系統(tǒng)可能沿著潛在路由搜索它的監(jiān)視交通的攝象機表，確定是否有存在問題的區(qū)域，并且如果有任何問題存在，搜索系統(tǒng)通知所述用戶并播放視頻，以提供交通信息和狀況。
36.按照權利要求26的發(fā)廣告方法，其中所述動態(tài)媒體組合處理根據(jù)存儲在用戶概況數(shù)據(jù)庫中的用戶自己概況信息選擇各個目標。
37.一種提供能夠操作工作在碼流視頻系統(tǒng)的低功率裝置的語音命令的方法，包括如下步驟
在所述裝置中捕捉用戶的語音；
壓縮所述語音；
插入所述壓縮的語音的編碼樣值到用戶控制包中；
發(fā)送所述壓縮語音到能夠處理語音命令的服務器；
所述服務器執(zhí)行自動語音識別；
所述服務器映射轉錄的語音為命令集；
所述系統(tǒng)檢查所述命令是由所述用戶產生的還是由服務器產生的；
如果所述轉錄的命令是來自所述服務器，所述服務器執(zhí)行所述命令；
如果所述轉錄的命令來自所述用戶，所述系統(tǒng)傳送所述命令到所述用戶裝置；和
所述用戶執(zhí)行所述命令。
38.按照權利要求37的在碼流視頻系統(tǒng)中能夠低功率工作的提供語音命令的方法，其中；
所述系統(tǒng)確定轉錄的命令是否是預定的；
如果所述轉錄的命令不是預定的，所述系統(tǒng)發(fā)送所述轉錄的文本串到所述用戶；和
所述用戶插入所述文本串到適當?shù)奈谋咀侄巍?br> 39.一種圖象處理方法，包括如下步驟
根據(jù)圖象的色產生色利用色圖確定圖象的表示；
確定利用色圖表示的圖象的至少一部分的相對運動。
40.按照權利要求39的方法，還包括編碼圖象的表示的步驟。
41.按照權利要求39的方法，還包括編碼相對運動的步驟。
42.按照權利要求39的方法，還包括編碼圖象的表示和相對運動的步驟。
43.按照權利要求39的方法，其中所述產生步驟包括執(zhí)行色量化，以便產生色圖。
44.按照權利要求43的方法，其中所述產生步驟還包括根據(jù)以前確定的最近幀的色圖產生色圖。
45.按照權利要求44的方法，其中所述產生步驟包括根據(jù)以前確定的色圖重組色圖，以便使轉移到當前幀的來自最近幀的像素的色被映射到色圖的相同索引。
46.按照權利要求44的方法，其中所述產生步驟包括將該色圖與以前確定的色圖進行相關。
47.按照權利要求39的方法，其中所述確定相對運動的步驟包括確定圖象的至少一部分的運動矢量。
48.一種圖象處理方法，包括產生4元樹，用于編碼圖象的表示。
49.按照權利要求48的方法，其中編碼步驟包括產生具有透明葉表示的4元樹。
50.按照權利要求49的方法，其中編碼步驟包括產生4元樹，具有用于代表任意構形目標的透明葉表示。
51.按照權利要求50的方法，其中編碼步驟包括產生具有底部級別節(jié)點類型消除的4元樹。
52.一種確定圖象的編碼表示方法，包括
分析用于代表色的多個比特；
當用于代表色的比特數(shù)超過第一值時，利用第一標志值和第一預定比特數(shù)代表色。
當用于代表色的比特數(shù)不超過第一值時，利用第二標志值和第二預定比特數(shù)代表色；
53.按照權利要求52的方法，其中利用第一標志值代表色的步驟包括利用是8的第一預定數(shù)代表色；和
利用第二標志值代表色的步驟包括利用是4的第二預定比特數(shù)代表色。
54.一種圖象處理系統(tǒng)，包括根據(jù)圖象的色產生色圖的裝置；
用于利用色圖確定圖象的表示的裝置；
用于確定利用色圖表示的圖象的至少一部分的相對運動的裝置。
55.按照權利要求54的系統(tǒng)，還包括用于編碼圖象的表示的裝置。
56.按照權利要求54的系統(tǒng)，還包括用于編碼相對運動的裝置。
57.按照權利要求54的系統(tǒng)，還包括編碼圖象的表示和相對運動的裝置。
58.按照權利要求54的系統(tǒng)，其中所述產生裝置包括執(zhí)行色量化的裝置，以便產生色圖。
59.按照權利要求58的裝置，其中所述產生裝置還包括根據(jù)以前確定的最近幀的色圖產生色圖的裝置。
60.按照權利要求59的裝置，其中所述產生裝置包括根據(jù)以前確定的色圖重組色圖的裝置，以便使轉移到當前幀的來自最近幀的像素的色被映射到色圖的相同索引。
61.按照權利要求59的方法，其中所述產生裝置包括將該色圖與以前確定的色圖進行相關的裝置。
62.按照權利要求54的方法，其中所述確定相對運動的裝置包括確定圖象的至少一部分的運動矢量的裝置。
63.一種圖象編碼系統(tǒng)，包括產生4元樹的裝置，用于編碼圖象的表示。
64.按照權利要求63的方法，其中編碼裝置包括產生具有透明葉表示的4元樹的裝置。
65.按照權利要求64的方法，其中編碼裝置包括產生4元樹的裝置，具有用于代表任意構形目標的透明葉表示。
66.按照權利要求65的方法，其中編碼裝置包括產生具有底部級別節(jié)點類型消除的4元樹的裝置。
67.一種確定圖象的編碼表示的圖象編碼系統(tǒng)，包括
分析用于代表色的多個比特的裝置；
當用于代表色的比特數(shù)超過第一值時，利用第一標志值和第一預定比特數(shù)代表色的裝置；
當用于代表色的比特數(shù)不超過第一值時，利用第二標志值和第二預定比特數(shù)代表色的裝置。
68.按照權利要求67的系統(tǒng)，其中利用第一標志值代表色的步驟包括利用是8的第一預定數(shù)代表色的裝置；和
利用第二標志值代表色的步驟包括利用是4的第二預定比特數(shù)代表色的裝置。
69.一種處理目標的方法，包括以下步驟
分析源程序語言中的信息；
讀出多個含有多個目標的數(shù)據(jù)源，這些目標以視頻、圖形、動畫、和音頻至少之一的形式；
根據(jù)源程序語言中的信息附加控制信息到多個目標上；
交叉多個目標到數(shù)據(jù)流和文件的至少一個。
70.按照權利要求69的方法，還包括從用戶輸入信息的步驟，其中根據(jù)源程序語言中的信息和來自用戶的信息執(zhí)行該附加的步驟。
71.按照權利要求69的方法，還包括輸入從概況信息、人口統(tǒng)計信息、地理信息、和暫時信息的至少一個中選擇的控制信息的步驟，其中根據(jù)源程序語言中的信息和控制信息執(zhí)行該附加的步驟。
72.按照權利要求71的方法，還包括從用戶輸入信息的步驟，其中根據(jù)源程序語言中的信息、控制信息、和來自用戶的信息執(zhí)行該附加的步驟。
73.按照權利要求72的方法，其中從用戶輸入信息的步驟包括在顯示器上圖形指示和選擇一個目標。
74.按照權利要求69的方法，還包括插入目標到數(shù)據(jù)流和文件的至少一個中的步驟。
75.按照權利要求74的方法，其中所述插入步驟包括插入廣告到數(shù)據(jù)流和文件的至少一個。
76.按照權利要求75的方法，還包括利用不同目標替代廣告的步驟。
77.按照權利要求74的方法，其中所述插入步驟包括插入圖形字符到數(shù)據(jù)流和文件的至少一個。
78.按照權利要求77的方法，其中所述插入圖形字符的步驟包括根據(jù)用戶的地理位置插入圖形字符。
79.按照權利要求69的方法，還包括利用不同目標替代多個目標之一的步驟。
80.按照權利要求79的方法，其中所述替換多個目標之一的步驟包括利用新的場景替換收視場景的多個目標之一的步驟。
81.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括讀出多個訓練視頻的至少一個的數(shù)據(jù)源。
82.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括讀出多個教育視頻的至少一個的數(shù)據(jù)源。
83.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括讀出多個推銷宣傳視頻的至少一個的數(shù)據(jù)源。
84.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括讀出多個娛樂視頻的至少一個的數(shù)據(jù)源。
85.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括從監(jiān)視攝象機獲得視頻。
86.按照權利要求74的方法，其中所述插入步驟包括插入來自攝象機的視頻，用于將監(jiān)視的車輛交通數(shù)據(jù)加入到數(shù)據(jù)流和文件至少之一中。
87.按照權利要求74的方法，其中所述插入步驟包括插入賀卡信息到數(shù)據(jù)流和文件至少之一中。
88.按照權利要求74的方法，其中所述插入步驟包括插入遠端計算裝置的監(jiān)視器的計算機產生的圖象。
89.按照權利要求69的方法，還包括提供數(shù)據(jù)流和文件至少之一到用戶的步驟，其中數(shù)據(jù)流和文件至少之一包括交互視頻節(jié)目集。
90.按照權利要求69的方法，還包括提供包含交互形式的數(shù)據(jù)流和文件至少之一到用戶的步驟；
由用戶電子地填寫的表格；和
當填寫表格時，電子地存儲由用戶輸入的信息。
91.按照權利要求90的方法，還包括傳輸已被電子存儲的信息的步驟。
92.按照權利要求69的方法，其中附加控制信息的步驟包括附加指示交互行為的控制信息。
93.按照權利要求69的方法，其中附加控制信息的步驟包括附加含修飾參數(shù)的控制信息。
94.按照權利要求69的方法，其中附加控制信息的步驟包括附加含組合信息的控制信息。
95.按照權利要求69的方法，其中附加控制信息的步驟包括附加指示如何處理壓縮數(shù)據(jù)的控制信息。
96.按照權利要求69的方法，其中附加控制信息的步驟包括附加可執(zhí)行的行為。
97.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加用于動畫的修飾參數(shù)。
98.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加超鏈路。
99.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加定時器。
100.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加允許進行語音呼叫的行為。
101.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加包含至少暫停和播放之一的系統(tǒng)狀態(tài)。
102.按照權利要求96的方法，其中附加可執(zhí)行的行為包括附加允許改變用戶變量的信息。
103.一種處理目標的系統(tǒng)，包括
用于分析按源程序語言信息的裝置；
用于讀出含有多個以視頻、圖形、動畫、和音頻至少一個的形式的目標的多個數(shù)據(jù)源的裝置；
用于根據(jù)源程序語言的信息附加控制信息到多個目標上的裝置；
用于交叉多個目標到數(shù)據(jù)流和文件至少之一的裝置。
104.按照權利要求103的系統(tǒng)，還包括用于從用戶輸入信息的裝置，其中用于附加的裝置根據(jù)源程序語言的信息和控制信息操作。
105.按照權利要求103的系統(tǒng)，還包括輸入從概況信息、人口統(tǒng)計信息、地理信息、和暫時信息的至少之一選擇的控制信息的裝置，其中用于附加的裝置根據(jù)源程序語言的信息和控制信息操作。
106.按照權利要求105的系統(tǒng)，還包括用于輸入來自用戶信息的裝置，其中用于附加的裝置根據(jù)源程序語言的信息、控制信息、和來自用戶的信息操作。
107.按照權利要求106的系統(tǒng)，其中輸入用戶信息的裝置包括在顯示器上圖形指示和選擇目標的裝置。
108.按照權利要求103的系統(tǒng)，還包括用于插入目標到數(shù)據(jù)流和文件之一的裝置。
109.按照權利要求108的系統(tǒng)，其中所述插入裝置包括插入廣告到數(shù)據(jù)流和文件的至少一個的裝置。
110.按照權利要求109的系統(tǒng)，還包括利用不同目標替代廣告的裝置。
111.按照權利要求108的系統(tǒng)，其中所述插入裝置包括插入圖形字符到數(shù)據(jù)流和文件的至少一個的裝置。
112.按照權利要求111的系統(tǒng)，其中所述插入圖形字符的裝置包括根據(jù)用戶的地理位置插入圖形字符的裝置。
113.按照權利要求103的系統(tǒng)，還包括利用不同目標替代多個目標之一的裝置。
114.按照權利要求113的系統(tǒng)，其中所述替換多個目標之一的裝置包括利用新的場景替換收視場景的多個目標之一的裝置。
115.按照權利要求103的系統(tǒng)，其中所述讀出多個數(shù)據(jù)源的裝置包括讀出多個訓練視頻的至少一個的數(shù)據(jù)源的裝置。
116.按照權利要求103的系統(tǒng)，其中所述讀出多個數(shù)據(jù)源的裝置包括讀出多個推銷宣傳視頻的至少一個的數(shù)據(jù)源的裝置。
117.按照權利要求103的系統(tǒng)，其中所述讀出多個數(shù)據(jù)源的裝置包括讀出多個娛樂視頻的至少一個的數(shù)據(jù)源的裝置。
118.按照權利要求103的系統(tǒng)，其中所述讀出多個數(shù)據(jù)源的裝置包括讀出多個教育視頻的至少一個的數(shù)據(jù)源的裝置。
119.按照權利要求103的系統(tǒng)，其中所述讀出多個數(shù)據(jù)源的裝置包括從監(jiān)視攝象機獲得視頻的裝置。
120.按照權利要求107的系統(tǒng)，其中所述插入裝置包括插入來自攝象機的視頻，用于將監(jiān)視的車輛交通數(shù)據(jù)加入到數(shù)據(jù)流和文件至少之一中的裝置。
121.按照權利要求107的系統(tǒng)，其中所述插入裝置包括插入賀卡信息到數(shù)據(jù)流和文件至少之一中的裝置。
122.按照權利要求107的系統(tǒng)，其中所述插入裝置包括插入遠端計算裝置的監(jiān)視器的計算機產生的圖象。
123.按照權利要求103的系統(tǒng)，還包括提供數(shù)據(jù)流和文件至少之一到用戶的裝置，其中數(shù)據(jù)流和文件至少之一包括交互視頻節(jié)目集。
124.按照權利要求103的系統(tǒng)，還包括提供包含交互形式的數(shù)據(jù)流和文件至少之一到用戶的裝置；
用于由用戶電子地填寫表格的裝置；和
當填寫表格時，電子地存儲由用戶輸入的信息的裝置。
125.按照權利要求124的系統(tǒng)，還包括用于傳輸已被電子存儲的信息的裝置。
126.按照權利要求103的系統(tǒng)，其中附加控制信息的裝置包括附加指示交互行為的控制信息的裝置。
127.按照權利要求103的系統(tǒng)，其中附加控制信息的裝置包括附加含修飾參數(shù)的控制信息的裝置。
128.按照權利要求103的系統(tǒng)，其中附加控制信息的裝置包括附加含組合信息的控制信息的裝置。
129.按照權利要求103的系統(tǒng)，其中附加控制信息的裝置包括附加指示如何處理壓縮數(shù)據(jù)的控制信息的裝置。
130.按照權利要求103的系統(tǒng)，其中附加控制信息的裝置包括附加可執(zhí)行的行為的裝置。
131.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加用于動畫的修飾參數(shù)的裝置。
132.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加超鏈路的裝置。
133.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加定時器的裝置。
134.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加允許進行語音呼叫的行為的裝置。
135.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加包含至少暫停和播放之一的系統(tǒng)狀態(tài)的裝置。
136.按照權利要求130的系統(tǒng)，其中附加可執(zhí)行的行為的裝置包括附加允許改變用戶變量的信息的裝置。
137.一種遠端控制計算機的方法，包括如下步驟
在服務器根據(jù)數(shù)據(jù)執(zhí)行計算操作；
根據(jù)計算操作在服務器產生圖象信息；
經無線連接，從服務器發(fā)送圖象信息到客戶機計算裝置，而不發(fā)送所述數(shù)據(jù)；
由客戶機計算裝置接收圖象信息；和
由客戶機計算裝置顯示圖象信息。
138.按照權利要求137的方法，還包括由客戶機計算裝置的用戶輸入輸入信息的步驟；
經無線連接，發(fā)送從客戶機計算裝置輸入的信息到服務器；
在服務器處理輸入信息；
在服務器根據(jù)輸入信息改變圖象信息；
經無線連接，發(fā)送已經被改變的圖象信息；
由客戶機計算裝置接收已經被改變的圖象信息；和
由客戶機計算裝置顯示已經被改變的圖象信息。
139.按照權利要求137的方法，還包括在服務器捕捉圖象信息的步驟，其中發(fā)送步驟包括發(fā)送已經被捕捉的圖象信息。
140.按照權利要求137的方法，其中發(fā)送步驟包括發(fā)送作為具有附加上控制信息的視頻目標的圖象信息。
141.一種遠端控制計算機的系統(tǒng)，包括
在服務器根據(jù)數(shù)據(jù)執(zhí)行計算操作的裝置；
根據(jù)計算操作在服務器產生圖象信息的裝置；
經無線連接，從服務器發(fā)送圖象信息到客戶機計算裝置，而不發(fā)送所述數(shù)據(jù)的裝置；
由客戶機計算裝置接收圖象信息的裝置；和
由客戶機計算裝置顯示圖象信息的裝置。
142.按照權利要求141的系統(tǒng)，還包括由客戶機計算裝置的用戶輸入輸入信息的裝置；
經無線連接，發(fā)送從客戶機計算裝置輸入的信息到服務器的裝置；
在服務器處理輸入信息的裝置；
在服務器根據(jù)輸入信息改變圖象信息的裝置；
經無線連接，發(fā)送已經被改變的圖象信息的裝置；
由客戶機計算裝置接收已經被改變的圖象信息的裝置；和
由客戶機計算裝置顯示已經被改變的圖象信息的裝置。
143.按照權利要求141的系統(tǒng)，還包括在服務器捕捉圖象信息的裝置，其中發(fā)送裝置包括
發(fā)送已經被捕捉的圖象信息的裝置。
144.按照權利要求139的系統(tǒng)，其中發(fā)送裝置包括發(fā)送作為具有附加上控制信息的視頻目標的圖象信息的裝置。
145.一種發(fā)送電子賀卡的方法，包括如下步驟
輸入指示賀卡特征的信息；
產生對應于賀卡的圖象信息；
編碼該圖象信息，作為具有控制信息的目標；
通過無線連接發(fā)送具有控制信息的目標；
由無線手持計算裝置接收具有控制信息的目標；
由無線手持計算裝置解碼具有控制信息的目標為賀卡圖象；和
在無線手持計算裝置上顯示已經被解碼的賀卡圖象。
146.按照權利要求145的方法，其中產生圖象信息的步驟包括捕捉至少一個圖象和作為訂制圖象信息的一系列圖象，其中編碼步驟還包括編碼所述訂制圖象作為具有控制信息的目標，其中所述解碼步驟包括解碼利用圖象信息編碼的目標和解碼利用訂制圖象信息編碼的目標，其中所述顯示步驟包括顯示圖象信息和訂制圖象信息作為賀卡。
147.一種發(fā)送電子賀卡的系統(tǒng)，包括
用于輸入指示賀卡特征信息的裝置；
用于產生對應于該賀卡的圖象信息的裝置；
用于編碼圖象信息為一個具有控制信息的目標的裝置；
用于通過無線手持計算裝置接收具有控制信息的目的裝置；
用于通過無線連接傳輸該具有控制信息的目標的裝置；
用于通過無線手持計算裝置解碼具有控制信息的目標為賀卡圖象的裝置；和
用于顯示在手持計算裝置中已經解碼的賀卡圖象。
148.按照權利要求147的方法，其中產生圖象信息的裝置包括捕捉至少一個圖象和作為訂制圖象信息的一系列圖象的裝置，其中編碼裝置還包括編碼所述訂制圖象作為具有控制信息的目標的裝置，其中所述解碼裝置包括解碼利用圖象信息編碼的目標和解碼利用訂制圖象信息編碼的目標的裝置，其中所述顯示裝置包括顯示圖象信息和訂制圖象信息作為賀卡的裝置。
149.一種控制計算裝置的方法，包括如下步驟
通過計算裝置輸入音頻信號；
編碼音頻信號；
發(fā)送音頻信號到遠端計算裝置；
在遠端計算裝置翻譯音頻信號和產生對應于該音頻信號的信息；
發(fā)送對應于該音頻信號的信息到計算裝置；
利用對應于該音頻信號的信息控制計算裝置。
150.按照權利要求149的方法，其中所述控制步驟包括利用對應于信息的計算機指令控制計算裝置，該信息對應于該音頻信號。
151.按照權利要求149的方法，其中所述控制步驟包括利用對應于該信息的數(shù)據(jù)控制計算裝置，該信息對應于該音頻信號。
152.按照權利要求149的方法，其中翻譯音頻信號的步驟包括執(zhí)行語音識別。
153.一種控制計算裝置的系統(tǒng)，包括
通過計算裝置輸入音頻信號；
編碼音頻信號；
發(fā)送音頻信號到遠端計算裝置；
在遠端計算裝置翻譯音頻信號和產生對應于該音頻信號的信息；
發(fā)送對應于該音頻信號的信息到計算裝置；和
利用對應于該音頻信號的信息控制計算裝置。
154.按照權利要求153的系統(tǒng)，其中所述控制步驟包括利用對應于信息的計算機指令控制計算裝置的裝置，該信息對應于該音頻信號。
155.按照權利要求153的系統(tǒng)，其中所述控制裝置包括利用對應于該信息的數(shù)據(jù)控制計算裝置的裝置，該信息對應于該音頻信號。
156.按照權利要求153的方法，其中翻譯音頻信號的裝置包括執(zhí)行語音識別的裝置。
157.一種執(zhí)行發(fā)送的方法，包括如下步驟
在無線手持裝置上顯示廣告；
從無線手持裝置發(fā)送信息；和
接收與由于顯示廣告已經發(fā)送的信息相關的打折價格。
158.按照權利要求157的方法，其中顯示步驟是在發(fā)送步驟之前執(zhí)行的。
159.按照權利要求157的方法，其中顯示步驟是在發(fā)送步驟期間執(zhí)行的。
160.按照權利要求157的方法，其中顯示步驟是在發(fā)送步驟之后執(zhí)行的。
161.按照權利要求157的方法，其中接收打折價格的步驟包括與已經發(fā)送的信息相關的整個費用的打折。
162.按照權利要求157的方法，其中顯示步驟包括顯示作為交互目標的目標，該方法還包括由用戶與該目標交互，并響應于由用戶進行的交互顯示視頻。
163.一種執(zhí)行發(fā)送的系統(tǒng)，包括
在無線手持裝置上顯示廣告的裝置；
從無線手持裝置發(fā)送信息的裝置；和
接收與由于顯示廣告已經發(fā)送的信息相關的打折費用的裝置。
164.按照權利要求163的系統(tǒng)，其中顯示廣告的裝置是在信息發(fā)送之前操作的。
165.按照權利要求163的系統(tǒng)，其中顯示廣告的裝置是在信息發(fā)送期間操作的。
166.按照權利要求163的系統(tǒng)，其中顯示廣告的裝置是在信息發(fā)送之后操作的。
167.按照權利要求163的系統(tǒng)，其中接收打折價格的裝置包括接收與已經發(fā)送的信息相關的整個費用的打折的裝置。
168.按照權利要求163的系統(tǒng)，其中顯示裝置包括顯示作為交互目標的目標的裝置，該系統(tǒng)還包括由用戶與該目標交互的裝置，和響應于由用戶進行的交互顯示視頻的裝置。
169.一種提供視頻的方法，包括如下步驟
確定是否發(fā)生了事件；
響應于該事件，獲得通過無線發(fā)送該區(qū)域的視頻到用戶的一個區(qū)域的視頻。
170.按照權利要求169的方法，其中確定的步驟包括由用戶選擇一個位置。其中發(fā)送的步驟包括發(fā)送對應于所述位置的區(qū)域的視頻。
171.按照權利要求170的方法，其中選擇的步驟包括撥號對應于交通視頻的電話號碼。
172.按照權利要求169的方法，還包括執(zhí)行利用全球定位系統(tǒng)確定區(qū)域的步驟。
173.按照權利要求169的方法，還包括根據(jù)由用戶使用的小區(qū)場地執(zhí)行確定區(qū)域的步驟。
174.按照權利要求169的方法，其中確定步驟包括確定在預定路由存在交通問題，其中獲得視頻步驟包括獲得對應于該預定路由的視頻。
175.按照權利要求174的方法，其中發(fā)送步驟包括僅當用戶的移動速度大于預定速度時，發(fā)送視頻到該用戶。
176.一種提供視頻的系統(tǒng)，包括
確定是否發(fā)生了事件的裝置；
獲得一個區(qū)域的視頻的裝置；
響應于該事件，通過無線發(fā)送該區(qū)域的視頻到用戶的裝置。
177.按照權利要求176的系統(tǒng)，其中確定的裝置包括由用戶選擇一個位置的裝置。其中發(fā)送的裝置包括發(fā)送對應于所述位置的區(qū)域的視頻的裝置。
178.按照權利要求177的系統(tǒng)，其中選擇的裝置包括撥號對應于交通視頻的電話號碼的裝置。
179.按照權利要求176的系統(tǒng)，還包括執(zhí)行利用全球定位系統(tǒng)確定區(qū)域的裝置。
180.按照權利要求176的系統(tǒng)，還包括根據(jù)由用戶使用的小區(qū)場地執(zhí)行確定區(qū)域的裝置。
181.按照權利要求176的系統(tǒng)，其中確定裝置包括確定在預定路由存在交通問題的裝置，其中獲得視頻裝置包括獲得對應于該預定路由的視頻的裝置。
182.按照權利要求181的系統(tǒng)，其中發(fā)送裝置包括僅當用戶的移動速度大于預定速度時，發(fā)送視頻到該用戶的裝置。
183.一種面向目標多媒體視頻系統(tǒng)，該系統(tǒng)能夠支持多個任意構形視頻目標，而不需要特別的數(shù)據(jù)額外開銷或處理額外開銷就能提供視頻目標構形信息。
184.按照權利要求183的系統(tǒng)，其中所述視頻目標具有其自己的附加控制信息。
185.按照權利要求183的系統(tǒng)，其中所述視頻目標是從遠端服務器向客戶機發(fā)送的碼流。
186.按照權利要求183的系統(tǒng)，其中所述視頻目標構形是按圖象的表示固有地編碼的。
187.按照權利要求69的方法，其中附加控制信息的步驟包括附加執(zhí)行控制的條件。
188.按照權利要求71的方法，還包括從用戶標志或變量獲得信息的步驟，其中附加步驟是根據(jù)源程序語言的信息、控制信息、和來自所述用戶標志的信息執(zhí)行的。
189.一種由服務器啟動通信的傳送多媒體內容到無線裝置的方法，其中內容是對于按要求的時間或成本效率方式傳送預先安排的并且經由裝置的顯示器或其它指示器所述用戶被改變?yōu)閭魉屯瓿伞?br> 190.按照權利要求189的方法，其中所述用戶在內容服務提供商寄存對傳送特定內容的請求，所述請求被用于自動預先安排網絡啟動傳送到客戶機裝置。
191.一種交互系統(tǒng)，其中存儲的信息可以進行離線收視和存儲用戶的輸入，并且當所述裝置下一次連接在線時交互被自動地通過無線網絡傳送到特定的遠端服務器。
192.按照權利要求191的交互系統(tǒng)，其中所述存儲的信息是面向目標多媒體數(shù)據(jù)，該數(shù)據(jù)可以進行非線性導航。
193.按照權利要求69的方法，其中所述讀出多個數(shù)據(jù)源的步驟包括讀出采取以下形式的多個數(shù)據(jù)源的至少一個的步驟，該各個形式是市場、促銷、產品信息、娛樂視頻。
194.按照權利要求51的方法，其中編碼步驟包括產生具有葉節(jié)點值的4元樹，如果標志被定義為真，則表示為FIFO緩沖器的索引，或者如果標志被定義為假，則表示為色值。
195.按照權利要求66的系統(tǒng)，其中編碼的裝置包括用于產生具有葉節(jié)點值的4元樹的裝置，如果標志被定義為真，則表示為FIFO緩沖器的索引，或者如果標志被定義為假，則表示為色值。
196.按照權利要求51的方法，其中編碼步驟包括產生具有葉節(jié)點值的4元樹，表示為平均值加水平和垂直梯度。
197.按照權利要求196的方法，其中編碼步驟包括產生具有葉節(jié)點值的4元樹，如果標志被定義為真，則表示為FIFO緩沖器的索引，或者如果標志被定義為假，則表示為色值。
198.按照權利要求66的系統(tǒng)，其中編碼裝置包括產生具有葉節(jié)點值的4元樹，表示為平均值加水平和垂直梯度。
199.按照權利要求198的系統(tǒng)，其中編碼的裝置包括用于產生具有葉節(jié)點值的4元樹的裝置，如果標志被定義為真，則表示為FIFO緩沖器的索引，或者如果標志被定義為假，則表示為色值。
200.按照權利要求14的系統(tǒng)，包括在便攜客戶機裝置上用于動態(tài)媒體組合中使用的持久目標庫，所述庫能從所述遠端服務器進行管理，可用于客戶機的用于執(zhí)行可以從所述遠端服務器傳送到客戶機的庫管理指令的軟件，所述服務器能夠詢問所述庫和接收包含在其中的關于特定目標的信息，并且可以插入、更新、或刪除所述庫的內容，并且所述動態(tài)媒體組合引擎能夠同時從所述庫和遠端服務器兩者來源目標數(shù)據(jù)流。如果需要，所述持久目標庫存儲目標信息，包括期滿日期、訪問許可、唯一識別符、元數(shù)據(jù)和狀態(tài)信息，所述系統(tǒng)執(zhí)行對過期目標的自動垃圾收集、訪問控制、庫檢索、和各種其它庫管理任務。
201.一種視頻編碼方法，包括
編碼具有目標控制數(shù)據(jù)的視頻數(shù)據(jù)作為視頻目標；和
產生包含多個所述視頻目標的數(shù)據(jù)流，該視頻目標具有相應的視頻數(shù)據(jù)和目標控制數(shù)據(jù)。
202.按照權利要求201的視頻編碼方法，包括
產生表示場景的場景包和包括具有相應各個視頻目標的多個所述數(shù)據(jù)流。
203.按照權利要求202的視頻編碼方法，包括產生包含多個所述場景包的視頻數(shù)據(jù)文件，該場景包具有相應數(shù)據(jù)流和用戶控制數(shù)據(jù)。
204.按照權利要求201的視頻編碼方法，其中所述視頻數(shù)據(jù)代表視頻幀、音頻幀、文本和/或圖形。
205.按照權利要求201的視頻編碼方法，其中所述視頻目標包括一個包，該包具有所述編碼視頻數(shù)據(jù)的各個數(shù)據(jù)包和具有用于所述視頻目標的所述目標控制數(shù)據(jù)的至少一個目標控制包。
206.按照權利要求202的視頻編碼方法，其中所述視頻數(shù)據(jù)文件、所述場景包、和所述數(shù)據(jù)流包括相應目錄數(shù)據(jù)。
207.按照權利要求201的視頻編碼方法，其中所述控制數(shù)據(jù)代表定義所述視頻目標的各個參數(shù)，允許由用戶在一個場景內交互控制所述目標。
208.按照權利要求201的視頻編碼方法，其中所述編碼包括利用代表所述視頻目標的構形的構形數(shù)據(jù)編碼所述視頻數(shù)據(jù)的亮度和色信息。
209.按照權利要求201的視頻編碼方法，其中所述目標控制數(shù)據(jù)對所述各個視頻目標定義構形、修飾、動畫和交互參數(shù)。
210.一種視頻編碼方法，包括
根據(jù)減少的色表示量化視頻流中的色數(shù)據(jù)；
產生代表所述量化的色和透明區(qū)的編碼的視頻幀數(shù)據(jù)；和
產生編碼的音頻數(shù)據(jù)和目標控制數(shù)據(jù)，用于隨著所述編碼的視頻數(shù)據(jù)傳輸。
211.按照權利要求210的視頻編碼方法，包括
產生代表所述流的視頻幀中的色變化的運動矢量；所述編碼的視頻幀數(shù)據(jù)代表所述運動矢量。
212.按照權利要求211的視頻編碼方法，包括
產生編碼的文本目標和矢量圖形目標和音樂目標數(shù)據(jù)，用于隨著所述編碼的視頻數(shù)據(jù)傳輸；和
產生編碼的數(shù)據(jù)，用于配置可訂制地解碼變換。
213.按照權利要求2的視頻編碼方法，包括根據(jù)用戶與所述視頻目標的交互，為用戶動態(tài)地實時產生所述場景包。
214.按照權利要求1的視頻編碼方法，其中所述目標控制數(shù)據(jù)代表如下各個參數(shù)(i)修飾視頻目標，(ii)定義所述目標的交互行為，(iii)產生到和從所述目標的超鏈路，(iv)為所述目標定義動畫路徑，(v)定義動態(tài)媒體組合參數(shù)，(vi)分配值給用戶變量，和/或(vii)定義執(zhí)行控制動作的條件。
215.按照權利要求210或211的視頻編碼方法，其中所述目標控制數(shù)據(jù)代表用于修飾視頻幀的目標的參數(shù)。
216.按照權利要求210或211的視頻編碼方法，其中所述參數(shù)表示透明、比例、音量、位置、和旋轉。
217.按照權利要求210或211的視頻編碼方法，其中所述編碼的視頻、音頻、和控制數(shù)據(jù)是作為用于各自解碼的相應包發(fā)送的。
218.一種視頻編碼方法，包括
(i)選擇視頻數(shù)據(jù)的每個視頻幀的減少的色集；
(ii)逐幀地調和色；
(iii)執(zhí)行運動補償；
(iv)根據(jù)感覺色差測量確定幀的更新區(qū)；
(v)根據(jù)步驟(i)到(iv)編碼所述幀的視頻數(shù)據(jù)為視頻目標；和
(Vi)在每個視頻目標中包括動畫、修飾、和動態(tài)組合控制。
219.一種視頻解碼方法，用于解碼按照在先的權利要求的任何一個所要求的方法編碼的視頻數(shù)據(jù)。
220.按照權利要求219的視頻解碼方法，包括分析所述編碼的數(shù)據(jù)，分配目標控制包到目標管理處理和分配編碼的視頻包到視頻解碼器。
221.按照權利要求214的視頻編碼方法，其中所述修飾參數(shù)表示目標的透明度、比例、音量、位置和旋轉。
222.按照權利要求214的視頻編碼方法，其中所述動畫路徑調節(jié)所述修飾參數(shù)。
223.按照權利要求214的視頻編碼方法，其中所述超鏈路表示到相應視頻文件、場景包和目標的鏈路。
224.按照權利要求214的視頻編碼方法，其中所述交互行為數(shù)據(jù)提供對所述目標的播放、和用戶數(shù)據(jù)返回的控制。
225.按照權利要求220的視頻解碼方法，包括根據(jù)所述目標控制包產生對用戶的視頻目標控制，用于接收和修飾視頻目標。
226.一種用于執(zhí)行按照權利要求219所要求的視頻解碼方法的視頻解碼器。
227.一種具有按照權利要求226所要求的視頻解碼器的計算機裝置。
228.一種按照權利要求227所要求的計算機裝置，其中所述裝置是便攜的和手持的，例如移動電話或PDA。
229.一種動態(tài)色空間編碼方法，包括執(zhí)行按照權利要求1色要求的視頻編碼方法和發(fā)送到用戶的添加的附加色量化信息，能使所述用戶選擇實時色減少。
230.按照權利要求201的視頻編碼方法，包括添加定標用戶和/或具有所述視頻目標的本地視頻廣告。
231.一種具有超薄客戶機的計算機裝置，用于執(zhí)行按照權利要求219所要求的視頻解碼方法并且自適應地訪問包括所述視頻目標的遠端服務器。
232.一種多方電視會議的方法，包括執(zhí)行按照權利要求201所要求的視頻編碼方法。
233.按照權利要求201的視頻編碼方法，包括產生用于用戶選擇所述視頻目標的視頻菜單和表格。
234.一種產生傳輸?shù)揭苿与娫挼碾娮涌ǖ姆椒ǎ▓?zhí)行按照權利要求201所要求的所述視頻編碼方法。
235.一種具有用于執(zhí)行按照權利要求201到218的任何一個視頻編碼方法的步驟的視頻編碼器。
236.一種視頻點播系統(tǒng)，包括按照權利要求235所要求的視頻編碼器。
237.一種安全系統(tǒng)，包括按照權利要求235所要求的視頻編碼器。
238.一種交互移動視頻系統(tǒng)，包括按照權利要求226所要求的視頻解碼器。
239.一種按照權利要求219所要求的視頻解碼方法，包括處理來自用戶的語音命令，以控制基于所述視頻目標產生的視頻顯示。
240.一種存儲在計算機可讀存儲媒體中的計算機程序，包括用于執(zhí)行按照權利要求219所要求的視頻解碼方法的代碼并且產生包含所述視頻目標的控制的視頻顯示，并且響應于所述控制的應用調節(jié)所述顯示。
241.一種按照權利要求240所要求的計算機程序，包括IAVML指令。
242.一種無線發(fā)送視頻碼流和動畫系統(tǒng)，包括
(i)便攜監(jiān)視裝置和第一無線通信裝置；
(ii)服務器，用于存儲壓縮的數(shù)字視頻、和計算機動畫，并且能使用戶從可用視頻庫中瀏覽和選擇收視的數(shù)字視頻；和
(iii)至少一個接口模塊，包含第二無線通信裝置，用于從服務器發(fā)送可發(fā)送的數(shù)據(jù)到便攜監(jiān)視裝置，該便攜監(jiān)視裝置包括用于接收所述可發(fā)送數(shù)據(jù)的裝置，變換可發(fā)送數(shù)據(jù)為顯示視頻圖象的視頻圖象，并且允許用戶與服務器通信，進行交互地瀏覽和選擇一個收視的視頻。
243.按照權利要求242的無線發(fā)送視頻碼流和動畫系統(tǒng)，其中所述便攜無線裝置是手持處理裝置。
244.一種提供無線發(fā)送視頻碼流和動畫的方法，至少包括如下各步驟之一
(a)通過廣域網下載并存儲來自遠端服務器的壓縮視頻和動畫數(shù)據(jù)，用于以后從本地服務器發(fā)送；
(b)允許用戶瀏覽和選擇來自存儲在本地服務器的視頻數(shù)據(jù)庫的數(shù)字視頻數(shù)據(jù)進行收視；
(c)發(fā)送數(shù)據(jù)到便攜監(jiān)視裝置；和
(d)在便攜監(jiān)視裝置上處理該數(shù)據(jù)，以顯示圖象。
245.一種提供交互視頻節(jié)目集的方法，至少包括如下各步驟之
(a)通過規(guī)定如下產生視頻節(jié)目集(i)在節(jié)目集中的各種場景和在每個場景可能出現(xiàn)的各種視頻目標，(ii)規(guī)定預置和用戶可選場景導航控制和對每個場景的單個組合規(guī)則，(iii)對各個媒體目標規(guī)定修飾參數(shù)，(iv)規(guī)定對各個媒體目標的控制，產生收集用戶反饋的表格，(v)集成壓縮的媒體流和目標控制信息為組合數(shù)據(jù)流。
246.按照權利要求245的方法，包括
(a)處理組合的數(shù)據(jù)流并翻譯目標控制信息以顯示每個場景；
(b)處理用戶輸入，以執(zhí)行任何相關的目標控制，諸如通過節(jié)目集導航、激活動畫等，寄存和用戶選擇、和其它的用戶輸入；
(c)存儲用戶選擇和用戶輸入，用于當網絡連接變?yōu)榭捎脮r加載到視頻節(jié)目集網絡服務器的提供商；和
(d)在遠端網絡服務器，從交互視頻節(jié)目集接收加載的用戶的選擇并且處理該信息以集成該信息到用戶/客戶機數(shù)據(jù)庫。
247.一種產生和發(fā)送視頻賀卡到移動裝置的方法，至少包括如下步驟之一
(a)通過以下步驟允許用戶產生視頻賀卡(i)從庫組選擇模板視頻場景或動畫，(ii)通過增加用戶饋送的文本或音頻模板、或從庫中選擇視頻目標作為角色將被插入到場景中訂制模板；
(b)從用戶獲得(i)識別的細節(jié)，(ii)優(yōu)選的傳送方法，(iii)付費細節(jié)，(iv)希望接受的移動裝置數(shù)；和
(c)取決于的傳送方法排隊賀卡，直至帶寬變得可用或采取高峰傳輸已過，輪詢接受的裝置看其是否能夠處理賀卡和是否傳送到指定的移動裝置。
248.按照權利要求201的視頻編碼方法，其中所述目標控制數(shù)據(jù)包括允許用戶修飾對應于所述視頻目標的任意構形的視頻的構形參數(shù)。
249.按照權利要求201的視頻編碼方法，其中所述目標控制數(shù)據(jù)包括確定何時調用對于所述視頻目標的對應的控制的條件數(shù)據(jù)。
250.按照權利要求201的視頻編碼方法，其中所述目標控制數(shù)據(jù)表示用于影響其它視頻目標的控制。
251.按照權利要求201的視頻編碼方法，包括響應于一些事件或用戶的交互，根據(jù)設置的標志控制所述視頻目標的動態(tài)媒體組合。
252.按照權利要求201的視頻編碼方法，包括廣播和/或多點傳送所述數(shù)據(jù)流。
全文摘要
一種產生面向目標交互多媒體文件的方法，包括編碼至少由視頻、文本、音頻、音樂和/或圖形單元之一組成的數(shù)據(jù)分別作為視頻包流、文本包流、音頻包流、音樂包流和/或圖形包流；組合所述包流為單一自包含的目標，所述目標含有其自己的控制信息；放置多個所述目標到數(shù)據(jù)流中；以及在單一鄰近的自包含場景中，分組一個或多個所述數(shù)據(jù)流，所述場景包括作為包序列中的初始包的格式定義。設有一個用于執(zhí)行所述方法的編碼器以及用于分析和解碼所述文件的播放機或解碼器，可無線地發(fā)送碼流到諸如移動電話或PDA的便攜計算機裝置。目標控制提供目標的修飾和交互控制，允許用戶控制動態(tài)媒體合成，如指示交叉視頻目標的構形和內容并控制接收的目標。
文檔編號H04N7/16GK1402852SQ0081636
公開日2003年3月12日 申請日期2000年10月20日 優(yōu)先權日1999年10月22日
發(fā)明者魯賓·岡薩雷斯 申請人:動感天空公司