背景技術(shù):
領(lǐng)域
諸實施例涉及在通信會話期間經(jīng)由不同鏈路來交換視頻流的各部分。
2.相關(guān)技術(shù)描述
無線通信系統(tǒng)已經(jīng)歷了數(shù)代的發(fā)展,包括第一代模擬無線電話服務(wù)(1g)、第二代(2g)數(shù)字無線電話服務(wù)(包括過渡的2.5g和2.75g網(wǎng)絡(luò))、以及第三代(3g)高速數(shù)據(jù)、具有因特網(wǎng)能力的無線服務(wù)。目前在用的有許多不同類型的無線通信系統(tǒng),包括蜂窩以及個人通信服務(wù)(pcs)系統(tǒng)。已知蜂窩系統(tǒng)的示例包括蜂窩模擬高級移動電話系統(tǒng)(amps),以及基于碼分多址(cdma)、頻分多址(fdma)、時分多址(tdma)、tdma的全球移動接入系統(tǒng)(gsm)變型的數(shù)字蜂窩系統(tǒng),以及使用tdma和cdma技術(shù)兩者的更新的混合數(shù)字通信系統(tǒng)。
用于提供cdma移動通信的方法在美國由電信行業(yè)協(xié)會/電子行業(yè)協(xié)會在題為“mobilestation-basestationcompatibilitystandardfordual-modewidebandspreadspectrumcellularsystem(用于雙模寬帶擴頻蜂窩系統(tǒng)的移動站-基站兼容性標(biāo)準(zhǔn))”的tia/eia/is-95-a(在本文中稱為is-95)中被標(biāo)準(zhǔn)化。組合的amps及cdma系統(tǒng)在tia/eia標(biāo)準(zhǔn)is-98中描述。在涵蓋了被稱為寬帶cdma(w-cdma)、cdma2000(諸如舉例而言cdma20001xev-do標(biāo)準(zhǔn))或td-scdma的imt-2000/um、或即國際移動電信系統(tǒng)2000/通用移動電信系統(tǒng)標(biāo)準(zhǔn)中描述了其他通信系統(tǒng)。
在w-cdma無線通信系統(tǒng)中,用戶裝備(ue)接收來自固定位置b節(jié)點(也稱為蜂窩小區(qū)站點或蜂窩小區(qū))的信號,這些固定位置b節(jié)點支持基站附近或周圍的特定地理區(qū)域內(nèi)的通信鏈路或服務(wù)。b節(jié)點提供至一般為分組數(shù)據(jù)網(wǎng)絡(luò)的接入網(wǎng)(an)或無線電接入網(wǎng)(ran)的入口點,該分組數(shù)據(jù)網(wǎng)絡(luò)使用支持用于基于服務(wù)質(zhì)量(qos)要求來區(qū)分話務(wù)的方法的、基于因特網(wǎng)工程任務(wù)組(ietf)的標(biāo)準(zhǔn)協(xié)議。因此,b節(jié)點一般通過空中接口與ue交互并通過網(wǎng)際協(xié)議(ip)網(wǎng)絡(luò)數(shù)據(jù)分組與ran交互。
在無線電信系統(tǒng)中,即按即講(ptt)能力正變得受到服務(wù)扇區(qū)和消費者的歡迎。ptt能支持在諸如w-cdma、cdma、fdma、tdma、gsm等標(biāo)準(zhǔn)商業(yè)無線基礎(chǔ)設(shè)施上運行的“分派”語音服務(wù)。在分派模式中,端點(例如,ue)之間的通信發(fā)生在虛擬群內(nèi),其中一個“講話者”的語音被傳送給一個或多個“收聽者”。此類通信的單個實例通常被稱作分派呼叫,或者簡稱ptt呼叫。ptt呼叫是定義呼叫特性的群的實例化。群在本質(zhì)上是由成員列表以及相關(guān)聯(lián)信息(諸如群名稱或群標(biāo)識)定義的。
遠程呈現(xiàn)(telepresence)指代允許人感覺就像他們在場那樣,以給出在場的表象的一組技術(shù)。另外,用戶可被給予影響遠程位置的能力。在此情形中,用戶的位置、移動、動作、語音可在遠程位置被感測、傳送和復(fù)制以達成此效果。因此,信息可在用戶與遠程位置之間的兩個方向上行進。與傳統(tǒng)視頻會議相比,通過視頻的遠程呈現(xiàn)部署了更大的技術(shù)復(fù)雜性以及視野和聲音兩者的改進保真度。
移動通信系統(tǒng)中的技術(shù)進步還擴展了視頻會議與移動設(shè)備聯(lián)用的能力,由此實現(xiàn)了獨立于位置的協(xié)作。不同于傳統(tǒng)的視頻遠程呈現(xiàn),移動協(xié)作利用了實現(xiàn)獨立于位置的有效協(xié)作的無線、蜂窩和寬帶技術(shù)。移動協(xié)作環(huán)境將視頻、音頻、和屏幕繪圖能力的使用與使用移動設(shè)備相結(jié)合以實現(xiàn)實時、獨立于位置的多方會議。
在遠程呈現(xiàn)環(huán)境中,用戶能使用觸摸點、移動和姿勢來物理地示出想法,想法可在其他ue上同步傳達。本發(fā)明給出了用于根據(jù)ue顯示器能力和帶寬分配來在實時流送移動協(xié)作環(huán)境中按比例縮放和/或表示數(shù)據(jù)流的裝置。
許多不同類型的ue存在有不同的顯示器能力。ue的顯示器能力可取決于屏幕尺寸、色彩分辨率、幀速率、顯示器分辨率、色彩分辨率和縱橫比而變化。另外,ue的顯示器能力可取決于處理器速度、設(shè)備存儲器、軟件應(yīng)用而變化。替換地,至每個ue的連接的帶寬分配和性能水平可變化。因此,用于交換數(shù)據(jù)流的分配取決于每個ue的顯示器能力而在不同的傳送方ue和接收方ue當(dāng)中變化。本發(fā)明的各實施例允許確定每個ue的顯示器能力,以便防止用于每個ue的帶寬分配欠利用或過度利用。本發(fā)明給出了用于確定每個ue的能力并相應(yīng)地轉(zhuǎn)變要傳送的數(shù)據(jù)流的裝置。
本發(fā)明給出了供服務(wù)器基于物理用戶輸入來轉(zhuǎn)變顯示數(shù)據(jù)流以在遠程呈現(xiàn)環(huán)境中傳送的裝置。本發(fā)明還提供了用于確定目標(biāo)ue的數(shù)據(jù)能力和到目標(biāo)ue的連接性能、并用于相應(yīng)地調(diào)節(jié)顯示數(shù)據(jù)的傳輸?shù)难b置。
概述
在一實施例中,ue正在參與與(諸)目標(biāo)ue共享視頻流的通信會話。ue接收標(biāo)識視頻流的(諸)高優(yōu)先級部分的用戶輸入。ue基于(諸)高優(yōu)先級部分來生成第一視頻饋送并且至少基于該視頻流的(諸)其他部分來生成第二視頻饋送。分別在第一和第二鏈路上與(諸)目標(biāo)ue交換第一和第二視頻饋送。在一示例中,攜帶第一視頻饋送的第一鏈路可被分配qos。(諸)目標(biāo)ue組合第一和第二視頻饋送以重構(gòu)該視頻流的版本,并且隨后呈現(xiàn)該視頻流的經(jīng)重構(gòu)版本。
附圖簡要說明
對本發(fā)明的各實施例及其許多伴隨優(yōu)點的更完整領(lǐng)會將因其在參考結(jié)合附圖考慮的以下詳細描述時變得更好理解而易于獲得,附圖僅出于解說目的被給出而不對本發(fā)明構(gòu)成任何限定,并且其中:
圖1是根據(jù)本發(fā)明的至少一個實施例的支持接入終端和接入網(wǎng)的無線網(wǎng)絡(luò)架構(gòu)的示圖。
圖2a解說了根據(jù)本發(fā)明一實施例的圖1的核心網(wǎng)。
圖2b解說了根據(jù)本發(fā)明另一實施例的圖1的核心網(wǎng)。
圖2c更詳細地解說了圖1的無線通信系統(tǒng)的示例。
圖3是根據(jù)本發(fā)明的至少一個實施例的用戶裝備(ue)的解說。
圖4解說了包括配置成接收和/或傳送信息的邏輯的通信設(shè)備。
圖5解說了根據(jù)本發(fā)明一實施例的在群通信期間交換表示物理用戶輸入的數(shù)據(jù)的過程。
圖6解說了根據(jù)本發(fā)明一實施例的基于圖5的過程的執(zhí)行的通信流。
圖7a解說了根據(jù)本發(fā)明一實施例的圖5的過程的示例實現(xiàn)。
圖7b解說了根據(jù)本發(fā)明一實施例的用戶的用于在ue的顯示屏上畫圓的物理用戶輸入的原始表示以及目標(biāo)ue處該物理用戶輸入的對應(yīng)表示的示例。
圖7c解說了根據(jù)本發(fā)明一實施例的圖7a的更為詳細的實現(xiàn)。
圖8a解說了根據(jù)本發(fā)明一實施例的圖7a的一部分的實現(xiàn)。
圖8b解說了根據(jù)本發(fā)明一實施例的圖8a的示例實現(xiàn)。
圖9解說了基于所接收到的用戶生成的物理輸入在通信會話期間選擇性地調(diào)節(jié)用于一個或多個目標(biāo)ue的顯示設(shè)置的過程。
圖10解說了根據(jù)本發(fā)明一實施例的圖9中描述的過程的示例實現(xiàn)。
圖11涉及根據(jù)本發(fā)明的一實施例的用于向至少一個目標(biāo)ue選擇性地傳送與正在給定ue上顯示的視頻流相關(guān)聯(lián)的不同視頻饋送的過程。
圖12涉及根據(jù)本發(fā)明的一實施例的從分別經(jīng)由第一和第二鏈路接收來自給定ue的第一和第二視頻饋送的目標(biāo)ue的角度而言的圖11的過程的繼續(xù)。
圖13解說了根據(jù)本發(fā)明的一實施例的可如何在圖11的過程期間標(biāo)識視頻流的高優(yōu)先級部分集合的示例實現(xiàn)。
圖14解說了根據(jù)本發(fā)明一實施例的可在圖13的過程期間發(fā)生的對視頻流部分的顯式選擇。
圖15a解說了根據(jù)本發(fā)明一實施例的圖12的過程的一部分的示例實現(xiàn)。
圖15b解說了根據(jù)本發(fā)明一實施例的圖12的過程的一部分的另一示例實現(xiàn)。
圖16解說了根據(jù)本發(fā)明另一實施例的可如何在圖11的過程期間標(biāo)識視頻流的高優(yōu)先級部分集合的示例實現(xiàn)。
圖17a解說了根據(jù)本發(fā)明一實施例的可觸發(fā)圖16的過程的一部分的用戶輸入的示例。
圖17b解說了根據(jù)本發(fā)明一實施例的可觸發(fā)圖16的過程的一部分的用戶輸入的另一示例。
圖18a-18d解說了根據(jù)本發(fā)明一實施例的圖17a的過程結(jié)合圖11和16的示例實現(xiàn)。
圖19a解說了根據(jù)本發(fā)明一實施例的圖12的一部分的示例實現(xiàn)。
圖19b解說了根據(jù)本發(fā)明一實施例的圖12的一部分的另一示例實現(xiàn)。根據(jù)本發(fā)明一實施例的圖12的一部分。
詳細描述
在以下針對本發(fā)明的具體實施例的描述和有關(guān)附圖中公開了本發(fā)明的各方面??梢栽O(shè)計出替換實施例而不會脫離本發(fā)明的范圍。另外,本發(fā)明中眾所周知的元素將不被詳細描述或?qū)⒈皇∪ヒ悦怃螞]本發(fā)明的相關(guān)細節(jié)。
措辭“示例性”和/或“示例”在本文中用于意指“用作示例、實例或解說”。本文描述為“示例性”和/或“示例”的任何實施例不必被解釋為優(yōu)于或勝過其他實施例。同樣,術(shù)語“本發(fā)明的各實施例”并不要求本發(fā)明的所有實施例都包括所討論的特征、優(yōu)點、或工作模式。
此外,許多實施例是根據(jù)將由例如計算設(shè)備的元件執(zhí)行的動作序列來描述的。將認識到,本文描述的各種動作能由專用電路(例如,專用集成電路(asic))、由正被一個或多個處理器執(zhí)行的程序指令、或由這兩者的組合來執(zhí)行。另外,本文描述的這些動作序列可被認為是完全體現(xiàn)在任何形式的計算機可讀存儲介質(zhì)內(nèi),其內(nèi)存儲有一經(jīng)執(zhí)行就將使相關(guān)聯(lián)的處理器執(zhí)行本文所描述的功能性的相應(yīng)計算機指令集。由此,本發(fā)明的各個方面可以用數(shù)種不同的形式來體現(xiàn),所有這些形式都已被構(gòu)想落在所要求保護的主題內(nèi)容的范圍內(nèi)。另外,對于本文所描述的每個實施例,任何此類實施例的對應(yīng)形式可在本文被描述為例如“被配置成執(zhí)行所描述的動作的邏輯”(例如,在下文關(guān)于圖4更詳細地描述)。
在本文被稱為用戶裝備(ue)的高數(shù)據(jù)率(hdr)訂戶站可以是移動的或駐定的,并且可與一個或多個可被稱為b節(jié)點的接入點(ap)通信。ue通過這些b節(jié)點中的一個或多個b節(jié)點向無線電網(wǎng)絡(luò)控制器(rnc)傳送和從其接收數(shù)據(jù)分組。b節(jié)點和rnc是被稱為無線電接入網(wǎng)(ran)的網(wǎng)絡(luò)的部分。無線電接入網(wǎng)可在多個接入終端之間傳輸語音和數(shù)據(jù)分組。
無線電接入網(wǎng)可進一步連接至該無線電接入網(wǎng)外部的附加網(wǎng)絡(luò)并且可在每個ue與此類網(wǎng)絡(luò)之間傳輸語音和數(shù)據(jù)分組,此類核心網(wǎng)絡(luò)包括特定承運商相關(guān)的服務(wù)器和設(shè)備以及至其他網(wǎng)絡(luò)(諸如企業(yè)內(nèi)聯(lián)網(wǎng)、因特網(wǎng)、公共交換電話網(wǎng)(pstn)、服務(wù)通用分組無線電服務(wù)(gprs)支持節(jié)點(sgsn)、網(wǎng)關(guān)gprs支持節(jié)點(ggsn))的連通性。已與一個或多個b節(jié)點建立活躍話務(wù)信道連接的ue可被稱為活躍ue,并且可被稱為處于話務(wù)狀態(tài)。處在與一個或多個b節(jié)點建立活躍話務(wù)信道(tch)連接的過程中的ue可被稱為處于連接建立狀態(tài)。ue可以是通過無線信道或通過有線信道進行通信的任何數(shù)據(jù)設(shè)備。ue還可以是數(shù)種類型設(shè)備中的任何設(shè)備,包括但不限于pc卡、致密閃存設(shè)備、外置或內(nèi)置調(diào)制解調(diào)器、或者無線或有線電話。ue藉以向(諸)b節(jié)點發(fā)送信號的通信鏈路被稱為上行鏈路信道(例如,反向話務(wù)信道、控制信道、接入信道等)。(諸)b節(jié)點藉以向ue發(fā)送信號的通信鏈路被稱為下行鏈路信道(例如,尋呼信道、控制信道、廣播信道、前向話務(wù)信道等)。如本文所使用的,術(shù)語話務(wù)信道(tch)可以指上行鏈路/反向或下行鏈路/前向話務(wù)信道。
圖1解說了根據(jù)本發(fā)明至少一個實施例的無線通信系統(tǒng)100的一個示例性實施例的框圖。系統(tǒng)100可包含跨空中接口104與接入網(wǎng)或無線電接入網(wǎng)(ran)120進行通信的ue(諸如蜂窩電話102),接入網(wǎng)或無線電接入網(wǎng)(ran)120能將ue102連接至提供分組交換數(shù)據(jù)網(wǎng)(例如,內(nèi)聯(lián)網(wǎng)、因特網(wǎng)、和/或核心網(wǎng)126)與ue102、108、110、112之間的數(shù)據(jù)連通性的網(wǎng)絡(luò)裝備。如此處所示,ue可以是蜂窩電話102、個人數(shù)字助理108、在此處示為雙向文本尋呼機的尋呼機110、或者甚至是具有無線通信口的分開的計算機平臺112。因此,本發(fā)明的各實施例能在任何形式的包括無線通信口或具有無線通信能力的ue上實現(xiàn),包括但不限于無線調(diào)制解調(diào)器、pcmcia卡、個人計算機、電話、或者其任何組合或子組合。此外,如本文中所使用的,術(shù)語“ue”在其他通信協(xié)議(即,除w-cdma以外的其他通信協(xié)議)中可被互換地稱為“接入終端”、“at”、“無線設(shè)備”、“客戶端設(shè)備”、“移動終端”、“移動站”及其變型。
參照回到圖1,無線通信系統(tǒng)100的組件以及本發(fā)明示例性實施例的元件的相互關(guān)系不限于所解說的配置。系統(tǒng)100僅僅是示例性的并且可包括允許遠程ue(諸如無線客戶端計算設(shè)備102、108、110、112)通過空中在彼此之間或當(dāng)中通信和/或在經(jīng)由空中接口104和ran120連接的組件(包括但不限于核心網(wǎng)126、因特網(wǎng)、pstn、sgsn、ggsn和/或其他遠程服務(wù)器)之間和當(dāng)中通信的任何系統(tǒng)。
ran120控制向rnc122發(fā)送的消息(通常是作為數(shù)據(jù)分組發(fā)送的消息)。rnc122負責(zé)信令通知、建立、以及拆除服務(wù)通用分組無線電服務(wù)(gprs)支持節(jié)點(sgsn)與ue102/108/110/112之間的承載信道(即,數(shù)據(jù)信道)。如果啟用了鏈路層加密,則rnc122還在通過空中接口104轉(zhuǎn)發(fā)內(nèi)容之前對該內(nèi)容進行加密。rnc122的功能在本領(lǐng)域是公知的且出于簡明起見將不作進一步討論。核心網(wǎng)126可通過網(wǎng)絡(luò)、因特網(wǎng)和/或公共交換電話網(wǎng)(pstn)與rnc122通信。替換地,rnc122可直接連接到因特網(wǎng)或外部網(wǎng)絡(luò)。通常,核心網(wǎng)126與rnc122之間的網(wǎng)絡(luò)或因特網(wǎng)連接傳遞數(shù)據(jù),而pstn傳遞語音信息。rnc122可連接到多個b節(jié)點124。以與核心網(wǎng)126相似的方式,rnc122通常通過網(wǎng)絡(luò)、因特網(wǎng)和/或pstn連接到b節(jié)點124以用于數(shù)據(jù)傳遞和/或語音信息。b節(jié)點124可無線地向ue(諸如蜂窩電話102)廣播數(shù)據(jù)消息。b節(jié)點124、rnc122以及其他組件可如本領(lǐng)域已知的那樣形成ran120。然而,替換配置也可被使用并且本發(fā)明不限于所解說的配置。例如,在另一實施例中,rnc122以及一個或多個b節(jié)點124的功能性可被折疊到具有rnc122和b節(jié)點124兩者的功能性的單個“混合”模塊中。
圖2a解說了根據(jù)本發(fā)明的實施例的核心網(wǎng)126。具體而言,圖2a解說了w-cdma系統(tǒng)內(nèi)實現(xiàn)的通用分組無線電服務(wù)(gprs)核心網(wǎng)的組件。在圖2a的實施例中,核心網(wǎng)126包括服務(wù)gprs支持節(jié)點(sgsn)160、網(wǎng)關(guān)gprs支持節(jié)點(ggsn)165和因特網(wǎng)175。然而應(yīng)領(lǐng)會,在替換性實施例中,因特網(wǎng)175和/或其他組件的諸部分可位于核心網(wǎng)外部。
一般而言,gprs是全球移動通信系統(tǒng)(gsm)電話用于傳送網(wǎng)際協(xié)議(ip)分組的協(xié)議。gprs核心網(wǎng)(例如,ggsn165以及一個或多個sgsn160)是gprs系統(tǒng)的集中部分,并且還提供對基于w-cdma的3g網(wǎng)絡(luò)的支持。gprs核心網(wǎng)是gsm核心網(wǎng)的集成部分,提供gsm和w-cdma網(wǎng)絡(luò)中的移動性管理、會話管理和ip分組服務(wù)傳輸。
gprs隧穿協(xié)議(gtp)是gprs核心網(wǎng)的定義ip協(xié)議。gtp是允許gsm或w-cdma網(wǎng)絡(luò)的終端用戶(例如,ue)在各處移動,而同時繼續(xù)如同從ggsn165處的一個位置那樣連接到因特網(wǎng)的協(xié)議。這是通過將訂戶的數(shù)據(jù)從該訂戶的當(dāng)前sgsn160傳遞到正在處置該訂戶的會話的ggsn165來達成的。
gprs核心網(wǎng)使用三種形式的gtp;即,(i)gtp-u、(ii)gtp-c以及(iii)gtp’(高級gtp)。gtp-u用于針對每種分組數(shù)據(jù)協(xié)議(pdp)的上下文在分開的隧道中傳遞用戶數(shù)據(jù)。.gtp-c用于控制信令(例如,pdp上下文的建立和刪除、gsn可達性的驗證、諸如在訂戶從一個sgsn移至另一個sgsn時的更新或修改等)。gtp'用于從gsn向計費功能傳遞計費數(shù)據(jù)。
參照圖2a,ggsn165充當(dāng)gprs主干網(wǎng)(未示出)與因特網(wǎng)(即,外部分組數(shù)據(jù)網(wǎng)絡(luò))175之間的接口。ggsn165從來自sgsn160的gprs分組提取具有相關(guān)聯(lián)的分組數(shù)據(jù)協(xié)議(pdp)格式(例如,ip或ppp)的分組數(shù)據(jù),并且在相應(yīng)的分組數(shù)據(jù)網(wǎng)上將這些分組發(fā)送出去。在另一方向上,傳入的數(shù)據(jù)分組被ggsn165定向至sgsn160,sgsn160管理和控制由ran120服務(wù)的目的地ue的無線電接入承載(rab)。由此,ggsn165在其位置寄存器中(例如,在pdp上下文內(nèi))存儲目標(biāo)ue的當(dāng)前sgsn地址以及他/她的概況。ggsn負責(zé)ip地址指派并且是用于所連接ue的默認路由器。ggsn還執(zhí)行認證和計費功能。
在一示例中,sgsn160代表核心網(wǎng)126內(nèi)的許多sgsn之一。每個sgsn負責(zé)從和向相關(guān)聯(lián)的地理服務(wù)區(qū)域內(nèi)的ue遞送數(shù)據(jù)分組。sgsn160的任務(wù)包括分組路由和傳遞、移動性管理(例如,附連/斷開和位置管理)、邏輯鏈路管理、以及認證和計費功能。sgsn的位置寄存器例如在關(guān)于每個用戶或ue的一個或多個pdp上下文內(nèi)存儲向sgsn160注冊的所有g(shù)prs用戶的位置信息(例如,當(dāng)前蜂窩小區(qū)、當(dāng)前vlr)和用戶概況(例如,imsi、在分組數(shù)據(jù)網(wǎng)中使用的(諸)pdp地址)。因此,sgsn負責(zé)(i)解除來自ggsn165的下行鏈路gtp分組的隧穿,(ii)朝ggsn165上行鏈路隧穿ip分組,(iii)當(dāng)ue在sgsn服務(wù)區(qū)域之間移動時執(zhí)行移動性管理,以及(iv)對移動訂戶記賬。如本領(lǐng)域普通技術(shù)人員將領(lǐng)會的,除了(i)-(iv)以外,配置成用于gsm/edge網(wǎng)絡(luò)的sgsn還具有與配置成用于w-cdma網(wǎng)絡(luò)的sgsn相比略微不同的功能性。
ran120(例如,或者在通用移動電信系統(tǒng)(umts)系統(tǒng)架構(gòu)中為utran)經(jīng)由無線電接入網(wǎng)應(yīng)用部分(ranap)協(xié)議與sgsn160通信。ranap用傳輸協(xié)議(諸如幀中繼或ip)在iu接口(iu-ps)上操作。sgsn160經(jīng)由gn接口與ggsn165通信,gn接口是sgsn160與其他sgsn(未示出)以及內(nèi)部ggsn之間的基于ip的接口,并且使用以上定義的gtp協(xié)議(例如,gtp-u、gtp-c、gtp’等)。在圖2a的實施例中,sgsn160和ggsn165之間的gn承載gtp-c和gtp-u兩者。盡管未在圖2a中示出,但gn接口也被域名系統(tǒng)(dns)使用。ggsn165經(jīng)由gi接口利用ip協(xié)議直接或通過無線應(yīng)用協(xié)議(wap)網(wǎng)關(guān)連接到公共數(shù)據(jù)網(wǎng)絡(luò)(pdn)(未示出)且進而連接到因特網(wǎng)175。
圖2b解說了根據(jù)本發(fā)明的另一實施例的核心網(wǎng)126。圖2b類似于圖2a,區(qū)別在于圖2b解說了直接隧道功能性的實現(xiàn)。
直接隧道是iu模式中允許sgsn160在分組交換(ps)域內(nèi)在ran和ggsn之間建立直接用戶面隧道、gtp-u的可任選功能??稍诿縢gsn和每rnc基礎(chǔ)上配置具有直接隧道能力的sgsn(諸如圖2b中的sgsn160),無論該sgsn能否使用直接用戶面連接。圖2b中的sgsn160處置控制面信令并作出何時建立直接隧道的判決。當(dāng)指派給pdp上下文的無線電承載(rab)被釋放(即,pdp上下文被保存)時,在ggsn165和sgsn160之間建立gtp-u隧道以便能夠處置下行鏈路分組。
sgsn160和ggsn165之間的可任選的直接隧道通常在以下情形中不被允許(i)在漫游情形中(例如,因為sgsn需要知道ggsn處于相同還是不同plmn中),(ii)在sgsn已經(jīng)從歸屬位置寄存器(hlr)收到訂戶簡檔中用于移動增強邏輯的定制應(yīng)用(camel)訂閱信息的情況下和/或(iii)在ggsn165不支持gtp協(xié)議版本1的情況下。關(guān)于camel約束,如果建立直接隧道,則不可能有來自sgsn160的話務(wù)量報告,因為sgsn160不再具有用戶面的可見性。因此,由于camel服務(wù)器能在pdp上下文的壽命期間的任何時間調(diào)用話務(wù)量報告,故直接隧道的使用對于其簡檔包含camel訂閱信息的訂戶而言是禁止的。
sgsn160能在分組移動性管理(pmm)-拆卸狀態(tài)、pmm-空閑狀態(tài)或pmm-連通狀態(tài)中工作。在一示例中,圖2b中示出的針對直接隧道功能的gtp-連接可被建立,由此sgsn160處于pmm-連通狀態(tài)并從ue接收iu連接建立請求。sgsn160確保新iu連接和現(xiàn)有iu連接用于同一ue,并且若是如此,則sgsn160處理該新請求并釋放現(xiàn)有iu連接以及與之相關(guān)聯(lián)的所有rab。為了確保新iu連接和現(xiàn)有iu連接用于同一ue,sgsn160可執(zhí)行安全性功能。在iu連接建立請求僅針對信令的情形中,如果建立了針對該ue的直接隧道,則sgsn160向相關(guān)聯(lián)的(諸)ggsn165發(fā)送(諸)更新pdp上下文請求以在sgsn160和(諸)ggsn165之間建立gtp隧道。在iu連接建立請求針對數(shù)據(jù)傳遞的情形中,sgsn160可立即建立新的直接隧道并向相關(guān)聯(lián)的(諸)ggsn165發(fā)送(諸)更新pdp上下文請求并包括針對用戶面的rnc地址、針對數(shù)據(jù)的下行鏈路隧道端點標(biāo)識符(teid)。
當(dāng)ue已經(jīng)收到具有理由“直接信令連接重新建立”的rrc連接釋放消息時,即使路由區(qū)域自從上一次更新以來未曾改變,該ue也在進入pmm-空閑狀態(tài)之際立即執(zhí)行路由區(qū)域更新(rau)規(guī)程。在一示例中,當(dāng)rnc因缺少iur連接而不能聯(lián)系服務(wù)rnc以驗證該ue時(例如,參見ts25.331[52]),該rnc將發(fā)送具有理由“直接信令連接重新建立”的rrc連接釋放消息。當(dāng)ue具有要發(fā)送的待決用戶數(shù)據(jù)時,ue在成功完成rau規(guī)程以重新建立無線電接入承載之后執(zhí)行后續(xù)的服務(wù)請求規(guī)程。
pdp上下文是在特定ue具有活躍gprs會話時存在于sgsn160和ggsn165兩者上的包含該ue的通信會話信息的數(shù)據(jù)結(jié)構(gòu)。當(dāng)ue希望發(fā)起gprs通信會話時,該ue必須首先附連至sgsn160并隨后激活與ggsn165的pdp上下文。此舉在該訂戶當(dāng)前正訪問的sgsn160以及服務(wù)該ue的接入點的ggsn165中分配pdp上下文數(shù)據(jù)結(jié)構(gòu)。
圖2c更詳細地解說了圖1的無線通信系統(tǒng)100的示例。具體而言,參照圖2c,ue1…n被示為在由不同分組數(shù)據(jù)網(wǎng)端點服務(wù)的位置處連接至ran120。圖2c的解說針對w-cdma系統(tǒng)和術(shù)語,但是將領(lǐng)會圖2c可如何被修改以適應(yīng)1xev-do系統(tǒng)。相應(yīng)地,ue1和ue3在由第一分組數(shù)據(jù)網(wǎng)端點162(例如,其可對應(yīng)于sgsn、ggsn、pdsn、歸屬代理(ha)、區(qū)外代理(fa)等)服務(wù)的一部分處連接至ran120。第一分組數(shù)據(jù)網(wǎng)端點162進而經(jīng)由路由單元188連接至因特網(wǎng)175和/或連接至以下一者或多者:認證、授權(quán)和記賬(aaa)服務(wù)器182、置備服務(wù)器184、網(wǎng)際協(xié)議(ip)多媒體子系統(tǒng)(ims)/會話發(fā)起協(xié)議(sip)注冊服務(wù)器186和/或應(yīng)用服務(wù)器170。ue2和5…n在由第二分組數(shù)據(jù)網(wǎng)端點164(例如,其可對應(yīng)于sgsn、ggsn、pdsn、fa、ha等)服務(wù)的一部分處連接至ran120。類似于第一分組數(shù)據(jù)網(wǎng)端點162,第二分組數(shù)據(jù)網(wǎng)端點164進而經(jīng)由路由單元188連接至因特網(wǎng)175和/或連接至以下一者或多者:aaa服務(wù)器182、置備服務(wù)器184、ims/sip注冊服務(wù)器186和/或應(yīng)用服務(wù)器170。ue4直接連接至因特網(wǎng)175,并且通過因特網(wǎng)175可隨后連接至以上描述的任何系統(tǒng)組件。
參照圖2c,ue1、3和5…n被解說為無線蜂窩電話,ue2被解說為無線平板pc并且ue4被解說為有線臺式站。然而,在其他實施例中,將領(lǐng)會,無線通信系統(tǒng)100可連接至任何類型的ue,并且在圖2c中解說的示例并非旨在限制該系統(tǒng)內(nèi)可實現(xiàn)的ue的類型。同樣,盡管aaa182、配置服務(wù)器184、ims/sip注冊服務(wù)器186和應(yīng)用服務(wù)器170各自被解說為在結(jié)構(gòu)上分開的服務(wù)器,但是在本發(fā)明的至少一個實施例中,這些服務(wù)器中的一者或多者可被合并。
進一步,參照圖2c,應(yīng)用服務(wù)器170被解說為包括多個媒體控制綜合體(mcc)1…n170b、和多個區(qū)域分派器1…n170a。區(qū)域分派器170a和mcc170b共同地被包括在應(yīng)用服務(wù)器170內(nèi),該應(yīng)用服務(wù)器170在至少一個實施例中可對應(yīng)于無線通信系統(tǒng)100內(nèi)共同用于仲裁通信會話(例如,經(jīng)由ip單播和/或ip多播協(xié)議的半雙工群通信會話)的分布式服務(wù)器網(wǎng)絡(luò)。例如,因為由應(yīng)用服務(wù)器170仲裁的通信會話在理論上可發(fā)生在位于系統(tǒng)100內(nèi)任何地方的ue之間,所以多個區(qū)域分派器170a和mcc是分布式的以縮減被仲裁的通信會話的等待時間(例如,以使得北美的mcc不在位于中國的會話參與者之間來回中繼媒體)。因此,當(dāng)參考應(yīng)用服務(wù)器170時,將領(lǐng)會,相關(guān)聯(lián)的功能性可由一個或多個區(qū)域分派器170a和/或一個或多個mcc170b來施行。區(qū)域分派器170a通常負責(zé)與建立通信會話有關(guān)的任何功能性(例如,處置ue之間的信令消息,調(diào)度和/或發(fā)送宣告消息等),而mcc170b負責(zé)在該呼叫實例持續(xù)期間主存該通信會話,包括在被仲裁的通信會話期間進行呼叫中信令傳遞和實際媒體交換。
參照圖3,諸如蜂窩電話之類的ue200(這里為無線設(shè)備)具有平臺202,該平臺202能接收并執(zhí)行傳送自ran120的可能最終是來自核心網(wǎng)126、因特網(wǎng)、和/或其他遠程服務(wù)器及網(wǎng)絡(luò)的軟件應(yīng)用、數(shù)據(jù)和/或命令。平臺202可包括收發(fā)機206,收發(fā)機206可操作地耦合至專用集成電路(“asic”208)或其他處理器、微處理器、邏輯電路、或其他數(shù)據(jù)處理設(shè)備。asic208或其他處理器執(zhí)行與無線設(shè)備的存儲器212中的任何駐留程序?qū)拥膽?yīng)用編程接口(“api”)210層。存儲器212可包括只讀或隨機存取存儲器(ram和rom)、eeprom、閃存卡、或計算機平臺常用的任何存儲器。平臺202還可包括能將未活躍地使用的應(yīng)用保存在存儲器212中的本地數(shù)據(jù)庫214。本地數(shù)據(jù)庫214通常為閃存單元,但也可以是如本領(lǐng)域已知的任何輔助存儲設(shè)備(諸如磁介質(zhì)、eeprom、光學(xué)介質(zhì)、帶、軟盤或硬盤、或諸如此類)。內(nèi)部平臺202組件也可以能操作地耦合至外部設(shè)備(諸如天線222、顯示器224、即按即講按鈕228和按鍵板226以及其他組件),如本領(lǐng)域中已知的。
相應(yīng)地,本發(fā)明的實施例可包括有能力執(zhí)行本文描述的功能的ue。如本領(lǐng)域技術(shù)人員將領(lǐng)會的,各種邏輯元件可實施在分立元件、處理器上執(zhí)行的軟件模塊、或軟件與硬件的任何組合中以實現(xiàn)本文公開的功能性。例如,asic208、存儲器212、api210和本地數(shù)據(jù)庫214可以全部協(xié)作地用來加載、存儲和執(zhí)行本文公開的各種功能,且用于執(zhí)行這些功能的邏輯因此可分布在各種元件上。替換地,該功能性可被納入到一個分立的組件中。因此,圖3中的ue200的特征將僅被視為解說性的,且本發(fā)明不被限定于所解說的特征或安排。
ue102或ue200與ran120之間的無線通信可以基于不同的技術(shù),諸如碼分多址(cdma)、w-cdma、時分多址(tdma)、頻分多址(fdma)、正交頻分復(fù)用(ofdm)、全球移動通信系統(tǒng)(gsm)、或可在無線通信網(wǎng)絡(luò)或數(shù)據(jù)通信網(wǎng)絡(luò)中使用的其他協(xié)議。例如,在w-cdma中,數(shù)據(jù)通信通常發(fā)生在客戶端設(shè)備102、(諸)b節(jié)點124和rnc122之間。rnc122可連接到多個數(shù)據(jù)網(wǎng),諸如核心網(wǎng)126、pstn、因特網(wǎng)、虛擬專用網(wǎng)絡(luò)、sgsn、ggsn等,由此允許ue102或200接入更廣的通信網(wǎng)絡(luò)。如上文所討論的以及本領(lǐng)域中已知的,可以使用各種網(wǎng)絡(luò)和配置來將語音傳輸和/或數(shù)據(jù)從ran傳送到ue。相應(yīng)地,本文提供的解說并非意圖限定本發(fā)明的各實施例,而僅僅是幫助描述本發(fā)明的各實施例的各方面。
圖4解說了包括配置成執(zhí)行功能性的邏輯的通信設(shè)備400。通信設(shè)備400可對應(yīng)于上述通信設(shè)備中的任一者,包括但不限于ue102、108、110、112或200,b節(jié)點或基站120,rnc或基站控制器122,分組數(shù)據(jù)網(wǎng)端點(例如,sgsn160、ggsn165、長期演進(lte)中的移動性管理實體(mme)等),服務(wù)器170到186中的任一者等。因此,通信設(shè)備400可對應(yīng)于被配置成通過網(wǎng)絡(luò)與一個或多個其它實體通信(或促成與一個或多個其它實體的通信)的任何電子設(shè)備。
參照圖4,通信設(shè)備400包括被配置成接收和/或傳送信息的邏輯405。在一示例中,如果通信設(shè)備400對應(yīng)于無線通信設(shè)備(例如,ue200、b節(jié)點124等),則配置成接收和/或傳送信息的邏輯405可包括無線通信接口(例如,藍牙、wifi、2g、3g等),諸如無線收發(fā)機和相關(guān)聯(lián)的硬件(例如,rf天線、調(diào)制解調(diào)器、調(diào)制器和/或解調(diào)器等)。在另一示例中,被配置成接收和/或傳送信息的邏輯405可對應(yīng)于有線通信接口(例如,串行連接、usb或火線連接、可藉以接入因特網(wǎng)175的以太網(wǎng)連接等)。因此,如果通信設(shè)備400對應(yīng)于某種類型的基于網(wǎng)絡(luò)的服務(wù)器(例如,sgsn160、ggsn165、應(yīng)用服務(wù)器170等),則配置成接收和/或傳送信息的邏輯405在一示例中可對應(yīng)于以太網(wǎng)卡,該以太網(wǎng)卡經(jīng)由以太網(wǎng)協(xié)議將基于網(wǎng)絡(luò)的服務(wù)器連接至其它通信實體。在進一步示例中,被配置成接收和/或傳送信息的邏輯405可包括傳感或測量硬件(例如,加速計、溫度傳感器、光傳感器、用于監(jiān)視本地rf信號的天線等),通信設(shè)備400可藉由該傳感或測量硬件來監(jiān)視其本地環(huán)境。被配置成接收和/或傳送信息的邏輯405還可包括在被執(zhí)行時允許被配置成接收和/或傳送信息的邏輯405的相關(guān)聯(lián)硬件執(zhí)行其(諸)接收和/或傳送功能的軟件。然而,被配置成接收和/或傳送信息的邏輯405不單單對應(yīng)于軟件,并且被配置成接收和/或傳送信息的邏輯405至少部分地依賴于硬件來實現(xiàn)其功能性。
參照圖4,通信設(shè)備400進一步包括被配置成處理信息的邏輯410。在一示例中,被配置成處理信息的邏輯410可至少包括處理器??捎杀慌渲贸商幚硇畔⒌倪壿?10執(zhí)行的處理類型的示例實現(xiàn)包括但不限于執(zhí)行確定、建立連接、在不同信息選項之間作出選擇、執(zhí)行與數(shù)據(jù)有關(guān)的評估、與耦合到通信設(shè)備400的傳感器交互以執(zhí)行測量操作、將信息從一種格式轉(zhuǎn)換成另一種格式(例如,在不同協(xié)議之間轉(zhuǎn)換,諸如,.wmv到.avi等),等等。例如,包括在配置成處理信息的邏輯410中的處理器可對應(yīng)于被設(shè)計成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號處理器(dsp)、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)或其他可編程邏輯器件、分立的門或晶體管邏輯、分立的硬件組件、或其任何組合。通用處理器可以是微處理器,但在替換方案中,該處理器可以是任何常規(guī)的處理器、控制器、微控制器、或狀態(tài)機。處理器還可以被實現(xiàn)為計算設(shè)備的組合,例如dsp與微處理器的組合、多個微處理器、與dsp核心協(xié)同的一個或多個微處理器、或任何其它此類配置。被配置成處理信息的邏輯410還可包括在被執(zhí)行時允許被配置成處理信息的邏輯410的相關(guān)聯(lián)硬件執(zhí)行其(諸)處理功能的軟件。然而,被配置成處理信息的邏輯410不單單對應(yīng)于軟件,并且被配置成處理信息的邏輯410至少部分地依賴于硬件來實現(xiàn)其功能性。
參照圖4,通信設(shè)備400進一步包括被配置成存儲信息的邏輯415。在一示例中,被配置成存儲信息的邏輯415可至少包括非瞬態(tài)存儲器和相關(guān)聯(lián)的硬件(例如,存儲器控制器等)。例如,包括在配置成存儲信息的邏輯415中的非瞬態(tài)存儲器可對應(yīng)于ram存儲器、閃存、rom存儲器、eprom存儲器、eeprom存儲器、寄存器、硬盤、可移動盤、cd-rom、或者本領(lǐng)域中所知的任何其他形式的存儲介質(zhì)。被配置成存儲信息的邏輯415還可包括在被執(zhí)行時允許被配置成存儲信息的邏輯415的相關(guān)聯(lián)硬件執(zhí)行其(諸)存儲功能的軟件。然而,被配置成存儲信息的邏輯415不單單對應(yīng)于軟件,并且被配置成存儲信息的邏輯415至少部分地依賴于硬件來實現(xiàn)其功能性。
參照圖4,通信設(shè)備400進一步可任選地包括被配置成呈現(xiàn)信息的邏輯420。在一示例中,配置成顯示信息的邏輯420可至少包括輸出設(shè)備和相關(guān)聯(lián)的硬件。例如,輸出設(shè)備可包括視頻輸出設(shè)備(例如,顯示屏、能承載視頻信息的端口,諸如usb、hdmi等)、音頻輸出設(shè)備(例如,揚聲器、能承載音頻信息的端口,諸如話筒插孔、usb、hdmi等)、振動設(shè)備和/或信息可藉此被格式化以供輸出或?qū)嶋H上由通信設(shè)備400的用戶或操作者輸出的任何其它設(shè)備。例如,如果通信設(shè)備400對應(yīng)于如圖3中示出的ue200,則配置成呈現(xiàn)信息的邏輯420可包括顯示器224。在進一步示例中,對于某些通信設(shè)備(諸如不具有本地用戶的網(wǎng)絡(luò)通信設(shè)備(例如,網(wǎng)絡(luò)交換機或路由器、遠程服務(wù)器等))而言,被配置成呈現(xiàn)信息的邏輯420可被省略。被配置成呈現(xiàn)信息的邏輯420還可包括在被執(zhí)行時允許被配置成呈現(xiàn)信息的邏輯420的相關(guān)聯(lián)硬件執(zhí)行其(諸)呈現(xiàn)功能的軟件。然而,被配置成呈現(xiàn)信息的邏輯420不單單對應(yīng)于軟件,并且被配置成呈現(xiàn)信息的邏輯420至少部分地依賴于硬件來實現(xiàn)其功能性。
參照圖4,通信設(shè)備400進一步可任選地包括被配置成接收本地用戶輸入的邏輯425。在一示例中,被配置成接收本地用戶輸入的邏輯425可至少包括用戶輸入設(shè)備和相關(guān)聯(lián)的硬件。例如,用戶輸入設(shè)備可包括按鈕、觸摸屏顯示器、鍵盤、相機、音頻輸入設(shè)備(例如,話筒或可承載音頻信息的端口,諸如話筒插孔等)、和/或可用來從通信設(shè)備400的用戶或操作者接收信息的任何其它設(shè)備。例如,如果通信設(shè)備400對應(yīng)于如圖3中示出的ue200,則配置成接收本地用戶輸入的邏輯425可包括顯示器224(若實現(xiàn)為觸摸屏)、按鍵板226等。在進一步示例中,對于某些通信設(shè)備(諸如不具有本地用戶的網(wǎng)絡(luò)通信設(shè)備(例如,網(wǎng)絡(luò)交換機或路由器、遠程服務(wù)器等))而言,被配置成接收本地用戶輸入的邏輯425可被省略。被配置成接收本地用戶輸入的邏輯425還可包括在被執(zhí)行時允許被配置成接收本地用戶輸入的邏輯425的相關(guān)聯(lián)硬件執(zhí)行其(諸)輸入接收功能的軟件。然而,被配置成接收本地用戶輸入的邏輯425不單單對應(yīng)于軟件,并且被配置成接收本地用戶輸入的邏輯425至少部分地依賴于硬件來實現(xiàn)其功能性。
參照圖4,盡管所配置的邏輯405到425在圖4中被示出為分開或相異的塊,但將領(lǐng)會,相應(yīng)所配置的邏輯藉以執(zhí)行其功能性的硬件和/或軟件可部分交疊。例如,用于促成所配置的邏輯405到425的功能性的任何軟件可被存儲在與被配置成存儲信息的邏輯415相關(guān)聯(lián)的非瞬態(tài)存儲器中,以使得所配置的邏輯405到425各自部分地基于由被配置成存儲信息的邏輯405所存儲的軟件的操作來執(zhí)行其功能性(即,在該情形中為軟件執(zhí)行)。同樣地,直接與所配置的邏輯之一相關(guān)聯(lián)的硬件可不時地被其它所配置的邏輯借用或使用。例如,被配置成處理信息的邏輯410的處理器可在數(shù)據(jù)由被配置成接收和/或傳送信息的邏輯405傳送之前將此數(shù)據(jù)格式化成恰適的格式,以使得被配置成接收和/或傳送信息的邏輯405部分地基于與被配置成處理信息的邏輯410相關(guān)聯(lián)的硬件(即,處理器)的操作來執(zhí)行其功能性(即,在該情形中為數(shù)據(jù)傳輸)。此外,被配置的邏輯或“配置成…的邏輯”405到425并不限于具體的邏輯門或元件,而是一般地指代執(zhí)行本文描述的功能性的能力(經(jīng)由硬件、或硬件和軟件的組合)。因此,盡管共享措詞“邏輯”,但被配置的邏輯或“配置成…的邏輯”405到425不必被實現(xiàn)為邏輯門或邏輯元件。從以下詳細描述的各實施例的概覽中,被配置的邏輯405到425之間的其它交互或協(xié)作將對本領(lǐng)域普通技術(shù)人員而言變得清楚。
通常,媒體(例如,音頻、視頻、文本等)在服務(wù)器仲裁的群通信會話期間被ue呈現(xiàn)。例如,在半雙工視頻通信會話期間,視頻媒體可從發(fā)言權(quán)持有者傳送給應(yīng)用服務(wù)器170,并且應(yīng)用服務(wù)器170可隨后將該視頻媒體再傳給群以供在目標(biāo)ue處呈現(xiàn)。
與群通信會話期間的媒體呈現(xiàn)相結(jié)合,參與會話的一個或多個ue可從它們各自的用戶處接收物理用戶輸入并隨后向群的其余部分傳送指示收到的物理用戶輸入的控制信息。例如,該物理用戶輸入可對應(yīng)于遠程圖解(例如屏幕繪圖)形式,藉此給定ue的用戶圈出相關(guān)聯(lián)顯示器的一部分,表示用戶圈出的圓的圖形被添加到顯示器并隨后被傳送給群的其余部分,其中該圓被重新構(gòu)建。在此示例中,給定用戶通過該圓來突出顯示他/她的顯示器上的興趣點的嘗試被散布給群的其余部分并在相應(yīng)目標(biāo)ue處覆蓋在視頻媒體的渲染的頂部。
然而,具有不同呈現(xiàn)能力和/或連接性能水平的ue可參與同一服務(wù)器仲裁的通信會話。例如,連接至3g網(wǎng)絡(luò)的ue可以是與連接至4g或wlan的ue相同的通信會話的一部分。在另一示例中,具有高分辨率顯示器的ue可以是與具有低分辨率顯示器的ue相同的通信會話的一部分。相應(yīng)地,本發(fā)明的實施例針對藉以根據(jù)與(諸)目標(biāo)ue相關(guān)聯(lián)的能力和/或性能水平而在參與群通信會話的各ue之間共享物理用戶輸入的視覺表示的實現(xiàn)。
圖5解說了根據(jù)本發(fā)明一實施例的在群通信期間交換表示物理用戶輸入的數(shù)據(jù)的過程。參照圖5,假定ue1…n(例如,其中n≥2)正參與通信會話,該通信會話涉及在ue1…n中的每一個ue處的顯示器上的圖形媒體表示。在一示例中,該通信會話可對應(yīng)于視頻會議會話,藉此相同視頻和/或圖像媒體在ue1…n中的每一個ue處顯示(例如,協(xié)作地圖會話等)。替換地,不同視頻和/或圖像媒體可在ue1…n中的兩個或更多個ue處呈現(xiàn)(例如,ue1可觀看ue2的視頻媒體,ue2可觀看ue1的視頻媒體,等等)。在一示例中,視頻和/或圖像媒體不需要通過應(yīng)用服務(wù)器170來活躍地調(diào)停,但也可在ue1…n處獨立地渲染。例如,音頻媒體可通過應(yīng)用服務(wù)器170來調(diào)停(例如,半雙工或全雙工),但視頻和/或圖像媒體可在ue1…n處單獨地加載。例如,ue1…n可在討論他們的旅行計劃時各自獨立地渲染紐約的地圖,從而地圖數(shù)據(jù)不需要在通信會話期間在各ue之間活躍地交換。
參照圖5,在通信會話期間,應(yīng)用服務(wù)器170接收來自給定ue(“ue1”)的被配置成在該給定ue處視覺地表示物理用戶輸入的數(shù)據(jù),500。被配置成由在500接收到的數(shù)據(jù)來視覺表示的物理用戶輸入可包括ue1的用戶用他/她的手指在該給定ue上圈出顯示器的相關(guān)部分、用戶在該給定ue上突出顯示顯示器的一部分,等等。在500接收到的表示物理用戶輸入的數(shù)據(jù)可按照許多不同格式或精度水平來接收。例如,在500接收到的數(shù)據(jù)可對應(yīng)于與物理用戶輸入相關(guān)聯(lián)的一組屏幕坐標(biāo)(例如,這些坐標(biāo)在被連接時一起形成圓、波紋,等等)。
參照圖5,應(yīng)用服務(wù)器170隨后確定至少一個目標(biāo)ue(例如,ue2…n中的一個或多個ue)的數(shù)據(jù)呈現(xiàn)能力和/或從應(yīng)用服務(wù)器170到該至少一個目標(biāo)ue的連接性能水平,505。在一示例中,該至少一個目標(biāo)ue的所確定呈現(xiàn)能力可包括該至少一個目標(biāo)ue的顯示器能力,諸如但不限于顯示器尺寸、色彩分辨率、幀速率、顯示器分辨率、縱橫比,等等。在另一示例中,該至少一個目標(biāo)ue的所確定數(shù)據(jù)呈現(xiàn)能力可取決于該至少一個目標(biāo)ue的性能能力,諸如但不限于處理器速度、存儲器容量、存儲器類型、時鐘頻率、電池壽命和功率節(jié)省要求。
此外,如以上關(guān)于圖5的505所提及的,應(yīng)用服務(wù)器170還可確定與應(yīng)用服務(wù)器170到該至少一個目標(biāo)ue的連接相關(guān)聯(lián)的連接性能水平。例如,到該至少一個目標(biāo)ue的性能水平可以基于分組損耗、往返延遲或其他通話中參數(shù)來推斷。在另一示例中,到目標(biāo)ue的性能水平可以基于與該至少一個目標(biāo)ue的服務(wù)網(wǎng)絡(luò)相關(guān)的信息。例如,應(yīng)用服務(wù)器170可以一般性地確定4g連接的ue與3g連接的ue相比有較高的性能能力。在另一示例中,應(yīng)用服務(wù)器170可知曉因網(wǎng)絡(luò)而異的性能期望(例如,來自在相同網(wǎng)絡(luò)或相同類型的網(wǎng)絡(luò)上服務(wù)ue的先前交互,等等)。
參照圖5,應(yīng)用服務(wù)器170基于所確定的關(guān)于目標(biāo)ue的數(shù)據(jù)呈現(xiàn)能力和/或連接性能水平來選擇性地將所接收到的數(shù)據(jù)從第一精度水平(例如,如在500從給定ue接收到的高質(zhì)量或全質(zhì)量格式)轉(zhuǎn)變成第二精度水平(例如,降低的質(zhì)量格式),510。例如,如果從500接收到的物理用戶輸入的數(shù)據(jù)表示對應(yīng)于一組1000個屏幕坐標(biāo),則510的轉(zhuǎn)變可基于至少一個目標(biāo)ue的所確定呈現(xiàn)能力和/或連接性能水平來將屏幕坐標(biāo)的數(shù)目降低到適于遞送和/或在該至少一個目標(biāo)ue處呈現(xiàn)的數(shù)目(例如,700個屏幕坐標(biāo),關(guān)于預(yù)定義形狀的中心點和尺寸的坐標(biāo),對應(yīng)于預(yù)定義多邊形的頂點以及相關(guān)聯(lián)的中心點的屏幕坐標(biāo),等等)。在另一示例中,應(yīng)用服務(wù)器170可基于人對針對轉(zhuǎn)變或降低的每個方面的敏感度的期望水平來對510處接收到的數(shù)據(jù)的轉(zhuǎn)變進行優(yōu)先級排序以改善用戶體驗(例如,降低分辨率、但不降低幀速率等)。在另一示例中,假定從500接收到的表示物理用戶輸入的數(shù)據(jù)包括復(fù)雜形式、陰影和色彩編碼。在此情形中,510處將此數(shù)據(jù)轉(zhuǎn)變成第二精度水平可包括簡化復(fù)雜形式、降低或消除陰影和/或減小相關(guān)聯(lián)色彩的數(shù)目。
仍參照圖5的510,在另一示例中,如果在505關(guān)于特定目標(biāo)ue確定的連接性能水平很低,則在510轉(zhuǎn)變的數(shù)據(jù)可按比例縮小到縮略圖尺寸并且隨后一旦被特定目標(biāo)ue接收被“伸展”以供呈現(xiàn)以便于填滿其顯示器屏幕。在另一示例中,在510,500的所接收數(shù)據(jù)的形狀可被重構(gòu)以減小圖像尺寸。在另一示例中,在510,500處從給定ue接收到的數(shù)據(jù)可包含表示用戶在地圖上的選擇的圖像數(shù)據(jù),并且所接收到的數(shù)據(jù)可從圖像數(shù)據(jù)轉(zhuǎn)換成一組gps位置和/或地圖的笛卡爾坐標(biāo),從而該圖像數(shù)據(jù)可在至少一個目標(biāo)ue的顯示器處重構(gòu)。如以下將更詳細討論的,在應(yīng)用服務(wù)器170處,在510轉(zhuǎn)變所接收到的數(shù)據(jù)的方式可以對于每個目標(biāo)ue都相同,或者替換地可基于來自505的因ue而異的確定而在各目標(biāo)ue之間變化。
參照圖5,在從給定ue接收到的表示物理用戶輸入的數(shù)據(jù)在510轉(zhuǎn)變成第二精度水平之后,應(yīng)用服務(wù)器170將經(jīng)選擇性轉(zhuǎn)變的數(shù)據(jù)傳送給至少一個目標(biāo)ue以供在其上呈現(xiàn),515。
圖6解說了根據(jù)本發(fā)明一實施例的基于圖5的過程的執(zhí)行的通信流。參照圖6,ue1和ue2正參與涉及某一類型的媒體協(xié)作圖形顯示的通信會話。在通信會話期間,ue1的用戶提供物理用戶輸入,該物理用戶輸入產(chǎn)生形狀600中所示的波紋、復(fù)雜形狀。例如,ue1的用戶可在ue1的觸摸顯示器附近揮動他/她的手指,然后ue1的傳感器記錄手指揮動以便顯示為形狀600。該形狀600可被稱為物理用戶輸入的原始或全質(zhì)量(或高精度)表示(例如,至少相對于該物理用戶輸入的初始記錄或捕捉)。在一示例中,物理用戶輸入的原始表示可包括對多個坐標(biāo)和/或頂點的編碼,這多個坐標(biāo)和/或頂點在ue1的顯示器上渲染時共同定義形狀。表示形狀600的數(shù)據(jù)被ue1傳送給應(yīng)用服務(wù)器170,605。
雖然未在圖6中明確示出,但假定應(yīng)用服務(wù)器170接收來自ue1的表示數(shù)據(jù)并執(zhí)行圖5的過程。因此,圖6的610示出表示形狀600的經(jīng)選擇性轉(zhuǎn)變數(shù)據(jù)的傳輸,雖然以降低或簡化的精度水平。目標(biāo)ue(例如,ue2)接收該經(jīng)選擇性轉(zhuǎn)變數(shù)據(jù)并呈現(xiàn)修改的形狀615。該修改的形狀615仍表示(或忠實于)ue1處的初始物理用戶輸入,但修改的形狀與在ue1處捕捉并隨后呈現(xiàn)的物理用戶輸入的全質(zhì)量表示相比稍微簡單和/或被簡并。對表示物理用戶輸入的數(shù)據(jù)的該簡并和/或簡化可因以上關(guān)于圖5提及的數(shù)種原因而發(fā)生,諸如應(yīng)用服務(wù)器170與ue2之間的低帶寬連接、與ue2相關(guān)聯(lián)的顯示器約束,等等。
圖7a解說了根據(jù)本發(fā)明一實施例的圖5的過程的示例實現(xiàn)。
參照圖7a,在700a,ue1在與ue2…n的群通信會話期間接收物理用戶輸入。下一步,在705a,用戶以第一精度水平呈現(xiàn)該物理用戶輸入的原始表示。例如,參照圖7b,700b是在正顯示紐約地圖的ue1的顯示屏上畫圓的用戶的物理用戶輸入的原始表示的示例。如圖7b的700b中所示,該圓包括許多細節(jié)并且相當(dāng)復(fù)雜,這是因為用戶的移動不完美或者故意為非線性的。物理用戶輸入的原始表示的呈現(xiàn)的另一示例是以上關(guān)于圖6討論的形狀600。
參照圖6,ue1向應(yīng)用服務(wù)器170發(fā)送來自700a的表示物理用戶輸入的數(shù)據(jù),710a。710a處的數(shù)據(jù)的傳送對應(yīng)于圖6的605和/或圖5的500。應(yīng)用服務(wù)器170接收來自ue1的表示物理用戶輸入的數(shù)據(jù),然后715a、720a和725a分別對應(yīng)于圖5的505、510和515。
在730a,一旦第二精度水平的數(shù)據(jù)被目標(biāo)ue(例如,ue2…n)接收到,該目標(biāo)ue就呈現(xiàn)物理用戶輸入的經(jīng)選擇性轉(zhuǎn)變表示。例如,參照圖7b,目標(biāo)ue2…n處的物理用戶輸入的表示可對應(yīng)于705b、710b或715b中的任何一個。在705b,取代700b的原始表示的復(fù)雜性,相對簡單的圓被示出。例如,應(yīng)用服務(wù)器170可將來自ue1的視覺地表示物理用戶輸入的原始數(shù)據(jù)轉(zhuǎn)變成定義705b處示出的圓的半徑、厚度、色彩和/或中心點的數(shù)據(jù)格式。705b可以是在相對較低性能的目標(biāo)ue或具有較差連接的目標(biāo)ue處呈現(xiàn)的表示。另一方面,710b的呈現(xiàn)與700b相同(即,無轉(zhuǎn)變)。在此情形中,710b可以是在相對較高性能的目標(biāo)ue或具有良好連接的目標(biāo)ue處呈現(xiàn)的表示,這是因為來自ue1的原始表示并未經(jīng)歷質(zhì)量(或精度)降低。在715b中,取代700b的原始表示的復(fù)雜性,相對簡單的八邊形被示出。例如,應(yīng)用服務(wù)器170可將來自ue1的表示物理用戶輸入的原始數(shù)據(jù)轉(zhuǎn)變成定義715b處示出的八邊形的頂點和/或中心點的數(shù)據(jù)格式(或精度水平)。715b可以是在相對較低性能的目標(biāo)ue或具有較差連接的目標(biāo)ue處呈現(xiàn)的另一表示的示例。
圖7c解說了根據(jù)本發(fā)明一實施例的圖7a的更為詳細的實現(xiàn)。在圖7c中,700c到715c和730c到740c分別對應(yīng)于圖7a的700a到730a,并因而為了簡明起見將不再討論。
圖7c與圖7a的不同之處在于包括720c和725c。參照圖7c,在715c處確定目標(biāo)ue的數(shù)據(jù)呈現(xiàn)能力和/或到目標(biāo)ue的連接的性能水平之后,在720c,應(yīng)用服務(wù)器170基于所確定數(shù)據(jù)呈現(xiàn)能力和/或連接的性能水平來確定目標(biāo)ue當(dāng)中的一組低性能ue。低性能ue可包括但不限于具有較低顯示器性能規(guī)格(例如,不能處置高分辨率視頻流)的ue、或具有較低吞吐量帶寬連接(例如,與應(yīng)用服務(wù)器170的1x連接)的ue。相應(yīng)地,在725c處,應(yīng)用服務(wù)器170可調(diào)節(jié)群會話中這一組低性能節(jié)點的參與水平。調(diào)節(jié)參與水平的示例包括但不限于:使這組低性能ue相對于通信會話的交互從全雙工降低到半雙工;降低傳送給這組低性能ue的幀速率;降低從應(yīng)用服務(wù)器170向這組低性能節(jié)點傳送的圖像媒體的圖像分辨率;和/或降低從應(yīng)用服務(wù)器170向這組低性能ue傳送的音頻媒體的音頻速率。
圖8a解說了根據(jù)本發(fā)明一實施例的圖7a的720a的過程的實現(xiàn)。在圖7a中,描述了ue2…n,由此n可等于2或者替換地n可大于2。然而,圖8a假定n大于2,由此應(yīng)用服務(wù)器170負責(zé)為多個目標(biāo)ue重新格式化表示ue1的物理用戶輸入的數(shù)據(jù)。更具體地,圖8a解說了其中應(yīng)用服務(wù)器170為不同組目標(biāo)ue基于每一組相應(yīng)的所確定數(shù)據(jù)呈現(xiàn)能力和/或連接水平來選擇性地將所接收到的數(shù)據(jù)轉(zhuǎn)變成不同格式(或不同精度水平)的示例。
參照圖8a,假定圖7a的715a的確定導(dǎo)致應(yīng)用服務(wù)器170將這多個目標(biāo)ue歸類成包括具有較低呈現(xiàn)能力和/或連接性能的目標(biāo)ue的第一群、包括具有中等呈現(xiàn)能力和/或連接性能的目標(biāo)ue的第二群、以及包括具有較高呈現(xiàn)能力(例如,頂級智能電話)和/或連接性能(例如,3g、4g、wi-fi連接)的目標(biāo)ue的第三群。
在這些假定下,參照圖8a和8b,圖7a的720a的選擇性轉(zhuǎn)變可包括對于第一群而言所接收到的數(shù)據(jù)從第一精度水平(即,所接收到的精度水平,諸如圖6的形狀600或圖7b或圖8b的700b)到第二精度水平的第一轉(zhuǎn)變(例如,如圖7b和/或圖8b的705b中所示),800a;圖7a的720a的選擇性轉(zhuǎn)變可包括對于第二群而言所接收到的數(shù)據(jù)從第一精度水平到第三精度水平的第二轉(zhuǎn)變(例如,如圖7b和/或圖8b的715b中所示),810a;以及圖7a的720a的選擇性轉(zhuǎn)變可包括對于第三群而言對所接收到的數(shù)據(jù)沒有轉(zhuǎn)變(例如,如圖7b和/或圖8b的710b中所示),820a。
雖然關(guān)于圖5到8b的上述實施例針對在通信會話中的各ue之間共享表示物理用戶輸入的數(shù)據(jù),但圖9針對在給定ue處使用物理用戶輸入以控制參與通信會話的一個或多個其他ue處的設(shè)備顯示設(shè)置。如將從以下關(guān)于圖9和圖10的描述領(lǐng)會的,以上關(guān)于圖5到圖8b描述的任何過程可與圖9和/或圖10的過程并行執(zhí)行。替換地,圖9和10可以獨立方式執(zhí)行,從而以下被描述為觸發(fā)(諸)目標(biāo)ue處的顯示調(diào)節(jié)的物理用戶輸入不需要與以上關(guān)于圖5到圖8b描述的物理用戶輸入相關(guān)聯(lián)。
圖9解說了基于所接收到的用戶生成的物理輸入在通信會話期間選擇性地調(diào)節(jié)用于一個或多個目標(biāo)ue的顯示設(shè)置的過程。具體而言,圖9解說了一示例,藉此第一ue處的物理用戶輸入(例如,用戶旋轉(zhuǎn)ue1)被報告給正在為ue1…n仲裁通信會話的應(yīng)用服務(wù)器170,并且應(yīng)用服務(wù)器170選擇性地控制或調(diào)節(jié)目標(biāo)ue2…n的顯示設(shè)置(例如,諸如ue2的顯示設(shè)置通過旋轉(zhuǎn)顯示方向來被調(diào)節(jié))。
參照圖9,ue1…n和應(yīng)用服務(wù)器170在群通信會話期間在各ue1…n之間交換媒體,900。在群通信會話期間,ue1接收到被識別為調(diào)節(jié)目標(biāo)ue2…n中的一個或多個ue處的顯示設(shè)置的提示的物理用戶輸入(例如,電話的旋轉(zhuǎn)),905。例如,ue1可被提供一組預(yù)定義用戶姿勢(或物理用戶輸入),其各自與要在和ue1進行通信的各ue處實現(xiàn)的對應(yīng)的顯示設(shè)置調(diào)節(jié)相關(guān)聯(lián)。例如,ue1可檢測到用戶臨時地對ue1重新調(diào)整方向(例如從縱向模式到橫向模式)。此檢測可基于耦合至ue1的傳感器(諸如加速計、陀螺儀等)而發(fā)生。ue1在910將所檢測到的物理用戶輸入報告給應(yīng)用服務(wù)器170以請求應(yīng)用服務(wù)器170改變目標(biāo)ue2…n處的顯示設(shè)置。表1(以下)列出了一組示例預(yù)定義的物理用戶輸入,這些物理用戶輸入在ue1處被檢測到時與針對目標(biāo)ue2…n中的一個或多個ue的顯示設(shè)置調(diào)節(jié)相關(guān)聯(lián):
表1
響應(yīng)于910的請求,應(yīng)用服務(wù)器170選擇性地調(diào)節(jié)目標(biāo)ue(例如,ue2…n)的顯示設(shè)置,915。在一示例中,對顯示設(shè)置的選擇性調(diào)節(jié)可在正被應(yīng)用服務(wù)器170調(diào)停的媒體流內(nèi)實現(xiàn),或者替換地可基于來自應(yīng)用服務(wù)器170的控制信令間接地在目標(biāo)ue2…n處實現(xiàn)。例如,如果905處檢測到的物理用戶輸入與針對ue2…n的方向改變相關(guān)聯(lián),則該方向改變可以是服務(wù)器實現(xiàn)的,從而應(yīng)用服務(wù)器170本身將圖形媒體重新映射到目標(biāo)方向。替換地,方向改變可以是ue實現(xiàn)的,藉此應(yīng)用服務(wù)器170向ue2…n發(fā)送方向調(diào)節(jié)命令,然后ue2…n將在其端將未改變的傳入媒體流重新調(diào)整方向成目標(biāo)方向。不論顯示設(shè)置調(diào)節(jié)是服務(wù)器實現(xiàn)還是ue實現(xiàn)的,在920,基于來自905的物理用戶輸入來調(diào)節(jié)目標(biāo)ue2…n處的顯示設(shè)置。
圖10解說了根據(jù)本發(fā)明一實施例的圖9中描述的過程的示例實現(xiàn)。具體而言,圖10解說了在圖9的過程的示例實現(xiàn)期間傳送方ue1和目標(biāo)ue2處的示例屏幕截圖。
參照圖10,1000和1010分別解說了分別在圖9的900和905期間ue1和ue2處的群通信會話的狀態(tài)。相應(yīng)地,如1000和1005中所示,ue1和ue2各自由其相應(yīng)的用戶以直立位置(或即垂直方向)握持,并且ue1和ue2正顯示垂直方向的笑臉圖形。下一步,在通信會話期間,ue1的用戶將ue1轉(zhuǎn)動90度,從而ue1獲得水平方向,1010。用戶轉(zhuǎn)動ue對應(yīng)于圖9的905處ue1檢測到的物理用戶輸入。在一示例中,ue1的轉(zhuǎn)動可以是ue1的用戶對ue1故意作出的翻轉(zhuǎn)以改變ue2處的方向。替換地,ue1的轉(zhuǎn)動可以僅作為ue1的用戶在他/她自己的電話上優(yōu)選不同方向的結(jié)果而發(fā)生。如狀態(tài)1010中所示,憑借ue1的90度轉(zhuǎn)動,笑臉偏移90度。然而,在另一示例中,ue1可包括用于調(diào)節(jié)笑臉以使得即使ue1本身是水平方向,該笑臉對ue1的用戶仍按照垂直方向顯現(xiàn)的邏輯。
在910,ue1報告ue1的方向改變以提示應(yīng)用服務(wù)器170調(diào)節(jié)正在ue2處顯示的圖形的方向。相應(yīng)地,在915,應(yīng)用服務(wù)器170調(diào)節(jié)ue2處的方向。在一示例中,在915,應(yīng)用服務(wù)器170可將被流送給ue2的圖形媒體修改90度以實現(xiàn)針對ue2的方向調(diào)節(jié)。在替換示例中,在915,應(yīng)用服務(wù)器170可向ue2發(fā)送未經(jīng)修改的圖形媒體(如有必要)并且可僅向ue2發(fā)送控制命令以指示ue2將其關(guān)于圖形媒體的方向偏移90度(順時針)。
在920處的調(diào)節(jié)之后,ue2的狀態(tài)在1015中示出。因此,在狀態(tài)1015中,ue2是垂直方向并且笑臉關(guān)于水平方向被轉(zhuǎn)變了90度(順時針)。雖然未在圖10中明確示出,但方向轉(zhuǎn)變可發(fā)生以鼓勵ue2的用戶以橫向模式而非縱向模式參與通信會話。因此,雖然狀態(tài)1015以垂直方向示出ue2,但ue2的用戶或許有可能更改ue2的方向以符合笑臉方向。
雖然未在圖9和/或圖10中解說,但有可能某些目標(biāo)ue可能會缺乏實現(xiàn)由ue1的用戶經(jīng)由他/她的物理用戶輸入請求的顯示設(shè)置調(diào)節(jié)的能力。例如,一些目標(biāo)ue可能不能夠調(diào)節(jié)他們的顯示設(shè)置(例如,旋轉(zhuǎn)顯示器方向),因此應(yīng)用服務(wù)器170將不為這些目標(biāo)ue調(diào)節(jié)顯示設(shè)置。
雖然上述實施例涉及為在群通信會話期間交換的物理用戶輸入的表示選擇性地修改精度水平(例如,參見圖5-8b),或者選擇性地調(diào)整(諸)目標(biāo)ue的顯示設(shè)置(例如,參見圖9-10),但是以下關(guān)于圖11-19b描述的實施例涉及基于用戶輸入來標(biāo)識視頻流的(諸)高優(yōu)先級部分以及經(jīng)由不同鏈路來將視頻流的所標(biāo)識出的(諸)高優(yōu)先級部分與(諸)較低優(yōu)先級部分分開地向(諸)目標(biāo)ue傳送。
圖11涉及根據(jù)本發(fā)明一實施例的選擇性地向至少一個目標(biāo)ue(“ue2…n”)傳送與正在給定ue(“ue1”)上顯示的視頻流相關(guān)聯(lián)的不同視頻饋送的過程。參照圖11,類似于圖5,假定ue1…n(例如,其中n≥2)正參與通信會話,該通信會話涉及經(jīng)由ue1…n中的每一個ue處的相應(yīng)顯示屏在顯示器上的圖形媒體表示。在一示例中,該通信會話可對應(yīng)于視頻會議會話,藉此相同視頻(和/或圖像媒體)在ue1…n中的每一個ue處顯示(例如,協(xié)作地圖會話等)。替換地,不同視頻和/或圖像媒體可在ue1…n中的兩個或更多個ue處呈現(xiàn)(例如,ue1可觀看ue2的視頻媒體,ue2可觀看ue1的視頻媒體,等等)。替換地,相同視頻和/或圖像媒體的不同版本可在ue1…n中的兩個或更多個ue處呈現(xiàn)(例如,ue1和2可各自共享它們相應(yīng)的相機饋送,從而ue1的相機饋送被遞送并且在ue2的顯示屏上呈現(xiàn),而ue2的相機饋送被遞送并且在ue1的顯示屏上呈現(xiàn),其中ue1和2的相應(yīng)顯示屏還呈現(xiàn)它們自己的相機饋送的縮小版本,等等)。在一示例中,視頻和/或圖像媒體不需要通過應(yīng)用服務(wù)器170來活躍地調(diào)停,但也可在ue1…n處被獨立地渲染。例如,音頻媒體可通過應(yīng)用服務(wù)器170來調(diào)停(例如,半雙工或全雙工),但視頻和/或圖像媒體可在ue1…n處單獨地加載。例如,ue1…n可在討論他們的旅行計劃時各自獨立地渲染紐約的地圖,從而地圖數(shù)據(jù)不需要在通信會話期間在各ue之間活躍地交換。在進一步示例中,ue1…n之間的通信會話可至少部分地經(jīng)由對等(ptp)協(xié)議來進行,其中ue1…n中的兩個或更多個ue經(jīng)由ptp連接來連接。
參照圖11,在ue1…n之間的通信會話期間,ue1接收用戶輸入,該用戶輸入標(biāo)識與該通信會話相關(guān)聯(lián)的正在ue1上顯示并且正與ue2…n共享的視頻流的高優(yōu)先級部分集合,1100。在1100處接收的用戶輸入可對應(yīng)于明確指示該視頻流的某些部分具有高優(yōu)先級的物理用戶輸入(例如,ue1的用戶經(jīng)由觸摸屏接口來用他/她的手指圈出視頻流的諸部分,參見以下更詳細地描述的圖13-15b),或者在1100處接收的用戶輸入可對應(yīng)于隱式地指示該視頻流的某些部分具有高優(yōu)先級的用戶輸入(例如,一個或多個對象被標(biāo)識為是ue1的用戶感興趣的,諸如通過ue1的用戶先前放大了這些對象,其中這些對象隨后被檢測為在該視頻流的某些部分中,而這些部分憑借包含這些對象獲得了高優(yōu)先級狀態(tài),參見以下更詳細地描述的圖16-19b)。
參照圖11,ue1任選地基于并非基于用戶輸入(明確或暗示)的一個或多個副因素來將該視頻流的一個或多個附加部分添加至在1100處標(biāo)識的高優(yōu)先級部分集合,1105。例如,視頻流的某些部分可基于經(jīng)由相關(guān)聯(lián)的運動向量而具有高運動程度而被標(biāo)識為高優(yōu)先級,等等。
ue1基于在1100處標(biāo)識的視頻流的高優(yōu)先級部分集合來生成第一視頻饋送,1110,并且ue1還生成視頻流的第二視頻饋送,1115。在一示例中,第一視頻饋送可僅包括視頻流的高優(yōu)先級部分集合,而第二視頻饋送包括整個視頻流,以使得第一視頻饋送憑借包括該視頻流的較少部分而具有比第二視頻饋送更低的分辨率。替換地,第一視頻饋送也可包括整個視頻流并且因此具有與第二視頻饋送相同的分辨率,區(qū)別在于與第一視頻饋送中的高優(yōu)先級部分集合分開的諸部分被“黑屏掉”,這減小了第一視頻饋送相對于第二視頻饋送的大小。
ue1在第一鏈路上向ue2…n傳送第一視頻饋送,1120,并且ue1還在相對于第一鏈路具有較低可靠性的第二鏈路上向ue2…n傳送第二視頻饋送,1125。在一示例中,第一鏈路可被分配qos(例如,閾值水平的保障比特率(gbr))而第二鏈路不被分配qos。在一替換示例中,第一和第二鏈路兩者均可被分配qos,其中第一鏈路相對于第二鏈路而言具有更多qos(例如,更高gbr)。在任一情形中,第一鏈路一般而言預(yù)期比第二鏈路更可靠,這是(包含視頻流的高優(yōu)先級部分集合的)第一視頻饋送被分配給第一鏈路的原因。
圖12涉及根據(jù)本發(fā)明一實施例的從分別經(jīng)由第一和第二鏈路來從ue1接收第一和第二視頻饋送的目標(biāo)ue(例如,ue2…n之一)的角度而言的圖11的過程的繼續(xù)。
參照圖12,目標(biāo)ue在第一鏈路上從ue1接收如在圖11的1120處傳送的第一視頻饋送,1200。目標(biāo)ue還在第二鏈路上從ue1接收如在圖11的1125處傳送的第二視頻饋送,1205。目標(biāo)ue組合第一和第二視頻饋送以重構(gòu)該視頻流的版本,1210,并且隨后經(jīng)由顯示器向目標(biāo)ue的用戶呈現(xiàn)該視頻流的經(jīng)重構(gòu)版本,1215。如將領(lǐng)會的,第一鏈路一般而言預(yù)期比第二鏈路更可靠,因此視頻流的經(jīng)重構(gòu)版本預(yù)期在描繪包含在第一視頻饋送中的高優(yōu)先級部分集合方面相當(dāng)準(zhǔn)確,而偽像可能在與高優(yōu)先級部分集合分開的、僅經(jīng)由第二鏈路上的第二視頻饋送傳達給目標(biāo)ue的其他部分中出現(xiàn)。以下提供關(guān)于如何組合第一和第二視頻饋送的更多細節(jié)。
圖13解說了根據(jù)本發(fā)明一實施例的可如何在圖11的1100處標(biāo)識視頻流的高優(yōu)先級部分集合的示例實現(xiàn)。參照圖13,ue1接收指示對正在ue1上顯示的視頻流的高優(yōu)先級部分集合的顯式選擇的物理用戶輸入,1300。如將領(lǐng)會的,圖13的1300構(gòu)成了圖11的1100的示例實現(xiàn)。在1300之后,該過程前進至圖11的1105,其中更多高優(yōu)先級部分被可任選地添加至高優(yōu)先級部分集合。
參照圖13,圖14中示出了可進行1300的顯式選擇的一種方式。在圖14中,示出了描繪紐約的地圖的顯示屏1400,藉此顯示屏1400包括由ue1的用戶畫出的第一圓1405和第二圓1410。在此情形中,圓1405-1410構(gòu)成了在圖13的1300處接收到來自用戶的的顯式選擇。在圖14的實施例中,假定ue1的顯示屏被劃分成如1420處所示的九(9)個區(qū)段,其中第一圓1405對應(yīng)于區(qū)段#1并且第二圓1410對應(yīng)于區(qū)段#9。顯示屏1420經(jīng)由陰影來將區(qū)段#1和#9描繪為高優(yōu)先級部分,其中區(qū)段#3基于圖11的可任選的1105(例如,指示區(qū)段#3也應(yīng)當(dāng)為高優(yōu)先級的一個或多個副因素)也被加陰影為高優(yōu)先級區(qū)段。
參照圖14,基于區(qū)段#1、#3和#9對應(yīng)于高優(yōu)先級部分集合,參照1425和1430示出了第一視頻饋送的示例。第一視頻饋送1425示出了藉此第一視頻饋送包括孤立的區(qū)段#1、#3和#9以使得第一視頻饋送1425的聚集分辨率憑借省略了區(qū)段#2和#4…#8而小于顯示屏1420的分辨率的示例。作為對比,替換的第一視頻饋送1430示出了藉此第一視頻饋送包括區(qū)段#1…#9中的每一個區(qū)段的示例,其中區(qū)段#2和#4…#8被黑屏掉,以使得第一視頻饋送1430的聚集分辨率等于顯示屏1420的分辨率。第二視頻饋送1435包括區(qū)段#1…#9中的每一個區(qū)段,但是第一視頻饋送1430憑借黑屏掉區(qū)段#2和#4…#8,而可以比第二視頻饋送1435更高效地被發(fā)送。
圖15a解說了圖12的1210的示例實現(xiàn),藉此在第一鏈路上向目標(biāo)ue傳送圖14的第一視頻饋送1425并且在第二鏈路上向目標(biāo)ue傳送圖14的第二視頻饋送1435。第一和第二視頻饋送被組合1210以產(chǎn)生如1500a處所示的視頻流的經(jīng)重構(gòu)版本。具體而言,用來自第一鏈路的區(qū)段#1、#3和#9取代來自第二鏈路的區(qū)段#1、#3和#9,以產(chǎn)生(或重構(gòu))視頻流。換言之,視頻流的經(jīng)重構(gòu)版本填充有該視頻流的高優(yōu)先級部分集合(即,區(qū)段#1、#3和#9)加上來自第二視頻饋送的不對應(yīng)于第一視頻饋送內(nèi)的高優(yōu)先級部分集合的一個或多個部分(即,區(qū)段#2和#4-#8)。在圖15a的實施例中,將領(lǐng)會,區(qū)段#1、#3和#9是在更可靠的第一鏈路上發(fā)送的,因此區(qū)段#1、#3和#9在經(jīng)重構(gòu)的視頻流1500a中被加陰影以描繪這些特定區(qū)段相對于僅在較不可靠的第二鏈路上發(fā)送的區(qū)段#2和#4…#8而言可具有較少的錯誤。
圖15b解說了圖12的1210的另一示例實現(xiàn),藉此在第一鏈路上向目標(biāo)ue傳送圖14的第一視頻饋送1430并且在第二鏈路上向目標(biāo)ue傳送圖14的第二視頻饋送1435。第一和第二視頻饋送被組合1210以產(chǎn)生如1500b處所示的視頻流的經(jīng)重構(gòu)版本。在圖15b的實施例中,將領(lǐng)會,區(qū)段#1、#3和#9是在更可靠的第一鏈路上發(fā)送的,因此區(qū)段#1、#3和#9在經(jīng)重構(gòu)的視頻流1500b中被加陰影以描繪這些特定區(qū)段相對于僅在較不可靠的第二鏈路上發(fā)送的區(qū)段#2和#4…#8而言可具有較少的差錯。此外,在1210的組合期間用第二視頻饋送1435中的相應(yīng)區(qū)段#2和#4…#8來取代第一視頻饋送1430的被黑屏掉的區(qū)段(在可能的情況下)。換言之,視頻流的經(jīng)重構(gòu)版本填充有視頻流的高優(yōu)先級部分集合(即,區(qū)段#1、#3和#9)以及來自第二視頻饋送的與來自第一視頻饋送的一個或多個被黑屏掉的部分相對應(yīng)的一個或多個部分(即,區(qū)段#2和#4-#8)。
圖16解說了根據(jù)本發(fā)明另一實施例的可如何在圖11的1100處標(biāo)識視頻流的高優(yōu)先級部分集合的示例實現(xiàn)。參照圖16,ue1基于用戶輸入通過跟蹤對象集合位于正在ue1上顯示的視頻流內(nèi)的何處來確定要鎖定到該對象集合上,1600?;谠?600處發(fā)生的對對象集合的跟蹤,ue1標(biāo)識視頻流的包含該對象集合(若有)的當(dāng)前部分集合(例如,在ue1的顯示屏上顯示的視頻流的視場中)。在一示例中,在1605處標(biāo)識的當(dāng)前部分集合可按瞬時方式或者在該對象集合被標(biāo)識為處在當(dāng)前部分集合中達閾值時間段(例如,10秒、45秒等)以上之后對應(yīng)于來自圖11的1100的高優(yōu)先級部分集合。相應(yīng)地,對視頻流的某個(些)部分內(nèi)的某個(些)高優(yōu)先級對象的識別可將那個(些)部分的狀態(tài)升級到高優(yōu)先級狀態(tài)。此外,因為ue1的用戶可以能夠以某種程度控制在視頻流中的何處顯示該對象集合(例如,通過將ue1的相機移動到更靠近該對象集合、或者通過將ue1的相機轉(zhuǎn)到改變該對象集合在視頻流中的位置的不同角度、或者通過對視頻流的某些部分執(zhí)行數(shù)字縮放操作等),所以在1605處標(biāo)識的當(dāng)前部分集合至少部分地基于用戶輸入。如將領(lǐng)會的,圖16的1600-1605構(gòu)成圖11的1100的示例實現(xiàn)。
參照圖16,1605可在ue1正鎖定到至少一個對象上時連續(xù)地或周期性地執(zhí)行。以此方式,隨著被鎖定的該至少一個對象就其在視頻流中的相對位置而言“移動”了(例如,由于對象移動,諸如嬰兒爬過地板)、或者由于ue1處的改變該對象相對于相機的位置并且因此改變該對象在視頻流中的相關(guān)聯(lián)的位置的相機移動、或者其某種組合),視頻流的不同部分可被識別為包含該至少一個對象。因此,通過在1605處以連續(xù)或周期性方式標(biāo)識當(dāng)前部分集合,ue1計及視頻流內(nèi)的相對對象移動,如將在以下更詳細地描述的。
在1605之后,過程前進至1610,其中圖11的剩余部分(即,1105-1125)被執(zhí)行。在1615,ue1確定是否要結(jié)束鎖定操作。例如,如以下參照圖18b更詳細地示出的,如果視頻流停止描繪被鎖定的對象集合達某個時間段(例如,5秒等)(例如,由于ue1的用戶將相關(guān)聯(lián)的相機從該組對象轉(zhuǎn)移離開或者替換地由于該對象集合出于某個其他原因移出視場,該對象集合落在視場以外達一時間段),則ue1可推斷該對象集合對于通信會話而言不再重要并且由此可在1615處決定要結(jié)束鎖定操作。在另一示例中,ue1可確定要鎖定到不同的對象集合上,這可起到終止對先前對象集合的鎖定操作的作用。在另一示例中,ue1的用戶可顯式地指令ue1結(jié)束鎖定操作。在任何情形中,如果ue1確定要結(jié)束鎖定操作,則藉此高優(yōu)先級狀態(tài)被分配給視頻流的包含該對象集合的(諸)部分的鎖定操作被終止,1620(例如,第一視頻饋送可被全部取消,或者第一視頻饋送可被映射到不同區(qū)段以容適不同的高優(yōu)先級部分集合等)。否則,如果ue1確定要繼續(xù)鎖定操作,則過程返回到1605。如將領(lǐng)會的,隨著通信會話的視頻流改變,該視頻流的包含“被鎖定”的對象集合的部分也可改變。因此,在1605處標(biāo)識的當(dāng)前部分集合可在通信會話期間改變,即使在“被鎖定”的對象集合保持相同的情況下亦是如此。
此外,雖然未參照圖16具體地描述,但是可能存在其中該對象集合不存在于正在ue1處顯示的視頻流內(nèi)的短暫時段。在此情形中,只要該對象集合在“屏外”,ue1就可停止生成和/或在第一視頻饋送上傳送第一視頻饋送。在屏外時段期間,ue1保持第一鏈路,以使得一旦該對象集合重新進入視頻流,該第一鏈路就是可用的。當(dāng)該對象集合被確定為在屏外達閾值時間段以上時,這可觸發(fā)1615以結(jié)束鎖定操作,其可在1620處結(jié)束了鎖定操作之后沒有視頻流的其他(諸)高優(yōu)先級部分的情況下潛在地觸發(fā)第一鏈路的拆除。
圖17a解說了根據(jù)本發(fā)明一實施例的可觸發(fā)圖16的1600的確定的用戶輸入的示例。參照圖17a,ue1檢測正在ue1上顯示視頻流內(nèi)的對象集合上放大的縮放事件,1700a。1700a處對縮放事件的檢測觸發(fā)該對象集合被分配高優(yōu)先級狀態(tài),以使得該過程從1700a前進至圖16的1600。在一示例中,在前進至圖16的1600之前,1700a處檢測到的縮放事件可被要求發(fā)生達閾值時間段(例如,如果ue1的用戶僅瞬時放大一對象,則ue1的用戶可能無意中縮放了該對象或者該對象對于通信會話而言可能尚未特定重要)。例如,ue1可響應(yīng)于在縮放事件期間在ue1的相關(guān)聯(lián)的顯示屏上的視場中檢測到特定對象(例如,嬰兒)而啟動定時器。如果該特定對象基于定時器的執(zhí)行保留在顯示屏上的視場中達超過閾值時間段,則ue1可確定要“鎖定”到該對象上,即使在縮放事件結(jié)束之后和/或在該對象不再在顯示屏上的視場內(nèi)之后亦是如此。
圖17a中所示的檢測到的縮放事件可被認為是由ue1的用戶對該對象集合作出的隱式選擇,因為通過在通信會話期間用戶對視頻饋送的操縱來推斷出用戶對該對象集合感興趣。然而,用戶能為了鎖定操作的目的而顯式地選擇某些對象以被填充到該對象集合內(nèi)也是可能的,如圖17b中所示。
圖17b解說了根據(jù)本發(fā)明一實施例的可觸發(fā)圖16的1600的確定的用戶輸入的另一示例。參照圖17b,ue1檢測對在ue1上顯示的視頻流內(nèi)的對象集合的顯式用戶選擇(例如,用戶可經(jīng)由ue1處的觸摸屏接口來物理地觸摸視頻流中的對象以促成“鎖定”到這些對象上等),1700b。1700b處對顯式用戶選擇的檢測觸發(fā)該對象集合被分配高優(yōu)先級狀態(tài),以使得該過程從1700b前進至圖16的1600。在一示例中,ue1的用戶還可取消選擇任何先前選擇的對象以終止針對被取消選擇的對象的鎖定操作。
圖18a-18d解說了根據(jù)本發(fā)明一實施例的結(jié)合圖11和16的圖17a的過程的示例實現(xiàn)。圖18a-18d解說了被標(biāo)記為(1)-(9)的一系列示例屏幕截圖(或幀),其中討論了幀(1)-(9)的改變?nèi)绾胃鶕?jù)圖16的過程的執(zhí)行來導(dǎo)致通信會話的改變。在圖18a中,示出了ue1的描繪包含嬰兒、奶瓶和沙灘球的托兒所場景的顯示屏1800a。假定顯示屏1800a構(gòu)成通信會話中的幀。在通信會話期間的某一時間點,ue1的用戶通過物理地將ue1的相機移動到更靠近嬰兒或者通過用ue1的相機來執(zhí)行數(shù)字縮放操作來放大該嬰兒,如顯示屏1805a中所示。在此情形中,如顯示屏1805a中描繪的聚焦在嬰兒上的縮放構(gòu)成如圖17a的1700a中的縮放事件。稍后,ue1的用戶進行縮小,如顯示屏1810a中所示。然而,此時,嬰兒已被標(biāo)識為高優(yōu)先級對象以執(zhí)行如圖16的1600中的鎖定操作。例如,ue1可響應(yīng)于在縮放事件期間在顯示屏1805a上的視場中檢測到特定對象(例如,在此情形中為嬰兒)而啟動定時器。如果該特定對象基于定時器的執(zhí)行保留在顯示屏1805a上的視場中達超過閾值時間段,則ue1可確定要“鎖定”到該對象上,即使在縮放事件結(jié)束之后和/或在該對象不再在顯示屏1805a上的視場內(nèi)之后亦是如此。一旦對象被“鎖定”,另一定時器就可被啟動以在期滿之際觸發(fā)該對象被“解鎖”。用于解鎖被鎖定對象的定時器可響應(yīng)于鎖定延長事件而被延長,以延長相關(guān)聯(lián)的對象的鎖定時段(例如,每當(dāng)被鎖定對象被檢測為在顯示屏的視場中心時、每當(dāng)被鎖定對象被放大時等,該定時器可被延長)。
在圖18a的實施例中,假定ue1的顯示屏被劃分成如1815a處所示的四(4)個區(qū)段,其中根據(jù)圖16的1605將嬰兒標(biāo)識為當(dāng)前位于區(qū)段#3中。顯示屏1815a由此根據(jù)圖16的1605-1610經(jīng)由陰影將區(qū)段#3描繪為高優(yōu)先級,因為區(qū)段#3包括“被鎖定”的對象(即,嬰兒)。
參照圖18b,基于區(qū)段#3對應(yīng)于1810a-1815a處的高優(yōu)先級部分集合,參照1800b和1805b示出了第一視頻饋送的示例。第一視頻饋送1800b示出了藉此第一視頻饋送包括孤立的區(qū)段#3,以使得第一視頻饋送1800b的聚集分辨率憑借省略了區(qū)段#1、#2和#4而小于顯示屏1815a的分辨率的示例。作為對比,替換的第一視頻饋送1805b示出了藉此第一視頻饋送包括區(qū)段#1…#4中的每一個區(qū)段的示例,其中區(qū)段#1、#2和#4被黑屏掉,以使得第一視頻饋送1805b的聚集分辨率等于正輸出第一視頻饋送1805b的顯示屏(或顯示屏部分)的分辨率。第二視頻饋送1810b包括區(qū)段#1…#4中的每一個區(qū)段,但是第一視頻饋送1805b憑借黑屏掉區(qū)段#1、#2和#4,而可以比第二視頻饋送1810b更高效地被發(fā)送。
轉(zhuǎn)到圖18c,稍后在通信會話中,假定嬰兒在ue1的顯示屏上的相對位置移到區(qū)段#2,如1800c中所示。如以上提及的,嬰兒的“移動”是可基于實際的對象移動(例如,嬰兒物理地爬到不同位置)、或相機移動(例如,ue1的用戶將ue1的相機移到相對于嬰兒而言不同的位置)、或通過其某種組合(例如,嬰兒的絕對位置移動了而同時相機的位置也移動了)發(fā)生的相對屏幕位置改變。根據(jù)圖16的1605-1610,憑借圖16的1605是只要ue1被鎖定到嬰兒就發(fā)生的連續(xù)或周期性操作,因而基于對象鎖定,嬰兒從圖18a的1810a中的區(qū)段#3到1800c中的區(qū)段#2的相對移動使區(qū)段#2取代區(qū)段#3作為高優(yōu)先級區(qū)段,如1805c中所描繪的,其中區(qū)段#2經(jīng)由陰影被示為高優(yōu)先級,因為區(qū)段#2現(xiàn)在包括“被鎖定”的對象(即,嬰兒)。
參照圖18c,在通信會話中的某一稍后時間點,ue1的用戶通過物理地將ue1的相機移到更靠近球或者通過用ue1的相機來執(zhí)行數(shù)字縮放操作來使球放大,如顯示屏1810c中所示。在此情形中,如顯示屏1810c中描繪的聚焦在球上的縮放構(gòu)成如圖17a的1700a中的縮放事件。稍后,ue1的用戶進行縮小,如顯示屏1815c中所示。此時,對于通信會話而言,1810c中所示的“球”縮放事件觸發(fā)嬰兒被解鎖并且球被鎖定。相應(yīng)地,球現(xiàn)在被標(biāo)識為高優(yōu)先級對象以執(zhí)行如圖16的1600中的鎖定操作。
根據(jù)圖16的1605-1610,如1815c中所示,球在顯示屏的區(qū)段#2中,因此區(qū)段#2基于對象鎖定而是高優(yōu)先級區(qū)段,如1820c中所描繪的,其中區(qū)段#2經(jīng)由陰影被示為高優(yōu)先級,因為區(qū)段#2現(xiàn)在包括新的“被鎖定”的對象(即,球)。
在通信會話中的某個稍后時間點,假定球離開顯示屏的視場而同時球仍然被鎖定,如1800d中所描繪的。相應(yīng)地,即使球正被活躍地鎖定,也不存在顯示屏的高優(yōu)先級區(qū)段,如1805d中所描繪的,因為實際上未在任何區(qū)段中示出球。稍后在通信會話中,與球相關(guān)聯(lián)的鎖定定時器期滿,因為球尚未返回到顯示屏的視場,如1810d中所示。相應(yīng)地,仍不存在顯示屏的高優(yōu)先級區(qū)段,如1815d中所描繪的,因為ue1在此時不再鎖定到球。稍后在通信會話中,假定球返回到顯示屏的視場,如1820d中所描繪的。此時,由于球先前從顯示屏的視場離開導(dǎo)致球在1810d處被解鎖,因而球在其在1820d處重新進入之后不再被鎖定。相應(yīng)地,仍不存在顯示屏的高優(yōu)先級區(qū)段,如1825d中所描繪的,因為ue1不再鎖定到該球。
圖19a解說了圖12的1210的示例實現(xiàn),藉此在第一鏈路上向目標(biāo)ue傳送圖18b的第一視頻饋送1800b并且在第二鏈路上向目標(biāo)ue傳送圖18b的第二視頻饋送1810b。第一和第二視頻饋送被組合1210以產(chǎn)生如1900a處所示的視頻流的經(jīng)重構(gòu)版本。在圖19a的實施例中,將領(lǐng)會,區(qū)段#3是在更可靠的第一鏈路上發(fā)送的,因此區(qū)段#1在經(jīng)重構(gòu)的視頻流1900a中被加陰影以描繪該特定區(qū)段相對于僅在較不可靠的第二鏈路上發(fā)送的區(qū)段#1、#2和#4而言可具有較少的差錯(或偽像)。
圖19b解說了圖12的1210的另一示例實現(xiàn),藉此在第一鏈路上向目標(biāo)ue傳送圖18b的第一視頻饋送1805b并且在第二鏈路上向目標(biāo)ue傳送圖18b的第二視頻饋送1810b。第一和第二視頻饋送被組合1210以產(chǎn)生如1900b處所示的視頻流的經(jīng)重構(gòu)版本。在圖19b的實施例中,將領(lǐng)會,區(qū)段#3是在更可靠的第一鏈路上發(fā)送的,因此區(qū)段#3在經(jīng)重構(gòu)的視頻流1900b中被加陰影以描繪該特定區(qū)段相對于僅在較不可靠的第二鏈路上發(fā)送的區(qū)段#1、#2和#4而言可具有較少的差錯(或偽像)。此外,在1210的組合期間用第二視頻饋送1810b中的相應(yīng)區(qū)段#1、#2和#4來取代第一視頻饋送1805b的被黑屏掉的區(qū)段(在可能的情況下)。
雖然圖10-19b涉及其中視頻流由ue1輸出而同時還被流送至一個或多個目標(biāo)ue的情景,但是將領(lǐng)會,在其他實施例中,視頻流不必需要經(jīng)由ue1的顯示屏來顯示。例如,ue1可以正在用他/她的相機來捕捉視頻媒體,并且將捕捉到的視頻媒體流送給(諸)目標(biāo)ue。在此情形中捕捉到的視頻媒體實際上不在ue1的顯示屏上顯示是可能的。在此情形中,雖然ue1的用戶可能無法如圖14中所示的那樣圈出視頻流的諸部分,但是ue1的用戶可按其他方式來標(biāo)識視頻流的(諸)高優(yōu)先級部分。例如,ue1的用戶可物理地將相機移到更靠近對象以縮放該對象并且藉此觸發(fā)對象鎖定,而無論是否實際上在ue1上顯示該視頻流。
本領(lǐng)域技術(shù)人員將領(lǐng)會,信息和信號可使用各種不同技術(shù)和技藝中的任何一種來表示。例如,貫穿上面說明始終可能被述及的數(shù)據(jù)、指令、命令、信息、信號、比特、碼元和碼片可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子、或其任何組合來表示。
此外,本領(lǐng)域技術(shù)人員將領(lǐng)會,結(jié)合本文所公開的各實施例描述的各種解說性邏輯框、模塊、電路和算法步驟可被實現(xiàn)為電子硬件、計算機軟件、或兩者的組合。為清楚地解說硬件與軟件的這一可互換性,各種解說性組件、塊、模塊、電路、以及步驟在上面是以其功能性的形式作一般化描述的。此類功能性是被實現(xiàn)為硬件還是軟件取決于具體應(yīng)用和施加于整體系統(tǒng)的設(shè)計約束。技術(shù)人員可針對每種特定應(yīng)用以不同方式來實現(xiàn)所描述的功能性,但此類實現(xiàn)決策不應(yīng)被解讀為致使脫離本發(fā)明的范圍。
結(jié)合本文公開的實施例描述的各個解說性邏輯框、模塊、以及電路可用設(shè)計成執(zhí)行本文中描述的功能的通用處理器、數(shù)字信號處理器(dsp)、專用集成電路(asic)、現(xiàn)場可編程門陣列(fpga)或其他可編程邏輯器件、分立的門或晶體管邏輯、分立的硬件組件、或其任何組合來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器,但在替換方案中,該處理器可以是任何常規(guī)的處理器、控制器、微控制器、或狀態(tài)機。處理器還可以被實現(xiàn)為計算設(shè)備的組合,例如dsp與微處理器的組合、多個微處理器、與dsp核心協(xié)同的一個或多個微處理器、或任何其它此類配置。
結(jié)合本文公開的各實施例描述的方法、序列和/或算法可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在ram存儲器、閃存、rom存儲器、eprom存儲器、eeprom存儲器、寄存器、硬盤、可移動盤、cd-rom或者本領(lǐng)域中所知的任何其他形式的存儲介質(zhì)中。示例性存儲介質(zhì)耦合到處理器以使得該處理器能從/向該存儲介質(zhì)讀寫信息。在替換方案中,存儲介質(zhì)可以被整合到處理器。處理器和存儲介質(zhì)可駐留在asic中。asic可駐留在用戶終端(例如,ue)中。在替換方案中,處理器和存儲介質(zhì)可作為分立組件駐留在用戶終端中。
在一個或多個示例性實施例中,所描述的功能可在硬件、軟件、固件或其任何組合中實現(xiàn)。如果在軟件中實現(xiàn),則各功能可以作為一條或多條指令或代碼存儲在計算機可讀介質(zhì)上或藉其進行傳送。計算機可讀介質(zhì)包括計算機存儲介質(zhì)和通信介質(zhì)兩者,包括促成計算機程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲介質(zhì)可以是能被計算機訪問的任何可用介質(zhì)。作為示例而非限定,此類計算機可讀介質(zhì)可包括ram、rom、eeprom、cd-rom或其他光盤存儲、磁盤存儲或其他磁存儲設(shè)備、或能用于攜帶或存儲指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計算機訪問的任何其他介質(zhì)。任何連接也被正當(dāng)?shù)胤Q為計算機可讀介質(zhì)。例如,如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(dsl)、或諸如紅外、無線電、以及微波之類的無線技術(shù)從web網(wǎng)站、服務(wù)器、或其他遠程源傳送而來,則該同軸電纜、光纖電纜、雙絞線、dsl、或諸如紅外、無線電、以及微波之類的無線技術(shù)就被包括在介質(zhì)的定義之中。如本文所用的盤(disk)和碟(disc)包括壓縮碟(cd)、激光碟、光碟、數(shù)字多功能碟(dvd)、軟盤和藍光碟,其中盤(disk)通常以磁的方式再現(xiàn)數(shù)據(jù),而碟(disc)通常用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述的組合應(yīng)當(dāng)也被包括在計算機可讀介質(zhì)的范圍內(nèi)。
盡管上述公開示出了本發(fā)明的解說性實施例,但是應(yīng)當(dāng)注意到,在其中可作出各種變更和修改而不會脫離如所附權(quán)利要求定義的本發(fā)明的范圍。根據(jù)本文中所描述的本發(fā)明實施例的方法權(quán)利要求的功能、步驟和/或動作不必按任何特定次序來執(zhí)行。此外,盡管本發(fā)明的要素可能是以單數(shù)來描述或主張權(quán)利的,但是復(fù)數(shù)也是已料想了的,除非顯式地聲明了限定于單數(shù)。