背景技術(shù):
包括流和對(duì)話服務(wù)在內(nèi)的多媒體服務(wù)的增長是發(fā)展新的移動(dòng)寬帶技術(shù)和標(biāo)準(zhǔn)的關(guān)鍵驅(qū)動(dòng)力之一。在移動(dòng)設(shè)備中,數(shù)字視頻內(nèi)容的消費(fèi)越來越多。日常生活中有很多廣泛用在移動(dòng)設(shè)備上的視頻應(yīng)用。例如,在線視頻流包括諸如youtube和hulu之類的頗受歡迎的服務(wù)。視頻記錄和視頻會(huì)議包括諸如skype和googlehangout之類的服務(wù)。在2011年,youtube有超過1萬億的全球?yàn)g覽量。這些瀏覽量的百分之十是通過移動(dòng)電話或平板計(jì)算機(jī)訪問的。隨著更多的智能電話、平板計(jì)算機(jī)和其它移動(dòng)計(jì)算設(shè)備被購買,這些設(shè)備對(duì)視頻記錄和視頻會(huì)議的使用將會(huì)有巨大的增長??紤]到這種對(duì)于多媒體服務(wù)的高消費(fèi)者需求結(jié)合媒體壓縮和無線網(wǎng)絡(luò)架構(gòu)的發(fā)展,以下設(shè)想是令人感興趣的,即增強(qiáng)未來的蜂窩和移動(dòng)寬帶系統(tǒng)的多媒體服務(wù)能力和向消費(fèi)者提供高質(zhì)量的體驗(yàn)(qoe),從而確保從任意地方、在任意時(shí)間、利用任意設(shè)備和技術(shù)都可以普遍適用地訪問視頻內(nèi)容和服務(wù)。
附圖說明
根據(jù)以下結(jié)合附圖的詳細(xì)描述將清楚本公開的特征和優(yōu)點(diǎn),所有附圖一起通過示例的方式圖示了本公開的特征,并且在附圖中:
圖1示出了根據(jù)示例的支持感興趣區(qū)域(roi)縮放特征的基于ims(mtsi)的視頻會(huì)議系統(tǒng)上的多媒體電話服務(wù);
圖2是示出了根據(jù)示例的在本地用戶設(shè)備(ue)與遠(yuǎn)程ue之間的用于啟動(dòng)感興趣區(qū)域(roi)縮放特征的信令的流程圖;
圖3是示出了根據(jù)示例的在發(fā)送客戶端與接收客戶端之間的用于啟動(dòng)感興趣區(qū)域(roi)縮放特征的信令的流程圖;
圖4a示出了根據(jù)示例的利用實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展技術(shù)傳送的、指示預(yù)定義感興趣區(qū)域(roi)信令能力和任意roi信令能力的會(huì)話描述協(xié)議(sdp)提議消息;
圖4b示出了根據(jù)示例的利用實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展技術(shù)傳送的、接受任意感興趣區(qū)域(roi)信令能力的會(huì)話描述協(xié)議(sdp)提議消息;
圖5a圖示了根據(jù)示例的利用實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋技術(shù)傳送的、指示任意感興趣區(qū)域(roi)信令能力和實(shí)際roi的會(huì)話描述協(xié)議(sdp)提議消息;
圖5b圖示了根據(jù)示例的利用實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋技術(shù)傳送的、接受任意感興趣區(qū)域(roi)信令能力和實(shí)際roi的會(huì)話描述協(xié)議(sdp)應(yīng)答消息;
圖6示出了根據(jù)示例的可操作為執(zhí)行與遠(yuǎn)程用戶設(shè)備(ue)的視頻會(huì)議的本地ue的功能;
圖7示出了根據(jù)示例的可操作為執(zhí)行與本地用戶設(shè)備(ue)的視頻會(huì)議的遠(yuǎn)程ue的功能;
圖8示出了根據(jù)示例的其中包括指令的至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)的流程圖,所述指令用于在支持交互式縮放特征的本地用戶設(shè)備(ue)處操作視頻會(huì)議應(yīng)用;以及
圖9示出了根據(jù)示例的無線設(shè)備(例如ue)的示圖。
現(xiàn)在將參考所圖示的示例性實(shí)施例,并且將在本文中使用特定的語言來描述這些示例性實(shí)施例。但是應(yīng)理解并沒有意圖限制本申請(qǐng)技術(shù)的范圍。
具體實(shí)施方式
在本申請(qǐng)技術(shù)被公開和描述之前,應(yīng)理解本申請(qǐng)技術(shù)不局限于本文中所公開的特定結(jié)構(gòu)或材料,而是要擴(kuò)展到相關(guān)領(lǐng)域的技術(shù)人員將意識(shí)到的等同物。還應(yīng)理解本文中所采用的術(shù)語只是用于描述特定示例的目的,而不意圖為限制性的。不同附圖中的相同標(biāo)號(hào)代表相同的元件。流程圖和處理過程中所提供的編號(hào)是為了清楚地圖示動(dòng)作和操作而被提供的,并不一定表示特定的順序或序列。
示例實(shí)施例
下面提供對(duì)技術(shù)實(shí)施例的初步概述,然后在后面更詳細(xì)地描述特定技術(shù)實(shí)施例。這個(gè)初步總結(jié)意圖幫助讀者更快地理解本申請(qǐng)技術(shù),而不是意圖標(biāo)識(shí)出本申請(qǐng)技術(shù)的關(guān)鍵特征或?qū)嵸|(zhì)性特征,也不是意圖限制所要求保護(hù)的主題的范圍。
一種用于操作支持交互式縮放特征的本地用戶設(shè)備(ue)處的操作視頻會(huì)議應(yīng)用的技術(shù)被描述。在本地ue處的本地用戶可以通過使用視頻會(huì)議應(yīng)用與在遠(yuǎn)程ue處的遠(yuǎn)程用戶通信。換言之,本地用戶可以通過視頻會(huì)議應(yīng)用查看包括遠(yuǎn)程用戶的場(chǎng)景。該場(chǎng)景可以被顯示在本地ue的顯示屏上。在一個(gè)示例中,本地ue可以從遠(yuǎn)程ue接收?qǐng)鼍皟?nèi)的一組預(yù)定義區(qū)域。場(chǎng)景內(nèi)的這些預(yù)定義區(qū)域可以被稱為預(yù)定義感興趣區(qū)域(roi)。每個(gè)預(yù)定義roi可以在遠(yuǎn)程ue的攝像頭的視場(chǎng)內(nèi)。作為非限制性示例,第一預(yù)定義roi可以與場(chǎng)景的左上方區(qū)域相對(duì)應(yīng),而第二預(yù)定義roi可以與場(chǎng)景的右下方區(qū)域相對(duì)應(yīng)。另外,每個(gè)預(yù)定義roi可以與一組roi坐標(biāo)相關(guān)聯(lián)。
當(dāng)本地用戶需要一個(gè)預(yù)定義roi內(nèi)的內(nèi)容的更詳細(xì)表示時(shí),本地ue可以從一組預(yù)定義roi中選出這個(gè)預(yù)定義roi。因此,每個(gè)預(yù)定義roi可以是這樣的可能區(qū)域,其中本地用戶可以通過視頻會(huì)議應(yīng)用進(jìn)行放大以查看該區(qū)域的更多細(xì)節(jié)。本地ue可以將本地用戶所選擇的預(yù)定義roi發(fā)送給遠(yuǎn)程ue。
遠(yuǎn)程ue可以采集從本地ue接收到的預(yù)定義roi內(nèi)的視頻。遠(yuǎn)程ue可以對(duì)預(yù)定義roi內(nèi)的視頻進(jìn)行編碼。經(jīng)編碼的視頻可以包括預(yù)定義roi內(nèi)的區(qū)域并且排除預(yù)定義roi以外的區(qū)域。遠(yuǎn)程ue可以將經(jīng)編碼的視頻傳送給本地ue。經(jīng)編碼的視頻可以包括具有增大的縮放級(jí)別且同時(shí)基本保持所定義的質(zhì)量水平的預(yù)定義roi內(nèi)的區(qū)域。換言之,遠(yuǎn)程ue可以提供預(yù)定義roi內(nèi)的經(jīng)編碼的視頻以使得在本地ue處能夠回放經(jīng)編碼的視頻。通過遠(yuǎn)程ue僅僅將場(chǎng)景中所選擇的區(qū)域(即預(yù)定義roi)傳送給本地ue,而不傳送場(chǎng)景中未被選擇的區(qū)域,視頻會(huì)議應(yīng)用可以更高效地使用可用帶寬。此外,本地用戶可以使用交互式縮放特征動(dòng)態(tài)地從查看整個(gè)場(chǎng)景的視頻饋送(例如遠(yuǎn)程ue的攝像頭的整個(gè)視場(chǎng))切換為只查看場(chǎng)景內(nèi)的所選擇區(qū)域(例如遠(yuǎn)程ue的攝像頭的部分視場(chǎng))。
有很多多媒體標(biāo)準(zhǔn)已被開發(fā)以使得多媒體能夠被傳送至移動(dòng)計(jì)算設(shè)備、從移動(dòng)計(jì)算設(shè)備被傳送或者在移動(dòng)計(jì)算設(shè)備之間被傳送。例如,在流視頻中,第三代合作伙伴項(xiàng)目(3gpp)已開發(fā)了技術(shù)規(guī)范(ts)26.234(例如版本11.0.0),該技術(shù)規(guī)范描述了基于用于點(diǎn)播或直播內(nèi)容的單播流的實(shí)時(shí)流協(xié)議(rtsp)的分組交換流服務(wù)(pss)。此外,3gppts26.247(例如版本11.0.0)中描述了包括漸進(jìn)式下載和http上的動(dòng)態(tài)適應(yīng)性流播放(dash)的基于超文本傳輸協(xié)議(http)的流服務(wù)?;?gpp的多媒體廣播和多播服務(wù)(mbms)規(guī)范ts26.346(例如版本11.0.0)指定了用于多播/廣播內(nèi)容分配的流送和下載技術(shù)。由此,諸如用戶設(shè)備(ue)之類的基于dash/pss/mbms的移動(dòng)計(jì)算設(shè)備在ue設(shè)備處對(duì)流視頻進(jìn)行解碼和呈現(xiàn)。在所有這些規(guī)范中都要求支持3gppts26.244(例如版本11.0.0)中的3gp文件格式,以支持文件下載和基于http的流送使用情形。
3gppts26.114(例如11.0.0)中提供了用于可對(duì)話視頻通信(例如視頻會(huì)議)的標(biāo)準(zhǔn)的一個(gè)示例。該標(biāo)準(zhǔn)描述了基于ims的多媒體電話服務(wù)(mtsi),該服務(wù)允許通過基于互聯(lián)網(wǎng)協(xié)議(ip)多媒體子系統(tǒng)(ims)的網(wǎng)絡(luò)傳送高級(jí)多媒體對(duì)話服務(wù)和內(nèi)容。在3gppts26.140(例如版本11.0.0)中對(duì)ims進(jìn)行了歸一化。3gppts26.140描述了媒體處理和交互,包括媒體控制、媒體編解碼以及媒體和控制數(shù)據(jù)的傳輸。3gppts26.140還允許使用多媒體共享服務(wù)(mms)實(shí)現(xiàn)視頻共享,其中提供了對(duì)3gp文件格式的支持。
如下面將更詳細(xì)描述的,mtsi呼叫可以使用呼叫會(huì)話控制功能(cscf)機(jī)制在呼叫中所涉及到的ue之間重新路由控制層面信令(例如視頻會(huì)議應(yīng)用)。在控制層面中,應(yīng)用服務(wù)器(as)可以存在并提供補(bǔ)充服務(wù),例如呼叫保持或呼叫重新開始、呼叫轉(zhuǎn)移和多方呼叫等。
基于mtsi的發(fā)送方ue終端可以采集和錄制視頻,然后通過3gpp網(wǎng)絡(luò)將視頻傳送給基于mtsi的接收方ue終端。然后,接收方ue終端可以對(duì)視頻進(jìn)行解碼和呈現(xiàn)。在mtsi中,會(huì)話發(fā)起協(xié)議(sip)可以用作應(yīng)用層控制協(xié)議以建立、修改和終止可對(duì)話多媒體會(huì)話,例如視頻會(huì)議、互聯(lián)網(wǎng)電話呼叫等等。發(fā)送終端和接收終端之間的基于會(huì)話描述協(xié)議(sdp)的信令可以允許考慮媒體相關(guān)能力協(xié)商中的提議/應(yīng)答考慮因素,包括編解碼、比特率、分辨率等。mtsi中的媒體傳輸基于udp/ip上的實(shí)時(shí)傳輸協(xié)議(rtp)(由ietfrfc3550指定)。
采集設(shè)備的分辨率正在快速地增大,因此壓縮后的視頻的分辨率也在快速地增大。例如,使用最近的高效率視頻編碼(hevc)標(biāo)準(zhǔn),4k的內(nèi)容可以作為可操作產(chǎn)品的一部分被傳輸和存儲(chǔ)。具有4k乘2k分辨率的攝像頭現(xiàn)在已經(jīng)普遍存在。直播流視頻已經(jīng)以8k乘4k的分辨率被展示。以像素?cái)?shù)表征的分辨率未來可能還會(huì)增大。利用這些分辨率非常高的內(nèi)容,目前在視頻流領(lǐng)域中可能出現(xiàn)新的使用,例如交互式縮放特征。
目前市場(chǎng)中所存在的可對(duì)話視頻服務(wù)(例如mtsi)允許在帶寬、空間分辨率、取向等方面實(shí)現(xiàn)視頻的動(dòng)態(tài)適配。但是,這些可對(duì)話視頻服務(wù)不允許用戶動(dòng)態(tài)地切換到正在被流傳送的視頻中的用戶選擇區(qū)域中并且優(yōu)化針對(duì)該用戶選擇區(qū)域的編碼。因此,在視頻呼叫中使用交互式縮放特征期間可達(dá)到的視頻分辨率可能會(huì)受限制。雖然接收方應(yīng)用可以放大到感興趣區(qū)域(roi)中并切除視頻中不想要的部分(例如響應(yīng)于來自用戶接口的命令),但是當(dāng)前系統(tǒng)的一個(gè)限制是在不存在來自接收終端的任何roi信令的情況下,發(fā)送終端仍然要對(duì)整個(gè)視頻幀進(jìn)行編碼和傳送。
在一個(gè)示例中,從mtsi接收方到mtsi發(fā)送方的roi信息的信令傳送可以允許mtsi發(fā)送方傳送更高質(zhì)量的流。mtsi發(fā)送方可以在對(duì)視頻的roi部分編碼時(shí)完全或者絕大部分使用經(jīng)協(xié)商的比特率。為了實(shí)現(xiàn)這一目的,可以進(jìn)行兩個(gè)方向上的信令傳送。mtsi發(fā)送方可以向mtsi接收方發(fā)送消息以表達(dá)能力,而mtsi接收方可以向mtsi發(fā)送方發(fā)送消息以表達(dá)所想要的roi。
圖1圖示了示例性的基于ims上的多媒體電話服務(wù)(mtsi)的視頻會(huì)議系統(tǒng),該系統(tǒng)支持感興趣區(qū)域(roi)縮放特征。與遠(yuǎn)程用戶設(shè)備(ue)128(例如移動(dòng)電話、平板計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)或者其它合適的設(shè)備)相關(guān)聯(lián)的用戶(例如用戶a)可能正在跟與本地ue148相關(guān)聯(lián)的另一用戶(例如用戶b)進(jìn)行視頻會(huì)議。換言之,遠(yuǎn)程ue128和本地ue148可能都在運(yùn)行雙向視頻會(huì)議應(yīng)用160。用戶a可以接近遠(yuǎn)程ue128(例如在遠(yuǎn)程ue128前面),用戶b可以接近本地ue148(例如在本地ue148前面)。遠(yuǎn)程ue128和本地ue148可以分別包括在視頻會(huì)議應(yīng)用160運(yùn)行時(shí)允許用戶查看彼此的攝像頭。遠(yuǎn)程ue128可以包括遠(yuǎn)程攝像頭,而本地ue148可以包括本地?cái)z像頭。遠(yuǎn)程ue128可以包括在操作期間采集用戶a的視頻的攝像頭和在操作期間向用戶a顯示用戶b的視頻的顯示屏。類似地,本地ue148可以包括在操作期間采集用戶b的視頻的攝像頭和在操作期間向用b顯示用戶a的視頻的顯示屏。換言之,用戶a可以通過遠(yuǎn)程ue128上的顯示屏查看用戶b,用戶b可以通過本地ue148上的顯示屏查看用戶a。
在一個(gè)示例中,視頻會(huì)議應(yīng)用160可以在基于mtsi的可對(duì)話視頻系統(tǒng)上。換言之,視頻會(huì)議應(yīng)用160可以對(duì)基于3gpp的多媒體電話服務(wù)進(jìn)行操作,所述多媒體電話服務(wù)將遠(yuǎn)程ue128和本地ue148彼此連接并且連接到電話網(wǎng)絡(luò)。
遠(yuǎn)程ue128可以通過無線電訪問網(wǎng)絡(luò)(ran)126、服務(wù)通用分組無線電業(yè)務(wù)(gprs)支持節(jié)點(diǎn)(sgsn)124和/或網(wǎng)關(guān)gprs支持節(jié)點(diǎn)(ggsn)122連接到核心網(wǎng)絡(luò)。遠(yuǎn)程ue128可以通過代理呼叫會(huì)話控制功能(p-cscf)120發(fā)送和接收數(shù)據(jù)。p-cscf120可以利用服務(wù)呼叫會(huì)話控制功能(s-cscf)114發(fā)送和接收數(shù)據(jù)。在一些示例中,s-cscf114可以發(fā)送和接收來自應(yīng)用服務(wù)器(as)122的數(shù)據(jù),所述as122可以提供補(bǔ)充服務(wù),例如呼叫保持/重新開始、呼叫轉(zhuǎn)移和多方呼叫等。在該示例中,ran126、sgsn124、ggsn122、p-cscf120、s-cscf114和as112可以與操作者a110相關(guān)聯(lián)。s-cscf114可以發(fā)送和接收來自核心網(wǎng)絡(luò)的其它部分的數(shù)據(jù)。例如,與操作者a110相關(guān)聯(lián)的s-cscf114可以與詢問cscf(i-cscf)136通信,所述i-cscf136與操作者b130相關(guān)聯(lián)。
本地ue148可以通過其自身的無線電訪問網(wǎng)絡(luò)(ran)146、服務(wù)通用分組無線電業(yè)務(wù)(gprs)支持節(jié)點(diǎn)(sgsn)144和網(wǎng)關(guān)gprs支持節(jié)點(diǎn)(ggsn)142連接到核心網(wǎng)絡(luò)。本地ue148可以通過代理呼叫會(huì)話控制功能(p-cscf)140發(fā)送和接收數(shù)據(jù)。p-cscf140可以利用服務(wù)呼叫會(huì)話控制功能(s-cscf)134發(fā)送和接收數(shù)據(jù)。在一些示例中,s-cscf134可以發(fā)送和接收來自應(yīng)用服務(wù)器(as)132的數(shù)據(jù),所述as132可以提供補(bǔ)充服務(wù),例如呼叫保持/重新開始、呼叫轉(zhuǎn)移和多方呼叫等。s-cscf114和s-cscf134可以分別與詢問cscf(i-cscf)136通信。換言之,操作者a110可以通過s-cscf114和i-cscf136之間的通信與操作者b通信。i-cscf136可以對(duì)歸屬訂戶服務(wù)器(hss)138和/或訂戶位置功能(slf)138進(jìn)行讀和寫。在該示例中,ran146、sgsn144、ggsn142、p-cscf140、hss/slf138、i-cscf136、s-cscf134和as132可以與操作者b130相關(guān)聯(lián)。
在一個(gè)配置中,視頻會(huì)議應(yīng)用160可以支持縮放特征。例如,本地ue148可以放大到遠(yuǎn)程攝像頭(即與遠(yuǎn)程ue128相關(guān)聯(lián)的攝像頭)的視場(chǎng)內(nèi)的特定特征或位置中。本地ue148可以從遠(yuǎn)程ue128接收一組預(yù)定義roi。預(yù)定義roi可以對(duì)應(yīng)于遠(yuǎn)程攝像頭的視場(chǎng)內(nèi)的各個(gè)區(qū)域。例如,遠(yuǎn)程ue128可以向本地ue148發(fā)送一組十個(gè)預(yù)定義roi,其中該組中的每個(gè)預(yù)定義roi對(duì)應(yīng)于遠(yuǎn)程攝像頭的視場(chǎng)內(nèi)的不同區(qū)域。作為非限制性示例,預(yù)定義roi可以對(duì)應(yīng)于遠(yuǎn)程攝像頭的視場(chǎng)的右上部分、遠(yuǎn)程攝像頭的視場(chǎng)的左下部分等等。本地ue148處的本地用戶可以從接收自遠(yuǎn)程ue128的這組預(yù)定義roi中選擇預(yù)定義roi150。
在替代配置中,在本地ue148處,用戶b可以定義遠(yuǎn)程ue128處的視場(chǎng)內(nèi)的任意感興趣區(qū)域(roi)。作為非限制性示例,在遠(yuǎn)程ue128處,用戶a可以在遠(yuǎn)程ue128的顯示屏上查看用戶b的頭部。在本地ue148處,用戶b可以在本地ue148的顯示屏上查看用戶a的頭和軀干。用戶b可能想要用戶a的增強(qiáng)視圖(例如用戶b可能想要放大到用戶a的臉部)。用戶b可以定義本地ue處的任意roi,以使得該任意roi包括用戶a的臉部??梢允褂美鐖D形用戶界面在本地ue148處定義任意roi。換言之,用戶b可以使用諸如計(jì)算機(jī)鼠標(biāo)或觸摸屏之類的輸入設(shè)備來選擇區(qū)域。任意roi可以包括遠(yuǎn)程攝像頭的視場(chǎng)內(nèi)的其它合適的區(qū)域。例如,用戶b可以將任意roi定義為包括用戶a的軀干、用戶a后面的樹等等。作為其它示例,任意roi可以包括本地ue148的顯示屏的右上部區(qū)域(對(duì)應(yīng)于遠(yuǎn)程攝像頭的合適的視場(chǎng))、本地ue148的顯示屏的左下部區(qū)域等等。
任意roi可以被認(rèn)為是由本地用戶選擇的動(dòng)態(tài)實(shí)體,而預(yù)定義roi150可以被認(rèn)為是更靜態(tài)的。換言之,與專門從本地ue148請(qǐng)求的roi不同,所選擇的roi可以是已在遠(yuǎn)程ue128處預(yù)定義的。任意roi和預(yù)定義roi都可以與一組roi坐標(biāo)相關(guān)聯(lián)。
由本地用戶選擇的預(yù)定義roi150可以從本地ue148被發(fā)送至遠(yuǎn)程ue128。如下面將更詳細(xì)討論的,可以使用實(shí)時(shí)傳輸協(xié)議(rtp)消息或?qū)崟r(shí)傳輸控制協(xié)議(rtcp)反饋消息傳輸預(yù)定義roi150。rtp消息或rtcp反饋消息可以指示遠(yuǎn)程ue128采集預(yù)定義roi內(nèi)的視頻?;蛘?,任意roi(例如與任意roi相關(guān)聯(lián)的roi坐標(biāo))可以從本地ue148被發(fā)送至遠(yuǎn)程ue128,其可以指示遠(yuǎn)程ue128采集任意roi內(nèi)的視頻。
在一些示例中,遠(yuǎn)程ue128可以采集只包括預(yù)定義roi150而不包括預(yù)定義roi150以外的區(qū)域的視頻。作為非限制性示例,rtp頭部擴(kuò)展或rtcp反饋消息(包括對(duì)所選擇的預(yù)定義roi150的指示)可以指示遠(yuǎn)程ue128采集用戶a的下巴上的傷口。換言之,遠(yuǎn)程ue的攝像頭可以只采集用戶a的下巴上的傷口,而不采集用戶a的下巴周圍的其它區(qū)域。
一旦根據(jù)預(yù)定義roi150采集了視頻,遠(yuǎn)程ue128可以例如使用具有相對(duì)較低的壓縮的編碼機(jī)制對(duì)視頻進(jìn)行編碼。因此,視頻可以提供預(yù)定義roi150的相對(duì)詳細(xì)的特寫視圖,而同時(shí)基本保持所定義的質(zhì)量水平。遠(yuǎn)程ue128可以利用損耗較少的編碼機(jī)制對(duì)(與預(yù)定義roi150相關(guān)的)視頻進(jìn)行編碼,因?yàn)橹氨挥糜趯?duì)整個(gè)視場(chǎng)進(jìn)行編碼的資源現(xiàn)在僅被用于對(duì)預(yù)定義roi150進(jìn)行編碼。在一個(gè)示例中,遠(yuǎn)程ue128的編碼器不會(huì)對(duì)每個(gè)預(yù)定義roi進(jìn)行編碼,因?yàn)檫@可能在計(jì)算上給編碼器帶來過多負(fù)擔(dān)。相反,遠(yuǎn)程ue128可以接收被選擇的預(yù)定義roi150,并且遠(yuǎn)程ue128的編碼器可以僅對(duì)預(yù)定義roi150進(jìn)行編碼。
遠(yuǎn)程ue128可以將(僅僅與預(yù)定義roi150相關(guān)的)經(jīng)編碼的視頻傳送給本地ue148。由于與傳送(與遠(yuǎn)程ue128相關(guān)聯(lián)的)遠(yuǎn)程攝像頭的完整視場(chǎng)相比,遠(yuǎn)程ue128在傳送(僅僅與預(yù)定義roi150相關(guān)的)經(jīng)編碼的視頻時(shí)可以使用基本相同的帶寬量,所以經(jīng)編碼的視頻可能有相當(dāng)高的質(zhì)量。換言之,預(yù)定義roi150的經(jīng)編碼的視頻可能相對(duì)比較清晰,而不會(huì)是粗糙或模糊的。就這一點(diǎn)而言,本文中所描述的技術(shù)要優(yōu)于先前的技術(shù),在先前的技術(shù)中,用戶(例如用戶b)手動(dòng)放大到顯示屏上所顯示的框內(nèi),可能導(dǎo)致質(zhì)量水平的降低。在當(dāng)前的解決方案中,遠(yuǎn)程ue128可以按經(jīng)協(xié)商的分辨率僅僅對(duì)預(yù)定義roi150進(jìn)行編碼,而不是對(duì)整個(gè)采集到的框進(jìn)行編碼,這將在本地ue148處產(chǎn)生更高的整體分辨率和更好的用戶體驗(yàn)。
作為非限制性示例,遠(yuǎn)程ue128可以對(duì)用戶a的下巴上的傷口的視頻進(jìn)行編碼。遠(yuǎn)程ue128可以使用具有相對(duì)較低的壓縮的編碼機(jī)制,使得可以以相對(duì)較大的分辨率和清晰度水平來查看用戶a的下巴。換言之,經(jīng)編碼的視頻可以是對(duì)用戶a的下巴的放大呈現(xiàn),但是仍然保持相對(duì)較高的質(zhì)量水平(例如不粗糙)。此外,整個(gè)帶寬可以被用于發(fā)送用戶a的下巴的經(jīng)編碼的視頻,使得對(duì)用戶a的下巴有相對(duì)清楚和詳細(xì)的呈現(xiàn)。與用戶a的整個(gè)臉部被包括來作為經(jīng)編碼的視頻的一部分相比,這個(gè)呈現(xiàn)可以提供用戶a的臉部的更多細(xì)節(jié)。
在替代配置中,遠(yuǎn)程ue128可以采集包括(與遠(yuǎn)程ue128相關(guān)聯(lián)的)遠(yuǎn)程攝像頭的完整視場(chǎng)的視頻。但是,遠(yuǎn)程ue128可以僅僅對(duì)視頻中包括預(yù)定義roi150的部分進(jìn)行編碼。此外,遠(yuǎn)程ue128可以傳送僅僅包括預(yù)定義roi150而不包括預(yù)定義roi150以外的區(qū)域的經(jīng)編碼的視頻。
本地ue148可以從遠(yuǎn)程ue128接收經(jīng)編碼的視頻,其中經(jīng)編碼的視頻包括預(yù)定義roi150內(nèi)的區(qū)域但不包括預(yù)定義roi150以外的區(qū)域。本地ue148可以在與本地ue148相關(guān)聯(lián)的顯示屏上呈現(xiàn)和顯示經(jīng)編碼的視頻。作為非限制性示例,坐在本地ue148前面的用戶b可以查看用戶a的下巴上的傷口的詳細(xì)的特寫呈現(xiàn)。用戶b總是可以回到用戶a的先前視圖,例如用戶b可以縮回且恢復(fù)到在本地ue148的顯示屏上查看用戶a的整個(gè)臉部和軀干。
作為非限制性示例,用戶可能在巴黎度假。用戶可能通過移動(dòng)設(shè)備向游客幫助中心做出視頻呼叫。在該示例中,移動(dòng)設(shè)備可以是本地用戶設(shè)備(ue),并且游客幫助中心可以是遠(yuǎn)程ue。游客幫助中心可以提供來自埃菲爾鐵塔的網(wǎng)絡(luò)攝像頭視圖。在視頻呼叫開始時(shí),游客幫助中心可以向移動(dòng)設(shè)備呈現(xiàn)很多個(gè)預(yù)定義roi。被呈現(xiàn)給移動(dòng)設(shè)備的預(yù)定義roi可以對(duì)應(yīng)于網(wǎng)絡(luò)攝像頭的視場(chǎng)。預(yù)定義roi的一些示例可以包括“sacrecoeur”、“muséerodin”和“palaisdulouvre”。用戶可以通過移動(dòng)設(shè)備選擇與“sacrecoeur”相關(guān)聯(lián)的預(yù)定義roi,并且與預(yù)定義roi相對(duì)應(yīng)的直播視頻流可以被提供給移動(dòng)設(shè)備。在稍后的時(shí)間,用戶可以通過移動(dòng)設(shè)備選擇與“muséerobin”相關(guān)聯(lián)的不同的預(yù)定義roi,并且被提供給移動(dòng)設(shè)備的直播視頻流可以被切換為對(duì)應(yīng)于該不同的預(yù)定義roi。
在一個(gè)示例中,本地ue148和遠(yuǎn)程ue128可以參與到多方視頻會(huì)議中。多方視頻會(huì)議可以包括四個(gè)人,其中本地用戶接近本地ue148并且三個(gè)遠(yuǎn)程用戶接近遠(yuǎn)程ue128。由于本地用戶可能想要對(duì)多方視頻會(huì)議中的三個(gè)遠(yuǎn)程用戶中的一個(gè)遠(yuǎn)程用戶進(jìn)行放大,遠(yuǎn)程ue128可以預(yù)測(cè)本地ue148可能請(qǐng)求哪些roi。并非本地ue148動(dòng)態(tài)地創(chuàng)建roi坐標(biāo)并將roi坐標(biāo)發(fā)送給遠(yuǎn)程ue128,而是遠(yuǎn)程ue128可以預(yù)測(cè)與三個(gè)遠(yuǎn)程用戶相對(duì)應(yīng)的roi,基于所預(yù)測(cè)的roi生成一組預(yù)定義roi,然后將這組預(yù)定義roi發(fā)送給本地ue148。例如,第一預(yù)定義roi可以對(duì)應(yīng)于第一遠(yuǎn)程用戶,第二預(yù)定義roi可以對(duì)應(yīng)于第二遠(yuǎn)程用戶,且第三預(yù)定義roi可以對(duì)應(yīng)于第三遠(yuǎn)程用戶。本地用戶能夠在多方視頻會(huì)議期間選擇預(yù)定義roi中的一個(gè)。例如,當(dāng)?shù)谝贿h(yuǎn)程用戶在講話時(shí),本地用戶可以選擇第一預(yù)定義roi以查看第一遠(yuǎn)程用戶的放大的視頻饋送(feed),然后當(dāng)?shù)谌h(yuǎn)程用戶開始講話時(shí),本地用戶可以選擇第三預(yù)定義roi以查看第三遠(yuǎn)程用戶的放大的視頻饋送。只要本地ue148沒有選擇不同的預(yù)定義roi150,遠(yuǎn)程ue128就可以假設(shè)本地ue148仍然想接收預(yù)定義roi150內(nèi)的視頻。換言之,如果沒有新的預(yù)定義roi150被選擇,則遠(yuǎn)程ue128可以繼續(xù)對(duì)相同區(qū)域進(jìn)行編碼。
在一個(gè)配置中,如果遠(yuǎn)程攝像頭的視場(chǎng)內(nèi)的目標(biāo)在運(yùn)動(dòng),則遠(yuǎn)程ue128可以檢測(cè)該運(yùn)動(dòng)(例如通過遠(yuǎn)程ue128處的運(yùn)動(dòng)傳感器)并調(diào)節(jié)roi。例如,遠(yuǎn)程ue可以響應(yīng)于在遠(yuǎn)程攝像頭的視場(chǎng)內(nèi)檢測(cè)到的運(yùn)動(dòng)生成修改后的roi。遠(yuǎn)程ue128可以提供修改后的roi內(nèi)的編碼視頻以在本地ue128處呈現(xiàn)和顯示。
作為非限制性示例,本地ue148和遠(yuǎn)程ue128可以參與到多方視頻會(huì)議中,其中本地用戶通過視頻會(huì)議應(yīng)用與三個(gè)遠(yuǎn)程用戶通信。被提供給本地ue148的經(jīng)編碼的視頻最初可以對(duì)應(yīng)于正在講話的第一遠(yuǎn)程用戶。經(jīng)編碼的視頻可以對(duì)應(yīng)于預(yù)定義roi。第一遠(yuǎn)程用戶(例如目標(biāo))在講話時(shí)可能在房間里來回踱步。在該示例中,遠(yuǎn)程ue128可以檢測(cè)到目標(biāo)在運(yùn)動(dòng)并且在本地自動(dòng)調(diào)整預(yù)定義roi(即不需要來自本地ue148的指令)。換言之,遠(yuǎn)程ue128可以自動(dòng)調(diào)節(jié)與預(yù)定義roi相關(guān)聯(lián)的roi坐標(biāo),以生成修改后的roi,然后僅對(duì)與修改后的roi相關(guān)聯(lián)的視頻進(jìn)行編碼和提供。如果遠(yuǎn)程ue128具有檢測(cè)運(yùn)動(dòng)的能力,則遠(yuǎn)程ue128可以在本地調(diào)節(jié)roi坐標(biāo)并且不需要代表本地ue148的信令傳送。
檢測(cè)運(yùn)動(dòng)和在本地調(diào)節(jié)預(yù)定義roi的roi坐標(biāo)的能力可以防止在本地ue148與遠(yuǎn)程ue128之間的額外的信令傳送。在過去的利用任意roi的解決方案中,如果目標(biāo)移動(dòng)并且任意roi需要被重新調(diào)節(jié),則本地ue148可能向遠(yuǎn)程ue128發(fā)送一組更新的roi坐標(biāo),這會(huì)導(dǎo)致額外的信令傳送。但是,在本配置中,不需要額外的信令傳送,因?yàn)檫h(yuǎn)程ue128可以自動(dòng)調(diào)節(jié)正在被編碼的視頻并向本地ue148發(fā)送。
圖2是示出了在本地用戶設(shè)備(ue)202與遠(yuǎn)程ue204之間的用于啟動(dòng)感興趣區(qū)域(roi)縮放特征的信令的示例性流程圖。在一個(gè)示例中,本地ue202和遠(yuǎn)程ue204可以正在與彼此進(jìn)行視頻會(huì)議。例如,本地ue202和遠(yuǎn)程ue204可以對(duì)支持基于所定義的roi的交互式縮放特征的視頻會(huì)議應(yīng)用進(jìn)行操作。本地ue202可以從遠(yuǎn)程ue204接收一組預(yù)定義的感興趣區(qū)域(roi)。這組預(yù)定義roi可以在遠(yuǎn)程ue204的攝像頭的視場(chǎng)內(nèi)。作為非限制性示例,這組預(yù)定義roi可以包括五個(gè)不同的預(yù)定義roi,分別對(duì)應(yīng)于遠(yuǎn)程ue204處的攝像頭的視場(chǎng)的特定區(qū)域。本地ue202可以從接收自遠(yuǎn)程ue204的這組預(yù)定義roi中選擇預(yù)定義roi。
本地ue202可以通過實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋消息向遠(yuǎn)程ue204傳輸所選擇的預(yù)定義roi。rtcp反饋消息可以指示遠(yuǎn)程ue204采集預(yù)定義roi內(nèi)的視頻并對(duì)該視頻進(jìn)行編碼。例如,rtcp反饋消息可以包括定義從這組預(yù)定義roi中選擇的預(yù)定義roi的描述符。
在一個(gè)示例中,遠(yuǎn)程ue204可以使用遠(yuǎn)程ue204的固定的非移動(dòng)攝像頭來采集經(jīng)編碼的視頻。遠(yuǎn)程ue204可以生成預(yù)定義roi內(nèi)的經(jīng)編碼的視頻,以使得經(jīng)編碼的視頻包括預(yù)定義roi內(nèi)的區(qū)域但不包括預(yù)定義roi以外的區(qū)域。此外,經(jīng)編碼的視頻可以包括具有增大的縮放級(jí)別同時(shí)基本保持所定義的質(zhì)量水平的預(yù)定義roi內(nèi)的區(qū)域。遠(yuǎn)程ue204可以將預(yù)定義roi內(nèi)的經(jīng)編碼的視頻發(fā)送給本地ue202。
本地ue202可以從遠(yuǎn)程ue204接收經(jīng)編碼的視頻。此外,本地ue202可以通過實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展接收與經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的預(yù)定義roi。rtp頭部擴(kuò)展可以被包括在從遠(yuǎn)程ue204接收的、包含經(jīng)編碼的視頻的rtp分組中。rtp頭部擴(kuò)展可以包括定義與經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的預(yù)定義roi的描述符。在一個(gè)示例中,rtp頭部擴(kuò)展可以包括與對(duì)應(yīng)于經(jīng)編碼的視頻的實(shí)際傳送的預(yù)定義roi相關(guān)聯(lián)的位置和尺寸。該位置可以包括指示遠(yuǎn)程ue204處的視場(chǎng)內(nèi)的實(shí)際傳送的預(yù)定義roi的拐角位置的兩個(gè)位置值。這兩個(gè)位置值可以被歸一化以指示在兩個(gè)維度上的相對(duì)位置。所述尺寸可以包括指示遠(yuǎn)程ue204處的視場(chǎng)內(nèi)的實(shí)際傳送的預(yù)定義roi的尺寸的兩個(gè)位置值,其中這兩個(gè)位置值可以被歸一化以指示在兩個(gè)維度上的相對(duì)尺寸。
本地ue202可以提供預(yù)定義roi內(nèi)的經(jīng)編碼的視頻以在本地ue202處呈現(xiàn)和顯示。例如,可以通過正在本地ue202處執(zhí)行的視頻會(huì)議應(yīng)用來播放經(jīng)編碼的視頻。在一個(gè)示例中,在本地ue202處所接收到的經(jīng)編碼的視頻可以顯示在遠(yuǎn)程ue204處所采集的目標(biāo)。
在一個(gè)配置中,遠(yuǎn)程ue204可以包括檢測(cè)遠(yuǎn)程ue的攝像頭前面的運(yùn)動(dòng)的運(yùn)動(dòng)檢測(cè)器或運(yùn)動(dòng)傳感器。換言之,目標(biāo)的運(yùn)動(dòng)可能發(fā)生在遠(yuǎn)程ue204的攝像頭的視場(chǎng)內(nèi)。遠(yuǎn)程ue204可以決定基于該運(yùn)動(dòng)來調(diào)節(jié)預(yù)定義roi。換言之,遠(yuǎn)程ue204可以檢測(cè)遠(yuǎn)程ue的攝像頭的視場(chǎng)內(nèi)的運(yùn)動(dòng),然后基于所檢測(cè)到的運(yùn)動(dòng)確定修改后的roi。遠(yuǎn)程ue204可以生成修改后的roi內(nèi)的經(jīng)編碼的視頻,其中經(jīng)編碼的視頻可以包括修改后的roi內(nèi)的區(qū)域但不包括修改后的roi以外的區(qū)域。遠(yuǎn)程ue204可以將經(jīng)編碼的視頻發(fā)送給本地ue202。本地ue202可以從遠(yuǎn)程ue204接收修改后的roi內(nèi)的經(jīng)編碼的視頻。本地ue202可以提供修改后的roi內(nèi)的經(jīng)編碼的視頻以在本地ue202處呈現(xiàn)和顯示。因此,當(dāng)在遠(yuǎn)程ue204處檢測(cè)到目標(biāo)的運(yùn)動(dòng)時(shí),本地ue202可以根據(jù)修改后的roi自動(dòng)接收經(jīng)編碼的視頻。
圖3是示出了在發(fā)送客戶端302與接收客戶端304之間的用于啟動(dòng)感興趣區(qū)域(roi)縮放特征的信令的示例性流程圖。發(fā)送客戶端302也可以被稱為遠(yuǎn)程用戶設(shè)備(ue)并且接收客戶端304也可以被稱為本地ue。發(fā)送客戶端302和接收客戶端304可以分別運(yùn)行視頻會(huì)議應(yīng)用,該視頻會(huì)議應(yīng)用允許與發(fā)送客戶端302相關(guān)聯(lián)的遠(yuǎn)程用戶和與接收客戶端304相關(guān)聯(lián)的本地用戶通信。
發(fā)送客戶端302與接收客戶端304之間的基于會(huì)話描述協(xié)議(sdp)的信令可以允許考慮針對(duì)roi縮放的媒體相關(guān)能力協(xié)商中的提議/應(yīng)答(offer/answer)。
發(fā)送客戶端302可以向接收客戶端304發(fā)送sdp提議,該sdp提議指示在發(fā)送客戶端302處的任意roi信令支持和/或預(yù)定義roi信令支持。發(fā)送客戶端302可以響應(yīng)于來自接收客戶端304的請(qǐng)求發(fā)送對(duì)任意roi和/或預(yù)定義roi信令支持的指示。發(fā)送方客戶端302可以使用實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋消息來發(fā)送sdp提議。在一些情況下,sdp提議可以包括實(shí)際傳送的roi信令以及對(duì)每個(gè)所提議的預(yù)定義roi的描述。
接收客戶端304可以向發(fā)送客戶端302發(fā)送sdp應(yīng)答,發(fā)送客戶端302接受或確認(rèn)發(fā)送客戶端對(duì)任意roi信令和/或預(yù)定義roi信令的支持。此外,接收客戶端304可以向發(fā)送客戶端302發(fā)送roi選擇信息(即在接收客戶端304處哪個(gè)預(yù)定義roi被選擇)。接收客戶端304可以在單個(gè)rtcp反饋消息中發(fā)送roi選擇信息?;蛘?,接收客戶端304可以將roi選擇消息作為單個(gè)rtp分組中的實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展來發(fā)送。接收客戶端304可以使用用于反向視頻流的rtp頭部擴(kuò)展來向發(fā)送客戶端302傳輸roi選擇信息。
發(fā)送客戶端302可以基于roi選擇信息對(duì)視頻進(jìn)行編碼和傳送。換言之,發(fā)送客戶端302可以基于所選擇的預(yù)定義roi對(duì)視頻進(jìn)行編碼和傳送。此外,發(fā)送客戶端302可以使用rtp頭部擴(kuò)展來向接收客戶端304發(fā)送實(shí)際傳送的預(yù)定義roi。發(fā)送客戶端302可以使用用于前向視頻流的rtp頭部擴(kuò)展來向接收客戶端304傳輸實(shí)際傳送的預(yù)定義roi。
當(dāng)使用rtcp消息將roi選擇信息從接收客戶端304傳送至發(fā)送客戶端302時(shí),支持roi縮放特征的mtsi客戶端可以在用于所有包含視頻的媒體流的sdp消息中提議roi縮放??梢酝ㄟ^在相關(guān)的媒體線(medialine)范圍下包括新的roi縮放類型的a=rtcp-fb屬性來提議roi縮放特征。例如,與rtcp反饋技術(shù)相結(jié)合的roi縮放類型可以用以下參數(shù)來表示:3gpp-roi-arbitrary和3gpp-roi-predefined。通配符有效載荷類型(“*”)可以被用于指示rtcp反饋屬性增強(qiáng)的fecc應(yīng)用于所有的有效載荷類型。如果支持若干類型的roi反饋并且/或者相同的roi反饋將被指定用于有效載荷類型的子集,則可以使用若干條“a=rtcp-fb”線。使用這個(gè)屬性來基于rtcp反饋技術(shù)用信號(hào)通知相對(duì)于媒體線的roi縮放的示例為:a=rtcp-fb:*3gpp-roi-arbitrary和a=rtcp-fb:*3gpp-roi-predefined。
rtcp反饋技術(shù)可以涉及在瞬時(shí)反饋和早期rtcp模式中的roi選擇信息的信令傳送。用于roi縮放的新的rtcp反饋類型可以包括:(1)3gpp-roi-arbitrary的值名稱、任意感興趣區(qū)域(roi)信息的長名稱和對(duì)第三代合作伙伴項(xiàng)目(3gpp)技術(shù)規(guī)范(ts)26.114的引用;以及(2)3gpp-roi-predefined的值名稱、預(yù)定義感興趣區(qū)域(roi)信息的長名稱和對(duì)第三代合作伙伴項(xiàng)目(3gpp)技術(shù)規(guī)范(ts)26.114的引用。
在針對(duì)rtcp-fb-val的值的擴(kuò)展的巴科斯范式(augmentedbackus-naurform)(abnf)中,如互聯(lián)網(wǎng)工程任務(wù)組(ietf)請(qǐng)求注解(rfc)4585中所定義的,存在用于定義新的反饋類型的被稱為rtcp-fb-id的占位符?!?gpp-roi-arbitrary”和“3gpp-roi-predefined”被定義為用于roi信息信令傳送的新的反饋類型,并且abnf可以按如下方式給定:rtcp-fb-val=/“3gpp-roi-arbitrary”和rtcp-fb-val=/“3gpp-roi-predefined”。
當(dāng)使用rtp頭部擴(kuò)展消息將roi信息從接收客戶端304傳送至發(fā)送客戶端302時(shí),支持roi縮放特征的mtsi客戶端可以在針對(duì)所有包含視頻的媒體流的sdp消息中提議roi縮放??梢酝ㄟ^在相關(guān)的媒體線范圍下包括指示roi縮放統(tǒng)一資源名(urn)的a=extmap屬性來提議roi縮放特征。例如,roi縮放urn可以被設(shè)置為:um:3gpp:roi-actual。包括這個(gè)urn的媒體線的示例是:a=extmap:7urn:3gpp:roi-actual。在以上媒體線的示例中,數(shù)字7可以用1到14的范圍內(nèi)的任意數(shù)字替換。
根據(jù)客戶端在sdp能力協(xié)商期間如何協(xié)商支持roi縮放特征,可以雙向或者單向地支持roi縮放能力。對(duì)于具有不對(duì)稱能力(例如處理roi信息但不檢測(cè)/用信令傳送roi信息的能力)的客戶端,可以使用“sendonly”和“recvonly”屬性??蛻舳艘诿總€(gè)方向上足夠清楚地表達(dá)其能力,使得在每個(gè)方向上僅僅發(fā)送信號(hào)到這些信號(hào)能夠表達(dá)有用的信息并且可以被接收方處理的程度即可。
在一個(gè)示例中,預(yù)定義和任意roi信令支持可以同時(shí)或者單獨(dú)被提議。當(dāng)這兩個(gè)能力都被發(fā)送客戶端302和接收客戶端304協(xié)商成功時(shí),接收客戶端304可以確定在給定時(shí)間請(qǐng)求任意roi或者預(yù)定義roi中的一個(gè)。例如,接收客戶端304可以在rtcp反饋消息中包括所請(qǐng)求的預(yù)定義roi的描述符,其中接收客戶端304選擇發(fā)送客戶端302所提議的預(yù)定義roi中的一個(gè)。當(dāng)預(yù)定義roi由發(fā)送客戶端302提議時(shí),發(fā)送客戶端302還可以負(fù)責(zé)檢測(cè)和跟蹤roi的任何運(yùn)動(dòng),例如roi可能是運(yùn)動(dòng)中的汽車、運(yùn)動(dòng)中的人等等。發(fā)送客戶端302可以利用能夠檢測(cè)和跟蹤roi的運(yùn)動(dòng)的合適的攝像技術(shù)。
roi縮放特征包括將接收用戶的當(dāng)前roi用信令傳送給發(fā)送客戶端302以使得發(fā)送ue可以最優(yōu)化地對(duì)所采集的視頻進(jìn)行編碼和傳送。當(dāng)roi縮放被協(xié)商成功時(shí),可以由mtsi客戶端用信令傳送。roi縮放的信令傳送可以使用rtcp反饋報(bào)告或rtp頭部擴(kuò)展。
當(dāng)使用rtcp反饋報(bào)告時(shí),接收客戶端304將用戶的當(dāng)前roi信息(例如任意roi或預(yù)定義roi中的一個(gè))包括在正在向發(fā)送客戶端302傳送的rtcp報(bào)告中。當(dāng)使用rtp頭部擴(kuò)展時(shí),發(fā)送客戶端302可以將針對(duì)經(jīng)編碼的視頻的實(shí)際傳送的roi包括在正在向接收客戶端304傳送的rtp分組中。
在一個(gè)示例中,可以使用兩個(gè)屬性來定義將被包含在rtcp反饋消息的任意roi(由接收客戶端304請(qǐng)求)或者rtp頭部擴(kuò)展中的實(shí)際傳送的roi(由發(fā)送客戶端302用信令傳送)。一個(gè)屬性是位置,該位置可以指定原始內(nèi)容中被覆蓋的區(qū)域的左上角,或者可以指定另一合適位置。另一個(gè)屬性是尺寸,該尺寸可以用相對(duì)值指定原始內(nèi)容中被覆蓋的區(qū)域的尺寸。例如,位置的非限制性示例可以是“0:0”,尺寸的非限制性示例可以是“0.33:0.33”。
roi縮放的存在不應(yīng)當(dāng)影響發(fā)送和接收客戶端之間所協(xié)商的分辨率(基于sdpimageattr屬性)。唯一的區(qū)別在于發(fā)送客戶端302將僅僅利用所協(xié)商的分辨率對(duì)roi進(jìn)行編碼而不是對(duì)整個(gè)所采集的框(frame)進(jìn)行編碼,并且這與接收終端在roi上進(jìn)行放大并且去除框的其余部分相比,將產(chǎn)生更高的總體分辨率和更好的用戶體驗(yàn)。發(fā)送終端可以潛在地指示roi作為用于其前向視頻流的rtp分組中的rtp頭部擴(kuò)展的一部分。
圖4a圖示了示例性會(huì)話描述協(xié)議(sdp)提議消息。sdp提議消息可以從遠(yuǎn)程用戶設(shè)備(ue)被傳輸至本地ue。sdp提議消息可以基于實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展技術(shù)。sdp提議消息可以指示遠(yuǎn)程ue處的預(yù)定義roi和任意roi信令能力。作為示例,sdp提議消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)預(yù)定義roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性以及與3gpp任意roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性。
圖4b圖示了示例性會(huì)話描述協(xié)議(sdp)應(yīng)答消息。sdp應(yīng)答消息可以從本地用戶設(shè)備(ue)被傳輸至遠(yuǎn)程ue。sdp應(yīng)答消息可以基于實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展技術(shù)。作為示例,sdp應(yīng)答消息可以只接受遠(yuǎn)程ue的任意roi信令能力。作為示例,sdp應(yīng)答消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)任意roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性。
圖5a圖示了示例性會(huì)話描述協(xié)議(sdp)提議消息。sdp提議消息可以從遠(yuǎn)程用戶設(shè)備(ue)被傳輸至本地ue。sdp提議消息可以基于實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋技術(shù)。作為示例,sdp提議消息可以指示遠(yuǎn)程ue處的任意roi信令能力。此外,sdp提議消息可以包括發(fā)送方(即遠(yuǎn)程ue)的實(shí)際roi信令傳送。作為示例,sdp提議消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)任意roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性。作為另一示例,sdp提議消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性。
圖5b圖示了示例性會(huì)話描述協(xié)議(sdp)應(yīng)答消息。sdp應(yīng)答消息可以從本地用戶設(shè)備(ue)被傳輸遠(yuǎn)程ue。sdp應(yīng)答消息可以基于實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋技術(shù)。作為示例,sdp應(yīng)答消息可以接受任意roi信令能力,其也可以包括接受發(fā)送方(即遠(yuǎn)程ue)的實(shí)際roi信令傳送。作為示例,sdp應(yīng)答消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)任意roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性。作為另一示例,sdp應(yīng)答消息可以包括與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性。
另一示例提供了可操作為執(zhí)行與遠(yuǎn)程ue的視頻會(huì)議的本地用戶設(shè)備(ue)的功能600,如圖6中的流程圖中所示。該功能可以作為方法來實(shí)現(xiàn)或者該功能可以作為機(jī)器上的指令來執(zhí)行,其中所述指令被包括在至少一個(gè)計(jì)算機(jī)可讀介質(zhì)或者一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)上。本地ue可以具有一個(gè)或多個(gè)處理器,這些處理器被配置為在本地ue處從遠(yuǎn)程ue接收一組預(yù)定義感興趣區(qū)域(roi),這組預(yù)定義roi在遠(yuǎn)程ue的攝像頭的視場(chǎng)內(nèi),如框610中所示。這一個(gè)或多個(gè)處理器可以被配置為在本地ue處從接收自遠(yuǎn)程ue的一組預(yù)定義roi中選擇預(yù)定義roi,如框620中所示。這一個(gè)或多個(gè)處理器可以被配置為通過實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋消息從本地ue將所選擇的預(yù)定義roi傳輸給遠(yuǎn)程ue,所述rtcp反饋消息指示遠(yuǎn)程ue采集預(yù)定義roi內(nèi)的視頻并對(duì)該視頻進(jìn)行編碼,如框630中所示。這一個(gè)或多個(gè)處理器可以被配置為從遠(yuǎn)程ue接收預(yù)定義roi內(nèi)的經(jīng)編碼的視頻,該經(jīng)編碼的視頻包括預(yù)定義roi內(nèi)的區(qū)域但不包括預(yù)定義roi以外的區(qū)域,該經(jīng)編碼的視頻包括具有增大的縮放級(jí)別且同時(shí)基本保持所定義的質(zhì)量水平的預(yù)定義roi內(nèi)的區(qū)域,如框640中所示。這一個(gè)或多個(gè)處理器可以被配置為通過實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展從遠(yuǎn)程ue接收與經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的預(yù)定義roi,rtp頭部擴(kuò)展被包括在從遠(yuǎn)程ue接收的包含經(jīng)編碼的視頻的rtp分組中,如框650中所示。這一個(gè)或多個(gè)處理器可以被配置為提供預(yù)定義roi內(nèi)的經(jīng)編碼的視頻以在本地ue處呈現(xiàn)和顯示,如框660中所示。
在一個(gè)配置中,第一處理器可以執(zhí)行框610、630、640和650中的操作。第一處理器的一個(gè)示例是基帶處理器。在一個(gè)配置中,第二處理器可以執(zhí)行框620和660中的操作。第二處理器可以是單個(gè)處理器,或者,第二處理器可以包括一個(gè)或多個(gè)分開的處理器。
在一個(gè)配置中,這一個(gè)或多個(gè)處理器還被配置為:從遠(yuǎn)程ue接收修改后的roi內(nèi)的經(jīng)編碼的視頻,其中修改后的roi在遠(yuǎn)程ue處響應(yīng)于在遠(yuǎn)程ue處的攝像頭的視場(chǎng)內(nèi)所檢測(cè)到的運(yùn)動(dòng)而被標(biāo)識(shí)出;并且提供修改后的roi內(nèi)的經(jīng)編碼的視頻以在本地ue處呈現(xiàn)和顯示。
在一個(gè)配置中,這一個(gè)或多個(gè)處理器還被配置為從遠(yuǎn)程ue接收與第三代合作伙伴項(xiàng)目(3gpp)預(yù)定義roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性的會(huì)話描述協(xié)議(sdp)提議消息,從而指示遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)示例中,這一個(gè)或多個(gè)處理器還被配置為向遠(yuǎn)程ue發(fā)送與第三代合作伙伴項(xiàng)目(3gpp)預(yù)定義roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性的會(huì)話描述協(xié)議(sdp)應(yīng)答消息,從而確認(rèn)遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)示例中,這一個(gè)或多個(gè)處理器還被配置為從遠(yuǎn)程ue接收與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性的會(huì)話描述協(xié)議(sdp)提議消息,從而指示遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)示例中,這一個(gè)或多個(gè)處理器還被配置為向遠(yuǎn)程ue發(fā)送與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性的會(huì)話描述協(xié)議(sdp)應(yīng)答消息,從而確認(rèn)遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)示例中,從本地ue傳送至遠(yuǎn)程ue的rtcp反饋消息包括限定從一組預(yù)定義roi中選出的預(yù)定義roi的描述符。在一個(gè)示例中,從遠(yuǎn)程ue接收的rtp頭部擴(kuò)展包括定義與經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的預(yù)定義roi的描述符。
在一個(gè)示例中,從遠(yuǎn)程ue接收的rtp頭部擴(kuò)展包括與實(shí)際傳送的預(yù)定義roi相關(guān)聯(lián)的位置和尺寸,該實(shí)際傳送的預(yù)定義roi與來自遠(yuǎn)程ue的經(jīng)編碼的視頻相對(duì)應(yīng)。在一個(gè)示例中,所述位置包括指示在遠(yuǎn)程ue處的視場(chǎng)內(nèi)的實(shí)際傳送的預(yù)定義roi的拐角位置的兩個(gè)位置值,其中這兩個(gè)位置值被歸一化以指示在兩個(gè)維度上的相對(duì)位置。
在一個(gè)示例中,所述尺寸包括指示遠(yuǎn)程ue處的視場(chǎng)內(nèi)的實(shí)際傳送的預(yù)定義roi的尺寸的兩個(gè)尺寸值,其中這兩個(gè)尺寸值被歸一化以指示在兩個(gè)維度上的相對(duì)尺寸。在一個(gè)示例中,這一個(gè)或多個(gè)處理器還被配置為操作支持基于所定義的roi的交互式縮放特征的與遠(yuǎn)程ue的視頻會(huì)議應(yīng)用。
另一示例提供了可操作為執(zhí)行與本地ue的視頻會(huì)議的遠(yuǎn)程用戶設(shè)備(ue)的功能700,如圖7中的流程表中所示。該功能可以被實(shí)現(xiàn)為可以作為機(jī)器上的指令來執(zhí)行的方法或功能,其中這些指令被包括在至少一個(gè)計(jì)算機(jī)可讀介質(zhì)或至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)上。遠(yuǎn)程ue可以具有被配置為向本地ue發(fā)送一組預(yù)定義感興趣區(qū)域(roi)的一個(gè)或多個(gè)處理器,這組預(yù)定義roi在遠(yuǎn)程ue的攝像頭的視場(chǎng)內(nèi),如框710中所示。這一個(gè)或多個(gè)處理器可以被配置為從本地ue接收在本地ue處所選擇的預(yù)定義roi,該預(yù)定義roi通過實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋消息在遠(yuǎn)程ue處被接收,所述rtcp反饋消息指示遠(yuǎn)程ue采集預(yù)定義roi內(nèi)的視頻并且對(duì)預(yù)定義roi內(nèi)的視頻進(jìn)行編碼,如框720中所示。這一個(gè)或多個(gè)處理器可以被配置為生成預(yù)定義roi內(nèi)的經(jīng)編碼的視頻,該經(jīng)編碼的視頻包括預(yù)定義roi內(nèi)的區(qū)域但不包括預(yù)定義roi以外的區(qū)域,該經(jīng)編碼的視頻包括具有增大的縮放級(jí)別且同時(shí)基本保持所定義的質(zhì)量水平的預(yù)定義roi內(nèi)的區(qū)域,如框730中所示。這一個(gè)或多個(gè)處理器可以被配置為向本地ue發(fā)送預(yù)定義roi內(nèi)的經(jīng)編碼的視頻以允許本地ue呈現(xiàn)和顯示經(jīng)編碼的視頻,如框740中所示。
在一個(gè)配置中,第一處理器可以執(zhí)行框710、720和740中的操作。第一處理器的一個(gè)示例是基帶處理器。在一個(gè)配置中,第二處理器可以執(zhí)行框730中的操作。第二處理器可以是單個(gè)處理器,或者,第二處理器可以包括一個(gè)或多個(gè)分開的處理器。
在一個(gè)配置中,這一個(gè)或多個(gè)處理器還被配置為:檢測(cè)遠(yuǎn)程ue處的攝像頭的視場(chǎng)內(nèi)的運(yùn)動(dòng);基于在攝像頭的視場(chǎng)內(nèi)所檢測(cè)到的運(yùn)動(dòng)標(biāo)識(shí)經(jīng)修改的roi;生成修改后的roi內(nèi)的經(jīng)編碼的視頻,該經(jīng)編碼的視頻包括經(jīng)修改的roi內(nèi)的區(qū)域但不包括修改后的roi以外的區(qū)域;并且向本地ue發(fā)送修改后的roi內(nèi)的經(jīng)編碼的視頻以允許本地ue呈現(xiàn)和顯示經(jīng)編碼的視頻。在一個(gè)示例中,使用遠(yuǎn)程ue的固定的非移動(dòng)攝像頭來采集經(jīng)編碼的視頻。
另一示例提供了至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)的功能800,該介質(zhì)中包含有用于操作支持交互式縮放特征的本地用戶設(shè)備(ue)處的視頻會(huì)議應(yīng)用的指令。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue的至少一個(gè)處理器從遠(yuǎn)程ue接收一組預(yù)定義感興趣區(qū)域(roi),這組預(yù)定義roi在遠(yuǎn)程ue的攝像頭的視場(chǎng)內(nèi),如框810中所示。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue的至少一個(gè)處理器從接收自遠(yuǎn)程ue的這組預(yù)定義roi中選擇預(yù)定義roi,如框820中所示。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue的至少一個(gè)處理器通過實(shí)時(shí)傳輸控制協(xié)議(rtcp)反饋消息向遠(yuǎn)程ue傳輸所選擇的預(yù)定義roi,所述rtcp反饋消息指示遠(yuǎn)程ue采集預(yù)定義roi內(nèi)的視頻并對(duì)預(yù)定義roi內(nèi)的視頻進(jìn)行編碼,如框830中所示。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue的至少一個(gè)處理器從遠(yuǎn)程ue接收預(yù)定義roi內(nèi)的經(jīng)編碼的視頻,該經(jīng)編碼的視頻包括預(yù)定義roi內(nèi)的區(qū)域但不包括預(yù)定義roi以外的區(qū)域,該經(jīng)編碼的視頻包括具有增大的縮放級(jí)別且同時(shí)基本保持所定義的質(zhì)量水平的預(yù)定義roi內(nèi)的區(qū)域,如框840中所示。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue通過實(shí)時(shí)傳輸協(xié)議(rtp)頭部擴(kuò)展從遠(yuǎn)程ue接收與來自遠(yuǎn)程ue的經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的roi,所述rtp頭部擴(kuò)展被包括在從遠(yuǎn)程ue接收的包含經(jīng)編碼的視頻的rtp分組中,其中rtp頭部擴(kuò)展包括與實(shí)際傳送的roi相關(guān)聯(lián)的位置和尺寸,實(shí)際傳送的roi與來自遠(yuǎn)程ue的經(jīng)編碼的視頻相對(duì)應(yīng),如框850中所示。這些指令被執(zhí)行時(shí)可以使得本地ue使用本地ue的至少一個(gè)處理器提供預(yù)定義roi內(nèi)的經(jīng)編碼的視頻以在本地ue處呈現(xiàn)和顯示,如框860中所示。
在一個(gè)配置中,至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)還可以包括由本地ue的至少一個(gè)處理器執(zhí)行時(shí)實(shí)現(xiàn)以下操作的指令:從遠(yuǎn)程ue接收修改后的roi內(nèi)的經(jīng)編碼的視頻,其中修改后的roi在遠(yuǎn)程ue處響應(yīng)于在遠(yuǎn)程ue處的攝像頭的視場(chǎng)內(nèi)所檢測(cè)到的運(yùn)動(dòng)而被標(biāo)識(shí)出;并且提供修改后的roi內(nèi)的經(jīng)編碼的視頻以在本地ue處呈現(xiàn)和顯示。
在一個(gè)配置中,至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)還可以包括由本地ue的至少一個(gè)處理器執(zhí)行時(shí)實(shí)現(xiàn)以下操作的指令:從遠(yuǎn)程ue接收會(huì)話描述協(xié)議(sdp)提議消息,該消息包括與第三代合作伙伴項(xiàng)目(3gpp)預(yù)定義roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性或者與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性,從而指示遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)配置中,至少一個(gè)非暫態(tài)機(jī)器可讀存儲(chǔ)介質(zhì)還可以包括由本地ue的至少一個(gè)處理器執(zhí)行時(shí)實(shí)現(xiàn)以下操作的指令:向遠(yuǎn)程ue發(fā)送會(huì)話描述協(xié)議(sdp)應(yīng)答消息,該消息包括與第三代合作伙伴項(xiàng)目(3gpp)預(yù)定義roi參數(shù)相關(guān)聯(lián)的rtcp反饋屬性或者與第三代合作伙伴項(xiàng)目(3gpp)實(shí)際roi參數(shù)相關(guān)聯(lián)的擴(kuò)展地圖屬性,從而確認(rèn)遠(yuǎn)程ue支持基于預(yù)定義roi的視頻采集、基于預(yù)定義roi的視頻編碼和基于預(yù)定義roi的視頻傳送。
在一個(gè)配置中,從本地ue傳送至遠(yuǎn)程ue的rtcp反饋消息包括定義從一組預(yù)定義roi中選出的預(yù)定義roi的描述符。在一個(gè)示例中,從遠(yuǎn)程ue接收的rtp頭部擴(kuò)展包括定義與經(jīng)編碼的視頻相對(duì)應(yīng)的實(shí)際傳送的預(yù)定義roi的描述符。
圖9提供了無線設(shè)備的示例圖示,該無線設(shè)備例如用戶設(shè)備(ue)、移動(dòng)臺(tái)(ms)、移動(dòng)無線設(shè)備、移動(dòng)通信設(shè)備、平板計(jì)算機(jī)、手持式計(jì)算機(jī)或者其它類型的無線設(shè)備。無線設(shè)備可以包括被配置為與節(jié)點(diǎn)或傳送臺(tái)通信的一個(gè)或多個(gè)天線,所述節(jié)點(diǎn)或傳送臺(tái)例如基站(bs)、演進(jìn)的節(jié)點(diǎn)b(enb)、基帶單元(bbu)、遠(yuǎn)程無線電頭部(rrh)、遠(yuǎn)程無線電設(shè)備(rre)、中繼臺(tái)(rs)、無線電設(shè)備(re)、遠(yuǎn)程無線電單元(rru)、中央處理模塊(cpm)或者其它類型的無線廣域網(wǎng)(wwan)接入點(diǎn)。無線設(shè)備可以被配置為使用包括3gpplte、wimax、高速分組接入(hspa)、藍(lán)牙和wifi在內(nèi)的至少一個(gè)無線通信標(biāo)準(zhǔn)。無線設(shè)備可以使用針對(duì)每個(gè)無線通信標(biāo)準(zhǔn)的單獨(dú)的天線或者針對(duì)多個(gè)無線通信標(biāo)準(zhǔn)的共享天線進(jìn)行通信。無線設(shè)備可以在無線局域網(wǎng)(wlan)、無線個(gè)人區(qū)域網(wǎng)(wpan)和/或wwan內(nèi)進(jìn)行通信。
圖9還提供了對(duì)可以被用于無線設(shè)備的音頻輸入和輸出的麥克風(fēng)和一個(gè)或多個(gè)揚(yáng)聲器的圖示。顯示屏可以是液晶顯示(lcd)屏或者諸如有機(jī)發(fā)光二極管(oled)顯示器之類的其它類型的顯示屏。顯示屏可以被配置為觸摸屏。觸摸屏可以是電容性的、電阻性的或者另一類型的觸摸屏技術(shù)。應(yīng)用處理器和圖形處理器可以被耦合到內(nèi)部存儲(chǔ)器以提供處理和顯示能力。非易失性存儲(chǔ)器端口也可以被用于向用戶提供數(shù)據(jù)輸入/輸出選項(xiàng)。非易失性存儲(chǔ)器端口也可以被用于擴(kuò)展無線設(shè)備的存儲(chǔ)器能力。鍵盤可以與無線設(shè)備集成或者無線地連接到無線設(shè)備以提供附加的用戶輸入。也可以使用觸摸屏提供虛擬鍵盤。
各種技術(shù)或者這些技術(shù)的特定方面或部分可以采用用有形介質(zhì)實(shí)現(xiàn)的程序代碼(即指令)的形式,該有形介質(zhì)例如軟盤、緊湊型磁盤-只讀存儲(chǔ)器(cd-rom)、硬盤、非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或者任何其它機(jī)器可讀存儲(chǔ)介質(zhì),其中當(dāng)程序代碼被載入機(jī)器(例如計(jì)算機(jī))中并且被機(jī)器執(zhí)行時(shí),該機(jī)器變?yōu)橛糜趯?shí)現(xiàn)各種技術(shù)的裝置。電路可以包括硬件、固件、程序代碼、可執(zhí)行代碼、計(jì)算機(jī)指令和/或軟件。非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以是不包括信號(hào)的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。在可編程計(jì)算機(jī)上執(zhí)行程序代碼的情況下,計(jì)算設(shè)備可以包括處理器、處理器可讀的存儲(chǔ)介質(zhì)(包括易失性和非易失性存儲(chǔ)器和/或存儲(chǔ)元件)、至少一個(gè)輸入設(shè)備和至少一個(gè)輸出設(shè)備。易失性和非易失性存儲(chǔ)器和/或存儲(chǔ)元件可以是隨機(jī)訪問存儲(chǔ)器(ram)、可擦除式可編程只讀存儲(chǔ)器(eprom)、閃存、光驅(qū)、磁性硬盤、固態(tài)驅(qū)動(dòng)器或者用于存儲(chǔ)電子數(shù)據(jù)的其它介質(zhì)。節(jié)點(diǎn)和無線設(shè)備還可以包括收發(fā)器模塊(即收發(fā)器)、計(jì)數(shù)器模塊(即計(jì)數(shù)器)、處理模塊(即處理器)和/或時(shí)鐘模塊(即時(shí)鐘)或者定時(shí)器模塊(即定時(shí)器)??梢詫?shí)現(xiàn)或利用這里所描述的各種技術(shù)的一個(gè)或多個(gè)程序可以使用應(yīng)用編程接口(api)、可重用控制等。這些程序可以用高級(jí)過程或者面向?qū)ο蟮木幊陶Z言來實(shí)現(xiàn)以與計(jì)算機(jī)系統(tǒng)通信。但是,如果需要,程序可以用匯編或機(jī)器語言來實(shí)現(xiàn)。在任何情況下,該語言可以是編譯后或者解析后的語言,并且可以與硬件實(shí)現(xiàn)方式組合。
如這里所使用的,術(shù)語處理器可以包括通用處理器、諸如vlsi、fpga或者其它類型的專用處理器之類的專用處理器、以及在收發(fā)器中用來發(fā)送、接收和處理無線通信的基帶處理器。
應(yīng)當(dāng)理解本說明書中所描述的很多功能單元被標(biāo)記為模塊,以更具體地強(qiáng)調(diào)它們的實(shí)施獨(dú)立性。例如,模塊可以被實(shí)現(xiàn)為硬件電路,包括定制超大規(guī)模集成(vlsi)電路或門陣列、諸如邏輯芯片之類的現(xiàn)成的半導(dǎo)體、晶體管或者其它離散組件。模塊還可以用可編程硬件設(shè)備來實(shí)現(xiàn),例如現(xiàn)場(chǎng)可編程門陣列、可編程陣列邏輯、可編程邏輯器件等。
在一個(gè)示例中,多個(gè)硬件電路或多個(gè)處理器可以被用于實(shí)現(xiàn)本說明書中所描述的功能單元。例如,第一硬件電路或第一處理器可以被用于執(zhí)行處理操作并且第二硬件電路或第二處理器(例如收發(fā)器或基帶處理器)可以被用于與其它實(shí)體通信。第一硬件電路和第二硬件電路可以被集成到單個(gè)硬件電路中,或者第一硬件電路和第二硬件電路可以是分開的硬件電路。
模塊還可以用軟件來實(shí)現(xiàn)以供各種類型的處理器執(zhí)行。一種被標(biāo)識(shí)的可執(zhí)行代碼的模塊例如可以包括一個(gè)或多個(gè)計(jì)算機(jī)指令的物理或邏輯塊,這些邏輯塊例如可以被組織為對(duì)象、過程或函數(shù)。但是,被標(biāo)識(shí)的模塊的執(zhí)行體不需要物理上被放置在一起,而是可以包括存儲(chǔ)在不同位置處的不同指令,當(dāng)這些指令在邏輯上被聯(lián)合在一起時(shí)構(gòu)成所述模塊并且實(shí)現(xiàn)針對(duì)該模塊的所述目的。
實(shí)際上,可執(zhí)行代碼模塊可以是單個(gè)指令或者很多指令,并且可以均勻地分布在若干個(gè)不同的代碼段、不同的程序和若干個(gè)存儲(chǔ)器設(shè)備上。類似地,可操作數(shù)據(jù)可以在模塊內(nèi)被標(biāo)識(shí)或圖示,并且可以用任何合適的形式來實(shí)現(xiàn)并且被組織在任何合適類型的數(shù)據(jù)結(jié)構(gòu)內(nèi)。操作數(shù)據(jù)可以作為單個(gè)數(shù)據(jù)集來收集,或者可以分布在包括不同存儲(chǔ)設(shè)備的不同位置上,并且可以至少部分僅僅作為系統(tǒng)或網(wǎng)絡(luò)上的電子信號(hào)而存在。模塊可以是被動(dòng)的或主動(dòng)的,包括可操作為執(zhí)行所想要的功能的代理。
在整個(gè)說明書中對(duì)“示例”或“示例性的”引用指結(jié)合該示例所描述的特定特征、結(jié)構(gòu)或特性被包括在本技術(shù)的至少一個(gè)實(shí)施例中。因而,在整個(gè)說明書中的不同地方出現(xiàn)的短語“在示例中”或者詞語“示例性的”不一定都指相同的實(shí)施例。
如這里所使用的,多個(gè)條目、結(jié)構(gòu)元件、組成元件和/或材料可以為了方便而在共用的列表中呈現(xiàn)。但是,這些列表應(yīng)當(dāng)被詮釋為該列表的每個(gè)成員作為單獨(dú)的獨(dú)特成員而分別被標(biāo)識(shí)。因而,這樣的列表中的任一個(gè)成員都不應(yīng)當(dāng)僅僅基于它們出現(xiàn)在共用的組內(nèi)而被詮釋為相同列表的任何其它成員的實(shí)際等同物。此外,本技術(shù)的各個(gè)實(shí)施例和示例在本文中可以與它們的各個(gè)組件的替代物一起被提及。應(yīng)理解這樣的實(shí)施例、示例或替代物不應(yīng)被詮釋為彼此的實(shí)際等同物,而應(yīng)被認(rèn)為是本技術(shù)的單獨(dú)的自主表現(xiàn)方式。
此外,所描述的特征、結(jié)構(gòu)或特性可以在一個(gè)或多個(gè)實(shí)施例中以任何合適的方式進(jìn)行組合。在以下描述中,諸如布局示例、距離、網(wǎng)絡(luò)示例等之類的很多具體細(xì)節(jié)被提供以便于對(duì)本技術(shù)的實(shí)施例的全面理解。但是,相關(guān)領(lǐng)域的技術(shù)人員將意識(shí)到本技術(shù)可以在沒有這些具體細(xì)節(jié)中的一個(gè)或多個(gè)細(xì)節(jié)的情況下或者利用其它方法、組件、布局等來實(shí)現(xiàn)。在其它實(shí)例中,公知的結(jié)構(gòu)、材料或操作沒有被詳細(xì)地顯示或描述以避免模糊本技術(shù)的內(nèi)容。
雖然前面的示例說明了在一個(gè)或多個(gè)特定應(yīng)用中的本技術(shù)的原理,但是本領(lǐng)域普通技術(shù)人員將明白可以在不需要?jiǎng)?chuàng)造性能力并且不脫離本技術(shù)的原理和概念的情況下對(duì)實(shí)現(xiàn)方式的形式、使用和細(xì)節(jié)做出很多修改。因此,除了受所附權(quán)利要求的限制以外,不希望本技術(shù)受到限制。