欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

用于在可分級(jí)視頻編碼中信令并執(zhí)行時(shí)間級(jí)切換的系統(tǒng)和方法與流程

文檔序號(hào):12005087閱讀:428來(lái)源:國(guó)知局
用于在可分級(jí)視頻編碼中信令并執(zhí)行時(shí)間級(jí)切換的系統(tǒng)和方法與流程
用于在可分級(jí)視頻編碼中信令并執(zhí)行時(shí)間級(jí)切換的系統(tǒng)和方法相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求2006年10月16日提交的美國(guó)臨時(shí)專利申請(qǐng)S/N.60/829,609的優(yōu)先權(quán)。此外,本申請(qǐng)與國(guó)際專利申請(qǐng)No.PCT/US06/028365、PCT/US06/028366、PCT/US06/061815、PCT/US06/62569、PCT/US07/80089、PCT/US07/062357、PCT/US07/65554、PCT/US07/065003、PCT/US06/028367、以及PCT/US07/63335相關(guān)。共同轉(zhuǎn)讓的所有這些上述申請(qǐng)的全部?jī)?nèi)容通過(guò)引用結(jié)合在本文中。發(fā)明領(lǐng)域本發(fā)明涉及視頻通信系統(tǒng)。具體而言,本發(fā)明涉及使用時(shí)間可分級(jí)視頻編碼、而且其中接收器或中間網(wǎng)關(guān)從一個(gè)時(shí)間級(jí)切換至更高或更低的級(jí)以滿足幀速率、比特率、處理能力、或其它系統(tǒng)需求的通信系統(tǒng)。發(fā)明背景旨在一般地改善編碼效率的新的數(shù)字視頻和音頻“可分級(jí)”編碼技術(shù)具有多種新的結(jié)構(gòu)特征(例如可分級(jí)性)。在可分級(jí)編碼中,原始或源信號(hào)使用兩個(gè)或更多個(gè)分層結(jié)構(gòu)化的比特流來(lái)表示。分層結(jié)構(gòu)意味著給定比特流的解碼取決于在該分層結(jié)構(gòu)中更低層的部分或全部其它比特流的可用性。每一比特流及其所依賴的比特流提供了原始信號(hào)在特定時(shí)間、保真度(即,在信噪比即SNR方面)、或空間分辨率(對(duì)視頻而言)下的表示。應(yīng)當(dāng)理解的是,術(shù)語(yǔ)“可分級(jí)”不是指在數(shù)量量值或等級(jí),而是指編碼技術(shù)提供一組不同的比特流的能力,這些不同的比特流對(duì)應(yīng)于原始或源信號(hào)的在不同“等級(jí)”的分辨率或其它信號(hào)質(zhì)量下的有效表示。被稱為可分級(jí)視頻編碼(SVC)的ITU-TH.264附錄G規(guī)范是在時(shí)間、空間、或保真度維度三者中提供視頻編碼可分級(jí)性的視頻編碼標(biāo)準(zhǔn)的示例。SVC是H.264標(biāo)準(zhǔn)(也稱為高級(jí)視頻編碼即AVC)的擴(kuò)展。也提供所有這三種類型的可分級(jí)性的較早標(biāo)準(zhǔn)的示例是ISOMPEG-2(還公布為ITU-TH.262)。ITUG.729.1(也稱為G.729EV)是提供可分級(jí)音頻編碼的標(biāo)準(zhǔn)的示例。將可分級(jí)性的概念引入視頻和音頻編碼作為對(duì)流傳送和廣播中的分發(fā)問(wèn)題的解決方案,且為了使給定的通信系統(tǒng)在不同的接入網(wǎng)絡(luò)(例如以不同的帶寬連接的客戶機(jī))的情況下、在不同的網(wǎng)絡(luò)狀況(例如帶寬波動(dòng))的情況下、以及在各種客戶機(jī)設(shè)備(例如使用大監(jiān)視器的個(gè)人計(jì)算機(jī)相對(duì)于具有小得多的屏幕的手持設(shè)備)的情況下工作。在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365中描述了專門(mén)為諸如視頻會(huì)議之類的交互式視頻通信應(yīng)用設(shè)計(jì)的可分級(jí)視頻編碼技術(shù)。而且,共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028365描述了被稱為可分級(jí)視頻通信服務(wù)器(SVCS)的新型服務(wù)器的設(shè)計(jì)。SVCS能有利地將可分級(jí)編碼的視頻用于高質(zhì)量和低延遲的視頻通信,且相比于傳統(tǒng)切換或轉(zhuǎn)碼多點(diǎn)控制單元(MCU)具有顯著降低的復(fù)雜性。同樣,共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/62569描述了一種復(fù)合可分級(jí)視頻編碼服務(wù)器(CSVCS),其具有與SVCS相同的優(yōu)點(diǎn)但產(chǎn)生單個(gè)已編碼輸出比特流。此外,國(guó)際專利申請(qǐng)PCT/US07/80089描述了一種多播可分級(jí)視頻編碼服務(wù)器(MSVCS),其具有與SVCS相同的優(yōu)點(diǎn)但利用可用的多播通信信道。可分級(jí)視頻編碼設(shè)計(jì)和SVCS/CSVCS架構(gòu)可按照更有利的方法來(lái)使用,例如在共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US06/028367、PCT/US06/027368、PCT/US06/061815、PCT/US07/62357、以及PCT/US07/63335中描述了這些方法。這些申請(qǐng)分別描述了將可分級(jí)編碼技術(shù)和SVCS/CVCS架構(gòu)用于服務(wù)器之間的有效中繼(trunking)、減少抖動(dòng)緩沖延遲、差錯(cuò)復(fù)原和隨機(jī)訪問(wèn)、用來(lái)提高編碼效率且減小分組丟失的可分級(jí)視頻比特流的“細(xì)化(thinning)”、以及碼率控制。另外,共同轉(zhuǎn)讓的國(guó)際專利申請(qǐng)PCT/US07/65554描述了用于在可分級(jí)視頻編碼格式和其它格式之間轉(zhuǎn)碼的技術(shù)?,F(xiàn)在考慮的是進(jìn)一步改進(jìn)利用可分級(jí)視頻編碼的視頻通信系統(tǒng)。在這樣的系統(tǒng)中,源可以是編碼并在通信網(wǎng)絡(luò)上發(fā)送實(shí)時(shí)視頻的發(fā)送端點(diǎn)、發(fā)送預(yù)編碼視頻的流傳送服務(wù)器、或提供對(duì)存儲(chǔ)在大容量存儲(chǔ)器或其它存取設(shè)備的訪問(wèn)的軟件模塊。同樣,接收器可以是通過(guò)通信網(wǎng)絡(luò)、或直接從大容量存儲(chǔ)器或其它存取設(shè)備獲得已編碼視頻或音頻比特流的接收端點(diǎn)。該系統(tǒng)中的中間處理實(shí)體可以是SVCS或CSVCS。人們開(kāi)始關(guān)注改進(jìn)通過(guò)接收器和中間處理實(shí)體在時(shí)間級(jí)之間切換的效率。發(fā)明概述提供了可用于在可分級(jí)視頻通信系統(tǒng)中進(jìn)行信令和時(shí)間級(jí)切換的系統(tǒng)和方法。這些系統(tǒng)和方法涉及信令選擇信息,這使更低級(jí)和更高級(jí)的時(shí)間級(jí)切換能在任意圖片位置處進(jìn)行。該信息在下層視頻編解碼器的時(shí)間預(yù)測(cè)結(jié)構(gòu)中作為特定限制傳達(dá)。該信息可在中間處理系統(tǒng)以及接收器中使用以適應(yīng)不同的系統(tǒng)資源(例如幀速率、比特率、處理能力)。附圖簡(jiǎn)述圖1是根據(jù)本發(fā)明原理的通信系統(tǒng)的示例性架構(gòu)的示意性圖解;圖2a-2c是根據(jù)本發(fā)明原理的無(wú)嵌套的時(shí)間層預(yù)測(cè)結(jié)構(gòu)的示例的示意性圖解;圖3是根據(jù)本發(fā)明原理的嵌套時(shí)間層預(yù)測(cè)結(jié)構(gòu)的示例的示意性圖解;圖4是根據(jù)本發(fā)明原理的用于SVC的序列參數(shù)集中的時(shí)間級(jí)嵌套的示例性句法修改的圖解;圖5是根據(jù)本發(fā)明原理的用于SVC的可分級(jí)性信息SEI消息中的時(shí)間級(jí)嵌套的示例性句法修改的圖解;圖6是根據(jù)本發(fā)明原理的處理單元(編碼器/服務(wù)器、網(wǎng)關(guān)、或接收器)的示例性架構(gòu)的示意性圖解;圖7是示出根據(jù)本發(fā)明原理的NAL濾波單元的示例性操作的流程圖。除非另外指明,否則全部附圖中的相同附圖標(biāo)記和字符用來(lái)表示所示實(shí)施例的相同特征、元素、組件、或部分。而且,當(dāng)現(xiàn)在將參考附圖具體描述本發(fā)明時(shí),這一描述是結(jié)合說(shuō)明性實(shí)施例來(lái)完成的。本發(fā)明的詳細(xì)描述提供了用于在使用可分級(jí)編碼的通信系統(tǒng)中“切換”信號(hào)的系統(tǒng)和方法。切換系統(tǒng)和方法是針對(duì)具有時(shí)間可分級(jí)性的通信系統(tǒng)設(shè)計(jì)的。圖1示出使用可分級(jí)編碼的通信系統(tǒng)100的示例性架構(gòu)。通信系統(tǒng)100包括媒體服務(wù)器或編碼器110(例如流傳送服務(wù)器或發(fā)送端點(diǎn)),其在網(wǎng)絡(luò)130上通過(guò)媒體網(wǎng)關(guān)140與客戶機(jī)/接收器120傳送視頻和/或音頻信號(hào)。在此利用通信系統(tǒng)100作為示例描述本發(fā)明的“切換”系統(tǒng)和方法。為簡(jiǎn)潔起見(jiàn),此處的描述限于通信系統(tǒng)100的視頻部分。然而,應(yīng)當(dāng)理解,切換系統(tǒng)和方法還可用于可分級(jí)音頻部分,并理解空間可分級(jí)性維度不能被提供給音頻信號(hào),但多通道編碼還可在音頻信號(hào)編碼中使用。此外,此處描述的這些系統(tǒng)和方法還可用于以可分級(jí)方式編碼的其它多媒體數(shù)據(jù)(例如圖形)。在通信系統(tǒng)100的優(yōu)選實(shí)施例中,使用H.264SVC編碼格式(‘SVC’)來(lái)進(jìn)行視頻通信。(參見(jiàn)例如SVCJD7規(guī)范,T.Wiegand、G.Sullivan、J.Reichel、H.Schwarz、M.Wien編輯的“聯(lián)合草案7:可分級(jí)視頻編碼(JointDraft7:ScalableVideoCoding)”,聯(lián)合視頻小組,案卷JVT-T201,克拉根福,2006年7月,其全部?jī)?nèi)容通過(guò)引用結(jié)合于本文中)。SVC是H.264AVC視頻編碼標(biāo)準(zhǔn)的可分級(jí)視頻編碼擴(kuò)展(附錄G)。SVC流的基層通過(guò)設(shè)計(jì)與AVC規(guī)范兼容。經(jīng)SVC編碼的比特流可被結(jié)構(gòu)化成數(shù)個(gè)分量或?qū)?。基層提供在某一基本保真維度或水平下的源信號(hào)表示。附加層(增強(qiáng)層)提供在高于基本保真維度的另外的可分級(jí)維度下的改善的信號(hào)表示的信息。SVC在創(chuàng)建具有數(shù)個(gè)維度——即空間、時(shí)間、以及保真度或質(zhì)量維度——中的可分級(jí)性的比特流結(jié)構(gòu)中提供相當(dāng)大的靈活性。應(yīng)當(dāng)注意的是,AVC標(biāo)準(zhǔn)通過(guò)其使用參考圖片列表和相關(guān)聯(lián)的參考圖片列表重排序命令已經(jīng)支持時(shí)間可分級(jí)性。還應(yīng)注意的是,已編碼比特流的層通常形成為金字塔結(jié)構(gòu),在該結(jié)構(gòu)中層的解碼需要一個(gè)或更多個(gè)更低層的存在。通常,基層對(duì)于解碼金字塔結(jié)構(gòu)中的任一增強(qiáng)層都是必需的。然而,不是所有可分級(jí)編碼技術(shù)都具有多個(gè)層的金字塔結(jié)構(gòu)。例如,當(dāng)可分級(jí)性通過(guò)多個(gè)描述編碼或同播(simulcasting)提供時(shí),部分或全部層的獨(dú)立解碼也是可能的。尤其對(duì)SVC而言,通過(guò)將編碼器中的所有層間預(yù)測(cè)模式關(guān)閉有可能有效地實(shí)現(xiàn)同播。此處描述的切換系統(tǒng)和方法適用于所有可分級(jí)格式,既包括金字塔結(jié)構(gòu)又包括非金字塔結(jié)構(gòu)。可分級(jí)性具有用于解決諸如異類網(wǎng)絡(luò)和/或客戶機(jī)、時(shí)變網(wǎng)絡(luò)性能、盡力網(wǎng)絡(luò)遞送等等之類的數(shù)個(gè)系統(tǒng)級(jí)挑戰(zhàn)的特征。然而,為了能夠有效利用可分級(jí)性特征,需要使它們可被除視頻編碼器和解碼器之外的系統(tǒng)組件訪問(wèn)。如上所述,本發(fā)明的切換系統(tǒng)和方法涉及具有時(shí)間可分級(jí)性的通信系統(tǒng)(例如系統(tǒng)100)。應(yīng)當(dāng)注意的是,在系統(tǒng)100中使用媒體網(wǎng)關(guān)140是可任選的。當(dāng)使用直接媒體服務(wù)器到客戶機(jī)連接代替媒體網(wǎng)關(guān)140時(shí),或者當(dāng)媒體服務(wù)器被大容量存儲(chǔ)器或其它存取設(shè)備上的用戶可直接訪問(wèn)的文件代替時(shí),本發(fā)明的切換系統(tǒng)和方法也可直接或間接地(例如通過(guò)通信網(wǎng)絡(luò)的文件訪問(wèn))應(yīng)用。還應(yīng)注意的是,當(dāng)從媒體服務(wù)器或編碼器到接收器的路徑中存在多于一個(gè)媒體網(wǎng)關(guān)140時(shí),本發(fā)明的系統(tǒng)和方法保持不變。重新參考圖1,考慮簡(jiǎn)單的工作情形,其中媒體服務(wù)器/解碼器110(例如流傳送服務(wù)器或編碼器、發(fā)送端點(diǎn)編碼器)通過(guò)媒體網(wǎng)關(guān)140向客戶機(jī)/接收器120傳送可分級(jí)媒體。此簡(jiǎn)單的情形需要在媒體服務(wù)器和客戶機(jī)之間建立用于發(fā)送協(xié)定層集合的連接,該協(xié)定層集合例如可以是用遠(yuǎn)程傳輸協(xié)議(RTP)封裝的SVC網(wǎng)絡(luò)自適應(yīng)層(NAL)單元。此外,媒體網(wǎng)關(guān)140必須被指示、或必須自己決策如何最好地在運(yùn)行上利用傳入的分組(例如所發(fā)送的RTP封裝的SVCNAL單元)。在其中媒體網(wǎng)關(guān)140具有SVCS/CSVCS架構(gòu)的情況下,此工作決策對(duì)應(yīng)于哪些分組要丟棄以及哪個(gè)要轉(zhuǎn)發(fā)的決策。此外,為了正確的解碼操作,客戶機(jī)/接收器120必須知道或能夠推導(dǎo)哪個(gè)層集合應(yīng)該通過(guò)媒體網(wǎng)關(guān)140接收。為了實(shí)現(xiàn)這些操作,系統(tǒng)100必須向各個(gè)系統(tǒng)組件呈現(xiàn)以及傳送所發(fā)送的比特流的可分級(jí)結(jié)構(gòu)。作為說(shuō)明性示例,考慮具有兩個(gè)時(shí)間分辨率15和30幀/秒(fps)、以及兩個(gè)空間分辨率QCIF以及CIF的視頻信號(hào)。因而,該視頻信號(hào)具有四層可分級(jí)結(jié)構(gòu):包含15fps的QCIF信號(hào)的層L0;包含針對(duì)30fps的QCIF信號(hào)增強(qiáng)的層L1;包含針對(duì)15fps的CIF信號(hào)增強(qiáng)的層S0;以及包含針對(duì)30fps的CIF信號(hào)增強(qiáng)的層S1。在四層可分級(jí)結(jié)構(gòu)中的編碼相關(guān)性例如可以是L0為基層、L1取決于L0、S0取決于L0、以及S1既取決于L1又取決于S0。系統(tǒng)100必須向系統(tǒng)組件描述此四層結(jié)構(gòu),以使它們能正確地處理該視頻信號(hào)。補(bǔ)充增強(qiáng)信息(SEI)消息是包含在SVC比特流中的數(shù)據(jù)結(jié)構(gòu),其提供關(guān)于已編碼視頻信號(hào)的輔助信息但對(duì)于解碼過(guò)程的操作不是必需的。SVC提供用于通過(guò)它的“可分級(jí)性信息”SEI消息(SSEI)描述經(jīng)SVC編碼的視頻比特流的可分級(jí)結(jié)構(gòu)的機(jī)制。SVCJD7規(guī)范的章節(jié)G.10.1.1中的SSEI被設(shè)計(jì)成允許容量協(xié)商(例如在連接建立期間)、流自適應(yīng)(通過(guò)視頻服務(wù)器或中間媒體網(wǎng)關(guān))、以及低復(fù)雜性處理(例如沒(méi)有基于詳細(xì)比特流解析的推論)。在SVCJD7規(guī)范的章節(jié)G.10.1.1中定義的SSEI包括有關(guān)各個(gè)層的描述性信息(例如幀速率、概況信息)、以及重要的編碼依賴性信息(即給定層依賴于哪些其它層來(lái)正確解碼)。各個(gè)層在比特流的范圍內(nèi)通過(guò)唯一的“層id”標(biāo)識(shí)。特定層的編碼依賴性信息通過(guò)對(duì)直接依賴層的數(shù)量(num_directly_dependent_layers)以及差值數(shù)列(directly_dependent_layer_id_delta)編碼來(lái)傳送,這些值在被添加到特定層的層id時(shí)標(biāo)識(shí)該特定層所依賴用于解碼的層的層id。此外,在章節(jié)G.10.1.2中定義的“可分級(jí)性信息層不存在”SEI消息(SSEI-LNP)、和在章節(jié)G.10.1.3中定義的“可分級(jí)性信息依賴性改變”SEI消息(SSEI-DC)分別提供所發(fā)送的比特流中動(dòng)態(tài)改變的帶內(nèi)或帶外信令。前者表示與初始SSEI相比,哪些層從其接收的時(shí)刻起在比特流中不存在,而后者表示比特流中的層間預(yù)測(cè)依賴性改變。國(guó)際專利申請(qǐng)No.PCT/US07/065003描述了這些以及用于管理可分級(jí)性信息的附加系統(tǒng)和方法。一般而言,SSEI、SSEI-LNP、以及SSEI-DC消息的設(shè)計(jì)使得在組合使用時(shí),這些消息允許中間網(wǎng)關(guān)或接收器被持續(xù)告知有關(guān)從服務(wù)器/編碼器或網(wǎng)關(guān)發(fā)送的比特流的總體結(jié)構(gòu),并執(zhí)行正確的自適應(yīng)功能。然而,在設(shè)計(jì)中存在重要的限制,這些限制對(duì)可在實(shí)時(shí)通信系統(tǒng)中使用的不同的可能編碼結(jié)構(gòu)的緊密檢查之后會(huì)變得顯而易見(jiàn)。例如,SVCJD7草案允許時(shí)間結(jié)構(gòu),但該時(shí)間結(jié)構(gòu)與分層建立的金字塔結(jié)構(gòu)相矛盾,且在實(shí)際應(yīng)用中會(huì)有問(wèn)題。具體地,SVCJD7施加在時(shí)間級(jí)上的僅有限制如下:“具有等于currT1的時(shí)間級(jí)(temporal_level)的任意訪問(wèn)單元的解碼應(yīng)當(dāng)與具有大于currT1的時(shí)間級(jí)的所有訪問(wèn)單元無(wú)關(guān)。”(參見(jiàn)G.7.4.1,NAL單元SVC首部擴(kuò)展語(yǔ)義,第405頁(yè))。此限制確保給定的時(shí)間級(jí)可在不訪問(wèn)來(lái)自更高時(shí)間級(jí)的信息的情況下被解碼。然而,它沒(méi)有解決在特定時(shí)間級(jí)內(nèi)以及相同與更低時(shí)間級(jí)之間存在的任意依賴性。SVCJD7限制確保從較高時(shí)間級(jí)向較低時(shí)間級(jí)的轉(zhuǎn)換可通過(guò)僅僅丟棄具有較高時(shí)間級(jí)的所有訪問(wèn)單元而立即實(shí)現(xiàn)。其逆操作,即從較低時(shí)間級(jí)向較高時(shí)間級(jí)的切換或轉(zhuǎn)換具有依賴性問(wèn)題。該問(wèn)題可參考圖2a和2b理解,圖2a和2b示出示例性時(shí)間層圖片預(yù)測(cè)結(jié)構(gòu)。圖2a示出具有兩個(gè)時(shí)間層即層0和層1的“時(shí)間非嵌套”結(jié)構(gòu)200a。第二層(層1)被形成為源于第一幀(層0)的完全獨(dú)立的“線程”。因?yàn)閷?的解碼不依賴于層1,所以這是依據(jù)SVCJD7草案的SVC的有效結(jié)構(gòu)。用此結(jié)構(gòu)從較低時(shí)間級(jí)向較高時(shí)間級(jí)的轉(zhuǎn)換問(wèn)題對(duì)于僅接收層0(在幀0、2、4處等等)的接收器而言是顯而易見(jiàn)的。接收器不能隨意添加層1,因?yàn)閺膶?到層1的依賴性的時(shí)間范圍跨越層0的多個(gè)幀。例如,如果接收器希望在幀2處添加層1,則它不能通過(guò)在下一幀(幀3)處開(kāi)始解碼操作(針對(duì)幀1)而實(shí)現(xiàn)此目的,因?yàn)檫@樣的解碼操作既需要幀0又需要幀1,而后者還未接收。圖2b示出類似的具有略微更復(fù)雜的層0和1的編碼結(jié)構(gòu)的時(shí)間非嵌套結(jié)構(gòu)200b。接收器/解碼器不能在幀2處切換至層1,因?yàn)閹?是從幀1預(yù)測(cè)的。圖2a和2b示出利用結(jié)構(gòu)200和202b從較低時(shí)間級(jí)向較高時(shí)間級(jí)轉(zhuǎn)換的問(wèn)題,為簡(jiǎn)單起見(jiàn)這些結(jié)構(gòu)各自僅具有兩層。應(yīng)當(dāng)理解該問(wèn)題會(huì)在任意數(shù)量的時(shí)間層的情況下存在。圖2c示出具有三個(gè)時(shí)間層即層0-2的示例性結(jié)構(gòu)200c。結(jié)構(gòu)200c呈現(xiàn)出由于層依賴性的時(shí)間范圍導(dǎo)致的類似的轉(zhuǎn)換問(wèn)題。應(yīng)當(dāng)注意的是,時(shí)間非嵌套層結(jié)構(gòu)200a-200c滿足了G.7.4.1的要求,但是時(shí)間可分級(jí)特征的使用嚴(yán)重受限制。反之,圖3示出“時(shí)間嵌套的”層結(jié)構(gòu)300,其滿足G.7.4.1的要求而且允許從任意層到另一層的時(shí)間切換。如圖所示,在結(jié)構(gòu)300中沒(méi)有時(shí)間嵌套的實(shí)例:對(duì)層N的任意幀i而言,在幀i和解碼次序中其任一參考圖片之間不存在時(shí)間級(jí)M<N的幀。等價(jià)地,當(dāng)解碼次序中的隨后參考圖片具有較低時(shí)間級(jí)值時(shí),沒(méi)有參考圖片用于層間預(yù)測(cè)。此條件確保附加時(shí)間層可在層N的任一幀之后立即添加到層N。在編碼器/服務(wù)器、中間網(wǎng)關(guān)、或接收器處容易地添加或去除時(shí)間級(jí)的能力在實(shí)時(shí)、低延遲通信中是十分重要的,因?yàn)閹俾适侵苯涌捎糜诒忍亓骱湾e(cuò)誤控制的參數(shù)之一。應(yīng)當(dāng)注意的是在國(guó)際專利申請(qǐng)No.PCT/US06/28365、PCT/US06/028366、PCT/US06/061815、以及PCT/US07/63335中描述的示例性時(shí)間預(yù)測(cè)結(jié)構(gòu)均是嵌套的。雖然編碼依賴性信息在SSEI(以及SSEI-DC)中被明確地編碼,但它沒(méi)有記錄依賴性的時(shí)間范圍。例如,結(jié)構(gòu)200c和300具有相同的SSEI消息。本發(fā)明的系統(tǒng)和方法在已編碼比特流中包括明確的信息,該信息(a)指示時(shí)間級(jí)的依賴性的時(shí)間范圍,以及(b)提供實(shí)施特定應(yīng)用域和概況的嵌套操作的能力。在本發(fā)明的一個(gè)實(shí)施例中,該信息包括一位標(biāo)記,稱作“時(shí)間級(jí)嵌套標(biāo)記(temporal_level_nesting_flag)”,其置于SVC的序列參數(shù)集中。圖4示出根據(jù)本發(fā)明原理的JD7文本(章節(jié)G.7.3.2,序列參數(shù)集SVC句法)的相關(guān)章節(jié)的經(jīng)修改句法400。所添加的標(biāo)記(時(shí)間級(jí)嵌套標(biāo)記)是該句法結(jié)構(gòu)中的第一個(gè)。時(shí)間級(jí)嵌套標(biāo)記的語(yǔ)義(置于JD7文本中的G.7.4.2、即序列參數(shù)集SVC擴(kuò)展語(yǔ)義)定義成使:值0表示如果解碼順序中的隨后參考圖片具有較低的時(shí)間級(jí)值,則參考圖片不應(yīng)當(dāng)用于層間預(yù)測(cè);而值1表示沒(méi)有設(shè)置這樣的限制。在不會(huì)改變對(duì)比特流的結(jié)構(gòu)施加的限制的情況下,語(yǔ)義的替代定義也是可能的。在本發(fā)明的第二實(shí)施例中,相同的時(shí)間級(jí)嵌套標(biāo)記被置于SSEI(SVCJD7,章節(jié)G.10.1.1)中,其具有另外的好處,即屬于特定SVC比特流的所有可分級(jí)性信息存在于單個(gè)句法結(jié)構(gòu)中。圖5示出針對(duì)這種情況的經(jīng)修改句法500。經(jīng)修改句法500的語(yǔ)義與可應(yīng)用于句法400的語(yǔ)義相同。不論時(shí)間級(jí)嵌套標(biāo)記是存在于SSEI還是存在于序列參數(shù)集中,媒體服務(wù)器或編碼器、媒體網(wǎng)關(guān)、或接收器/解碼器使用時(shí)間級(jí)嵌套標(biāo)記涉及相同的操作。因?yàn)樵摬僮鲗?duì)所有設(shè)備而言在兩種情況下都相同,所以為簡(jiǎn)便起見(jiàn),所有三類不同的設(shè)備在本文中被統(tǒng)稱為“處理單元”。圖6示出示例性處理單元600的架構(gòu),其涉及NAL濾波。處理單元600在各個(gè)輸入處接受SVCNAL單元,并在其輸出處產(chǎn)生部分或全部輸入NAL單元的拷貝。將哪個(gè)NAL單元轉(zhuǎn)發(fā)至輸出的決策在NAL濾波單元610處完成。在優(yōu)選的架構(gòu)中,NAL濾波單元610由可存儲(chǔ)在RAM中的NAL濾波器配置(NFC)表620控制。NFC620是三維表,其中三個(gè)維度T、D、以及Q對(duì)應(yīng)于NAL的時(shí)間級(jí)(temporal_level)、依賴性id(dependency_id)、以及質(zhì)量id(quality_id)。在圖6中,表值在通過(guò)(PASS)列中示出。具有特定T、D、以及Q值的表?xiàng)l目中的值1表示NAL濾波單元610應(yīng)當(dāng)轉(zhuǎn)發(fā)在其SVC首部中具有相同T、D、以及Q值的輸入NAL單元。反之,值0表示它不應(yīng)當(dāng)轉(zhuǎn)發(fā)特定輸入NAL單元。因此,根據(jù)圖6中所示的NFC620,基層(T=0、D=0、Q=0)允許轉(zhuǎn)發(fā)至輸出,但較高的時(shí)間層(T=1)不允許轉(zhuǎn)發(fā)至輸出。在準(zhǔn)備期間,處理單元600通過(guò)在帶內(nèi)(從SVC比特流)信令或其它手段獲得SSEI。SSEI被存儲(chǔ)在RAM640中以用于后來(lái)的操作。在獲得SSEI之后,NFC620可獲得它的初始配置。例如,初始配置可以使所有NAL單元被傳遞至輸出(未應(yīng)用濾波)。這取決于特定應(yīng)用。處理單元600還對(duì)存儲(chǔ)當(dāng)前操作時(shí)間級(jí)的TL存儲(chǔ)器630設(shè)置初始值。如圖6所示,處理單元600還配備有附加輸入,即時(shí)間級(jí)切換觸發(fā)器650。此輸入向NAL濾波單元610提供有關(guān)系統(tǒng)操作的所需時(shí)間級(jí)的信息。例如,時(shí)間級(jí)切換觸發(fā)器650信號(hào)可具有正整數(shù)值、零、或負(fù)整數(shù)值,這些值分別表示在當(dāng)前圖片之后時(shí)間級(jí)應(yīng)當(dāng)增大所指示的量、保持不變、或減小所指示的量。當(dāng)NAL濾波單元610在特定圖片處檢測(cè)到時(shí)間級(jí)切換觸發(fā)信號(hào)的負(fù)值時(shí),它將此值與TL存儲(chǔ)器630中所存儲(chǔ)的當(dāng)前操作時(shí)間級(jí)值相加,并重新配置NFC表620以反映所需的新的操作時(shí)間級(jí)。如果相加產(chǎn)生負(fù)值,則值0被存儲(chǔ)在TL存儲(chǔ)器630中。當(dāng)NAL濾波單元610在特定圖片處檢測(cè)到正時(shí)間級(jí)切換觸發(fā)器信號(hào)時(shí),它首先檢查時(shí)間級(jí)嵌套標(biāo)記的值。如果該值是0,則在缺少另外的應(yīng)用程序?qū)S眯畔⒌那闆r下,NAL濾波單元610不能決定它是否能切換至所需的較高時(shí)間級(jí),并且不采取行動(dòng)。如果時(shí)間級(jí)嵌套標(biāo)記的值是1,則時(shí)間級(jí)切換觸發(fā)器信號(hào)被添加到TL存儲(chǔ)器,而且NFC表被重新配置以反映所需的新操作級(jí)。如果TL存儲(chǔ)器的新值大于比特流中所存在的最大時(shí)間級(jí)值,如在SSEI中反映的一樣,則TL被設(shè)置成該最大時(shí)間級(jí)值。應(yīng)當(dāng)注意的是,通過(guò)解析在SSEI中包含的所有層信息并存儲(chǔ)時(shí)間級(jí)[i]句法元素的最大值,可從SSEI獲得最大時(shí)間級(jí)值。圖7示出NAL濾波單元610的操作的流程圖700。在流程圖700中,圖例“觸發(fā)器”指圖6的時(shí)間級(jí)切換觸發(fā)器650信號(hào)的值,而“TL_MAX”指從SSEI獲得的最大時(shí)間級(jí)值。函數(shù)NFC(T,D,Q)返回針對(duì)T、D、以及Q值的特定組合的NFC620的值。應(yīng)當(dāng)注意的是,在其中所有組件有意地一起設(shè)計(jì)的系統(tǒng)中,有可能作出有關(guān)比特流結(jié)構(gòu)的先驗(yàn)設(shè)想。在這些情況下,如果T、D以及Q值滿足特定標(biāo)準(zhǔn),則時(shí)間級(jí)向上切換也是可能的。NAL濾波單元610可被配置成當(dāng)嘗試執(zhí)行時(shí)間級(jí)向上切換時(shí)納入這樣的標(biāo)準(zhǔn),且選擇在后來(lái)的圖片上執(zhí)行時(shí)間級(jí)向上切換,其中假定應(yīng)用程序?qū)S脳l件將被滿足。雖然相信已經(jīng)描述的內(nèi)容是本發(fā)明的優(yōu)選實(shí)施例,但本領(lǐng)域普通技術(shù)人員將認(rèn)識(shí)到可作出其它和進(jìn)一步的改變和修改而不背離本發(fā)明的精神,而且目的是要求保護(hù)如落入本發(fā)明真實(shí)范圍內(nèi)的所有這些變化和修改。應(yīng)當(dāng)理解的是,根據(jù)本發(fā)明,本文中所描述的技術(shù)可利用硬件和軟件的任意合適組合來(lái)實(shí)現(xiàn)。用于實(shí)現(xiàn)和操作上述碼率估計(jì)和控制技術(shù)的軟件(即指令)可在計(jì)算機(jī)可讀介質(zhì)上提供,這些計(jì)算機(jī)可讀介質(zhì)可包括但不限于,固件、存儲(chǔ)器、存儲(chǔ)設(shè)備、微控制器、微處理器、集成電路、ASIC、可在線下載的介質(zhì)、以及其它可用介質(zhì)。
當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
措勤县| 闽侯县| 红桥区| 西青区| 西丰县| 永春县| 平遥县| 宜兰市| 金坛市| 安吉县| 汉源县| 邮箱| 瑞安市| 贺州市| 玉龙| 汾西县| 永修县| 河曲县| 陇川县| 黔南| 宝鸡市| 东光县| 凤山县| 班玛县| 乐陵市| 甘德县| 彭阳县| 府谷县| 乡宁县| 阳泉市| 辛集市| 镇安县| 宝兴县| 江都市| 凤阳县| 和平区| 庄浪县| 山丹县| 四会市| 禹城市| 锡林郭勒盟|