專利名稱：一種感興趣區(qū)優(yōu)先傳輸?shù)目缮炜s視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻流媒體傳輸技術(shù)，特別是可伸縮視頻流媒體的感興趣區(qū) 域優(yōu)先傳輸。(二) 背景技術(shù)在無線瑞利信道上，利用一種低復(fù)雜度的基于塊分割的前景提取技術(shù)，將更 多的比特分配給前景區(qū)域，可以有效控制低速率雙向視頻傳輸中的誤碼問題。在 多點(diǎn)的視頻會(huì)議系統(tǒng)中，利用對(duì)感興趣區(qū)域轉(zhuǎn)碼的方法，將各會(huì)議分會(huì)場(chǎng)的已編 碼的多路視頻流中根據(jù)各個(gè)分屏中的運(yùn)動(dòng)特性識(shí)別出處于活動(dòng)狀態(tài)的與會(huì)者，動(dòng) 態(tài)的減小處于非活動(dòng)狀態(tài)中的與會(huì)者的分屏的幀率，可將節(jié)省下來的碼率分配給 正處于活動(dòng)狀態(tài)中的與會(huì)者的分屏中，提高了視頻的質(zhì)量。此外，將感興趣區(qū)域與非感興趣區(qū)域進(jìn)行分割編碼的研究也取得了很多研究 成果。文獻(xiàn)[M M Hannuksela, Y K Wang ,M Gabbouj, Sub-picture : ROI coding and unequal error protection, IEEE 2002 International Conference on Image Processing (ICIP'2002) Rochester, New York, USA, Sept 2002， 537-540]中，將感興趣區(qū)域分割 為子圖像進(jìn)行獨(dú)立編碼，并且提出了一種漸變的碼率分配方案并結(jié)合非等重保護(hù) 措施，但是沒有給出子圖像的分割依據(jù)、原理和方法。在視頻電話和視頻會(huì)議的 應(yīng)用背景下，利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可將視頻序列區(qū)分為感興趣區(qū)域和非感興趣區(qū) 域，并且其性能能夠自動(dòng)的適應(yīng)場(chǎng)景切換，提高了視頻序列的主觀質(zhì)量和客觀質(zhì) 量。對(duì)感興趣區(qū)邊沿宏塊采用強(qiáng)制幀內(nèi)編碼，可以提高感興趣區(qū)特別是圖像運(yùn)動(dòng) 復(fù)雜的感興趣區(qū)的編碼效率及質(zhì)量，有效的抑制了數(shù)據(jù)噪聲的擴(kuò)散和傳播，并在 碼率分配部分可以較大程度的改善感興趣區(qū)視頻編碼的壓縮效率，提高碼率分配 的靈活性和有效性。通過給不同宏塊賦予不同位置權(quán)重和運(yùn)動(dòng)權(quán)重設(shè)定感興趣區(qū) 域，改變宏塊的編碼順序，優(yōu)先編碼權(quán)重大的宏塊，可實(shí)現(xiàn)準(zhǔn)確的碼率控制，獲 得平滑的輸出碼流，同時(shí)提高重建圖像的主觀質(zhì)量。在MPEG4-FGS(Fine Granular Scalable)的基礎(chǔ)上，通過位平面提升的方法提高感興趣區(qū)域圖像增強(qiáng)層的壓縮 質(zhì)量，但不能從壓縮的角度對(duì)感興趣區(qū)域特別是圖像運(yùn)動(dòng)復(fù)雜的感興趣區(qū)的視頻4質(zhì)量加以改善，也不能基于實(shí)際的圖像內(nèi)容更有效的利用碼率資源。通過提取以 及分析基本層運(yùn)動(dòng)矢量自適應(yīng)地確定目標(biāo)區(qū)域，并將結(jié)果在增強(qiáng)層編碼用于選擇 性增強(qiáng)，可以實(shí)現(xiàn)基于內(nèi)容的增強(qiáng)和優(yōu)先傳輸感興趣的區(qū)域(目標(biāo)區(qū)域)。在等質(zhì) 量的約束條件下，利用基于感興趣區(qū)域的MPEG-4 FGS增強(qiáng)層碼率分配算法， 可以優(yōu)化分配各幀增強(qiáng)層的碼率，降低各幀之間感興趣區(qū)域的重建質(zhì)量的波動(dòng)， 提高視頻圖像的主觀質(zhì)量。上述各種方法都做了較好的工作，但是沒有將感興趣區(qū)優(yōu)先傳輸與可伸縮視 頻編碼方法相結(jié)合。
發(fā)明內(nèi)容本發(fā)明的目的在于將可伸縮視頻編碼方法與感興趣區(qū)域優(yōu)先傳輸相結(jié)合，給 出一種感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼傳輸方案，在進(jìn)行已編碼的視頻流 媒體傳輸或者準(zhǔn)實(shí)時(shí)的視頻傳輸時(shí)，接收端的用戶可以自由選擇感興趣區(qū)域，并 使感興趣區(qū)域的視頻效果得到較大改善，不僅節(jié)省寶貴的傳輸帶寬資源，而且提 高視頻的主觀質(zhì)量的一種感興趣區(qū)優(yōu)先傳輸?shù)目缮炜s視頻編碼方法。本發(fā)明的目的是這樣實(shí)現(xiàn)的視頻發(fā)送端視頻發(fā)送端主要包括生成基本層碼流、生成感興趣區(qū)域優(yōu)先編碼的碼流和利 用兩個(gè)碼流生成數(shù)據(jù)包操作基本層碼流是采用H.264編碼器對(duì)原始圖像進(jìn)行編碼獲得； 當(dāng)發(fā)送端沒有收到ROI信令時(shí)，發(fā)送端按照缺省的感興趣優(yōu)先的編碼傳輸順序把已經(jīng)編碼的增強(qiáng)層數(shù)據(jù)按照得到的傳輸帶寬將其截?cái)?，然后打成相?yīng)的數(shù)據(jù)包；當(dāng)發(fā)送端接收到ROI信令時(shí)，發(fā)送端將進(jìn)行按照ROI信令的要求首先進(jìn)行 解碼然后重新編碼，ROI信令包含了矩形感興趣區(qū)域的位置和大小信息，然后發(fā) 送端按照光柵掃描的方式對(duì)如下的感興趣的矩形區(qū)域進(jìn)行編碼，Region(xj;) Xo^x<x0+>v_@_ j^Sy〈少o+^其中，(xO，yO)為感興趣區(qū)域的左上角的宏塊坐標(biāo)，w和h分別為感興趣區(qū)域 的寬和高，重新編碼產(chǎn)生的ROI碼流替代原來的ROI碼流，且ROI碼流中僅包 含與感興趣區(qū)域相關(guān)的信息，其余的剩余宏塊不再進(jìn)行重新編碼以節(jié)省網(wǎng)絡(luò)的傳數(shù)據(jù)包生成模塊讀取基本層碼流和感興趣區(qū)域優(yōu)先的增強(qiáng)層碼流，生成數(shù)據(jù) 包，并發(fā)送到接收端；數(shù)據(jù)包生成模塊將首先讀取基本層的碼流；然后根據(jù)是否 收到ROI信令決定是否按照缺省的規(guī)定讀取增強(qiáng)層的碼流，當(dāng)未收到ROI信令 時(shí)，則按照缺省的順序讀取增強(qiáng)層碼流以適應(yīng)網(wǎng)絡(luò)的帶寬；而當(dāng)收到ROI信令 時(shí)，則等待增強(qiáng)層解碼重編碼模塊完成重新編碼之后讀取感興趣優(yōu)先編碼的增強(qiáng) 層碼流；視頻接收端視頻接收端主要包括響應(yīng)用戶的ROI信令、解析數(shù)據(jù)包、解碼基本層圖像 序列、解碼增強(qiáng)層以及生成顯示圖像操作在接收到數(shù)據(jù)包后，數(shù)據(jù)包解析模塊將根據(jù)數(shù)據(jù)包中的碼流類型將其拼接到 基本層流或者對(duì)應(yīng)的ROI增強(qiáng)層碼流中；接收端首先周期性的進(jìn)行基本層面碼流以生成基本層的視頻圖像序列，然后 是對(duì)ROI增強(qiáng)層碼流的解碼以生成增強(qiáng)層的圖像殘差信號(hào)；最后通過圖像合并操作生成并且顯示視頻圖像序列。所述的缺省的感興趣優(yōu)先的編碼采用中心區(qū)域優(yōu)先編碼的螺旋式宏塊掃描 順序。本發(fā)明所提出的感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼傳輸方法是通過視 頻發(fā)送端缺省設(shè)定或者通過視頻發(fā)送端和接收端之間數(shù)據(jù)包和ROI信令的交換 實(shí)現(xiàn)的。該方法對(duì)H.264編碼器和解碼器的結(jié)構(gòu)均沒有特殊的要求，且ROI碼 流中僅包含與感興趣區(qū)域相關(guān)的信息。另一方面，盡管該方法是以在視頻發(fā)送端 進(jìn)行解碼和重新編碼，引入了一定的運(yùn)算復(fù)雜度為代價(jià)，然而這種運(yùn)算復(fù)雜度并 不是太高，卻極大的提高了視頻序列的主觀質(zhì)量。本發(fā)明正是將可伸縮視頻編碼方法與感興趣區(qū)域優(yōu)先傳輸相結(jié)合，給出了一 種簡單方便、切實(shí)可行的感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼傳輸方案。在本 發(fā)明所給出的方案中，感興趣區(qū)域是在編碼時(shí)進(jìn)行缺省設(shè)定或者由接收端的用戶 自由選擇，發(fā)送端根據(jù)是否接收到感興趣區(qū)域信令對(duì)增強(qiáng)層碼流進(jìn)行不同處理。

圖1是基于H.264可伸縮視頻編碼結(jié)構(gòu)；圖2是增強(qiáng)層的編解碼過程圖；圖3是感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼傳輸流程示意圖；圖4是常規(guī)編碼時(shí)宏塊的掃描順序；圖5是中心區(qū)域優(yōu)先的螺旋式宏塊掃描順序。
具體實(shí)施方式
下面結(jié)合附圖舉例對(duì)本發(fā)明做更詳細(xì)地描述在本發(fā)明中，感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼方案中的感興趣區(qū)域的 確定有兩種方式， 一種是編碼時(shí)由編碼端確定，另外一種是由接收端的用戶指定。 在編碼時(shí)設(shè)定視頻圖像的中心區(qū)域?yàn)楦信d趣區(qū)域。11.264優(yōu)異的壓縮能力和對(duì)不同網(wǎng)絡(luò)的適應(yīng)能力成為條件惡劣的特定無線信 道上視頻傳輸應(yīng)用的首選技術(shù)及其它研究工作的基礎(chǔ)。實(shí)現(xiàn)的基于H.264可伸縮 視頻編碼結(jié)構(gòu)是一種分層式的編碼結(jié)構(gòu)，其結(jié)構(gòu)如圖1所示。其基本層的編解碼 器由H.264實(shí)現(xiàn)，增強(qiáng)層的編解碼器借鑒CAVLC的編解碼自己設(shè)計(jì)。基本層的編碼器利用H.264的標(biāo)準(zhǔn)編碼器?；緦拥慕獯a器則利用H.264的 標(biāo)準(zhǔn)解碼器。增強(qiáng)層的編解碼過程如圖2所示，與基本層H.264的編解碼過程相 類似。首先在基本層編碼器中提取原始圖像與重建圖像之間的圖像殘差信號(hào)，然 后對(duì)提取的殘差信號(hào)進(jìn)行增強(qiáng)層編碼。增強(qiáng)層編碼首先對(duì)殘差信號(hào)進(jìn)行DCT變 換，然后對(duì)DCT系數(shù)進(jìn)行量化、接下來進(jìn)行"之"字形掃描，最后將掃描后得到 的系數(shù)進(jìn)行熵編碼，熵編碼采用CAVLC編碼方法，但是做一些小的改動(dòng)；解碼 端則首先進(jìn)行解碼，然后進(jìn)行反掃描、反量化，進(jìn)一步將反量化的值進(jìn)行DCT 逆變換，將生成的圖像殘差信號(hào)輸出。在最后階段將增強(qiáng)層輸出的圖像殘差信號(hào) 與基本層輸出的圖像信號(hào)進(jìn)行復(fù)合生成最終的輸出視頻序列。本發(fā)明利用可伸縮視頻碼流的結(jié)構(gòu)特點(diǎn)，結(jié)合感興趣區(qū)域編碼，設(shè)計(jì)了一種 感興趣區(qū)域優(yōu)先傳輸?shù)囊曨l傳輸方案。在視頻通信的過程中，通信帶寬比較窄的 情況下，接收端在接收到基本層碼流后開始進(jìn)行解碼，并將一組粗略的視頻序列 展現(xiàn)給用戶；在通信信道較為寬裕的情況下，發(fā)送端按照編碼時(shí)的感興趣區(qū)域優(yōu) 先的順序?qū)⒃鰪?qiáng)層的碼流發(fā)送到接收端，接收端進(jìn)行相應(yīng)的解碼以及基本層視頻 序列內(nèi)容的增強(qiáng)；如果用戶根據(jù)粗略的視頻序列選擇一個(gè)感興趣的區(qū)域并通知發(fā) 送端，在接收到用戶的信令后，發(fā)送端將對(duì)增強(qiáng)層的碼流進(jìn)行解碼和重新按照用戶感興趣區(qū)域進(jìn)行優(yōu)先編碼和傳輸。于是，通過接收端和發(fā)送端的交互，用戶獲 得的視頻序列將包含著更加清晰的感興趣圖像區(qū)域，以提高視頻序列的主觀質(zhì) 量。這種感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻傳輸方法在已編碼的視頻流媒體傳輸 以及準(zhǔn)實(shí)時(shí)的視頻傳輸中將具有很好的應(yīng)用價(jià)值。圖3述了所提出的感興趣區(qū)域優(yōu)先傳輸?shù)目缮炜s視頻編碼傳輸方法的流程， 首先介紹缺省情況下的增強(qiáng)層的感興趣優(yōu)先編碼，然后再分別從發(fā)送端和接收端 兩個(gè)方面進(jìn)行傳輸流程說明。如前所述，在增強(qiáng)層編碼時(shí)，缺省地認(rèn)為感興趣區(qū)域位于圖像的中心區(qū)域， 且越是靠近中心區(qū)域其權(quán)重越大。在增強(qiáng)層編碼過程中，感興趣區(qū)域的優(yōu)先性體 現(xiàn)在宏塊的編碼順序上。在常規(guī)的編碼過程中，宏塊的掃描順序采用光柵掃描順 序，即如圖4所示的按行進(jìn)行掃描。為了體現(xiàn)中心區(qū)域的優(yōu)先性，采用如圖5所 示的中心區(qū)域優(yōu)先編碼的螺旋式宏塊掃描順序。視頻發(fā)送端的工作流程。視頻發(fā)送端的主要工作包括生成基本層碼流、生成感興趣區(qū)域優(yōu)先編碼的碼流和利用兩個(gè)碼流生成數(shù)據(jù)包等幾個(gè)操作基本層碼流是采用H.264編碼器對(duì)原始圖像進(jìn)行編碼獲得的。 當(dāng)發(fā)送端沒有收到ROI信令時(shí)，發(fā)送端按照缺省的感興趣優(yōu)先的編碼傳輸順序把已經(jīng)編碼的增強(qiáng)層數(shù)據(jù)按照得到的傳輸帶寬將其截?cái)啵缓蟠虺上鄳?yīng)的數(shù)據(jù)包。當(dāng)發(fā)送端接收到ROI信令時(shí)，發(fā)送端將進(jìn)行按照ROI信令的要求首先進(jìn)行 解碼然后重新編碼。ROI信令包含了矩形感興趣區(qū)域的位置和大小信息。然后發(fā) 送端按照光柵掃描的方式對(duì)如下的感興趣的矩形區(qū)域進(jìn)行編碼。Region(x,_y) x0Sx<;c0 + vv且少0:^^<_>^+/7其中，(xO,yO)為感興趣區(qū)域的左上角的宏塊坐標(biāo)，w和h分別為感興趣區(qū)域 的寬和高。重新編碼產(chǎn)生的ROI碼流替代原來的ROI碼流，且ROI碼流中僅包 含與感興趣區(qū)域相關(guān)的信息，其余的剩余宏塊不再進(jìn)行重新編碼以節(jié)省網(wǎng)絡(luò)的傳 輸帶寬。數(shù)據(jù)包生成模塊讀取基本層碼流和感興趣區(qū)域優(yōu)先的增強(qiáng)層碼流，生成數(shù)據(jù) 包，并發(fā)送到接收端。數(shù)據(jù)包生成模塊將首先讀取基本層的碼流；然后根據(jù)是否 收到ROI信令決定是否按照缺省的規(guī)定讀取增強(qiáng)層的碼流。當(dāng)未收到ROI信令時(shí)，則按照缺省的順序讀取增強(qiáng)層碼流以適應(yīng)網(wǎng)絡(luò)的帶寬；而當(dāng)收到ROI信令 時(shí)，則等待增強(qiáng)層解碼重編碼模塊完成重新編碼之后讀取感興趣優(yōu)先編碼的增強(qiáng) 層碼流。視頻接收端的工作流程。視頻接收端的工作主要包括響應(yīng)用戶的ROI信令、 解析數(shù)據(jù)包、解碼基本層圖像序列、解碼增強(qiáng)層以及生成顯示圖像等幾個(gè)操作在視頻通信中，根據(jù)用戶的興趣，用戶可以隨時(shí)指定一個(gè)矩形的感興趣區(qū)域， 并由接收端生成ROI信令反饋給發(fā)送端。在接收到數(shù)據(jù)包后，數(shù)據(jù)包解析模塊將根據(jù)數(shù)據(jù)包中的碼流類型將其拼接到 基本層流或者對(duì)應(yīng)的ROI增強(qiáng)層碼流中。接收端首先周期性的進(jìn)行基本層面碼流以生成基本層的視頻圖像序列，然后是對(duì)ROI增強(qiáng)層碼流的解碼以生成增強(qiáng)層的圖像殘差信號(hào)。最后通過圖像合并操作生成并且顯示視頻圖像序列。
權(quán)利要求
1. 一種感興趣區(qū)優(yōu)先傳輸?shù)目缮炜s視頻編碼方法，其特征是視頻發(fā)送端視頻發(fā)送端主要包括生成基本層碼流、生成感興趣區(qū)域優(yōu)先編碼的碼流和利用兩個(gè)碼流生成數(shù)據(jù)包操作基本層碼流是采用H.264編碼器對(duì)原始圖像進(jìn)行編碼獲得；當(dāng)發(fā)送端沒有收到ROI信令時(shí)，發(fā)送端按照缺省的感興趣優(yōu)先的編碼傳輸順序把已經(jīng)編碼的增強(qiáng)層數(shù)據(jù)按照得到的傳輸帶寬將其截?cái)?，然后打成相?yīng)的數(shù)據(jù)包；當(dāng)發(fā)送端接收到ROI信令時(shí)，發(fā)送端將進(jìn)行按照ROI信令的要求首先進(jìn)行解碼然后重新編碼，ROI信令包含了矩形感興趣區(qū)域的位置和大小信息，然后發(fā)送端按照光柵掃描的方式對(duì)如下的感興趣的矩形區(qū)域進(jìn)行編碼， Re gion(x，y) x0≤x＜x0+w且y0≤y＜y0+h其中，(x0，y0)為感興趣區(qū)域的左上角的宏塊坐標(biāo)，w和h分別為感興趣區(qū)域的寬和高，重新編碼產(chǎn)生的ROI碼流替代原來的ROI碼流，且ROI碼流中僅包含與感興趣區(qū)域相關(guān)的信息，其余的剩余宏塊不再進(jìn)行重新編碼以節(jié)省網(wǎng)絡(luò)的傳輸帶寬；數(shù)據(jù)包生成模塊讀取基本層碼流和感興趣區(qū)域優(yōu)先的增強(qiáng)層碼流，生成數(shù)據(jù)包，并發(fā)送到接收端。數(shù)據(jù)包生成模塊將首先讀取基本層的碼流；然后根據(jù)是否收到ROI信令決定是否按照缺省的規(guī)定讀取增強(qiáng)層的碼流，當(dāng)未收到ROI信令時(shí)，則按照缺省的順序讀取增強(qiáng)層碼流以適應(yīng)網(wǎng)絡(luò)的帶寬；而當(dāng)收到ROI信令時(shí)，則等待增強(qiáng)層解碼重編碼模塊完成重新編碼之后讀取感興趣優(yōu)先編碼的增強(qiáng)層碼流；視頻接收端視頻接收端主要包括響應(yīng)用戶的ROI信令、解析數(shù)據(jù)包、解碼基本層圖像序列、解碼增強(qiáng)層以及生成顯示圖像操作在接收到數(shù)據(jù)包后，數(shù)據(jù)包解析模塊將根據(jù)數(shù)據(jù)包中的碼流類型將其拼接到基本層流或者對(duì)應(yīng)的ROI增強(qiáng)層碼流中；接收端首先周期性的進(jìn)行基本層面碼流以生成基本層的視頻圖像序列，然后是對(duì)ROI增強(qiáng)層碼流的解碼以生成增強(qiáng)層的圖像殘差信號(hào)；最后通過圖像合并操作生成并且顯示視頻圖像序列。
2、根據(jù)權(quán)利要求1所述的一種感興趣區(qū)優(yōu)先傳輸?shù)目缮炜s視頻編碼方法， 其特征是所述的缺省的感興趣優(yōu)先的編碼采用中心區(qū)域優(yōu)先編碼的螺旋式宏 塊掃描順序。
全文摘要
本發(fā)明提供的是一種感興趣區(qū)優(yōu)先傳輸?shù)目缮炜s視頻編碼方法。在該方法中，感興趣區(qū)域是在編碼時(shí)進(jìn)行缺省設(shè)定或者由接收端的用戶自由選擇。發(fā)送時(shí)根據(jù)是否接收到感興趣區(qū)域信令(ROI)對(duì)增強(qiáng)層碼流進(jìn)行不同的處理。若未收到ROI信令則將已經(jīng)編碼的碼流按照已有順序根據(jù)得到的信道帶寬進(jìn)行打包；若收到ROI信令則由解碼重編碼模塊根據(jù)感興趣區(qū)域的位置及大小解碼后重新編碼并優(yōu)先傳輸，從而使接收端的用戶感興趣區(qū)域更加的清晰，從而提高視頻的主觀質(zhì)量。本發(fā)明對(duì)已編碼的視頻流媒體傳輸或者準(zhǔn)實(shí)時(shí)的視頻進(jìn)行傳輸時(shí)，接收端的用戶可以自由選擇感興趣區(qū)域，并使該感興趣區(qū)域的視頻效果得到較大改善，不僅節(jié)省了寶貴的傳輸帶寬資源，而且提高了視頻的主觀質(zhì)量。
文檔編號(hào)H04N7/26GK101262604SQ20081006436
公開日2008年9月10日 申請(qǐng)日期2008年4月23日 優(yōu)先權(quán)日2008年4月23日
發(fā)明者娟 惠, 惠俊英, 殷敬偉, 平 蔡, 趙安邦 申請(qǐng)人:哈爾濱工程大學(xué)