基于感興趣區(qū)域的空間可分級編碼裝置及其方法
【專利摘要】本發(fā)明公開了基于感興趣區(qū)域的空間可分級編碼裝置及其方法，通過分別對輸入的圖像序列進(jìn)行處理得到不劃分感興趣區(qū)域的基本層圖像和只包含ROI部分的增強(qiáng)層圖像，并對兩者進(jìn)行獨(dú)立編碼和譯碼，最后將基本層圖像恢復(fù)至原始大小后與譯碼后的增強(qiáng)層譯碼圖像復(fù)合得到最終圖像序列，有效地保證視頻流暢和ROI質(zhì)量。
【專利說明】
基于感興趣區(qū)域的空間可分級編碼裝置及其方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于感興趣區(qū)域的空間可分級編碼裝置及其方法。
【背景技術(shù)】
[0002]在視頻監(jiān)控場景中，客戶對不同區(qū)域的關(guān)注度是不一樣的，對其中比較感興趣的區(qū)域(ROI ,reg1n of interest)需要較高的圖像質(zhì)量。因此在視頻編碼中會采用更高的質(zhì)量因子來對ROI進(jìn)行高質(zhì)量的編碼。例如，交通視頻監(jiān)控對于車牌清晰度有很高要求，所以圖像內(nèi)含車牌的區(qū)域質(zhì)量較高，其他部分質(zhì)量差一些。為保證ROI的視頻質(zhì)量和非ROI的視頻質(zhì)量有差異，一般采用不同的編碼質(zhì)量因子對ROI和非ROI進(jìn)行量化編碼。但是其主觀效果一般，且對碼字的節(jié)約效果有限，實(shí)際中信道的狀態(tài)會受多種因素影響導(dǎo)致視頻流無法全部傳輸?shù)浇K端客戶，此時(shí)ROI區(qū)域即便采用更高的質(zhì)量進(jìn)行編碼也無法保障客戶端視頻接收的流暢。
[0003]為了解決信道的狀態(tài)會受多種因素影響導(dǎo)致視頻流無法全部傳輸?shù)浇K端客戶的問題，可伸縮編碼技術(shù)應(yīng)用而生。空間可伸縮編碼包括基本層和增強(qiáng)層，基本層一般為小分辨率圖像，結(jié)合增強(qiáng)層后可輸出大分辨率圖像。在帶寬受限時(shí)，可只傳輸小分辨率圖像;在帶寬狀態(tài)較好時(shí)，可傳輸大分辨率圖像。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)的不足，本發(fā)明旨在提供一種感興趣區(qū)域的空間可分級編碼裝置及其方法，采用空間可分級編碼技術(shù)對ROI區(qū)域進(jìn)行編碼，有效地保證視頻流暢和ROI質(zhì)量。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0006]基于感興趣區(qū)域的空間可分級編碼裝置，包括發(fā)送端和接收端;其中，
[0007]所述發(fā)送端包括圖像輸入設(shè)備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接；
[0008]所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、另一圖像采樣處理器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。
[0009]利用上述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，包括如下步驟:
[0010]SI在發(fā)送端，原始圖像通過圖像輸入設(shè)備輸入；
[0011]S2利用圖像采樣處理器對所述原始圖像進(jìn)行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進(jìn)行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像；
[0012]S3利用基本層圖像編碼器對所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼；
[0013]S4當(dāng)信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當(dāng)信道條件允許，發(fā)送端則將基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端；
[0014]S5當(dāng)接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進(jìn)行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設(shè)備；當(dāng)接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別進(jìn)行譯碼得到基本層譯碼圖像和增強(qiáng)層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后利用圖像復(fù)合處理器將增強(qiáng)層譯碼圖像替換所述上采樣圖像中與之位置對應(yīng)的部分，得到復(fù)合譯碼圖像并輸出至圖像輸出設(shè)備。
[0015]需要說明的是，步驟S2中，增強(qiáng)層只包含ROI部分的圖像，只包含一層增強(qiáng)層，所述增強(qiáng)層的大小為ROI大小。
[0016]需要說明的是，步驟S3中，對增強(qiáng)層的圖像進(jìn)行編碼時(shí)，采用跨層預(yù)測，即基本層譯碼圖像按比例放大后作為增強(qiáng)層參考圖像；當(dāng)當(dāng)前的增強(qiáng)層圖像為非關(guān)鍵幀時(shí)，采用同層預(yù)測，將前一幀得到的復(fù)合譯碼圖像作為增強(qiáng)層參考圖像。
[0017]需要說明的是，步驟S3中，對增強(qiáng)層圖像進(jìn)行編碼時(shí)，在增強(qiáng)層的候選MV中增加基本層對應(yīng)位置8X8塊的MV作為候選項(xiàng)，并參考該MV來去除層間冗余的運(yùn)動信息，此時(shí)原來的候選MV順序不變。
[0018]本發(fā)明的有益效果在于:
[0019]1、本發(fā)明結(jié)合ROI技術(shù)和空間可分級編碼技術(shù)，既能保證ROI區(qū)域質(zhì)量，又能保證視頻流暢。
[0020]2、在最終的復(fù)合步驟中，基本層圖像恢復(fù)到了原始大小，將增強(qiáng)層的ROI部分圖像替換基本層圖像上與之對應(yīng)的位置上，則ROI區(qū)域有更高分辨率，非ROI區(qū)域有較低的分辨率，且主觀效果過渡比較自然。
[0021]3、在信道條件受限時(shí)，增強(qiáng)層編碼數(shù)據(jù)可丟棄，此時(shí)接收端接收的編碼數(shù)據(jù)可恢復(fù)低分辨率圖像。
【附圖說明】
[0022]圖1為本發(fā)明的裝置硬件結(jié)構(gòu)連接示意圖；
[0023]圖2為本發(fā)明的方法實(shí)施流程圖；
[0024]圖3為本發(fā)明實(shí)施例中原始圖像序列的示意圖；
[0025]圖4為本發(fā)明實(shí)施例中基本層圖像的示意圖；
[0026]圖5為本發(fā)明實(shí)施例中增強(qiáng)層圖像的示意圖。
【具體實(shí)施方式】
[0027]以下將結(jié)合附圖對本發(fā)明作進(jìn)一步的描述，需要說明的是，本實(shí)施例以本技術(shù)方案為前提，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍并不限于本實(shí)施例。
[0028]如圖1所示，基于感興趣區(qū)域的空間可分級編碼裝置，包括發(fā)送端和接收端;其中，
[0029]所述發(fā)送端包括圖像輸入設(shè)備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接；
[0030]所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、另一圖像采樣處理器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。
[0031]如圖2所示，利用上述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，包括如下步驟:
[0032]SI在發(fā)送端，原始圖像通過圖像輸入設(shè)備輸入；
[0033]S2利用圖像采樣處理器對所述原始圖像進(jìn)行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進(jìn)行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像；
[0034]S3利用基本層圖像編碼器對所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼；
[0035]S4當(dāng)信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當(dāng)信道條件允許，發(fā)送端則將基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端；
[0036]S5當(dāng)接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進(jìn)行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設(shè)備；當(dāng)接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別進(jìn)行譯碼得到基本層譯碼圖像和增強(qiáng)層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后利用圖像復(fù)合處理器將增強(qiáng)層譯碼圖像替換所述上采樣圖像中與之位置對應(yīng)的部分，得到復(fù)合譯碼圖像并輸出至圖像輸出設(shè)備。
[0037]需要說明的是，步驟S2中，增強(qiáng)層只包含ROI部分的圖像，只包含一層增強(qiáng)層，所述增強(qiáng)層的大小為ROI大小。
[0038]需要說明的是，步驟S3中，對增強(qiáng)層的圖像進(jìn)行編碼時(shí)，采用跨層預(yù)測，即基本層譯碼圖像按比例放大后作為增強(qiáng)層參考圖像；當(dāng)當(dāng)前的增強(qiáng)層圖像為非關(guān)鍵幀時(shí)，采用同層預(yù)測，將前一幀得到的復(fù)合譯碼圖像作為增強(qiáng)層參考圖像。
[0039]需要說明的是，步驟S3中，對增強(qiáng)層圖像進(jìn)行編碼時(shí)，在增強(qiáng)層的候選MV中增加基本層對應(yīng)位置8X8塊的MV作為候選項(xiàng)，并參考該MV來去除層間冗余的運(yùn)動信息，此時(shí)原來的候選MV順序不變。
[0040]實(shí)施例一
[0041 ] I)輸入原始圖像序列，如圖3所示，圖像分辨率為1920 X 1080，感興趣區(qū)域?yàn)閳D3所示的車牌部分。
[0042]2)基本層圖像為輸入圖像的下采樣圖像，如圖4所示，其分辨率為960X540，對基本層圖像進(jìn)行編碼。在基本層圖像中，不區(qū)分ROI和非ROI區(qū)域；
[0043]3)增強(qiáng)層圖像為只包含輸入圖像的ROI部分的圖像，如圖5所示，只包含一層增強(qiáng)層，對增強(qiáng)層圖像進(jìn)行編碼，此時(shí)增強(qiáng)層圖像的大小為ROI部分的大小。編碼時(shí)可采用跨層預(yù)測，即基本層圖像按比例放大后做增強(qiáng)層參考圖像;同時(shí)在非關(guān)鍵幀(key frame)也可采用同層預(yù)測。增強(qiáng)層在MV候選項(xiàng)中增加基本層對應(yīng)位置8X8塊的MV作為候選項(xiàng)，即可參考基本層MV來去除層間冗余的運(yùn)動信息;此時(shí)原來的候選MV順序不變。
[0044]在各空間分辨率層的基礎(chǔ)上進(jìn)行正常編碼，有各自獨(dú)立的編碼參數(shù)如圖像大小、運(yùn)動信息、變換參數(shù)、量化參數(shù)等。
[0045]傳輸圖像序列。根據(jù)傳輸信道實(shí)際狀態(tài)，增強(qiáng)層的編碼可選擇傳輸(信道條件允許，如帶寬達(dá)不到閾值)，也可以選擇不傳輸(信道條件受限，如帶寬達(dá)到閾值要求)。
[0046]4)當(dāng)只接收到基本層圖像編碼后的編碼數(shù)據(jù)，則只對基本層圖像的編碼數(shù)據(jù)進(jìn)行譯碼，得到的譯碼圖像分辨率為960X540，且基本層圖像不區(qū)分ROI和非ROI區(qū)域。對基本層譯碼圖像進(jìn)行上采樣，得到分辨率為1920X 1080(原始大小)的上采樣圖像，然后直接輸出。
[0047]當(dāng)接收到的編碼數(shù)據(jù)中除了基本層圖像編碼后的編碼數(shù)據(jù)還包括增強(qiáng)層圖像編碼后的編碼數(shù)據(jù)，則分別進(jìn)行譯碼得到基本層譯碼圖像和增強(qiáng)層譯碼圖像。然后對基本層譯碼圖像進(jìn)行上采樣，得到分辨率為1920X 1080(原始大小)的上采樣圖像。
[0048]5)將譯碼得到的增強(qiáng)層譯碼圖像替換上采樣圖像中對應(yīng)位置的數(shù)據(jù)，得到最終復(fù)合譯碼圖像并輸出。
[0049]對于本領(lǐng)域的技術(shù)人員來說，可以根據(jù)以上的技術(shù)方案和構(gòu)思，作出各種相應(yīng)的改變和變形，而所有的這些改變和變形都應(yīng)該包括在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.基于感興趣區(qū)域的空間可分級編碼裝置，其特征在于，包括發(fā)送端和接收端;其中， 所述發(fā)送端包括圖像輸入設(shè)備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強(qiáng)層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設(shè)備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設(shè)備與圖像感興趣區(qū)域劃分處理器、增強(qiáng)層圖像編碼器依次電性連接； 所述接收端包括有基本層圖像譯碼器、增強(qiáng)層圖像譯碼器、另一圖像采樣處理器、圖像復(fù)合處理器、圖像輸出設(shè)備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復(fù)合處理器依次電性連接，而所述接收模塊、增強(qiáng)層圖像譯碼器和圖像復(fù)合處理器依次電性連接，所述圖像復(fù)合處理器電性連接于圖像輸出設(shè)備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設(shè)備。2.—種利用權(quán)利要求1所述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，其特征在于，包括如下步驟: SI在發(fā)送端，原始圖像通過圖像輸入設(shè)備輸入； S2利用圖像采樣處理器對所述原始圖像進(jìn)行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進(jìn)行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強(qiáng)層的圖像； S3利用基本層圖像編碼器對所述基本層的圖像進(jìn)行獨(dú)立編碼，另外利用增強(qiáng)層圖像編碼器對所述增強(qiáng)層的圖像進(jìn)行獨(dú)立編碼； S4當(dāng)信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當(dāng)信道條件允許，發(fā)送端則將基本層圖像編碼器和增強(qiáng)層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端； S5當(dāng)接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進(jìn)行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設(shè)備；當(dāng)接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強(qiáng)層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強(qiáng)層圖像譯碼器分別進(jìn)行譯碼得到基本層譯碼圖像和增強(qiáng)層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進(jìn)行上采樣得到上采樣圖像，然后利用圖像復(fù)合處理器將增強(qiáng)層譯碼圖像替換所述上采樣圖像中與之位置對應(yīng)的部分，得到復(fù)合譯碼圖像并輸出至圖像輸出設(shè)備。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S2中，增強(qiáng)層只包含ROI部分的圖像，只包含一層增強(qiáng)層，所述增強(qiáng)層的大小為ROI大小。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S3中，對增強(qiáng)層的圖像進(jìn)行編碼時(shí)，采用跨層預(yù)測，即基本層譯碼圖像按比例放大后作為增強(qiáng)層參考圖像；當(dāng)當(dāng)前的增強(qiáng)層圖像為非關(guān)鍵幀時(shí)，采用同層預(yù)測，將前一幀得到的復(fù)合譯碼圖像作為增強(qiáng)層參考圖像。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟S3中，對增強(qiáng)層圖像進(jìn)行編碼時(shí)，在增強(qiáng)層的候選MV中增加基本層對應(yīng)位置8X8塊的MV作為候選項(xiàng)，并參考該MV來去除層間冗余的運(yùn)動信息，此時(shí)原來的候選MV順序不變。
【文檔編號】H04N19/167GK106060554SQ201610599605
【公開日】2016年10月26日
【申請日】2016年7月26日 公開號201610599605.6, CN 106060554 A, CN 106060554A, CN 201610599605, CN-A-106060554, CN106060554 A, CN106060554A, CN201610599605, CN201610599605.6
【發(fā)明人】陳朝武, 郅晨, 董騫, 余子龍, 歐陽甸, 閆雪, 邢培銀, 馬莉
【申請人】公安部第一研究所, 北京中盾安全技術(shù)開發(fā)公司