專利名稱：圖像編碼方法及裝置、以及圖像譯碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼方法、圖像編碼裝置及攝像裝置，尤其涉及可以以在每個(gè)區(qū)域不同的圖像質(zhì)量進(jìn)行編碼的圖像編碼裝置、圖像顯示方法及攝像裝置以及能調(diào)整圖像質(zhì)量并譯碼的圖像譯碼方法及裝置。
背景技術(shù)：
在ISO/ITU-T中，作為靜止圖像的壓縮編碼的標(biāo)準(zhǔn)技術(shù)的JPEG(JointPhotographic Expert Group)的后繼，正在進(jìn)行采用了離散子波變換(DWT)的JPEG2000的標(biāo)準(zhǔn)化。在JPEG2000中，可以以高性能編碼從低位率編碼到無損耗壓縮為止的寬范圍的圖像質(zhì)量，實(shí)現(xiàn)逐漸提高圖像質(zhì)量的可擴(kuò)縮(scalability)功能也是容易的。另外，在JPEG2000中，可以準(zhǔn)備多種現(xiàn)有的JPEG標(biāo)準(zhǔn)中沒有的功能。
作為JPEG2000的功能之一，正在規(guī)格化將圖像的關(guān)注區(qū)域(Regionof Interest；ROI)比其他區(qū)域還優(yōu)先進(jìn)行編碼，并傳送的ROI編碼。通過ROI編碼，在編碼率存在上限的情況下，除了可以使關(guān)注區(qū)域的再生圖像質(zhì)量優(yōu)先高品質(zhì)以外，還可以在順序譯碼編碼流之際，提早以高品質(zhì)再生關(guān)注區(qū)域。
專利文獻(xiàn)1公開了自動(dòng)識(shí)別圖像數(shù)據(jù)內(nèi)的多個(gè)ROI區(qū)域的技術(shù)。
如上述專利文獻(xiàn)1的段落0079中所記載的，在動(dòng)態(tài)(活動(dòng))圖像攝影模式的情況下，相對(duì)所拍攝到的圖像自動(dòng)設(shè)定ROI區(qū)域。然而，上述專利文獻(xiàn)1在圖像內(nèi)識(shí)別了多個(gè)運(yùn)動(dòng)體的情況下，有在ROI區(qū)域內(nèi)設(shè)定直到按照攝影意圖的運(yùn)動(dòng)體為止的可能性。雖然有可以從多個(gè)ROI區(qū)域中選擇喜歡的ROI區(qū)域的記載，但在動(dòng)態(tài)圖像的情況下，按每幀來選擇是煩雜的，不能在動(dòng)態(tài)圖像攝影中進(jìn)行選擇。另外，按每幀進(jìn)行ROI區(qū)域的識(shí)別處理，運(yùn)算量增多，信號(hào)處理的負(fù)擔(dān)增大。
另外，在ISO/ITU-T中，作為靜止圖像的壓縮編碼的標(biāo)準(zhǔn)技術(shù)的JPEG(Joint Photographic Expert Group)的后繼，正在進(jìn)行采用了離散子波變換(DWT)的JPEG2000的標(biāo)準(zhǔn)化。在JPEG2000中，可以以高性能編碼從低位位率編碼到無損耗壓縮為止的寬范圍的圖像質(zhì)量，實(shí)現(xiàn)逐漸提高圖像質(zhì)量的可縮放性(scalability)功能也是容易的。另外，在JPEG2000中，可以準(zhǔn)備多種現(xiàn)有的JPEG標(biāo)準(zhǔn)中沒有的功能。
專利文獻(xiàn)2公開了一種在譯碼這種進(jìn)行過壓縮的編碼圖像之際、為了改善圖像質(zhì)量而進(jìn)行除去噪音或強(qiáng)調(diào)邊緣等的圖像處理的技術(shù)。具體是，將LL次能帶以外的次能帶所包含的變換系數(shù)設(shè)為0，形成參照?qǐng)D像。求取該次能帶內(nèi)的變換系數(shù)相對(duì)的參照?qǐng)D像上的區(qū)域，以求取該區(qū)域內(nèi)的像素值的平均值。若該平均值等小于規(guī)定的閾值，則對(duì)該變換系數(shù)進(jìn)行閾值處理。
上述專利文獻(xiàn)2，由于對(duì)LL次能帶以外的次能帶內(nèi)的變換系數(shù)進(jìn)行上述處理，故運(yùn)算量大量增加。另外，難以在圖像內(nèi)制作圖像質(zhì)量的差別，到使某個(gè)目標(biāo)突出的程度。
專利文獻(xiàn)1特開2004-72655號(hào)公報(bào)專利文獻(xiàn)2特開2002-135593號(hào)公報(bào)發(fā)明內(nèi)容本發(fā)明是鑒于上述問題而進(jìn)行的，本發(fā)明之一的目的在于提供一種可以一邊將用戶關(guān)注的目標(biāo)圖像質(zhì)量維持在用戶所希望的水平，一邊減少動(dòng)態(tài)圖像的代碼量的圖像編碼方法、圖像編碼裝置及攝像裝置。
本發(fā)明之二的另一目的在于提供一種可以容易地使所關(guān)注的目標(biāo)突出的圖像譯碼方法、圖像譯碼裝置及攝像裝置。
為了解決上述課題，本發(fā)明之一(實(shí)施方式1)的某一形態(tài)的圖像編碼方法，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)所關(guān)注的目標(biāo)的活動(dòng)(motion)，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進(jìn)行編碼。初始的關(guān)注區(qū)域的設(shè)定可以通過用戶操作來進(jìn)行。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。另外，還可以有意識(shí)地降低關(guān)注區(qū)域的圖像質(zhì)量。
具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進(jìn)行編碼的編碼部；關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)。“目標(biāo)的活動(dòng)”也可以用活動(dòng)矢量來檢測。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識(shí)地降低關(guān)注區(qū)域的圖像質(zhì)量。進(jìn)而，即使在每幀不進(jìn)行關(guān)注區(qū)域的識(shí)別或用戶操作的設(shè)定，也可以自動(dòng)追蹤目標(biāo)。
還可以具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。所謂的“所分配的代碼量”可以是分配給每一幀的代碼量，也可以是分配給整個(gè)動(dòng)態(tài)圖像的代碼量?！皥D像質(zhì)量設(shè)定部”可以在編碼處理中動(dòng)態(tài)調(diào)整圖像質(zhì)量。即使在所分配的代碼量的條件下，也可以通過調(diào)整非關(guān)注區(qū)域的代碼量而將關(guān)注區(qū)域的圖像質(zhì)量維持為用戶所期望的水平。
還具有對(duì)視點(diǎn)變動(dòng)的動(dòng)態(tài)圖像內(nèi)的背景進(jìn)行分離的目標(biāo)提取部，關(guān)注區(qū)域設(shè)定部可以根據(jù)背景的活動(dòng)，而使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)。由此，通過將背景的活動(dòng)相抵，從而可以得到與視點(diǎn)固定的情況同等的精度。
本發(fā)明之一的另一個(gè)形態(tài)是攝像裝置。該裝置具有取得圖像的攝像部，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的所關(guān)注的目標(biāo)的活動(dòng)，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進(jìn)行編碼。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識(shí)地降低關(guān)注區(qū)域的圖像質(zhì)量。
本發(fā)明之一的其他形態(tài)也是攝像裝置。該裝置具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進(jìn)行編碼的編碼部；關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)。初始的關(guān)注區(qū)域的設(shè)定可以通過用戶操作來進(jìn)行。
根據(jù)本形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識(shí)地降低關(guān)注區(qū)域的圖像質(zhì)量。進(jìn)而，可以得到即使在每幀不進(jìn)行關(guān)注區(qū)域的識(shí)別或用戶操作的設(shè)定，也可以自動(dòng)追蹤目標(biāo)的攝像裝置。
還可以具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。所謂的“所分配的代碼量”可以是分配給每一幀的代碼量，也可以是分配給整個(gè)動(dòng)態(tài)圖像的代碼量。“圖像質(zhì)量設(shè)定部”可以在編碼處理中動(dòng)態(tài)調(diào)整圖像質(zhì)量。即使在所分配的代碼量的條件下，也可以通過調(diào)整非關(guān)注區(qū)域的代碼量而將關(guān)注區(qū)域的圖像質(zhì)量維持為用戶所期望的水平。
還具有對(duì)視點(diǎn)變動(dòng)的動(dòng)態(tài)圖像內(nèi)的背景進(jìn)行分離的目標(biāo)提取部，關(guān)注區(qū)域設(shè)定部可以根據(jù)背景的活動(dòng)，而使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)。由此，通過將背景的活動(dòng)相抵，從而可以得到與視點(diǎn)固定的情況同等的精度。
而且，在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄介質(zhì)等之間對(duì)以上構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)進(jìn)行過變換的形態(tài)，作為本發(fā)明的形態(tài)也是有效的。
另外，本發(fā)明之二(實(shí)施方式2)的圖像譯碼方法，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的關(guān)注目標(biāo)的活動(dòng)，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動(dòng)態(tài)圖像。根據(jù)該形態(tài)，可以容易地使關(guān)注的目標(biāo)突出。
本發(fā)明之二的其他形態(tài)是圖像譯碼裝置。該裝置具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的所關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動(dòng)態(tài)圖像的譯碼部。關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)?！瓣P(guān)注區(qū)域”的初始設(shè)定可以通過用戶操作來進(jìn)行。根據(jù)該形態(tài)，可以容易地使所關(guān)注的目標(biāo)突出。另外，可以降低譯碼時(shí)的運(yùn)算量。
還可以具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量?！氨狙b置的狀態(tài)”中可以包括裝置的電池剩余容量或者再生速度。根據(jù)該形態(tài)，可以適應(yīng)于裝置的狀態(tài)來譯碼圖像。
本發(fā)明之二的另一形態(tài)是攝像裝置。該裝置具有取得圖像的攝像部。在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的關(guān)注目標(biāo)的活動(dòng)，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量顯示動(dòng)態(tài)圖像。根據(jù)該形態(tài)，可以容易地使拍攝到的圖像內(nèi)的關(guān)注目標(biāo)突出。
本發(fā)明之二的又一形態(tài)還是攝像裝置。該裝置具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量編碼動(dòng)態(tài)圖像的編碼部；和對(duì)編碼部所編碼的圖像數(shù)據(jù)進(jìn)行譯碼的譯碼部。關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動(dòng)。
根據(jù)該形態(tài)，可以容易地使拍攝到的圖像內(nèi)的關(guān)注目標(biāo)突出。另外，可以降低編碼圖像的代碼量。
還可以具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量?！氨狙b置的狀態(tài)”中可以包括裝置的電池剩余容量或者再生速度。根據(jù)該形態(tài)，可以適應(yīng)于裝置的狀態(tài)來譯碼圖像。
而且，在方法、裝置、系統(tǒng)、計(jì)算機(jī)程序、記錄介質(zhì)等之間對(duì)以上構(gòu)成要素的任意組合、實(shí)施方式2的表現(xiàn)進(jìn)行過變換的形態(tài)，作為本發(fā)明的形態(tài)也是有效的。
圖1是表示實(shí)施方式1的實(shí)施例1所涉及的圖像編碼裝置的構(gòu)成的圖。
圖2(a)表示子波變換系數(shù)，(b)表示ROI系數(shù)只按比例放大5位的狀態(tài)，(c)表示從高位位平面按順序掃描按比例放大過的子波變換系數(shù)的量化值的狀態(tài)。
圖3(a)表示在原圖像上選擇了關(guān)注區(qū)域的狀態(tài)，(b)表示通過將原圖像僅子波變換1次而得到的第1層的變換圖像，(c)表示通過對(duì)(b)的變換圖像的次能帶LL1進(jìn)一步進(jìn)行子波變換(wavelet transform)而得到的第2層的變換圖像。
圖4(a)表示子波變換系數(shù)，(b)表示將非ROI變換系數(shù)的LSB側(cè)的S位置換為零的狀態(tài)，(c)表示從高位位平面按順序掃描包含與ROI變換系數(shù)進(jìn)行過零置換的非ROI變換系數(shù)的子波變換系數(shù)的狀態(tài)。
圖5(a)表示僅由非ROI變換系數(shù)構(gòu)成的5位平面的子波變換系數(shù)，(b)表示將LSB側(cè)的低位2位平面置換為零的子波變換系數(shù)，(c)表示從上面開始對(duì)零置換后的子波變換系數(shù)的高位3位平面進(jìn)行熵編碼的狀態(tài)。
圖6是表示實(shí)施方式1的實(shí)施例2所涉及的圖像編碼裝置的構(gòu)成的圖。
圖7是表示實(shí)施方式1的實(shí)施例3所涉及的圖像編碼裝置的構(gòu)成的圖。
圖8(a)表示前一幀，(b)表示當(dāng)前幀，(c)表示差分圖像。
圖9是表示實(shí)施方式1的實(shí)施例4所涉及的攝像裝置的構(gòu)成的圖。
圖10(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(b)表示在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(c)表示從ROI區(qū)域中除去目標(biāo)的狀態(tài)，(d)表示ROI區(qū)域追蹤目標(biāo)之活動(dòng)的狀態(tài)。
圖11(a)表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(c)表示ROI區(qū)域追蹤目標(biāo)之活動(dòng)的狀態(tài)。
圖12(a)設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)，(b)表示設(shè)定ROI區(qū)域的狀態(tài)，(c)表示目標(biāo)移動(dòng)而出現(xiàn)在大框以外的狀態(tài)。
圖13是表示實(shí)施方式2的實(shí)施例1所涉及的圖像譯碼裝置的構(gòu)成的圖。
圖14(a)表示在原圖像上選擇了關(guān)注區(qū)域的狀態(tài)，(b)表示通過將原圖像僅子波變換1次而得到的第1層的變換圖像，(c)表示通過對(duì)(b)的變換圖像的次能帶LL1進(jìn)一步進(jìn)行子波變換而得到的第2層的變換圖像。
圖15(a)表示譯碼圖像的子波變換系數(shù)，(b)表示ROI變換系數(shù)及非ROI變換系數(shù)，(c)表示將非ROI變換系數(shù)的低位2位置換為零的狀態(tài)。
圖16是表示實(shí)施方式2的實(shí)施例2所涉及的圖像譯碼裝置的構(gòu)成的圖。
圖17是表示實(shí)施方式2的實(shí)施例3所涉及的攝像裝置的構(gòu)成的圖。
圖18是表示實(shí)施方式2的實(shí)施例3所涉及的編碼塊的構(gòu)成的圖。
圖19(a)表示子波變換系數(shù)，(b)表示ROI系數(shù)只按比例放大了5位的狀態(tài)，(c)表示從高位位平面按順序掃描按比例放大過的子波變換系數(shù)的量化值的狀態(tài)圖20(a)表示子波變換系數(shù)，(b)表示將非ROI變換系數(shù)的LSB側(cè)的S位置換為零的狀態(tài)，(c)表示從高位位平面按順序掃描包含與ROI變換系數(shù)進(jìn)行過零置換的非ROI變換系數(shù)的子波變換系數(shù)的狀態(tài)。
圖21(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(b)表示在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(c)表示從ROI區(qū)域中除去目標(biāo)的狀態(tài)，(d)表示ROI區(qū)域追蹤目標(biāo)之活動(dòng)的狀態(tài)。
圖22(a)表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(c)表示ROI區(qū)域追蹤目標(biāo)之活動(dòng)的狀態(tài)。
圖23(a)設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)，(b)表示設(shè)定ROI區(qū)域的狀態(tài)，(c)表示目標(biāo)移動(dòng)而出現(xiàn)在大框以外的狀態(tài)。
具體實(shí)施例方式
首先對(duì)實(shí)施方式1進(jìn)行說明。
(實(shí)施方式1的實(shí)施例1)圖1是實(shí)施方式1的實(shí)施例1所涉及的圖像編碼裝置100的構(gòu)成圖。圖像編碼裝置100的構(gòu)成，在硬件方面可以由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他LSI來實(shí)現(xiàn)，在軟件方面可以通過存儲(chǔ)器所裝載的具有編碼功能的程序等來實(shí)現(xiàn)，但在此描述的是通過這些的協(xié)同來實(shí)現(xiàn)的功能塊。因此，這些功能塊可以僅由硬件、僅由軟件、或者由這些的組合以各種形式來實(shí)現(xiàn)，這是本領(lǐng)域的技術(shù)人員可以理解的。
圖像編碼裝置100將所輸入的原圖像作為一例，利用JPEG2000方式進(jìn)行壓縮編碼。輸入到圖像編碼裝置200的原圖像是動(dòng)態(tài)圖像的幀。圖像編碼裝置100可以以JPEG方式對(duì)動(dòng)態(tài)圖像的各幀連續(xù)進(jìn)行編碼，生成動(dòng)態(tài)圖像的編碼流。
子波變換部10將所輸入的原圖像進(jìn)行次能帶分割，計(jì)算各次能帶圖像的子波變換系數(shù)，生成被分層的子波變換系數(shù)。具體是，子波變換系數(shù)10在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個(gè)頻率次能帶并進(jìn)行子波變換。這些次能帶是在x、y兩方向具有低頻成分的LL次能帶；在x、y的其中任一個(gè)方向具有低頻成分，且在另一方向具有高頻成分的HL及LH次能帶；和在x、y兩方向具有高頻成分的HH次能帶。各次能帶的縱橫像素?cái)?shù)是處理前圖像的各自1/2，以1次濾波可以得到分辨率、即圖像尺寸為1/4的次能帶圖像。
子波變換部10對(duì)這樣得到的次能帶中的LL次能帶再度進(jìn)行濾波處理，將其進(jìn)一步分割為LL、HL、LH、HH的4個(gè)次能帶后進(jìn)行子波變換。子波變換部10將該濾波進(jìn)行規(guī)定次數(shù)，將原圖像分層為次能帶圖像，輸出各次能帶的子波變換系數(shù)。量化部12以規(guī)定的量化寬度對(duì)從子波變換部10輸出的子波變換系數(shù)進(jìn)行量化。
活動(dòng)檢測部18檢測所指定的目標(biāo)的位置，并輸出到ROI設(shè)定部20。目標(biāo)的指定可以由用戶來進(jìn)行，也可以由活動(dòng)檢測部18從用戶指定的ROI區(qū)域中自動(dòng)識(shí)別。另外，也可以從圖像的整體中自動(dòng)識(shí)別。該目標(biāo)的指定可以是多個(gè)。
在動(dòng)態(tài)圖像的情況下，目標(biāo)的位置可以用活動(dòng)矢量來表示。以下，說明活動(dòng)矢量檢測方法的具體例。第一，活動(dòng)檢測部18具備SRAM或SDRAM等存儲(chǔ)器，在目標(biāo)的指定時(shí)將該幀內(nèi)被指定過的圖像作為參考圖像保存在該存儲(chǔ)器中。參考圖像只要保存包含指定位置的規(guī)定大小的塊即可?；顒?dòng)檢測部18通過比較參考圖像與當(dāng)前幀的圖像來檢測活動(dòng)矢量。在活動(dòng)矢量的計(jì)算中，可以采用子波變換系數(shù)的高頻成分，特定目標(biāo)的輪廓成分后進(jìn)行。另外，也可以采用量化后的子波變換系數(shù)的MSB(MostSignificant Bit)位平面或者M(jìn)SB側(cè)的多個(gè)位平面。
第二，活動(dòng)檢測部18比較當(dāng)前幀和前面的、例如前一幀，以檢測目標(biāo)的活動(dòng)矢量。第三，不比較幀圖像，而是比較子波變換后的子波變換系數(shù)，以檢測活動(dòng)矢量。子波變換系數(shù)可以采用LL次能帶、HL次能帶、LH次能帶及HH次能帶的任一種。另外，與當(dāng)前幀的比較對(duì)象可以是指定時(shí)注冊(cè)過的參考圖像，也可以是前面的、例如從前一幀注冊(cè)過的參考圖像。
第四，活動(dòng)檢測部18采用多個(gè)子波變換系數(shù)來檢測目標(biāo)的活動(dòng)矢量。例如，可以按LL次能帶、LH次能帶及HH次能帶檢測活動(dòng)矢量，取這3個(gè)活動(dòng)矢量的平均，或從其中選擇距前面幀的活動(dòng)矢量最近的矢量。由此，可以提高目標(biāo)的活動(dòng)檢測精度。
用戶可以預(yù)先在活動(dòng)檢測部18中指定在圖像內(nèi)檢測這種活動(dòng)矢量的范圍。例如，在方便商店等店鋪的監(jiān)視照相機(jī)中采用本圖像編碼裝置的情況下，能進(jìn)行以下處理關(guān)注從寄存器進(jìn)入一定范圍的人物等目標(biāo)，但不關(guān)注從此出來的目標(biāo)的活動(dòng)。
ROI設(shè)定部20從活動(dòng)檢測部18取得目標(biāo)的活動(dòng)矢量等位置信息，與此相對(duì)應(yīng)，使ROI區(qū)域移動(dòng)。根據(jù)活動(dòng)檢測部18的檢測方法，計(jì)算從初始設(shè)定的ROI區(qū)域的位置開始的移動(dòng)量、或者從前一幀開始的移動(dòng)量，以決定當(dāng)前幀的ROI區(qū)域的位置。
用戶將ROI區(qū)域的位置、大小及圖像質(zhì)量等作為初始值設(shè)定在ROI設(shè)定部20中。而且，在用戶指定了目標(biāo)的情況下，或者活動(dòng)檢測部18進(jìn)行了自動(dòng)識(shí)別的情況下，ROI設(shè)定部20可以在ROI區(qū)域中自動(dòng)設(shè)定包含該目標(biāo)的規(guī)定范圍。
ROI區(qū)域的形狀可以是矩形、圓形、其他復(fù)雜形狀。ROI區(qū)域自身的形狀雖然在原則上是固定的，但可以在圖像的中心部分與外周部分使區(qū)域的形狀變化，也可以通過用戶操作而動(dòng)態(tài)變化。另外，ROI區(qū)域可以設(shè)定多個(gè)。
ROI設(shè)定部20將ROI設(shè)定信息輸出到量化部12及編碼數(shù)據(jù)生成部16，進(jìn)行ROI編碼。在ROI編碼中有最大值移位法，其將對(duì)應(yīng)于圖像的關(guān)注區(qū)域的子波變換系數(shù)(以下稱為ROI變換系數(shù))的位平面僅按比例放大對(duì)應(yīng)于非關(guān)注區(qū)域的子波變換系數(shù)(以下稱為非ROI變換系數(shù))的位平面的最大位數(shù)。根據(jù)該方法，ROI變換系數(shù)的全部位平面都比任一非ROI變換系數(shù)的位平面先被編碼。
首先，說明利用最大值移位法進(jìn)行ROI編碼的例子。圖2(a)表示量化后的子波變換系數(shù)50，包括從最高位位(Most Significant Bit；MSB)到最低位位(Least Significant Bit；LSB)的5位的各位平面。
ROI設(shè)定部20以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的關(guān)注區(qū)域，生成用于特定對(duì)應(yīng)于該關(guān)注區(qū)域的子波變換系數(shù)、即ROI變換系數(shù)的ROI掩碼。ROI變換系數(shù)在圖2(a)的子波變換系數(shù)50中用斜線表示。
量化部12使用上述ROI掩碼，將量化后的ROI變換系數(shù)僅按比例放大S位。即，將ROI變換系數(shù)的值僅左移位S位。在此，按比例放大量S是比對(duì)應(yīng)于非關(guān)注區(qū)域的子波變換系數(shù)、即非ROI變換系數(shù)的量化值的最大值的位數(shù)還大的自然數(shù)。圖2(b)表示將ROI變換系數(shù)僅按比例放大了5位的狀態(tài)的子波變換系數(shù)52。在按比例放大后的子波變換系數(shù)52中，零值充當(dāng)通過按比例放大而新生成的位數(shù)。
熵編碼部14如圖2(c)的箭頭所示，一邊從高位位平面開始按順序掃描按比例放大后的子波變換系數(shù)52的量化值，一邊進(jìn)行熵編碼。
編碼數(shù)據(jù)生成部16從ROI設(shè)定部20得到位置或按比例放大量等ROI設(shè)定信息，以及從熵編碼部14得到量化寬度等頭生成用的信息，生成頭。另外，將熵編碼過的數(shù)據(jù)進(jìn)行流化，并將編碼圖像輸出到記錄介質(zhì)或網(wǎng)絡(luò)。在此，在記錄介質(zhì)中可以采用SDRAM或閃速硬盤驅(qū)動(dòng)器等。
如以上所說明的，若利用最大值移位法進(jìn)行ROI編碼，則為了削減代碼量，即使僅在中途進(jìn)行編碼，也由于可以優(yōu)先編碼ROI區(qū)域的位平面，故可以使ROI區(qū)域的圖像質(zhì)量成為比非ROI區(qū)域的圖像質(zhì)量高的圖像質(zhì)量。
接著，對(duì)削減位平面進(jìn)行ROI編碼的例子進(jìn)行說明。ROI設(shè)定部20以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的關(guān)注區(qū)域，生成特定對(duì)應(yīng)于該關(guān)注區(qū)域的子波變換系數(shù)即ROI變換系數(shù)用的ROI掩碼。在以矩形選擇關(guān)注區(qū)域的情況下，ROI區(qū)域的位置信息由矩形區(qū)域的左上角的像素坐標(biāo)值與矩形區(qū)域的縱橫像素?cái)?shù)給出。
圖3(a)～(c)是說明由ROI設(shè)定部20生成的ROI掩碼的圖。如圖3(a)所示，設(shè)由ROI設(shè)定部20在原圖像80上選擇了關(guān)注區(qū)域90。ROI設(shè)定部20在各次能帶中特定為復(fù)原原圖像80上所選擇的關(guān)注區(qū)域90所需的子波變換系數(shù)。
圖3(b)表示通過將原圖像80僅子波變換1次而得到的第1層變換圖像82。第1層變換圖像82由第1水平的4個(gè)次能帶LL1、HL1、LH1、HH1構(gòu)成。ROI設(shè)定部20在第1水平的各次能帶LL1、HL1、LH1、HH1中特定為復(fù)原原圖像80上的關(guān)注區(qū)域90所需的第1層變換圖像82上的子波變換系數(shù)、即ROI變換系數(shù)91～94。
圖3(c)表示通過將圖3(b)的變換圖像82的最低頻率成分的次能帶LL1進(jìn)一步進(jìn)行子波變換而得到的第2層的變換圖像84。第2層的變換圖像84如該圖所示，除了第1水平的3個(gè)次能帶HL1、LH1、HH1以外，還包括第2水平的4個(gè)次能帶LL2、HL2、LH2、HH2。ROI設(shè)定部20，在第2水平的各次能帶LL2、HL2、LH2、HH2中特定為復(fù)原第1層變換圖像82中的ROI變換系數(shù)91所需的第2層變換圖像84上的子波變換系數(shù)、即ROI變換系數(shù)95～98。
同樣，通過將對(duì)應(yīng)于關(guān)注區(qū)域90的ROI變換系數(shù)在各層中僅循環(huán)地特定子波變換的次數(shù)，從而在最終層的變換圖像中，可以全部特定為復(fù)原關(guān)注區(qū)域90所需的ROI變換系數(shù)。ROI設(shè)定部20生成在最終層的變換圖像上特定該最終特定的ROI變換系數(shù)的位置用的ROI掩碼。例如，在僅進(jìn)行了2次子波變換的情況下，生成可以特定圖3(c)中以斜線示出的7個(gè)ROI變換系數(shù)92～98的ROI掩碼。
量化部12在量化后在圖像質(zhì)量設(shè)定中根據(jù)優(yōu)先度，在對(duì)應(yīng)于非關(guān)注區(qū)域的上述子波變換系數(shù)的位列中調(diào)整置換為零值的低位位數(shù)。參照由ROI設(shè)定部20生成的ROI掩碼，在未被ROI掩碼屏蔽的非ROI變換系數(shù)的位列中從最低位位開始數(shù)，僅將S位置換為零。在此，零置換位數(shù)S是以非關(guān)注區(qū)域中的量化值的最大位數(shù)為上限的任意自然數(shù)。通過使該零置換位數(shù)S變化，從而可以連續(xù)調(diào)整相對(duì)于關(guān)注區(qū)域的非關(guān)注區(qū)域的再生圖像質(zhì)量的劣化程度。
圖4(a)～(c)是說明由量化部12對(duì)原圖像的子波變換系數(shù)60的低位位進(jìn)行零置換的狀態(tài)的圖。圖4(a)表示量化后的子波變換系數(shù)60，包含5位平面，用斜線表示ROI變換系數(shù)。
如圖4(b)所示，量化部12將未由ROI掩碼屏蔽的非ROI變換系數(shù)的LSB側(cè)的S位置換為零。在本例中S＝2，如標(biāo)記64所示，可以得到非ROI變換系數(shù)的LSB側(cè)的2位被置換為零的子波變換系數(shù)62。
如圖4(c)的箭頭所示，熵編碼部14一邊從高位位平面按順序?qū)Π琑OI變換系數(shù)和零置換過的非ROI變換系數(shù)的子波變換系數(shù)62進(jìn)行掃面，一邊進(jìn)行熵編碼。
圖5(a)～(c)是說明原圖像熵不存在關(guān)注區(qū)域的情況下對(duì)子波變換系數(shù)的低位位進(jìn)行零置換的狀態(tài)的圖。圖5(a)表示因?yàn)樵谠瓐D像中沒有設(shè)定關(guān)注區(qū)域，所以僅由非ROI變換系數(shù)構(gòu)成的5位平面的子波變換系數(shù)70。在零置換位數(shù)S為2的情況下，如圖5(b)所示，量化部12生成將5位平面內(nèi)、LSB側(cè)的低位2位平面置換為零的子波變換系數(shù)72。
如圖5(c)所示，熵編碼部14從上面開始按順序?qū)α阒脫Q后的子波變換系數(shù)72的高位3位平面進(jìn)行熵編碼。該情況下，零置換后的低位的2位平面沒有進(jìn)行編碼。而且，取代零置換低位2位平面，也可以僅舍棄低位2位平面。
編碼數(shù)據(jù)生成部16以量化寬度等編碼參數(shù)為基礎(chǔ)來生成頭。另外，將熵編碼完的數(shù)據(jù)流化，作為編碼圖像輸出到記錄介質(zhì)或網(wǎng)絡(luò)。
一般，在根據(jù)存儲(chǔ)容量或傳送率的限制等在最終的編碼圖像的數(shù)據(jù)大小中設(shè)定有上限的情況下，熵編碼部14在從高位位平面開始按順序編碼量化后的子波變換系數(shù)之際，為了遵守?cái)?shù)據(jù)大小的上限而以中間的位平面來中止編碼?；蛘?，編碼數(shù)據(jù)生成部16在從高位位平面開始按順序輸出流化后的編碼輸出之際，為了遵守傳送率的限制而以中間的位平面來中止流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小中存在制約的情況下，也由于在低位的位平面中，對(duì)非關(guān)注區(qū)域所對(duì)應(yīng)的子波變換系數(shù)進(jìn)行零置換，僅將關(guān)注區(qū)域所對(duì)應(yīng)的子波變換系數(shù)作為有意義的信息而設(shè)為編碼的對(duì)象，故低位的位平面的壓縮效率提高，即使編碼到最低位位平面為止，也不會(huì)大量增加數(shù)據(jù)大小。
如以上所說明的，削減位平面的編碼方法，由于不進(jìn)行ROI變換系數(shù)的按比例放大處理，故可以有效地進(jìn)行編碼的運(yùn)算。另外，由于不會(huì)增加應(yīng)編碼的位平面數(shù)，故無需多余設(shè)置存儲(chǔ)區(qū)域，可以削減硬件成本。
此外，由于不需要進(jìn)行譯碼時(shí)的按比例縮小處理，故無需在編碼數(shù)據(jù)的頭中附加ROI位置信息，無需在編碼數(shù)據(jù)中附加按比例放大量。進(jìn)而，因?yàn)橐栽摲椒ㄟM(jìn)行了ROI編碼的圖像在格式上與通常的編碼圖像沒有區(qū)別，故可以以和通常的編碼圖像的譯碼處理完全相同的處理來進(jìn)行譯碼，可以保持譯碼處理的互換性。
(實(shí)施方式1的實(shí)施例2)圖6是實(shí)施方式1的實(shí)施例2所涉及的圖像編碼裝置200的構(gòu)成圖。該圖像編碼裝置200是在實(shí)施方式1的實(shí)施例1所涉及的圖像編碼裝置100中附加了圖像質(zhì)量設(shè)定部22的構(gòu)成。對(duì)于與實(shí)施方式1的實(shí)施例1相同的構(gòu)成付與相同的標(biāo)記，說明與實(shí)施方式1的實(shí)施例1不同的構(gòu)成和活動(dòng)。
ROI區(qū)域及非ROI區(qū)域的圖像質(zhì)量的初始值，用戶可以設(shè)定在ROI設(shè)定部20中。另外，圖像質(zhì)量設(shè)定部22也可以以將非ROI區(qū)域的圖像質(zhì)量分配給每一幀的代碼量為基礎(chǔ)，進(jìn)行計(jì)算、類推而自動(dòng)確定。即，若ROI區(qū)域的代碼量增多，則減少非ROI區(qū)域的代碼量；若ROI區(qū)域的代碼量減少，則增加非ROI區(qū)域的代碼量。而且，在ROI區(qū)域加馬賽克等、使ROI區(qū)域?yàn)榈蛨D像質(zhì)量的情況下與此相反。若調(diào)換ROI區(qū)域與非ROI區(qū)域來閱讀則能夠?qū)崿F(xiàn)上述的ROI編碼的說明。
另外，圖像質(zhì)量設(shè)定部22在動(dòng)態(tài)圖像攝影中，可以從到此為止拍攝到的代碼量或記錄有編碼流的記錄介質(zhì)的殘量進(jìn)行計(jì)算、類推，以自適應(yīng)地調(diào)整非ROI區(qū)域的編碼量。例如，若記錄介質(zhì)的殘量減少，則減少非ROI區(qū)域的代碼量。
根據(jù)以上說明的本實(shí)施例，通過由圖像質(zhì)量設(shè)定部22調(diào)整非ROI區(qū)域的代碼量，從而可以將用戶關(guān)注的目標(biāo)的圖像質(zhì)量維持在用戶所期望的水平，一邊將動(dòng)態(tài)圖像整體的代碼量抑制在規(guī)定的容量。
(實(shí)施方式1的實(shí)施例3)圖7是實(shí)施方式1的實(shí)施例3所涉及的圖像編碼裝置300的構(gòu)成圖。該圖像編碼裝置300是在實(shí)施方式1的實(shí)施例所涉及的圖像編碼裝置100中附加了幀緩沖器24及目標(biāo)提取部26的構(gòu)成。對(duì)于與實(shí)施方式1的實(shí)施例1相同的構(gòu)成付與相同的標(biāo)記，說明與實(shí)施方式1的實(shí)施例1不同的構(gòu)成和活動(dòng)。另外，即使對(duì)相同構(gòu)成的不同的活動(dòng)也進(jìn)行說明。
幀緩沖器24是SDRAM等大容量存儲(chǔ)器，至少存儲(chǔ)當(dāng)前幀與前面的、例如前一幀。目標(biāo)提取部26分離圖像內(nèi)的目標(biāo)與背景。目標(biāo)提取部26比較前面幀的圖像與當(dāng)前幀的圖像。此時(shí)，如采用MPEG(Moving PictureExperts Group)那樣，將圖像分解為多個(gè)塊，按每塊求得活動(dòng)矢量，將這些的平均值或最頻值作為背景的活動(dòng)矢量。這是利用了成為目標(biāo)的運(yùn)動(dòng)體不規(guī)則移動(dòng)，背景在視點(diǎn)移動(dòng)的情況下向一個(gè)方向移動(dòng)的狀況。
目標(biāo)提取部26偏離所求得的背景的活動(dòng)矢量所對(duì)應(yīng)的部分，生成前面幀圖像與當(dāng)前幀圖像的差分圖像。由于該差分圖像的背景一致或基本一致，故目標(biāo)提取部26可以精度優(yōu)良地去除背景。目標(biāo)提取部26具備參考存儲(chǔ)器。從該背景被除去的圖像檢測所指定的目標(biāo)，作為參考圖像保存在參考存儲(chǔ)器中。參考圖像可以固定使用最初的指定時(shí)的圖像，也可以每次更新。在指定多個(gè)目標(biāo)的情況下，在參考存儲(chǔ)器中保存對(duì)應(yīng)的多個(gè)參考圖像。另外，也可以具備多個(gè)參考存儲(chǔ)器。
活動(dòng)檢測部18比較保存在參考存儲(chǔ)器中的參考圖像和下一幀的差分圖像，檢測目標(biāo)的絕對(duì)活動(dòng)矢量。該差分圖像可以是背景被取出的圖像，也可以是殘留有背景的圖像。將該活動(dòng)矢量與背景的活動(dòng)矢量輸出到量化部12。量化部12在量化后根據(jù)該活動(dòng)矢量和背景的活動(dòng)矢量，計(jì)算ROI區(qū)域的活動(dòng)，與此對(duì)應(yīng)，使ROI區(qū)域移動(dòng)。
在以上的說明中，雖然目標(biāo)提取部26比較前面幀的圖像與當(dāng)前幀的圖像來檢測出背景的活動(dòng)矢量，但也可以比較前面幀的子波變換系數(shù)與當(dāng)前幀的子波變換系數(shù)。此時(shí)，若采用LL次能帶則可以減小圖像尺寸。若采用HL次能帶、LH次能帶或HH次能帶，則在此基礎(chǔ)上，還可以減少用于僅提取輪廓的運(yùn)算量。
圖8是表示在圖像內(nèi)分離目標(biāo)與背景的狀態(tài)的圖。圖8(a)表示前面的幀。人物A與人物B、2個(gè)目標(biāo)存在于圖像內(nèi)。圖8(b)表示當(dāng)前幀。由于花向右移動(dòng)，故可知背景向右移動(dòng)，即視點(diǎn)向左移動(dòng)。人物A稍向左上移動(dòng)，人物B向左大量移動(dòng)。該兩幀間的人物A及人物B的活動(dòng)是相對(duì)的活動(dòng)。圖8(c)表示差分圖像。該差分圖像是為了將背景的移動(dòng)相抵而使前面的幀向右移動(dòng)并合成的?？梢詸z測人物A及人物B的絕對(duì)活動(dòng)。另外，也可以除去背景。
根據(jù)以上說明的本實(shí)施例，即使在數(shù)碼攝像機(jī)的攝影等、動(dòng)態(tài)圖像攝影中視點(diǎn)變動(dòng)的情況下，通過與背景的活動(dòng)相抵來檢測絕對(duì)的目標(biāo)的活動(dòng)，從而可以降低背景的變動(dòng)所導(dǎo)致的目標(biāo)的誤識(shí)別，可以使ROI區(qū)域精度優(yōu)良地進(jìn)行追蹤。
(實(shí)施方式1的實(shí)施例4)圖9是實(shí)施方式1的實(shí)施例4所涉及的攝像裝置400的構(gòu)成圖。作為攝像裝置400的例子，列舉數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、監(jiān)視照相機(jī)等。
攝像部410例如具備CCD(Charge Coupled Device)等，取入來自被拍攝物的光并轉(zhuǎn)換為電信號(hào)，輸出到編碼塊420。編碼塊420對(duì)從攝像部410輸入的原圖像進(jìn)行編碼，并將編碼后的圖像轉(zhuǎn)送到輸出部440。
編碼塊420具有實(shí)施方式1的實(shí)施例1～3中任一個(gè)圖像編碼裝置的構(gòu)成，生成在關(guān)注區(qū)域與非關(guān)注區(qū)域圖像質(zhì)量不同的編碼圖像。操作部430具備液晶顯示器或有機(jī)EL顯示器，在那里顯示攝像部410拍攝到的圖像。用戶可以在該圖像內(nèi)指定關(guān)注區(qū)域或所關(guān)注的目標(biāo)。例如，可以用十字鍵等移動(dòng)圖像內(nèi)的光標(biāo)或框，或者采用觸摸面板方式的顯示器，用記錄筆等來指定。操作部430除此以外還可以裝載快門按鈕或各種操作按鈕。
輸出部440是能裝卸的記錄介質(zhì)或LAN等網(wǎng)絡(luò)。由編碼塊420編碼過的圖像或者記錄在該記錄介質(zhì)中，或者送往網(wǎng)絡(luò)。
圖10是表示實(shí)施方式1的實(shí)施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域的追蹤處理的第1例的圖。圖10(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)。以十字的光標(biāo)來指定用戶所關(guān)注的人物A。圖10(b)表示在圖像內(nèi)設(shè)定有ROI區(qū)域的狀態(tài)。被框圍起來的區(qū)域是ROI區(qū)域。ROI區(qū)域可以通過用戶操作而被初始設(shè)定，也可以在包含所指定的目標(biāo)的規(guī)定區(qū)域自動(dòng)進(jìn)行初始設(shè)定。圖10(c)表示人物A移動(dòng)而跑出ROI區(qū)域的狀態(tài)。圖10(d)表示ROI區(qū)域也追蹤人物A的活動(dòng)的狀態(tài)。檢測人物A的活動(dòng)矢量，與此相對(duì)應(yīng)，使ROI區(qū)域也移動(dòng)。
圖11是表示實(shí)施方式1的實(shí)施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域追蹤處理的第2例的圖。圖11(a)與第1例的順序不同，表示在圖像內(nèi)用戶設(shè)定ROI區(qū)域的狀態(tài)。將人物A及人物B內(nèi)的人物A設(shè)定為用戶所關(guān)注的目標(biāo)。而且，也可以設(shè)定多個(gè)ROI區(qū)域。圖11(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)。用戶可以指定，也可以自動(dòng)識(shí)別。圖11(c)表示人物A移動(dòng)、ROI區(qū)域追蹤該活動(dòng)的狀態(tài)。因?yàn)槿宋顱的移動(dòng)沒有指定為用戶所關(guān)注的目標(biāo)，故對(duì)ROI區(qū)域的移動(dòng)沒有影響。
圖12是表示實(shí)施方式1的實(shí)施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域追蹤處理的第3例的圖。圖12(a)表示設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)。圖中的大框表示該范圍。圖12(b)表示設(shè)定ROI區(qū)域的狀態(tài)。該ROI區(qū)域僅在設(shè)定過的大框中移動(dòng)。圖12(c)表示人物A移動(dòng)而跑到大框外的狀態(tài)。因?yàn)镽OI區(qū)域在大框的范圍內(nèi)進(jìn)行人物A的追蹤，故在中途成為追蹤結(jié)束。而且，若用戶所關(guān)注的目標(biāo)跑出大框，則可以成為結(jié)束攝影本身的處理。例如，是在監(jiān)視照相機(jī)的情況下，需要特別記錄侵入到一定范圍區(qū)域的人物，只要在該范圍內(nèi)維持人物等目標(biāo)的圖像質(zhì)量即可。第3例可以適用于這種情況，可以比第1例及第2例進(jìn)一步削減代碼量。
而且，攝像裝置400當(dāng)然可以一邊進(jìn)行使ROI區(qū)域追蹤所指定的目標(biāo)的處理，一邊拍攝動(dòng)態(tài)圖像并記錄到輸出部440中。另外，在此期間用戶可以從操作部430進(jìn)行操作，進(jìn)行ROI區(qū)域的設(shè)定解除、再設(shè)定。若ROI區(qū)域被解除，則以相同的低位率編碼圖像內(nèi)的所有區(qū)域。并且，通過用戶的該操作，動(dòng)態(tài)圖像攝影可以暫時(shí)停止、重新開始。進(jìn)而，在使ROI區(qū)域追蹤所指定的目標(biāo)的處理中，用戶可以通過壓下操作部430的快門按鈕等而拍攝靜止圖像。該靜止圖像在ROI區(qū)域?yàn)楦邎D像質(zhì)量，在非ROI區(qū)域?yàn)榈蛨D像質(zhì)量。
根據(jù)以上所說明的本實(shí)施例，通過減少非ROI區(qū)域的代碼量，從而可以提供一邊將用戶關(guān)注的目標(biāo)的圖像質(zhì)量維持在用戶所期望的水平，一邊可以降低動(dòng)態(tài)圖像整體的代碼量的攝像裝置。
以上，以實(shí)施例為基礎(chǔ)說明了實(shí)施方式1。這些實(shí)施例是示例，這些構(gòu)成要素或各處理過程的組合可以有各種變形例，另外這些變形例也在本發(fā)明的范圍內(nèi)，這是本領(lǐng)域的技術(shù)人員可以理解的。以下示出這種變形例。
在上述的實(shí)施例中，以JPEG2000方式連續(xù)進(jìn)行編碼，生成動(dòng)態(tài)圖像的編碼流，但不限于JPEG2000方式，只要是可以生成動(dòng)態(tài)圖像的編碼流的方式即可。
削減位平面、進(jìn)行ROI編碼的方法僅對(duì)非ROI變換系數(shù)的低位位進(jìn)行零置換，ROI變換系數(shù)的按比例放大全都不進(jìn)行，但也可以組合ROI變換系數(shù)的按比例放大與非ROI變換系數(shù)的低位位的零置換來實(shí)施。
在上述的實(shí)施例中，在用戶在ROI設(shè)定部20中設(shè)定多個(gè)ROI區(qū)域的情況下，可以按每個(gè)ROI區(qū)域設(shè)定不同的圖像質(zhì)量。通過調(diào)整非ROI變換系數(shù)的低位位的零置換數(shù)，從而可以實(shí)現(xiàn)各種水平的圖像質(zhì)量。
無論哪一個(gè)實(shí)施例，作為圖像編碼用的空間濾波都說明了子波變換，但也可以采用其他的空間頻率變換。例如，即使在JPEG標(biāo)準(zhǔn)中采用的離散余弦變換的情況下，通過以同樣的方法對(duì)非關(guān)注區(qū)域的變換系數(shù)的低位位進(jìn)行零置換，從而犧牲非關(guān)注區(qū)域的圖像質(zhì)量，提高圖像整體的壓縮效率，同時(shí)可以相對(duì)提高關(guān)注區(qū)域的圖像質(zhì)量。
實(shí)施方式2的實(shí)施例如下所述。
(實(shí)施方式2的實(shí)施例1)圖13是實(shí)施方式2的實(shí)施例1所涉及的圖像譯碼裝置1100的構(gòu)成圖。圖像譯碼裝置1100的構(gòu)成，在硬件方面可以由任意計(jì)算機(jī)的CPU、存儲(chǔ)器、其他LSI來實(shí)現(xiàn)；在軟件方面可以通過存儲(chǔ)器所裝載的具有編碼功能的程序等來實(shí)現(xiàn)，但在此描述的是通過這些的協(xié)同來實(shí)現(xiàn)的功能塊。因此，這些功能塊可以僅由硬件、僅由軟件、或者由這些的組合以各種形式來實(shí)現(xiàn)，這是本領(lǐng)域的技術(shù)人員可以理解的。
在實(shí)施方式2的實(shí)施例1中，圖像譯碼裝置1100將利用JPEG2000方式而被壓縮編碼過的編碼圖像作為一例進(jìn)行譯碼。輸入到圖像譯碼裝置1100的編碼圖像是未進(jìn)行ROI編碼的通常的編碼圖像，ROI編碼使圖像的關(guān)注區(qū)域(Region of Interest；ROI)比其他還優(yōu)先進(jìn)行編碼。圖像譯碼裝置1100在譯碼時(shí)指定關(guān)注區(qū)域(以下稱為ROI區(qū)域)，對(duì)ROI區(qū)域優(yōu)先進(jìn)行譯碼。
輸入到圖像譯碼裝置1100的編碼圖像也可以是動(dòng)態(tài)圖像的編碼幀。通過對(duì)作為編碼流輸入的動(dòng)態(tài)圖像的各編碼幀連續(xù)進(jìn)行譯碼，從而可以再生動(dòng)態(tài)圖像。
編碼數(shù)據(jù)提取部1010從所輸入的編碼圖像中提取編碼數(shù)據(jù)。熵譯碼部1012按每個(gè)位平面對(duì)編碼數(shù)據(jù)進(jìn)行譯碼，將作為譯碼結(jié)果而得到的量化后的子波變換系數(shù)存儲(chǔ)在未圖示的存儲(chǔ)器中。
活動(dòng)檢測部1018檢測所指定的目標(biāo)的位置，并輸出到ROI設(shè)定部1020。目標(biāo)的指定可以由用戶來進(jìn)行，也可以由活動(dòng)檢測部1018從用戶指定的ROI區(qū)域中自動(dòng)識(shí)別。另外，也可以從整個(gè)圖像中自動(dòng)識(shí)別。該目標(biāo)的指定可以為多個(gè)。
在動(dòng)態(tài)圖像的情況下，目標(biāo)的位置用活動(dòng)矢量來表示。以下，說明活動(dòng)矢量檢測方法的具體例。第一，活動(dòng)檢測部1018具備SRAM或SDAM等存儲(chǔ)器，將目標(biāo)指定時(shí)在該幀內(nèi)被指定的目標(biāo)的圖像作為參考圖像，保存在該存儲(chǔ)器中。作為參考圖像，可以保存包含指定位置的規(guī)定大小的塊?；顒?dòng)檢測部1018通過比較該參考圖像與當(dāng)前幀的圖像，從而檢測活動(dòng)矢量。在活動(dòng)矢量的計(jì)算中，可以采用子波變換系數(shù)的高頻成分，特定目標(biāo)的輪廓成分而進(jìn)行。另外，也可以采用量化后的子波變換系數(shù)的MSB(MostSignificant Bit)位平面或者從MSB側(cè)開始的多個(gè)位平面。
第二，活動(dòng)檢測部1018比較當(dāng)前幀和前面的、例如前一幀，以檢測目標(biāo)的活動(dòng)矢量。第三，不比較幀圖像，而是比較子波變換后的子波變化系數(shù)，以檢測活動(dòng)矢量。子波變換系數(shù)可以采用LL次能帶、HL次能帶、LH次能帶及HH次能帶的任一種。此外，與當(dāng)前幀的比較對(duì)象可以是指定時(shí)注冊(cè)過的參考圖像，也可以是從前面的、例如前一幀注冊(cè)過的參考圖像。
第四，活動(dòng)檢測部1018采用多個(gè)子波變換系數(shù)，以檢測目標(biāo)的活動(dòng)矢量。例如，可以按HL次能帶、LH次能帶及HH次能帶的每一個(gè)來檢測活動(dòng)矢量，取這3個(gè)活動(dòng)矢量的平均值，或者從其中選擇距前面幀的活動(dòng)矢量最近的矢量。由此，可以提高目標(biāo)的活動(dòng)檢測精度。
另外，用戶可以預(yù)先在活動(dòng)檢測部1018中指定在圖像內(nèi)檢測這種活動(dòng)矢量的范圍。例如，對(duì)以方便商店等店鋪的監(jiān)視照相機(jī)拍攝到的圖像進(jìn)行譯碼的情況下，能夠進(jìn)行以下處理關(guān)注從徑向(radius)進(jìn)入到一定范圍的人物等目標(biāo)，不關(guān)注從那里出來的目標(biāo)的活動(dòng)。
ROI設(shè)定部1020，從活動(dòng)檢測部1018取得目標(biāo)的活動(dòng)矢量等位置信息，并與此相對(duì)應(yīng)，使ROI區(qū)域移動(dòng)。根據(jù)活動(dòng)檢測部1018的檢測方法，計(jì)算距初始設(shè)定的ROI區(qū)域的位置的移動(dòng)量或者距前一幀的移動(dòng)量，以決定當(dāng)前幀的ROI的位置。
用戶將ROI區(qū)域的位置、大小及圖像質(zhì)量等作為初始值設(shè)定在ROI設(shè)定部1020中。在ROI區(qū)域選擇為矩形的情況下，ROI區(qū)域的位置信息可以由矩形區(qū)域左上角的像素的坐標(biāo)值與矩形區(qū)域的縱橫像素?cái)?shù)來給出。而且，也可以在用戶指定了目標(biāo)的情況下，或者活動(dòng)檢測部1018進(jìn)行了自動(dòng)識(shí)別的情況下，ROI設(shè)定部1020將包含該目標(biāo)的規(guī)定范圍自動(dòng)設(shè)定為ROI區(qū)域。
ROI區(qū)域的形狀可以是矩形、圓形、其他復(fù)雜形狀。ROI區(qū)域自身的形狀雖然在原則上是固定的，但可以在圖像的中心部分與外周部分使區(qū)域的形狀變化，也可以通過用戶操作而動(dòng)態(tài)變化。另外，ROI區(qū)域可以設(shè)定多個(gè)。
ROI設(shè)定部1020以ROI設(shè)定信息為基礎(chǔ)，生成特定ROI區(qū)域所對(duì)應(yīng)的子波變換系數(shù)、即ROI變換系數(shù)用的ROI掩碼。逆量化部1014根據(jù)非關(guān)注區(qū)域(以下稱為非ROI區(qū)域)相對(duì)于ROI區(qū)域的相對(duì)優(yōu)先度，調(diào)整非ROI區(qū)域所對(duì)應(yīng)的上述子波變換系數(shù)的位列中置換為零值的低位位數(shù)。接著，參照上述ROI掩碼，進(jìn)行將從由熵譯碼部1012譯碼過的子波變換系數(shù)內(nèi)、非ROI變換系數(shù)的LSB(Least Significant Bit)側(cè)開始的規(guī)定位數(shù)份置換為零的處理。
在此，置換為零的位數(shù)是將非ROI區(qū)域中的量化值的最大位數(shù)作為上限的任意自然數(shù)。通過使該位數(shù)變化，從而可以連續(xù)調(diào)整非ROI區(qū)域相對(duì)ROI區(qū)域的再生圖像質(zhì)量的劣化程度。而且，逆量化部1014對(duì)包含ROI變換系數(shù)與低位位被零置換過的非ROI變換系數(shù)的子波變換系數(shù)進(jìn)行逆量化。子波逆變換部1016對(duì)逆量化后的子波變換系數(shù)進(jìn)行逆變換，并輸出所得到的譯碼圖像。
圖14(a)～(c)是說明由ROI設(shè)定部1020生成的ROI掩碼的圖。如圖14(a)所示，設(shè)為由ROI設(shè)定部1020在原圖像1080上選擇了ROI區(qū)域1090。ROI設(shè)定部1020在各次能帶中特定為復(fù)原原圖像1080上已選擇的ROI區(qū)域1090所需的子波變換系數(shù)。
圖14(b)表示通過將圖像1080僅子波變換1次而得到的第1層的變換圖像1082。第1層的變換圖像1082由第1水平的4個(gè)次能帶LL1001、HL1001、LH1001、HH1001構(gòu)成。ROI設(shè)定部1020在第1水平的各次能帶LL1001、HL1001、LH1001、HH1001中特定為復(fù)原原圖像1080的ROI區(qū)域1090所需的第1層變換圖像1082上的子波變換系數(shù)、即ROI變換系數(shù)1091～94。
圖14(c)表示通過將圖14(b)的變換圖像1082的最低頻率成分的次能帶LL1001進(jìn)一步子波變換而得到的第2層的變換圖像1084。如圖所示，第2層的變換圖像1084除了第1水平的3個(gè)次能帶HL1001、LH1001、HH1001以外，還包括第2水平的4個(gè)次能帶LL1002、HL1002、LH1002、HH1002。ROI設(shè)定部1020在第2水平的各次能帶LL1002、HL1002、LH1002、HH1002中特定為復(fù)原第1層變換圖像1082的次能帶LL1001中的ROI變換系數(shù)1091所需的第2層變換圖像1084上的子波變換系數(shù)即ROI變換系數(shù)1095～1098。
同樣，通過在各層中對(duì)ROI區(qū)域1090所對(duì)應(yīng)的ROI變換系數(shù)僅循環(huán)特定子波變換的次數(shù)，從而在最終層的變換圖像中，可以特定全部復(fù)原ROI區(qū)域1090所需的ROI變換系數(shù)。ROI設(shè)定部1020生成在最終層的變換圖像上特定該最終特定的ROI變換系數(shù)的位置用的ROI掩碼。例如，在僅進(jìn)行2次子波變換的情況下，生成可以特定圖14(c)中用斜線表示的7個(gè)ROI變換系數(shù)1092～1098的位置的ROI掩碼。
圖15(a)～(c)表示編碼圖像譯碼后的子波變換系數(shù)的低位位被零置換的狀態(tài)。圖15(a)是熵譯碼后的圖像的子波變換系數(shù)1074，包含5位平面。在圖15(b)中，用斜線表示由ROI設(shè)定部1020指定的ROI區(qū)域所對(duì)應(yīng)的ROI變換系數(shù)。如圖15(c)所示，逆量化部1014生成將非ROI變換系數(shù)的低位2位置換為零后的子波變換系數(shù)1076。
而且，ROI設(shè)定部1020取代選擇ROI區(qū)域，也可以選擇非ROI區(qū)域。例如，在欲將暈色放入拍攝有人物的臉或車的車號(hào)牌等個(gè)人信息的區(qū)域中的情況下，將該區(qū)域選擇為非ROI區(qū)域。該情況下，使特定非ROI變換系數(shù)的掩碼反轉(zhuǎn)，可以生成特定ROI變換系數(shù)的掩碼。或者，可以向逆量化部1014提供特定非ROI變換系數(shù)的掩碼。
在向圖像譯碼裝置1100連續(xù)輸入動(dòng)態(tài)圖像的編碼幀的情況下，圖像譯碼裝置1100也可以如下所述地活動(dòng)。圖像譯碼裝置1100在通常時(shí)為了減少處理負(fù)荷，進(jìn)行適當(dāng)舍棄子波變換系數(shù)的低位位平面后再生的簡易再生。由此，即使在圖像譯碼裝置1100的處理性能存在制約的情況下，由于舍棄低位位平面，因此例如也能夠以30幀/秒進(jìn)行簡易再生。
在簡易再生中，在選擇了圖像上的ROI區(qū)域的情況下，圖像譯碼裝置1100針對(duì)非ROI區(qū)域的低位位已被零置換的狀態(tài)的子波變換系數(shù)，一直譯碼到最低位的位平面后再生圖像。此時(shí)，由于處理負(fù)荷升高，故雖然有時(shí)成為以15幀/秒等慢速拍攝的狀態(tài)或慢速再生的狀態(tài)，但可以以高圖像質(zhì)量再生ROI區(qū)域。
這樣，在選擇了ROI區(qū)域時(shí)，非ROI區(qū)域以與簡易再生同等程度的品質(zhì)直接再生，只有ROI區(qū)域以更高的品質(zhì)再生。如監(jiān)視影像那樣，在平常時(shí)不需要高的品質(zhì)，僅在異常時(shí)想以高的品質(zhì)再生關(guān)注場所的情況下是有用的。另外，在用移動(dòng)終端再生動(dòng)態(tài)圖像的情況下，從電池壽命的觀點(diǎn)來看，也可以利用在節(jié)電模式中以低品質(zhì)再生動(dòng)態(tài)圖像，根據(jù)需要以高圖像質(zhì)量僅再生ROI區(qū)域的使用方法。
根據(jù)本實(shí)施例的圖像譯碼裝置1100，對(duì)于未被ROI編碼的通常的編碼圖像，通過將非ROI區(qū)域所對(duì)應(yīng)的子波變換系數(shù)的低位位進(jìn)行零置換，從而可以相對(duì)地使ROI區(qū)域的圖像質(zhì)量比非ROI區(qū)域還高后進(jìn)行譯碼，可以容易地突出用戶關(guān)注的目標(biāo)。另外，由于僅優(yōu)先譯碼ROI區(qū)域，故可以比通常的譯碼處理減少處理量。因此，可以高速化處理，還可以削減消耗電力。
(實(shí)施方式2的實(shí)施例2)圖16是實(shí)施方式2的實(shí)施例2所涉及的圖像譯碼裝置1200的構(gòu)成圖。該圖像譯碼裝置1200是在實(shí)施方式2的實(shí)施例1所涉及的圖像譯碼裝置1100中附加了圖像質(zhì)量設(shè)定部1022的構(gòu)成。對(duì)于與實(shí)施方式2的實(shí)施例1相同的構(gòu)成付與相同的符號(hào)，并說明與實(shí)施方式2的實(shí)施例1不同的構(gòu)成和活動(dòng)。
用戶可以從圖像質(zhì)量設(shè)定部1022將ROI區(qū)域及非ROI區(qū)域的圖像質(zhì)量的初始值設(shè)定在ROI設(shè)定部1020中。另外，即使在動(dòng)態(tài)圖像再生中，也可以將ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量變更為所希望的水平。逆量化部1014根據(jù)該變更，調(diào)整ROI區(qū)域及非ROI區(qū)域的至少一方所對(duì)應(yīng)的子波變換系數(shù)的位列中置換為零值的低位位數(shù)。由此，在ROI區(qū)域與非ROI區(qū)域之間可以制作用戶所期望的水平的圖像質(zhì)量差。
此外，圖像質(zhì)量設(shè)定部1022根據(jù)再生速度，可以使ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量降低。即，在用戶選擇了2倍速再生的情況下，有時(shí)編碼圖像的完全譯碼處理不會(huì)起作用。這種情況下，例如使非ROI區(qū)域的圖像質(zhì)量降低，可以減輕處理量。由此，不管再生速度，也可以不進(jìn)行慢速拍攝地再生動(dòng)態(tài)圖像。
進(jìn)而，在圖像譯碼裝置1200裝載在移動(dòng)電話機(jī)、PDA(Person DigitalAssistant)、便攜式DVD(Digital Video Disk)播放機(jī)及能取下的汽車導(dǎo)航裝置等便攜式設(shè)備的情況下，圖像質(zhì)量設(shè)定部1022根據(jù)該設(shè)備的電池剩余容量，可以使ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量降低。即，在電池剩余容量變少的情況下，例如使非ROI區(qū)域的圖像質(zhì)量降低，可以減少消耗電力。由此，可以延長電池剩余容量變少后的圖像可能再生時(shí)間。
(實(shí)施方式2的實(shí)施例3)圖17是實(shí)施方式2的實(shí)施例3所涉及的攝像裝置1300的構(gòu)成圖。作為攝像裝置1300的例子，列舉數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、監(jiān)視照相機(jī)等。
攝像部1310例如具備CCD(Charge Coupled Device)等，取入來自被拍攝物的光并轉(zhuǎn)換為電信號(hào)，輸出到編碼塊1320。編碼塊1320對(duì)從攝像部1310輸入的原圖像進(jìn)行編碼，并將編碼后的圖像存儲(chǔ)在存儲(chǔ)部1330中。輸入到編碼塊1320的原圖像可以是動(dòng)態(tài)圖像幀，也可以將動(dòng)態(tài)圖像幀連續(xù)編碼后存儲(chǔ)在存儲(chǔ)部1330中。
譯碼塊1340從存儲(chǔ)部1330中讀出編碼圖像，譯碼后提供給顯示部1350。從存儲(chǔ)部1330讀出的編碼圖像可以是動(dòng)態(tài)圖像的編碼幀。譯碼塊1340具有實(shí)施方式2的實(shí)施例1或2的圖像譯碼裝置1100、1200的構(gòu)成，對(duì)存儲(chǔ)在存儲(chǔ)部1330中的編碼圖像進(jìn)行譯碼。從操作部1360接受設(shè)定在畫面上的ROI區(qū)域的信息，優(yōu)先譯碼ROI區(qū)域，生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的譯碼圖像。
顯示部1350具備液晶顯示器或有機(jī)EL顯示器等，在那里顯示由譯碼塊1340譯碼過的圖像。操作部1360通過用戶操作可以在顯示部1350的圖像內(nèi)指定ROI區(qū)域或關(guān)注目標(biāo)。例如，用戶以十字鍵等移動(dòng)圖像內(nèi)的光標(biāo)或框，或者采用觸摸面板方式的顯示器，用記錄筆等來指定。操作部1360除此以外還可以裝載快門按鈕或各種操作按鈕。
根據(jù)該形態(tài)，可以提供一種可容易地突出用戶關(guān)注的目標(biāo)的攝像裝置。另外，由于僅優(yōu)先譯碼ROI區(qū)域，故可以比通常的譯碼處理減少處理量。因此，可以高速化處理，還可以削減消耗電力。特別是數(shù)碼相機(jī)、數(shù)碼攝像機(jī)等通過削減消耗電力，可以延長能攝影的時(shí)間。
接著，說明實(shí)施方式2的實(shí)施例3的變形例。該例是以編碼塊1320優(yōu)先編碼ROI區(qū)域，生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的編碼圖像，以譯碼塊1340譯碼該編碼圖像的例子。
圖18是實(shí)施方式2的實(shí)施例3的變更例所涉及的編碼塊1320的構(gòu)成圖。編碼塊1320將所輸入的原圖像作為一例，利用JPEG2000方式進(jìn)行壓縮編碼。
子波變換部1030將從攝像部1310輸入的原圖像進(jìn)行次能帶分割，計(jì)算各次能帶圖像的子波變換系數(shù)，生成分層后的子波變換系數(shù)。具體是，子波變換部1030在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個(gè)頻率次能帶后進(jìn)行子波變換。這些次能帶是在x、y兩方向具有低頻成分的LL次能帶；在x、y的其中任一個(gè)方向具有低頻成分，且在另一方向具有高頻成分的HL及LH次能帶；和在x、y兩方向具有高頻成分的HH次能帶。各次能帶的縱橫像素?cái)?shù)是處理前圖像的各自1/2，以1次濾波可以得到分辨率、即圖像尺寸為1/4的次能帶圖像。
子波變換部1030，對(duì)這樣得到的次能帶中的LL次能帶再度進(jìn)行濾波處理，將其進(jìn)一步分割為LL、HL、LH、HH的4個(gè)次能帶后進(jìn)行子波變換。子波變換部1030將該濾波進(jìn)行規(guī)定次數(shù)，將原圖像分層為次能帶圖像，輸出各次能帶的子波變換系數(shù)。量化部1032以規(guī)定的量化寬度對(duì)從子波變換部1030輸出的子波變換系數(shù)進(jìn)行量化。
活動(dòng)檢測部1038及ROI設(shè)定部1040的構(gòu)成與活動(dòng)，和實(shí)施方式2的實(shí)施例1、2的圖像譯碼裝置1100、1200的基本相同。以下，敘述不同點(diǎn)。ROI設(shè)定部1040向量化部1032及編碼數(shù)據(jù)生成部1036輸出ROI設(shè)定信息后進(jìn)行ROI編碼。在ROI編碼中，有將圖像的ROI區(qū)域所對(duì)應(yīng)的ROI變換系數(shù)的位平面僅按比例放大非ROI變換系數(shù)的位平面的最大位數(shù)的最大值移位法。根據(jù)該方法，ROI變換系數(shù)的全部位平面比任何非ROI變換系數(shù)的位平面都優(yōu)先被編碼。
首先，說明利用最大值移位法進(jìn)行ROI編碼的例子。圖19(a)表示量化后的子波變換系數(shù)1050，從MSB到LSB包括5位的各位平面。
ROI設(shè)定部1040以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的ROI區(qū)域，生成用于特定ROI變換系數(shù)的ROI掩碼。ROI變換系數(shù)在圖19(a)的子波變換系數(shù)1050中以斜線示出。
量化部1032使用上述ROI掩碼，將量化后的ROI變換系數(shù)僅按比例放大S位。即，將ROI變換系數(shù)的值僅向左移位S位。在此，按比例放大量S是比非ROI變換系數(shù)的量化值的最大值的位數(shù)還大的自然數(shù)。圖19(b)表示將ROI變換系數(shù)僅按比例放大了5位的狀態(tài)的子波變換系數(shù)1052。在按比例放大后的子波變換系數(shù)1052中，由按比例放大而新生成的位充當(dāng)零值。
如圖19(c)的箭頭所示，熵編碼部1034一邊從高位位平面按順序掃描按比例放大后的子波變換系數(shù)1052的量化值，一邊進(jìn)行熵編碼。
編碼數(shù)據(jù)生成部1036從ROI設(shè)定部1040得到位置或按比例放大量等ROI設(shè)定信息，以及從熵編碼部1034得到量化寬度等頭生成用的信息，以生成頭。另外，對(duì)已熵編碼的數(shù)據(jù)進(jìn)行流化，并將編碼圖像輸出到存儲(chǔ)部1330。然后，存儲(chǔ)部1330的編碼圖像能夠輸出到記錄介質(zhì)或網(wǎng)絡(luò)。在此，記錄介質(zhì)中可以采用SDRAM或閃速硬盤驅(qū)動(dòng)器等。
如以上所說明的，若利用最大值移位法進(jìn)行ROI編碼，則即使為了削減代碼量而只編碼到中途，也可以優(yōu)先編碼ROI區(qū)域的位平面，所以可以使ROI區(qū)域的圖像質(zhì)量比非ROI區(qū)域的圖像質(zhì)量高。
接下來，說明削減位平面、進(jìn)行ROI編碼的例子。ROI設(shè)定部1040利用圖14中說明的方法生成ROI掩碼。量化部1032在量化后根據(jù)圖像質(zhì)量設(shè)定的優(yōu)先度，調(diào)整非ROI區(qū)域所對(duì)應(yīng)的上述子波變換系數(shù)的位列中置換為零值的低位位數(shù)。參照由ROI設(shè)定部1040生成的ROI掩碼，在未由ROI掩碼屏蔽的非ROI變換系數(shù)的位列中，自最低位位開始數(shù)僅將S位置換為零。在此，零置換位數(shù)S是將非ROI區(qū)域中的量化值的最大位數(shù)作為上限的任意自然數(shù)。通過使該零置換位數(shù)S變化，從而可以連續(xù)調(diào)整非ROI區(qū)域相對(duì)于ROI區(qū)域的再生圖像質(zhì)量的劣化程度。
圖20(a)～(c)是說明由量化部1032零置換原圖像的子波變換系數(shù)1060的低位位的狀態(tài)的圖。圖20(a)表示量化后的子波變換系數(shù)1060，包括5位平面，以斜線表示ROI變換系數(shù)。
如圖20(b)所示，量化部1032將未由ROI掩碼屏蔽的非ROI變換系數(shù)的LSB側(cè)的S位置換為零。在該例中，S＝2，如標(biāo)記1064所示，得到非ROI變換系數(shù)的LSB側(cè)的2位已被置換為零的子波變換系數(shù)1062。而且，代替零置換低位2位平面，也可以僅舍棄低位2位平面。
如圖20(c)的箭頭所示，熵編碼部1034一邊從高位位平面按順序掃描包含ROI變換系數(shù)與零置換后的非ROI變換系數(shù)的子波變換系數(shù)1062，一邊進(jìn)行熵編碼。
編碼數(shù)據(jù)生成部1036以量化寬度等編碼參數(shù)為基礎(chǔ)生成頭。另外，對(duì)熵編碼過的數(shù)據(jù)進(jìn)行流化，并輸出到存儲(chǔ)部1330。
一般，在由于存儲(chǔ)容量或傳送率的限制而在最終的編碼圖像的數(shù)據(jù)大小上設(shè)定有上限的情況下，熵編碼部1034從高位位平面按順序?qū)α炕蟮淖硬ㄗ儞Q系數(shù)進(jìn)行編碼之際，為了遵守?cái)?shù)據(jù)大小的上限，有時(shí)在中間的位平面中止編碼。或者，編碼數(shù)據(jù)生成部1036在輸出從高位位平面按順序流化完的編碼數(shù)據(jù)之際，為了遵守傳送率的限制而有時(shí)在中間的位平面中止流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小上存在制約，也由于在低位的位平面中，非ROI區(qū)域所對(duì)應(yīng)的子波變換系數(shù)被零置換，僅將ROI區(qū)域所對(duì)應(yīng)的子波變換系數(shù)作為有意義的信息而設(shè)為編碼對(duì)象，故低位的位平面的壓縮效率高，即使編碼到最低位位平面為止，也不會(huì)增大數(shù)據(jù)大小。
如以上所說明的，削減位平面的編碼方法，由于不進(jìn)行ROI變換系數(shù)的按比例放大處理，故可以有效進(jìn)行編碼的運(yùn)算。另外，由于不會(huì)增加應(yīng)編碼的位平面數(shù)，故無需多余設(shè)置存儲(chǔ)區(qū)域，可以削減硬件成本。
此外，由于不需要譯碼時(shí)的按比例縮小處理，故無需在編碼圖像的頭中附加ROI位置信息，無需在編碼圖像中附加按比例放大量。進(jìn)而，由于以該方法進(jìn)行了ROI編碼的圖像與通常的編碼圖像在格式上沒有區(qū)別，故可以以和通常的編碼圖像的譯碼處理完全相同的處理進(jìn)行譯碼，可以保證譯碼處理的互換性。
如以上所說明的，根據(jù)實(shí)施方式2的實(shí)施例3的變形例，譯碼塊1340優(yōu)先譯碼ROI區(qū)域，在生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的譯碼圖像的情況下的效果的基礎(chǔ)上，可以降低編碼圖像的代碼量。
圖21是表示以下所說明過的ROI區(qū)域的追蹤處理的第1例的圖。圖21(a)表示在圖像內(nèi)指定用戶關(guān)注的目標(biāo)的狀態(tài)。以十字的光標(biāo)指定用戶關(guān)注的人物A。圖21(b)表示在圖像內(nèi)設(shè)定有ROI區(qū)域的狀態(tài)。由框圍起來的區(qū)域?yàn)镽OI區(qū)域。ROI區(qū)域可以通過用戶操作初始設(shè)定，也可以自動(dòng)初始設(shè)定為包含所指定的目標(biāo)的規(guī)定區(qū)域。圖21(c)表示人物A移動(dòng)而從ROI區(qū)域離開的狀態(tài)。圖21(d)表示ROI區(qū)域也追蹤人物A的活動(dòng)的狀態(tài)。檢測人物A的活動(dòng)矢量，與此相對(duì)應(yīng)，使ROI區(qū)域也移動(dòng)。
圖22是表示ROI區(qū)域的追蹤處理的第2例的圖。圖22(a)與第1例的順序不同，表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)。將人物A及人物B中的人物A設(shè)定為用戶關(guān)注的目標(biāo)。而且，ROI區(qū)域可以設(shè)定多個(gè)。圖22(b)表示在ROI區(qū)域中指定用戶關(guān)注的目標(biāo)的狀態(tài)?？梢杂脩糁付?，也可以自動(dòng)識(shí)別。圖22(c)表示人物A移動(dòng)而ROI區(qū)域追蹤該活動(dòng)的狀態(tài)。因?yàn)槿宋顱的活動(dòng)未指定為用戶關(guān)注的目標(biāo)，所以對(duì)ROI區(qū)域的移動(dòng)沒有影響。
圖23是表示ROI區(qū)域的追蹤處理的第3例的圖。圖23(a)表示設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)。途中的大框表示該范圍。圖23(b)表示設(shè)定ROI區(qū)域的狀態(tài)。該ROI區(qū)域只在設(shè)定過的大框中移動(dòng)。圖23(c)表示人物A移動(dòng)而跑到大框外的狀態(tài)。由于ROI區(qū)域在大框的范圍內(nèi)進(jìn)行人物A的追蹤，故在途中成為追蹤結(jié)束。而且，若用戶關(guān)注的目標(biāo)跑出大框，則可以成為結(jié)束攝影等的處理。例如，在監(jiān)視照相機(jī)的情況下，需要特別記錄侵入到一定范圍區(qū)域的人物，只要在該范圍內(nèi)維持人物等目標(biāo)的圖像質(zhì)量即可。第3例可以適用于這種情況，可以比第1例及第2例進(jìn)一步削減處理量。
而且，實(shí)施方式2的實(shí)施例3所涉及的攝像裝置1300當(dāng)然可以一邊使ROI區(qū)域追蹤所指定的目標(biāo)，一邊拍攝動(dòng)態(tài)圖像并記錄在記錄介質(zhì)等中。另外，在此期間用戶從操作部1360開始操作，可以進(jìn)行ROI區(qū)域的設(shè)定解除、再設(shè)定。若解除ROI區(qū)域，則圖像內(nèi)的全部區(qū)域以相同的位速率被編碼。而且，可以通過用戶的該操作暫時(shí)停止、重新開始動(dòng)態(tài)圖像攝影。進(jìn)而，在使ROI區(qū)域追蹤所指定的目標(biāo)的處理中，用戶通過將操作部1360的快門按鈕壓下等，從而可以拍攝靜止圖像。該靜止圖像中，ROI區(qū)域?yàn)楦邎D像質(zhì)量，非ROI區(qū)域?yàn)榈蛨D像質(zhì)量。
以上，以實(shí)施例為基礎(chǔ)說明了實(shí)施方式2。實(shí)施例是示例，這些構(gòu)成要素或各處理過程的組合可以有各種變形例，另外這些變形例也在本發(fā)明的范圍內(nèi)，這是本領(lǐng)域的技術(shù)人員可以理解的。以下示出這種變形例。
在上述的實(shí)施例中，對(duì)以JPEG2000方式連續(xù)編碼過的動(dòng)態(tài)圖像的編碼流進(jìn)行譯碼，但不限于JPEG2000方式，只要是可以對(duì)動(dòng)態(tài)圖像的編碼流進(jìn)行譯碼的方式即可。
在上述的實(shí)施例中，用戶在ROI設(shè)定部1020、1040中設(shè)定多個(gè)ROI區(qū)域的情況下，也可以按每個(gè)ROI區(qū)域設(shè)定不同的圖像質(zhì)量。通過調(diào)整非ROI變換系數(shù)的低位位的零置換數(shù)，從而可以實(shí)現(xiàn)各種水平的圖像質(zhì)量。
在上述的實(shí)施例中，通過對(duì)編碼圖像譯碼后的子波變換系數(shù)的低位位進(jìn)行零置換，從而可以使ROI區(qū)域與非ROI區(qū)域?yàn)椴煌瑘D像質(zhì)量。這一點(diǎn)，在按每個(gè)路徑獨(dú)立編碼的情況下，可以采用在中間中止可變長度的譯碼的方法。在JPEG2000方式中，作為位平面內(nèi)的各系數(shù)位，使用S路徑(significance propagation pass)、R路徑(magnitude refinement pass)、C路徑(cleanup pass)的3種處理路徑。在S路徑中，進(jìn)行周圍存在有意義的系數(shù)的沒有意義的系數(shù)的譯碼，在R路徑中進(jìn)行有意義系數(shù)的譯碼，在C路徑中進(jìn)行剩余的系數(shù)的譯碼。S路徑、R路徑、C路徑的各處理路徑按照該順序?qū)D像的圖像質(zhì)量的貢獻(xiàn)度增大。各處理路徑按照該順序執(zhí)行，各系數(shù)的對(duì)比度是考慮附近系數(shù)的信息后決定的。根據(jù)該方法，由于無需進(jìn)行零置換，故可以進(jìn)一步減少處理量。
在上述的實(shí)施例中，作為圖像編碼用的空間濾波，說明了子波變換，但也可以采用其他空間頻率變換。例如，即使在JPEG標(biāo)準(zhǔn)中采用的離散余弦變換的情況下，通過以同樣的方法對(duì)非關(guān)注區(qū)域的變換系數(shù)的低位位進(jìn)行零置換，從而犧牲非關(guān)注區(qū)域的圖像質(zhì)量，提高圖像整體的壓縮效率，同時(shí)可以相對(duì)提高關(guān)注區(qū)域的圖像質(zhì)量。
權(quán)利要求
1.一種圖像編碼方法，其特征在于，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動(dòng)，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進(jìn)行編碼。
2.一種圖像編碼裝置，其特征在于，具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進(jìn)行編碼的編碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，進(jìn)一步具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定所述關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。
4.根據(jù)權(quán)利要求2或3所述的圖像編碼裝置，其特征在于，進(jìn)一步具有對(duì)視點(diǎn)變動(dòng)的動(dòng)態(tài)圖像內(nèi)的背景進(jìn)行分離的目標(biāo)提取部；所述關(guān)注區(qū)域設(shè)定部根據(jù)所述背景的活動(dòng)，而使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
5.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)的所關(guān)注的目標(biāo)的活動(dòng)，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進(jìn)行編碼。
6.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進(jìn)行編碼的編碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
7.根據(jù)權(quán)利要求5或6所述的攝像裝置，其特征在于，進(jìn)一步具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定所述關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。
8.根據(jù)權(quán)利要求5或6所述的攝像裝置，其特征在于，進(jìn)一步具有對(duì)視點(diǎn)變動(dòng)的動(dòng)態(tài)圖像內(nèi)的背景進(jìn)行分離的目標(biāo)提取部；所述關(guān)注區(qū)域設(shè)定部可以根據(jù)所述背景的活動(dòng)，而使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
9.一種圖像譯碼方法，其特征在于，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動(dòng)，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量對(duì)動(dòng)態(tài)圖像進(jìn)行譯碼。
10.一種圖像譯碼裝置，其特征在于，具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的所關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動(dòng)態(tài)圖像的譯碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
11.根據(jù)權(quán)利要求10所述的圖像譯碼裝置，其特征在于，進(jìn)一步具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定所述關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量。
12.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)的關(guān)注目標(biāo)的活動(dòng)，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量顯示動(dòng)態(tài)圖像。
13.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動(dòng)的活動(dòng)檢測部；在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量編碼動(dòng)態(tài)圖像的編碼部；和對(duì)所述編碼部所編碼的圖像數(shù)據(jù)進(jìn)行譯碼的譯碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動(dòng)。
14.根據(jù)權(quán)利要求12或13所述的攝像裝置，其特征在于，進(jìn)一步具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定所述關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量。
全文摘要
在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動(dòng)，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進(jìn)行編碼。子波變換部在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個(gè)頻率次能帶并進(jìn)行子波變換。量化部以規(guī)定的量化寬度對(duì)從子波變換部輸出的子波變換系數(shù)進(jìn)行量化?；顒?dòng)檢測部檢測目標(biāo)的活動(dòng)。ROI設(shè)定部根據(jù)該目標(biāo)的活動(dòng)，使ROI區(qū)域移動(dòng)。在為視點(diǎn)變動(dòng)的動(dòng)態(tài)圖像的情況下，也可以分離背景與目標(biāo)，根據(jù)目標(biāo)的活動(dòng)及背景的活動(dòng)，使ROI區(qū)域移動(dòng)。
文檔編號(hào)H04N1/41GK1717058SQ20051008149
公開日2006年1月4日 申請(qǐng)日期2005年6月29日 優(yōu)先權(quán)日2004年6月29日
發(fā)明者渡邊剛, 岡田茂之 申請(qǐng)人:三洋電機(jī)株式會(huì)社