專利名稱：可分級(jí)視頻流解碼裝置以及可分級(jí)視頻流生成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)字視頻系統(tǒng)，詳細(xì)而言，涉及一種用于對(duì)時(shí)間可分級(jí)視頻流進(jìn) 行解碼的可分級(jí)視頻流解碼裝置，以及用于生成時(shí)間可分級(jí)視頻流的可分級(jí)視頻流生成裝置。
背景技術(shù)：
近年來，已開發(fā)出由視頻流生成裝置生成多個(gè)視頻流，并由重放(解碼)裝置對(duì)該 多個(gè)視頻流的全部或者一部分有選擇性地進(jìn)行解碼且能選擇重放品質(zhì)的可選型可分級(jí)視 頻系統(tǒng)。作為可選擇的重放品質(zhì)，例如有幀頻率、分辨率以及像素的量化誤差。對(duì)于可選擇 上述各種重放品質(zhì)的可分級(jí)視頻流系統(tǒng)，分別稱之為時(shí)間可分級(jí)視頻系統(tǒng)、空間可分級(jí)視 頻系統(tǒng)、SNR(信噪比)可分級(jí)視頻系統(tǒng)。其中，就時(shí)間可分級(jí)視頻系統(tǒng)而言，重放裝置可根據(jù)本身的解碼能力等，來選擇進(jìn) 行重放時(shí)的幀率，因此，被視為是針對(duì)多種重放裝置能夠高效傳送適當(dāng)?shù)牧鞯募夹g(shù)。例如，非專利文獻(xiàn)1 (MPEC_4Video規(guī)格)中記載了時(shí)間可分級(jí)視頻系統(tǒng)。MPEC-4 Video規(guī)格是進(jìn)行動(dòng)態(tài)圖像編碼時(shí)常用的混合編碼的一種?；旌暇幋a是一種由對(duì)幀內(nèi)空間 冗余度進(jìn)行壓縮的技術(shù)與對(duì)編碼幀與其前后幀之間的時(shí)間冗余度進(jìn)行壓縮的技術(shù)所組合 而成的編碼方式。例如，可通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)或者僅稱之為預(yù)測(cè)的技術(shù)來消除時(shí)間冗余度。 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)是指，尋出編碼幀與其前后幀之間的類似部分的對(duì)應(yīng)關(guān)系，并根據(jù)編碼幀的 前后幀來生成被視為與編碼幀類似的圖像的技術(shù)。在此，通過取得采用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)所生 成的圖像和編碼幀之間的差分，來消除時(shí)間冗余度。在本說明書中的以下部分，進(jìn)行預(yù)測(cè)時(shí)所利用的幀(例如，前后的幀)稱之為參照 幀；表示編碼幀與參照幀之間的類似部分的對(duì)應(yīng)關(guān)系的信息稱之為運(yùn)動(dòng)矢量；根據(jù)運(yùn)動(dòng)矢 量與參照幀，進(jìn)行預(yù)測(cè)所獲得的圖像稱之為預(yù)測(cè)圖像；編碼幀與預(yù)測(cè)圖像之間的差分稱之 為殘差圖像。另外，如上所述用于求出殘差圖像的方法稱之為畫面間預(yù)測(cè)編碼模式，不進(jìn)行 預(yù)測(cè)而只對(duì)幀內(nèi)的空間冗余度進(jìn)行壓縮的方法稱之為畫面內(nèi)預(yù)測(cè)編碼模式，并將這些模式 統(tǒng)稱為編碼模式。在此，參照附圖來說明非專利文獻(xiàn)1中記載的時(shí)間可分級(jí)視頻系統(tǒng)。圖12是表示 現(xiàn)有技術(shù)中的時(shí)間可分級(jí)視頻系統(tǒng)的概要構(gòu)成的方框圖。如圖12所示，可分級(jí)視頻流生成裝置2通過對(duì)輸入的影像1進(jìn)行處理，生成基本 層流3和增強(qiáng)層流4這2種視頻流?；緦恿?是對(duì)影像1所包含的幀中的，如在圖12中 示意性地畫影線表示的幀進(jìn)行編碼而獲得的視頻流。此外，增強(qiáng)層流4是對(duì)畫影線部分和 白色部分的幀的差分進(jìn)行編碼而獲得的視頻流。上述兩種視頻流通過傳送路徑5被傳送到視頻流重放(編碼)裝置6以及可分級(jí) 視頻流重放(解碼)裝置7。視頻流重放裝置6只對(duì)基本層流3進(jìn)行解碼，并對(duì)由影像1所 包含的多個(gè)幀中的畫影線部分的幀所構(gòu)成的影像8進(jìn)行重放。而可分級(jí)視頻流重放裝置7對(duì)基本層流3以及增強(qiáng)層流4進(jìn)行解碼，并對(duì)與影像1具有相同幀率的影像9進(jìn)行重放。如 上所述，在時(shí)間可分級(jí)視頻系統(tǒng)中，進(jìn)行重放時(shí)的幀率因重放裝置而異。在此，可分級(jí)視頻流重放裝置7按照以下方式對(duì)基本層流3和增強(qiáng)層流4進(jìn)行解 碼。圖13是表示現(xiàn)有技術(shù)中的時(shí)間可分級(jí)視頻系統(tǒng)的可分級(jí)視頻流重放裝置7的主 要結(jié)構(gòu)的方框圖。如圖13所示，首先，輸入部10將基本層流3輸入到基本層視頻解碼器12 中。基本層視頻解碼器12對(duì)基本層流3進(jìn)行解碼。被解碼后的幀被作為參照幀存儲(chǔ)到基 本層視頻解碼器12的參照幀存儲(chǔ)部15以及增強(qiáng)層視頻解碼器13的參照幀存儲(chǔ)部14中。而輸入部11將增強(qiáng)層流4輸入到增強(qiáng)層視頻解碼器13中。增強(qiáng)層視頻解碼器13 的參照幀存儲(chǔ)部14中存儲(chǔ)有從基本層視頻解碼器12所取得的參照幀，以及由增強(qiáng)層視頻 解碼器I3本身所生成的參照幀。增強(qiáng)層視頻解碼器13根據(jù)這些參照幀，對(duì)增強(qiáng)層流4進(jìn) 行解碼。如上所述，基本層流3以及增強(qiáng)層4由影像1分割而成，通過重排部16對(duì)由基本 層視頻解碼器12以及增強(qiáng)層視頻解碼器13進(jìn)行完解碼的幀進(jìn)行重排，能夠獲得與原來的 影像1具有相同幀數(shù)的影像。被重排后的幀被臨時(shí)存儲(chǔ)在輸出幀存儲(chǔ)部17中，并由顯示部 18選擇適當(dāng)時(shí)機(jī)進(jìn)行顯示。在視頻流重放裝置6中，進(jìn)行重放時(shí)的幀率較少，只對(duì)基本層流3進(jìn)行解碼，重放 影像1。專利文獻(xiàn)1 日本國專利申請(qǐng)公開公報(bào)，特開2000-156839號(hào)公報(bào)(平成12年6月 6日公開)非專利文獻(xiàn)1 JS0/IEC 14496-2 :2004 MPEG-4 Video 規(guī)格(平成 16年 7 月公開)

發(fā)明內(nèi)容
但是，在現(xiàn)有技術(shù)中的可分級(jí)視頻流重放(解碼)裝置中，必須針對(duì)基本層和增強(qiáng) 層分別設(shè)置解碼單元，因而其結(jié)構(gòu)較復(fù)雜。本發(fā)明是鑒于上述問題而開發(fā)的，其目的在于提供結(jié)構(gòu)簡單的可分級(jí)視頻流解碼 裝置，以及用于生成適合于由該可分級(jí)視頻流解碼裝置進(jìn)行解碼的解碼圖像流的可分級(jí)視 頻流生成裝置。(可分級(jí)視頻流生成裝置)本發(fā)明的可分級(jí)視頻流生成裝置的特征在于編碼單元通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)多 個(gè)輸入幀進(jìn)行編碼；分流單元將由該編碼單元進(jìn)行編碼所得的各編碼圖像分為多個(gè)編碼圖 像流；該分流單元根據(jù)該編碼單元對(duì)任意的輸入幀進(jìn)行編碼時(shí)是否作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參 照幀使用應(yīng)被分流的編碼圖像，來對(duì)該編碼圖像進(jìn)行分流，該可分級(jí)視頻流生成裝置對(duì)被 分流的各編碼圖像流付與不同的識(shí)別符。根據(jù)上述結(jié)構(gòu)，本發(fā)明的可分級(jí)視頻流生成裝置通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)輸入影像 所包含的多個(gè)輸入幀進(jìn)行編碼而獲得編碼圖像。然后，將所獲得的各編碼圖像分為例如基 本層流和增強(qiáng)層流等多個(gè)編碼圖像流。此時(shí)，對(duì)某個(gè)圖像進(jìn)行分流時(shí)所采用的判斷基準(zhǔn)為 對(duì)任意的輸入幀進(jìn)行編碼時(shí)，作為用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參照幀是否使用該某個(gè)圖像。因此，能夠通過上述分流處理，使參照幀的編碼后數(shù)據(jù)全包含于一個(gè)解碼圖像流中，其中該參照幀是指進(jìn)行上述編碼圖像的解碼處理時(shí)所使用的參照幀。由此所生成的多 個(gè)編碼圖像流能夠適用于本發(fā)明的可分級(jí)視頻流解碼裝置。另外，通過對(duì)各編碼圖像流付與不同的識(shí)別符，在可分級(jí)視頻流解碼裝置中，易于 識(shí)別出將成為解碼對(duì)象的編碼圖像流。例如，在重放能力較低的可分級(jí)視頻流解碼裝置中， 易于進(jìn)行只解碼以及重放基本層流，而廢棄增強(qiáng)層流的這一動(dòng)作。(可分級(jí)視頻流解碼裝置)為了達(dá)到上述目的，本發(fā)明的可分級(jí)視頻流解碼裝置的特征在于包括流接收單 元，接收由權(quán)利要求1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流；重排單元， 根據(jù)付與編碼圖像流的識(shí)別符，從該流接收單元所接收的多個(gè)編碼圖像流中提取應(yīng)由本裝 置進(jìn)行解碼的1個(gè)以上的編碼圖像流，并對(duì)所提取到的1個(gè)以上的編碼圖像流中包含的各 編碼圖像，根據(jù)各自的顯示時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn)行重排；解碼單元， 對(duì)由該重排單元進(jìn)行重排的該編碼圖像進(jìn)行解碼。根據(jù)上述結(jié)構(gòu)，本發(fā)明的可分級(jí)視頻流解碼裝置接收用于可分級(jí)視頻系統(tǒng)的基本 層流以及增強(qiáng)層流，并在對(duì)該流進(jìn)行解碼之前，根據(jù)該流所包含的編碼圖像的各顯示時(shí)機(jī) 信息或者解碼時(shí)機(jī)信息來對(duì)該編碼圖像進(jìn)行重排，獲得一個(gè)流。因此，只需對(duì)重排后的編碼 圖像進(jìn)行解碼即可，并通過一個(gè)解碼單元就能夠?qū)Χ鄠€(gè)編碼圖像流進(jìn)行解碼，從而能夠簡 化裝置整體的結(jié)構(gòu)。另外，可根據(jù)付與各編碼圖像流的識(shí)別符來識(shí)別將成為解碼對(duì)象的編碼圖像流， 從而能夠簡單地識(shí)別出將成為解碼對(duì)象的編碼圖像流。例如，在重放能力較低的可分級(jí)視 頻流解碼裝置中，易于進(jìn)行只解碼以及重放基本層流，而廢棄增強(qiáng)層流的這一動(dòng)作。在上述可分級(jí)視頻流解碼裝置中，優(yōu)選具備多個(gè)上述流接收單元；檢測(cè)單元，檢 測(cè)上述可分級(jí)視頻流解碼裝置的狀態(tài)；輸入控制單元，根據(jù)該檢測(cè)單元所檢測(cè)出的狀態(tài)，使 至少1個(gè)該流接收單元進(jìn)行動(dòng)作或者停止動(dòng)作。根據(jù)上述結(jié)構(gòu)，在本發(fā)明的可分級(jí)視頻流解碼裝置中，對(duì)該可分級(jí)視頻流解碼裝 置的狀態(tài)進(jìn)行檢測(cè)，并根據(jù)該狀態(tài)，使至少一個(gè)該流接收單元進(jìn)行動(dòng)作或者停止動(dòng)作。由此，當(dāng)上述可分級(jí)視頻流解碼裝置例如處于電池殘余量較少、裝置溫度較高、蓋 子閉合、裝置正在移動(dòng)中、圖像的運(yùn)動(dòng)較少等狀態(tài)時(shí)，通過使至少1個(gè)流接收單元停止動(dòng) 作，能夠?qū)獯a處理量進(jìn)行適當(dāng)調(diào)整，降低耗電。(可分級(jí)視頻流解碼方法)本發(fā)明的可分級(jí)視頻流解碼方法的特征在于包括流接收工序，接收由權(quán)利要求 1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流；重排工序，根據(jù)付與編碼圖像 流的識(shí)別符，從通過該流接收工序所接收的多個(gè)編碼圖像流中提取應(yīng)進(jìn)行解碼的1個(gè)以上 的編碼圖像流，并對(duì)所提取到的1個(gè)以上的編碼圖像流中包含的各編碼圖像，根據(jù)各自的 顯示時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn)行重排；解碼工序，對(duì)通過該重排工序進(jìn)行 重排的該編碼圖像進(jìn)行解碼。根據(jù)上述結(jié)構(gòu)，可獲得與本發(fā)明的可分級(jí)視頻流解碼裝置相同的作用效果。(可分級(jí)視頻流解碼裝置的控制方法)本發(fā)明的可分級(jí)視頻流解碼裝置的控制方法，其特征在于該可分級(jí)視頻流解碼 裝置包括流接收單元、重排單元和解碼單元，該流接收單元接收由權(quán)利要求1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流，該重排單元根據(jù)付與該編碼圖像流的識(shí)別 符，從該流接收單元所接收的多個(gè)編碼圖像流中提取應(yīng)由本裝置進(jìn)行解碼的1個(gè)以上的編 碼圖像流，并對(duì)所提取到的1個(gè)以上的解碼圖像流中包含的各編碼圖像，根據(jù)各自的顯示 時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn)行重排，該解碼單元對(duì)由該重排單元進(jìn)行重排 的該編碼圖像進(jìn)行解碼，該可分級(jí)視頻流解碼裝置的控制方法包括檢測(cè)工序和輸入控制工 序，在該檢測(cè)工序中，檢測(cè)上述可分級(jí)視頻流解碼裝置的狀態(tài)，在該輸入控制工序中，根據(jù) 在該檢測(cè)工序中檢測(cè)出的狀態(tài)，使至少1個(gè)該流接收單元進(jìn)行動(dòng)作或者停止動(dòng)作。根據(jù)上述結(jié)構(gòu)，可獲得與本發(fā)明的可分級(jí)視頻流解碼裝置相同的作用效果。(可分級(jí)視頻流生成方法)本發(fā)明的可分級(jí)視頻流生成方法，其特征在于包括編碼工序和分流工序，在該編 碼工序中，通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)多個(gè)輸入幀進(jìn)行編碼；在該分流工序中，將通過該編碼工 序進(jìn)行編碼所得的各編碼圖像分為多個(gè)編碼圖像流；在該分流工序中，根據(jù)在該編碼工序 中對(duì)任意的輸入幀進(jìn)行編碼時(shí)是否作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參照幀使用應(yīng)被分流的編碼圖像， 來對(duì)該編碼圖像進(jìn)行分流，對(duì)被分流的各編碼圖像流付與不同的識(shí)別符。根據(jù)上述結(jié)構(gòu)，可獲得與本發(fā)明的可分級(jí)視頻流解碼裝置相同的作用效果。(程序以及記錄介質(zhì))可通過計(jì)算機(jī)實(shí)現(xiàn)上述可分級(jí)視頻流解碼裝置以及可分級(jí)視頻流生成裝置。此 時(shí)，用于使計(jì)算機(jī)作為上述各單元進(jìn)行動(dòng)作從而由計(jì)算機(jī)實(shí)現(xiàn)上述可分級(jí)視頻流解碼裝置 的可分級(jí)視頻流解碼程序、由計(jì)算機(jī)來實(shí)現(xiàn)上述可分級(jí)視頻流生成裝置的可分級(jí)視頻流生 成程序以及存儲(chǔ)有這些程序的計(jì)算機(jī)可讀取記錄介質(zhì)也屬于本發(fā)明的范疇之內(nèi)。另外，還可以通過計(jì)算機(jī)來實(shí)現(xiàn)上述可分級(jí)視頻流解碼方法、可分級(jí)視頻流生成 方法以及可分級(jí)視頻流解碼裝置的控制方法。此時(shí)，用于使計(jì)算機(jī)執(zhí)行上述各工序從而由 計(jì)算機(jī)來執(zhí)行上述可分級(jí)視頻流解碼方法的可分級(jí)視頻流解碼程序、用于由計(jì)算機(jī)來執(zhí)行 上述可分級(jí)視頻流生成方法的可分級(jí)視頻流生成程序、用于由計(jì)算機(jī)來執(zhí)行上述可分級(jí)視 頻流解碼裝置的控制方法的可分級(jí)視頻流裝置的控制程序以及記錄有這些程序的計(jì)算機(jī) 可讀取記錄介質(zhì)也屬于本發(fā)明的范疇之內(nèi)。(發(fā)明的效果)根據(jù)本發(fā)明，能夠提供結(jié)構(gòu)簡單的可分級(jí)視頻流解碼裝置，以及用于生成該可分 級(jí)視頻流解碼裝置適合進(jìn)行解碼的編碼圖像流的可分級(jí)視頻流生成裝置。


圖1是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的主要結(jié)構(gòu)的方框圖。圖2是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的輸入數(shù)據(jù)以及輸出 數(shù)據(jù)的概要說明圖。圖3是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的編碼控制部的動(dòng)作 的流程圖。圖4是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的視頻編碼部的動(dòng)作 的流程圖。圖5是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的輸入數(shù)據(jù)以及輸出數(shù)據(jù)的概要說明圖。圖6是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置的輸入數(shù)據(jù)以及輸出 數(shù)據(jù)的概要說明圖。圖7是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置的主要結(jié)構(gòu)的方框圖。圖8是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置的重排部的動(dòng)作的流 程圖。圖9是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置的重排部的動(dòng)作的流 程圖。圖10是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置的主要結(jié)構(gòu)的方框 圖。圖11是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置的輸入控制部的動(dòng)作 的流程圖。圖12是表示現(xiàn)有技術(shù)中的時(shí)間可分級(jí)視頻系統(tǒng)的概要的方框圖。圖13是表示現(xiàn)有技術(shù)中的時(shí)間可分級(jí)視頻系統(tǒng)的重放裝置的主要結(jié)構(gòu)的方框 圖。<附圖標(biāo)記說明>1輸入影像2可分級(jí)視頻流生成裝置3基本層流4增強(qiáng)層流5傳送路徑6視頻流重放裝置7可分級(jí)視頻流重放裝置8解碼后低幀影像9解碼后高幀影像10基本層流輸入部11增強(qiáng)層流輸入部12基本層視頻解碼器13增強(qiáng)層視頻解碼器14增強(qiáng)層參照幀存儲(chǔ)器15基本層參照幀存儲(chǔ)器16重排部17輸出幀存儲(chǔ)器18顯示部100可分級(jí)視頻流生成裝置110影像輸入部111輸入幀存儲(chǔ)部112編碼控制部113視頻編碼部(編碼單元)0082]114參照幀存儲(chǔ)部(可分級(jí)視頻流生成裝置側(cè))
0083]115代碼緩沖存儲(chǔ)部
0084]116分流部(分流單元)
0085]117第1輸出部
0086]118第2輸出部
0087]200可分級(jí)視頻流解碼裝置
0088]210第1輸入部(流接收單元)
0089]211第2輸入部(流接收單元)
0090]212第1輸入流存儲(chǔ)部
0091]213第2輸入流存儲(chǔ)部
0092]214重排部(重排單元)
0093]215參照幀存儲(chǔ)部(可分級(jí)視頻流重放裝置側(cè))
0094]216視頻解碼部(解碼單元)
0095]217輸出幀存儲(chǔ)部
0096]218輸出部
0097]300可分級(jí)視頻流解碼裝置
0098]310第1輸入部(流接收單元)
0099]311第2輸入部(流接收單元)
0100]312可分級(jí)視頻解碼部(解碼單元)
0101]313傳感部(檢測(cè)單元)
0102]314輸入控制部(輸入控制單元)
0103]315輸入開關(guān)部
0104]150輸入影像
0105]151>250>350 基本層流
0106]152 154、251、；351 增強(qiáng)層流
0107]SlOO編碼模式?jīng)Q定步驟
0108]SlOl畫面內(nèi)預(yù)測(cè)編碼指示、參照幀指示步驟
0109]S102層選擇步驟
0110]S103畫面間預(yù)測(cè)編碼指示、參照幀指示步驟
0111]S104畫面間預(yù)測(cè)編碼指示、非參照幀指示步驟
0112]S120編碼模式判定步驟
0113]S121參照幀取得步驟
0114]S122運(yùn)動(dòng)矢量檢索步驟
0115]S123殘差圖像作成步驟
0116]S124正交變換、量化步驟
0117]S125參照幀指示判斷步驟
0118]S126逆量化、逆正交變換步驟
0119]S127解碼圖像作成步驟
0120]S128參照幀保存步驟
S129可變長編碼步驟S200、S220第1流時(shí)刻取得步驟S201、S221第2流時(shí)刻取得步驟S222第1流時(shí)刻有效判斷步驟S223時(shí)刻計(jì)算步驟S224過去時(shí)刻判斷步驟S225未來時(shí)刻判斷步驟S202.S226時(shí)刻比較步驟S203、S227第1流取出步驟S204、S228第2流取出步驟S205.S229 送流步驟S300電池殘余量信息取得步驟S301閾值比較步驟S302輸入開關(guān)切斷步驟S303輸入開關(guān)接通步驟
具體實(shí)施例方式本發(fā)明的發(fā)明人經(jīng)過專心研究，發(fā)現(xiàn)了通過巧妙地選擇參照幀來生成可分級(jí)流并 在解碼時(shí)對(duì)這些可分級(jí)流進(jìn)行重排，使得成為一個(gè)流，從而能夠通過一個(gè)解碼器進(jìn)行解碼 的方法，完成了本發(fā)明。以下，參照附圖來說明本發(fā)明的實(shí)施方式。在本說明書中，各英文字母略語分別表示以下相應(yīng)的長符用語MPEG表示Moving Picture Experts Group (運(yùn)動(dòng)圖像專家組)；AVC 表示 Advanced Video Coding (高級(jí)視 步頁編石馬)；fps 表示 frame per second (每禾少顯示中jlJ) ；PES 表示 Packetized Elementary Stream (打包基本流)；TS 表不 Transport Stream (傳送流)；PTS 表不 Presentation Time Mamp (出現(xiàn)時(shí)間標(biāo)記)；SEI 表示 Supplemental Enhancement Information (輔助增強(qiáng)信 息)ο[1 可分級(jí)視頻流生成裝置]圖1是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流生成裝置100的主要結(jié)構(gòu)的方框 圖。如圖1所示，本實(shí)施方式所涉及的可分級(jí)視頻流生成裝置100包括影像輸入部110、輸 入幀存儲(chǔ)部111、參照幀存儲(chǔ)部114、視頻編碼部(編碼單元)113、編碼控制部112、編碼緩 沖存儲(chǔ)部115、分流部(分流單元)116、第1輸出部117以及第2輸出部118?？煞旨?jí)視頻流生成裝置100通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，對(duì)輸入影像150所包含的多個(gè)輸 入幀(輸入圖像)進(jìn)行編碼，獲得編碼圖像。然后，將所獲得的各編碼圖像分為基本層流 151和增強(qiáng)層流152。此時(shí)，對(duì)某圖像進(jìn)行分流時(shí)的判斷基準(zhǔn)為對(duì)任意的輸入幀進(jìn)行編碼 時(shí)，作為用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參照幀(參照?qǐng)D像)是否使用該圖像。具體是，如果某個(gè)圖像 被用作上述參照幀時(shí)，就將相應(yīng)的編碼數(shù)據(jù)劃分為基本層流151，而某個(gè)圖像不被用作上述 參照幀時(shí)，則將相應(yīng)的編碼數(shù)據(jù)劃分為增強(qiáng)層流152。由此，能夠通過上述分流處理，使得對(duì)解碼上述編碼圖像時(shí)所使用的參照幀進(jìn)行編碼后的數(shù)據(jù)全都包含于基本層流151中。這樣所生成的多個(gè)編碼圖像流，適于用本發(fā)明 的可分級(jí)視頻流解碼裝置進(jìn)行解碼。(動(dòng)作的一個(gè)例子)接下來，詳細(xì)說明可分級(jí)視頻流生成裝置100的動(dòng)作的一個(gè)例子。首先，就可分級(jí)視頻流生成裝置100對(duì)何種輸入數(shù)據(jù)進(jìn)行處理、生成何種輸出數(shù) 據(jù)的情況，舉一例進(jìn)行說明。圖2是表示輸入數(shù)據(jù)(輸入影像150)以及輸出數(shù)據(jù)(基本層 流151以及增強(qiáng)層流152)的概要說明圖。輸入影像150由顯示時(shí)機(jī)不同的多個(gè)幀構(gòu)成。作為輸入影像150，可使用一般的動(dòng) 畫。在圖2中，以從左至右按顯示順序排列的方框表示輸入影像150的各幀?？煞旨?jí)視頻流生成裝置100例如對(duì)上述各幀內(nèi)的標(biāo)記為I的幀(以下稱為I幀) 進(jìn)行畫面內(nèi)預(yù)測(cè)編碼，而對(duì)標(biāo)記為P的幀(以下稱為P幀)進(jìn)行畫面間預(yù)測(cè)編碼。另外，圖 2中的弧線狀箭頭表示進(jìn)行上述畫面間預(yù)測(cè)編碼時(shí)的參照幀和使用參照幀進(jìn)行編碼的編碼 幀之間的關(guān)系。即，以上述箭頭的起點(diǎn)所指的幀作為參照幀來對(duì)該箭頭所指的幀進(jìn)行畫面 間預(yù)測(cè)編碼。例如，在最左側(cè)的2個(gè)幀中，從I幀指向P幀的箭頭表示為了預(yù)測(cè)該P(yáng)幀參照 該I幀的意思。關(guān)于將哪個(gè)幀作為I幀或者P幀，以及以哪個(gè)幀作為參照幀，將在以下進(jìn)行 說明?？煞旨?jí)視頻流生成裝置100以幀作為單位，將上述各幀的編碼后數(shù)據(jù)分為基本層 流151或者增強(qiáng)層流152。此時(shí)，可分級(jí)視頻流生成裝置100通過上述分流處理，使對(duì)上述 各幀進(jìn)行解碼時(shí)所要使用的參照幀的編碼后數(shù)據(jù)全都包含于基本層流151中。另外，基本層流151以及增強(qiáng)層流152所包含的上述各幀的編碼后數(shù)據(jù)，與表示該 各幀在輸入影像150中的顯示時(shí)機(jī)(顯示時(shí)刻)的信息形成對(duì)應(yīng)關(guān)系。接下來，具體說明各部分的動(dòng)作。影像輸入部110使應(yīng)該進(jìn)行編碼的輸入影像150的各幀與該各幀的顯示時(shí)機(jī)形成 對(duì)應(yīng)關(guān)系，并存儲(chǔ)到輸入幀存儲(chǔ)部111中。視頻編碼部113通過畫面內(nèi)編碼模式或者畫面間預(yù)測(cè)編碼模式，對(duì)輸入幀存儲(chǔ)部 111中存儲(chǔ)的幀進(jìn)行壓縮編碼，并將編碼數(shù)據(jù)存儲(chǔ)到編碼緩沖存儲(chǔ)部115中。關(guān)于詳細(xì)內(nèi) 容，將在后文中進(jìn)行說明。另外，由編碼控制部112對(duì)視頻編碼部113的編碼模式進(jìn)行控制。另外，分流部116將編碼緩沖存儲(chǔ)部115中存儲(chǔ)的編碼數(shù)據(jù)進(jìn)行劃分到第1輸出 部117(基本層流151)或者第2輸出部181(增強(qiáng)層流15 中的任意一個(gè)中。關(guān)于詳細(xì)內(nèi) 容，將在后文中進(jìn)行說明。而上述分流的控制是由編碼控制部112進(jìn)行的。在此，如上所述，即使在基本層流151以及增強(qiáng)層流152中，上述顯示時(shí)機(jī)信息也 與各幀的編碼后數(shù)據(jù)形成對(duì)應(yīng)關(guān)系，而在后述的可分級(jí)視頻流解碼裝置中利用為該各幀的 顯示時(shí)機(jī)。即，視頻編碼器113對(duì)上述各幀進(jìn)行編碼并存儲(chǔ)到緩沖存儲(chǔ)部115中時(shí)，也能相 對(duì)應(yīng)地存儲(chǔ)該各幀的顯示時(shí)機(jī)信息。另外，分流部116將上述編碼數(shù)據(jù)劃分到第1輸出部 117或者第2輸出部118中時(shí)，也保持上述編碼數(shù)據(jù)與該編碼數(shù)據(jù)的顯示時(shí)刻信息相對(duì)應(yīng)的 狀態(tài)而進(jìn)行分流。在此，使特定信息與其他信息構(gòu)成相對(duì)應(yīng)的關(guān)系是指，達(dá)到參照該特定信 息可取得該其他信息的狀態(tài)的意思。在本實(shí)施方式中，例舉根據(jù)顯示時(shí)機(jī)來進(jìn)行重排的結(jié) 構(gòu)，來說明編碼數(shù)據(jù)的解碼順序和付與各流的顯示時(shí)機(jī)信息的順序相一致的情況。此外，如 后文所述，對(duì)于編碼數(shù)據(jù)，還可以使作為取代顯示時(shí)機(jī)信息的信息或者作為增加信息的，表示該編碼數(shù)據(jù)所涉及的幀的解碼開始時(shí)刻的解碼時(shí)機(jī)信息與其形成對(duì)應(yīng)關(guān)系。另外，可分級(jí)視頻流生成裝置100(第1輸出部117以及第2輸出部118)可對(duì)已 被分流的各編碼圖像流(基本層流151以及增強(qiáng)層流15 分別付與不同的識(shí)別符。由此， 在接收基本層流151以及增強(qiáng)層流152的可分級(jí)視頻流解碼裝置中，根據(jù)付與各編碼圖像 流的識(shí)別符來識(shí)別成為解碼對(duì)象的編碼圖像流，從而能夠簡單地識(shí)別出作為解碼對(duì)象的編 碼圖像流。接著，參照?qǐng)D3來說明編碼控制部112的動(dòng)作。圖3是表示涉及一個(gè)輸入幀的編 碼控制部112的動(dòng)作的流程圖。編碼控制部112對(duì)所有的輸入幀都進(jìn)行以下相同的動(dòng)作。編碼控制部112首先選擇對(duì)上述輸入幀進(jìn)行編碼時(shí)的編碼模式(步驟S100)。選 擇編碼模式時(shí)，可采用在每個(gè)規(guī)定時(shí)間對(duì)畫面內(nèi)預(yù)測(cè)編碼模式和畫面間預(yù)測(cè)編碼模式進(jìn)行 選擇的方法、根據(jù)上述輸入幀適合于哪個(gè)編碼模式來進(jìn)行選擇的方法等各種方法。在此，可 根據(jù)所希望的傳送時(shí)抗誤碼性和編碼量之間的平衡關(guān)系來決定上述規(guī)定時(shí)間。一般而言， 隨著選擇畫面內(nèi)預(yù)測(cè)編碼模式比率的增高，傳送時(shí)抗誤碼性增高，且編碼量也增多。在步驟SlOO中選擇用畫面內(nèi)預(yù)測(cè)編碼模式的情況下，編碼控制部112向視頻編碼 部113發(fā)送畫面內(nèi)預(yù)測(cè)編碼指示信號(hào)以及參照幀指示信號(hào)(步驟S101)。在此，參照幀指示 是指可將上述輸入幀作為其他幀進(jìn)行編碼時(shí)的參照幀來使用的指示。而非參照幀指示則是 指不能將上述輸入幀作為其他幀進(jìn)行編碼時(shí)的參照幀來使用的指示。關(guān)于視頻編碼部113 接收這些指示之后如何進(jìn)行動(dòng)作，將在后文中進(jìn)行說明。相反，在步驟SlOO中選擇用畫面間預(yù)測(cè)編碼模式的情況下，由編碼控制部112選 擇作為對(duì)其他幀進(jìn)行編碼時(shí)的參照幀是否使用對(duì)上述輸入幀進(jìn)行編碼再進(jìn)行解碼所獲得 的幀(步驟S102)，即，選擇是否用作圖2中箭頭的起點(diǎn)所指的幀。作為進(jìn)行上述選擇的一 種方法，例如，在每個(gè)規(guī)定時(shí)間選擇作為上述參照幀可使用某幀，而在其他情況下選擇不可 作為上述參照幀使用該幀。在此，可根據(jù)分別應(yīng)該分流到基本層流151以及增強(qiáng)層流152 中的幀的比率(例如1 1)來適宜設(shè)定上述規(guī)定時(shí)間。在步驟S102中，為了獲得上述參照幀而選擇了可使用的情況下，編碼控制部112 向視頻解碼部113發(fā)送畫面間預(yù)測(cè)編碼指示信號(hào)以及參照幀指示信號(hào)(步驟S103)。相反，若在步驟S102選擇了不可用作參照幀的情況下，編碼控制部112向視頻解 碼部113發(fā)送畫面間預(yù)測(cè)編碼指示信號(hào)以及非參照幀指示信號(hào)(步驟S104)。然后，在步驟SlOl或者步驟S103中，如果向視頻編碼部113發(fā)送了參照幀指示信 號(hào)時(shí)，編碼控制部112就向分流部116發(fā)出基本層分流指示信號(hào)控制，以使編碼數(shù)據(jù)被包含 于基本層流151中(步驟S105)。相反，若在步驟S104中，向視頻編碼部113發(fā)送了非參照幀指示信號(hào)，編碼控制部 112則向分流部116發(fā)出增強(qiáng)層分流指示信號(hào)控制，以使編碼數(shù)據(jù)被包含于增強(qiáng)層流152中 (步驟 S106)。接下來，詳細(xì)說明視頻編碼部113的動(dòng)作。圖4是表示涉及一個(gè)輸入幀的視頻編 碼部113的動(dòng)作的流程圖。視頻編碼部113對(duì)所有的編碼幀進(jìn)行如下動(dòng)作。視頻編碼部113最初對(duì)編碼控制部112發(fā)出的編碼模式指示信號(hào)進(jìn)行確認(rèn)(步驟 S120)。若上述編碼模式指示信號(hào)為畫面間預(yù)測(cè)編碼指示，就進(jìn)行以下步驟S121 S123的 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。
首先，視頻編碼部113從參照幀存儲(chǔ)部114取得參照幀(步驟S121)。然后，視頻 編碼部113對(duì)上述參照幀和上述輸入幀進(jìn)行比較，并檢索運(yùn)動(dòng)矢量，求出預(yù)測(cè)圖像(步驟 S122)。然后，視頻編碼部113在像素值水平上，從上述輸入幀圖像中減去上述預(yù)測(cè)圖像，求 出殘差圖像(步驟S123)。相反，若上述編碼模式指示為畫面內(nèi)預(yù)測(cè)編碼指示，視頻編碼部113就不進(jìn)行從 上述輸入幀圖像中減去上述預(yù)測(cè)圖像的處理，而是直接以上述輸入幀取代上述殘差圖像。然后，視頻編碼部113將上述殘差圖像分成8X8個(gè)像素，共計(jì)64像素部分，并對(duì) 該各部分進(jìn)行離散余弦變換等正交變換以及量化，獲得系數(shù)列(步驟S124)。然后，視頻編碼部113對(duì)參照幀指示信號(hào)進(jìn)行確認(rèn)(步驟S125)。如果上述參照幀 指示信號(hào)是參照幀指示，就進(jìn)行使上述輸入幀能夠用作參照幀的準(zhǔn)備(以下的步驟SU6 S128)。當(dāng)然，在解碼裝置中，將對(duì)流進(jìn)行解碼所獲得的幀用作參照幀，因此，在編碼裝置中， 作為參照幀所使用的不是上述輸入幀本身而是對(duì)該輸入幀的編碼數(shù)據(jù)進(jìn)行解碼之后的幀。首先，視頻編碼部113對(duì)通過步驟SlM所獲得的上述系數(shù)列進(jìn)行逆變換，從而對(duì) 殘差圖像進(jìn)行復(fù)原(步驟SU6)。然后，視頻編碼部113將通過步驟S122求出的上述預(yù)測(cè)圖 像加在上述殘差圖像上，獲得解碼幀(步驟S127)。視頻編碼部113可在參照幀存儲(chǔ)部114 中存儲(chǔ)上述解碼幀，由此在對(duì)其他幀進(jìn)行編碼時(shí)作為參照幀可使用該解碼幀(步驟SU8)。 另外，視頻編碼部113在包含有上述輸入幀的編碼數(shù)據(jù)的位流中，記錄表示作為參照幀是 否使用對(duì)該編碼數(shù)據(jù)進(jìn)行解碼所獲得的幀的標(biāo)記。最后，視頻編碼部113對(duì)通過步驟SlM所獲得的上述系數(shù)列進(jìn)行可變長編碼(步 驟SU9)。在已進(jìn)行畫面間預(yù)測(cè)編碼的情況下，將用于指定參照幀的信息也記錄到流中。并 將所獲得的位流(bit stream)存儲(chǔ)到編碼緩沖存儲(chǔ)部中。在此，被存儲(chǔ)的流是尚未分成基 本層以及增強(qiáng)層的單一流，可通過通常的視頻解碼器對(duì)其進(jìn)行解碼。分流部116取出編碼緩沖存儲(chǔ)部115中存儲(chǔ)的上述位流，如果編碼控制部112發(fā) 送的分流指示信號(hào)為基本層分流指示，就向第1輸出部117輸出該位流，而上述分流指示信 號(hào)為增強(qiáng)層分流指示時(shí)，則向第2輸出部118輸出該位流。在此，分流部116采用輸入了輸 入影像150時(shí)取得的顯示時(shí)機(jī)(時(shí)刻)與1個(gè)幀的位流一一相對(duì)的格式來進(jìn)行輸出。然后，第1輸出部117輸出基本層流151，第2輸出部118輸出增強(qiáng)層流152。此 時(shí)，第1輸出部117以及第2輸出部118例如可以對(duì)基本層流151以及增強(qiáng)層流152分別 付與不同PID，進(jìn)行TS包化。(本實(shí)施方式的優(yōu)點(diǎn))通過以上結(jié)構(gòu)，取代使用可應(yīng)對(duì)可分級(jí)編碼的編碼裝置的方法，只需對(duì)通過通常 的編碼處理所獲得的流進(jìn)行適當(dāng)?shù)姆至?，就能夠?qū)崿F(xiàn)簡單地生成基本層流和增強(qiáng)層流的可 分級(jí)視頻流生成裝置。(變形例1更換輸入單元的變形例)以上說明了作為影像輸入部110設(shè)想使用存儲(chǔ)單元的情況，當(dāng)然也可以使用其他 單元。例如，可以使用通信控制單元，也可以使用拍攝單元。另外，還可以使用具備其他視 頻編碼方式的解碼功能的單元。通過以上結(jié)構(gòu)，可應(yīng)用于對(duì)通信路或者相機(jī)等發(fā)送的輸入 進(jìn)行實(shí)時(shí)編碼和傳送的系統(tǒng)，或者對(duì)編碼方式進(jìn)行變更之后再傳送的系統(tǒng)等。(變形例2更換編碼方式的變形例)
關(guān)于視頻編碼部113進(jìn)行編碼時(shí)所使用的視頻編碼方式，只要能夠進(jìn)行運(yùn)動(dòng)補(bǔ)償 預(yù)測(cè)，可以采用任何方式。例如，可以使用MPEG-2、MPEG-4、MPEG-4AVC等。另外，還能夠采 用應(yīng)對(duì)于多種編碼方式并根據(jù)需要可進(jìn)行靈活變更的結(jié)構(gòu)。通過上述結(jié)構(gòu)，由于能夠輸出 各種編碼方式的流，因此能夠增加可對(duì)應(yīng)的重放裝置。(變形例3生成多個(gè)增強(qiáng)級(jí)的例子)關(guān)于視頻編碼部113進(jìn)行編碼時(shí)所使用的視頻編碼方式，只要是能夠從過去的3 個(gè)以上編碼幀中選出參照幀的編碼方式，可以有2個(gè)以上的增強(qiáng)層流。例如，在圖5中，表示了除第1增強(qiáng)層流152之外，還生成第2增強(qiáng)層流153的例 子。圖5中的符號(hào)表示與圖2中的符號(hào)相同的意思，但是將各幀的編碼數(shù)據(jù)分為各流時(shí)，按 照基本層流151、第2增強(qiáng)層流153、第1增強(qiáng)層流152、第2增強(qiáng)層流153的順序反復(fù)進(jìn)行 分流?；緦恿?51與第1增強(qiáng)層流152之間的關(guān)系，與以上說明的內(nèi)容相同。在圖5所 示的實(shí)施方式中，通過用第2增強(qiáng)層流153進(jìn)行解碼，可解碼獲得更為中間的幀。通過以上 結(jié)構(gòu)，可獲得拓大了重放品質(zhì)選擇范圍的效果。(變形例4進(jìn)行雙向預(yù)測(cè)的例子)對(duì)于視頻編碼部113來說，作為參照幀，可以使用顯示時(shí)機(jī)為過去的幀，還可以使 用未來的幀來進(jìn)行編碼。圖6表示了對(duì)于一部分幀，以其前后的幀作為參照幀來進(jìn)行編碼 的例子。在圖6中，表示了對(duì)于記載有B的幀(以下，稱之為B幀)，根據(jù)顯示順序?yàn)檫^去和 未來的幀來進(jìn)行預(yù)測(cè)，即，以雙向畫面間預(yù)測(cè)編碼模式進(jìn)行編碼的方式。在此情況下，可以 將B幀的編碼后數(shù)據(jù)分為增強(qiáng)層流154。通過采用雙向預(yù)測(cè)，在更適合根據(jù)未來的幀進(jìn)行預(yù) 測(cè)的情況下，能夠獲得更正確的預(yù)測(cè)圖像，因此能夠減少殘差圖像的信號(hào)強(qiáng)度以及提高編 碼效率。(變形例5更換輸出單元的變形例)作為第1輸出部117以及第2輸出部118，通常設(shè)想采用通信控制單元。此外，可 以是其中的至少一方是存儲(chǔ)單元。通過上述結(jié)構(gòu)，還能夠應(yīng)用于預(yù)先在存儲(chǔ)器中存儲(chǔ)編碼 結(jié)果，然后根據(jù)重放裝置用戶的要求由其他發(fā)送裝置從存儲(chǔ)器中讀取該編碼結(jié)果的并發(fā)送 給通信路的隨選傳送中。(變形例6輸出流格式的變更)關(guān)于第1輸出部117以及第2輸出部118進(jìn)行輸出時(shí)的格式，可采用MPEG-2TS等 傳送用包的形式進(jìn)行多重輸出。在使用MPEG-2 TS的情況下，作為與流相對(duì)應(yīng)的時(shí)刻(時(shí) 機(jī))，可使用PTS。通過這種方法，能夠使用傳送MPEG-2 TS的各種傳送路徑。在作為編碼 方式采用MPEG-4 AVC的情況下，由于在流水平上規(guī)定有每個(gè)幀的時(shí)刻即Picture Timing SEI，因此，若以此作為與流相對(duì)應(yīng)的時(shí)刻，則可通過與MPEG-4 AVC相對(duì)應(yīng)的解碼裝置來對(duì) 流直接進(jìn)行重放。另外，根據(jù)本發(fā)明的可分級(jí)視頻流生成裝置的一實(shí)施方式，就可分級(jí)視頻流生成 裝置可作如下表述，即，其特征在于具備通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)輸入影像進(jìn)行壓縮編碼 并生成流的視頻編碼部、用于存儲(chǔ)進(jìn)行上述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)時(shí)所使用的參照幀的參照幀存儲(chǔ) 部、將上述流分為2種以上的流的分流部、用于對(duì)上述視頻編碼部以及上述分流部進(jìn)行控 制的編碼控制部，上述分流部根據(jù)是否以編碼后的幀作為參照幀來進(jìn)行分流。[2 可分級(jí)視頻流解碼裝置]
圖7是表示本發(fā)明的一實(shí)施方式的可分級(jí)視頻流解碼裝置200的主要結(jié)構(gòu)的方 框圖。如圖7所示，本實(shí)施方式的可分級(jí)視頻流解碼裝置200包括第1輸入部(流接收單 元)210、第2輸入部(流接收單元)211、第1輸入流存儲(chǔ)部212、第2輸入流存儲(chǔ)部213、重 排部(重排單元)214、參照幀存儲(chǔ)部215、視頻解碼部(解碼單元)216、輸出幀存儲(chǔ)部217 以及輸出部218?？煞旨?jí)視頻流解碼裝置200即使在接收到基本層流(編碼圖像流)250以及增強(qiáng) 層流(編碼圖像流)251的情況下，在對(duì)該流進(jìn)行解碼之前，也可以將該流所包含的編碼圖 像根據(jù)該解碼圖像各自的顯示時(shí)機(jī)信息來進(jìn)行重排，從而獲得一個(gè)流。因此，對(duì)重排后的流 進(jìn)行解碼即可，通過一個(gè)解碼單元也能夠?qū)Χ鄠€(gè)編碼圖像流進(jìn)行解碼，從而能夠簡化裝置 整體的結(jié)構(gòu)。(動(dòng)作一個(gè)例子)以下，詳細(xì)說明可分級(jí)視頻流解碼裝置200的動(dòng)作的一個(gè)例子。第1輸入部210將基本層流250順次存儲(chǔ)到第1輸入流存儲(chǔ)部212中。第2輸入 部211將增強(qiáng)層流251順次存儲(chǔ)到第2輸入流存儲(chǔ)部213中。在此，作為基本層流250以及增強(qiáng)層流251，可使用通過對(duì)影像進(jìn)行編碼所獲得的 具有時(shí)間可分級(jí)性的流，并且，作為增強(qiáng)層流251可使用不包含被用作參照幀的幀的編碼 數(shù)據(jù)的流。作為此類流，例如有通過本發(fā)明的可分級(jí)視頻流生成裝置生成的基本層流以及 增強(qiáng)層流。另外，第1輸入部210以及第2輸入部211能夠接收各種傳送路徑的基本層流250 以及增強(qiáng)層流251即可，例如可以是無線廣播接收裝置。重排部214對(duì)第1輸入流存儲(chǔ)部212中存儲(chǔ)的基本層流250的各編碼數(shù)據(jù)，和第2 輸入流存儲(chǔ)部213中存儲(chǔ)的增強(qiáng)層流251的各編碼數(shù)據(jù)進(jìn)行重排，并將重排的流作為一個(gè) 流發(fā)送給視頻解碼部216。圖8是說明重排部214反復(fù)進(jìn)行重排處理中的一次處理單位的流程圖。重排部 214反復(fù)進(jìn)行以下處理，直至處理完第1輸入流存儲(chǔ)部212以及第2輸入流存儲(chǔ)部213中存 儲(chǔ)的編碼數(shù)據(jù)為止。如圖8所示，重排部214首先取得第1輸入流存儲(chǔ)部212中存儲(chǔ)的基本層流250 以及第2輸入流存儲(chǔ)部213中存儲(chǔ)的增強(qiáng)層流251兩者之先頭部的編碼數(shù)據(jù)顯示時(shí)機(jī)(時(shí) 刻)信息(步驟S200以及S201)。然后，重排部214對(duì)所取得的顯示時(shí)機(jī)進(jìn)行比較(步驟S202)。若位于基本層流 250的先頭的編碼數(shù)據(jù)的顯示時(shí)機(jī)較早，重排部214就從第1輸入流存儲(chǔ)部212中取得該編 碼數(shù)據(jù)(步驟S203)，并將此輸出給視頻解碼部216(步驟20 。相反，若位于增強(qiáng)層流251 的先頭的編碼數(shù)據(jù)的顯示時(shí)機(jī)較早，重排部214就從第2輸入流存儲(chǔ)部213中取得該編碼 數(shù)據(jù)(步驟S204)，并將此輸出給視頻解碼部216(步驟20 。在此，通常有必要根據(jù)編碼 數(shù)據(jù)的解碼順序來對(duì)視頻解碼部216進(jìn)行輸入。在本實(shí)施方式中，關(guān)于在編碼數(shù)據(jù)的解碼 順序和付與各流的顯示時(shí)機(jī)信息的順序相一致的情況下，根據(jù)顯示時(shí)機(jī)來進(jìn)行重排的結(jié)構(gòu) 進(jìn)行了說明，但是，例如對(duì)通過以上所述的雙向預(yù)測(cè)而被編碼的視頻流進(jìn)行處理時(shí)，還存在 解碼順序和顯示時(shí)機(jī)信息的順序不一致的情況。在此類情況下，可取代顯示時(shí)機(jī)信息，預(yù)先 對(duì)可分級(jí)視頻流生成裝置付與表示該幀的解碼開始時(shí)刻的解碼時(shí)機(jī)信息，然后按該解碼時(shí)機(jī)信息的順序來進(jìn)行重排。在增強(qiáng)層流251中不包含編碼數(shù)據(jù)的情況下，只需對(duì)基本層流250進(jìn)行解碼即可。 因此，在增強(qiáng)層流251中不包含編碼數(shù)據(jù)的情況下，重排部214可省略進(jìn)行步驟S202中的 比較處理，無條件地進(jìn)入步驟S204的處理即可。另外，重排部214可根據(jù)付與基本層流250以及增強(qiáng)層流251的識(shí)別符(例如，TS 包的PID)，來提取將成為解碼對(duì)象的編碼圖像流。由此，能夠簡單地進(jìn)行只對(duì)將成為解碼對(duì) 象的編碼圖像流的解碼。如上所述，重排部214按顯示時(shí)機(jī)順序(時(shí)刻順序)對(duì)第1輸入流存儲(chǔ)部212以 及第2輸入流存儲(chǔ)部213中存儲(chǔ)的編碼數(shù)據(jù)進(jìn)行重排，并將重排的編碼數(shù)據(jù)作為1個(gè)流發(fā) 送給視頻解碼部216。視頻解碼部216從重排部214接收如上所述的流的輸入，并按照輸入順序?qū)υ摿?中包含的編碼數(shù)據(jù)進(jìn)行解碼。作為視頻解碼部216的處理程序，可采用一般常用的視頻解 碼器的處理程序。即，視頻解碼部216通過進(jìn)行可變長解碼、逆量化以及逆正交變換，獲得 殘差圖像。另外，視頻解碼部216從存參照幀存儲(chǔ)部215取得上述流所指定的參照幀，并根 據(jù)運(yùn)動(dòng)矢量來生成預(yù)測(cè)圖像。然后，視頻解碼部216通過對(duì)上述預(yù)測(cè)圖像和上述殘差圖像 進(jìn)行合并，獲得輸出幀(解碼后圖像)，并將此存儲(chǔ)到輸出幀存儲(chǔ)部217中。如上所述，上述流具有用于表示是否將解碼后幀作為參照幀來使用的標(biāo)識(shí)。如果 上述標(biāo)識(shí)表示的是將該解碼后幀作為參照幀使用的情況時(shí)，視頻解碼部216就將所獲得的 輸出幀存儲(chǔ)到參照幀存儲(chǔ)部215中。最后，輸出部218從輸出幀存儲(chǔ)部217中取出輸出幀并進(jìn)行輸出。(本實(shí)施方式的優(yōu)點(diǎn))根據(jù)上述本實(shí)施方式的可分級(jí)視頻流解碼裝置200，通過在歷來的可分級(jí)視頻流 裝置的基礎(chǔ)上僅增設(shè)第2輸入部211、第2輸入流存儲(chǔ)部213、重排部214而成的簡單結(jié)構(gòu)， 就能夠使用基本層流250和增強(qiáng)層流251的兩者來進(jìn)行解碼和重放，獲得與輸入影像具有 相同幀率的影像。此外，在未輸入增強(qiáng)層流251的情況下，如上所述，重排部214向視頻解碼部216 只發(fā)送基本層流250，并進(jìn)行解碼，重放低幀率的影像。(變形例1編碼方式的變形例)視頻解碼部216所對(duì)應(yīng)的視頻編碼方式，必須與視頻生成裝置中采用的編碼方法 相對(duì)應(yīng)，此外，還可以采用使視頻解碼部216預(yù)先與多個(gè)編碼方式構(gòu)成對(duì)應(yīng)，根據(jù)所輸入的 視頻流的編碼方式來靈活變更。另外，還可以在用于生成基本層流250以及增強(qiáng)層流251 的可分級(jí)視頻流生成裝置上，預(yù)先或者隨時(shí)顯示可分級(jí)視頻流解碼裝置200所能夠?qū)?yīng)的 編碼方式的列表，從而能夠從該列表中選出最適合于兩者的視頻編碼方式。根據(jù)上述結(jié)構(gòu)， 系統(tǒng)不再受編碼方式的限制，而能夠增加可重放的位流的數(shù)量。(變形例2可應(yīng)對(duì)延遲的例子)可通過不同的傳送路徑來傳送基本層流250和增強(qiáng)層流251。例如有，通過廣播傳 送基本層流250，而采用通信方式來傳送增強(qiáng)層流251等方法。各傳送路徑分別具有不同的 延遲量。例如在通信中，根據(jù)再送或者協(xié)議而對(duì)傳送方式等進(jìn)行變換時(shí)，可能會(huì)導(dǎo)致數(shù)秒至 數(shù)十秒的延遲。另外，即使在使用相同的傳送路徑時(shí)，由于基本層流250和增強(qiáng)層流251的傳送量不同，因此有時(shí)在傳送路徑中的中轉(zhuǎn)設(shè)備上可能會(huì)出現(xiàn)處理時(shí)間上的差距。在這些 情況下，可通過以下程序來應(yīng)對(duì)。圖9是表示輸入到可分級(jí)視頻流解碼裝置200中的2個(gè)流中的一個(gè)發(fā)生延遲時(shí)的 對(duì)應(yīng)處理的流程圖。與上述動(dòng)作例一樣，重排部214首先取得第1輸入流存儲(chǔ)部212以及第2輸入流 存儲(chǔ)部213中存儲(chǔ)的流的位于先頭的編碼數(shù)據(jù)的顯示時(shí)機(jī)信息(步驟S220以及S221)。然后，重排部214就所取得的基本層流250的位于先頭的編碼數(shù)據(jù)的顯示時(shí)機(jī)是 否有效進(jìn)行判斷(步驟S22》。如果上述顯示時(shí)機(jī)無效(基本層流250中不含有效的編碼 數(shù)據(jù))，就不輸出解碼數(shù)據(jù)而是結(jié)束處理。其理由在于，例如，即使在增強(qiáng)層流251中包含編 碼數(shù)據(jù)的情況下，如果基本層流250中不包含編碼數(shù)據(jù)，就無法進(jìn)行解碼，因此在第1輸入 流存儲(chǔ)部212中一個(gè)基本層流250的編碼數(shù)據(jù)也沒被存儲(chǔ)的情況下，目的在于保留接下來 的處理。另外，重排部214以所取得的基本層流250的先頭部的編碼數(shù)據(jù)顯示時(shí)機(jī)Tl， 和所取得的增強(qiáng)層流251的位于先頭的編碼數(shù)據(jù)的顯示時(shí)機(jī)T2中相對(duì)較早的時(shí)刻作為 Tmin (步驟 S222)。在此，如下所述，重排部214保持最后輸出給視頻解碼部216的幀的顯示時(shí)機(jī)。在 Tmin比該最后輸出的幀的顯示數(shù)據(jù)更早(舊)的情況下，重排部214從該編碼數(shù)據(jù)所包含 的流中刪除顯示時(shí)刻為Tmin的幀的編碼數(shù)據(jù)，并重新進(jìn)行處理(步驟S2M)。通過上述結(jié) 構(gòu)，即使當(dāng)幾乎同時(shí)發(fā)送的流中的有一個(gè)在傳送路徑中發(fā)生延遲時(shí)，也能避免無法重放先 輸入的流的問題。另外，在Tmin為某規(guī)定時(shí)刻的未來時(shí)刻的情況下，重排部214可結(jié)束處理(步驟 S225)。在此，上述規(guī)定時(shí)刻是指，從重排部214所保持的最后輸出的幀的顯示時(shí)機(jī)起相距 一定時(shí)間的未來時(shí)刻。如上所述，當(dāng)一個(gè)流發(fā)生延遲時(shí)，可刪除該延遲的數(shù)據(jù)。但是，如果 能夠在一定時(shí)間內(nèi)糾正該延遲，就無需刪除該延遲的流，而是通過保留先到達(dá)的流的處理， 能夠?qū)⒀舆t的流也用于解碼?？赏ㄟ^對(duì)基本層流250和增強(qiáng)層流251的延遲量預(yù)先進(jìn)行測(cè)定，來決定上述規(guī)定 時(shí)間，也可以根據(jù)其他的接收時(shí)刻履歷來決定上述規(guī)定時(shí)間，還可以使該規(guī)定時(shí)間包含于 流的附加信息中。但是，如果輸入流存儲(chǔ)部212以及213的剩余容量較小，則省略該控制， 而進(jìn)行輸出。通過上述結(jié)構(gòu)，在上述輸入流存儲(chǔ)部212以及213的容量所容許的范圍內(nèi)，能 夠吸收某一個(gè)流的輸入延遲，從而能夠利用兩個(gè)流進(jìn)行解碼。(變形例3具備錄像重放功能的例子)可分級(jí)視頻流解碼裝置200還可以具備錄像重放功能。例如，可與重排部214并 列地配設(shè)內(nèi)置有錄像存儲(chǔ)器的錄像重放部。上述錄像重放部取得基本層流205以及增強(qiáng)層 流251中的至少一個(gè)，并存儲(chǔ)到上述錄像存儲(chǔ)器中。然后，上述錄像重放部讀取上述錄像存 儲(chǔ)器中存儲(chǔ)的基本層流250以及增強(qiáng)層流251中的至少一個(gè)，并傳送給重排部214。之后， 重排部214進(jìn)行如上所述的解碼動(dòng)作。通過以上結(jié)構(gòu)，能夠?qū)斎氲牧鬟M(jìn)行錄像，然后在用 戶所希望的時(shí)間進(jìn)行重放。(變形例4通過錄像實(shí)現(xiàn)高畫質(zhì)的例子)在上述錄像重放的例子中，可以在完全不同的時(shí)刻輸入流。在此情況下，例如，首先輸入一個(gè)流并將該流記錄在上述錄像存儲(chǔ)器中，然后在別的時(shí)刻輸入另一個(gè)流并將該另 一個(gè)流追加記錄到該錄像存儲(chǔ)器中。重放時(shí)使用兩個(gè)流進(jìn)行重放。追加記錄后輸入的流時(shí)， 為了使裝置能夠識(shí)別出后輸入的流與先前已記錄的流之間的關(guān)聯(lián)性，可采用有規(guī)則的文件 名，或者根據(jù)附加信息使兩者構(gòu)成關(guān)聯(lián)。記錄時(shí)可以追加記錄到相同的文件中，而重放時(shí)可 以邊分流邊讀取?；蛘?，記錄時(shí)可以進(jìn)行與重排部214相同的重排處理，將兩個(gè)流作為1個(gè) 流進(jìn)行存儲(chǔ)。根據(jù)上述結(jié)構(gòu)，通過廣播接收基本層流250并進(jìn)行錄像，然后以通信的方式接 收增強(qiáng)層流251并追加錄像，以此產(chǎn)生在重放時(shí)能夠使用兩個(gè)流來進(jìn)行重放而獲得高畫質(zhì) 的效果。(變形例5輸入流格式的種類)關(guān)于基本層流250以及增強(qiáng)層流251的格式，只要編碼數(shù)據(jù)和時(shí)刻構(gòu)成一一對(duì)應(yīng)， 可采用任何格式。例如，采用MPEG-2 TS的情況下，1個(gè)幀的流被存儲(chǔ)到PES包中，與其相對(duì) 應(yīng)的時(shí)刻被存儲(chǔ)為PES頭的PTS。輸入MPEG-2 TS時(shí)，為了抽取編碼數(shù)據(jù)，需要進(jìn)行逆多重處理。為此，可以在重排部 214和視頻解碼部216之間設(shè)置逆重疊部，由該逆重疊部進(jìn)行逆重疊處理。另外，也可以在 第1輸入部210以及第2輸入部211進(jìn)行輸入時(shí)進(jìn)行逆重疊處理。關(guān)于后一個(gè)方法，尤其 是在編碼方式為MPEG-4 AVG形式的情況下，作為與幀相對(duì)應(yīng)的時(shí)刻，存儲(chǔ)Picture Timing SEI,因此可以采用該方法。另外，還存在將與多個(gè)幀相對(duì)應(yīng)的幀存儲(chǔ)到1個(gè)PES中的情況， 如果此時(shí)也在第1輸入部210以及第2輸入部211進(jìn)行輸入時(shí)進(jìn)行逆重疊，就能夠利用 Picture Timing SEI0在此，根據(jù)本發(fā)明的可分級(jí)視頻流解碼裝置的一實(shí)施方式，可作如下表述，本發(fā)明 的可分級(jí)視頻流解碼裝置包括用于輸入由本發(fā)明的可分級(jí)視頻流生成裝置生成的2個(gè)以 上的流的2個(gè)以上的輸入部；對(duì)于被輸入的2個(gè)以上的流，根據(jù)付與該流的時(shí)間信息來進(jìn)行 重排而排成1個(gè)流的重排部；對(duì)1個(gè)視頻流進(jìn)行解碼的視頻解碼部。[3 節(jié)電型可分級(jí)視頻流解碼裝置]如今，已開發(fā)出具備視頻流重放功能的便攜式電話機(jī)等小型信息處理裝置。這些 裝置多靠電池驅(qū)動(dòng)，為使裝置能夠保持長時(shí)間的電池驅(qū)動(dòng)，被要求降低耗電。尤其是，視頻 流重放中進(jìn)行較復(fù)雜的處理，從而需要較多的電力，因此降低裝置耗電的要求更高。例如， 專利文獻(xiàn)1中揭示了一種可降低耗電的數(shù)字?jǐn)z像裝置。該裝置包括像液晶尋像器的內(nèi)部顯 示單元，根據(jù)是否連接有電視機(jī)等外部設(shè)備來控制解碼動(dòng)作量，從而降低耗電。另外，專利 文獻(xiàn)1中，作為減少動(dòng)作量的具體方法，例舉了削減由解碼電路進(jìn)行解碼的圖像的分辨率、 灰階、幀率的方法。但是在專利文獻(xiàn)1中，為了削減耗電，省略了解碼處理的一部分，因此需要用于追 加進(jìn)行幀間隔、像素間隔等處理的復(fù)雜結(jié)構(gòu)。根據(jù)本發(fā)明的可分級(jí)視頻流解碼裝置的一實(shí)施方式，能夠通過簡單的結(jié)構(gòu)來降低 耗電。圖10是表示本實(shí)施方式的可分級(jí)視頻流解碼裝置300的主要結(jié)構(gòu)的框圖。如圖10 上述，本發(fā)明的可分級(jí)視頻流解碼裝置300包括第1輸入部(流接收單元)310、第2輸入部 (流接收單元)311、可分級(jí)視頻解碼部312 (解碼單元)、傳感部(檢測(cè)單元)313、輸入控制 部(輸入控制單元)314、輸入開關(guān)部315?？煞旨?jí)視頻流解碼裝置300對(duì)可分級(jí)視頻流解碼裝置300的狀態(tài)進(jìn)行檢測(cè)，并根據(jù)該狀態(tài)，使至少1個(gè)該流接收單元運(yùn)行或者停止運(yùn)行。由此，當(dāng)可分級(jí)視頻流解碼裝置300處于例如電池殘余量較少、裝置溫度較高、蓋 子閉合、裝置正在移動(dòng)、圖像的運(yùn)動(dòng)較少等狀態(tài)時(shí)，能夠使至少一個(gè)流接收單元停止，以對(duì) 處理量進(jìn)行適當(dāng)調(diào)整，降低耗電。(動(dòng)作的一個(gè)例子)以下，詳細(xì)說明可分級(jí)視頻流解碼裝置300的動(dòng)作的一個(gè)例子。第1輸入部310接收基本層流350，并將接收到的流發(fā)送給可分級(jí)視頻解碼部 312。第2輸入部311接收增強(qiáng)層流351，并將接收到的流發(fā)送給可分級(jí)視頻解碼部312?？煞旨?jí)視頻解碼部312對(duì)基本層流350以及增強(qiáng)層流351進(jìn)行解碼，并輸出動(dòng)畫。 關(guān)于可分級(jí)視頻解碼部312的內(nèi)部結(jié)構(gòu)，在本實(shí)施方式中未進(jìn)行限定，例如可以采用與本 發(fā)明的可分級(jí)視頻流解碼裝置200相同的結(jié)構(gòu)。傳感部313是用于檢測(cè)可分級(jí)視頻流解碼裝置300的電池殘余量信息的單元，其 將取得的電池殘余量信息發(fā)送給輸入控制部314。輸入控制部314根據(jù)感應(yīng)器部313提供 的信息，來判斷是否對(duì)增強(qiáng)層流351進(jìn)行解碼以及輸入控制。圖11是說明輸入控制部314的動(dòng)作的流程圖。輸入控制部314從傳感器部313取 得電池殘余量信息(步驟S300)，并與規(guī)定閾值進(jìn)行比較(步驟S301)。如果電池殘余量信 息低于上述閾值，輸入控制部314就進(jìn)行使輸入開關(guān)部315切斷的控制(步驟S302)，而電 池殘余量信息高于上述閾值時(shí)，輸入控制部314就進(jìn)行使輸入開關(guān)部315接通的控制(步 驟 S303)。輸入開關(guān)部315受輸入控制部314的控制。當(dāng)輸入開關(guān)部315接通時(shí)，第2輸入 部311進(jìn)行輸入增強(qiáng)層流351的動(dòng)作。而輸入開關(guān)部315切斷時(shí)，第2輸入部311就停止 動(dòng)作，不進(jìn)行增強(qiáng)層流351的輸入。因此，輸入開關(guān)部315接通時(shí)，可分級(jí)視頻解碼部312 必然會(huì)使用基本層流350以及增強(qiáng)層流351來對(duì)輸出幀進(jìn)行解碼，而輸入開關(guān)部315切斷 時(shí)，可分級(jí)視頻解碼部312只使用基本層流350對(duì)輸出幀進(jìn)行解碼。(本實(shí)施方式的優(yōu)點(diǎn))根據(jù)以上結(jié)構(gòu)，當(dāng)電池殘余量變少時(shí)，本實(shí)施方式的可分級(jí)視頻流解碼裝置300 可通過減少解碼處理量來抑制耗電，因此，在維持重放的同時(shí)能夠延長裝置的運(yùn)轉(zhuǎn)時(shí)間。并 且，在可分級(jí)視頻流解碼裝置300中，無需在可分級(jí)視頻解碼部312構(gòu)筑特別的節(jié)電結(jié)構(gòu)， 只通過追加簡單的結(jié)構(gòu)，即，傳感器部313、輸入控制部314、輸入開關(guān)部315，就能夠獲得以 上效果。(變形例1傳感部是溫度感應(yīng)器的例子)感應(yīng)器部313可以是用于取得可分級(jí)視頻流解碼裝置300的溫度信息的溫度感應(yīng) 器。在此情況下，輸入控制部314進(jìn)行如下控制當(dāng)溫度信息超過閾值時(shí)，使輸入開關(guān)部315 切斷；當(dāng)溫度信息為閾值以下時(shí)，使輸入開關(guān)部315接通。根據(jù)上述結(jié)構(gòu)，當(dāng)裝置的溫度上 升時(shí)，通過省略對(duì)增強(qiáng)層流351進(jìn)行解碼來減少處理量，從而抑制發(fā)熱并能夠削減耗電。(變形例2傳感部是顯示屏蓋部傳感器的例子)在出于保護(hù)顯示屏表面等的目的，將可分級(jí)視頻流解碼裝置300組裝在設(shè)有開閉 可能的蓋子的裝置中的情況下，傳感部313可以是用于該裝置的顯示屏蓋的開閉傳感器。 在此情況下，輸入控制部314進(jìn)行如下控制當(dāng)上述顯示屏蓋被關(guān)閉時(shí)，使輸入開關(guān)315切斷；當(dāng)該顯示屏被蓋打開時(shí)，使輸入開關(guān)315接通。上述裝置的顯示屏該被關(guān)閉時(shí)，用戶觀 看影像的可能性較低，因此，即使省略對(duì)增強(qiáng)層流351進(jìn)行解碼以及降低畫質(zhì)，也不會(huì)影響 到用戶的使用方便性。從而，根據(jù)上述結(jié)構(gòu)，在不影響到用戶的使用方便性的情況下能夠抑 制耗電。(變形例3傳感部為加速度感應(yīng)器的例子)感應(yīng)器部313還可以是用于檢測(cè)裝置的加速度的加速度感應(yīng)器。此時(shí)，輸入控制 部314進(jìn)行如下控制當(dāng)加速度超過閾值時(shí)，使輸入開關(guān)部315切斷；而加速度為閾值以下 時(shí)，使輸入開關(guān)部315接通。當(dāng)使裝置進(jìn)行下降、上升、搖動(dòng)等加速度運(yùn)動(dòng)的期間，用戶觀看 影像的可能性較低，因此，即使省略對(duì)增強(qiáng)層流351進(jìn)行解碼以及降低畫質(zhì)，也不會(huì)影響到 用戶的使用方便性。從而，根據(jù)上述結(jié)構(gòu)，在不影響到用戶的使用方便性的情況下能夠抑制 耗電。(變形例4傳感部部為運(yùn)動(dòng)矢量感應(yīng)器的例子)感應(yīng)器部313還可以是用于檢測(cè)可分級(jí)視頻解碼部312進(jìn)行解碼途中所獲得的運(yùn) 動(dòng)矢量的感應(yīng)器或者程序。在此情況下，輸入控制部314進(jìn)行如下控制當(dāng)根據(jù)運(yùn)動(dòng)矢量所 求出的評(píng)價(jià)值，例如全像素的尺寸之和超過閾值時(shí)，使輸入開關(guān)部315接通；而該尺寸之和 為閾值以下時(shí)，使輸入開關(guān)部315切斷。解碼后影像中的運(yùn)動(dòng)較少時(shí)，即使省略對(duì)增強(qiáng)層流 351中包含的下一個(gè)幀進(jìn)行解碼，外觀上并不會(huì)出現(xiàn)太大的差別，因此，不會(huì)損害用戶的使 用方便性。從而，根據(jù)上述結(jié)構(gòu)，在不影響到用戶的使用方便性的情況下能夠抑制耗電。(變形例5多個(gè)傳感器的組合)感應(yīng)器部313可由多個(gè)感應(yīng)器單元構(gòu)成。此時(shí)，輸入控制部314通過對(duì)多個(gè)感應(yīng) 器所提供的信息進(jìn)行綜合，來對(duì)輸入開關(guān)部315進(jìn)行接通/切斷控制。另外，在上述動(dòng)作例以及變形例的說明中，具體使用了“以上” “以下” “高于” “低 于”等用語，但這并不是對(duì)是否包含等值的情況的嚴(yán)格限定，可以將“以上”替換成“高于”。(變形例6對(duì)控制進(jìn)行連續(xù)切換的例子)另外，在以上例子中，輸入控制部314通過對(duì)感應(yīng)器部313所提供的值(連續(xù)值) 和閾值進(jìn)行比較，來對(duì)輸入開關(guān)部315進(jìn)行接通/切斷的2值控制。此外，輸入控制部314 還可以對(duì)輸入開關(guān)部315進(jìn)行連續(xù)控制。例如，感應(yīng)器部313所提供的值與閾值大致相同 時(shí)，輸入控制部314可以按1比1的時(shí)間分配來對(duì)輸入開關(guān)部315的接通/切斷進(jìn)行斷續(xù) 的切換控制。(變形例7使控制延遲的例子)另外，可以在輸入控制部314上設(shè)置開關(guān)計(jì)時(shí)部，從傳感器部313所提供的信息達(dá) 到切換條件的那個(gè)時(shí)間點(diǎn)起經(jīng)過一定時(shí)間之后，對(duì)輸入開關(guān)部315進(jìn)行控制，該切換條件 是指對(duì)輸入開關(guān)部315的接通/切斷進(jìn)行切換的條件。根據(jù)上述結(jié)構(gòu)，能夠抑制發(fā)生因傳 感部提供的信息頻繁地超過閾值而導(dǎo)致輸入開關(guān)部315也頻繁地進(jìn)行接通以及切斷控制， 從而無法進(jìn)行自然的影像重放的現(xiàn)象。(變形例8用戶操作可能的例子)此外，還可以在可分級(jí)視頻流解碼裝置300上設(shè)置用戶操作部，使用戶能夠?qū)Ω?種閾值進(jìn)行設(shè)定，或者使用戶能夠?qū)斎腴_關(guān)部315進(jìn)行控制。根據(jù)上述結(jié)構(gòu)，能根據(jù)用戶 的指示來降低畫質(zhì)，從而抑制耗電。
(變形例9對(duì)控制條件進(jìn)行記憶的例子)可根據(jù)用戶的操作履歷，進(jìn)行最適當(dāng)?shù)目刂啤＜?，輸入控制?14對(duì)用戶進(jìn)行輸入 開關(guān)部315的控制操作時(shí)的裝置狀態(tài)，例如溫度等進(jìn)行記錄，待再次出現(xiàn)該狀態(tài)時(shí)，對(duì)輸入 開關(guān)部315進(jìn)行相同的控制。根據(jù)上述結(jié)構(gòu)，能夠迎合用戶的嗜好，對(duì)增強(qiáng)層流351解碼時(shí) 的接通/切斷進(jìn)行細(xì)微的控制，從而能夠提高方便性和節(jié)電性能。在此，根據(jù)本發(fā)明的可分級(jí)視頻流重放裝置的一實(shí)施方式，可作如下表述，可分級(jí) 視頻流重放裝置包括用于檢測(cè)可分級(jí)視頻流重放裝置的狀態(tài)的傳感部；根據(jù)從感應(yīng)器部 取得的可分級(jí)視頻流重放裝置的狀態(tài)來判斷流的輸入控制的輸入控制部；通過上述輸入控 制部的控制，使至少一個(gè)輸入部停止輸入的輸入開關(guān)部。(與現(xiàn)有廣播方式具有互換性的結(jié)構(gòu)例)在此，通過使用本發(fā)明的可分級(jí)視頻流生成裝置以及可分級(jí)視頻流解碼裝置，可 運(yùn)用與現(xiàn)有的廣播方式具有互換性的對(duì)應(yīng)時(shí)間可分級(jí)的廣播。以下，說明與單頻段的部分 接收服務(wù)(以下稱為單頻段廣播，One Segment Broadcasting)進(jìn)行互換運(yùn)用的例子，其中， 單頻段部分接收服務(wù)是針對(duì)在現(xiàn)有的地上數(shù)字廣播(ISDB-T)方式中使用的便攜式電話機(jī) 等移動(dòng)設(shè)備終端的服務(wù)。在單頻段廣播中，作為視頻流的編碼方式采用MPEG-4 AVC，作為流格式采用 MPEG-2 TS0如上所述，在本發(fā)明的可分級(jí)視頻流生成裝置以及可分級(jí)視頻流解碼裝置中， 能夠利用MPEG-4 AVC和MPEG-2 TS0利用付與MPEG-2 TS的各TS包的PID (包識(shí)別符)， 可實(shí)現(xiàn)與單頻段廣播的互換。PID是用于識(shí)別該包所包含的流是視頻、聲頻、字幕數(shù)據(jù)以及其他數(shù)據(jù)中的哪一個(gè) 流的識(shí)別符。但是，PID的值并不直接表示流形式。除了 PID之外，還另規(guī)定有用于識(shí)別構(gòu) 成廣播的視頻、聲頻、字幕等流的形式的流形式Gtream Type)。并且，還相對(duì)于各流獨(dú)立地 傳送用于表示各PID與各流形式之間的對(duì)應(yīng)關(guān)系的表(PMT)。在采用MPEG-2TS的系統(tǒng)中， 可以通過參照PMT來識(shí)別與各PID相對(duì)應(yīng)的流形式，可以采用與流種類相對(duì)應(yīng)的解碼器來 進(jìn)行解碼以及重放。對(duì)于單頻段廣播等現(xiàn)有的數(shù)字廣播中使用的流形式，設(shè)有如下表1中0X1 OX IB所示的分配規(guī)定。表1流形式類別
權(quán)利要求
1.一種可分級(jí)視頻流生成裝置，其特征在于編碼單元通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)多個(gè)輸入幀進(jìn)行編碼； 分流單元將由該編碼單元進(jìn)行編碼所得的各編碼圖像分為多個(gè)編碼圖像流； 該分流單元根據(jù)該編碼單元對(duì)任意的輸入幀進(jìn)行編碼時(shí)是否作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的參 照幀使用應(yīng)被分流的編碼圖像，來對(duì)該編碼圖像進(jìn)行分流，該可分級(jí)視頻流生成裝置對(duì)被分流的各編碼圖像流付與不同的識(shí)別符。
2.一種可分級(jí)視頻流解碼裝置，其特征在于包括流接收單元，接收由權(quán)利要求1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流；重排單元，根據(jù)付與編碼圖像流的識(shí)別符，從該流接收單元所接收的多個(gè)編碼圖像流 中提取應(yīng)由本裝置進(jìn)行解碼的1個(gè)以上的編碼圖像流，并對(duì)所提取到的1個(gè)以上的編碼圖 像流中包含的各編碼圖像，根據(jù)各自的顯示時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn)行 重排；解碼單元，對(duì)由該重排單元進(jìn)行重排的該編碼圖像進(jìn)行解碼。
3.根據(jù)權(quán)利要求2所述的可分級(jí)視頻流解碼裝置，其特征在于包括 多個(gè)上述流接收單元；檢測(cè)單元，檢測(cè)上述可分級(jí)視頻流解碼裝置的狀態(tài)；輸入控制單元，根據(jù)該檢測(cè)單元所檢測(cè)出的狀態(tài)，使至少1個(gè)該流接收單元進(jìn)行動(dòng)作 或者停止動(dòng)作。
4.一種可分級(jí)視頻流解碼方法，其特征在于包括流接收工序，接收由權(quán)利要求1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流；重排工序，根據(jù)付與編碼圖像流的識(shí)別符，從通過該流接收工序所接收的多個(gè)編碼圖 像流中提取應(yīng)進(jìn)行解碼的1個(gè)以上的編碼圖像流，并對(duì)所提取到的1個(gè)以上的編碼圖像 流中包含的各編碼圖像，根據(jù)各自的顯示時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn)行重 排；解碼工序，對(duì)通過該重排工序進(jìn)行重排的該編碼圖像進(jìn)行解碼。
5.一種可分級(jí)視頻流解碼裝置的控制方法，其特征在于 該可分級(jí)視頻流解碼裝置包括流接收單元、重排單元和解碼單元，該流接收單元接收由權(quán)利要求1所述的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖 像流，該重排單元根據(jù)付與該編碼圖像流的識(shí)別符，從該流接收單元所接收的多個(gè)編碼圖像 流中提取應(yīng)由本裝置進(jìn)行解碼的1個(gè)以上的編碼圖像流，并對(duì)所提取到的1個(gè)以上的解碼 圖像流中包含的各編碼圖像，根據(jù)各自的顯示時(shí)機(jī)信息或者解碼時(shí)機(jī)信息，按解碼順序進(jìn) 行重排，該解碼單元對(duì)由該重排單元進(jìn)行重排的該編碼圖像進(jìn)行解碼， 該可分級(jí)視頻流解碼裝置的控制方法包括檢測(cè)工序和輸入控制工序， 在該檢測(cè)工序中，檢測(cè)上述可分級(jí)視頻流解碼裝置的狀態(tài)，在該輸入控制工序中，根據(jù)在該檢測(cè)工序中檢測(cè)出的狀態(tài)，使至少1個(gè)該流接收單元進(jìn)行動(dòng)作或者停止動(dòng)作。
6.一種可分級(jí)視頻流生成方法，其特征在于 包括編碼工序和分流工序，在該編碼工序中，通過運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)多個(gè)輸入幀進(jìn)行編碼；在該分流工序中，將通過該編碼工序進(jìn)行編碼所得的各編碼圖像分為多個(gè)編碼圖像流；在該分流工序中，根據(jù)在該編碼工序中對(duì)任意的輸入幀進(jìn)行編碼時(shí)是否作為運(yùn)動(dòng)補(bǔ)償 預(yù)測(cè)的參照幀使用應(yīng)被分流的編碼圖像，來對(duì)該編碼圖像進(jìn)行分流， 對(duì)被分流的各編碼圖像流付與不同的識(shí)別符。
7.一種可分級(jí)視頻流解碼程序，其特征在于用于使權(quán)利要求2或者3所述的可分級(jí)視頻流解碼裝置進(jìn)行動(dòng)作， 并使計(jì)算機(jī)作為上述各單元而發(fā)揮作用。
8.一種可分級(jí)視頻流生成程序，其特征在于用于使權(quán)利要求1所述的可分級(jí)視頻流生成裝置進(jìn)行動(dòng)作， 并使計(jì)算機(jī)作為上述各單元而發(fā)揮作用。
全文摘要
本發(fā)明的可分級(jí)視頻流生成裝置，根據(jù)是否作為參照幀使用編碼圖像，將編碼后的各編碼圖像分為多個(gè)編碼圖像流，并對(duì)該多個(gè)編碼圖像流付與不同的識(shí)別符。本發(fā)明的可分級(jí)視頻流解碼裝置，接收由本發(fā)明的可分級(jí)視頻流生成裝置所生成的多個(gè)編碼圖像流，并對(duì)根據(jù)付與編碼圖像流的識(shí)別符所提取到的1個(gè)以上的編碼圖像流中包含的各編碼圖像，按解碼順序進(jìn)行重排和解碼。由此，能夠提供結(jié)構(gòu)簡單的可分級(jí)視頻流系統(tǒng)。
文檔編號(hào)H04N7/32GK102150432SQ20098013596
公開日2011年8月10日 申請(qǐng)日期2009年9月4日 優(yōu)先權(quán)日2008年9月17日
發(fā)明者井上理, 伊藤典男, 高橋真毅 申請(qǐng)人:夏普株式會(huì)社