專利名稱：編碼裝置和方法、解碼裝置和方法、程序、記錄介質(zhì)和數(shù)據(jù)結(jié)構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及編碼裝置和方法、解碼裝置和方法、程序、記錄介質(zhì)和數(shù)據(jù) 結(jié)構(gòu)，特別涉及允許副圖像以獨(dú)立于主圖像的縱橫比顯示的裝置和方法、程 序、記錄介質(zhì)和數(shù)據(jù)結(jié)構(gòu)。
背景技術(shù)：
諸如字幕的圖像(在下文中，該圖像被稱為副圖像)可能疊加在內(nèi)容的 圖像(在下文中該圖像被稱為主圖像)上，并且顯示所疊加的圖像以補(bǔ)充主 圖像。通常，副圖像的縱橫比與主圖像的縱橫比相關(guān)聯(lián)。當(dāng)疊加有副圖像的主圖像的縱橫比為a: b時(shí)，把副圖像的縱橫比設(shè)置為a: b。當(dāng)疊加有副圖像 的主圖像的縱橫比為c: d時(shí)，把副圖像的縱橫比設(shè)置為c: d。作為具體示例，如圖l所示，當(dāng)顯示設(shè)備的縱橫比為16: 9而主圖像的 縱橫比為4: 3時(shí)，改變主圖像的圖像框架尺寸，并且添加使屏幕的左右端區(qū) 域變?yōu)楹谏臄?shù)據(jù)。在這種情況下，字幕通常以4: 3的縱橫比顯示(見專利 文檔，日本專利申請公開號HEI 10 - 308924 )。然而，在具有輕便易攜的主要特征的小電子設(shè)備如PDA (Personal Digital Assistant ，個(gè)人數(shù)字助理)中，由于所述設(shè)備帶有小的顯示設(shè)備， 當(dāng)顯示屏幕的縱橫比為16: 9而主圖像的縱橫比為4: 3時(shí)，在存在如圖1所 示的側(cè)面板部分情況下，如果以4: 3的縱^f黃比顯示字幕，則可能變得難以看 到字幕。發(fā)明內(nèi)容根據(jù)前面所述觀點(diǎn)，產(chǎn)生了本發(fā)明，本發(fā)明的目的是以獨(dú)立于主圖像的 縱橫比顯示副圖像。本發(fā)明是一種包括第一編碼部分和第二編碼部分的編碼裝置，第一編碼 部分對主圖像進(jìn)行編碼并把主圖像的縱橫比合并在主圖像的編碼數(shù)據(jù)中，第
二編碼部分對副圖像進(jìn)行編碼并把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù) 中。第二編碼部分可以設(shè)置代表副圖像的縱橫比的標(biāo)志，以便把副圖像的縱 橫比合并在副圖像的編碼數(shù)據(jù)中。本發(fā)明是一種編碼方法，其中包括下述步驟對主圖像編碼和把主圖像 的縱橫比合并在主圖像的編碼數(shù)據(jù)中，及對副圖像編碼和把副圖像的縱橫比 合并在副圖像的編碼數(shù)據(jù)中。本發(fā)明是第一程序，其中包括下述步驟對主圖像編碼和把主圖像的縱 橫比合并在主圖像的編碼數(shù)據(jù)中，及對副圖像編碼和把副圖像的縱橫比合并 在副圖像的編碼數(shù)據(jù)中。在本發(fā)明的編碼裝置、方法和第一程序中，對主圖像進(jìn)行編碼，并把主 圖像的縱橫比合并在主圖像的編碼數(shù)據(jù)中。對副圖像進(jìn)行編碼并把副圖像的 縱橫比合并在副圖像的編碼數(shù)據(jù)中。本發(fā)明是一種解碼裝置，其中包括第一獲取部分，該部分從主圖像的 編碼數(shù)據(jù)中獲取主圖像的縱橫比；第一轉(zhuǎn)換部分，該部分根據(jù)第一獲取部分 獲取的主圖像的縱橫比轉(zhuǎn)換主圖像的圖像框架；第二獲取部分，該部分從副 圖像的編碼數(shù)據(jù)中獲取副圖像的縱橫比；第二轉(zhuǎn)換部分，該部分根據(jù)第二獲 取部分獲取的副圖像的縱橫比轉(zhuǎn)換副圖像的圖像框架。本發(fā)明是一種解碼方法，其包括下列步驟:從主圖像的編碼數(shù)據(jù)獲取主圖 像的縱橫比;根據(jù)第 一獲取步驟獲取的主圖像的縱橫比轉(zhuǎn)換主圖像的圖像框 架；從副圖像的編碼數(shù)據(jù)獲取副圖像的縱橫比；和根據(jù)第二獲取步驟獲取的 副圖像縱橫比轉(zhuǎn)換副圖像的圖像框架。本發(fā)明是第二程序，其中包括了從主圖像編碼數(shù)據(jù)得到主圖像縱橫比和 根據(jù)第 一個(gè)獲取步驟獲取的主圖像縱橫比轉(zhuǎn)換主圖像的圖像框架的步驟及從 副圖像編碼數(shù)據(jù)得到副圖像縱橫比和根據(jù)第二個(gè)獲取步驟獲取的副圖像縱橫 比轉(zhuǎn)換副圖像的圖像框架的步驟。在本發(fā)明所述的解碼裝置、方法和第二個(gè)程序中，從主圖像的編碼數(shù)據(jù) 中獲取主圖像的縱橫比，根據(jù)得到的主圖像縱橫比轉(zhuǎn)換主圖像的圖像框架； 從副圖像的編碼數(shù)據(jù)中獲取副圖像的縱橫比，根據(jù)得到的副圖像縱橫比轉(zhuǎn)換 副圖像的圖像框架。本發(fā)明是一種記錄介質(zhì)，其中編碼了主圖像數(shù)據(jù)的主圖像編碼數(shù)據(jù)和其中編碼了副圖像數(shù)據(jù)的副圖像編碼數(shù)據(jù)被復(fù)用和記錄在上面，通過把副圖像 數(shù)據(jù)添加在主圖像數(shù)據(jù)上來顯示主圖像數(shù)據(jù)和副圖像數(shù)據(jù)，其中主圖像的編碼數(shù)據(jù)具有代表主圖像數(shù)據(jù)的縱橫比的第一縱橫比標(biāo)志，副圖像的編碼數(shù)據(jù) 具有代表副圖像數(shù)據(jù)的縱橫比的第二縱橫比標(biāo)志，第二縱橫比獨(dú)立于第一縱 橫比。本發(fā)明是一種數(shù)據(jù)結(jié)構(gòu)，其中復(fù)用了其中編碼了主圖像數(shù)據(jù)的主圖像編 碼數(shù)據(jù)和其中編碼了副圖像數(shù)據(jù)的副圖像編碼數(shù)據(jù)，通過把副圖像數(shù)據(jù)添加 在主圖像數(shù)據(jù)上來顯示主圖像數(shù)據(jù)和副圖像數(shù)據(jù)，其中主圖像的編碼數(shù)據(jù)具 有代表主圖像數(shù)據(jù)的縱橫比的第 一縱橫比標(biāo)志，副圖像的編碼數(shù)據(jù)具有代表 副圖像數(shù)據(jù)的縱橫比的第二縱橫比標(biāo)志，第二縱橫比獨(dú)立于第 一縱橫比。在本發(fā)明的記錄介質(zhì)和數(shù)據(jù)結(jié)構(gòu)中，其中編碼了主圖像數(shù)據(jù)的主圖像編 碼數(shù)據(jù)和其中編碼了被疊加于主圖像上的副圖像數(shù)據(jù)的副圖像編碼數(shù)據(jù)被復(fù) 用和記錄。主圖像的編碼數(shù)據(jù)具有代表主圖像數(shù)據(jù)的縱橫比的第 一縱橫比標(biāo) 志，副圖像的編碼數(shù)據(jù)具有代表副圖像數(shù)據(jù)的縱橫比的第二縱橫比標(biāo)志，第 二縱橫比獨(dú)立于第一縱橫比。這樣，分別從主圖像的編碼數(shù)據(jù)和副圖像的編 碼數(shù)據(jù)中獲取主圖像的縱橫比和副圖像的縱橫比?？梢愿鶕?jù)所獲取的主圖像 縱橫比轉(zhuǎn)換主圖像的圖像框架?？梢愿鶕?jù)所獲取的副圖像縱橫比轉(zhuǎn)換副圖像 的圖像框架。依照本發(fā)明，可以用獨(dú)立于主圖像的縱橫比的縱橫比來顯示副圖像。


圖1為依照相關(guān)技術(shù)的字幕顯示示例的示意圖；圖2為顯示依照本發(fā)明 的編碼裝置的結(jié)構(gòu)示例的方框圖；圖3為顯示圖2中所示的視頻編碼器26的 結(jié)構(gòu)的示例的方框圖；圖4為顯示視頻編碼器處理示例的概要的流程圖；圖 5為描述字幕坐標(biāo)的示意圖；圖6為顯示依照本發(fā)明的解碼裝置的結(jié)構(gòu)的示 例的方框圖；圖7為顯示圖6中所示視頻解碼器66的結(jié)構(gòu)的示例的方框圖； 圖8為顯示視頻解碼器處理示例的概要的流程圖；圖9為描迷圖7中所示副 圖像框架尺寸轉(zhuǎn)換部分75的操作的流程圖；圖10為顯示依照本發(fā)明的字幕 顯示示例的示意圖；圖11為顯示依照本發(fā)明的字幕顯示示例的另一示意圖； 圖12A和12B為描述當(dāng)顯示設(shè)備的縱橫比為4: 3時(shí)，即使主圖像的縱橫比 為16: 9，字幕也被以4: 3的縱橫比投射的示意圖；圖13為顯示主圖像顯
示區(qū)域相對于字幕坐標(biāo)的示意圖；圖14為顯示主圖像顯示區(qū)域相對于字幕坐 標(biāo)的另一示意圖；圖15為顯示主圖像顯示區(qū)域相對于字幕坐標(biāo)的另一示意 圖；圖16為顯示主圖像顯示區(qū)域相對于字幕坐標(biāo)的另一示意圖；圖17為顯 示主圖像顯示區(qū)域相對于字幕坐標(biāo)的另一示意圖；圖18為顯示主圖像顯示區(qū) 域相對于字幕坐標(biāo)的另一示意圖；圖19為顯示依照本發(fā)明的字幕顯示示例的 另一示意圖；圖20為顯示依照本發(fā)明的字幕顯示示例的另一示意圖；圖21 為顯示主圖像顯示區(qū)域相對于字幕坐標(biāo)的另一示意圖；圖22為顯示主圖像顯 示區(qū)域相對于字幕坐標(biāo)的另一示意圖；圖23為顯示主圖像顯示區(qū)域相對于字 幕坐標(biāo)的另一示意圖；圖24為顯示依照本發(fā)明的字幕顯示示例的另一示意 圖；圖25為顯示依照本發(fā)明的字幕顯示示例的另一示意圖。
具體實(shí)施方式
下面將對本發(fā)明的實(shí)施例進(jìn)行描述。說明書中描述的發(fā)明和本發(fā)明的實(shí) 施例之間的關(guān)系如下。本部分的描述表明在本說明書中描述了支持說明書中 闡明的發(fā)明的實(shí)施例。因此，即使本部分對一些實(shí)施例沒有描述，也不說明 所述實(shí)施例與本發(fā)明不相應(yīng)。相反，即使本部分把實(shí)施例描述為發(fā)明，也不 說明這些實(shí)施例與除本發(fā)明之外的發(fā)明不相應(yīng)。本部分的描述并不意味著在本說明書中描述的發(fā)明的各個(gè)方面。換句話 說，本部分的描述與本說明書中描述的發(fā)明相對應(yīng)。因此，本部分的描述并 不否認(rèn)存在在本專利申請的權(quán)利要求書中未闡明的本發(fā)明方面的存在，以及 可以提出分案申請和/或可以作為修改增加本發(fā)明的附加方面。權(quán)利要求1所述為一種編碼裝置，能產(chǎn)生添加了副圖像的主圖像的圖像 編碼數(shù)據(jù)，包括一個(gè)對主圖像編碼和把主圖像的縱橫比合并在主圖像的編碼 數(shù)據(jù)中的第一個(gè)編碼部分(例如，圖3所示的主圖像編碼部分31); —個(gè)對 副圖像編碼和把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中的第二個(gè)編碼部 分(例如，圖3所示的副圖像編碼部分32)。第二種合并方式為設(shè)置一個(gè)代表副圖像縱橫比的標(biāo)志(例如， 一個(gè)代表 16: 9的標(biāo)志， 一個(gè)代表4: 3的標(biāo)志， 一個(gè)代表16: 9和4: 3的標(biāo)志)來 在副圖像的編碼數(shù)據(jù)中合并副圖像的縱橫比。權(quán)利要求3所述為一種編碼方法，權(quán)利要求4所述為一種產(chǎn)生疊加了副 圖像的主圖像的圖像編碼數(shù)據(jù)的程序，包括對主圖像編碼和把主圖像的縱橫
比合并在主圖像的編碼數(shù)據(jù)中(例如，圖3所示的主圖像編碼部分31的處理) 以及對副圖像編碼和把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中(例如，圖3所示的副圖像編碼部分32的處理)的步驟。權(quán)利要求5所述為一種對疊加了副圖像的主圖像的圖像數(shù)據(jù)進(jìn)行主圖像 編碼數(shù)據(jù)解碼和副圖像編碼數(shù)據(jù)解碼的解碼裝置，包括一個(gè)從主圖像編碼數(shù) 據(jù)得到主圖像縱橫比的第一個(gè)獲取部分(例如，圖7所示的主圖像解碼部分 72 ); —個(gè)根據(jù)第一個(gè)獲取部分得到的主圖像縱橫比進(jìn)行主圖像框架轉(zhuǎn)換的第 一個(gè)轉(zhuǎn)換部分(例如，圖7所示的主圖像解碼部分74); —個(gè)從副圖像編碼 數(shù)據(jù)得到副圖像縱橫比的第二個(gè)獲取部分(例如，圖7所示的主圖像解碼部 分73); —個(gè)根據(jù)第二個(gè)獲取部分得到的副圖像縱橫比進(jìn)行副圖像框架轉(zhuǎn)換 的第二個(gè)轉(zhuǎn)換部分(例如，圖7所示的主圖像解碼部分75 )。權(quán)利要求6所述為一種解碼方法，權(quán)利要求7所述為一種對疊加了副圖 像的主圖像的圖像數(shù)據(jù)進(jìn)行主圖像編碼數(shù)據(jù)解碼和副圖像編碼數(shù)據(jù)解碼的程 序，包括從主圖像的編碼數(shù)據(jù)得到主圖像的縱橫比(例如，圖7所示的主圖 像解碼部分72的處理)、根據(jù)第一個(gè)獲取步驟得到的主圖像縱橫比進(jìn)行主圖 像框架轉(zhuǎn)換(例如，圖7所示的主圖像解碼部分74的處理)、從副圖像的編 碼數(shù)據(jù)得到副圖像的縱橫比(例如，圖7所示的主圖像解碼部分73的處理)、 根據(jù)第二個(gè)獲取步驟得到的副圖像縱橫比進(jìn)行副圖像框架轉(zhuǎn)換(例如，圖7 所示的主圖^f象解碼部分75的處理)的步驟。圖2顯示了根據(jù)本發(fā)明的編碼裝置11的結(jié)構(gòu)的示例。和總線21相連的是CPU 22 (Central Processing Unit,中央處理單元)， 存儲(chǔ)器23，視頻信號輸入接口 24，控制信號輸入接口 25,視頻編碼器26， 視頻數(shù)據(jù)輸出接口 27等等。CPU 22和存儲(chǔ)器23組成了計(jì)算機(jī)系統(tǒng)。換句話說，CPU 22執(zhí)行存儲(chǔ)于 存儲(chǔ)器23內(nèi)的程序、控制整個(gè)裝置并完成處理(這個(gè)后面會(huì)描述)。存儲(chǔ)器 23存儲(chǔ)CUP 22執(zhí)行的程序。另外，存儲(chǔ)器23暫時(shí)存儲(chǔ)CUP 22操作的數(shù)據(jù)。 存儲(chǔ)器23可以由僅僅非易失性存儲(chǔ)器或者易失性存儲(chǔ)器和非易失性存儲(chǔ)器 的組合來構(gòu)造。當(dāng)圖2所示的裝置配備有硬盤，并且其存儲(chǔ)著CPU 22執(zhí)行的 程序時(shí)，存儲(chǔ)器23可以僅由易失性存儲(chǔ)器來構(gòu)造。CPU22執(zhí)行的程序可以事先存儲(chǔ)于作為裝置的內(nèi)部記錄介質(zhì)的存儲(chǔ)器23中。替代地，程序可以暫時(shí)或者永久存儲(chǔ)在移動(dòng)記錄介質(zhì)中，如唱片、軟盤、CD-ROM (Compact Disc Read Only Memory,光盤只讀存儲(chǔ)器)、MO (Magneto Optical,》茲光)盤、^^盤或者存儲(chǔ)卡。這些移動(dòng)記錄介質(zhì)可以作為所謂的l更 攜軟件(package sof tware)被提供。程序可以事先存儲(chǔ)于存儲(chǔ)器23中或者從這樣的移動(dòng)記錄介質(zhì)安裝到裝 置。另外，程序可以通過數(shù)字衛(wèi)星廣播的衛(wèi)星從下載站點(diǎn)無線傳輸?shù)窖b置。 替代地，程序可以用電纜通過網(wǎng)絡(luò)如LAN (Local Area Network,局域網(wǎng))或因 特網(wǎng)從下載站點(diǎn)傳輸?shù)窖b置。裝置可以接收程序并把它安裝在內(nèi)部存儲(chǔ)器23 中。程序可以用一個(gè)CPU處理或者多個(gè)CPU分布處理。視頻信號輸入接口 24在CPU 22的控制下輸入從視頻相機(jī)等提供的主圖 像的視頻信號和副圖像的視頻信號，并通過總線21把視頻信號提供給CPU 22、 存儲(chǔ)器23、視頻編碼器26等等。當(dāng)用戶操作鍵(按鈕)或者遙控器命令器(未顯示)時(shí)，控制信號輸入 接口 25從那里輸入控制信號并通過總線21把它提供給CPU 22?？刂菩盘栞?入接口 2 5也可以擔(dān)任通信接口 ，如調(diào)制解調(diào)器(包括ADSL( Asymmetric Digital Subscriber Line,非對稱數(shù)字用戶環(huán)線)調(diào)制解調(diào)器)、NIC (Network Interface Card,網(wǎng)絡(luò)接口卡)，諸如此類。S見頻編碼器26對通過視頻信號輸入接口 24輸入的纟見頻信號進(jìn)行編碼并 通過總線21把得到的視頻數(shù)據(jù)提供給CPU 22。視頻數(shù)據(jù)輸出接口 27輸出其中視頻數(shù)據(jù)被CPU22打包的一見頻傳輸流。圖3顯示了圖2所示的視頻編碼器26的結(jié)構(gòu)的示例。圖4是顯示視頻編 碼器26處理示例的一既要的流程圖。首先，參考圖4所示的流程圖，將描述視頻編碼器26處理示例的概要。 在步驟S1中，主圖像編碼部分31執(zhí)行主圖像視頻信號的編碼處理并把主圖 像的縱橫比等合并在編碼數(shù)據(jù)中。在步驟S2中，副圖^f象編碼部分32執(zhí)行副 圖像視頻信號的編碼處理并把副圖像的縱橫比等合并在編碼數(shù)據(jù)中。在步驟 S3中，合并了主圖像縱橫比等的主圖像編碼數(shù)據(jù)和合并了副圖像縱橫比等的 副圖像編碼數(shù)據(jù)被復(fù)用。步驟Sl和S2的次序并不限于圖4所示的情況。例如，可以在步驟S2 的副圖像處理執(zhí)行之后，執(zhí)行步驟S1的主圖像處理。替代地，步驟S1的主
圖像處理和步驟S2的副圖像處理可以并行執(zhí)行。接下來，將更詳細(xì)地描述視頻編碼器26的處理。主圖像編碼部分31對 通過視頻信號輸入接口 24輸入的主圖像的視頻數(shù)據(jù)進(jìn)行編碼，把CPU 22告 知視頻編碼器26的主圖像縱橫比等合并在編碼數(shù)據(jù)中，并且把所得數(shù)據(jù)提供 給復(fù)用部分33。主圖像的縱橫比等的數(shù)據(jù)被合并到其中編碼了主圖像^L頻信號的編碼數(shù) 據(jù)中。替代地，主圖像的縱橫比等的數(shù)據(jù)可以被合并到主圖像的預(yù)編碼視頻 信號中，然后主圖像的視頻信號和縱橫比等可以一起被編碼。副圖像編碼部分32對通過^f見頻信號輸入接口 24輸入的諸如字幕或圖形 等副圖像的視頻數(shù)據(jù)進(jìn)行編碼，把CPU 22告知副圖像編碼部分32的副圖像 尺寸、位置信息、縱橫比等合并在編碼數(shù)據(jù)中，并且把所得數(shù)據(jù)提供給復(fù)用 部分33。在下面的描述中，假設(shè)副圖像是字幕。副圖像的縱橫比等的數(shù)據(jù)被合并到其中編碼了副圖像視頻信號的編碼數(shù) 據(jù)中。替代地，副圖像的縱橫比等的數(shù)據(jù)可以被合并到副圖像的預(yù)編碼視頻 信號中，然后副圖像的視頻信號和縱橫比等數(shù)據(jù)可以一起被編碼。對于副圖像的縱橫比，設(shè)置代表4: 3縱橫比的標(biāo)志、代表16: 9縱橫比 的標(biāo)志、或者代表4: 3或16: 9縱橫比的標(biāo)志。當(dāng)如圖5所示針對副圖像定義一種720 x 480的圖像框架類型時(shí)，字幕的 尺寸用字幕的高度，ph (在Y軸方向的尺寸)、字幕的寬度，pw(在X軸方 向的尺寸)表示，字幕的位置用字幕左上角的坐標(biāo)(bx, by)表示，使得滿 足(6x十(719,479)的關(guān)系。換句話i兌，字幕凈皮置于720 x 480區(qū)i或內(nèi)。 正如后面將描述的那樣，字幕投射到顯示設(shè)備屏幕的尺寸和位置被轉(zhuǎn)換為恰 當(dāng)?shù)闹?。得到的字幕被疊加到主圖像上，得到的疊加的圖像被輸出?；氐綀D3，復(fù)用部分33復(fù)用其中合并了主圖像縱橫比等并從主圖像編碼 部分31提供的主圖像的編碼數(shù)據(jù)和其中合并了副圖像縱橫比等并從副圖像 編碼部分32提供的副圖像的編碼數(shù)據(jù)，并把復(fù)用的數(shù)據(jù)提供給視頻數(shù)據(jù)輸出 接口 27。圖6顯示了根據(jù)本發(fā)明的解碼裝置51的結(jié)構(gòu)的示例。 和總線61相連的是CPU 62,存儲(chǔ)器63，視頻數(shù)據(jù)輸入接口 64，控制信 號輸入接口 65，視頻解碼器66，視頻輸出接口 67。CPU 62和存儲(chǔ)器63組成了計(jì)算機(jī)系統(tǒng)。換句話說，CPU 62執(zhí)行存儲(chǔ)于
存儲(chǔ)器63內(nèi)的程序、控制整個(gè)裝置并完成處理(這個(gè)后面會(huì)描述)。存儲(chǔ)器63存儲(chǔ)CUP 62執(zhí)行的程序。另外，存儲(chǔ)器63暫時(shí)存儲(chǔ)CUP 62操作的數(shù)據(jù)。 存儲(chǔ)器63可以由僅僅非易失性存儲(chǔ)器或者易失性存儲(chǔ)器和非易失性存儲(chǔ)器 的組合來構(gòu)造。當(dāng)裝置配備有硬盤并且其記錄(安裝有)CPU 62執(zhí)行的程序時(shí)， 存儲(chǔ)器63可以僅由易失性存儲(chǔ)器來構(gòu)造。CPU 62執(zhí)行的程序可以事先存儲(chǔ)于作為裝置的內(nèi)部記錄介質(zhì)的存儲(chǔ)器63中。替代上，程序可以暫時(shí)或者永久存儲(chǔ)在移動(dòng)記錄介質(zhì)中，如唱片、軟盤、 CD-ROM (Compact Disc Read Only Memory,光盤只讀存儲(chǔ)器)、MO (Magneto Optical,磁光)盤、磁盤或者存儲(chǔ)卡。這些移動(dòng)記錄介質(zhì)可以作為所謂的便 攜軟件被提供。程序可以事先存儲(chǔ)于存儲(chǔ)器63中或者從這樣的移動(dòng)記錄介質(zhì)安裝到裝 置。另外，程序可以通過數(shù)字衛(wèi)星廣播的衛(wèi)星從下載站點(diǎn)無線傳輸?shù)窖b置。 替代地，程序可以用電纜通過網(wǎng)絡(luò)如LAN (Local Area Network,局域網(wǎng))或因 特網(wǎng)從下載站點(diǎn)傳輸?shù)窖b置。裝置可以接收程序并把它安裝在內(nèi)部存儲(chǔ)器63 中。程序可以用一個(gè)CPU處理或者多個(gè)CPU分布處理。視頻數(shù)據(jù)輸入接口 64在CPU 62的控制下輸入由編碼裝置11編碼、提供 給解碼裝置51的編碼數(shù)據(jù)，并把編碼數(shù)據(jù)提供給CPU 62、存儲(chǔ)器63、視頻 解碼器66等等。當(dāng)用戶操作鍵(按鈕)或者遙控器命令器(未顯示)時(shí)，控制信號輸入 接口 65從那里輸入控制信號并通過總線61把它提供給CPU 62?？刂菩盘栞?入接口 65也可以擔(dān)任通信接口 ，如調(diào)制解調(diào)器(包括ADSL( Asymmetric Digital Subscriber Line,非對稱數(shù)字用戶環(huán)線)調(diào)制解調(diào)器)、NIC (Network Interface Card,網(wǎng)絡(luò)接口卡)，諸如此類。視頻解碼器66對通過視頻數(shù)據(jù)輸入接口 64和總線61提供的一見頻數(shù)據(jù)的 編碼數(shù)據(jù)進(jìn)行解碼并通過總線61把得到的視頻數(shù)據(jù)提供給CPU 62和視頻輸 出接口 67。視頻輸出接口 67對通過總線61提供的視頻數(shù)據(jù)執(zhí)行必要的處理，并通 過視頻輸出終端68輸出所得的數(shù)據(jù)。視頻輸出終端68連接到顯示設(shè)備諸如CRT ( Cathode Ray Tube,陰極射 線管)或者液晶顯示屏(未示出)。這樣，從視頻輸出終端68輸出的視頻數(shù) 據(jù)被提供給顯示設(shè)備。顯示設(shè)備顯示視頻數(shù)據(jù)。視頻數(shù)據(jù)可以通過無線或電纜方式從解碼器51提供給顯示設(shè)備。圖7顯示了圖6所示的視頻解碼器66的結(jié)構(gòu)的示例。圖8是顯示視頻解 碼器66處理示例的概要的流程圖。首先，參考圖8所示的流程圖，將描述視頻解碼器66顯示處理示例的概 要。在步驟S10中，主圖像解碼部分72對由解復(fù)用部分71解復(fù)用的主圖像 編碼數(shù)據(jù)進(jìn)行解碼。此外，主圖像解碼部分72從主圖像編碼數(shù)據(jù)中抽取主圖 像的縱橫比等數(shù)據(jù)。主圖像框架尺寸轉(zhuǎn)換部分74根據(jù)主圖像和顯示設(shè)備的縱 橫比來轉(zhuǎn)換主圖像的圖像框架尺寸。在步驟Sll中，副圖像解碼部分73對由 解復(fù)用部分71解復(fù)用的副圖像編碼數(shù)據(jù)進(jìn)行解碼，并且從副圖像編碼數(shù)據(jù)中 抽取副圖像的縱橫比等數(shù)據(jù)。副圖像框架尺寸轉(zhuǎn)換部分75根據(jù)副圖像和顯示 設(shè)備的縱橫比來轉(zhuǎn)換副圖像的圖像框架尺寸。在步驟S12中，加法設(shè)備76將 其圖像框架尺寸基于顯示設(shè)備的縱橫比被確定了的主圖像與副圖像疊加。其 中主圖像疊加了副圖像的圖像就被顯示。步驟S10和Sll的次序并不限于圖8所示的情況。例如，可以在步驟Sll 的副圖像處理執(zhí)行之后，執(zhí)行步驟S10的主圖像處理。替代地，步驟S10的 主圖像處理和步驟Sll的副圖像處理可以并行執(zhí)行。接下來，將被更詳細(xì)描述視頻解碼器66的處理。解復(fù)用部分71把從視 頻數(shù)據(jù)輸入接口 64提供的編碼數(shù)據(jù)解復(fù)用為主圖像編碼數(shù)據(jù)和副圖像編碼 數(shù)據(jù)。此外，解復(fù)用部分71把主圖像編碼數(shù)據(jù)提供給主圖像解碼部分72并 把副圖像編碼數(shù)據(jù)提供給副圖像解碼部分73。主圖像解碼部分72對主圖像的編碼數(shù)據(jù)進(jìn)行解碼并把所得解碼視頻數(shù) 據(jù)提供給主圖像框架尺寸轉(zhuǎn)換部分74。此時(shí)，主圖像解碼部分72從主圖像 的編碼數(shù)據(jù)抽取主圖像的縱橫比等信息并把抽取的信息提供給主圖像框架尺 寸轉(zhuǎn)換部分74。副圖像解碼部分73對副圖像的編碼數(shù)據(jù)進(jìn)行解碼并把所得解碼字幕數(shù) 據(jù)提供給副圖像框架尺寸轉(zhuǎn)換部分75。此外，此時(shí)副圖像解碼部分73從副 圖像的編碼數(shù)據(jù)抽取副圖像的尺寸、位置、縱橫比等信息并把抽取的信息提 供給副圖像框架尺寸轉(zhuǎn)換部分75。主圖像框架尺寸轉(zhuǎn)換部分74根據(jù)連接到視頻輸出終端68的顯示設(shè)備的
縱橫比和從主圖像解碼裝置72提供的主圖像縱橫比對主圖像框架尺寸進(jìn)行轉(zhuǎn)換以備輸出，并把所得主圖像提供給加法設(shè)備76。當(dāng)顯示設(shè)備的縱橫比為16: 9而主圖像的縱橫比為4: 3時(shí)，主圖像框架 尺寸轉(zhuǎn)換部分74在橫向(水平方向)上減小主圖像、向主圖像添加使屏幕的 左右兩端區(qū)域變黑的數(shù)據(jù)、并輸出所得主圖像。當(dāng)顯示設(shè)備的縱橫比為4: 3而主圖像的縱橫比為16: 9時(shí)，主圖像框架 尺寸轉(zhuǎn)換部分74在縱向(垂直方向)上減小主圖像、向主圖像添加使屏幕的 上下兩端區(qū)域變黑的數(shù)據(jù)、并輸出所得主圖像。當(dāng)顯示設(shè)備的縱橫比與主圖像的縱橫比相同，例如為16: 9或4: 3時(shí)， 主圖像框架尺寸轉(zhuǎn)換部分74輸出主圖像而不作減小。副圖像框架尺寸轉(zhuǎn)換部分75通常根據(jù)從副圖像解碼裝置73提供的副圖 像縱橫比對副圖像框架尺寸進(jìn)行轉(zhuǎn)換，并把所得副圖像提供給力口法設(shè)備76。加法設(shè)備76把從副圖像框架尺寸轉(zhuǎn)換部分75提供的副圖像疊加在從主 圖像框架尺寸轉(zhuǎn)換部分74提供的主圖像上，并把所得圖像提供給輸出緩沖器 77。輸出緩沖器77暫時(shí)存儲(chǔ)從加法設(shè)備76提供的數(shù)據(jù)，并在預(yù)定的定時(shí)把 數(shù)據(jù)輸出到視頻輸出接口 67。接下來，參考圖9的流程圖描述視頻解碼器66的副圖像框架尺寸轉(zhuǎn)換部 分75的操作。在步驟S21中，副圖像框架尺寸轉(zhuǎn)換部分75從副圖像解碼部分73中得 到代表提供給副圖像框架尺寸轉(zhuǎn)換部分75的副圖像的縱橫比的標(biāo)志。在步驟S22中，副圖像框架尺寸轉(zhuǎn)換部分75確定顯示設(shè)備的縱橫比為4: 3 (如360 x 270 )還是16: 9 (如480 x 270 )。當(dāng)確定的結(jié)果表明縱橫比為4: 3時(shí)，流程進(jìn)入步驟S23。在步驟S23中，副圖像框架尺寸轉(zhuǎn)換部分75根據(jù) 4: 3的縱橫比轉(zhuǎn)換針對副圖像的圖像框架尺寸720x480并把所得字幕數(shù)據(jù) 輸出給加法設(shè)備76。換句話說，不管主圖像縱橫比為多少，副圖像都以4: 3的縱橫比進(jìn)行投射。當(dāng)主圖像的縱橫比為16: 9時(shí)，如圖IO所示，改變主圖像的圖像框架尺 寸，并且添加使上下兩端區(qū)域變黑的數(shù)據(jù)。所得主圖傳j皮疊加上縱橫比為4: 3的字幕圖像，并且疊加的圖像被顯示。當(dāng)主圖像的縱橫比為4: 3時(shí)，如圖 11所示，主圖像被疊加上縱橫比為4: 3的字幕圖像，并且得到的疊加的圖 像被顯示。當(dāng)顯示設(shè)備的縱橫比為4: 3時(shí)，即使主圖像的縱橫比為16: 9,也投射 縱橫比為4: 3的字幕圖像(圖9所示的S23步)。換句話說，如果字幕圖像 以16: 9的縱橫比進(jìn)行投射，象圖12A給出的例子那樣，字幕圖像的左右兩 端區(qū)域可能不能顯示。這也適用于顯示設(shè)備的縱橫比為4: 3且主圖像的縱橫 比為4: 3的情況(見圖12B)。因此，禁止投射縱沖黃比為16: 9的字幕。替 代地，當(dāng)顯示設(shè)備的縱橫比為4: 3時(shí)，字幕的縱橫比也是4: 3。當(dāng)顯示設(shè)備的縱橫比為4: 3而主圖像的縱橫比為16: 9 (圖10)時(shí)，相 對副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D13至圖15所示的陰影區(qū)域。圖13 顯示了框架尺寸為720x480的主圖像顯示區(qū)域。圖14顯示了框架尺寸為352 x480的主圖像顯示區(qū)域。圖15顯示了框架尺寸為352 x 240的主圖像顯示 區(qū)域。當(dāng)顯示設(shè)備的縱橫比為4: 3且主圖像的縱橫比為4: 3 (圖11 )時(shí)，相 對副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D16至圖18所示的陰影區(qū)域。圖16 顯示了框架尺寸為720x480的主圖像顯示區(qū)域。圖17顯示了框架尺寸為352 x480的主圖像顯示區(qū)域。圖18顯示了框架尺寸為352 x 240的主圖像顯示 區(qū)域。回到圖9，當(dāng)步驟S22中確定的結(jié)果表明顯示設(shè)備的縱橫比為16: 9時(shí)， 流程進(jìn)入步驟S24。在步驟S24中，副圖像框架尺寸轉(zhuǎn)換部分75確定在步驟 S21得到的標(biāo)志是代表4: 3和16: 9兩者作為副圖像縱橫比的標(biāo)志還是代表 4: 3或16: 9作為副圖像縱橫比的標(biāo)志。當(dāng)確定的結(jié)果表明標(biāo)志代表一個(gè)縱 橫比時(shí)，流程進(jìn)入步驟S25。在步驟S25中，副圖像框架尺寸轉(zhuǎn)換部分75確定在步驟S21中得到的 標(biāo)志代表4: 3還是16: 9作為副圖像縱橫比。當(dāng)確定的結(jié)果表明標(biāo)志代表 16: 9作為副圖像縱橫比時(shí)，流程進(jìn)入S26步。在步驟S26中，副圖像框架尺寸轉(zhuǎn)換部分75根據(jù)16: 9的縱橫比(象素 縱橫比為40: 33 )轉(zhuǎn)換針對字幕的720x480的圖像框架尺寸，并把所得字 幕數(shù)據(jù)輸出到加法設(shè)備76 。換句話說，不管主圖像縱橫比為多少，副圖像都以16: 9的縱橫比顯示。當(dāng)主圖像的縱橫比為4: 3時(shí)，如圖19所示，在橫向減小主圖像，并且
添加使左右兩端區(qū)域變黑的數(shù)據(jù)。所得主圖像上疊加縱橫比為16: 9的字幕圖像，并且疊加的圖像被顯示。換句話說，由于字幕可以在顯示設(shè)備上被完 全顯示，因此即使顯示設(shè)備小且具有小顯示屏，字幕也能大規(guī)模地顯示。當(dāng)主圖像的縱橫比為16: 9時(shí)，如圖20所示，主圖像上將疊加縱橫比為 16: 9的字幕圖像，并且顯示疊加圖像。當(dāng)副圖像的縱橫比為16: 9而主圖像的縱橫比為16: 9 (圖20)時(shí)，相 對副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D16至圖18所示的陰影區(qū)域。當(dāng)副圖像的縱橫比為16: 9而主圖像的縱橫比為4: 3 (圖19)時(shí)，相對 副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D21至圖23所示的陰影區(qū)域。圖21顯 示了當(dāng)框架尺寸為720 x 480時(shí)的主圖像顯示區(qū)域。圖22顯示了當(dāng)框架尺寸 為352 x 480時(shí)的主圖像顯示區(qū)域。圖23顯示了當(dāng)框架尺寸為352 x 240時(shí)的 主圖像顯示區(qū)域?；氐綀D9，當(dāng)在步驟S25確定的結(jié)果表明副圖像的縱橫比為4: 3時(shí)，流 程進(jìn)入步驟S27。在步驟S27中，副圖像框架尺寸轉(zhuǎn)換部分75根據(jù)4: 3的 縱橫比轉(zhuǎn)換針對字幕的720 x 480的圖像框架尺寸，并把所得字幕數(shù)據(jù)輸出給 加法設(shè)備76。這種情況下，不管主圖像縱橫比為多少，副圖像都以4: 3的縱橫比顯示 (投射)。當(dāng)主圖像的縱橫比為4: 3時(shí)，如圖24所示，在橫向上減小主圖像，并 且添加使左右兩端區(qū)域變黑的數(shù)據(jù)。所得主圖像上疊加縱橫比為4: 3的字幕 圖像，并且疊加圖像被顯示。當(dāng)主圖像的縱橫比為16: 9時(shí)，如圖25所示， 主圖像上將疊加縱橫比為4: 3的字幕圖像，并且疊加圖像被顯示。當(dāng)副圖像的縱橫比為4: 3且主圖像的縱橫比也為4: 3(圖24)時(shí)，相 對副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D16至圖18所示的區(qū)域。當(dāng)副圖像的縱橫比為4: 3而主圖像的縱橫比為16: 9 (圖25 )時(shí)，相對 副圖像坐標(biāo)系的主圖像顯示區(qū)域?yàn)槿鐖D13至圖15所示的區(qū)域。當(dāng)步驟S24中確定的結(jié)果表明標(biāo)志代表16: 9和4: 3兩者作為副圖像縱 橫比時(shí)，流程進(jìn)入步驟S28。在這種情況下，由于顯示設(shè)備的縱橫比為16: 9, 以與步驟S26相同的方式，副圖像框架尺寸轉(zhuǎn)換部分75根據(jù)16: 9的縱橫比 轉(zhuǎn)換針對字幕的720 x 480的圖像框架尺寸，并把所得字幕數(shù)據(jù)輸出給加法設(shè) 備76。
當(dāng)字幕在步驟S23、 S26或S28中#1顯示時(shí)，處理就完成了。在上述的方式中，可以根據(jù)副圖像的縱橫比顯示副圖像，該副圖像的縱 橫比是獨(dú)立于主圖像的縱橫比和顯示設(shè)備的縱橫比而設(shè)置的。盡管上述的處理可以用硬件實(shí)現(xiàn)，它們也能用軟件實(shí)現(xiàn)。當(dāng)處理用軟件 實(shí)現(xiàn)時(shí)，通過在計(jì)算機(jī)上安裝組成所述軟件的程序并使其執(zhí)行程序，功能上 實(shí)現(xiàn)了編碼裝置11和解碼裝置51。在本說明書中，描述由記錄介質(zhì)提供的程序的步驟在編碼順序上是按時(shí) 間先后順序處理的。替代地，它們可以是被并行或分布處理的。
權(quán)利要求
1、一種編碼裝置，該裝置生成圖像的編碼數(shù)據(jù)，該圖像通過在主圖像上疊加副圖像來顯示，該裝置包括對主圖像進(jìn)行編碼并把主圖像的縱橫比合并在主圖像的編碼數(shù)據(jù)中的第一編碼部分；和對副圖像進(jìn)行編碼并把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中的第二編碼部分。
2、 如權(quán)利要求1所述的編碼裝置，其中，所述第二編碼部分設(shè)置代表副圖像的縱橫比的標(biāo)志，以便把該副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中。
3、 一種生成圖像的編碼數(shù)據(jù)的編碼方法，該圖像通過在主圖像上疊加副 圖像來顯示，所述編碼方法包括下列步驟對主圖像進(jìn)行編碼，并把主圖像的縱橫比合并在主圖像的編碼數(shù)據(jù)中；和對副圖像進(jìn)行編碼，并把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中。
4、 一種程序，該程序使控制編碼裝置的處理器執(zhí)行程序，該編碼裝置生 成圖像的編碼數(shù)據(jù)，該圖像通過在主圖像疊加副圖像來顯示，該程序包括下 列步驟對主圖像進(jìn)行編碼，并把主圖像的縱橫比合并在主圖像的編碼數(shù)據(jù)中；和對副圖像進(jìn)行編碼，并把副圖像的縱橫比合并在副圖像的編碼數(shù)據(jù)中。
5、 一種解碼裝置，其對主圖像的編碼數(shù)據(jù)和通過在主圖像上疊加副圖像 來顯示副圖像的編碼數(shù)據(jù)進(jìn)行解碼，該解碼裝置包括從主圖像的編碼數(shù)據(jù)中獲取主圖像的縱橫比的第 一獲取部分； 根據(jù)由第 一獲取部分獲取的主圖像的縱橫比轉(zhuǎn)換主圖像的圖像框架的第 一轉(zhuǎn)換部分；從副圖像的編碼數(shù)據(jù)中獲取副圖像的縱橫比的第二獲取部分；和 根據(jù)由第二獲取部分獲取的副圖像的縱橫比轉(zhuǎn)換副圖像的圖像框架的第 二轉(zhuǎn)換部分。
6 、 一種對主圖像的編碼數(shù)據(jù)和通過在主圖像上疊加副圖像來顯示的副圖 像的編碼數(shù)據(jù)進(jìn)行解碼的解碼方法，該解碼方法包括下列步驟 從主圖像的編碼數(shù)據(jù)中獲取主圖像的縱橫比；根據(jù)在第 一獲取步驟獲取的主圖像的縱橫比轉(zhuǎn)換主圖像的圖像框架；從副圖像的編碼數(shù)據(jù)中獲取副圖像的縱橫比；和根據(jù)在第二獲取步驟獲取的副圖像的縱橫比轉(zhuǎn)換副圖像的圖像框架。
7、 一種使控制解碼裝置的處理器執(zhí)行程序的程序，該解碼裝置對主圖像 的編碼數(shù)據(jù)和通過在主圖像上疊加副圖像來顯示的副圖像的編碼數(shù)據(jù)進(jìn)行解 碼，該程序包括下列步驟從主圖像的編碼數(shù)據(jù)中獲取主圖像的縱橫比；根據(jù)在第 一獲取步驟獲取的主圖像的縱橫比轉(zhuǎn)換主圖像的圖像框架；從副圖像的編碼數(shù)據(jù)中獲取副圖像的縱橫比；和根據(jù)在第二獲取步驟獲取的副圖像的縱橫比轉(zhuǎn)換副圖像的圖像框架。
8、 一種記錄介質(zhì)，其上復(fù)用和記錄了其中編碼了主圖像數(shù)據(jù)的主圖像的 編碼數(shù)據(jù)和其中編碼了副圖像數(shù)據(jù)的副圖像的編碼數(shù)據(jù)，所述主圖像數(shù)據(jù)和 副圖像數(shù)據(jù)通過把副圖像數(shù)據(jù)疊加在主圖像數(shù)據(jù)上來顯示，其中，主圖像的編碼數(shù)據(jù)具有代表主圖像數(shù)據(jù)的縱橫比的第一縱橫比標(biāo) 志，以及其中，副圖像的編碼數(shù)據(jù)具有代表副圖像數(shù)據(jù)的縱橫比的第二縱橫比標(biāo) 志，第二縱橫比獨(dú)立于第一縱橫比。
9、 一種數(shù)據(jù)結(jié)構(gòu)，其中復(fù)用了其中編碼了主圖像數(shù)據(jù)的主圖像的編碼數(shù) 據(jù)和其中編碼了副圖像數(shù)據(jù)的副圖像的編碼數(shù)據(jù)，所述主圖像數(shù)據(jù)和副圖像數(shù)據(jù)通過把副圖像數(shù)據(jù)疊加在主圖像數(shù)據(jù)上來顯示，其中，主圖像的編碼數(shù)據(jù)具有代表主圖像數(shù)據(jù)的縱橫比的第一縱橫比標(biāo) 志，以及其中，副圖像的編碼數(shù)據(jù)具有代表副圖像數(shù)據(jù)的縱橫比的第二縱橫比標(biāo) 志，第二縱橫比獨(dú)立于第一縱橫比。
全文摘要
可以用獨(dú)立于主視頻的縱橫比來顯示字幕。當(dāng)設(shè)置了指示字幕縱橫比為16∶9的標(biāo)志時(shí)，字幕視頻的圖像框架尺寸(720×480)被轉(zhuǎn)換以匹配16∶9的縱橫比，作為結(jié)果得到的字幕視頻被疊置在主視頻上并且顯示。就是說，當(dāng)主視頻具有4∶3的縱橫比時(shí)，如圖19所示，進(jìn)行橫方向上的縮減，通過在左右添加黑色色調(diào)來顯示主視頻，而以16∶9的縱橫比顯示字幕視頻。
文檔編號H04N5/44GK101112096SQ20058004767
公開日2008年1月23日 申請日期2005年11月30日 優(yōu)先權(quán)日2004年12月2日
發(fā)明者浜田俊也, 藤波靖, 高橋邦明 申請人:索尼株式會(huì)社;索尼計(jì)算機(jī)娛樂公司