專利名稱：發(fā)送設(shè)備、接收設(shè)備、通信系統(tǒng)、通信方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及發(fā)送設(shè)備、接收設(shè)備、通信系統(tǒng)、通信方法和程序。
背景技術(shù)：
近年來，已經(jīng)提出經(jīng)由網(wǎng)絡(luò)來傳送圖像數(shù)據(jù)(包括運動圖像數(shù)據(jù))的各種應(yīng)用和 服務(wù)。當經(jīng)由網(wǎng)絡(luò)來發(fā)送/接收圖像數(shù)據(jù)時， 一般，在數(shù)據(jù)被發(fā)送給網(wǎng)絡(luò)之前在發(fā)送側(cè)通過 編碼(壓縮)處理來減少數(shù)據(jù)量，并且在數(shù)據(jù)被再現(xiàn)之前在接收側(cè)對所接收到的編碼后的 數(shù)據(jù)執(zhí)行解碼(解壓縮)處理。 例如，作為最知名的圖像壓縮處理技術(shù)，可以使用稱為MPEG(運動畫面專家組)的 壓縮技術(shù)。當使用MPEG壓縮技術(shù)時，通過MPEG壓縮技術(shù)生成的MPEG流被存儲在通信分組 中，以用于經(jīng)由網(wǎng)絡(luò)的遞送。此外，在圖像數(shù)據(jù)被具有不同性能的各種接收終端接收的假定 下，在MPEG4或JPEG2000中引入了對要發(fā)送/接收的數(shù)據(jù)分級地執(zhí)行編碼的稱為漸進式編 碼的技術(shù)。此外，還開始提出將一張圖片分裂成N行(N大于等于l)以在分裂出的集合(稱 為行塊)中對圖像進行編碼的稱為基于行的編解碼的壓縮技術(shù)，以用于減少對圖像進行編 碼和解碼的延遲時間。 通過應(yīng)用這樣的圖像壓縮技術(shù)來經(jīng)由網(wǎng)絡(luò)遞送圖像數(shù)據(jù)不限于由運營商(例如 內(nèi)容提供商)經(jīng)由因特網(wǎng)向用戶的遞送，并且還可以用在諸如辦公室或家庭LAN(局域網(wǎng)) 之類的小型網(wǎng)絡(luò)中。 使用小型家用網(wǎng)絡(luò)的圖像數(shù)據(jù)遞送的利用形式包括這樣的示例令連接到網(wǎng)絡(luò) 的顯示裝置顯示諸如HDD(硬盤驅(qū)動器)和BD(藍光光盤(注冊商標))之類的大型存 儲裝置中所存儲的圖像數(shù)據(jù)。預(yù)期在未來，隨著由例如DLNA(Digital Living Network Appliance,數(shù)字生活網(wǎng)絡(luò)聯(lián)盟)進行的對用于數(shù)字裝置之間的數(shù)據(jù)交換的標準規(guī)范的準 備，小型網(wǎng)絡(luò)的這種利用也將增加。 當使用小型網(wǎng)絡(luò)來遞送圖像數(shù)據(jù)時，提高用戶用來操作再現(xiàn)設(shè)備或顯示裝置的用 戶界面的易用性也很重要。例如，在DLNA指南中，還考慮了這樣的機制，該機制通過相互鏈 接來搜索連接到網(wǎng)絡(luò)的裝置以提示作為該搜索的結(jié)果獲得的可用服務(wù)內(nèi)容的信息。
例如，可以引用日本專利申請文件特開2007-135195號公報作為用于改進與圖 像數(shù)據(jù)的遞送有關(guān)的用戶界面這一目的的技術(shù)開發(fā)的示例。在日本專利申請文件特開 2007-135195號公報中，提出了這樣的技術(shù)在向無線通信終端遞送圖像數(shù)據(jù)時向接收終 端發(fā)送圖像控制信號，該圖像控制信號包括與用戶界面有關(guān)的控制數(shù)據(jù)(例如，由用戶輸 入的圖標以及圖標的位置信息)。

發(fā)明內(nèi)容
然而，當在出現(xiàn)通信線路誤差的環(huán)境中經(jīng)由網(wǎng)絡(luò)來傳送與用戶界面有關(guān)的控制數(shù) 據(jù)時，很難以高水平既維持控制數(shù)據(jù)的發(fā)送/接收的可靠度又維持對用戶操作的快速響 應(yīng)。這是因為，與通過忽略通信 差來實現(xiàn)實時數(shù)據(jù)遞送的圖像數(shù)據(jù)相比，要求在裝置之間被可靠地發(fā)送/接收控制數(shù)據(jù)。如果例如與用戶界面有關(guān)的控制數(shù)據(jù)丟失，則顯示裝置很 難正確地配置并且顯示用戶界面，使得用戶難以提供恰當操作的指令。 另一方面，如果試圖維持控制數(shù)據(jù)的發(fā)送/接收的可靠度，則當通信誤差發(fā)生時 的重傳頻率增加，會抑制網(wǎng)絡(luò)的頻帶并且有損對用戶操作的快速響應(yīng)。隨著為了為用戶提 高易用性的目的而引起的有關(guān)用戶界面的協(xié)議的復(fù)雜度增加，以及伴隨的控制數(shù)據(jù)容量增 加，變得越發(fā)難以忽略這樣的問題的影響。 因此，鑒于以上問題做出了本發(fā)明，并且希望提供當經(jīng)由網(wǎng)絡(luò)提供用戶界面時對
通信誤差的容限增強的新穎的改進的發(fā)送設(shè)備、接收設(shè)備、通信系統(tǒng)、通信方法和程序。 根據(jù)本發(fā)明一個實施例，提供了一種發(fā)送設(shè)備，包括通過將基于用來控制用戶界
面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)的
圖像疊加部件；以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位對由圖像疊加部件
生成的疊加后的圖像數(shù)據(jù)進行編碼的圖像壓縮部件；以及發(fā)送由圖像壓縮部件編碼出的疊
加后的圖像數(shù)據(jù)的通信部件。 該發(fā)送設(shè)備還可以包括將用來控制通信的第二控制數(shù)據(jù)與由圖像壓縮部件編碼 出的疊加后的圖像數(shù)據(jù)進行復(fù)用的復(fù)用部件，其中通信部件可發(fā)送被復(fù)用部件與第二控制 數(shù)據(jù)復(fù)用的疊加后的圖像數(shù)據(jù)。 通信部件還可與已經(jīng)接收到疊加后的圖像數(shù)據(jù)的另一設(shè)備所顯示的用戶界面圖 像相關(guān)聯(lián)地接收從外部設(shè)備發(fā)送的操作信號。 根據(jù)本發(fā)明另一實施例，提供了一種接收設(shè)備，包括通信部件，該通信部件接收 疊加后的圖像數(shù)據(jù)，數(shù)據(jù)疊加后的圖像數(shù)據(jù)是通過將基于用來控制用戶界面的第一控制數(shù) 據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上而生成的并且是以與一個場中的N行(N大于 等于1)相對應(yīng)的編碼單位被編碼的；以及圖像解碼部件，該圖像解碼部件以編碼單位對由 通信部件接收到的疊加后的圖像數(shù)據(jù)進行解碼。 接收設(shè)備還可以包括分離部件，該分離部件在疊加后的圖像數(shù)據(jù)被圖像解碼部件 解碼前從疊加后的圖像數(shù)據(jù)分離出用來控制通信的第二控制數(shù)據(jù)。 通信部件可將所接收到的疊加后的圖像數(shù)據(jù)中所包含的誤差率與某一閾值相比 較，并且如果誤差率不大于閾值，則使得圖像解碼部件對疊加后的圖像數(shù)據(jù)進行解碼。
如果所接收到的疊加后的圖像數(shù)據(jù)中所包含的誤差率大于某一閾值，則通信部件 可向疊加后的圖像數(shù)據(jù)的發(fā)送源設(shè)備發(fā)送對誤差通知的響應(yīng)信號。 疊加后的圖像數(shù)據(jù)可以是包含兩種或更多種圖像數(shù)據(jù)的被分級編碼出的圖像數(shù) 據(jù)，兩種或更多種圖像數(shù)據(jù)包括具有低圖像質(zhì)量的低頻圖像數(shù)據(jù)和具有高圖像質(zhì)量的高頻 圖像數(shù)據(jù)，并且如果某一頻率的低頻圖像數(shù)據(jù)被通信部件接收到作為疊加后的圖像數(shù)據(jù)， 則圖像解碼部件可對所接收到的疊加后的圖像數(shù)據(jù)進行解碼，而不論更高頻率的圖像數(shù)據(jù) 是否被接收到。 根據(jù)本發(fā)明另一實施例，提供了一種發(fā)送設(shè)備，包括通過將基于用來控制用戶界 面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)的 圖像疊加部件；對由圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼的圖像壓縮部件；將 用來控制通信的第二控制數(shù)據(jù)與由圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)進行復(fù)用的 復(fù)用部件；以及發(fā)送被復(fù)用部件與第二控制數(shù)據(jù)復(fù)用的疊加后的圖像數(shù)據(jù)的通信部件。
根據(jù)本發(fā)明另一實施例，提供了一種接收設(shè)備，包括接收疊加后的圖像數(shù)據(jù)的通
信部件，疊加后的圖像數(shù)據(jù)是通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶
界面圖像疊加到內(nèi)容圖像上而生成的并且是與用來控制通信的第二控制數(shù)據(jù)復(fù)用的；從由
通信部件接收到的疊加后的圖像數(shù)據(jù)中分離出第二控制數(shù)據(jù)的分離部件；以及對被分離部
件從中分離出第二控制數(shù)據(jù)的疊加后的圖像數(shù)據(jù)進行解碼的圖像解碼部件。 根據(jù)本發(fā)明的另一實施例，提供了一種通信系統(tǒng)，包括發(fā)送設(shè)備和接收設(shè)備，該發(fā)
送設(shè)備具有通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到 內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)的圖像疊加部件，以與一個場中的N行(N大于等于1)
相對應(yīng)的編碼單位對由圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼的圖像壓縮部件 和發(fā)送由圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)的發(fā)送側(cè)通信部件，該接收設(shè)備具有接 收由發(fā)送設(shè)備發(fā)送的疊加后的圖像數(shù)據(jù)的接收側(cè)通信部件，以編碼單位對由接收側(cè)通信部 件接收到的疊加后的圖像數(shù)據(jù)進行解碼的圖像解碼部件。 根據(jù)本發(fā)明另一實施例，提供了一種通信方法，包括以下步驟在發(fā)送設(shè)備中通過 將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生 成疊加后的圖像數(shù)據(jù)；以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位對所生成的 疊加后的圖像數(shù)據(jù)進行編碼；從發(fā)送設(shè)備向接收設(shè)備發(fā)送所編碼出的疊加后的圖像數(shù)據(jù)； 在接收設(shè)備中接收由發(fā)送設(shè)備發(fā)送的疊加后的圖像數(shù)據(jù)；以及以編碼單位對所接收到的疊 加后的圖像數(shù)據(jù)進行解碼。 根據(jù)本發(fā)明另一實施例，提供了一種具有指令的計算機程序產(chǎn)品，這些指令使得
控制發(fā)送設(shè)備的計算機用作通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶
界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)的圖像疊加部件；以與一個場中的N
行(N大于等于1)相對應(yīng)的編碼單位對由圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼
的圖像壓縮部件；以及發(fā)送由圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)的通信部件。 根據(jù)本發(fā)明另一實施例，提供了一種具有指令的計算機程序產(chǎn)品，這些指令使得
控制接收設(shè)備的計算機用作接收疊加后的圖像數(shù)據(jù)的通信部件，疊加后的圖像數(shù)據(jù)是通
過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上而
生成的并且是以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位被編碼的；以及以編
碼單位對由通信部件接收到的疊加后的圖像數(shù)據(jù)進行解碼的圖像解碼部件。 根據(jù)上述根據(jù)本發(fā)明的發(fā)送設(shè)備、接收設(shè)備、通信系統(tǒng)、通信方法和程序，當經(jīng)由
網(wǎng)絡(luò)提供用戶界面時能夠增強對通信誤差的容限。


圖1是示出根據(jù)一個實施例的通信系統(tǒng)的概況的示意圖； 圖2是例示根據(jù)一個實施例的發(fā)送設(shè)備的配置的框圖； 圖3是例示根據(jù)一個實施例的應(yīng)用程序部件的詳細配置的框圖； 圖4是例示根據(jù)一個實施例的壓縮部件的詳細配置的框圖； 圖5是圖示出根據(jù)一個實施例的圖像疊加處理的說明圖； 圖6是例示根據(jù)一個實施例的發(fā)送處理的流程的流程圖； 圖7是例示根據(jù)一個實施例的接收設(shè)備的配置的框7
圖8是例示根據(jù)一個實施例的解碼部件的詳細配置的框圖； 圖9是例示通信分組的配置的說明圖； 圖10是例示根據(jù)一個實施例的接收處理的流程的流程圖； 圖11是例示根據(jù)一個實施例的同步處理的具體流程的流程圖； 圖12是例示根據(jù)變形例的解碼部件的配置的框圖； 圖13是示出執(zhí)行小波變換的編碼器的配置示例的框圖； 圖14是例示通過二維圖像的頻帶分裂獲得的頻率分量的說明圖； 圖15是概念性地示出基于行的小波變換中的變換處理的示意圖；以及 圖16是示出通用計算機的配置示例的框圖。
具體實施例方式
以下，將參考附圖來詳細描述本發(fā)明的優(yōu)選實施例。注意，在本說明書和附圖中， 用相同的標號來標注具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的 重復(fù)說明。 將按照下面示出的次序來描述"具體實施方式
"
1.根據(jù)一個實施例的通信系統(tǒng)的概況
2.根據(jù)一個實施例的發(fā)送設(shè)備的描述
3.根據(jù)一個實施例的接收設(shè)備的描述
4.概要 〈1.根據(jù)一個實施例的通信系統(tǒng)的概況〉 首先將參考圖1來描述根據(jù)本發(fā)明一個實施例的通信系統(tǒng)1的概況。
圖1是示出根據(jù)本發(fā)明一個實施例的通信系統(tǒng)1的概況的示意圖。參考圖l，通信
系統(tǒng)1包括網(wǎng)絡(luò)10、發(fā)送設(shè)備100、接收設(shè)備200和遠程控制設(shè)備300。在圖1中，網(wǎng)絡(luò)10是使用LAN、 WAN、 ADSL、電力線、LVDS連接線、HDMI、無線
LAN(IEEE802. 11)、藍牙、WiMax或超寬帶無線電(UWB)的任何網(wǎng)絡(luò)。網(wǎng)絡(luò)10例如扮演連接
發(fā)送設(shè)備100和接收設(shè)備200的家庭網(wǎng)的角色。網(wǎng)絡(luò)10可以是有線網(wǎng)絡(luò)或無線網(wǎng)絡(luò)。 發(fā)送設(shè)備100通常被配置為諸如存儲如視頻內(nèi)容之類的圖像數(shù)據(jù)的HDD錄像機和
BD錄像機之類的記錄/再現(xiàn)設(shè)備?？商鎿Q地，發(fā)送設(shè)備100例如可以是接收并且中繼所廣
播的節(jié)目的調(diào)諧器或輸出由成像裝置成像的圖像數(shù)據(jù)的成像設(shè)備。例如，發(fā)送設(shè)備100從
內(nèi)建的記錄介質(zhì)讀取、從外部接收或成像出圖像數(shù)據(jù)，并且之后，對圖像數(shù)據(jù)進行壓縮以發(fā)
送給接收設(shè)備200。注意，在這里的壓縮中包括諸如信道編解碼之類的編碼。此外，發(fā)送設(shè)
備IOO經(jīng)由接收設(shè)備200的屏幕向用戶提供用于接受用戶的操作的用戶界面。 接收設(shè)備200被配置為例如使用CRT (陰極射線管)、PDP (等離子顯示面板)、液晶
顯示器或OLED(有機發(fā)光二極管)的顯示裝置。接收設(shè)備200經(jīng)由網(wǎng)絡(luò)10接收例如從發(fā)送
設(shè)備100發(fā)送的圖像數(shù)據(jù)并且在屏幕上顯示通過對圖像數(shù)據(jù)進行解碼所獲得的內(nèi)容圖像。
接收設(shè)備200還在屏幕上顯示用戶界面圖像(例如，包含菜單和圖標的圖像)202，以允許用
戶操作發(fā)送設(shè)備100或接收設(shè)備200。 遠程控制設(shè)備300輸出用來操作發(fā)送設(shè)備100或接收設(shè)備200的操作信號，作為 例如根據(jù)來自用戶的指令的紅外信號或無線電信號。當操作信號從遠程控制設(shè)備300被輸出時，操作信號例如被接收設(shè)備200檢測到。然后，接收設(shè)備200經(jīng)由網(wǎng)絡(luò)10向發(fā)送設(shè)備 100發(fā)送傳達操作內(nèi)容的操作數(shù)據(jù)?？商鎿Q地，從遠程控制設(shè)備300輸出的操作信號可以被 例如位于遙遠地點的發(fā)送設(shè)備100直接檢測到。 利用上述通信系統(tǒng)1的配置，可以實現(xiàn)這樣的利用形式，其中，用戶使用安裝在家 中任何位置的接收設(shè)備200來訪問位于遙遠地點的發(fā)送設(shè)備100，以欣賞由發(fā)送設(shè)備100 保留的內(nèi)容。然而，在這樣的情況中，在網(wǎng)絡(luò)10中可能發(fā)生由例如因周圍環(huán)境或通信的暫 時擁塞而生成的噪聲(引起暫時不穩(wěn)定狀態(tài)的因素，例如多徑、增益損失和瞬時中斷)所引 起的通信誤差。對于圖像數(shù)據(jù)，不論由通信誤差引起的數(shù)據(jù)損失如何，根據(jù)諸如UDP(用戶 數(shù)據(jù)報協(xié)議)和RTP(實時傳輸協(xié)議)之類的協(xié)議，保持實時特性的數(shù)據(jù)遞送都繼續(xù)。另一 方面，如果要向網(wǎng)絡(luò)10單獨發(fā)送用來控制用戶界面的控制數(shù)據(jù)，則作為由TCP (傳輸控制協(xié) 議)等引起的數(shù)據(jù)重轉(zhuǎn)的結(jié)果，通信被延遲，有損對用戶操作的快速響應(yīng)。因此，以下詳細 描述的本發(fā)明的一個實施例中，通過預(yù)先將基于用來控制用戶界面的控制數(shù)據(jù)而生成的用 戶界面圖像疊加到內(nèi)容圖像上，來消除發(fā)送/重傳控制數(shù)據(jù)的必要性。
〈2.根據(jù)一個實施例的發(fā)送設(shè)備的描述〉 圖2是例示根據(jù)本實施例的發(fā)送設(shè)備100的配置的框圖。參考圖2，發(fā)送設(shè)備100 包括應(yīng)用程序部件110、壓縮部件120和通信部件140。
[應(yīng)用程序部件IIO] 應(yīng)用程序部件110根據(jù)用戶的操作獲取某圖像數(shù)據(jù)并且向壓縮部件120提供圖像 數(shù)據(jù)。應(yīng)用程序部件110還向壓縮部件120提供用來控制用戶界面以使得用戶操作各個應(yīng) 用程序的第一控制數(shù)據(jù)和用來控制通信的第二控制數(shù)據(jù)。 如圖3中所示，應(yīng)用程序部件110例如可以由各個應(yīng)用程序112a至112n和公共 接口 (公共IF)114構(gòu)成。 在圖3中的示例中，應(yīng)用程序112a至112n可以是任何應(yīng)用程序，例如在發(fā)送設(shè)備 100中操作的內(nèi)容再現(xiàn)應(yīng)用程序、廣播節(jié)目接收應(yīng)用程序或視頻拍攝應(yīng)用程序。應(yīng)用程序 112a至112n例如響應(yīng)于來自用戶的請求，獲取某圖像數(shù)據(jù)和音頻數(shù)據(jù)并且向壓縮部件120 輸出所獲得的數(shù)據(jù)。應(yīng)用程序112a至112n還執(zhí)行用來輸出前述第一控制數(shù)據(jù)和第二控制 數(shù)據(jù)和用來經(jīng)由公共接口 114獲取操作數(shù)據(jù)的操作。 公共接口 114是共同管理由發(fā)送設(shè)備100向用戶提供的用戶界面的接口。公共接 口 114例如可以是原始的用戶界面，例如根據(jù)例如DLNA的UI之類的標準化規(guī)范進行操作 的XMB(Xross Media Bar，跨界導(dǎo)航菜單)或中間件。 例如，公共接口 114生成用來控制用戶界面的第一控制數(shù)據(jù)，并且向壓縮部件120 輸出第一控制數(shù)據(jù)。第一控制數(shù)據(jù)可以包含與用戶界面的顯示有關(guān)的任何控制數(shù)據(jù)，例如， 可由用戶選擇的菜單列表、與每個菜單對應(yīng)的圖標的標識符和屏幕上圖標所應(yīng)當顯示的位 置。公共接口 114還向壓縮部件120輸出用來控制應(yīng)用級的通信的第二控制數(shù)據(jù)。
此外，例如，當從圖1中示出的遠程控制設(shè)備300輸出的或被接收設(shè)備200中繼的 操作數(shù)據(jù)被輸入時，公共接口 114根據(jù)操作數(shù)據(jù)來向應(yīng)用程序112a至112n中的一個提供 操作指令。當如下所述，與所疊加的圖像數(shù)據(jù)有關(guān)的誤差被通知時，公共接口 114可以再次 向壓縮部件120輸出前述第一控制數(shù)據(jù)。
[壓 部件120]
參考圖2，將繼續(xù)對根據(jù)本實施例的發(fā)送設(shè)備100的配置的描述。 當圖像數(shù)據(jù)和第一控制數(shù)據(jù)從應(yīng)用程序部件110被提供時，壓縮部件120通過將
用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)，并且對疊加后的圖像數(shù)據(jù)進行
編碼。壓縮部件120還將第二控制數(shù)據(jù)或從應(yīng)用程序部件110提供的編碼后的音頻數(shù)據(jù)與
疊加后的圖像數(shù)據(jù)進行復(fù)用。本實施例中的內(nèi)容圖像可以是由從應(yīng)用程序部件iio提供的
圖像數(shù)據(jù)代表的任何圖像。 圖4是例示壓縮部件120的詳細配置的框圖。 在圖4中的示例中，壓縮部件120包括圖像疊加部件122、控制發(fā)送準備部件124、 音頻壓縮部件126、圖像壓縮部件128和復(fù)用部件130。 圖像疊加部件122將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面 圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)。 圖5是圖示出圖像疊加部件122進行的圖像疊加處理的說明圖。在圖5中，示出 3個圖像圖像II、圖像12和圖像13。這些圖像中，圖像II是顯示從應(yīng)用程序部件110提 供的圖像數(shù)據(jù)的內(nèi)容的內(nèi)容圖像。另一方面，圖像12是諸如基于從應(yīng)用程序部件110提供 的第一控制數(shù)據(jù)中所包含的菜單的列表之類的數(shù)據(jù)而生成的用戶界面圖像。在圖5中的示 例中，圖像12有"菜單1"到"菜單4" 4個菜單字符串以及其中所顯示的一組對應(yīng)的圖標。 圖像疊加部件122將用戶界面圖像12疊加到內(nèi)容圖像II上來生成疊加后的圖像數(shù)據(jù)13。
在圖5中的示例中，圖像疊加部件122使用戶界面圖像12是透明的，將用戶界面 圖像I2疊加到內(nèi)容圖像I1上。但是，圖像疊加部件122的圖像疊加不限于這樣的示例。例 如，圖像疊加部件122可以不使用戶界面圖像12是透明的，將用戶界面圖像12疊加到內(nèi)容 圖像II上?？商鎿Q地，圖像疊加部件122可以將內(nèi)容圖像II和用戶界面圖像12并排排列 在任何方向上而不疊加。此外，圖像疊加部件122可以僅顯示用戶界面圖像12作為疊加后 的圖像數(shù)據(jù)。這里，圖像疊加是指用戶界面圖像以任何形式插入到發(fā)送數(shù)據(jù)流中。
回到圖4，控制發(fā)送準備部件124臨時保存從應(yīng)用程序部件110提供的第二控制數(shù) 據(jù)并且之后向后述復(fù)用部件130輸出第二控制數(shù)據(jù)。 音頻壓縮部件126根據(jù)諸如PCM、 ADPCM、 MP3、 WMA、 AAC、 ATRAC3plus和ATRAC3之 類的任何音頻編碼方法來壓縮從應(yīng)用程序部件IIO提供的音頻數(shù)據(jù)。從通信系統(tǒng)1中的發(fā) 送設(shè)備100發(fā)送的圖像數(shù)據(jù)不必一定伴隨有音頻數(shù)據(jù)。S卩，在發(fā)送設(shè)備100的配置中可以 省略音頻壓縮部件126。 圖像壓縮部件128對每一編碼單位(與一個場中的N行(N大于等于1)相對應(yīng)) 的由圖像疊加部件122生成的前述疊加后的圖像數(shù)據(jù)進行編碼。S卩，如果N大于等于l，則 圖像壓縮部件128根據(jù)基于行的編解碼來壓縮由圖像疊加部件122生成的前述疊加后的圖 像數(shù)據(jù)。 以下將參考圖13至圖15來描述基于行的小波變換機制，作為基于行的編解碼的 一個示例。 基于行的小波變換是這樣的編解碼技術(shù)每次掃描原始圖像的一行基帶信號時， 執(zhí)行水平方向的小波變換，并且每次讀出某一數(shù)目的行時，執(zhí)行垂直方向的小波變換。
圖13是示出執(zhí)行小波變換的編碼器800的配置示例的框圖。圖13中所示的編碼 器800在3層(3個級別)中執(zhí)行作為最常見的小波變換的八度分裂(octave splitting),以生成分級編碼后的圖像數(shù)據(jù)。 參考圖13，編碼器800包括級別1處的電路部件S10、級別2處的電路部件820和 級別3處的電路部件830。級別1處的電路部件810具有低通濾波器812、下采樣器814、 高通濾波器816和下采樣器818。級別2處的電路部件820具有低通濾波器822、下采樣器 824、高通濾波器826和下采樣器828。級別3處的電路部件830具有低通濾波器832、下采 樣器834、高通濾波器836和下采樣器838。 輸入圖像信號被電路部件810的低通濾波器812(傳遞函數(shù)H0(z))和高通濾波器 816(傳遞函數(shù)Hl(z))分裂成多個頻帶。通過頻帶分裂獲得的低頻分量(1L分量)和高頻 分量(1H分量)分別被下采樣器814和下采樣器818削減(thin out)為分辨率的一半。
由下采樣器814削減出的低頻分量(1L分量)的信號被電路部件820的低通濾波 器822(傳遞函數(shù)H0(z))和高通濾波器826(傳遞函數(shù)Hl(z))進一步分裂成多個頻帶。通 過頻帶分裂獲得的低頻分量(2L分量)和高頻分量(2H分量)分別被下采樣器824和下采 樣器828削減為分辨率的一半。 此外，由電路部件820的下采樣器824削減出的低頻分量(2L分量)的信號被電 路部件820的低通濾波器832 (傳遞函數(shù)HO (z))和高通濾波器836 (傳遞函數(shù)Hl (z))進一 步分裂成多個頻帶。通過頻帶分裂獲得的低頻分量(3L分量)和高頻分量(3H分量)分別 被下采樣器834和下采樣器838削減為分辨率的一半。 以這種方式，通過將低頻分量分級分裂成多個頻帶直到某一級別來順次生成頻率 分量。在圖13的示例中，作為直到級別3的頻帶分裂的結(jié)果，生成下采樣器818所削減出 的高頻分量(1H分量)，下采樣器828所削減出的高頻分量(2H分量)，下采樣器838所削 減出的高頻分量(3H分量)，下采樣器834所削減出的低頻分量(3L分量)。
圖14是示出通過對二維圖像進行直到級別3的頻帶分裂所獲得的頻率分量的示 圖。在圖14中的示例中，通過級別1的頻帶分裂(水平/垂直方向)得到4個分量1LL、 1LH、1HL和1HH的各個子圖像。這里，LL指示水平和垂直分量都為L，并且LH指示水平分 量為H而垂直分量為L。接著，ILL分量再次被分裂成多個頻帶來獲得2LL、2HL、2LH和2HH 的各個子圖像。此外，2LL分量被再次分裂成多個頻帶來獲得3LL、3HL、3LH和3HH的各個子 圖像。 作為以這種方式重復(fù)執(zhí)行小波變換的結(jié)果，輸出信號形成包含子圖像的分級結(jié) 構(gòu)?；谛械男〔ㄗ儞Q是通過進一步基于行來擴展這樣的小波變換而獲得的。
圖15是概念性地示出基于行的小波變換的變換處理的示意圖。這里，例如，針對 基帶的每8行在水平方向執(zhí)行小波變換。 在這種情況中，如果要在3層中關(guān)于8行來執(zhí)行小波變換，則針對最低級別的頻帶 3LL子圖像生成一行編碼后的數(shù)據(jù)并且針對下一級別的子頻帶3H(子圖像3HL、3LH和3HH) 中的每一個生成一行編碼后的數(shù)據(jù)。此外，針對下一級別的子頻帶2H(子圖像2HL、2LH和 2HH)中的每一個生成兩行編碼后的數(shù)據(jù)，進一步，針對最高級別頻帶1H(子圖像1HL、1LH和 1HH)中的每一個生成四行編碼后的數(shù)據(jù)。 每個子頻帶的一組行將稱為選區(qū)(precinct) 。 S卩，作為行塊的一種形式(這種形 式是一組行)，選區(qū)是要作為基于行的小波變換的編碼單位的一組行，這里，編碼單位一般 是指要成為編碼處理的單位的一組行。即，編碼單位不限于基于行的小波變換中的選區(qū)，并且可以是諸如JPEG2000和MPEG4之類的現(xiàn)有分級編碼中的編碼處理的單位。
參考圖15，在圖15中的左側(cè)示出的基帶信號802中由8行組成的選區(qū)(圖15中 的陰影區(qū))被構(gòu)造為如圖15中的右側(cè)所示的變換之后的基于行的小波變換后的信號804 中的以下內(nèi)容具有1H中的1HL、1LH和1HH中的每一個的4行(圖15中的陰影區(qū))、具有 2H中的2HL、2LH和2HH中的每一個的兩行(圖15中的陰影區(qū))和具有3LL、3HL、3LH和3HH 中的每一個的一行(圖15中的陰影區(qū))。 根據(jù)這樣的基于行的小波變換處理，可以通過與JPEG2000中的瓦片分解(tile decomposing) —樣，將圖片分解成更細粒度尺寸來執(zhí)行處理，使得發(fā)送和接收圖像數(shù)據(jù)時 的延遲可以變得更短。此外，與JPEG2000中的瓦片分解相對地，基于行的小波變換執(zhí)行使 用小波系數(shù)的劃分而不是每基帶信號的劃分，因此具有這樣的特征瓦片邊界中沒有出現(xiàn) 像塊噪聲一樣的圖像質(zhì)量劣化。 以上已經(jīng)描述了基于行的小波變換作為基于行的編解碼的一個示例。由圖4中示 出的圖像壓縮部件128執(zhí)行的壓縮處理不限于基于行的小波變換。圖像壓縮部件128適用 于任何基于行的編解碼，例如諸如JPEG2000和MPEG4之類的現(xiàn)有分級編碼。
回到圖4，復(fù)用部件130將由圖像壓縮部件128編碼出的疊加后的圖像數(shù)據(jù)和從控 制發(fā)送準備部件124輸出的第二控制數(shù)據(jù)以及從音頻壓縮部件126輸出的編碼后的音頻數(shù) 據(jù)進行復(fù)用。然后，復(fù)用部件130向通信部件140輸出復(fù)用后的疊加圖像數(shù)據(jù)。
再回到圖2，將繼續(xù)對根據(jù)本實施例的發(fā)送設(shè)備100的配置的描述。
[通信部件140] 通信部件140包括發(fā)送數(shù)據(jù)生成部件142、發(fā)送/接收控制部件144、物理層控制 部件146、物理層Tx 148、切換部件150、天線部件152、物理層Rx 154和接收數(shù)據(jù)分離部件 156。 發(fā)送數(shù)據(jù)生成部件142生成包含從壓縮部件120輸出的疊加后的圖像數(shù)據(jù)的通信 分組。當執(zhí)行例如基于TCP、UDP或IP協(xié)議的通信時，發(fā)送數(shù)據(jù)生成部件142通過將TCP或 UDP頭部和終端識別信息(例如，以太網(wǎng)(注冊商標)的MAC地址或IP地址)添加到疊加 后的圖像數(shù)據(jù)上來生成IP分組。 發(fā)送/接收控制部件144控制TDMA(時分多址)方法、CSMA(載波偵聽多址)或 FDMA(頻分多址)方法中的MAC(媒體接入控制)層。發(fā)送/接收控制部件144還可以基于 根據(jù)導(dǎo)頻而非載波的相關(guān)性來識別分組的PSMA (Preamble Sense Multiple Access,導(dǎo)頻 偵聽多址)來執(zhí)行對MAC層的控制。 物理層控制部件146基于來自發(fā)送/接收控制部件144或發(fā)送數(shù)據(jù)生成部件142 的指令來控制物理層。物理層Tx 148基于來自物理層控制部件146的請求來開始操作并 且向切換部件150輸出從發(fā)送數(shù)據(jù)生成部件142提供的通信分組。 切換部件150具有用來切換數(shù)據(jù)的發(fā)送和接收的功能。例如，當從物理層Tx 148 提供通信分組時，切換部件150經(jīng)由天線部件152發(fā)送這些通信分組。當經(jīng)由天線部件152 接收通信分組時，切換部件150將所接收到的分組提供給物理層Rx 154。
物理層Rx 154基于來自物理層控制部件146的請求來開始操作并且將接收到的 分組提供給接收數(shù)據(jù)分離部件156。 接收數(shù)據(jù)分離部件156分析從物理層Rx 154提供的接收分組，并且在將要遞送給應(yīng)用程序部件110的數(shù)據(jù)輸出給應(yīng)用程序部件110之前對數(shù)據(jù)進行解復(fù)用。例如，接收數(shù) 據(jù)分離部件156可以參考接收分組中所包含的TCP或UDP頭部的端口號來識別要遞送給應(yīng) 用程序部件110的數(shù)據(jù)。 在通信系統(tǒng)1中，存在可由發(fā)送設(shè)備100接收的兩種數(shù)據(jù)。這兩種數(shù)據(jù)中，第一數(shù) 據(jù)是在觀看由接收設(shè)備200顯示的用戶界面圖像的用戶的指令被接收之后由遠程控制設(shè) 備300輸出的操作數(shù)據(jù)。第二數(shù)據(jù)是當檢測到有關(guān)疊加后的圖像數(shù)據(jù)的誤差時由接收設(shè)備 200返回的有關(guān)誤差的統(tǒng)計數(shù)據(jù)。 操作數(shù)據(jù)被包含在從遠程控制設(shè)備300輸出的操作信號中。發(fā)送設(shè)備100的通信 部件140直接地或經(jīng)由接收設(shè)備200接收來自遠程控制設(shè)備300的操作信號。然后，由通 信部件140從操作信號中分離出的操作數(shù)據(jù)被輸入到應(yīng)用程序部件110中。如果操作信號 例如是作為紅外信號從遠程控制設(shè)備300輸出的，則圖2中所示的通信部件140外部所設(shè) 置的紅外接口 (未示出)可以接收操作信號，以向應(yīng)用程序部件110輸出操作數(shù)據(jù)。
另一方面，有關(guān)誤差的統(tǒng)計數(shù)據(jù)被包含在從接收設(shè)備200發(fā)送的響應(yīng)信號中。當 從接收設(shè)備200接收響應(yīng)信號時，發(fā)送設(shè)備100的通信部件140從響應(yīng)信號中分離出有關(guān) 誤差的統(tǒng)計數(shù)據(jù)，以向應(yīng)用程序部件110輸入有關(guān)誤差的統(tǒng)計數(shù)據(jù)。因此，例如，應(yīng)用程序 部件110可以再次向壓縮部件120輸出用來控制用戶界面的第一控制數(shù)據(jù)。
[處理流程的示例] 接著，圖6是例示由使用圖2至圖5描述的發(fā)送設(shè)備100進行的疊加后的圖像數(shù) 據(jù)的發(fā)送處理的流程的流程圖。 參考圖6，首先由應(yīng)用程序部件110向壓縮部件120輸出將使接收設(shè)備200顯示的 內(nèi)容圖像的圖像數(shù)據(jù)(S102)。此時，如有必要，還向壓縮部件120輸出音頻數(shù)據(jù)
接著，由應(yīng)用程序部件110向壓縮部件120輸出第一控制數(shù)據(jù)或第二控制數(shù)據(jù) (S104)。 然后，壓縮部件120判定從應(yīng)用程序部件IIO輸出的控制數(shù)據(jù)是第一控制數(shù)據(jù)還 是第二控制數(shù)據(jù)(S106)。如果該控制數(shù)據(jù)是第一控制數(shù)據(jù)，則處理進行到S108。另一方面， 如果該控制數(shù)據(jù)不是第一控制數(shù)據(jù)，則處理進行到S112。 在S108，由壓縮部件120的圖像疊加部件122使用從應(yīng)用程序部件110輸入的 圖像數(shù)據(jù)和第一控制數(shù)據(jù)來生成用戶界面圖像被疊加到內(nèi)容圖像上的疊加后的圖像數(shù)據(jù) (S108)。 接著，由圖像壓縮部件128以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單 位來對疊加后的圖像數(shù)據(jù)進行編碼。 接著，從應(yīng)用程序部件110輸入的第二控制數(shù)據(jù)與由圖像壓縮部件128壓縮后的 疊加后的圖像數(shù)據(jù)相復(fù)用(S112)。此時，如有必要，由音頻壓縮部件126壓縮后的音頻數(shù)據(jù) 也被復(fù)用。 然后，由通信部件140生成包含復(fù)用之后的疊加后的圖像數(shù)據(jù)的通信分組，并且 之后將其經(jīng)由網(wǎng)絡(luò)10發(fā)送給接收設(shè)備200(S114)。 已經(jīng)使用圖2至圖6描述了根據(jù)本實施例的發(fā)送設(shè)備100。接著，將描述接收從發(fā) 送設(shè)備100發(fā)送的疊加后的圖像數(shù)據(jù)的接收設(shè)備200的配置。
〈3.根據(jù)一個實施例的接收設(shè)備的描述〉
圖7是例示根據(jù)本實施例的接收設(shè)備200的配置的框圖。參考圖7，接收設(shè)備200 包括通信部件240、解碼部件270和應(yīng)用程序部件290。
[通信部件240] 通信部件240包括發(fā)送數(shù)據(jù)生成部件242、發(fā)送/接收控制部件244、物理層控制 部件146、物理層Tx 148、切換部件150、天線部件152、物理層Rx 154和接收數(shù)據(jù)分離部件 256。 發(fā)送數(shù)據(jù)生成部件242基于發(fā)送/接收控制部件244的請求來讀出要發(fā)送給發(fā)送 設(shè)備100的數(shù)據(jù)，以生成發(fā)送分組。例如，發(fā)送數(shù)據(jù)生成部件242生成IP分組并且之后將 IP分組輸出給物理層Tx 148。 和發(fā)送設(shè)備100的發(fā)送/接收控制部件144類似，發(fā)送/接收控制部件244控制 MAC層。發(fā)送/接收控制部件244還將由例如稍后描述的接收數(shù)據(jù)分離部件256所檢測到 的疊加后的圖像數(shù)據(jù)的誤差率與某一閾值相比較，并且如果誤差率更高，則使得通信部件 240向發(fā)送設(shè)備IOO發(fā)送包括有關(guān)誤差的統(tǒng)計數(shù)據(jù)以通知誤差的發(fā)生的響應(yīng)信號。稍后將 進一步描述對疊加后的圖像數(shù)據(jù)中所包含的誤差的檢測。 接收數(shù)據(jù)分離部件256分析從物理層Rx 154提供的接收分組并且在將要遞送給 解碼部件270的數(shù)據(jù)輸出給解碼部件270之前對數(shù)據(jù)進行解復(fù)用。例如，當執(zhí)行基于IP協(xié) 議的通信時，接收數(shù)據(jù)分離部件256參考接收分組中所包含的目的地IP地址和目的地端口 號，使得可以識別遞送給解碼部件270的數(shù)據(jù)。
[解碼部件270] 解碼部件270例如以與一個場中的N行(N大于等于1)為單位對從接收數(shù)據(jù)分離 部件256輸出的疊加后的圖像數(shù)據(jù)進行解碼，并且之后將經(jīng)解碼的疊加后的圖像數(shù)據(jù)輸出 給應(yīng)用程序部件290。 圖8是例示解碼部件270的詳細配置的框圖。參考圖8，解碼部件270包括應(yīng)用程 序數(shù)據(jù)分離部件272、音頻解碼部件274和圖像解碼部件276。 應(yīng)用程序數(shù)據(jù)分離部件272通過參考從接收數(shù)據(jù)分離部件256輸入的數(shù)據(jù)的應(yīng)用 程序頭來確定媒體的類型并且之后分發(fā)數(shù)據(jù)。例如，如果輸入數(shù)據(jù)是編碼后的音頻數(shù)據(jù)，則 應(yīng)用程序數(shù)據(jù)分離部件272將音頻數(shù)據(jù)輸出給音頻解碼部件274。如果輸入數(shù)據(jù)是經(jīng)過編 碼的疊加后的圖像數(shù)據(jù)，則應(yīng)用程序數(shù)據(jù)分離部件272將疊加后的圖像數(shù)據(jù)輸出給圖像解 碼部件276。如果輸入的數(shù)據(jù)是第二控制數(shù)據(jù)，則應(yīng)用程序數(shù)據(jù)分離部件272將第二控制數(shù) 據(jù)輸出給應(yīng)用程序部件290。 當與基于圖片的編解碼相比較時，在基于行的編解碼中可用于圖像數(shù)據(jù)的接收和 解碼的控制的時間更短。因此，為了以穩(wěn)定的同步狀態(tài)對疊加后的圖像數(shù)據(jù)進行解碼，應(yīng)用 程序數(shù)據(jù)分離部件272臨時存儲從接收數(shù)據(jù)分離部件256輸入的疊加后的圖像數(shù)據(jù)并且通 過確定某一同步定時來輸出疊加后的圖像數(shù)據(jù)。稍后將使用圖ll來進一步描述應(yīng)用程序 數(shù)據(jù)分離部件272的這樣的同步處理。 音頻解碼部件274根據(jù)諸如PCM、 ADPCM、 MP3、 WMA、 AAC、 ATRAC3plus和ATRAC3之 類的任何音頻編碼方法來對從應(yīng)用程序數(shù)據(jù)分離部件272輸入的音頻數(shù)據(jù)進行解碼。音頻 解碼部件274所解碼出的音頻數(shù)據(jù)被輸出給應(yīng)用程序部件290。與發(fā)送設(shè)備100的音頻壓 縮部件126 —樣，在接收設(shè)備200中可以省略音頻解碼部件274。
14
圖像解碼部件276以與一個場中的N行相對應(yīng)的編碼單位對從應(yīng)用程序數(shù)據(jù)分離 部件272輸入的疊加后的圖像數(shù)據(jù)進行解碼。由圖像解碼部件276解碼出的疊加后的圖像 數(shù)據(jù)被輸出給應(yīng)用程序部件290。
[應(yīng)用程序部件290] 回到圖7，將繼續(xù)對應(yīng)用程序部件290的配置的描述。 應(yīng)用程序部件290對從解碼部件270提供的經(jīng)過解碼的疊加后的圖像數(shù)據(jù)進行再 現(xiàn)。因此，在接收設(shè)備200的屏幕上顯示疊加后的圖像數(shù)據(jù)中所包含的內(nèi)容圖像上所疊加 的用戶界面圖像。應(yīng)用程序部件290使用諸如揚聲器之類的音頻輸出設(shè)備來對從解碼部件 270提供的解碼后的音頻數(shù)據(jù)進行再現(xiàn)。 在接收設(shè)備200的配置中應(yīng)當注意的是不需要將由解碼部件270的圖像解碼部 件276解碼出的疊加后的圖像數(shù)據(jù)進一步分離成內(nèi)容圖像的圖像數(shù)據(jù)和用戶界面圖像的 第一控制數(shù)據(jù)。如果通信誤差出現(xiàn)，則這樣的誤差可能被包含在疊加后的圖像數(shù)據(jù)的一部 分中。然而，即使在這樣的情況中，如果誤差率不超過某一量，則由接收設(shè)備200顯示的圖 像中的用戶界面圖像也可以被用戶識別，這是因為用戶界面圖像被疊加在內(nèi)容圖像之上。 結(jié)果，根據(jù)諸如UDP和RTP之類的將重要性附加在實時特性上的協(xié)議，可以容易地向用戶提
供用戶界面。[誤差檢測] 對接收設(shè)備200中的疊加后的圖像數(shù)據(jù)中的誤差的檢測例如可以由圖7中示出的 物理層Rx 154或接收數(shù)據(jù)分離部件256實現(xiàn)。在物理層Rx 154中，例如，可以使用諸如循 環(huán)冗余校驗、Reed-Solomon碼、Gold碼或Viterbi算法之類的公知技術(shù)來檢測接收分組中 所包含的比特或符號的誤差。在接收數(shù)據(jù)分離部件256中，例如，可以從RTP頭部中丟失的 序列號來檢測分組損失。還可以通過無線電通信中相位偏移或信號強度中的波動來檢測通 信誤差。 發(fā)送/接收控制部件244被通知以這種方式檢測到的疊加后的圖像數(shù)據(jù)的誤差以 計算誤差率。之后，發(fā)送/接收控制部件244例如將預(yù)先定義的某一閾值與所計算出的誤 差率相比較。如果誤差率大于預(yù)定閾值，即，如果即使疊加后的圖像數(shù)據(jù)被解碼和被顯示之 后用戶仍難以正確地識別用戶界面圖像，則發(fā)送/接收控制部件244向發(fā)送設(shè)備100發(fā)送 對誤差通知的響應(yīng)信號。如果誤差率不大于閾值，即如果確定用戶可以識別用戶界面圖像， 則發(fā)送/接收控制部件244允許繼續(xù)對疊加后的圖像數(shù)據(jù)的解碼處理。
這里描述由發(fā)送/接收控制部件244進行誤差率的閾值確定的示例?？商鎿Q地， 還可以由解碼部件270或應(yīng)用程序部件290來進行閾值確定。
[通信分組的配置示例] 圖9示出UDP/IP分組的配置，作為本實施例中可以由接收設(shè)備200接收的通信分 組的示例。 在圖9中，在9a至9d 4個階段中示出一個IP分組的內(nèi)部配置。參考9a， IP分組 由IP頭部和IP數(shù)據(jù)構(gòu)成。IP頭部例如包含諸如目的地IP地址之類的有關(guān)基于IP協(xié)議的 通信路徑控制的控制信息。 接著，參考9b， IP數(shù)據(jù)又由UDP頭部和UDP數(shù)據(jù)構(gòu)成。UDP頭部例如包含作為應(yīng) 用程序標識信息的目的地端口號。
接著，參考9c，UDP數(shù)據(jù)又由RTP頭部和RTP數(shù)據(jù)構(gòu)成。RTP頭部包含諸如序列號 之類的用來保證例如數(shù)據(jù)流的順序性的控制信息。 接著，參考9d，RTP數(shù)據(jù)由圖像數(shù)據(jù)的頭部(圖像頭)和通過基于行的編解碼所編 碼出的疊加后的圖像數(shù)據(jù)構(gòu)成。圖像頭例如包含圖片編號、行塊編號(或當以一行為單位 編碼時的行編號)或子頻帶編號。圖像頭還可以由每個圖片所附加的圖片頭和每個行塊所 附加的行塊頭構(gòu)成。 [OH3][處理流程示例] 接著，圖10是例示使用圖7至圖9所描述的接收設(shè)備200進行的疊加后的圖像數(shù) 據(jù)的接收處理的流程的流程圖。 參考圖10，首先由通信部件240接收從發(fā)送設(shè)備100發(fā)送的通信分組(S202)。
接著，例如由通信部件240的發(fā)送/接收控制部件244來判斷通信路徑上所發(fā)生 的誤差率是否大于某一閾值(S204)。如果誤差率大于某一閾值，則處理進行到S206。
在S206從接收設(shè)備200向發(fā)送設(shè)備100發(fā)送對誤差發(fā)生的通知的響應(yīng)信號 (S206)。因此，發(fā)送設(shè)備100可以認識到由于劣化的通信環(huán)境，服務(wù)提供受到阻礙。
另一方面，如果在S204通信路徑上所發(fā)生的誤差率小于某一閾值，則處理進行 到S208。在S208，判斷所接收到的通信分組中所包含的數(shù)據(jù)是否是疊加后的圖像數(shù)據(jù) (S208)。如果所接收到的通信分組中包含的數(shù)據(jù)不是疊加后的圖像數(shù)據(jù)，則處理進行到 S210。 在S210，由解碼部件270的音頻解碼部件274對除了疊加后的圖像數(shù)據(jù)以外的數(shù) 據(jù)，例如，音頻數(shù)據(jù)，進行解碼(S210)。音頻解碼部件274所解碼出的音頻數(shù)據(jù)被輸出給應(yīng) 用程序部件290。在該步驟，例如，從解碼部件270的應(yīng)用程序數(shù)據(jù)分離部件272向應(yīng)用程 序部件290輸出第二控制數(shù)據(jù)。 另一方面，如果所接收到的通信分組中所包含的數(shù)據(jù)是疊加后的圖像數(shù)據(jù)，則由 應(yīng)用程序數(shù)據(jù)分離部件272執(zhí)行對疊加后的圖像數(shù)據(jù)的解碼起始點的同步處理(S212)。
圖11是例示應(yīng)用程序數(shù)據(jù)分離部件272進行的同步處理的具體流程的流程圖。
參考圖ll，首先檢測輸入到應(yīng)用程序數(shù)據(jù)分離部件272中的疊加后的圖像數(shù)據(jù)的 頭部(例如，圖9中所示的圖像頭)，使得從行塊編號等中識別出圖片的開頭(S302)。
接著，在識別出圖片的開頭之后，應(yīng)用程序數(shù)據(jù)分離部件272激活用于測量時間 的定時器并且等待解碼起始點的到達(S304)。這里，直到解碼起始點的等待時間被預(yù)先設(shè) 置為例如能夠吸收每編碼單位的數(shù)據(jù)量的波動或由于通信路徑上的抖動等引起的延遲的 時間。然而，直到解碼起始點的等待時間優(yōu)選地盡可能短，以增強用戶界面的響應(yīng)性。
然后，當解碼起始點到來時，應(yīng)用程序數(shù)據(jù)分離部件272開始對每編碼單位的數(shù) 據(jù)傳送時間的測量(S306)。這里，每編碼單位的數(shù)據(jù)傳送時間是指顯示一個編碼單位的疊 加后的圖像數(shù)據(jù)所能夠花費的時間。例如，當1080/60p(屏幕尺寸為2200x1125，60fps的 逐行掃描方法)的視頻被解碼時，如果加上空白時間，則顯示一行所能夠花費的時間約為 14. 8 [ ii s]，如果不加上空白時間，則約為15. 4[ ii s]。如果編碼單位是N行的行塊，則每編 碼單位的數(shù)據(jù)傳送時間將是前述顯示一行所能夠花費的時間的N倍。 此外，應(yīng)用程序數(shù)據(jù)分離部件272判斷在該時間點是否完成了對特定頻率分量的 疊加后的圖像數(shù)據(jù)的接收(S308)。該步驟中的特定頻率分量例如被預(yù)設(shè)為具有要對用戶顯
16示的最小圖像質(zhì)量的頻率分量。特定頻率分量可以是疊加后的圖像數(shù)據(jù)中所包含的最低頻率分量或根據(jù)圖像類型所設(shè)置的某一頻率分量。如果對特定頻率分量的疊加后的圖像數(shù)據(jù)的接收未完成，則處理進行到S310。另一方面，如果對特定頻率分量的疊加后的圖像數(shù)據(jù)的接收已完成，則處理進行到S312。 如果處理進行到S310，則最少要顯示的頻率分量(特定頻率分量)的疊加后的圖像數(shù)據(jù)可能由于數(shù)據(jù)延遲或數(shù)據(jù)誤差還未被接收到。在該情況中，向沒有成功接收到數(shù)據(jù)的行(或行塊)插入啞數(shù)據(jù)(S310)，所述行(或行塊)沒有成功接收到數(shù)據(jù)是因為如果等待數(shù)據(jù)的接收，則同步定時會偏移，導(dǎo)致圖像顯示的延遲。例如，這里所接收到的頻率分量可以按原樣與僅針對接收失敗的頻率分量插入的鵬數(shù)據(jù)一起使用。這里所要插入的鵬數(shù)據(jù)例如是前一圖片(或前一圖片之前的圖片)的相同行(或相同行塊)的疊加后的圖像數(shù)據(jù)、固定的圖像數(shù)據(jù)或基于運動補償?shù)念A(yù)測數(shù)據(jù)。 另一方面，在S312，從應(yīng)用程序數(shù)據(jù)分離部件272向圖像解碼部件276傳送包含特定頻率分量的疊加后的圖像數(shù)據(jù)(S312)。疊加后的圖像數(shù)據(jù)的傳送繼續(xù)直到每編碼單位的數(shù)據(jù)傳送時間結(jié)束為止(S314)。然后，當每編碼單位的數(shù)據(jù)傳送時間結(jié)束時，處理進行到S316。 在S316，判斷是否還留有此時尚未完成傳送的待解碼的疊加后的圖像數(shù)據(jù)(S316)。如果還有尚未完成傳送的待解碼的疊加后的圖像數(shù)據(jù)，則刪除疊加后的圖像數(shù)據(jù)(S318)。 之后，判斷是否完成了對圖片中所有行的處理(S320)。如果還留有尚未完成處理的任何行，則處理返回S306以重復(fù)對每編碼單位的數(shù)據(jù)傳送時間的測量和疊加后的圖像數(shù)據(jù)向圖像解碼部件276的傳送。另一方面，如果所有行的處理都已完成，則用來對一張圖片的疊加后的圖像數(shù)據(jù)進行解碼的同步處理完成。 回到圖IO，將繼續(xù)對疊加后的圖像數(shù)據(jù)的接收處理的流程的描述。 由圖像解碼部件276對作為應(yīng)用程序數(shù)據(jù)分離部件272的同步處理的結(jié)果而被傳
送給圖像解碼部件276的疊加后的圖像數(shù)據(jù)以編碼單位順次進行解碼(S214)。經(jīng)過解碼的
疊加后的圖像數(shù)據(jù)從圖像解碼部件276輸出給應(yīng)用程序部件290。如果在直至S320的處理
被完成一次之后檢測到指示下一圖片的開頭的頭部，則可以使用第一同步定時而不測量解
碼起始時間。 然后，應(yīng)用程序部件290在接收設(shè)備200的屏幕上顯示經(jīng)過解碼的疊加后的圖像數(shù)據(jù)(S216)。因此，用戶可以在屏幕上觀看用來操作發(fā)送設(shè)備100或接收設(shè)備200的用戶界面圖像。 已經(jīng)使用圖IO和圖11描述了根據(jù)本實施例的接收設(shè)備200所執(zhí)行的疊加后的圖
像數(shù)據(jù)的接收處理。如從以上描述可以理解的，即使在接收設(shè)備200的顯示裝置中所顯示
的疊加后的圖像數(shù)據(jù)中包含達到未超過某一閾值這樣的程度的通信誤差，也可以使得用戶
在視覺上識別用戶界面圖像。并且在本實施例中，如果對多級頻率分量的預(yù)設(shè)特定頻率分
量的疊加后的圖像數(shù)據(jù)的發(fā)送/接收成功，則即使丟失其它頻率分量也可以顯示具有與至
少特定頻率分量相對應(yīng)的圖像質(zhì)量的用戶界面圖像。[變形例的描述] 作為本實施例的變形例，可以如圖12中所示來配置接收設(shè)備200的解碼部件270。參考圖12，接收設(shè)備200的解碼部件270除了包括圖8中所示的應(yīng)用程序數(shù)據(jù)分離部件272、音頻解碼部件274和圖像解碼部件276之外，還包括終端識別部件278。
終端識別部件278通過參考例如分組中的IP頭部來識別從通信部件240輸入的應(yīng)用程序數(shù)據(jù)的發(fā)送源的終端，并且根據(jù)識別結(jié)果來分發(fā)數(shù)據(jù)。例如，如果數(shù)據(jù)是從遠程控制設(shè)備300接收的，則終端識別部件278向應(yīng)用程序部件290輸出數(shù)據(jù)作為從操作信號獲得的操作數(shù)據(jù)。如果包含疊加后的圖像數(shù)據(jù)的數(shù)據(jù)是從發(fā)送設(shè)備ioo接收的，則終端識別部件278向應(yīng)用程序數(shù)據(jù)分離部件272輸出這些數(shù)據(jù)。 根據(jù)以上變形例，當操作信號是從遠程控制設(shè)備300接收的時，接收設(shè)備200可以從所接收到的操作信號中獲取操作數(shù)據(jù)來將操作數(shù)據(jù)中繼到發(fā)送設(shè)備100。 S卩，即使發(fā)送設(shè)備100和接收設(shè)備200被彼此分離地安裝使得難以直接向發(fā)送設(shè)備100發(fā)送來自遠程控制設(shè)備300的操作信號，用戶也可以在觀看接收設(shè)備200中所顯示的用戶界面圖像的同時操作發(fā)送設(shè)備100。 作為另一變形例，接收設(shè)備200的解碼部件270或應(yīng)用程序部件290可以在屏幕上識別由于通信誤差而接收失敗的行塊的位置，以判斷是否根據(jù)其位置來解碼或顯示該圖像。屏幕上的行塊的位置可以從圖9中所示的行塊編號等來識別。
〈4.概要> 已經(jīng)使用圖1至圖13描述了根據(jù)本發(fā)明一個實施例的通信系統(tǒng)1。如上所述，根據(jù)本實施例，即使接收設(shè)備200的屏幕上所顯示的疊加后的圖像數(shù)據(jù)包含達到未超過某一閾值的程度的某些通信誤差，用戶也可以在視覺上識別用戶界面圖像。此外，如果對多級頻率分量中的預(yù)設(shè)特定頻率分量的疊加后的圖像數(shù)據(jù)的發(fā)送/接收成功，則顯示具有與至少特定頻率分量相對應(yīng)的圖像質(zhì)量的用戶界面圖像。因此，在從發(fā)送設(shè)備IOO經(jīng)由網(wǎng)絡(luò)10向接收設(shè)備200提供用戶界面的情況中，增強了誤差容限。此外，提高了用戶操作的響應(yīng)性。
此外，根據(jù)本實施例，由于用來控制用戶界面的第一控制數(shù)據(jù)未被發(fā)送給網(wǎng)絡(luò)，所以可以避免由于增大的用戶界面規(guī)范復(fù)雜度而引起的控制數(shù)據(jù)的容量的增加和由于增大的協(xié)議復(fù)雜度而引起的通信效率的降低。 此外，通過使用基于行的編解碼，減少了圖像的編碼和解碼以及發(fā)送/接收中所
處理的一個單位的信息量，帶來了諸如高速處理和硬件規(guī)模的縮小之類的優(yōu)點。 在另一實施例中，可以通過基于圖片的編解碼來對疊加后的圖像數(shù)據(jù)進行編碼。
還在這樣的情況中，用戶界面圖像在被疊加到內(nèi)容圖像上之后被發(fā)送/接收，因此，用來控
制用戶界面的第一控制數(shù)據(jù)未被發(fā)送給網(wǎng)絡(luò)。因此，即使在一部分數(shù)據(jù)中發(fā)生通信誤差，也
可以使得用戶能夠在視覺上識別用戶界面圖像。 這里描述的處理序列可以通過硬件或軟件來實現(xiàn)。當使得軟件來執(zhí)行處理序列或其一部分時，構(gòu)成軟件的程序被結(jié)合到專用硬件中的計算機或圖16中所示的通用計算機可以用于其執(zhí)行。 在圖16中，CPU(中央處理單元)902控制通用計算機的總體操作。描述處理序列的一部分或全部的數(shù)據(jù)或程序被存儲在ROM(只讀存儲器)904中。由CPU 902用來執(zhí)行處理的執(zhí)行程序或控制數(shù)據(jù)被臨時存儲在RAM(隨機存取存儲器)906中。
CPU 902、R0M 904和RAM 906經(jīng)由總線908相互連接。輸入/輸出接口 910也被連接到總線908。輸入/輸出接口 910是將CPU 902、 R0M904和RAM 906連接到輸入部件912、輸出部件914、存儲部件916、通信部件918和驅(qū)動器920的接口 。 輸入部件912接受來自用戶的指令或經(jīng)由諸如按鈕、開關(guān)、控制桿、鼠標或鍵盤之
類的輸入裝置輸入的信息。顯示裝置914如上所述具有例如CRT、 PDP、液晶顯示器或0LED
之類的屏幕，并且為用戶顯示內(nèi)容圖像或用戶界面圖像。 存儲部件916例如是由HDD或半導(dǎo)體存儲器構(gòu)成，并且存儲程序、程序數(shù)據(jù)、內(nèi)容數(shù)據(jù)等。通信部件918經(jīng)由網(wǎng)絡(luò)執(zhí)行有線或無線的通信處理。必要時在通用計算機中設(shè)置驅(qū)動器920，并且例如在驅(qū)動器920中插入可移除介質(zhì)922。 本領(lǐng)域技術(shù)人員應(yīng)當理解，根據(jù)設(shè)計要求和其它因素可以進行各種修改、組合、子組合和更改，只要它們在所附權(quán)利要求或其等同物的范圍以內(nèi)即可。 在本實施例中，例如描述了用無線線路作為通信線路的示例。然而，可以使用有線線路而不是無線線路來作為另一實施例。通過用合適的功能替換例如物理層Tx 148、天線部件152和物理層Rx 154，和上述網(wǎng)絡(luò)10 —樣，可以使用利用LAN、WAN、ADSL、電力線、LVDS連接線、HDMI、無線LAN(IEEE802. 11)、藍牙、WiMax或超寬帶無線電之類的任何網(wǎng)絡(luò)。
此外，在本實施例中，假定使用TCP或UDP/RTP協(xié)議。然而，本發(fā)明不限于這樣的示例并且適用于可以區(qū)分圖像數(shù)據(jù)和控制數(shù)據(jù)的任何協(xié)議。 例如，使用流程圖描述的根據(jù)一個實施例的發(fā)送處理和接收處理不必按照流程圖中描述的次序來執(zhí)行。處理步驟可以包含并行執(zhí)行或獨立地單獨執(zhí)行的步驟。
本申請包含與2008年12月11日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP2008-315615中所公開的主題有關(guān)的主題，其全部內(nèi)容通過引用被結(jié)合于此。
權(quán)利要求
一種發(fā)送設(shè)備，包括圖像疊加部件，所述圖像疊加部件通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)；圖像壓縮部件，所述圖像壓縮部件以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位對由所述圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼；以及通信部件，所述通信部件發(fā)送由所述圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)。
2. 根據(jù)權(quán)利要求1所述的發(fā)送設(shè)備，還包括復(fù)用部件，所述復(fù)用部件將用來控制通信的第二控制數(shù)據(jù)與由所述圖像壓縮部件編碼 出的疊加后的圖像數(shù)據(jù)進行復(fù)用，其中所述通信部件發(fā)送被所述復(fù)用部件與所述第二控制數(shù)據(jù)復(fù)用的疊加后的圖像數(shù)據(jù)。
3. 根據(jù)權(quán)利要求2所述的發(fā)送設(shè)備，其中，所述通信部件還與已經(jīng)接收到所述疊加后 的圖像數(shù)據(jù)的另一設(shè)備所顯示的用戶界面圖像相關(guān)聯(lián)地接收從外部設(shè)備發(fā)送的操作信號。
4. 一種接收設(shè)備，包括通信部件，所述通信部件接收疊加后的圖像數(shù)據(jù)，所述數(shù)據(jù)疊加后的圖像數(shù)據(jù)是通過 將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上而生 成的并且是以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位被編碼的；以及圖像解碼部件，所述圖像解碼部件以所述編碼單位對由所述通信部件接收到的所述疊 加后的圖像數(shù)據(jù)進行解碼。
5. 根據(jù)權(quán)利要求4所述的接收設(shè)備，還包括分離部件，所述分離部件在所述疊加后的 圖像數(shù)據(jù)被所述圖像解碼部件解碼前從所述疊加后的圖像數(shù)據(jù)分離出用來控制通信的第 二控制數(shù)據(jù)。
6. 根據(jù)權(quán)利要求4所述的接收設(shè)備，其中，所述通信部件將所接收到的疊加后的圖像 數(shù)據(jù)中所包含的誤差率與某一閾值相比較，并且如果誤差率不大于所述閾值，則使得所述 圖像解碼部件對所述疊加后的圖像數(shù)據(jù)進行解碼。
7. 根據(jù)權(quán)利要求6所述的接收設(shè)備，其中，如果所接收到的疊加后的圖像數(shù)據(jù)中所包 含的誤差率大于所述某一閾值，則所述通信部件向所述疊加后的圖像數(shù)據(jù)的發(fā)送源設(shè)備發(fā) 送對誤差通知的響應(yīng)信號。
8. 根據(jù)權(quán)利要求4所述的接收設(shè)備，其中，所述疊加后的圖像數(shù)據(jù)是包含兩種或更多種圖像數(shù)據(jù)的被分級編碼出的圖像數(shù) 據(jù)，所述兩種或更多種圖像數(shù)據(jù)包括具有低圖像質(zhì)量的低頻圖像數(shù)據(jù)和具有高圖像質(zhì)量的 高頻圖像數(shù)據(jù)，并且如果某一頻率的低頻圖像數(shù)據(jù)被所述通信部件接收到作為所述疊加后的圖像數(shù)據(jù)，則 所述圖像解碼部件對所接收到的疊加后的圖像數(shù)據(jù)進行解碼，而不論更高頻率的圖像數(shù)據(jù) 是否被接收到。
9. 一種發(fā)送設(shè)備，包括圖像疊加部件，所述圖像疊加部件通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生 成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)；圖像壓縮部件，所述圖像壓縮部件對由所述圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進 行編碼；復(fù)用部件，所述復(fù)用部件將用來控制通信的第二控制數(shù)據(jù)與由所述圖像壓縮部件編碼 出的疊加后的圖像數(shù)據(jù)進行復(fù)用；以及通信部件，所述通信部件發(fā)送被所述復(fù)用部件與所述第二控制數(shù)據(jù)復(fù)用的疊加后的圖 像數(shù)據(jù)。
10. —種接收設(shè)備，包括通信部件，所述通信部件接收疊加后的圖像數(shù)據(jù)，所述疊加后的圖像數(shù)據(jù)是通過將基 于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上而生成的 并且是與用來控制通信的第二控制數(shù)據(jù)復(fù)用的；分離部件，所述分離部件從由所述通信部件接收到的疊加后的圖像數(shù)據(jù)中分離出所述 第二控制數(shù)據(jù)；以及圖像解碼部件，所述圖像解碼部件對被所述分離部件從中分離出所述第二控制數(shù)據(jù)的 所述疊加后的圖像數(shù)據(jù)進行解碼。
11. 一種通信系統(tǒng)，包括 發(fā)送設(shè)備，包括圖像疊加部件，所述圖像疊加部件通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生 成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)；圖像壓縮部件，所述圖像壓縮部件以與一個場中的N行(N大于等于1)相對應(yīng)的編碼 單位對由所述圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼；以及發(fā)送側(cè)通信部件，所述發(fā)送側(cè)通信部件發(fā)送由所述圖像壓縮部件編碼出的疊加后的圖 像數(shù)據(jù)；以及接收設(shè)備，包括接收側(cè)通信部件，所述接收側(cè)通信部件接收由所述發(fā)送設(shè)備發(fā)送的疊加后的圖像數(shù) 據(jù)；以及圖像解碼部件，所述圖像解碼部件以所述編碼單位對由所述接收側(cè)通信部件接收到的 疊加后的圖像數(shù)據(jù)進行解碼。
12. —種通信方法，包括以下步驟在發(fā)送設(shè)備中通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像 疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)；以與一個場中的N行(N大于等于l)相對應(yīng)的編碼單位對所生成的疊加后的圖像數(shù)據(jù) 進行編碼；從所述發(fā)送設(shè)備向接收設(shè)備發(fā)送所編碼出的疊加后的圖像數(shù)據(jù)； 在所述接收設(shè)備中接收由所述發(fā)送設(shè)備發(fā)送的疊加后的圖像數(shù)據(jù)；以及 以所述編碼單位對所接收到的疊加后的圖像數(shù)據(jù)進行解碼。
13. —種計算機程序產(chǎn)品，具有指令，所述指令使得控制發(fā)送設(shè)備的計算機用作 圖像疊加部件，所述圖像疊加部件通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)；圖像壓縮部件，所述圖像壓縮部件以與一個場中的N行(N大于等于l)相對應(yīng)的編碼 單位對由所述圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼；以及通信部件，所述通信部件發(fā)送由所述圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)。
14. 一種計算機程序產(chǎn)品，具有指令，所述指令使得控制接收設(shè)備的計算機用作 通信部件，所述通信部件接收疊加后的圖像數(shù)據(jù)，所述疊加后的圖像數(shù)據(jù)是通過將基 于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上而生成的 并且是以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位被編碼的；以及圖像解碼部件，所述圖像解碼部件以所述編碼單位對由所述通信部件接收到的所述疊 加后的圖像數(shù)據(jù)進行解碼。
全文摘要
本發(fā)明提供了一種發(fā)送設(shè)備、接收設(shè)備、通信系統(tǒng)、通信方法和程序。該發(fā)送設(shè)備包括通過將基于用來控制用戶界面的第一控制數(shù)據(jù)而生成的用戶界面圖像疊加到內(nèi)容圖像上來生成疊加后的圖像數(shù)據(jù)的圖像疊加部件；以與一個場中的N行(N大于等于1)相對應(yīng)的編碼單位對由所述圖像疊加部件生成的疊加后的圖像數(shù)據(jù)進行編碼的圖像壓縮部件；以及發(fā)送由所述圖像壓縮部件編碼出的疊加后的圖像數(shù)據(jù)的通信部件。
文檔編號H04N5/445GK101753868SQ200910259118
公開日2010年6月23日 申請日期2009年12月11日 優(yōu)先權(quán)日2008年12月11日
發(fā)明者石見英輝 申請人:索尼株式會社