專利名稱：發(fā)送裝置、發(fā)送方法和接收裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信系統(tǒng)中使用的發(fā)送裝置、發(fā)送方法和接收裝置，其中 發(fā)送裝置和接收終端設(shè)備通過例如IP通信網(wǎng)絡(luò)連接到該通信系統(tǒng)。
背景技術(shù)：
近年來，除常見的下載傳送系統(tǒng)之外，作為因特網(wǎng)數(shù)據(jù)傳送系統(tǒng)的流
式傳送(stream transfer)服務(wù)也越來越多地被使用。在下載傳送系統(tǒng)中， 作為數(shù)據(jù)文件的視頻文件和音頻文件從遞送服務(wù)器被臨時下載到接收終端 設(shè)備，隨后這些文件被再現(xiàn)。因此，在該系統(tǒng)中，在完全傳送完文件之前 難以再現(xiàn)它們。結(jié)果，這種系統(tǒng)不適于長時間再現(xiàn)、實時再現(xiàn)等等。在流 式傳送系統(tǒng)中，在正從發(fā)送方向接收終端設(shè)備傳送數(shù)據(jù)的同時，由于可以 再現(xiàn)所接收的數(shù)據(jù)，所以流式傳送系統(tǒng)已被用于諸如因特網(wǎng)電話、遠程 TV會議、視頻點播服務(wù)等等之類的因特網(wǎng)服務(wù)。
作為這種流式傳送型因特網(wǎng)技術(shù)，已知有在因特網(wǎng)工程任務(wù)組請求注 釋(IETF RFC) 1889中創(chuàng)建的實時傳輸協(xié)議(RTP)。在根據(jù)RTP傳送 數(shù)據(jù)時，時間信息作為時間戳被添加到數(shù)據(jù)。時間戳允許獲得發(fā)送方和接 收方之間的時間關(guān)系。結(jié)果，可以在不受分組的延遲變動(抖動)影響的 情況下同步再現(xiàn)分組。
然而，RTP不確保實時數(shù)據(jù)傳送。由于RTP所提供的傳輸服務(wù)不包括 分組遞送的優(yōu)先級、指派、管理等等，所以與其他類型的分組類似，RTP 分組也具有發(fā)生遞送延遲和分組丟失的風險。具體而言，當錯誤發(fā)生在有 線區(qū)域中超過每105—次和在無線區(qū)域中超過每103—次時，如果根據(jù) RTP傳送分組，則由于它們的可靠性下降，難以維持遞送媒體的質(zhì)量。
因此，可以使用這樣一種技術(shù)，該技術(shù)利用RTP分組的順序號檢測丟 失的分組、利用自動重復請求(ARQ)向發(fā)送方發(fā)送重傳請求、從而使發(fā)送方重傳所丟失的分組。另外，還知道另一種技術(shù)，該技術(shù)根據(jù)可靠性較 高的傳輸控制協(xié)議(TCP)發(fā)布重傳請求從而使發(fā)送方重傳所丟失的分 組。然而，盡管TCP具有差錯抵抗力，但是它的吞吐量較小并且延遲較 大。因此，即使重傳了丟失的分組，也可能不能及時再現(xiàn)它們。
另外，還知道一種糾錯技術(shù)，即前向糾錯(FEC)。在該技術(shù)中，冗 余地發(fā)送FEC數(shù)據(jù)以用于糾錯。如果發(fā)生了差錯，就利用FEC數(shù)據(jù)對其 進行糾正。與前述ARQ技術(shù)相比，由于不重傳數(shù)據(jù)所以FEC技術(shù)可以縮 短延遲時間。然而，由于添加了冗余數(shù)據(jù)，所以如果傳輸路徑丟失分組較 少，則吞吐量將減小。另外，由于FEC技術(shù)使接收終端設(shè)備方執(zhí)行復雜的 差錯檢測和編碼處理，所以媒體質(zhì)量依賴于接收終端設(shè)備方的處理性能。 因此，由于難以根據(jù)網(wǎng)絡(luò)狀況和接收終端設(shè)備簡單地決定最優(yōu)添加FEC數(shù) 據(jù)，所以FEC技術(shù)存在處理時間開銷的問題。
前述技術(shù)是分組丟失對策和差錯對策的示例。此外，還知道防止導致 分組丟失的網(wǎng)絡(luò)擁塞的技術(shù)。另外，作為用于無差錯對策地傳送分組的技 術(shù)，還知道用于控制傳送速率的技術(shù)和用于控制運動圖像的幀速率的技 術(shù)。換言之，當發(fā)送終端設(shè)備方傳送一運動圖像時，如果網(wǎng)絡(luò)狀況惡化， 則該發(fā)送終端設(shè)備方以比常規(guī)傳送速率低的速率發(fā)送運動圖像，以降低分 組丟失和分組延遲發(fā)生的機會。在流式傳輸系統(tǒng)中，單獨或者組合使用這 些差錯對策和速率控制。
例如，日本專利申請早期公開No. 2005-136548 (專利文獻l)公開了 一種技術(shù)，用于獲得通信網(wǎng)絡(luò)的發(fā)送狀態(tài)，基于該發(fā)送狀態(tài)使發(fā)送分組的 發(fā)送速率增大、減小或者維持發(fā)送速率，在發(fā)出了重傳請求時使重傳分組 被重傳。

發(fā)明內(nèi)容
可以僅對發(fā)送方(服務(wù)器)進行控制來有利地執(zhí)行專利文獻1中所述 的速率控制。然而，當發(fā)送諸如運動圖像之類的多媒體數(shù)據(jù)的發(fā)送速率降 低了時，再現(xiàn)質(zhì)量將惡化。盡管有許多算法用于提高運動圖像的質(zhì)量，但 是只有數(shù)種技術(shù)用于提高分辨率和圖像質(zhì)量。另外，這些技術(shù)是要用于諸如盤介質(zhì)之類的存儲類型介質(zhì)，而不根據(jù)網(wǎng)絡(luò)的環(huán)境和接收終端設(shè)備的計 算性能動態(tài)改變分辨率和圖像質(zhì)量。
考慮到此，希望提供一種發(fā)送裝置、發(fā)送方法和接收裝置，根據(jù)網(wǎng)絡(luò)
狀況好還是壞以及施加到接收終端設(shè)備中執(zhí)行升級(upscaling)的處理裝
置上的負載的水平對要發(fā)送的圖像數(shù)據(jù)的分辨率進行控制。
根據(jù)本發(fā)明的一個實施例，提供了一種發(fā)送裝置，其包括緩沖存儲 器、發(fā)送部件、通信部件和控制部件。該緩沖存儲器存儲作為要發(fā)送的圖 像數(shù)據(jù)的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)。該第二圖像數(shù)據(jù)的分辨率比第一 圖像數(shù)據(jù)的分辨率高。發(fā)送部件將第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)作為流式 數(shù)據(jù)發(fā)送。通信部件從接收終端設(shè)備接收一控制消息，該控制消息表示網(wǎng) 絡(luò)狀況和施加到接收終端設(shè)備中的用于執(zhí)行升級的處理裝置上的負載的水 平?？刂撇考诳刂葡⒈砻骶W(wǎng)絡(luò)狀況壞時發(fā)送第一圖像數(shù)據(jù)，在控制消 息表明網(wǎng)絡(luò)狀況好時發(fā)送第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)，而在控制消息表 明網(wǎng)絡(luò)狀況好并且施加到處理裝置上的負載的水平較高時控制接收終端設(shè) 備不執(zhí)行升級。
控制部件優(yōu)選在控制消息表明所述網(wǎng)絡(luò)狀況好并且施加到處理裝置上 的負載水平較低時，控制接收終端設(shè)備來執(zhí)行用于不改變所接收到的圖像 數(shù)據(jù)的分辨率的處理或者用于執(zhí)行升級的處理。
對控制消息的答復優(yōu)選地包含指定由接收終端設(shè)備執(zhí)行的處理的信息。
優(yōu)選提供了多種升級算法，并且取決于升級算法中被使用的升級算 法，施加到處理裝置上的負載的水平被改變。
根據(jù)本發(fā)明的一個實施例，提供了一種發(fā)送方法。作為要發(fā)送的圖像 數(shù)據(jù)的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)被存儲。該第二圖像數(shù)據(jù)的分辨率比 第一圖像數(shù)據(jù)的分辨率高。第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)作為流式數(shù)據(jù)被 發(fā)送。從接收終端設(shè)備接收一控制消息，該控制消息表示網(wǎng)絡(luò)狀況和施加 到該接收終端設(shè)備中的用于執(zhí)行升級的處理裝置上的負載的水平。在控制 消息表明網(wǎng)絡(luò)狀況壞時發(fā)送第一圖像數(shù)據(jù)。在控制消息表明網(wǎng)絡(luò)狀況好時 發(fā)送第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)。而在控制消息表明網(wǎng)絡(luò)狀況好并且施
6加到處理裝置上的負載水平較高時控制接收終端設(shè)備不執(zhí)行升級。
根據(jù)本發(fā)明的一個實施例，提供了一種接收裝置，其包括緩沖存儲 器、監(jiān)視器和控制部件。緩沖存儲器接收作為流式數(shù)據(jù)的第一圖像數(shù)據(jù)或 第二圖像數(shù)據(jù)，該第二圖像數(shù)據(jù)的分辨率比第一圖像數(shù)據(jù)的分辨率高。監(jiān) 視器監(jiān)視施加到用于執(zhí)行從第一圖像數(shù)據(jù)到第二圖像數(shù)據(jù)的升級的處理裝 置上的負載的水平?？刂撇考诘谝粓D像數(shù)據(jù)被接收到并且施加到處理裝 置上的負載的水平較高時使得不執(zhí)行升級。
根據(jù)本發(fā)明的一個實施例，通過根據(jù)網(wǎng)絡(luò)狀況降低要發(fā)送的圖像的分 辨率從而降低實時遞送或者流式遞送中的比特率可以解決前述現(xiàn)有技術(shù)的 問題，從而可以平滑地傳送數(shù)據(jù)。另外，通過升級接收到的運動圖像，可 以以較高的質(zhì)量再現(xiàn)該圖像。
根據(jù)本發(fā)明的一個實施例，通過根據(jù)施加到再現(xiàn)裝置中執(zhí)行升級的處 理裝置上的負載水平來估計能夠再現(xiàn)的運動圖像的分辨率，可以穩(wěn)定地再 現(xiàn)并且以再現(xiàn)裝置的最高質(zhì)量服務(wù)運動圖像。
根據(jù)本發(fā)明的一個實施例，接收方測量網(wǎng)絡(luò)狀況、基于測量出的網(wǎng)絡(luò) 狀況估計可用分辨率、并通知發(fā)送終端設(shè)備，使得靈活應(yīng)對不保證服務(wù)質(zhì)
量(QoS)的網(wǎng)絡(luò)。
結(jié)合下面對如附圖所示的本發(fā)明的最佳實施例的詳細說明，本發(fā)明的 這些和其他目的、特征和優(yōu)點將變清楚。


圖1是示出了根據(jù)本發(fā)明實施例的通信系統(tǒng)的框圖； 圖2是示出了根據(jù)本發(fā)明實施例的通信系統(tǒng)的功能框圖； 圖3是示出了根據(jù)本發(fā)明實施例的發(fā)送裝置的操作的流程的流程圖； 圖4是示出了根據(jù)本發(fā)明實施例的接收終端設(shè)備的操作的流程的流程 圖；以及
圖5A-5C是示出了根據(jù)本發(fā)明實施例的發(fā)送裝置的控制的示例的示意圖。
具體實施例方式
下面，將參考附圖描述本發(fā)明的優(yōu)選實施例。盡管下面將描述的這些 實施例是本發(fā)明的優(yōu)選實施例，并且對它們施加了各種在技術(shù)上優(yōu)選的限 制，但是應(yīng)當理解除非說明了這些實施例對本發(fā)明施加了限制之外本發(fā)明 的范圍不受限于這些實施例。
根據(jù)本發(fā)明一個實施例，使用了一種流式傳送系統(tǒng)。在該系統(tǒng)中，接 收裝置從發(fā)送裝置接收數(shù)據(jù)，并且再現(xiàn)基于所接收的數(shù)據(jù)的圖像和聲音。 在該流式傳送系統(tǒng)中，從發(fā)送裝置發(fā)送的數(shù)據(jù)一般稱作流式數(shù)據(jù)
(streaming data)。更具體而言，通過對圖像數(shù)據(jù)應(yīng)用運動圖像專家組 (MPEG)編碼處理而生成的MPEG流被置于因特網(wǎng)協(xié)議(IP)分組中。 這些IP分組通過因特網(wǎng)被傳送。
本發(fā)明一個實施例具有圖1所示的系統(tǒng)結(jié)構(gòu)。換言之，多個接收終端 設(shè)備200通過通信網(wǎng)絡(luò)(例如IP網(wǎng)絡(luò)300)被連接到發(fā)送裝置100。 IP網(wǎng) 絡(luò)300是利用IP的網(wǎng)絡(luò)(因特網(wǎng)、有線局域網(wǎng)(LAN)、無線LAN 等)。發(fā)送裝置100用作服務(wù)器，而接收終端設(shè)備200用作客戶端。接收 終端設(shè)備200包括個人計算機、個人數(shù)字助理(PDA)、移動電話等等。 這種通信系統(tǒng)在發(fā)送裝置100和接收終端設(shè)備200之間傳輸作為分組的數(shù) 據(jù)。接收終端設(shè)備200陸續(xù)再現(xiàn)所接收到的分組(流式再現(xiàn))。
發(fā)送裝置IOO通過接口 103把由攝錄機(recorder-integrated video camera) 101和麥克風102所獲得的視頻數(shù)據(jù)和音頻數(shù)據(jù)(在下文中這些 類型的內(nèi)容數(shù)據(jù)總稱為媒體數(shù)據(jù)，然而，經(jīng)壓縮編碼的視頻數(shù)據(jù)和音頻數(shù) 據(jù)也稱作媒體數(shù)據(jù)，除非有必要區(qū)分它們)輸入到總線104。媒體數(shù)據(jù)作 為流式數(shù)據(jù)通過IP網(wǎng)絡(luò)300被發(fā)送到接收終端設(shè)備200。該流式數(shù)據(jù)是隨 時間流逝被流式再現(xiàn)并陸續(xù)發(fā)送或接收的數(shù)據(jù)。
連接到總線104的有中央處理單元(CPU) 105、只讀存儲器 (ROM) 106、隨機存取存儲器(RAM) 107和外部存儲裝置108。 CPU 105根據(jù)存儲在ROM 106或者外部存儲裝置108中的程序執(zhí)行各種類型的 處理。RAM 107存儲程序和數(shù)據(jù)，使得CPU 105利用所述數(shù)據(jù)來執(zhí)行程 序。連接到發(fā)送裝置100中的總線104的還有輸入裝置109 (包括鍵盤、 鼠標、開關(guān)等等)、作為監(jiān)視器的顯示裝置110、以及通信接口 111。 CPU 105根據(jù)從輸入裝置109輸入的命令來執(zhí)行各種類型的處理。外部存 儲裝置108包括例如硬盤驅(qū)動器，并且記錄程序和各種類型的數(shù)據(jù)，使得 CPU 105利用所述數(shù)據(jù)來執(zhí)行程序。例如，要發(fā)送的媒體數(shù)據(jù)預(yù)先被存儲 在外部存儲裝置108中。通信接口 111通過IP網(wǎng)絡(luò)300與接收終端設(shè)備 200通信。
與連接到發(fā)送裝置100的那些類似，通過總線204連接到接收終端設(shè) 備200的有CPU 205、 ROM 206、 RAM 207、外部存儲裝置208、輸入裝 置209、作為監(jiān)視器的顯示裝置210、以及通信接口 211。接收終端設(shè)備 200通過通信接口 211和IP網(wǎng)絡(luò)300與發(fā)送裝置IOO通信。另外，接收終 端設(shè)備200包括再現(xiàn)諸如音頻數(shù)據(jù)之類的媒體數(shù)據(jù)的音頻再現(xiàn)裝置212和 再現(xiàn)視頻數(shù)據(jù)的顯示裝置213。
在圖l所示的系統(tǒng)中，發(fā)送裝置IOO通過接口 103將由攝錄機101和 麥克風102所獲得的媒體數(shù)據(jù)存儲到RAM 107中。媒體數(shù)據(jù)可以預(yù)先被 存儲到RAM 107中。利用CPU 105的處理該媒體數(shù)據(jù)被轉(zhuǎn)換成流式數(shù) 據(jù)，流式數(shù)據(jù)通過通信接口 111被傳送到IP網(wǎng)絡(luò)300。在該情形中，如后 面將描述，根據(jù)網(wǎng)絡(luò)環(huán)境好壞以及施加到接收終端設(shè)備200的處理負載水 平，對發(fā)送的媒體數(shù)據(jù)(圖像數(shù)據(jù))的分辨率進行控制。例如，高分辨率 (清晰度)(下文簡稱為HD)圖像數(shù)據(jù)或者標準分辨率(清晰度)(下 文簡稱為SD)的圖像數(shù)據(jù)被發(fā)送。
SD圖像是由例如460X480個像素(水平像素數(shù)X垂直像素數(shù))構(gòu)成 的圖像(視頻圖形陣列(VGA))。另一方面，HD圖像是由例如1080i、 720p、 1080p等構(gòu)成的圖像。HD圖像由(掃描線數(shù)、逐行(p)或隔行 (i))表示。例如，1080p表示掃描系統(tǒng)是逐行的，并且水平掃描線數(shù)乘 以垂直掃描線數(shù)是1920X1080。除了前述HD圖像的格式之外，還有包括 擴展圖形陣列(XGA)格式(1024X768像素)在內(nèi)的其他格式。根據(jù)本 發(fā)明實施例，可以使用前述格式的HD圖像中的任意一種。
接收終端設(shè)備200通過通信接口 211接收從發(fā)送裝置100發(fā)送來的流式數(shù)據(jù)，并且將接收到的流式數(shù)據(jù)存儲到作為緩沖存儲器的RAM 207 中。CPU 205執(zhí)行再現(xiàn)處理。顯示裝置213顯示圖像，并且音頻再現(xiàn)裝置 212再現(xiàn)聲音。
當接收終端設(shè)備200已接收到的接收媒體數(shù)據(jù)是SD圖像數(shù)據(jù)時，不 僅可以再現(xiàn)該SD圖像數(shù)據(jù)，而且將該SD圖像數(shù)據(jù)升級為HD圖像數(shù)據(jù)。 如上所述，存在多種HD圖像格式。接收終端設(shè)備200可以將SD圖像升 級成根據(jù)多種HD圖像格式中的一種的HD圖像，或者將SD圖像升級成 根據(jù)寬高比例如為4:3的另一種HD圖像格式的HD圖像?？梢岳糜啥?個CPU完成并且在"PLAYSTATION 3"(索尼公司的注冊商標)中實現(xiàn) 的圖像處理方法來將SD圖像升級成HD圖像。
圖2是示出了根據(jù)本發(fā)明實施例的系統(tǒng)結(jié)構(gòu)的功能框圖。在發(fā)送裝置 100中，編碼器11對由攝錄機101和麥克風102獲得的媒體數(shù)據(jù)進行壓縮 編碼，編碼器11是利用圖1中示出的CPU 105、 ROM 106和RAM 107的 軟件處理實現(xiàn)的。視頻數(shù)據(jù)根據(jù)運動圖像專家組第2階段(MPEG2)、高 級視頻編碼(AVC) (H.246) 、 MPEG4等被壓縮，而音頻數(shù)據(jù)根據(jù)高級 音頻編碼(AAA) 、 MPEG音頻等被壓縮。
攝錄機101和麥克風102將實時獲得的媒體數(shù)據(jù)提供給發(fā)送裝置100 的編碼器11。從編碼器11輸出的經(jīng)編碼數(shù)據(jù)被存儲到緩沖存儲器12 (對 應(yīng)于圖1中所示的RAM 107)。替代實時數(shù)據(jù)，可以發(fā)送存儲部件(例如 與圖1中所示的外部存儲裝置108相對應(yīng)的硬盤驅(qū)動器、盤記錄和再現(xiàn)部 件等)中存儲的經(jīng)壓縮的媒體數(shù)據(jù)。存儲部件13中存儲的再現(xiàn)數(shù)據(jù)被提 供給緩沖存儲器12。
緩沖存儲器12中存儲的媒體數(shù)據(jù)被提供給發(fā)送部件14 (對應(yīng)于圖1 中所示的通信接口 111)。發(fā)送部件14生成作為一系列分組的流式數(shù)據(jù)。 這些流式數(shù)據(jù)被從發(fā)送部件14發(fā)送到IP網(wǎng)絡(luò)300。發(fā)送部件14具有將實 時獲得的媒體數(shù)據(jù)或者存儲在存儲部件13中的媒體數(shù)據(jù)作為流式數(shù)據(jù)發(fā) 送的機構(gòu)。 一般來說，發(fā)送部件14根據(jù)從接收終端發(fā)送來的請求開始發(fā) 送流式數(shù)據(jù)。或者，發(fā)送方可以將流式數(shù)據(jù)發(fā)送給多個接收終端設(shè)備(稱 作多播)。另外，發(fā)送裝置100具有接收部件15 (對應(yīng)于圖1中所示的通信接口
111)。接收部件15通過IP網(wǎng)絡(luò)300從接收終端設(shè)備200接收表示網(wǎng)絡(luò)環(huán) 境好壞的信息和表示施加到構(gòu)成接收終端設(shè)備200的升級處理部件的CPU 上的負載的水平的信息(稱作控制消息)。由接收部件15接收到的控制 消息被提供給控制部件16 (對應(yīng)于圖1中所示的CPU105)?？刂撇考?6 根據(jù)該控制消息對編碼器11和存儲部件13進行控制，從而改變作為所發(fā) 送的流式數(shù)據(jù)的運動圖像的分辨率。
例如，控制部件16控制編碼器11的壓縮比率。SD圖像和HD圖像之 一被從編碼器11輸出。當HD圖像存儲在存儲部件13中并且控制部件16 使存儲部件13輸出SD圖像時，存儲部件13輸出由HD圖像降級成的SD 圖像?；蛘撸鎯Σ考?3可以預(yù)先存儲SD圖像質(zhì)量內(nèi)容。
接收終端設(shè)備200的接收部件21 (對應(yīng)于圖1所示的通信接口 211) 通過IP網(wǎng)絡(luò)300從發(fā)送裝置100接收流式數(shù)據(jù)。接收部件21將該流式數(shù) 據(jù)轉(zhuǎn)換成媒體數(shù)據(jù)。該媒體數(shù)據(jù)被提供給分組分析部件22 (對應(yīng)于圖l所 示的CPU 205和RAM 207)。分組分析部件22對分組丟失的程度等進行 分析。所接收到的媒體數(shù)據(jù)被存儲到緩沖存儲器23 (對應(yīng)于圖1所示的 RAM 207)中。
媒體數(shù)據(jù)被從緩沖存儲器23提供給解碼器24。解碼器24對該媒體數(shù) 據(jù)解壓縮。解碼器24是利用圖1中所示的CPU 205、 ROM 206和 RAM207執(zhí)行的軟件處理實現(xiàn)的。從解碼器提供來的媒體數(shù)據(jù)被連接到接 收終端設(shè)備200的顯示裝置213和音頻再現(xiàn)裝置212再現(xiàn)。與解碼器24連 接設(shè)置有升級引擎27。升級引擎27利用CPU、 ROM和RAM的軟件處理 對圖像進行升級。
升級引擎27執(zhí)行將低分辨率圖像(例如SD圖像)轉(zhuǎn)換成高分辨率圖 像(例如HD圖像)的軟件處理。升級引擎27根據(jù)施加到接收終端設(shè)備 200的CPU的負載水平、用戶的指定等等來執(zhí)行升級處理。設(shè)置了對施加 到構(gòu)成升級引擎27的CPU上的負載水平進行監(jiān)視的CPU監(jiān)視器28。 CPU監(jiān)視器28對施加到構(gòu)成升級引擎27的CPU上的負載水平進行監(jiān) 視，并且將代表該負載水平的信息提供給控制部件25。 CPU監(jiān)視器28測
ii量CPU的計算負載量，艮卩，CPU的計算負載比率。例如，如果存在多種 升級技術(shù)，則施加到CPU上的負載的水平取決于所使用的升級技術(shù)。如果
升級引擎27由多個CPU構(gòu)成，則可以檢測CPU的數(shù)目來作為施加到其上 的負載的水平。
另外，與接收終端設(shè)備200的接收部件21相連接地設(shè)置有網(wǎng)絡(luò)監(jiān)視 器26。網(wǎng)絡(luò)監(jiān)視器26監(jiān)視負載丟失、抖動等等，來判斷網(wǎng)絡(luò)環(huán)境是好還 是壞。網(wǎng)絡(luò)監(jiān)視器26根據(jù)所接收數(shù)據(jù)的分組丟失和延遲狀態(tài)來了解網(wǎng)絡(luò) 環(huán)境，并將代表網(wǎng)絡(luò)環(huán)境的信息提供給控制部件25?？刂撇考?5通過發(fā) 送部件29將一請求作為控制消息發(fā)送給發(fā)送裝置100，來使發(fā)送裝置100 根據(jù)網(wǎng)絡(luò)環(huán)境改變比特率。如果網(wǎng)絡(luò)環(huán)境壞，則執(zhí)行降低比特率的處理 (例如，發(fā)送SD圖像)。如果網(wǎng)絡(luò)環(huán)境好，則執(zhí)行增大比特率的處理 (例如，發(fā)送HD圖像)。
控制部件25從網(wǎng)絡(luò)監(jiān)視器26接收表示網(wǎng)絡(luò)環(huán)境好壞的信息并從升級 引擎27接收代表施加到CPU上的負載水平的信息，并根據(jù)這些信息來生 成控制消息。所生成的控制消息通過IP網(wǎng)絡(luò)300被從發(fā)送部件29發(fā)送到 發(fā)送裝置100的接收部件15。
控制部件25將控制消息發(fā)送到發(fā)送裝置100，請求它發(fā)送接收終端設(shè) 備200認為它可以正常接收的低分辨率數(shù)據(jù)。結(jié)果，可以降低發(fā)送數(shù)據(jù)的 量，從而可以在沒有丟失的情況下將數(shù)據(jù)遞送到接收終端。如果施加到接 收終端設(shè)備方的計算負載的水平較低，則可以升級低分辨率的SD圖像來 生成高分辨率的HD圖像。相反，如果計算負載的水平較高，則判斷出難 以升級低分辨率的SD圖像，從而在不升級的情況下再現(xiàn)該低分辨率SD 圖像?；蛘撸鶕?jù)計算量相對較小的算法來升級低分辨率SD圖像。執(zhí)行 升級的定時可由接收終端設(shè)備自由指定。例如，在接收終端設(shè)備200接收 到對控制消息的答復ACK時可以執(zhí)行升級。
接收終端設(shè)備200發(fā)送給發(fā)送裝置100的控制消息包含例如以下信息。
1)關(guān)于網(wǎng)絡(luò)狀況 -分組丟失率-抖動
-鏈路速度
2) CPU計算負載
-CPU負載比率(％)
-關(guān)于是否可以執(zhí)行升級的判斷
在發(fā)送或接收數(shù)據(jù)的同時，控制消息被周期性地發(fā)送。例如，按照例
如10秒的間隔發(fā)送監(jiān)視結(jié)果?；蛘撸梢詢H在最初發(fā)送數(shù)據(jù)時才發(fā)送控 制消息。當發(fā)送裝置100已正確地接收了控制消息時，發(fā)送裝置100向接 收終端設(shè)備200發(fā)送接收響應(yīng)(ACK)。
圖3示出了發(fā)送裝置100的操作的流程。在步驟Sl，完成發(fā)送啟動準 備。在步驟S2，獲得要發(fā)送的媒體數(shù)據(jù)。該數(shù)據(jù)是從攝錄機101實時獲得 的或者從存儲部件13獲得的。
在步驟S3，判斷是否使編碼器11編碼數(shù)據(jù)。這種編碼意指將HD分 辨率轉(zhuǎn)換成SD分辨率的處理。后面將討論，發(fā)送裝置100根據(jù)控制消息 的旨意來指定要發(fā)送的媒體數(shù)據(jù)的分辨率。當判斷結(jié)果表明沒有必要編碼 時，流程前進到步驟S4。在步驟S4，準備好發(fā)送數(shù)據(jù)。當判斷結(jié)果表明 有必要編碼時，流程前進到步驟S5。在步驟S5，執(zhí)行編碼(將HD分辨 率轉(zhuǎn)換成SD分辨率)。當要發(fā)送的媒體數(shù)據(jù)是從攝錄機101獲得的數(shù)據(jù) 時，判斷結(jié)果表明有必要壓縮編碼。當要發(fā)送的媒體數(shù)據(jù)是存儲部件13 中存儲的數(shù)據(jù)時，判斷結(jié)果表明沒有必要編碼。
當己準備好發(fā)送數(shù)據(jù)時(在步驟S4)，媒體數(shù)據(jù)被存儲到緩沖存儲器 12中并且被置于分組中。在步驟S6，發(fā)送由分組構(gòu)成的流式數(shù)據(jù)。
在步驟S7，判斷是否接收到了控制消息。在尚未接收到控制消息時， 流程返回到步驟S2 (獲得數(shù)據(jù))。當接收到了控制消息時，流程前進到步 驟S8。在步驟S8，將所接收到的控制消息提供給控制部件16，隨后發(fā)送 回一答復ACK。此后，流程返回到步驟S2 (獲得數(shù)據(jù))?？刂葡?表示施加到構(gòu)成接收終端設(shè)備200的升級引擎的CPU上的負載水平是高還 是低的信息和表示網(wǎng)絡(luò)環(huán)境好壞的信息。
圖4示出了接收終端設(shè)備200的操作的流程。在步驟Sll，從發(fā)送裝置100接收到發(fā)送啟動通知。在步驟S12，接收到分組。
在步驟S13,判斷是否有必要解壓縮解碼。在判斷結(jié)果表明沒有必要 解碼時，流程前進到步驟S14。在步驟S14,判斷是否有必要升級。當在 步驟S13中的判斷結(jié)果表明有必要解碼時，流程前進到步驟S15。在步驟 S15，執(zhí)行解碼處理。
當在步驟S14中的判斷結(jié)果表明沒有必要升級時，流程前進到步驟 S16。在步驟S16，再現(xiàn)已接收到的媒體數(shù)據(jù)。當在步驟S14中的判斷結(jié)果 表明有必要升級時，流程前進到步驟S17。在步驟S17，執(zhí)行升級。換言 之，SD圖像被轉(zhuǎn)換成HD圖像。在步驟S16，再現(xiàn)已被升級的HD圖像。
是否執(zhí)行升級是基于從發(fā)送裝置100接收到的命令或者施加到接收終 端設(shè)備200的CPU的負載的水平來判斷的。例如，當施加到CPU的負載 水平較高時，即使有必要升級，也不執(zhí)行升級。在該情形中，確定沒有必 要升級。另外，在用戶未指定升級時，判斷沒有必要執(zhí)行升級。
當在步驟S21中接收終端設(shè)備200已接收到分組時，在步驟S22中網(wǎng) 絡(luò)監(jiān)視器26獲得表示網(wǎng)絡(luò)狀況環(huán)境的信息，并且在步驟S25中CPU監(jiān)視 器28獲得表示施加到升級引擎27的CPU上的負載水平的信息。在步驟 S23，創(chuàng)建一控制消息，該控制消息包含表示網(wǎng)絡(luò)環(huán)境的狀況的信息和表 示施加到CPU的負載水平的信息。在步驟S24，該控制消息被從發(fā)送部件 29發(fā)送到發(fā)送裝置100。
接下來，將描述本發(fā)明的一個實施例。發(fā)送裝置100的控制部件16 基于從接收終端設(shè)備200發(fā)送來的控制消息改變要發(fā)送的運動圖像的分辨 率。接收終端設(shè)備200獲得所接收的運動圖像的分辨率，并基于由CPU監(jiān) 視器28所檢測出的施加到CPU上的負載水平對該運動圖像進行升級。在 需要時，接收終端設(shè)備200不升級該運動圖像。另外，由于在每種算法中 計算處理的負載水平不同，所以算法也被改變。
圖5A-5C中所示的控制表中列出了這些處理的示例。在該示例中，將 分辨率分類成SD和HD兩種級別?；蛘?，也可以將分辨率分類成更精細 的級別。另外，也可以將網(wǎng)絡(luò)狀況分類成更精細的狀態(tài)。
或者，發(fā)送裝置IOO可以不指定接收終端設(shè)備200執(zhí)行的處理。換言
14之，接收終端設(shè)備方可以根據(jù)網(wǎng)絡(luò)環(huán)境來動態(tài)判斷是否有必要升級，并且 即使發(fā)送方未改變分辨率也對運動圖像進行升級。
在圖5A至5C中示出的示例中，如圖5A所示，處理基于從接收終端 設(shè)備200接收到的控制消息中包含的信息而被執(zhí)行，該信息表示網(wǎng)絡(luò)環(huán)境 的好壞并表示施加到接收終端設(shè)備的CPU的負載水平的高低。圖5A中的 "a"表示發(fā)送數(shù)據(jù)的圖像分辨率為SD，如圖5B所示。圖5B中的"b" 表示發(fā)送數(shù)據(jù)的圖像分辨率為HD，如圖5B所示。圖5A中的"1"表示 接收終端設(shè)備以SD圖像質(zhì)量再現(xiàn)數(shù)據(jù)，如圖5C所示。圖5A中的"2" 表示接收終端設(shè)備將SD圖像質(zhì)量升級成HD圖像質(zhì)量，如圖5C所示。圖 5A中的"3"表示接收終端設(shè)備以HD圖像質(zhì)量再現(xiàn)數(shù)據(jù)，如圖5C所
不o
接下來，將描述圖5A中示出的表格中的各個處理。
如果網(wǎng)絡(luò)環(huán)境壞并且施加到接收終端的負載水平較高，貝ij: a-l (發(fā)送 SD圖像。接收終端設(shè)備以SD圖像質(zhì)量再現(xiàn)該SD圖像。)
如果網(wǎng)絡(luò)環(huán)境壞并且施加到接收終端設(shè)備的負載水平較低，貝ij: a-2 (發(fā)送SD圖像。接收終端設(shè)備將該SD圖像升級成HD圖像)。
如果網(wǎng)絡(luò)環(huán)境好并且施加到接收終端設(shè)備的負載水平較高，貝U:在 SD圖像被發(fā)送時，不執(zhí)行升級。優(yōu)選地，發(fā)送裝置將HD圖像發(fā)送給接收 終端設(shè)備，隨后接收終端設(shè)備以HD圖像質(zhì)量再現(xiàn)該HD圖像。(然而， 如果媒體數(shù)據(jù)是SD圖像或者網(wǎng)絡(luò)環(huán)境不適于發(fā)送HD圖像，則可以將SD 圖像發(fā)送到接收終端設(shè)備，接收終端設(shè)備可以再現(xiàn)該SD圖像。)
如果網(wǎng)絡(luò)環(huán)境好并且施加到接收終端設(shè)備的負載水平較低，貝U:接收 終端設(shè)備可以執(zhí)行三種處理之一。優(yōu)選地，發(fā)送終端設(shè)備發(fā)送HD圖像， 并且接收終端設(shè)備再現(xiàn)該HD圖像。然而，如果網(wǎng)絡(luò)環(huán)境受限制并且媒體 數(shù)據(jù)是SD圖像，則接收終端設(shè)備將該SD圖像升級成HD圖像。另外，在 用戶已指定了 SD圖像質(zhì)量時，發(fā)送裝置發(fā)送SD圖像。
接下來，將描述發(fā)送裝置100和接收終端設(shè)備200的控制處理的示 例。假設(shè)在正發(fā)送和接收HD分辨率數(shù)據(jù)時網(wǎng)絡(luò)環(huán)境變壞。在該情形中， 按照以下順序執(zhí)行控制處理。1) 發(fā)送裝置100將HD分辨率數(shù)據(jù)發(fā)送到接收終端設(shè)備200。
2) 接收終端設(shè)備200解碼該HD分辨率數(shù)據(jù)并再現(xiàn)解碼后的數(shù)據(jù)。
3) 接收終端設(shè)備200檢測到網(wǎng)絡(luò)狀況正變壞并向發(fā)送裝置100發(fā)送 一控制消息。此刻，發(fā)送了表明例如"分組丟失率5%， CPU負載比率30 %"的控制消息。
4) 發(fā)送裝置100接收到該控制消息，并將發(fā)送數(shù)據(jù)的HD分辨率改變 到SD分辨率。
5) 發(fā)送裝置100向接收終端設(shè)備200發(fā)送一答復ACK，該答復ACK 表明發(fā)送裝置100已改變與該控制消息相對應(yīng)的分辨率。
6) 當接收終端設(shè)備200從發(fā)送裝置100接收到與該控制消息相對應(yīng) 的答復ACK時，如果CPU負載比率為30X，則接收終端設(shè)備200判斷出 能執(zhí)行升級，隨后升級SD分辨率數(shù)據(jù)、并再現(xiàn)經(jīng)升級的數(shù)據(jù)。
7) 在執(zhí)行前述處理的同時，如果網(wǎng)絡(luò)狀況轉(zhuǎn)好，則發(fā)送裝置100將 原始HD分辨率的數(shù)據(jù)發(fā)送到接收終端設(shè)備200。
本領(lǐng)域的技術(shù)人員應(yīng)當理解，取決于設(shè)計要求和其他因素，可以進行 各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物 的范圍之內(nèi)。例如，發(fā)送裝置可以將從另一服務(wù)器等接收到的流式數(shù)據(jù)等 等中繼到接收終端設(shè)備?；蛘?，發(fā)送裝置可以將由接收終端設(shè)備接收到的 低分辨率圖像數(shù)據(jù)升級，并將經(jīng)升級的圖像數(shù)據(jù)發(fā)送給另一接收終端設(shè) 備。另外，根據(jù)本發(fā)明的該實施例，可以根據(jù)是否執(zhí)行了升級并通過選擇 算法，來區(qū)分低比特率運動圖像遞送服務(wù)的質(zhì)量。因此，可以創(chuàng)建基于費 用區(qū)分服務(wù)的商業(yè)模型。
本申請包含與2008年5月30日向日本專利局提交的日本在先專利申 請JP 2008-142724相關(guān)的主題，這里通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1.一種發(fā)送裝置，包括緩沖存儲器，該緩沖存儲器存儲作為要發(fā)送的圖像數(shù)據(jù)的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，所述第二圖像數(shù)據(jù)的分辨率比所述第一圖像數(shù)據(jù)的分辨率高；發(fā)送部件，該發(fā)送部件將所述第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)作為流式數(shù)據(jù)發(fā)送；通信部件，該通信部件從接收終端設(shè)備接收一控制消息，該控制消息表示網(wǎng)絡(luò)狀況和施加到所述接收終端設(shè)備中的用于執(zhí)行升級的處理裝置上的負載的水平；以及控制部件，該控制部件在所述控制消息表明所述網(wǎng)絡(luò)狀況壞時發(fā)送所述第一圖像數(shù)據(jù)，在所述控制消息表明所述網(wǎng)絡(luò)狀況好時發(fā)送所述第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)，而在所述控制消息表明所述網(wǎng)絡(luò)狀況好并且施加到所述處理裝置上的負載的水平較高時控制所述接收終端設(shè)備不執(zhí)行所述升級。
2. 如權(quán)利要求1所述的發(fā)送裝置，其中所述控制部件在所述控制消息表明所述網(wǎng)絡(luò)狀況好并且施加到所 述處理裝置上的負載的水平較低時，控制所述接收終端設(shè)備來執(zhí)行不改變 所接收到的圖像數(shù)據(jù)的分辨率的處理或者執(zhí)行用于執(zhí)行所述升級的處理。
3. 如權(quán)利要求1所述的發(fā)送裝置，其中對所述控制消息的答復包含指定由所述接收終端設(shè)備執(zhí)行的處理 的信息。
4. 如權(quán)利要求1所述的發(fā)送裝置，其中提供了多種升級算法，并且取決于所述升級算法中被使用的升級 算法，施加到所述處理裝置上的負載的水平被改變。
5. —種發(fā)送方法，包括以下步驟存儲作為要發(fā)送的圖像數(shù)據(jù)的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)并將所述 第一圖像數(shù)據(jù)或所述第二圖像數(shù)據(jù)作為流式數(shù)據(jù)發(fā)送，其中所述第二圖像數(shù)據(jù)的分辨率比所述第一圖像數(shù)據(jù)的分辨率高；從接收終端設(shè)備接收一控制消息，該控制消息表示網(wǎng)絡(luò)狀況和施加到所述接收終端設(shè)備中的用于執(zhí)行升級的處理裝置上的負載的水平；以及在所述控制消息表明所述網(wǎng)絡(luò)狀況壞時發(fā)送所述第一圖像數(shù)據(jù)，在所 述控制消息表明所述網(wǎng)絡(luò)狀況好時發(fā)送所述第一圖像數(shù)據(jù)或所述第二圖像 數(shù)據(jù)，而在所述控制消息表明所述網(wǎng)絡(luò)狀況好并且施加到所述處理裝置上 的負載的水平較高時控制所述接收終端設(shè)備不執(zhí)行所述升級。
6.—種接收裝置，包括緩沖存儲器，該緩沖存儲器接收作為流式數(shù)據(jù)的第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)，所述第二圖像數(shù)據(jù)的分辨率比所述第一圖像數(shù)據(jù)的分辨率高； 監(jiān)視器，該監(jiān)視器監(jiān)視施加到用于執(zhí)行從所述第一圖像數(shù)據(jù)到所述第二圖像數(shù)據(jù)的升級的處理裝置上的負載的水平；以及控制部件，該控制部件在所述第一圖像數(shù)據(jù)被接收到并且施加到所述處理裝置上的負載的水平較高時使得不執(zhí)行所述升級。
全文摘要
本發(fā)明提供了發(fā)送裝置、發(fā)送方法和接收裝置。緩沖存儲器存儲作為要發(fā)送的圖像數(shù)據(jù)的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，第二圖像數(shù)據(jù)的分辨率比第一圖像數(shù)據(jù)的分辨率高。發(fā)送部件將第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)作為流式數(shù)據(jù)發(fā)送。通信部件從接收終端設(shè)備接收一控制消息，該控制消息表示網(wǎng)絡(luò)狀況和施加到接收終端設(shè)備中執(zhí)行升級的處理裝置上的負載水平?？刂撇考诳刂葡⒈砻骶W(wǎng)絡(luò)狀況壞時發(fā)送第一圖像數(shù)據(jù)，在控制消息表明網(wǎng)絡(luò)狀況好時發(fā)送第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)，而在控制消息表明網(wǎng)絡(luò)狀況好并且施加到處理裝置上的負載水平較高時控制接收終端設(shè)備不執(zhí)行升級。
文檔編號H04L1/00GK101594203SQ20091014132
公開日2009年12月2日 申請日期2009年5月31日 優(yōu)先權(quán)日2008年5月30日
發(fā)明者河野道成 申請人:索尼株式會社