發(fā)送裝置、接收裝置、發(fā)送方法及接收方法
【專利摘要】公開了在通過盡力服務(wù)網(wǎng)絡(luò)進(jìn)行信息傳輸時(shí)有力地保護(hù)重要信息的發(fā)送裝置。該裝置中，質(zhì)量控制信息保持單元（203)保持由用戶設(shè)定的質(zhì)量控制信息。延遲量指示單元（207)基于來自接收裝置（104)的傳輸質(zhì)量信息以及質(zhì)量控制信息保持單元（203)保持的質(zhì)量控制信息，確定各實(shí)時(shí)流的分組的重發(fā)上限次數(shù)。重發(fā)控制單元（208、209)分別基于延遲量指示單元（207)確定的重發(fā)上限次數(shù)在固定期間累積分組，并根據(jù)來自接收裝置（104)的重發(fā)請(qǐng)求生成重發(fā)分組。
【專利說明】發(fā)送裝置、接收裝置、發(fā)送方法及接收方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通過因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)（Best Effort Network)，將影像、語音等 多個(gè)實(shí)時(shí)流復(fù)用發(fā)送的發(fā)送裝置、接收裝置、發(fā)送方法及接收方法。
【背景技術(shù)】
[0002] 近年來，通過因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)，在終端裝置間收發(fā)影像、語音等多個(gè)實(shí)時(shí)流 的電視會(huì)議等系統(tǒng)不斷普及。
[0003] 在盡力服務(wù)網(wǎng)絡(luò)中，可利用頻帶根據(jù)環(huán)境的變化而變動(dòng)，所以必須使各實(shí)時(shí)流的 編碼量動(dòng)態(tài)地變化。專利文獻(xiàn)1中，公開了對(duì)于更復(fù)雜的實(shí)時(shí)流分配很大的編碼量的方式。
[0004] 另外，在盡力服務(wù)網(wǎng)絡(luò)中，在環(huán)境發(fā)生惡化時(shí)發(fā)生分組損失。因此，在盡力服務(wù)網(wǎng) 絡(luò)中，采用借助通過FEC(Forward Error Correction;前向糾錯(cuò)）生成的冗余碼分組或者 借助分組的重發(fā)，恢復(fù)損失的分組的方式。在使用FEC時(shí)，很大的編碼量分配得越多，能夠 生成越多的冗余碼分組，因此能夠提高分組的恢復(fù)強(qiáng)度。
[0005] 現(xiàn)有技術(shù)文獻(xiàn)
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1 :日本特開平11-177945號(hào)公報(bào)
【發(fā)明內(nèi)容】
[0008] 發(fā)明要解決的問題
[0009] 用戶希望的是，越重要的實(shí)時(shí)流，越提高分組的恢復(fù)強(qiáng)度。
[0010] 但是，專利文獻(xiàn)1的技術(shù)中，與用戶的意圖無關(guān)地分配各實(shí)時(shí)流的編碼量，因此有 時(shí)無法充分保護(hù)對(duì)于用戶而言重要的實(shí)時(shí)流。
[0011] 本發(fā)明的目的在于，在通過因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)進(jìn)行信息傳輸時(shí)，有力地保護(hù) 重要信息。
[0012] 解決問題的方案
[0013] 本發(fā)明的一方案的發(fā)送裝置，復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的網(wǎng)絡(luò)發(fā) 送至接收裝置，所述發(fā)送裝置采用的結(jié)構(gòu)包括：質(zhì)量控制信息保持單元，保持用戶設(shè)定的用 于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息；延遲量指示單元，根據(jù)表示所述網(wǎng)絡(luò)的狀況 的傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定重發(fā)上限次數(shù)； 以及重發(fā)控制單元，基于來自所述接收裝置的重發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá) 到所述重發(fā)上限次數(shù)為止。
[0014] 本發(fā)明的一方案的發(fā)送方法用于發(fā)送裝置，該發(fā)送裝置復(fù)用多個(gè)實(shí)時(shí)流并將其通 過發(fā)生分組損失的網(wǎng)絡(luò)發(fā)送至接收裝置復(fù)用發(fā)送多個(gè)實(shí)時(shí)流，所述發(fā)送方法采用包括如下 步驟的方法：保持用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息的步驟；根據(jù) 表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流 設(shè)定重發(fā)上限次數(shù)的步驟；以及基于來自所述接收裝置的發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分 組，直至達(dá)到所述重發(fā)上限次數(shù)為止的步驟。
[0015] 發(fā)明效果
[0016] 本發(fā)明中，在有限的資源（頻帶）下，即使在網(wǎng)絡(luò)的狀況發(fā)生惡化時(shí)，也能夠保護(hù) 重要信息。
【專利附圖】
【附圖說明】
[0017] 圖1是表示一例本發(fā)明的實(shí)施方式1的通信系統(tǒng)的結(jié)構(gòu)的圖。
[0018] 圖2是表示本發(fā)明的實(shí)施方式1的發(fā)送裝置的結(jié)構(gòu)的方框圖。
[0019] 圖3是表示一例本發(fā)明的實(shí)施方式1的發(fā)送裝置的質(zhì)量控制信息保持單元保持的 信息的圖。
[0020] 圖4是表示本發(fā)明的實(shí)施方式1的接收裝置的結(jié)構(gòu)的方框圖。
[0021] 圖5是表示一例本發(fā)明的實(shí)施方式1的冗余碼分組的生成的圖。
[0022] 圖6是表示本發(fā)明的實(shí)施方式1的冗余碼強(qiáng)度的計(jì)算流程的流程圖。
[0023] 圖7是表示一例分組損失率和臨時(shí)FEC強(qiáng)度之間的關(guān)系的圖。
[0024] 圖8是表示一例數(shù)據(jù)量、臨時(shí)FEC強(qiáng)度和生成冗余碼分組的方向之間的關(guān)系的圖。
[0025] 圖9是表示一例數(shù)據(jù)量、臨時(shí)FEC強(qiáng)度和橫向大小之間的關(guān)系的圖。
[0026] 圖10是表示一例數(shù)據(jù)量、臨時(shí)FEC強(qiáng)度和縱向大小之間的關(guān)系的圖。
[0027] 圖11是表示本發(fā)明的實(shí)施方式1的重發(fā)緩沖量的計(jì)算流程的流程圖。
[0028] 圖12是說明本發(fā)明的實(shí)施方式1的效果的圖。
[0029] 圖13是表示本發(fā)明的實(shí)施方式2的發(fā)送裝置的結(jié)構(gòu)的方框圖。
[0030] 圖14是表示本發(fā)明的實(shí)施方式2的接收裝置的結(jié)構(gòu)的方框圖。
[0031] 圖15是表示一例本發(fā)明的實(shí)施方式3的通信系統(tǒng)的結(jié)構(gòu)的圖。
[0032] 圖16是表示一例本發(fā)明的實(shí)施方式3的發(fā)送裝置的質(zhì)量控制信息保持單元保持 的信息的圖。
[0033] 圖17是說明本發(fā)明的實(shí)施方式3的效果的圖。
[0034] 標(biāo)號(hào)說明
[0035] 101、102、1001、1002 數(shù)據(jù)生成裝置
[0036] 103、803、1005 發(fā)送裝置
[0037] 104、804 接收裝置
[0038] 105、106、1007、1008、1009、1010 播放裝置
[0039] 201、2〇2 編碼單元
[0040] 203、903質(zhì)量控制信息保持單元
[0041] 204、904恢復(fù)強(qiáng)度指示單元
[0042] 205、206冗余編碼單元
[0043] 207、907延遲量指示單元
[0044] 208、209重發(fā)控制單元
[0045] 210復(fù)用單元
[0046] 211、301 無線單元
[0047] 302 分離單元
[0048] 303、304保持期間指示單元
[0049] 305、306 緩沖單元
[0050] 307、308冗余碼解碼單元
[0051] 309、310 解碼單元
[0052] 311傳輸質(zhì)量信息生成單元
[0053] 1003、1004 收發(fā)裝置
[0054] 1006 MCU
【具體實(shí)施方式】
[0055] 以下，參照附圖詳細(xì)地說明本發(fā)明的實(shí)施方式。
[0056] (實(shí)施方式1)
[0057] 〈系統(tǒng)結(jié)構(gòu)〉
[0058] 圖1是表示一例本發(fā)明的實(shí)施方式1的通信系統(tǒng)的結(jié)構(gòu)的圖。圖1所示的通信系 統(tǒng)100是能夠通過雙重流傳輸（Dual-streaming)，同時(shí)收發(fā)獨(dú)立的兩個(gè)影像的系統(tǒng)。
[0059] 如圖1所示，通信系統(tǒng)100主要包括數(shù)據(jù)生成裝置101、102、發(fā)送裝置103、接收裝 置104、播放裝置105、106以及網(wǎng)絡(luò)107。
[0060] 數(shù)據(jù)生成裝置101將由攝像機(jī)拍攝的說話人的影像和由話筒采集的說話人的語 音轉(zhuǎn)換成數(shù)據(jù)，并將影像和語音的數(shù)據(jù)的實(shí)時(shí)流輸出至發(fā)送裝置103。數(shù)據(jù)生成裝置102將 保存在存儲(chǔ)器中的資料影像數(shù)據(jù)的實(shí)時(shí)流輸出至發(fā)送裝置103。
[0061] 發(fā)送裝置103對(duì)從數(shù)據(jù)生成裝置101U02輸出的實(shí)時(shí)流進(jìn)行編碼而構(gòu)成分組，并 通過網(wǎng)絡(luò)107,將分組分別發(fā)送至接收裝置104。另外，發(fā)送裝置103根據(jù)接收裝置104的 請(qǐng)求，進(jìn)行分組的重發(fā)。
[0062] 接收裝置104對(duì)從發(fā)送裝置103接收到的分組進(jìn)行解碼，并將影像、語音的實(shí)時(shí)流 分別輸出至播放裝置105、106。另外，接收裝置104通過網(wǎng)絡(luò)107對(duì)發(fā)送裝置103發(fā)送傳 輸質(zhì)量信息。所謂傳輸質(zhì)量信息，是指表示網(wǎng)絡(luò)的狀況的信息，且是由接收裝置104接收到 的實(shí)時(shí)流的分組損失率或者與傳輸延遲相關(guān)的信息。此外，分組損失率或與傳輸延遲相關(guān) 的信息也可以是由RFC3550的接收者報(bào)告（RR)所規(guī)定的分組損失率或抖動(dòng)（jitter)的信 息。另外，分組損失率或與傳輸延遲相關(guān)的信息也可以是接收裝置104在特定的統(tǒng)計(jì)期間 累計(jì)的分組損失率或傳輸延遲的統(tǒng)計(jì)信息。與傳輸延遲相關(guān)的信息也可以是從發(fā)送裝置 103朝接收裝置104的方向傳輸分組的單向傳輸延遲的信息、或者發(fā)送裝置103和接收裝置 104之間的往復(fù)延遲時(shí)間的信息。即，與傳輸延遲相關(guān)的信息既可以是單向傳輸延遲的最大 值、最小值、平均值、方差，也可以是往復(fù)延遲的最大值、最小值、平均值、方差的統(tǒng)計(jì)信息。
[0063] 播放裝置105U06分別基于從接收裝置104輸入的影像、語音的實(shí)時(shí)流，播放影 像、語首。
[0064] 此外，通信系統(tǒng)100中，有時(shí)在網(wǎng)絡(luò)107中發(fā)生分組損失。在這種通信系統(tǒng)100中， 如果對(duì)于發(fā)生了分組損失的實(shí)時(shí)流在接收裝置104中不使其恢復(fù)而進(jìn)行解碼，并由播放裝 置105U06播放，則會(huì)發(fā)生影像的混亂或語音的斷續(xù)。因此，本實(shí)施方式中，將用于避免因 分組損失造成的影像混亂或語音斷續(xù)的功能導(dǎo)入至發(fā)送裝置103、接收裝置104。
[0065] 〈發(fā)送裝置的結(jié)構(gòu)〉
[0066] 圖2是表示本實(shí)施方式的發(fā)送裝置103的結(jié)構(gòu)的方框圖。發(fā)送裝置103主要包括 編碼單元201、202、質(zhì)量控制信息保持單元203、恢復(fù)強(qiáng)度指示單元204、冗余編碼單元205、 206、延遲量指示單元207、重發(fā)控制單元208、209、復(fù)用單元210以及無線單元211。
[0067] 編碼單元201對(duì)從數(shù)據(jù)生成裝置101輸出的影像或語音的數(shù)據(jù)的實(shí)時(shí)流進(jìn)行編 碼，并將編碼后的實(shí)時(shí)流的分組輸出至冗余編碼單元205。另一方面，編碼單元202對(duì)從數(shù) 據(jù)生成裝置102輸出的資料影像數(shù)據(jù)的實(shí)時(shí)流進(jìn)行編碼，并將編碼后的實(shí)時(shí)流的分組輸出 至冗余編碼單元206。此外，影像數(shù)據(jù)的編碼方式有H264、MPEG4等。而且，語音數(shù)據(jù)的編 碼方式有AAC、G. 722等。
[0068] 質(zhì)量控制信息保持單元203保持由用戶設(shè)定的控制各實(shí)時(shí)流的傳輸質(zhì)量的信息 (以下稱為"質(zhì)量控制信息"）。圖3表示一例質(zhì)量控制信息。質(zhì)量控制信息可列舉表示其 他實(shí)時(shí)流相對(duì)于作為基準(zhǔn)的實(shí)時(shí)流（說話人的語音的實(shí)時(shí)流）的延遲時(shí)間的允許范圍的同 步參數(shù)、以及表示各實(shí)時(shí)流的保護(hù)的強(qiáng)度的保護(hù)強(qiáng)度等。
[0069] 恢復(fù)強(qiáng)度指示單元204基于來自接收裝置104的傳輸質(zhì)量信息和質(zhì)量控制信息保 持單元203保持的質(zhì)量控制信息來設(shè)定冗余碼強(qiáng)度。并且，恢復(fù)強(qiáng)度指示單元204將冗余 碼強(qiáng)度輸出至冗余編碼單元205、206和復(fù)用單元210。此外，恢復(fù)強(qiáng)度指示單元204實(shí)施的 控制的細(xì)節(jié)，將在后文敘述。
[0070] 冗余編碼單元205、206分別基于從恢復(fù)強(qiáng)度指示單元204輸出的冗余碼強(qiáng)度，對(duì) 于從編碼單元201、202輸出的分組，由FEC生成冗余碼分組。并且，冗余編碼單元205、206 分別將從編碼單元201、202輸出的分組和冗余碼分組輸出至重發(fā)控制單元208、209和復(fù)用 單元210。此外，將在后文敘述冗余編碼單元205、206實(shí)施的冗余碼分組的生成例子。
[0071 ] 延遲量指示單元207基于來自接收裝置104的傳輸質(zhì)量信息和質(zhì)量控制信息保持 單元203保持的質(zhì)量控制信息，確定各實(shí)時(shí)流的分組的重發(fā)上限次數(shù)。然后，延遲量指示單 元207將重發(fā)上限次數(shù)輸出至重發(fā)控制單元208、209和復(fù)用單元210。此外，將在后文敘述 延遲量指示單元207實(shí)施的控制的細(xì)節(jié)。
[0072] 重發(fā)控制單元208、209分別根據(jù)延遲量指示單元207確定的重發(fā)上限次數(shù)而在一 定期間累積分組，并根據(jù)來自接收裝置104的重發(fā)請(qǐng)求，將重發(fā)分組輸出至復(fù)用單元210。
[0073] 復(fù)用單元210輸入從冗余編碼單元205、206輸出的分組或者從重發(fā)控制單元208、 209輸出的重發(fā)分組。而且，復(fù)用單元210輸入從恢復(fù)強(qiáng)度指示單元204輸出的冗余碼強(qiáng)度 以及從延遲量指示單元207輸出的重發(fā)上限次數(shù)。然后，復(fù)用單元210對(duì)輸入的分組或重 發(fā)分組、冗余碼強(qiáng)度以及重發(fā)上限次數(shù)進(jìn)行復(fù)用，并輸出至無線單元211。
[0074] 無線單元211對(duì)于從復(fù)用單元210輸出的數(shù)據(jù)進(jìn)行上變頻、放大等無線處理，將無 線信號(hào)通過網(wǎng)絡(luò)107發(fā)送至接收裝置104。另外，無線單元211對(duì)于從接收裝置104接收到 的無線信號(hào)進(jìn)行下變頻、放大等無線處理。然后，無線單元211將接收到的傳輸質(zhì)量信息輸 出至恢復(fù)強(qiáng)度指示單元204和延遲量指示單元207,將重發(fā)請(qǐng)求輸出至重發(fā)控制單元208、 209。
[0075]〈接收裝置的結(jié)構(gòu)〉
[0076] 圖4是表示本實(shí)施方式的接收裝置104的結(jié)構(gòu)的方框圖。接收裝置104主要包括 無線單元301、分離單元302、保持期間指示單元303、304、緩沖單元305、306、冗余碼解碼單 元307、308、解碼單元309、310以及傳輸質(zhì)量信息生成單元311。
[0077] 無線單元301對(duì)于從發(fā)送裝置103接收到的無線信號(hào)進(jìn)行下變頻、放大等無線處 理，并將基帶信號(hào)輸出至分離單元302。另外，無線單元301對(duì)于從緩沖單元305、306輸出 的重發(fā)請(qǐng)求以及從傳輸質(zhì)量信息生成單元311輸出的傳輸質(zhì)量信息進(jìn)行上變頻、放大等無 線處理。然后，無線單元301將進(jìn)行了無線處理的無線信號(hào)通過網(wǎng)絡(luò)107發(fā)送至發(fā)送裝置 103。
[0078] 分離單元302將從無線單元301輸出的信號(hào)進(jìn)行分離，并將分組輸出至緩沖單元 305、306,將重發(fā)上限次數(shù)輸出至保持期間指示單元303、304,將冗余碼強(qiáng)度輸出至冗余碼 解碼單元307、308。
[0079] 保持期間指示單元303、304分別基于從發(fā)送裝置103發(fā)送的重發(fā)上限次數(shù)，將保 持分組的時(shí)間指示給緩沖單元305、306。
[0080] 緩沖單元305、306分別在由保持期間指示單元303、304指示的時(shí)間內(nèi)，保持從發(fā) 送裝置103發(fā)送來的實(shí)時(shí)流的分組。另外，緩沖單元305、306在發(fā)生了分組損失時(shí)，將重發(fā) 請(qǐng)求經(jīng)由無線單元301發(fā)送至發(fā)送裝置103,直至達(dá)到重發(fā)上限次數(shù)為止。
[0081] 冗余碼解碼單元307、308分別根據(jù)從發(fā)送裝置103發(fā)送的冗余碼強(qiáng)度，累積與FEC 塊的數(shù)相當(dāng)?shù)膶?shí)時(shí)流的分組。并且，冗余碼解碼單元307、308分別執(zhí)行使用冗余碼分組來 恢復(fù)在網(wǎng)絡(luò)107中損失的分組的處理，并將恢復(fù)后的實(shí)時(shí)流輸出至解碼單元309、310。
[0082] 解碼單元309、310分別對(duì)實(shí)時(shí)流進(jìn)行解碼，并輸出至播放裝置105、106。
[0083] 傳輸質(zhì)量信息生成單元311生成由緩沖單元305、306接收到的實(shí)時(shí)流的分組損失 率、或者與傳輸延遲相關(guān)的信息即傳輸質(zhì)量信息，并輸出至無線單元301。
[0084] 〈冗余碼分組的生成例子〉
[0085] 接下來，使用圖5說明冗余編碼單元205、206生成的冗余碼分組的一例子。
[0086] 圖5表示在縱向及橫向的兩個(gè)方向上生成冗余碼分組的例子。在本例子中，包含 DATA1至DATA6的六個(gè)數(shù)據(jù)分組，相對(duì)于縱向?yàn)?、橫向?yàn)?的FEC塊，生成FEC1至FEC6的 六個(gè)冗余碼分組（FEC :100% )。
[0087] 此時(shí)，發(fā)送裝置103發(fā)送DATA1至DATA6以及FEC1至FEC6的12個(gè)分組。
[0088] 另外，圖5中表示在通信路徑中損失了 DATA2、DATA4、DATA5、DATA6、FEC2、FEC5的 六個(gè)分組的情況。
[0089] 此時(shí)，接收裝置104的冗余碼解碼單元307、308使用接收到的分組進(jìn)行恢復(fù)損失 的分組的處理。具體而言，冗余碼解碼單元307、308利用DATA1、DATA3、FEC1來恢復(fù)DATA2， 利用FEC3、FEC4、FEC6來恢復(fù)FEC5。另外，冗余碼解碼單元307、308利用DATAUFEC3來恢 復(fù) DATA4,利用 DATA2、FEC4 來恢復(fù) DATA5,利用 DATA3、FEC5 來恢復(fù) DATA6,利用 FECI、FEC6 來恢復(fù)FEC2。
[0090] 〈冗余碼強(qiáng)度的計(jì)算例子〉
[0091] 接下來，使用圖6說明發(fā)送裝置103的恢復(fù)強(qiáng)度指示單元204的詳細(xì)動(dòng)作。圖6 是表示恢復(fù)強(qiáng)度指示單元204中的冗余碼強(qiáng)度的計(jì)算流程的流程圖。
[0092] 恢復(fù)強(qiáng)度指示單元204首先確定最小FEC塊的數(shù)MinFB的初始值。例如，最小FEC 塊的數(shù)MinFB的初始值可設(shè)為" 1"（步驟ST501)。
[0093] 接下來，恢復(fù)強(qiáng)度指示單元204選擇作為基準(zhǔn)的實(shí)時(shí)流（設(shè)為i)(步驟ST502)。 作為基準(zhǔn)實(shí)時(shí)流的選擇方法，例如可列舉選擇質(zhì)量控制信息保持單元203的同步參數(shù)的值 為0的實(shí)時(shí)流的方法。
[0094] 接下來，恢復(fù)強(qiáng)度指示單元204確定作為基準(zhǔn)的實(shí)時(shí)流i的FEC塊的數(shù)FB[i]和 冗余碼分組的數(shù)PaR[i](步驟ST503)。具體而言，實(shí)時(shí)流i的FEC塊的數(shù)FB[i]和冗余碼 分組的數(shù)PaR[i]，根據(jù)分組損失率PLR[i]、進(jìn)行冗余編碼的處理單位的數(shù)據(jù)量D [i]以及質(zhì) 量控制信息的保護(hù)強(qiáng)度ST[i]來確定。這里，例如在影像流的情況下，數(shù)據(jù)量D[i]是構(gòu)成 一個(gè)畫面（picture)的分組的數(shù)據(jù)量或者被控制在設(shè)備的特定處理單位內(nèi)的數(shù)據(jù)量。在以 20ms為單位進(jìn)行動(dòng)作的裝置中，以10ms的間隔發(fā)送語音分組時(shí)，數(shù)據(jù)量D[i]相當(dāng)于2分組 的數(shù)據(jù)量。
[0095] 接下來，說明步驟ST503的具體計(jì)算過程。首先，恢復(fù)強(qiáng)度指示單元204通過以下 的式（1)，根據(jù)保護(hù)強(qiáng)度ST[i]確定恢復(fù)率ReR[i]。此外，恢復(fù)強(qiáng)度指示單元204也可保持 將保護(hù)強(qiáng)度ST[i]和恢復(fù)率ReR[i]相關(guān)聯(lián)的表，并基于該表來確定恢復(fù)率ReR[i]。
[0096] ReR[i] = 1-10~ (_ST[i]*a )…式（1)
[0097] 這里，在式（1)中，·'是表示冪的符號(hào)，α是正的常數(shù)。例如，在ST[i] = 2、a = 1的情況下，恢復(fù)率ReR[i] = 1-10~(-2*1) = 0. 99,即恢復(fù)率ReR[i]為99%。
[0098] 然后，恢復(fù)強(qiáng)度指示單元204從由仿真獲得的分組損失率PLR[i]和數(shù)據(jù)量D[i]， 求滿足恢復(fù)率ReR[i]的冗余碼分組的數(shù)PaR[i]和FEC塊的數(shù)FB[i]。
[0099] 具體而言，恢復(fù)強(qiáng)度指示單元204使用圖7、圖8、圖9、圖10的表來計(jì)算FEC塊的 縱向的大小和橫向的大小。
[0100] 首先，恢復(fù)強(qiáng)度指示單元204使用圖7,根據(jù)分組損失率PLR[i]計(jì)算臨時(shí)FEC強(qiáng) 度。
[0101] 接下來，恢復(fù)強(qiáng)度指示單元204使用圖8確定生成冗余碼分組的方向。圖8中， VFEC表不僅縱向，LFEC表不僅橫向，LVFEC表不縱向及橫向的兩個(gè)方向。
[0102] 接下來，恢復(fù)強(qiáng)度指示單元204使用圖9、圖10,分別獲取橫向、縱向的大小 FBx[i]、FBy[i]的信息。此外，圖8、圖9、圖10中，Y軸表示數(shù)據(jù)量D[i]，X軸表示臨時(shí)FEC 強(qiáng)度。例如，在數(shù)據(jù)量D[i]為"6"且臨時(shí)FEC強(qiáng)度為"100"的情況下，根據(jù)圖9,橫向大小 FBx[i]為"3"。而且，根據(jù)圖10,縱向大小FBy[i]為"2"。
[0103] 最后，恢復(fù)強(qiáng)度指示單元204通過將橫向大小FBx[i]與縱向大小FBy[i]相乘而 求FEC塊的數(shù)FB[i]。在先前的例子中，F(xiàn)EC塊的數(shù)FB[i]為"6"。
[0104] 此外，在圖8、圖9、圖10中，在數(shù)據(jù)量D[i]超過上限時(shí)，分割適用數(shù)據(jù)量D[i]，確 定冗余碼分組的數(shù)PaR[i]和FEC塊的數(shù)FB [i]。但是，選擇FEC塊FB [i]，以使其不小于最 小 FEC 塊 MinFB。
[0105] 此外，數(shù)據(jù)量D[i]的上限也可以在需要低延遲傳輸時(shí)設(shè)定得較小，而在要發(fā)揮高 抗性時(shí)設(shè)定得較大。另外，在能夠重發(fā)的情況下，也可以將恢復(fù)率ReR[i]設(shè)定得較小并使 用該表。例如，在能夠進(jìn)行一次重發(fā)的情況下，恢復(fù)率ReR[i]也可以設(shè)定為1-ΚΓ_4至 1-ΚΓ-2。
[0106] 接下來，恢復(fù)強(qiáng)度指示單元204計(jì)算用于使接收裝置104累積、延遲分組以構(gòu)成 FEC塊的量即累積延遲量BT[i](步驟ST504)。根據(jù)FEC塊的數(shù)FB[i]、實(shí)時(shí)流的發(fā)送速率 SR[i]以及分組大小S[i]，通過累積延遲量BT[i] = (FB[i]*S[i])/SR[i]來計(jì)算累積延遲 量 BT[i]。
[0107] 接下來，恢復(fù)強(qiáng)度指示單元204對(duì)于作為基準(zhǔn)的實(shí)時(shí)流i以外的實(shí)時(shí)流j，反復(fù)執(zhí) 行步驟ST505至ST510。
[0108] 具體而言，首先，與步驟ST503同樣地，恢復(fù)強(qiáng)度指示單元204對(duì)于實(shí)時(shí)流j計(jì)算 FEC塊的數(shù)FB[j]和冗余碼分組的數(shù)PaR[j](步驟ST506)。
[0109] 接下來，與步驟ST504同樣地，恢復(fù)強(qiáng)度指示單元204對(duì)于實(shí)時(shí)流j計(jì)算累積延遲 量 BT[j](步驟 ST507)。
[0110] 接下來，恢復(fù)強(qiáng)度指示單元204求實(shí)時(shí)流的累積延遲量BT[j]相對(duì)于作為基準(zhǔn)的 實(shí)時(shí)流的累積延遲量BT[i]的差值（絕對(duì)值）。然后，恢復(fù)強(qiáng)度指示單元204判定求得的差 值是否被控制在同步參數(shù)之差|Syt[j]-Sty[i]的范圍內(nèi)（步驟ST508)。例如，在圖3中， 作為基準(zhǔn)的說話人語音的實(shí)時(shí)流和說話人影像的實(shí)時(shí)流的同步參數(shù)之差為l〇ms。此時(shí)，恢 復(fù)強(qiáng)度指示單元204判定實(shí)時(shí)流i的累積延遲量BT[i]和實(shí)時(shí)流j的累積延遲量BT[j]的 差值是否被控制在l〇ms以內(nèi)。
[0111] 接下來，若BT[i]和BT[j]的差值被控制在同步參數(shù)之差的范圍內(nèi)（步驟ST508 中為"是"），則恢復(fù)強(qiáng)度指示單元204跳轉(zhuǎn)到下個(gè)處理（步驟ST510)。另一方面，若BT[i] 與BT[j]的差值未被控制在同步參數(shù)之差的范圍內(nèi)（步驟ST508中為"否"），則恢復(fù)強(qiáng)度 指示單元204進(jìn)至步驟ST509。
[0112] 在步驟ST509中，恢復(fù)強(qiáng)度指示單元204增加最小FEC塊的數(shù)，并進(jìn)至步驟ST502。
[0113] 〈重發(fā)上限次數(shù)的計(jì)算例子〉
[0114] 接下來，使用圖11說明發(fā)送裝置103的延遲量指示單元207的詳細(xì)動(dòng)作。圖11 是表示延遲量指示單元207中的重發(fā)上限次數(shù)的計(jì)算流程的流程圖。
[0115] 首先，延遲量指示單元207對(duì)于各實(shí)時(shí)流，根據(jù)質(zhì)量控制信息的保護(hù)強(qiáng)度ST[i]、 ST[j]，臨時(shí)地設(shè)定重發(fā)上限次數(shù)（步驟ST601至ST603)。例如，在圖3中，由于資料影像的 實(shí)時(shí)流的保護(hù)強(qiáng)度ST[j]為最強(qiáng)的"10"，因此延遲量指示單元207將重發(fā)上限次數(shù)設(shè)定為 三次。
[0116] 接下來，延遲量指示單元207判定將發(fā)送裝置103和接收裝置104之間的往復(fù)延 遲時(shí)間RTT乘以重發(fā)上限次數(shù)所得的值是否被控制在同步參數(shù)之差|Sty[j]-Sty[i]的范 圍內(nèi)（步驟ST604)。
[0117] 接下來，若往復(fù)延遲時(shí)間RTT乘以重發(fā)上限次數(shù)所得的值被控制在同步參數(shù)之差 的范圍內(nèi)（步驟ST604中為"是"），則延遲量指示單元207結(jié)束處理。另一方面，若往復(fù)延 遲時(shí)間RTT乘以重發(fā)上限次數(shù)所得的值未被控制在同步參數(shù)之差的范圍內(nèi)（步驟ST604中 為"否"），則延遲量指示單元207校正重發(fā)上限次數(shù)并結(jié)束處理（步驟ST605)。
[0118] 例如，在發(fā)送裝置103和接收裝置104之間的往復(fù)延遲時(shí)間RTT為100ms的情況 下，資料影像的實(shí)時(shí)流相對(duì)于基準(zhǔn)實(shí)時(shí)流的同步參數(shù)之差|Syt[i]-Syt[j]為200ms。因此， 在往復(fù)延遲時(shí)間RTT為100ms的情況下，若將重發(fā)上限次數(shù)設(shè)為三次，則會(huì)超過同步參數(shù)之 差|Syt[i]_Syt[j]的范圍。于是，延遲量指示單元207將資料影像的實(shí)時(shí)流的重發(fā)上限次 數(shù)校正為兩次，以使往復(fù)延遲時(shí)間RTT乘以重發(fā)上限次數(shù)所得的值被控制在同步參數(shù)之差 的范圍內(nèi)。
[0119] 〈保護(hù)效果〉
[0120] 圖12是說明本發(fā)明的實(shí)施方式1的保護(hù)效果的圖。圖12表示對(duì)各實(shí)時(shí)流701、 702、703分別采用冗余碼強(qiáng)度704、重發(fā)上限次數(shù)705時(shí)的保護(hù)效果706。
[0121] 本實(shí)施方式中，資料影像703對(duì)于用戶而言是理解會(huì)議內(nèi)容所需的非常重要的信 息。因此，在圖3中，資料影像703的實(shí)時(shí)流的保護(hù)強(qiáng)度被設(shè)定為最強(qiáng)的"10"。另外，資料 影像703的實(shí)時(shí)流相對(duì)于說話人語音702的實(shí)時(shí)流允許200ms的延遲。
[0122] 本實(shí)施方式中，如圖12所示，根據(jù)這些信息，將資料影像703的實(shí)時(shí)流的冗余碼強(qiáng) 度設(shè)定為50%，將重發(fā)上限次數(shù)設(shè)定為兩次。其結(jié)果，資料影像703的實(shí)時(shí)流完全不會(huì)混亂 地被傳輸。
[0123] 另外，本實(shí)施方式中，說話人影像702對(duì)于用戶而言并非太重要的信息。但是，說 話人影像702是必須與說話人語音701同步發(fā)送的信息。因此，圖3中，說話人影像702的 實(shí)時(shí)流的保護(hù)強(qiáng)度被設(shè)定為比資料影像703低的"2"。另外，說話人影像702的實(shí)時(shí)流相對(duì) 于說話人語音701的實(shí)時(shí)流允許10ms的延遲。
[0124] 本實(shí)施方式中，如圖12所示，根據(jù)這些信息，將說話人影像的實(shí)時(shí)流的冗余碼強(qiáng) 度設(shè)定為〇%，將重發(fā)上限次數(shù)設(shè)定為〇次。其結(jié)果，說話人影像702的實(shí)時(shí)流和說話人語 音701的實(shí)時(shí)流同步地被發(fā)送。此外，說話人影像702的實(shí)時(shí)流所分配的編碼量少，且不允 許重發(fā)，因此容易亂。但是，在有限的資源（頻帶）下，本實(shí)施方式通過減少不重要的說話 人影像702的實(shí)時(shí)流的編碼量，從而能夠?qū)χ匾钠渌麑?shí)時(shí)流分配較多的編碼量。
[0125] 這樣，在本實(shí)施方式中，在通過因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)進(jìn)行信息傳輸時(shí)，能夠增多 分配給重要信息的編碼量，從而能夠增多重要信息的重發(fā)上限次數(shù)。由此，本實(shí)施方式中， 能夠有力地保護(hù)重要信息。另外，本實(shí)施方式中，能夠還考慮多個(gè)實(shí)時(shí)流間的同步偏差量并 同時(shí)調(diào)整延遲時(shí)間。
[0126] 此外，質(zhì)量控制信息保持單元203也可根據(jù)實(shí)時(shí)流的關(guān)聯(lián)性來設(shè)定同步參數(shù)。例 如，其一例子為切換輸入攝像機(jī)的影像的實(shí)時(shí)流和計(jì)算機(jī)畫面的影像的實(shí)時(shí)流的情況。此 時(shí)，在切換輸入攝像機(jī)的影像的實(shí)時(shí)流的情況下，也可以以將與語音的實(shí)時(shí)流的同步參數(shù) 設(shè)定得接近的方式來進(jìn)行動(dòng)作。
[0127] 另外，恢復(fù)強(qiáng)度指示單元204根據(jù)各實(shí)時(shí)流的傳輸質(zhì)量信息來估計(jì)可利用的頻 帶，并從編碼單元201、202獲取與各實(shí)時(shí)流的復(fù)雜度相關(guān)的信息。此時(shí)，恢復(fù)強(qiáng)度指示單元 204也可以使用各實(shí)時(shí)流可利用的頻帶和與各實(shí)時(shí)流的復(fù)雜度相關(guān)的信息，來確定各實(shí)時(shí) 流的FEC塊的數(shù)。例如，恢復(fù)強(qiáng)度指示單元204也可以利用影像編碼時(shí)確定量化的量的QP 參數(shù)（QP1，QP2)，對(duì)復(fù)雜的影像分配更多的FEC塊，或者分配更多的冗余碼分組。
[0128] (實(shí)施方式2)
[0129] 上述實(shí)施方式1中，說明了將質(zhì)量控制信息保持單元、恢復(fù)強(qiáng)度指示單元以及延 遲量指示單元配置在發(fā)送裝置中的情況。實(shí)施方式2中，說明將這些單元配置在接收裝置 中的情況。
[0130] 本實(shí)施方式的系統(tǒng)結(jié)構(gòu)與用于說明實(shí)施方式1的圖1所示的系統(tǒng)結(jié)構(gòu)相同。但是， 如下述所示，本實(shí)施方式中，發(fā)送裝置和接收裝置的內(nèi)部結(jié)構(gòu)與實(shí)施方式1不同。
[0131] 圖13是表示本實(shí)施方式的發(fā)送裝置803的結(jié)構(gòu)的方框圖。此外，圖13中，對(duì)于與 圖2共同的結(jié)構(gòu)要素，附加與圖2相同的標(biāo)號(hào)，并省略詳細(xì)說明。
[0132] 圖13所示的發(fā)送裝置803采用如下結(jié)構(gòu)，即相對(duì)于圖2所示的發(fā)送裝置103,刪除 了質(zhì)量控制信息保持單元203、恢復(fù)強(qiáng)度指示單元204以及延遲量指示單元207。
[0133] 冗余編碼單元205、206分別基于從接收裝置804指示的冗余碼強(qiáng)度，對(duì)于從編碼 單元201、202輸出的分組，由FEC生成冗余碼分組。
[0134] 重發(fā)控制單元208、209分別根據(jù)接收裝置804確定的重發(fā)上限次數(shù)而在一定期間 累積分組，并根據(jù)來自接收裝置804的重發(fā)請(qǐng)求，將重發(fā)分組輸出至復(fù)用單元210。
[0135] 圖14是表示本實(shí)施方式的接收裝置804的結(jié)構(gòu)的方框圖。此外，圖14中，對(duì)于與 圖4共同的結(jié)構(gòu)要素，附加與圖4相同的標(biāo)號(hào)，并省略詳細(xì)說明。
[0136] 圖14所示的接收裝置804采用如下結(jié)構(gòu)，即相對(duì)于圖4所示的接收裝置104,追加 了質(zhì)量控制信息保持單元903、恢復(fù)強(qiáng)度指示單元904以及延遲量指示單元907。
[0137] 傳輸質(zhì)量信息生成單元311生成傳輸質(zhì)量信息，并輸出至恢復(fù)強(qiáng)度指示單元904 和延遲量指示單元907。
[0138] 質(zhì)量控制信息保持單元903保持由用戶設(shè)定的質(zhì)量控制信息。
[0139] 恢復(fù)強(qiáng)度指示單元904基于從傳輸質(zhì)量信息生成單元311輸出的傳輸質(zhì)量信息和 質(zhì)量控制信息保持單元903保持的質(zhì)量控制信息，設(shè)定冗余碼強(qiáng)度。然后，恢復(fù)強(qiáng)度指示單 元904對(duì)冗余碼解碼單元307、308和無線單元301輸出冗余碼強(qiáng)度。
[0140] 冗余碼解碼單元307、308分別根據(jù)從恢復(fù)強(qiáng)度指示單元904輸出的冗余碼強(qiáng)度， 累積與FEC塊的數(shù)相當(dāng)?shù)膶?shí)時(shí)流的分組。然后，冗余碼解碼單元307、308執(zhí)行使用冗余碼 分組來恢復(fù)在網(wǎng)絡(luò)107中損失的分組的處理。
[0141] 延遲量指示單元907基于從傳輸質(zhì)量信息生成單元311輸出的傳輸質(zhì)量信息以及 質(zhì)量控制信息保持單元903保持的質(zhì)量控制信息，確定各實(shí)時(shí)流的分組的重發(fā)上限次數(shù)。 然后，延遲量指示單元907將重發(fā)上限次數(shù)輸出至保持期間指示單元303、304和無線單元 301。
[0142] 保持期間指示單元303、304分別基于從延遲量指示單元907輸出的重發(fā)上限次 數(shù)，對(duì)緩沖單元305、306指示分組的保持時(shí)間。
[0143] 無線單元301輸入從緩沖單元305、306輸出的重發(fā)請(qǐng)求、從恢復(fù)強(qiáng)度指示單元904 輸出的指示冗余碼強(qiáng)度的信息以及從延遲量指示單元907輸出的重發(fā)上限次數(shù)。無線單元 301對(duì)于輸入的重發(fā)請(qǐng)求、指示冗余碼強(qiáng)度的信息以及重發(fā)上限次數(shù)進(jìn)行上變頻、放大等無 線處理，并將無線信號(hào)通過網(wǎng)絡(luò)107發(fā)送至發(fā)送裝置803。
[0144] 這樣，本實(shí)施方式中，接收裝置側(cè)的用戶能夠設(shè)定各實(shí)時(shí)流的質(zhì)量。而且，本實(shí)施 方式中，與實(shí)施方式1同樣，在有限的資源（頻帶）下，能夠?qū)χ匾膶?shí)時(shí)流分配較多的編 碼量，因此即使在網(wǎng)絡(luò)的狀況惡化的情況下，也能夠保護(hù)重要信息。另外，本實(shí)施方式中，與 實(shí)施方式1同樣，能夠還考慮多個(gè)實(shí)時(shí)流間的同步偏差量并同時(shí)調(diào)整延遲時(shí)間。
[0145] 此外，本實(shí)施方式中，也能夠?qū)⒒謴?fù)強(qiáng)度指示單元和延遲量指示單元配置在發(fā)送 裝置中，將質(zhì)量控制信息保持單元配置在接收裝置中。
[0146] 另外，實(shí)施方式1、2中說明的結(jié)構(gòu)要素均能夠適用于進(jìn)行雙向通信的終端。艮P， 在實(shí)施方式1、2中，能夠?qū)Ω鹘K端導(dǎo)入發(fā)送裝置的結(jié)構(gòu)要素和接收裝置的結(jié)構(gòu)要素，對(duì)于 雙向的多個(gè)實(shí)時(shí)流的傳輸，還考慮同步偏差量并同時(shí)調(diào)整延遲時(shí)間。此時(shí)，在實(shí)施方式1、2 中，通過采用將實(shí)施方式1的發(fā)送裝置和實(shí)施方式2的接收裝置導(dǎo)入到一個(gè)終端中的方式， 能夠?qū)①|(zhì)量控制信息保持單元配置在一側(cè)的終端中。
[0147] (實(shí)施方式3)
[0148] 實(shí)施方式3中，說明將本發(fā)明適用于能夠處理多個(gè)實(shí)時(shí)流的多地點(diǎn)傳輸裝置 (MCU:multi-point control unit)的情況。圖15是一例表示本實(shí)施方式的通信系統(tǒng)的結(jié) 構(gòu)的圖。
[0149] 數(shù)據(jù)生成裝置1001將由攝像機(jī)拍攝的第一觀戰(zhàn)者的影像以及由話筒采集的第一 觀戰(zhàn)者的語音轉(zhuǎn)換成數(shù)據(jù)，生成影像、語音的數(shù)據(jù)的實(shí)時(shí)流，并輸出至收發(fā)裝置1003。數(shù)據(jù) 生成裝置1002將由攝像機(jī)拍攝的第二觀戰(zhàn)者的影像以及由話筒采集的第二觀戰(zhàn)者的語音 轉(zhuǎn)換成數(shù)據(jù)，生成影像、語音的數(shù)據(jù)的實(shí)時(shí)流，并輸出至收發(fā)裝置1004。
[0150] 收發(fā)裝置1003對(duì)從數(shù)據(jù)生成裝置1001輸出的實(shí)時(shí)流進(jìn)行編碼而構(gòu)成分組，并通 過網(wǎng)絡(luò)1011將分組發(fā)送至MCU1006。另外，收發(fā)裝置1003對(duì)從MCU1006接收到的分組進(jìn)行 解碼，并將影像、語音的實(shí)時(shí)流輸出至播放裝置1007、1008。
[0151] 收發(fā)裝置1004對(duì)從數(shù)據(jù)生成裝置1002輸出的實(shí)時(shí)流進(jìn)行編碼而構(gòu)成分組，并通 過網(wǎng)絡(luò)1011將分組發(fā)送至MCU1006。另外，收發(fā)裝置1004對(duì)從MCU1006接收到的分組進(jìn)行 解碼，并將影像、語音的實(shí)時(shí)流輸出至播放裝置1009、1010。
[0152] 發(fā)送裝置1005例如將足球比賽的影像、語音轉(zhuǎn)換成數(shù)據(jù)，生成影像、語音數(shù)據(jù)的 實(shí)時(shí)流，并通過網(wǎng)絡(luò)1011發(fā)送至MCU1006。
[0153] MCU1006對(duì)從收發(fā)裝置1003、收發(fā)裝置1004和發(fā)送裝置1005接收到的分組進(jìn) 行解碼，并進(jìn)行合成，以利用分割畫面顯示第一觀戰(zhàn)者和第二觀戰(zhàn)者的影像數(shù)據(jù)。然后， MCU1006對(duì)合成后的影像數(shù)據(jù)的實(shí)時(shí)流再次進(jìn)行編碼而構(gòu)成分組。然后，MCU1006將再次編 碼后的分組通過網(wǎng)絡(luò)1011發(fā)送至收發(fā)裝置1003和收發(fā)裝置1004。
[0154] 播放裝置1007U009分別基于利用分割畫面合成了第一觀戰(zhàn)者和第二觀戰(zhàn)者的 影像后的影像的實(shí)時(shí)流、以及第一觀戰(zhàn)者和第二觀戰(zhàn)者的語音的實(shí)時(shí)流，播放影像和語音。 播放裝置1008、1010分別基于足球比賽的影像、語音的實(shí)時(shí)流，播放影像和語音。
[0155] 這樣，通信系統(tǒng)1000在多個(gè)地點(diǎn)共享觀戰(zhàn)對(duì)象（足球比賽）的影像和語音的同 時(shí)，利用MCU1006合成多個(gè)觀戰(zhàn)者的影像和語音，并進(jìn)行重播。由此，通信系統(tǒng)1000能夠通 過網(wǎng)絡(luò)1011播發(fā)觀戰(zhàn)者彼此的影像、語音和觀戰(zhàn)對(duì)象的影像、語音兩者。
[0156] 該系統(tǒng)結(jié)構(gòu)中，對(duì)MCU1006導(dǎo)入了實(shí)施方式1中說明的發(fā)送裝置103的結(jié)構(gòu)要素。 而且，對(duì)收發(fā)裝置1003U004導(dǎo)入了實(shí)施方式1中說明的接收裝置104的結(jié)構(gòu)要素。
[0157] MCU1006的質(zhì)量控制信息保持單元保持圖16所示的由用戶設(shè)定的質(zhì)量控制信息。 圖16的例子中，對(duì)于觀戰(zhàn)者彼此的影像（分割畫面）將保護(hù)強(qiáng)度設(shè)定得較弱（St = 2)，將 觀戰(zhàn)者彼此的語音（Mix語音）的保護(hù)強(qiáng)度設(shè)定得稍強(qiáng)（St = 5)。另外，觀戰(zhàn)對(duì)象的影像 (足球影像）、語音（足球語音）的保護(hù)強(qiáng)度設(shè)定為最強(qiáng)（St = 10)。另外，觀戰(zhàn)者彼此的影 像（分割畫面）和語音（Mix語音）的同步參數(shù)被設(shè)定為允許少許同步偏差（Syt = 10ms)。 而且，對(duì)觀戰(zhàn)者彼此的影像（分割畫面）和觀戰(zhàn)對(duì)象的影像（足球影像）、語音（足球語音） 進(jìn)行允許少許同步偏差的設(shè)定（Syt = 200ms)。
[0158] 圖17是說明本發(fā)明的實(shí)施方式1的效果的圖。圖17表示對(duì)于各實(shí)時(shí)流1201-1204 分別采用冗余碼強(qiáng)度1205、重發(fā)上限次數(shù)1206時(shí)的保護(hù)效果1207。
[0159] 本實(shí)施方式中，如圖17所示，對(duì)觀戰(zhàn)對(duì)象的影像（足球影像）、語音（足球語音） 進(jìn)行了有力的保護(hù)，因此它們的實(shí)時(shí)流完全不亂地被傳輸。
[0160] 另外，觀戰(zhàn)者彼此的影像（分割畫面）和語音（Mix語音）以無不適感的程度的延 遲差而播放。因此，本實(shí)施方式中，通過減少保護(hù)觀戰(zhàn)者彼此的影像（分割畫面）的冗余碼， 從而能夠?qū)Ω匾挠^戰(zhàn)對(duì)象的影像、語音的信息分配較多的資源（頻帶）。
[0161] 這樣，本實(shí)施方式在通過因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)進(jìn)行信息傳輸時(shí)，不會(huì)因觀戰(zhàn)對(duì) 象和歡聲的偏差而產(chǎn)生不適感。另外，本實(shí)施方式既能夠更有力地保護(hù)更重要的觀戰(zhàn)對(duì)象， 又能夠共享觀戰(zhàn)者彼此的反應(yīng)的情況。
[0162] 本實(shí)施方式的發(fā)送裝置復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的網(wǎng)絡(luò)發(fā)送至 接收裝置，所述發(fā)送裝置包括：質(zhì)量控制信息保持單元，保持用戶設(shè)定的用于控制各實(shí)時(shí)流 的傳輸質(zhì)量的質(zhì)量控制信息；延遲量指示單元，根據(jù)表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息 和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定重發(fā)上限次數(shù)；以及重發(fā)控制單 元，基于來自所述接收裝置的重發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá)到所述重發(fā)上限 次數(shù)為止。
[0163] 另外，本實(shí)施方式的發(fā)送裝置還包括：恢復(fù)強(qiáng)度指示單元，根據(jù)所述傳輸質(zhì)量信息 和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定冗余碼強(qiáng)度；以及冗余編碼單元， 基于所述冗余碼強(qiáng)度，分別確定所述各實(shí)時(shí)流的冗余碼量，并生成冗余碼分組。
[0164] 另外，本實(shí)施方式的發(fā)送裝置中，所述質(zhì)量控制信息包含所述實(shí)時(shí)流的保護(hù)強(qiáng)度、 所述實(shí)時(shí)流的種類、所述實(shí)時(shí)流的優(yōu)先級(jí)以及所述實(shí)時(shí)流間的關(guān)聯(lián)度中的至少一個(gè)。
[0165] 另外，本實(shí)施方式的接收裝置通過發(fā)生分組損失的網(wǎng)絡(luò)，接收由發(fā)送裝置進(jìn)行了 復(fù)用的多個(gè)實(shí)時(shí)流，所述接收裝置包括：接收單元，從所述發(fā)送裝置接收重發(fā)上限次數(shù)，該 重發(fā)上限次數(shù)是根據(jù)表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息以及用戶設(shè)定的用于控制各實(shí) 時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息而設(shè)定的；保持期間指示單元，基于所述重發(fā)上限次數(shù)，設(shè) 定保持分組的時(shí)間；以及緩沖單元，在所述設(shè)定的時(shí)間內(nèi)，保持從所述發(fā)送裝置發(fā)送來的實(shí) 時(shí)流的分組，在發(fā)生了分組損失時(shí)，對(duì)所述發(fā)送裝置發(fā)送重發(fā)請(qǐng)求，直至達(dá)到重發(fā)上限次數(shù) 為止。
[0166] 另外，本實(shí)施方式的接收裝置中，所述接收單元接收所述發(fā)送裝置根據(jù)所述傳輸 質(zhì)量信息和所述質(zhì)量控制信息設(shè)定的冗余碼強(qiáng)度，所述接收裝置還包括：冗余碼解碼單元， 基于所述冗余碼強(qiáng)度，累積所述各實(shí)時(shí)流的分組，并執(zhí)行使用冗余碼分組來恢復(fù)在所述網(wǎng) 絡(luò)中損失的分組的處理；以及傳輸質(zhì)量信息生成單元，生成所述傳輸質(zhì)量信息并發(fā)送至所 述發(fā)送裝置。
[0167] 另外，本實(shí)施方式的接收裝置通過發(fā)生分組損失的網(wǎng)絡(luò)，接收由發(fā)送裝置進(jìn)行了 復(fù)用的多個(gè)實(shí)時(shí)流，所述接收裝置包括：質(zhì)量控制信息保持單元，保持用戶設(shè)定的用于控制 各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息；傳輸質(zhì)量信息生成單元，生成表示所述網(wǎng)絡(luò)的狀況 的傳輸質(zhì)量信息；延遲量指示單元，根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多 個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定重發(fā)上限次數(shù)，并將所述重發(fā)上限次數(shù)發(fā)送至所述發(fā)送裝置；保 持期間指示單元，基于所述重發(fā)上限次數(shù)，設(shè)定保持分組的時(shí)間；以及緩沖單元，在由所述 保持期間指示單元指示的時(shí)間內(nèi)，保持從所述發(fā)送裝置發(fā)送來的實(shí)時(shí)流的分組，在發(fā)生了 分組損失時(shí)，對(duì)所述發(fā)送裝置發(fā)送重發(fā)請(qǐng)求，直至達(dá)到重發(fā)上限次數(shù)為止。
[0168] 另外，本實(shí)施方式的接收裝置還包括：恢復(fù)強(qiáng)度指示單元，根據(jù)所述傳輸質(zhì)量信息 和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定冗余碼強(qiáng)度，并將所述冗余碼強(qiáng) 度發(fā)送至所述發(fā)送裝置；以及冗余碼解碼單元，基于所述冗余碼強(qiáng)度，累積所述各實(shí)時(shí)流的 分組，并執(zhí)行使用冗余碼分組來恢復(fù)在所述網(wǎng)絡(luò)中損失的分組的處理。
[0169] 另外，本實(shí)施方式的接收裝置中，所述質(zhì)量控制信息包含所述實(shí)時(shí)流的保護(hù)強(qiáng)度、 所述實(shí)時(shí)流的種類、所述實(shí)時(shí)流的優(yōu)先級(jí)以及所述實(shí)時(shí)流間的關(guān)聯(lián)度中的至少一個(gè)。
[0170] 另外，本實(shí)施方式的發(fā)送裝置復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的網(wǎng)絡(luò)發(fā) 送至接收裝置，所述發(fā)送裝置包括：接收單元，接收重發(fā)上限次數(shù)，該重發(fā)上限次數(shù)是所述 接收裝置根據(jù)表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息、以及用戶設(shè)定的用于控制各實(shí)時(shí)流的 傳輸質(zhì)量的質(zhì)量控制信息而設(shè)定的；以及重發(fā)控制單元，基于來自所述接收裝置的重發(fā)請(qǐng) 求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá)到所述重發(fā)上限次數(shù)為止。
[0171] 另外，本實(shí)施方式的發(fā)送裝置中，所述接收單元接收所述接收裝置根據(jù)所述傳輸 質(zhì)量信息和所述質(zhì)量控制信息設(shè)定的冗余碼強(qiáng)度，所述發(fā)送裝置還包括：冗余編碼單元，基 于所述冗余碼強(qiáng)度分別確定所述各實(shí)時(shí)流的冗余碼量，并生成冗余碼分組。
[0172] 此外，上述各實(shí)施方式中，作為質(zhì)量控制信息，作為例子列舉了同步參數(shù)和保護(hù)強(qiáng) 度，但本發(fā)明并不限于此。例如，各實(shí)施方式中，也能夠使用實(shí)時(shí)流的種類、實(shí)時(shí)流的優(yōu)先 級(jí)、實(shí)時(shí)流的復(fù)雜度、實(shí)時(shí)流間的關(guān)聯(lián)度等其他信息。
[0173] 在2012年6月4曰申請(qǐng)的特愿第2012-127324號(hào)的日本專利申請(qǐng)所包含的說明 書、附圖和說明書摘要的公開內(nèi)容全部引用于本申請(qǐng)。
[0174] 工業(yè)實(shí)用性
[0175] 本發(fā)明適合用于以因特網(wǎng)等盡力服務(wù)網(wǎng)絡(luò)傳輸多個(gè)實(shí)時(shí)流的系統(tǒng)的發(fā)送裝置。
【權(quán)利要求】
1. 發(fā)送裝置，其復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的網(wǎng)絡(luò)發(fā)送至接收裝置，包 括： 質(zhì)量控制信息保持單元，保持用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信 息； 延遲量指示單元，根據(jù)表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì) 所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定重發(fā)上限次數(shù)；以及 重發(fā)控制單元，基于來自所述接收裝置的重發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá) 到所述重發(fā)上限次數(shù)為止。
2. 如權(quán)利請(qǐng)求1所述的發(fā)送裝置，還包括： 恢復(fù)強(qiáng)度指示單元，根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流 的每一個(gè)流設(shè)定冗余碼強(qiáng)度；以及 冗余編碼單元，基于所述冗余碼強(qiáng)度，分別確定所述各實(shí)時(shí)流的冗余碼量，并生成冗余 碼分組。
3. 如權(quán)利請(qǐng)求1所述的發(fā)送裝置， 所述質(zhì)量控制信息包含所述實(shí)時(shí)流的保護(hù)強(qiáng)度、所述實(shí)時(shí)流的種類、所述實(shí)時(shí)流的優(yōu) 先級(jí)以及所述實(shí)時(shí)流間的關(guān)聯(lián)度中的至少一個(gè)。
4. 接收裝置，其通過發(fā)生分組損失的網(wǎng)絡(luò)，接收由發(fā)送裝置進(jìn)行了復(fù)用的多個(gè)實(shí)時(shí)流， 包括： 接收單元，從所述發(fā)送裝置接收重發(fā)上限次數(shù)，該重發(fā)上限次數(shù)是根據(jù)表示所述網(wǎng)絡(luò) 的狀況的傳輸質(zhì)量信息以及用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息而 設(shè)定的； 保持期間指示單元，基于所述重發(fā)上限次數(shù)，設(shè)定保持分組的時(shí)間；以及 緩沖單元，在所述設(shè)定的時(shí)間內(nèi)，保持從所述發(fā)送裝置發(fā)送來的實(shí)時(shí)流的分組，在發(fā)生 了分組損失時(shí)，對(duì)所述發(fā)送裝置發(fā)送重發(fā)請(qǐng)求，直至達(dá)到重發(fā)上限次數(shù)為止。
5. 如權(quán)利要求4所述的接收裝置， 所述接收單元接收所述發(fā)送裝置根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息設(shè)定的 冗余碼強(qiáng)度， 所述接收裝置還包括： 冗余碼解碼單元，基于所述冗余碼強(qiáng)度，累積所述各實(shí)時(shí)流的分組，并執(zhí)行使用冗余碼 分組來恢復(fù)在所述網(wǎng)絡(luò)中損失的分組的處理；以及 傳輸質(zhì)量信息生成單元，生成所述傳輸質(zhì)量信息并發(fā)送至所述發(fā)送裝置。
6. 接收裝置，其通過發(fā)生分組損失的網(wǎng)絡(luò)，接收由發(fā)送裝置進(jìn)行了復(fù)用的多個(gè)實(shí)時(shí)流， 包括： 質(zhì)量控制信息保持單元，保持用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信 息； 傳輸質(zhì)量信息生成單元，生成表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息； 延遲量指示單元，根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的 每一個(gè)流設(shè)定重發(fā)上限次數(shù)，并將所述重發(fā)上限次數(shù)發(fā)送至所述發(fā)送裝置； 保持期間指示單元，基于所述重發(fā)上限次數(shù)，設(shè)定保持分組的時(shí)間；以及 緩沖單元，在由所述保持期間指示單元指示的時(shí)間內(nèi)，保持從所述發(fā)送裝置發(fā)送來的 實(shí)時(shí)流的分組，在發(fā)生了分組損失時(shí)，對(duì)所述發(fā)送裝置發(fā)送重發(fā)請(qǐng)求，直至達(dá)到重發(fā)上限次 數(shù)為止。
7. 如權(quán)利要求6所述的接收裝置，還包括： 恢復(fù)強(qiáng)度指示單元，根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流 的每一個(gè)流設(shè)定冗余碼強(qiáng)度，并將所述冗余碼強(qiáng)度發(fā)送至所述發(fā)送裝置；以及 冗余碼解碼單元，基于所述冗余碼強(qiáng)度，累積所述各實(shí)時(shí)流的分組，并執(zhí)行使用冗余碼 分組來恢復(fù)在所述網(wǎng)絡(luò)中損失的分組的處理。
8. 如權(quán)利要求6所述的接收裝置， 所述質(zhì)量控制信息包含所述實(shí)時(shí)流的保護(hù)強(qiáng)度、所述實(shí)時(shí)流的種類、所述實(shí)時(shí)流的優(yōu) 先級(jí)以及所述實(shí)時(shí)流間的關(guān)聯(lián)度中的至少一個(gè)。
9. 發(fā)送裝置，其復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的網(wǎng)絡(luò)發(fā)送至接收裝置，包 括： 接收單元，接收重發(fā)上限次數(shù)，該重發(fā)上限次數(shù)是所述接收裝置根據(jù)表示所述網(wǎng)絡(luò)的 狀況的傳輸質(zhì)量信息、以及用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息而設(shè) 定的；以及 重發(fā)控制單元，基于來自所述接收裝置的重發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá) 到所述重發(fā)上限次數(shù)為止。
10. 如權(quán)利請(qǐng)求9所述的發(fā)送裝置， 所述接收單元接收所述接收裝置根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息設(shè)定的 冗余碼強(qiáng)度， 所述發(fā)送裝置還包括：冗余編碼單元，基于所述冗余碼強(qiáng)度分別確定所述各實(shí)時(shí)流的 冗余碼量，并生成冗余碼分組。
11. 發(fā)送方法，用于發(fā)送裝置，該發(fā)送裝置復(fù)用多個(gè)實(shí)時(shí)流并將其通過發(fā)生分組損失的 網(wǎng)絡(luò)發(fā)送至接收裝置，該方法包括如下步驟： 保持用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息的步驟； 根據(jù)表示所述網(wǎng)絡(luò)的狀況的傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的 每一個(gè)流設(shè)定重發(fā)上限次數(shù)的步驟；以及 基于來自所述接收裝置的重發(fā)請(qǐng)求，重發(fā)所述各實(shí)時(shí)流的分組，直至達(dá)到所述重發(fā)上 限次數(shù)為止的步驟。
12. 如權(quán)利要求11所述的發(fā)送方法，還包括如下步驟： 根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息，對(duì)所述多個(gè)實(shí)時(shí)流的每一個(gè)流設(shè)定冗余 碼強(qiáng)度的步驟；以及 基于所述冗余碼強(qiáng)度，分別確定所述各實(shí)時(shí)流的冗余碼量，并生成冗余碼分組的步驟。
13. 接收方法，用于接收裝置，該接收裝置通過發(fā)生分組損失的網(wǎng)絡(luò)，接收由發(fā)送裝置 進(jìn)行了復(fù)用的多個(gè)實(shí)時(shí)流，該方法包括如下步驟： 接收重發(fā)上限次數(shù)的步驟，該重發(fā)上限次數(shù)是所述發(fā)送裝置根據(jù)表示所述網(wǎng)絡(luò)的狀 況的傳輸質(zhì)量信息以及用戶設(shè)定的用于控制各實(shí)時(shí)流的傳輸質(zhì)量的質(zhì)量控制信息而設(shè)定 的； 基于所述重發(fā)上限次數(shù)，設(shè)定保持分組的時(shí)間的步驟；以及 在所述設(shè)定的時(shí)間內(nèi)，保持從所述發(fā)送裝置發(fā)送來的實(shí)時(shí)流的分組，在發(fā)生了分組損 失時(shí)，對(duì)所述發(fā)送裝置發(fā)送重發(fā)請(qǐng)求，直至達(dá)到重發(fā)上限次數(shù)為止的步驟。
14.如權(quán)利要求13所述的接收方法，還包括如下步驟： 接收所述發(fā)送裝置根據(jù)所述傳輸質(zhì)量信息和所述質(zhì)量控制信息設(shè)定的冗余碼強(qiáng)度的 步驟； 基于所述冗余碼強(qiáng)度，累積所述各實(shí)時(shí)流的分組，并執(zhí)行使用冗余碼分組來恢復(fù)在所 述網(wǎng)絡(luò)中損失的分組的處理的步驟；以及 生成所述傳輸質(zhì)量信息并發(fā)送至所述發(fā)送裝置的步驟。
【文檔編號(hào)】H04L1/16GK104221317SQ201380019679
【公開日】2014年12月17日 申請(qǐng)日期:2013年5月20日 優(yōu)先權(quán)日:2012年6月4日
【發(fā)明者】村本衛(wèi)一, 米田孝弘 申請(qǐng)人:松下知識(shí)產(chǎn)權(quán)經(jīng)營(yíng)株式會(huì)社