專(zhuān)利名稱(chēng)：媒體流式傳輸分發(fā)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及媒體流式傳輸(streaming)，尤其是涉及以下情況下的流式傳輸，其中在流傳輸路徑上的延遲變得比傳輸路徑的中間位置的延遲大，例如媒體流經(jīng)過(guò)末段(last-hop)的無(wú)線蜂窩鏈路被發(fā)送給客戶(hù)的情況。注意，雖然在以下說(shuō)明中取無(wú)線蜂窩鏈路作為具有大延遲的傳輸路徑的例子，但是本發(fā)明不限于此。
背景技術(shù)：
近些年來(lái)，由于通信技術(shù)的快速發(fā)展，通過(guò)無(wú)線通信執(zhí)行多媒體傳輸已成為可能。為了使接收無(wú)線數(shù)據(jù)傳輸?shù)目蛻?hù)實(shí)時(shí)地重放多媒體，通信路徑上的服務(wù)質(zhì)量(QoS)控制(傳輸速率控制和分組丟失復(fù)原能力控制)變得重要。
以下所示的非專(zhuān)利文件1公開(kāi)了無(wú)線基站包括在整形點(diǎn)(流量控制點(diǎn))之后的實(shí)時(shí)傳輸協(xié)議(RTP)監(jiān)控代理。RTP監(jiān)控代理監(jiān)控到達(dá)無(wú)線基站并且要經(jīng)過(guò)無(wú)線蜂窩鏈路被傳送的多媒體流，并且把指示從媒體服務(wù)器到無(wú)線基站的有線網(wǎng)絡(luò)中的擁塞狀態(tài)的信息反饋給媒體服務(wù)器。從無(wú)線基站無(wú)線地接收數(shù)據(jù)分組的客戶(hù)根據(jù)實(shí)時(shí)傳輸控制協(xié)議(RTCP)向媒體服務(wù)器發(fā)送接收確認(rèn)信息。
媒體服務(wù)器根據(jù)來(lái)自RTP監(jiān)控代理的反饋信息和來(lái)自客戶(hù)的接收?qǐng)?bào)告，確定有線網(wǎng)絡(luò)中的擁塞狀態(tài)和無(wú)線鏈路上的鏈路錯(cuò)誤條件。當(dāng)由于有線網(wǎng)絡(luò)中的擁塞造成了分組丟失時(shí)，媒體服務(wù)器減小媒體流傳輸速率，當(dāng)由于無(wú)線鏈路中的錯(cuò)誤造成了分組丟失時(shí)，媒體服務(wù)器提高媒體編碼的分組丟失復(fù)原能力。例如，可以通過(guò)提高視頻編碼中的幀內(nèi)編碼率來(lái)提高分組丟失復(fù)原能力。
在該類(lèi)型的常規(guī)技術(shù)中，一旦發(fā)生分組丟失，則在提高分組丟失復(fù)原能力之前，需要相當(dāng)多的時(shí)間。在由于響應(yīng)有線網(wǎng)絡(luò)中的擁塞的流量控制由網(wǎng)絡(luò)隊(duì)列將視頻流中包含幀內(nèi)編碼畫(huà)面(I畫(huà)面)的分組丟棄，然后多個(gè)隨后的預(yù)測(cè)編碼畫(huà)面(P畫(huà)面)的分組經(jīng)過(guò)末段的無(wú)線鏈路被發(fā)送的情況下，因?yàn)椴荒塬@得所需的作為重構(gòu)P畫(huà)面的參考的I畫(huà)面，因此客戶(hù)不能重構(gòu)這些P畫(huà)面。而且，即使當(dāng)P畫(huà)面被丟棄了，在下一個(gè)I畫(huà)面到達(dá)之前，取決于該丟棄的P畫(huà)面的所有P畫(huà)面都不能被重構(gòu)。在一般的傳輸控制協(xié)議(TCP)通信中，根據(jù)反饋信息重發(fā)丟失的分組。然而，在其中媒體被實(shí)時(shí)地重構(gòu)和重放的流式傳輸(streaming)中，在客戶(hù)的緩沖器尺寸小的這種情況下，重發(fā)可能太遲。當(dāng)由于有線網(wǎng)絡(luò)中的擁塞造成了分組被丟棄時(shí)，不僅丟棄的分組發(fā)生了重構(gòu)錯(cuò)誤，而且在隨后成功收到的分組中包含的P畫(huà)面也發(fā)生了重構(gòu)錯(cuò)誤。
因此，需要減小這種錯(cuò)誤傳播現(xiàn)象，即在從低速通信如無(wú)線通信的基站向上的網(wǎng)絡(luò)中發(fā)生的分組丟失對(duì)隨后的分組中包含的媒體的重構(gòu)有影響。

發(fā)明內(nèi)容
根據(jù)本發(fā)明一方面的媒體流式傳輸(streaming)傳送系統(tǒng)包括媒體傳送設(shè)備，用于根據(jù)實(shí)時(shí)傳輸協(xié)議以分組的形式向網(wǎng)絡(luò)發(fā)送媒體流；以及連接到網(wǎng)絡(luò)的無(wú)線基站，用于通過(guò)低速通信如無(wú)線電通信發(fā)送媒體流。該系統(tǒng)還包括分組分析設(shè)備，用于監(jiān)控到達(dá)無(wú)線基站的分組以及向媒體傳送設(shè)備發(fā)送與分組丟失有關(guān)的反饋信息。
根據(jù)本發(fā)明的另一方面，提供一種在上述系統(tǒng)中包括的媒體傳送設(shè)備。
根據(jù)本發(fā)明的實(shí)施例，分組分析設(shè)備把分組頭中包含的順序號(hào)作為反饋信息發(fā)送給媒體傳送設(shè)備。
此外，在本發(fā)明的實(shí)施例中，媒體傳送設(shè)備根據(jù)反饋信息確定分組丟失，并且取決于確定的分組丟失，改變媒體流以便減小分組丟失的影響。
根據(jù)本發(fā)明的實(shí)施例，媒體流是包括一序列I畫(huà)面和P畫(huà)面的電影。媒體傳送設(shè)備包括存儲(chǔ)器，該存儲(chǔ)器用于存儲(chǔ)一個(gè)電影的多個(gè)媒體流，所述多個(gè)媒體流至少包括以第一配置包含I畫(huà)面的第一媒體流和以不同于第一配置的第二配置包含I畫(huà)面的第二媒體流。
媒體傳送設(shè)備還包括切換裝置，其用于響應(yīng)分組丟失的確定，為已發(fā)生丟失的目的地選擇其中在丟失分組中的畫(huà)面之后的第一I畫(huà)面最早出現(xiàn)在多個(gè)媒體流當(dāng)中的媒體流，以及把要發(fā)送的媒體流切換到選擇的媒體流。這樣能夠減少錯(cuò)誤傳播現(xiàn)象，即分組丟失對(duì)隨后分組中包含的媒體的重放有影響。
在本發(fā)明的實(shí)施例中，提供具有不同的幀內(nèi)編碼I畫(huà)面的頻率的媒體流，并且響應(yīng)分組丟失把媒體流切換到具有更高的I畫(huà)面頻率的媒體流。
此外，根據(jù)本發(fā)明的另一方面，媒體傳送設(shè)備還包括用于產(chǎn)生媒體流的編碼設(shè)備。該編碼設(shè)備被配置成響應(yīng)分組丟失的確定產(chǎn)生以I畫(huà)面開(kāi)始的媒體流。
根據(jù)本發(fā)明的實(shí)施例，編碼設(shè)備根據(jù)來(lái)自分組分析設(shè)備的反饋信息響應(yīng)分組丟失的檢測(cè)，至少為被發(fā)送給已發(fā)生丟失的客戶(hù)的媒體流提高I畫(huà)面的頻率。
此外，根據(jù)本發(fā)明的實(shí)施例，媒體傳送設(shè)備從作為媒體流的目的地的無(wú)線終端接收關(guān)于分組接收的客戶(hù)反饋信息，并且根據(jù)客戶(hù)反饋信息和來(lái)自分組分析設(shè)備的反饋信息判斷是在網(wǎng)絡(luò)中的有線傳輸中還是在從無(wú)線基站的無(wú)線傳輸中發(fā)生了分組丟失。
此外，在本發(fā)明的實(shí)施例中，媒體傳送設(shè)備根據(jù)關(guān)于分組丟失的反饋信息執(zhí)行分組重發(fā)。
此外，根據(jù)本發(fā)明的實(shí)施例，根據(jù)來(lái)自媒體流中繼設(shè)備和終端兩者的反饋，來(lái)獲得從媒體傳送設(shè)備到中繼設(shè)備的傳輸速率和從中繼設(shè)備到終端的傳輸速率，并且把剩余帶寬用于更大傳輸速率的一側(cè)的重發(fā)和前向錯(cuò)誤校正，由此提高通信質(zhì)量。


圖1所示框圖顯示了本發(fā)明實(shí)施例的概念。
圖2所示框圖顯示了本發(fā)明實(shí)施例的結(jié)構(gòu)。
圖3所示框圖顯示了本發(fā)明的替換實(shí)施例的結(jié)構(gòu)。
圖4所示的圖顯示了視頻壓縮編碼格式的例子。
圖5所示的圖顯示了運(yùn)動(dòng)圖像專(zhuān)家組(MPEG)I畫(huà)面和P畫(huà)面序列的例子。
圖6所示的順序圖顯示了根據(jù)本發(fā)明第一實(shí)施例和第二實(shí)施例的通信順序。
圖7所示框圖顯示了本發(fā)明又一實(shí)施例的概念。
圖8所示框圖顯示了圖7中的實(shí)施例的詳細(xì)結(jié)構(gòu)。
圖9所示的順序圖顯示了根據(jù)本發(fā)明第三實(shí)施例的通信順序。
具體實(shí)施例方式
以下將參照

本發(fā)明的實(shí)施例。圖1所示框圖顯示了本發(fā)明的實(shí)施例的總體結(jié)構(gòu)。媒體傳送設(shè)備11執(zhí)行多媒體的實(shí)時(shí)傳送。多媒體包括圖像、音頻、文本、圖形等，每一種多媒體的流被分組發(fā)送，并且由接收設(shè)備實(shí)時(shí)地重構(gòu)和重放。在以下說(shuō)明中，相對(duì)于視頻流來(lái)說(shuō)明這些媒體。媒體傳送設(shè)備11能夠以點(diǎn)播發(fā)送的形式傳送媒體流，或者以廣播的形式傳送媒體流。
當(dāng)媒體傳送請(qǐng)求來(lái)自無(wú)線終端19，如移動(dòng)電話、便攜式終端(PDA，個(gè)人數(shù)字助理)、配有無(wú)線通信設(shè)備的計(jì)算機(jī)，媒體傳送設(shè)備11就把媒體流分組，將實(shí)時(shí)傳輸協(xié)議(RTP)頭和網(wǎng)際協(xié)議(IP)頭加到媒體流分組上，并且經(jīng)由有線網(wǎng)絡(luò)21發(fā)送媒體流分組。分組根據(jù)IP被路由，并且到達(dá)無(wú)線基站10。IP是一種無(wú)連接通信協(xié)議，當(dāng)網(wǎng)絡(luò)上發(fā)生擁塞時(shí)，溢出網(wǎng)絡(luò)隊(duì)列中的分組可以從網(wǎng)絡(luò)被丟棄。
無(wú)線基站10把從網(wǎng)絡(luò)21收到的分組發(fā)送給無(wú)線終端19。根據(jù)本發(fā)明，為無(wú)線基站10提供分組分析設(shè)備15，其監(jiān)控到達(dá)無(wú)線基站10的媒體流分組。可以通過(guò)IP頭中包括的一對(duì)源地址和目的地址以及用戶(hù)數(shù)據(jù)報(bào)協(xié)議(UDP)頭中包括的一對(duì)源端口號(hào)和目的端口號(hào)，來(lái)識(shí)別被發(fā)送到特定的無(wú)線終端19的一序列媒體流分組。如以下將要說(shuō)明的，RTP頭被包括在分組中，且RTP頭包括相對(duì)于媒體流中的該分組唯一的順序號(hào)。
當(dāng)檢測(cè)到具有相同的源地址和目的地址以及相同的源端口號(hào)和目的端口號(hào)的一序列分組的流動(dòng)時(shí)，分組分析設(shè)備15把RTP頭中包含的分組號(hào)的反饋(ACK，確認(rèn))提供給媒體傳送設(shè)備11。媒體傳送設(shè)備11能夠由該反饋信息檢測(cè)分組丟失。當(dāng)媒體傳送設(shè)備11由分組順序號(hào)檢測(cè)到I畫(huà)面分組丟失了，媒體格式被切換到具有更高的I畫(huà)面頻率的格式。
利用該操作，無(wú)線終端19能夠早一些收到I畫(huà)面，因此能夠防止視頻重構(gòu)質(zhì)量的下降。
接下來(lái)參考圖2對(duì)本發(fā)明的實(shí)施例進(jìn)行更詳細(xì)的說(shuō)明。媒體傳送設(shè)備11以?xún)煞N不同的格式把視頻內(nèi)容A、B、C和D存儲(chǔ)到多媒體內(nèi)容數(shù)據(jù)庫(kù)27中。即，視頻A以第一格式被存儲(chǔ)為視頻內(nèi)容A1，以第二格式被存儲(chǔ)為A2。類(lèi)似，視頻B以第一格式被存儲(chǔ)為B1，以第二格式被存儲(chǔ)為B2，視頻C以第一格式被存儲(chǔ)為C1，以第二格式被存儲(chǔ)為C2。
圖5顯示了兩種格式的例子。圖5(A)顯示了第一格式的例子，圖5(B)顯示了第二格式的例子。第二格式被設(shè)置為具有比第一格式更高的I畫(huà)面頻率。在圖5中，I表示幀內(nèi)編碼的I畫(huà)面，P表示基于I畫(huà)面被預(yù)測(cè)編碼的P畫(huà)面。當(dāng)在I畫(huà)面與P畫(huà)面之間有另一個(gè)前面的P畫(huà)面，則P畫(huà)面基于I畫(huà)面和該前面的P畫(huà)面被預(yù)測(cè)編碼。在該實(shí)施例中，電影按照MPEG4被編碼。
根據(jù)MPEG4標(biāo)準(zhǔn)，輸入圖像的幀(畫(huà)面)被分類(lèi)為I畫(huà)面和P畫(huà)面，其中對(duì)于每一I畫(huà)面，只利用該幀的信息對(duì)其進(jìn)行編碼，與其它幀中的圖像無(wú)關(guān)，對(duì)于每一P畫(huà)面，基于I畫(huà)面對(duì)其進(jìn)行預(yù)測(cè)；并且殘余預(yù)測(cè)誤差被編碼用于傳輸。
每一I畫(huà)面和P畫(huà)面都通過(guò)離散余弦變換(DCT)被轉(zhuǎn)換成DCT系數(shù)。DCT系數(shù)和運(yùn)動(dòng)矢量信息被加密編碼。此時(shí)，一幅畫(huà)面被分為8×8的象素塊，并且對(duì)每一象素塊執(zhí)行DCT。四個(gè)相鄰的象素塊組合成一個(gè)宏塊(MB)，多個(gè)宏塊組合為一塊組(GOB)。如圖4(B)所示，多個(gè)宏塊被置于一個(gè)分組內(nèi)并被發(fā)送。
在該實(shí)施例中，媒體傳送設(shè)備11執(zhí)行點(diǎn)播多媒體傳送。在圖中只顯示了視頻內(nèi)容，但是將與視頻同步的且被重構(gòu)的音頻內(nèi)容也類(lèi)似地存儲(chǔ)在數(shù)據(jù)庫(kù)中，且與視頻內(nèi)容并行地被發(fā)送。
格式切換部分29響應(yīng)來(lái)自反饋控制部分35的指令，把從數(shù)據(jù)庫(kù)27中提取的內(nèi)容在第一格式與第二格式之間切換。
分組分析設(shè)備15中包括的多媒體流檢測(cè)部分37從到達(dá)無(wú)線基站10的IP分組當(dāng)中檢測(cè)包含RTP頭的分組，并且根據(jù)分組的一對(duì)源地址和目的地址以及一對(duì)源端口號(hào)和目的端口號(hào)檢測(cè)多媒體流。RTP頭監(jiān)控部分39監(jiān)控在多媒體流檢測(cè)部分37檢測(cè)到的多媒體流IP分組中包含的RTP頭，并檢查在RTP頭中包含的分組順序號(hào)。當(dāng)通過(guò)檢查跨過(guò)多個(gè)分組的順序號(hào)檢測(cè)到順序號(hào)的丟失時(shí)，RTP頭監(jiān)控部分39把用于識(shí)別丟失的IP分組的信息發(fā)送給反饋發(fā)生器41。在一個(gè)實(shí)施例中，用于識(shí)別IP分組的信息包括源地址、目的地址以及丟失的RTP分組的順序號(hào)。此外，在另一實(shí)施例中，RTP監(jiān)控部分39不是把丟失的RTP分組的順序號(hào)發(fā)送給反饋發(fā)生器41，而是每當(dāng)檢測(cè)到RTP分組就把RTP分組的順序號(hào)發(fā)送給反饋發(fā)生器41。
一旦收到每一RTP分組，反饋發(fā)生器41就將該RTP分組的順序號(hào)作為ACK返回給源地址。在替換的實(shí)施例中，反饋發(fā)生器41響應(yīng)發(fā)自RTP頭監(jiān)控部分39的信息，根據(jù)一序列RTP分組的順序號(hào)判定在預(yù)定的時(shí)期內(nèi)是否有RTP分組丟失了，并把丟失的RTP分組的順序號(hào)發(fā)送給源地址。在這種情況下的反饋中，實(shí)時(shí)傳輸控制協(xié)議(RTCP)也可以被擴(kuò)展和發(fā)送。這些被發(fā)送到有線網(wǎng)絡(luò)21。
媒體傳送設(shè)備11的反饋控制部分35從分組分析設(shè)備15接收反饋信息，并且響應(yīng)丟失分組的順序號(hào)的接收，發(fā)送媒體格式切換指令給格式切換部分29。在另一實(shí)施例中，反饋控制部分35根據(jù)發(fā)自分組分析設(shè)備15的ACK信息監(jiān)控丟失的分組的順序號(hào)，并且當(dāng)檢測(cè)到丟失的分組時(shí)，發(fā)送媒體格式切換指令給格式切換部分29。
在所有的實(shí)施例中，當(dāng)檢測(cè)到分組丟失時(shí)，反饋控制部分35發(fā)送格式切換指令給格式切換部分29。當(dāng)丟失的分組是P畫(huà)面的，其影響小于I畫(huà)面的情況。因此，如果切換的作用較小(例如，當(dāng)在下一個(gè)I畫(huà)面之前只有幾個(gè)P畫(huà)面時(shí)等)，可以忽略格式切換。
現(xiàn)在，假設(shè)第一格式的媒體A1被提供給無(wú)線終端19，格式切換部分29把流切換到第二格式的媒體A2。再參考圖5(A)，在媒體A1流中，假設(shè)丟失的是一個(gè)或多個(gè)包含I畫(huà)面51的宏塊的分組，或者是包含P畫(huà)面51a的宏塊的分組。格式切換部分29響應(yīng)來(lái)自反饋控制部分35的指令，把媒體切換到第二格式的A2，并且在媒體A1中的I畫(huà)面51或P畫(huà)面51a丟失之后，從最先出現(xiàn)在媒體A2中的I畫(huà)面57開(kāi)始發(fā)送。
在無(wú)線終端19，因?yàn)橐粋€(gè)或多個(gè)I畫(huà)面51的分組或P畫(huà)面51a的分組丟失了，因此隨后的根據(jù)I畫(huà)面51或P畫(huà)面51a被編碼的P畫(huà)面51b、51c、51d和51e不能被正確地重構(gòu)。然而，媒體傳送設(shè)備11把媒體格式切換到具有更高的I畫(huà)面頻率的第二格式，并且從圖5(B)所示的第二格式的I畫(huà)面57開(kāi)始發(fā)送。因此，無(wú)線終端19能夠正確地從I畫(huà)面57重構(gòu)媒體。
圖6顯示了在根據(jù)本發(fā)明的媒體傳送系統(tǒng)中的通信和處理順序的例子。
從數(shù)據(jù)庫(kù)27中提取的內(nèi)容在分組部分31被分組，然后從流發(fā)送部分33被發(fā)到有線網(wǎng)絡(luò)21。參考圖6，流發(fā)送部分33執(zhí)行RTP處理例程111和RTCP處理例程113。
RTP處理例程111把用于識(shí)別壓縮編碼格式的壓縮碼頭加到對(duì)應(yīng)于一個(gè)分組的壓縮數(shù)據(jù)上，并且還添加RTP頭、UDP頭和IP頭。圖4(A)顯示了這種分組格式的例子。RTP頭包含分組順序號(hào)。用隨機(jī)數(shù)確定該順序號(hào)的初始值，并且把從該初始值開(kāi)始的序號(hào)加到每一分組。RTP頭包含同步源(SSRC)標(biāo)識(shí)符。對(duì)于該標(biāo)識(shí)符，相同的值被加到應(yīng)該被組合處理的多個(gè)流上，例如，同一用戶(hù)的聲音流和圖像流。
處理例程111向RTP分組添加RTP頭、UDP頭和IP頭，以便根據(jù)UDP/IP協(xié)議進(jìn)行傳輸。IP頭包含指示傳輸源的源地址，和指示客戶(hù)的目的地址。而且，UDP頭包含指示傳輸源的端口號(hào)的源端口號(hào)，和指示客戶(hù)的端口號(hào)的目的端口號(hào)。
圖4(B)顯示了一幀中的畫(huà)面怎樣按照MPEG標(biāo)準(zhǔn)被分為多個(gè)分組并被發(fā)送。例如，由于I畫(huà)面的大信息容量，I畫(huà)面被分為多個(gè)分組，然后被發(fā)送。當(dāng)在網(wǎng)絡(luò)上發(fā)生大量擁塞時(shí)，可以丟棄一部分I畫(huà)面分組，并且有可能完整的I畫(huà)面沒(méi)有到達(dá)無(wú)線終端19。在圖4(B)中，GOB表示一塊組，MB表示宏塊。
RTCP處理例程113與發(fā)送RTP分組的網(wǎng)絡(luò)交換控制信息。RTCP(RTP控制協(xié)議)是一種補(bǔ)充RTP的協(xié)議，其中發(fā)送設(shè)備和接收設(shè)備相互通知控制信息，由此實(shí)現(xiàn)流量控制、時(shí)鐘同步，以及媒體之間例如音頻數(shù)據(jù)和視頻數(shù)據(jù)之間的同步。
在RTP分組發(fā)送之前，RTCP處理例程113把作為信息源的描述的源描述(SDES)轉(zhuǎn)變成RTCP分組115，并利用添加了IP頭和UDP頭的UDP/IP協(xié)議將其發(fā)送到網(wǎng)絡(luò)上。此后，RTP處理例程111按順序向網(wǎng)絡(luò)發(fā)送RTP分組117、119和121。
在圖2中，位于無(wú)線基站10前面的整形點(diǎn)(shaping point)13代表一個(gè)或多個(gè)中繼設(shè)備，其管理從媒體傳送設(shè)備11到無(wú)線基站的路徑上的有線網(wǎng)絡(luò)中的流量控制。無(wú)線基站10配有例如作為整形點(diǎn)的對(duì)應(yīng)部件的3層交換機(jī)(layer 3 switch)，用于緩沖以高速?gòu)挠芯€網(wǎng)絡(luò)21收到的分組，以及以適于無(wú)線基站10的無(wú)線部分的處理速度的速度將收到的分組提供給無(wú)線基站10的無(wú)線部分。
參考圖6，根據(jù)RTCP分組115和隨后的RTP分組117、119和121，無(wú)線基站10的分組分析設(shè)備15檢測(cè)到它們是同一媒體流的部分，并且由在預(yù)定時(shí)期內(nèi)收到的分組計(jì)算分組丟失率、不穩(wěn)定性等(131)。然后，分組分析設(shè)備15將這些信息加到要發(fā)往媒體傳送設(shè)備11的RTCP分組上，并把該RTCP分組發(fā)送到有線網(wǎng)絡(luò)上。
每當(dāng)分組分析設(shè)備15檢測(cè)到來(lái)自媒體傳送設(shè)備11的同一媒體流的RTP分組，它就把包含該RTP分組的順序號(hào)的接收確認(rèn)信號(hào)(ACK)發(fā)送給媒體傳送設(shè)備11。在替換的實(shí)施例中，分組分析設(shè)備15不是每當(dāng)收到RTP分組就返回ACK，而是監(jiān)控屬于同一媒體流的RTP分組的順序號(hào)是否相連。當(dāng)分組分析設(shè)備15檢測(cè)到順序號(hào)遺漏了，它就把包含丟失的RTP分組的順序號(hào)的接收失敗信號(hào)(NACK)發(fā)送給媒體傳送設(shè)備11。
在媒體傳送設(shè)備11的RTCP處理例程113中，當(dāng)收到作為已發(fā)出的RTCP分組115的響應(yīng)的RTCP分組133時(shí)，取決于分組丟棄率和其中包含的其它控制信息，改變要發(fā)出的媒體流的傳輸速率。而且，當(dāng)在RTCP處理例程113中檢測(cè)到的分組丟失率較高時(shí)，反饋控制部分35向格式切換部分29(圖2)發(fā)送控制信號(hào)，以便把隨后的媒體流格式切換到具有更高的I畫(huà)面頻率的格式。
在媒體傳送設(shè)備11的RTP處理例程111中，每當(dāng)收到來(lái)自無(wú)線基站10的ACK分組105、107和109，在ACK分組中包含的從無(wú)線基站10收到的RTP分組的順序號(hào)就被傳送給反饋控制部分35。反饋控制部分35檢查是否有任何發(fā)出的分組沒(méi)有到達(dá)無(wú)線基站10，即是否有任何分組丟失了(141)。當(dāng)反饋控制部分35檢測(cè)到分組丟失了，然后反饋控制部分35判斷在該丟失的RTP分組中包含的數(shù)據(jù)是否為I畫(huà)面(143)。當(dāng)丟失的RTP分組是I畫(huà)面時(shí)，上述的格式切換過(guò)程(145)立即開(kāi)始。
在步驟143，當(dāng)確定丟失的分組是P畫(huà)面時(shí)，然后確定丟失的分組是否達(dá)到P畫(huà)面丟失時(shí)的重發(fā)設(shè)置基準(zhǔn)(147)。當(dāng)P畫(huà)面分組丟失時(shí)，其影響小于I畫(huà)面的情況。因此，當(dāng)達(dá)到預(yù)定的基準(zhǔn)值時(shí)，切換格式(149)，并且在達(dá)到該基準(zhǔn)值之前，不切換格式。例如，可以這樣設(shè)置基準(zhǔn)值，以至在下一個(gè)I畫(huà)面之前只有幾個(gè)P畫(huà)面的情況下，不切換格式。
無(wú)線基站10的無(wú)線部分無(wú)線地發(fā)送收到的IP分組。無(wú)線終端19接收無(wú)線通信，并重構(gòu)媒體流。無(wú)線地發(fā)送和接收IP分組是公知的技術(shù)，因此省略其詳細(xì)說(shuō)明。
取決于無(wú)線終端19的結(jié)構(gòu)，無(wú)線終端19能夠向媒體傳送設(shè)備11發(fā)送ACK信號(hào)。特別是，符合第三代伙伴計(jì)劃(3GPP)標(biāo)準(zhǔn)的無(wú)線終端不能象分組分析設(shè)備15一樣發(fā)送ACK分組。當(dāng)不需要符合該標(biāo)準(zhǔn)時(shí)，可以把無(wú)線終端構(gòu)造成發(fā)送ACK分組。反饋控制部分35比較來(lái)自分組分析設(shè)備15的反饋信息與來(lái)自無(wú)線終端19的信息，由此可以知道從無(wú)線基站10到無(wú)線終端19的無(wú)線通信的質(zhì)量。當(dāng)判定無(wú)線通信的質(zhì)量較低時(shí)，反饋控制部分35向格式切換部分29發(fā)出指令，以便把媒體格式切換到具有更高的I畫(huà)面頻率的格式。媒體的格式不僅僅有兩種類(lèi)型?？梢允褂枚喾N類(lèi)型的格式，并且取決于通信狀態(tài)，可以在多種格式之間切換。例如，當(dāng)以具有較高的I畫(huà)面頻率的格式執(zhí)行傳輸時(shí)，如果檢測(cè)到足夠好的通信狀態(tài)，則可以將格式切換到具有更低的I畫(huà)面頻率的格式。這樣，媒體傳送設(shè)備11可以調(diào)節(jié)流傳輸?shù)呢?fù)荷。
接下來(lái)參考圖3說(shuō)明本發(fā)明的另一實(shí)施例。在圖3中，用相同的附圖標(biāo)記表示與圖2中的實(shí)施例相似的元件。在媒體傳送設(shè)備11處，輸入的圖像30被編碼部分28實(shí)時(shí)地壓縮/編碼，然后被分組部分31轉(zhuǎn)變成分組，然后作為媒體流被發(fā)送到有線網(wǎng)絡(luò)21。輸入的圖像30可以是預(yù)先記錄和存儲(chǔ)在存儲(chǔ)設(shè)備中的圖像，或者可以是如在中繼廣播一樣利用攝像機(jī)實(shí)時(shí)捕獲的圖像。
編碼部分28根據(jù)已經(jīng)說(shuō)明的MPEG4標(biāo)準(zhǔn)對(duì)輸入的圖像進(jìn)行編碼。編碼部分28具有自動(dòng)譯碼功能，該譯碼功能響應(yīng)來(lái)自反饋控制部分35的指令，改變編碼中I畫(huà)面的頻率。即，當(dāng)根據(jù)來(lái)自分組分析設(shè)備15的反饋信息檢測(cè)到在到達(dá)無(wú)線基站10的媒體流中丟失了包含I畫(huà)面宏塊的分組時(shí)，編碼部分28切換編碼，以便增加I畫(huà)面的頻率。
接下來(lái)，說(shuō)明根據(jù)來(lái)自無(wú)線基站的反饋執(zhí)行丟失分組的重發(fā)的另一實(shí)施例。
在無(wú)線鏈路中，延時(shí)通常較長(zhǎng)。在媒體傳送設(shè)備與無(wú)線基站之間來(lái)回的時(shí)間比在無(wú)線基站與無(wú)線終端客戶(hù)之間來(lái)回的時(shí)間短得多。因此，根據(jù)被提供給無(wú)線終端的接收緩沖器的尺寸(即由于分組重發(fā)造成的分組到達(dá)可以延遲的程度)，當(dāng)在從媒體傳送設(shè)備到無(wú)線基站的有線網(wǎng)絡(luò)上和從無(wú)線基站到無(wú)線終端的無(wú)線鏈路中有任何分組丟失時(shí)，作為恢復(fù)丟失的分組的一種形式，判斷是在有線網(wǎng)絡(luò)上還是在無(wú)線鏈路上重發(fā)丟失的分組，或者執(zhí)行前向錯(cuò)誤校正(FEC)，以便能夠優(yōu)化每一通信路徑的吞吐量。利用Reed-Solomon編碼或本領(lǐng)域技術(shù)人員公知的其它錯(cuò)誤校正編碼專(zhuān)門(mén)實(shí)現(xiàn)FEC。而且，為了進(jìn)一步提高抗突發(fā)錯(cuò)誤能力，可以執(zhí)行本領(lǐng)域技術(shù)人員公知的交錯(cuò)處理。利用交錯(cuò)來(lái)提高校正突發(fā)錯(cuò)誤的能力的公知例子是例如用于CD-DA的交叉交錯(cuò)Reed-Solomon碼(CIRC)。
為了在適當(dāng)?shù)臅r(shí)間執(zhí)行分組重發(fā)和FEC，根據(jù)無(wú)線終端的接收緩沖器的尺寸可以提供三種方式作為恢復(fù)兩個(gè)通信路徑上的丟失分組的形式。以下詳細(xì)說(shuō)明這些方式。
圖7顯示了擁有這種功能的媒體流傳送系統(tǒng)的總體結(jié)構(gòu)。用相同的附圖標(biāo)記表示與圖1、2、3中相似的組成元件。無(wú)線基站10配有第一反饋部分71，F(xiàn)EC解碼器72，在無(wú)線基站執(zhí)行流量控制的整形點(diǎn)13’，F(xiàn)EC發(fā)生器18，第二反饋部分73，以及無(wú)線發(fā)送設(shè)備14。FEC解碼器72，在利用FEC恢復(fù)網(wǎng)絡(luò)21上的丟失分組的方式(以下說(shuō)明的方式3)下，用于利用被發(fā)送到網(wǎng)絡(luò)21上的錯(cuò)誤校正編碼信息恢復(fù)丟失的分組，以及消除錯(cuò)誤校正碼并把數(shù)據(jù)的主體發(fā)送給下一級(jí)。當(dāng)?shù)竭_(dá)的分組超出了無(wú)線基站的緩沖器容量時(shí)，整形點(diǎn)13’丟棄部分分組。即，整形點(diǎn)13’是用于調(diào)節(jié)分組進(jìn)入無(wú)線鏈路的速率的裝置。FEC發(fā)生器18，在利用FEC恢復(fù)無(wú)線設(shè)備14與無(wú)線終端19之間的無(wú)線鏈路上的丟失分組的方式(以下說(shuō)明的方式2和方式3)下，用于產(chǎn)生錯(cuò)誤校正碼，該錯(cuò)誤校正碼要被附加到將被發(fā)送到無(wú)線鏈路上的數(shù)據(jù)流上。
圖8顯示了在圖7所示系統(tǒng)中的媒體傳送設(shè)備采用格式切換系統(tǒng)的情況下的實(shí)施例。它對(duì)應(yīng)于圖2中的實(shí)施例。多媒體流檢測(cè)部分37’從到達(dá)無(wú)線基站10的IP分組當(dāng)中檢測(cè)包含RTP頭的分組，并根據(jù)分組的一對(duì)源地址和目的地址以及一對(duì)源端口號(hào)和目的端口號(hào)檢測(cè)多媒體流。
RTP頭監(jiān)控部分39’監(jiān)控多媒體流檢測(cè)部分37’檢測(cè)的多媒體流的IP分組中包含的RTP頭，并檢查RTP頭中包含的分組順序號(hào)。根據(jù)跨過(guò)多個(gè)分組的順序號(hào)的檢查，當(dāng)發(fā)現(xiàn)有任何順序號(hào)丟失時(shí)，RTP頭監(jiān)控部分39’就向反饋發(fā)生器41’發(fā)送用于識(shí)別丟失的IP分組的信息。在一個(gè)實(shí)施例中，用于識(shí)別IP分組的信息包括源地址、目的地址以及丟失的RTP分組的順序號(hào)。此外，在另一個(gè)實(shí)施例中，RTP頭監(jiān)控部分39’不是把丟失的RTP分組的順序號(hào)發(fā)送給反饋發(fā)生器41’，而是把檢測(cè)到的每一RTP分組的順序號(hào)發(fā)送給反饋發(fā)生器41’。
一旦收到每一RTP分組，反饋發(fā)生器41’就把分組的順序號(hào)作為ACK返回給源地址。在替換的實(shí)施例中，反饋發(fā)生器41’響應(yīng)來(lái)自RTP頭監(jiān)控部分39’的信息傳送，根據(jù)一序列RTP分組的順序號(hào)判斷在預(yù)定時(shí)間內(nèi)是否有任何RTP分組丟失了，然后向源地址發(fā)送丟失的RTP分組的順序號(hào)。在又一替換的實(shí)施例中，不是每當(dāng)收到單個(gè)RTP分組或每當(dāng)發(fā)現(xiàn)丟失的RTP分組就響應(yīng)源地址，而是一次對(duì)多個(gè)RTP分組作出響應(yīng)。為了更詳細(xì)地說(shuō)明這一點(diǎn)，對(duì)于每N個(gè)分組，返回指示每一分組是否被正常收到或丟失的收到/丟失數(shù)據(jù)。這樣確定集中在一起的分組的數(shù)目N，使得響應(yīng)延時(shí)落入這樣的范圍內(nèi)，以便能夠及時(shí)地從源地址重發(fā)分組。
圖9所示的順序圖顯示了圖8的系統(tǒng)中的通信順序。如參考圖6所說(shuō)明的，媒體傳送設(shè)備11具有RTP處理部分111和RTCP處理部分113。RTCP處理部分113在發(fā)送RTCP分組之前，發(fā)出包含發(fā)送端信息(SDES)的RTCP分組115到有線網(wǎng)絡(luò)21，以發(fā)向無(wú)線基站10。無(wú)線基站10的第一反饋部分71響應(yīng)RTCP分組115和隨后的RTP分組117、119和121，計(jì)算分組丟失率和有線網(wǎng)絡(luò)21的網(wǎng)絡(luò)傳輸延時(shí)，然后將該信息加到RTCP分組133上并將RTCP分組133發(fā)送給媒體傳送設(shè)備11。
一旦收到媒體流的每一RTP分組，無(wú)線基站10的第二反饋部分73就將帶有RTP分組的順序號(hào)的接收應(yīng)答信號(hào)(ACK)發(fā)回給媒體傳送設(shè)備11。在圖9中，ACK105被返回以響應(yīng)RTP分組117的接收，ACK107被返回以響應(yīng)RTP分組119的接收，ACK109被返回以響應(yīng)RTP分組121的接收。當(dāng)然，可以不把正常收到的分組的順序號(hào)發(fā)回給媒體傳送設(shè)備(如相對(duì)于圖8中的反饋發(fā)生器41’說(shuō)明的)，而發(fā)回丟失分組的數(shù)目，或者可以為集中在一起的多個(gè)分組返回已到達(dá)/仍未到達(dá)的響應(yīng)。
參考圖8，第二反饋部分73配有多媒體流檢測(cè)部分37’、RTP頭監(jiān)控部分39’和反饋發(fā)生器41’。這些部分每一個(gè)的功能與參照?qǐng)D2和圖3說(shuō)明的分組分析設(shè)備15中所包括的多媒體流檢測(cè)部分37、RTP頭監(jiān)控部分39和反饋發(fā)生器41的功能相同。
媒體傳送設(shè)備11的RTCP處理部分113把RTCP分組133中包含的分組丟失率和延時(shí)傳送給反饋控制部分35。反饋控制部分35根據(jù)該信息選擇媒體流的傳輸方式(157)。
以下說(shuō)明上述的三種方式，但是首先說(shuō)明利用來(lái)自無(wú)線基站10的兩種類(lèi)型反饋，即凈饋給(Net-Feeds)和SP饋給(SP-Feeds)，和以圖8中的虛線25表示的來(lái)自無(wú)線終端19的反饋(客戶(hù)反饋)，來(lái)獲得媒體傳送設(shè)備11為確定媒體流的傳輸速率和傳輸方式所需的參數(shù)的方法。
首先，將要使用的符號(hào)定義如下l1有線網(wǎng)絡(luò)21上的分組丟失率R*1有線網(wǎng)絡(luò)21上允許的最大傳輸速率R1從媒體傳送設(shè)備11的傳輸速率R’1在無(wú)限基站10處的接收速率R1(2)在FEC解碼器72為FEC消除了錯(cuò)誤校正信息之后并且在整形點(diǎn)13’處執(zhí)行分組丟棄處理之前的無(wú)線基站中的內(nèi)部速率R1(3)在離開(kāi)整形點(diǎn)13’之后的無(wú)線基站中的內(nèi)部速率l2無(wú)線鏈路上(即無(wú)線設(shè)備14與無(wú)線終端19之間)的分組丟失率R*2無(wú)線鏈路上允許的最大傳輸速率
R2從無(wú)線基站10的傳輸速率R’2在無(wú)線終端19處的接收速率r媒體流編碼率在此，可以利用以下兩種方法之一，在無(wú)線基站10處確定無(wú)線鏈路上允許的最大傳輸速率R*2。
第一種方法在設(shè)置無(wú)線鏈路的過(guò)程中使用理想的最大傳輸速率信息。即，當(dāng)設(shè)置無(wú)線鏈路時(shí)，確定被分配給該無(wú)線鏈路的資源，特別是帶寬，從而根據(jù)該帶寬確定理想的或最大的可能傳輸速率。該值表示為R*2。在該方法中，在使用該無(wú)線鏈路的會(huì)話中，所使用的速率被固定，除了在要使用的無(wú)線基站被替代的情況之外，例如當(dāng)無(wú)線終端19的位置改變時(shí)。
第二種方法根據(jù)無(wú)線基站10中的發(fā)送緩沖器的填充速率來(lái)推導(dǎo)最大傳輸速率R*2，該無(wú)線基站10的發(fā)送緩沖器中具有準(zhǔn)備從無(wú)線基站10發(fā)往無(wú)線鏈路的分組。即，如果發(fā)送緩沖器的填充速率下降或者緩沖器保持為空，則認(rèn)為當(dāng)前的傳輸速率低于最大速率，反過(guò)來(lái)，如果填充速率在增加也是如此。這樣獲得的速率R*2在多數(shù)情況下隨時(shí)間波動(dòng)。
可以通過(guò)例如無(wú)線基站10中的無(wú)線設(shè)備14，或通過(guò)用于控制無(wú)線設(shè)備14的設(shè)備等，來(lái)確定最大傳輸速率R*2。
媒體傳送設(shè)備11和無(wú)線基站10的傳輸速率R1和R2(即在發(fā)送端的速率)是相對(duì)與媒體流有關(guān)的所有分組的速率，該所有分組不僅包括媒體流的數(shù)據(jù)的主體，而且還包括被加到媒體流數(shù)據(jù)的主體上的用于FEC的分組，以及重發(fā)的分組。因?yàn)樵谟芯€網(wǎng)絡(luò)上或無(wú)線鏈路上會(huì)發(fā)生分組丟失，因此在各個(gè)接收端處的速率R’1和R’2下降到發(fā)送端處的速率之下。換句話說(shuō)，以下公式被建立。
R’1≤R1，R’2≤R2當(dāng)分組從有線網(wǎng)絡(luò)21到達(dá)無(wú)線基站10時(shí)，首先它們被傳給FEC解碼器72。如果這些分組被應(yīng)用了FEC，則它們被解碼。結(jié)果，在分組離開(kāi)FEC解碼器之后的速率R1(2)下降到無(wú)線基站10的接收速率R’1之下。
在此，在該實(shí)施例中使用的FEC中，由應(yīng)用FEC產(chǎn)生的輸出由原始數(shù)據(jù)分組和奇偶校驗(yàn)分組組成。而且，奇偶校驗(yàn)分組以單獨(dú)的流從原始數(shù)據(jù)分組發(fā)出。關(guān)于這種類(lèi)型的FEC，參考例如RFC2733(RTP有效載荷格式或一般前向錯(cuò)誤校正)。FEC解碼器(被提供給無(wú)線基站10的解碼器72和被提供給無(wú)線終端19的解碼器(未顯示))利用在其它流中發(fā)送的奇偶校驗(yàn)分組來(lái)重構(gòu)丟失的原始數(shù)據(jù)分組。
在分組離開(kāi)無(wú)線基站之前，F(xiàn)EC發(fā)生器18比較在離開(kāi)整形點(diǎn)13’之后的速率R1(3)與無(wú)線鏈路上的最大速率R*2。如果R1(3)＜R*2，則FEC發(fā)生器18使用剩余的帶寬R*2-R1(3)，用于FEC恢復(fù)在無(wú)線鏈路上丟失的分組。最后，從無(wú)線基站10的傳輸速率R2達(dá)到在無(wú)線鏈路上允許的最大傳輸速率R*2。
整形點(diǎn)13’被提供在FEC解碼器72與FEC發(fā)生器18之間。當(dāng)在有線網(wǎng)絡(luò)21上消除了FEC之后的速率R1(2)大于無(wú)線鏈路的帶寬時(shí)，即當(dāng)其大于最大速率R*2時(shí)，分組被丟棄。此外，在此也可以檢測(cè)和消除具有相同RTP順序號(hào)的復(fù)制分組。
從無(wú)線基站10到媒體傳送設(shè)備11的凈饋給和SP饋給這兩種類(lèi)型反饋分別經(jīng)過(guò)第一反饋部分71和第二反饋部分73，剛好在FEC解碼器72和FEC發(fā)生器18之前被發(fā)送。
在整形點(diǎn)13’之前執(zhí)行反饋的第一反饋部分71向媒體傳送設(shè)備11發(fā)送反饋凈饋給，以通知有線網(wǎng)絡(luò)上的當(dāng)前狀態(tài)。反饋凈饋給是統(tǒng)計(jì)反饋，其包括在分組窗口(packet window)收集的信息，例如在中間范圍的時(shí)幀(例如幾秒)中的分組丟失率和往返時(shí)間的平均值和方差。這種類(lèi)型的統(tǒng)計(jì)反饋是公知的。如果需要，參考例如RFC1889(Rtp用于實(shí)時(shí)應(yīng)用的傳輸協(xié)議)。
在整形點(diǎn)13’之后執(zhí)行反饋的第二反饋部分73以分組接收確認(rèn)分組(ACK)的形式向媒體傳送設(shè)備11發(fā)送反饋SP饋給，從而媒體傳送設(shè)備11能夠判定在無(wú)線傳輸之前哪一分組丟失了。反饋SP饋給在短期內(nèi)(例如1秒)被發(fā)出。
除了反饋凈饋給和SP饋給之外，在該實(shí)施例中，無(wú)線終端19還以幾乎無(wú)延遲的較短間隔向媒體傳送設(shè)備11傳送反饋。
這些類(lèi)型的反饋使媒體傳送設(shè)備能夠獲得如下列出的信息。
首先，利用反饋凈饋給，媒體傳送設(shè)備11能夠知道在有線網(wǎng)絡(luò)上允許的最大傳輸速率R*1。而且，有線網(wǎng)絡(luò)上的分組丟失率l1清楚地顯示在反饋凈饋給中。
反饋SP饋給在有線網(wǎng)絡(luò)的末端提供高分辨率的反饋，即基于分組的反饋。因此，媒體傳送設(shè)備11能夠準(zhǔn)確地掌握哪些分組正確地到達(dá)無(wú)線基站10。
此外，利用反饋SP饋給和來(lái)自無(wú)線終端19的客戶(hù)反饋，媒體傳送設(shè)備11能夠以以下方式獲得無(wú)線鏈路上的分組丟失率l2，以及無(wú)線鏈路上允許的最大傳輸速率R*2。即，把反饋SP饋給與僅僅相對(duì)于其中已消除了用于FEC的奇偶校驗(yàn)分組流的原始數(shù)據(jù)分組流的客戶(hù)反饋相對(duì)比。從而，媒體傳送設(shè)備11能夠獲得在應(yīng)用FEC之后的分組丟失率。而且，根據(jù)相對(duì)于奇偶校驗(yàn)分組流的客戶(hù)反饋，媒體傳送設(shè)備11能夠掌握在無(wú)線鏈路上已應(yīng)用了多少FEC，即用于奇偶校驗(yàn)分組流的帶寬。如果在應(yīng)用FEC之后的分組丟失率和用于FEC的奇偶校驗(yàn)分組流的帶寬(即奇偶校驗(yàn)分組率)都知道了，則有可能獲得在應(yīng)用FEC之前的無(wú)線鏈路上的“原始”丟失率l2。
在該實(shí)施例中，無(wú)線基站10根據(jù)媒體流所需的延遲特性，即無(wú)線終端19的接收緩沖器容量，自動(dòng)地選擇三種方式之一，然后操作。以下，說(shuō)明方式1至方式3。
方式1該方式適用于無(wú)線終端19(客戶(hù))擁有大的接收緩沖器的情況，該大的接收緩沖器能夠允許由于在無(wú)線鏈路上重發(fā)必需次數(shù)的丟失分組造成的分組到達(dá)定時(shí)的極不穩(wěn)定性。注意，在第三代移動(dòng)電話通信計(jì)劃中，無(wú)線基站10可以設(shè)置無(wú)線終端19以便在鏈路層重發(fā)，如本領(lǐng)域技術(shù)人員所公知的。其特殊的結(jié)構(gòu)或操作自身與本發(fā)明沒(méi)有直接關(guān)系。如果需要，參考《用于通用移動(dòng)通信系統(tǒng)的寬帶碼分多址用于第三代移動(dòng)通信的無(wú)線接入》(H.Holma and A.Toskala，Eds.，WCDMA for UMTSWireless accessfor Third Generation Mobile Communications，Wiley，2001)H.Holma和A.Toskala，Eds.，Wiley出版社，2001年。因此，為了實(shí)現(xiàn)方式1，可以使用利用第三代移動(dòng)電話鏈路層重發(fā)分組的功能。即，如果無(wú)線基站10把無(wú)線終端19的錯(cuò)誤控制方式設(shè)置為重發(fā)方式，則鏈路層將以一種相對(duì)于應(yīng)用層透明的方式執(zhí)行如下的操作。即，在鏈路層，當(dāng)在無(wú)線終端19檢測(cè)到丟失的分組，無(wú)線終端19請(qǐng)求無(wú)線基站10重發(fā)指定的分組。當(dāng)無(wú)線基站10收到重發(fā)請(qǐng)求時(shí)，它比較到此為止指定的分組已被重發(fā)的次數(shù)與該方式被設(shè)置時(shí)所設(shè)置的最大重發(fā)次數(shù)，然后在已經(jīng)達(dá)到最大重發(fā)次數(shù)的情況下向無(wú)線終端19通知重發(fā)失敗。在沒(méi)有達(dá)到最大重發(fā)次數(shù)的情況下，無(wú)線基站10向無(wú)線終端19重發(fā)被臨時(shí)存儲(chǔ)的、且對(duì)應(yīng)于丟失分組的已發(fā)送分組之一。根據(jù)無(wú)線鏈路上的分組丟失率l2和用于通過(guò)執(zhí)行重發(fā)改善分組丟失率的目標(biāo)值，來(lái)確定丟失分組的最大重發(fā)次數(shù)，但是可以預(yù)先知道適當(dāng)?shù)幕驑?biāo)準(zhǔn)的值，或者可以通過(guò)進(jìn)行如上所述的測(cè)量來(lái)確定值。已收到重發(fā)的分組的無(wú)線終端19利用重發(fā)的分組恢復(fù)媒體流。因此，利用應(yīng)用層，將原始錯(cuò)誤控制方式簡(jiǎn)單地設(shè)置為上述的重發(fā)方式，由此看上去好像已經(jīng)從無(wú)線基站10收到了媒體流而沒(méi)有任何錯(cuò)誤。因此，雖然在無(wú)線基站10到無(wú)線終端19的無(wú)線鏈路中實(shí)質(zhì)上沒(méi)有分組丟失，但是在分組發(fā)送延遲中確實(shí)發(fā)生了大量的變化。
此外，媒體傳送設(shè)備11利用來(lái)自無(wú)線基站10的反饋凈饋給，在有線網(wǎng)絡(luò)上執(zhí)行擁塞控制。
此外，利用來(lái)自無(wú)線基站10的反饋SP饋給，在應(yīng)用層上執(zhí)行有線網(wǎng)路上的丟失分組的重發(fā)。在方式1中，實(shí)際上在無(wú)線鏈路上沒(méi)有丟失的分組，從而來(lái)自無(wú)線基站10的反饋與來(lái)自無(wú)線終端的反饋基本上相同，但是反饋SP饋給到達(dá)媒體傳送設(shè)備11的速度比來(lái)自無(wú)線終端的反饋快得多。
與其中總是添加錯(cuò)誤校正碼的FEC相比，只有當(dāng)分組實(shí)際丟失時(shí)，才更高效地執(zhí)行分組重發(fā)。在方式1中，伴隨分組重發(fā)的延遲和不穩(wěn)定性不成為問(wèn)題，從而在有線網(wǎng)絡(luò)和無(wú)線鏈路上都采用重發(fā)，而不是FEC。
方式2該方式用于這樣的情況，其中無(wú)線終端19中的接收緩沖器的尺寸足以滿(mǎn)足要在有線網(wǎng)絡(luò)上重發(fā)必需次數(shù)的丟失分組，但是沒(méi)有大得足以允許無(wú)線鏈路上的這種重發(fā)。
在方式2中，當(dāng)分組在有線網(wǎng)絡(luò)上丟失時(shí)，媒體傳送設(shè)備11以類(lèi)似于方式1的方式，利用來(lái)自無(wú)線基站10的反饋SP饋給重發(fā)丟失的分組，并且當(dāng)分組在無(wú)線基站10與無(wú)線終端19之間的無(wú)線鏈路上丟失時(shí)，利用FEC解決該問(wèn)題。
通常，無(wú)線鏈路上的傳輸速率低于有線網(wǎng)絡(luò)21。因此，在此假設(shè)典型的情況，即R*1＞R*2。如上所述，媒體傳送設(shè)備11能夠從反饋信息獲得R*1、R*2和l2。因此，媒體傳送設(shè)備11能夠適當(dāng)?shù)剡x擇媒體編碼率(即媒體流的傳輸速率)r。當(dāng)錯(cuò)誤校正被執(zhí)行時(shí)，沒(méi)有用于無(wú)線鏈路上的媒體流的帶寬R*2-r抵抗無(wú)線鏈路上的丟失率l2。從而，可以發(fā)送足以實(shí)際上恢復(fù)所有丟失分組的錯(cuò)誤校正奇偶校驗(yàn)分組流。
在有線網(wǎng)絡(luò)上，利用剩余帶寬R*2-r在應(yīng)用層上執(zhí)行重發(fā)。而且，因?yàn)樵跓o(wú)線基站10丟棄復(fù)制分組，因此這種分組不占用無(wú)線鏈路上的帶寬。
方式3該方式適用于這種情況，其中因?yàn)闊o(wú)線基站10的緩沖器容量極小，因此不允許不僅由無(wú)線鏈路上的重發(fā)、而且還由在有線網(wǎng)絡(luò)上重發(fā)必需次數(shù)的丟失分組造成的任何延遲。
在方式3中，媒體傳送設(shè)備11應(yīng)用適于有線網(wǎng)絡(luò)上的錯(cuò)誤率和其它這種錯(cuò)誤特性的FEC，然后向無(wú)線基站10發(fā)送媒體流。FEC解碼器72在無(wú)線基站10消除用于該FEC的奇偶校驗(yàn)流。然后FEC發(fā)生器18應(yīng)用另一個(gè)適于無(wú)線鏈路的錯(cuò)誤特性的FEC，然后發(fā)送給無(wú)線終端19。
再參考圖9，反饋控制部分35根據(jù)發(fā)自第二反饋部分73的RTP分組接收確認(rèn)信號(hào)(ACK)，判斷媒體流中的分組是否丟失(141)。當(dāng)檢測(cè)到分組丟失，則反饋控制部分35判定通信是否正在以方式1或方式2進(jìn)行(151)。當(dāng)通信正在以方式1或方式2進(jìn)行，然后執(zhí)行相對(duì)于圖6中的塊143、145、147和149說(shuō)明的分組重發(fā)過(guò)程(153)。當(dāng)通信正在以方式3進(jìn)行，如果可能且希望，把要使用的誤差校正碼改變?yōu)楦线m的(155)。
至此已說(shuō)明了本發(fā)明的特定實(shí)施例，但是本發(fā)明不限于上述的實(shí)施例。
權(quán)利要求
1.一種媒體流式傳輸傳送系統(tǒng)，包括媒體傳送設(shè)備，用于根據(jù)實(shí)時(shí)傳輸協(xié)議以分組的形式向網(wǎng)絡(luò)發(fā)送媒體流；中繼設(shè)備，其連接到所述網(wǎng)絡(luò)，用于向具有大延遲的通信鏈路發(fā)送所述媒體流；以及分組分析裝置，用于監(jiān)控到達(dá)所述中繼設(shè)備的所述分組，以及向所述媒體傳送設(shè)備發(fā)送指示所述網(wǎng)絡(luò)狀態(tài)的反饋信息。
2.根據(jù)權(quán)利要求1所述的傳送系統(tǒng)，其中所述反饋信息是每當(dāng)所述媒體流的分組到達(dá)時(shí)被發(fā)送給所述中繼設(shè)備的確認(rèn)響應(yīng)。
3.根據(jù)權(quán)利要求1所述的傳送系統(tǒng)，其中所述反饋信息是從所述媒體流丟失的分組的順序號(hào)。
4.根據(jù)權(quán)利要求2或3所述的傳送系統(tǒng)，其中所述媒體傳送設(shè)備被配置成根據(jù)所述反饋信息改變所述媒體流。
5.根據(jù)權(quán)利要求4所述的傳送系統(tǒng)，其中所述具有大延遲的通信鏈路是無(wú)線鏈路。
6.根據(jù)權(quán)利要求4所述的傳送系統(tǒng)，其中所述媒體流是包括一序列幀內(nèi)編碼的畫(huà)面和預(yù)測(cè)編碼的畫(huà)面的視頻；以及其中所述媒體傳送設(shè)備包括存儲(chǔ)器，用于存儲(chǔ)一幅視頻的多個(gè)媒體流，所述多個(gè)媒體流至少包括以第一配置包含幀內(nèi)編碼畫(huà)面的第一媒體流和以不同于所述第一配置的第二配置包含幀內(nèi)編碼畫(huà)面的第二媒體流；以及切換裝置，用于響應(yīng)所述分組丟失的確定，為已發(fā)生丟失的目的地選擇其中在所述丟失分組中的畫(huà)面之后的第一幀內(nèi)編碼畫(huà)面最早出現(xiàn)在所述多個(gè)媒體流當(dāng)中的媒體流，以及把要發(fā)送的媒體流切換到所述選擇的媒體流。
7.根據(jù)權(quán)利要求6所述的傳送系統(tǒng)，其中所述媒體流是包括一序列幀內(nèi)編碼畫(huà)面和預(yù)測(cè)編碼畫(huà)面的視頻；其中所述媒體傳送設(shè)備包括用于產(chǎn)生所述媒體流的編碼設(shè)備；以及其中所述編碼設(shè)備被配置成響應(yīng)所述分組丟失的確定，產(chǎn)生以幀內(nèi)編碼畫(huà)面開(kāi)始的媒體流。
8.一種分組分析設(shè)備，包括檢測(cè)裝置，其連接到網(wǎng)絡(luò)，用于接收在所述網(wǎng)絡(luò)中傳輸?shù)姆纸M以及檢測(cè)媒體流；以及分組分析裝置，用于檢測(cè)在所述檢測(cè)到的媒體流中的分組丟失以及執(zhí)行向所述媒體流的源的反饋。
9.一種包括根據(jù)權(quán)利要求8所述的分組分析設(shè)備的網(wǎng)絡(luò)中繼設(shè)備，其中所述網(wǎng)絡(luò)中繼設(shè)備向所述源發(fā)送從所述網(wǎng)絡(luò)收到的、且被發(fā)送給不同于所述網(wǎng)絡(luò)的通信鏈路的分組識(shí)別信息。
10.根據(jù)權(quán)利要求9所述的中繼設(shè)備，其中根據(jù)在組成所述媒體流的一序列分組的頭中包括的順序號(hào)執(zhí)行所述分組丟失的檢測(cè)。
11.一種用于發(fā)送包括一序列分組的媒體流的媒體傳送設(shè)備，其中所述設(shè)備被配置成，響應(yīng)與所述媒體流的傳輸路徑上的分組丟失有關(guān)的反饋，改變所述媒體流以便減小所述丟失的影響。
12.根據(jù)權(quán)利要求11所述媒體傳送設(shè)備，其中所述媒體流是包括一序列幀內(nèi)編碼畫(huà)面和預(yù)測(cè)編碼畫(huà)面的視頻；其中所述媒體傳送設(shè)備包括用于產(chǎn)生所述媒體流的編碼設(shè)備；以及其中所述編碼設(shè)備被設(shè)置成響應(yīng)所述分組丟失的確定，產(chǎn)生以幀內(nèi)編碼畫(huà)面開(kāi)始的媒體流。
13.根據(jù)權(quán)利要求12所述的媒體傳送設(shè)備，其中與所述分組丟失有關(guān)的所述反饋是與在所述傳輸路徑從具有小延遲的鏈路切換到具有大延遲的鏈路的點(diǎn)處觀測(cè)的所述分組丟失有關(guān)的反饋。
14.根據(jù)權(quán)利要求13所述的媒體傳送設(shè)備，其中所述具有小延遲的鏈路是有線鏈路，以及所述具有大延遲的鏈路是無(wú)線鏈路。
15.根據(jù)權(quán)利要求11所述的媒體傳送設(shè)備，其中所述媒體流是包括一序列幀內(nèi)編碼畫(huà)面和預(yù)測(cè)編碼畫(huà)面的視頻，所述媒體傳送設(shè)備包括存儲(chǔ)器，用于存儲(chǔ)一幅視頻的多個(gè)媒體流，所述多個(gè)媒體流至少包括以第一配置包含幀內(nèi)編碼畫(huà)面的第一媒體流和以不同于所述第一配置的第二配置包含幀內(nèi)編碼畫(huà)面的第二媒體流；以及切換裝置，用于響應(yīng)所述分組丟失的確定，為已發(fā)生丟失的目的地選擇其中在所述丟失分組中的畫(huà)面之后的第一幀內(nèi)編碼畫(huà)面最早出現(xiàn)在所述多個(gè)媒體流當(dāng)中的媒體流，以及把要發(fā)送的媒體流切換到所述選擇的媒體流。
16.根據(jù)權(quán)利要求15所述的媒體傳送設(shè)備，其中所述編碼設(shè)備被配置成，根據(jù)來(lái)自所述分組分析設(shè)備的反饋信息響應(yīng)分組丟失的檢測(cè)，所述編碼設(shè)備至少為被發(fā)送給已發(fā)生所述丟失的目的地的媒體流增加幀內(nèi)編碼畫(huà)面的頻率。
17.根據(jù)權(quán)利要求15所述的媒體傳送設(shè)備，其中所述編碼設(shè)備被配置成，根據(jù)來(lái)自所述分組分析設(shè)備的反饋信息響應(yīng)所述分組丟失的檢測(cè)，所述編碼設(shè)備向已發(fā)生所述丟失的目的地發(fā)送以幀內(nèi)編碼畫(huà)面開(kāi)始的媒體流。
18.根據(jù)權(quán)利要求14所述的媒體傳送設(shè)備，其中所述媒體傳送設(shè)備根據(jù)所述與分組丟失有關(guān)的反饋信息執(zhí)行所述的分組重發(fā)。
19.一種用于連接具有小延遲的通信鏈路與具有大延遲的通信鏈路的中繼設(shè)備，包括第一反饋設(shè)備，用于接收在所述具有小延遲的鏈路上傳輸?shù)拿襟w流的分組，以及向傳輸源發(fā)送包括預(yù)定時(shí)期內(nèi)的分組丟失率的信息；調(diào)節(jié)裝置，用于根據(jù)所述具有大延遲的通信鏈路的傳輸能力調(diào)節(jié)從所述網(wǎng)絡(luò)收到的分組的通過(guò)；以及第二反饋設(shè)備，用于把關(guān)于通過(guò)所述調(diào)節(jié)裝置發(fā)送到所述通信鏈路的分組的確認(rèn)響應(yīng)發(fā)送給所述傳輸源。
20.根據(jù)權(quán)利要求19所述的中繼設(shè)備，其中所述第二反饋設(shè)備把在通過(guò)所述調(diào)節(jié)裝置發(fā)送到所述具有大延遲的通信鏈路的所述分組的頭中包含的順序號(hào)發(fā)送給所述傳輸源。
21.一種媒體流傳送系統(tǒng)，包括媒體傳送設(shè)備，用于利用實(shí)時(shí)傳輸協(xié)議以分組的形式向網(wǎng)絡(luò)發(fā)送媒體流；中繼設(shè)備，其連接到所述網(wǎng)絡(luò)，用于向具有大延遲的通信鏈路發(fā)送所述媒體流，所述中繼設(shè)備包括第一反饋設(shè)備，用于接收在所述網(wǎng)絡(luò)中傳輸?shù)乃雒襟w流的分組，以及向傳輸源發(fā)送包括預(yù)定時(shí)期內(nèi)的分組丟失率的信息；調(diào)節(jié)裝置，用于根據(jù)所述具有大延遲的通信鏈路的傳輸能力調(diào)節(jié)從所述網(wǎng)絡(luò)收到的分組的通過(guò)；以及第二反饋設(shè)備，用于把關(guān)于通過(guò)所述調(diào)節(jié)裝置發(fā)送到所述通信鏈路的分組的確認(rèn)響應(yīng)發(fā)送給所述傳輸源。
22.根據(jù)權(quán)利要求21所述的媒體流傳送系統(tǒng)，其中所述具有大延遲的通信鏈路是無(wú)線鏈路，以及其中所述系統(tǒng)被配置成，如果無(wú)線終端的接收緩沖器大，則根據(jù)來(lái)自所述無(wú)線終端的確認(rèn)響應(yīng)執(zhí)行重發(fā)。
23.根據(jù)權(quán)利要求21所述的傳送系統(tǒng)，其中所述具有大延遲的通信鏈路是無(wú)線鏈路，以及其中所述系統(tǒng)被配置成，如果無(wú)線終端的接收緩沖器不是大得足以提供從所述媒體傳送設(shè)備的重發(fā)，則所述中繼設(shè)備發(fā)送添加了錯(cuò)誤校正碼的媒體流。
24.根據(jù)權(quán)利要求21所述的傳送系統(tǒng)，其中所述具有大延遲的通信鏈路是無(wú)線鏈路，以及其中所述系統(tǒng)被配置成，如果無(wú)線終端的接收緩沖器小，則所述媒體傳送設(shè)備把錯(cuò)誤校正碼添加到所述具有小延遲的通信鏈路上傳輸?shù)拿襟w流。
全文摘要
一種媒體流式傳輸分發(fā)系統(tǒng)，用于在網(wǎng)絡(luò)中發(fā)生的分組丟失的影響到達(dá)低速通信如無(wú)線電通信的基站之前，減小該分組丟失的影響的擴(kuò)散。該系統(tǒng)包括媒體分發(fā)設(shè)備，用于通過(guò)實(shí)時(shí)傳輸協(xié)議向網(wǎng)絡(luò)分組發(fā)送媒體流；以及基站，用于通過(guò)低速通信如無(wú)線電通信發(fā)送媒體流。該系統(tǒng)還包括分組分析設(shè)備，用于監(jiān)控到達(dá)無(wú)線電基站的分組以及向媒體分發(fā)設(shè)備發(fā)送與分組丟失相關(guān)的反饋信息。根據(jù)來(lái)自中繼設(shè)備和媒體流的終端設(shè)備的反饋，有可能獲得從媒體分發(fā)設(shè)備到中繼設(shè)備的傳輸速率和從中繼設(shè)備到終端設(shè)備的傳輸速率，從而在更大的傳輸速率下，剩余帶寬用于重發(fā)和前向錯(cuò)誤校正，由此提高通信質(zhì)量。
文檔編號(hào)H04L1/00GK1640076SQ0380526
公開(kāi)日2005年7月13日 申請(qǐng)日期2003年3月5日 優(yōu)先權(quán)日2002年3月6日
發(fā)明者張晉聲, 吉村健 申請(qǐng)人:惠普公司