專利名稱：一種實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字家庭網(wǎng)絡(luò)技術(shù)領(lǐng)域及多媒體技術(shù)領(lǐng)域，特別是涉及一種流媒體在線瀏覽的系統(tǒng)。
背景技術(shù)：
流媒體是指在Internet/Intranet中使用流式傳輸技術(shù)的連續(xù)媒體，如音頻、視頻、文本、圖片等在內(nèi)的多媒體文件。運用流媒體技術(shù)，把流媒體文件放到互聯(lián)網(wǎng)服務(wù)器上，讓客戶端(包括瀏覽器)一邊下載一邊觀看、收聽，而不需要等整個多媒體文件下載完畢就可以即時觀看。
流媒體實現(xiàn)的關(guān)鍵技術(shù)就是流式傳輸。一般來說，流包含兩種含義廣義上的流是使音頻和視頻形成穩(wěn)定和連續(xù)的傳輸流和回放流的一系列技術(shù)、方法和協(xié)議的總稱，習(xí)慣上稱之為流媒體系統(tǒng)；而狹義上的流是相對于傳統(tǒng)的下載一回放(Download-Playback)方式而言的一種媒體格式，能從Internet上獲取音頻和視頻等連續(xù)的多媒體流，用戶可以邊接收邊播放，使延時大大減少。
Internet的迅猛發(fā)展和普及為流媒體業(yè)務(wù)發(fā)展提供了強大的市場動力，流媒體業(yè)務(wù)正變得日益流行。流媒體技術(shù)廣泛用于多媒體新聞發(fā)布、在線直播、網(wǎng)絡(luò)廣告、電子商務(wù)、視頻點播(VOD)、遠程教育、遠程醫(yī)療、網(wǎng)絡(luò)電臺、實時視頻會議等互聯(lián)網(wǎng)信息服務(wù)的方方面面。
如今已經(jīng)有非常多的在線流媒體播放系統(tǒng)，有典型的C/S、B/S結(jié)構(gòu)的系統(tǒng)，如Windows MediaPlayer，Realplayer等播放器，就可以作為客戶端或者嵌入網(wǎng)頁中，從服務(wù)器在線獲取媒體信息實時播放。但是這種C/S、B/S結(jié)構(gòu)的系統(tǒng)，由于突發(fā)的網(wǎng)絡(luò)狀況和服務(wù)器能力的上限，存在著服務(wù)不夠流暢穩(wěn)定的情況。
現(xiàn)在也有許多P2P的在線媒體播放系統(tǒng)，這種系統(tǒng)理論上同時在線觀看的人數(shù)越多，服務(wù)質(zhì)量就越好，得到的媒體信息就越流暢。事實上這種系統(tǒng)也做到了這種效果，如PPLive、CoolStreaming等播放軟件，在播放普通電視節(jié)目中有非常大的優(yōu)勢。但是這種系統(tǒng)存在著如果在線觀看的人數(shù)少，就達不到理想的播放效果的目的。同時由于這一種P2P的系統(tǒng)，數(shù)據(jù)的來源不只是服務(wù)器，一般情況下數(shù)據(jù)來源都是其他客戶端，媒體數(shù)據(jù)先傳輸給一個客戶端，再通過多個客戶端才能把媒體信息轉(zhuǎn)發(fā)到本地客戶端中，這樣就造成了較大節(jié)目的延時。
在線多媒體技術(shù)以前由于帶寬的限制，未能在網(wǎng)絡(luò)上廣泛運用，如今基礎(chǔ)技術(shù)已經(jīng)成熟，如今互聯(lián)網(wǎng)的帶寬已經(jīng)可以基本滿足在線多媒體瀏覽的需要，雖然網(wǎng)絡(luò)帶寬在增加，但是網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量也在快速增長。帶寬的增加并沒有根本解決網(wǎng)絡(luò)擁塞的情況，仍不能精確預(yù)測在什么時間什么地段的網(wǎng)絡(luò)將出現(xiàn)擁塞現(xiàn)象。由于在線瀏覽多媒體信息需要穩(wěn)定快速的互聯(lián)網(wǎng)才能得到流暢的多媒體效果，偶爾擁塞現(xiàn)象也將大大降低用戶的感受。同時，現(xiàn)在的多媒體瀏覽技術(shù)，無論是C/S結(jié)構(gòu)的解決方案，還是P2P的解決方案，都需要從數(shù)據(jù)源中緩存一定量的媒體信息以防止偶爾的網(wǎng)絡(luò)擁塞，但是打開節(jié)目前的緩存時間都不盡如人意，長時間的緩存意味著節(jié)目有較大的延時，對于實時性要求較高的媒體節(jié)目，如體育競賽節(jié)目，明顯的延時有時候是不可以接受的，因為遲到的比賽結(jié)果常常讓人感到不滿。
對此，需要一種可得到穩(wěn)定傳輸、高質(zhì)量的在線媒體瀏覽方案。
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不同，提出了一種穩(wěn)定傳輸、高質(zhì)量的多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)。
為了實現(xiàn)發(fā)明目的，采用的技術(shù)方案如下一種實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，設(shè)置有如下模塊負責(zé)與流媒體數(shù)據(jù)源交互數(shù)據(jù)的網(wǎng)絡(luò)服務(wù)模塊；通過網(wǎng)絡(luò)服務(wù)模塊從網(wǎng)絡(luò)上的流媒體數(shù)據(jù)源獲取數(shù)據(jù)的媒體信息獲取模塊；用于存儲從不同流媒體數(shù)據(jù)源所獲取的數(shù)據(jù)的兩個或兩個以上媒體信息緩存器；將媒體信息緩存器的數(shù)據(jù)重組并傳送至播放終端的整合模塊；以及QoS分析控制模塊和關(guān)鍵幀分析模塊。
上述技術(shù)方案中，所設(shè)置的媒體信息緩存器的數(shù)量不少于流媒體數(shù)據(jù)源的數(shù)量。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取數(shù)據(jù)包的傳輸速度、數(shù)據(jù)包傳輸中的丟包率來決定每個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取多少數(shù)據(jù)以及獲取哪一部分的的數(shù)據(jù)。
所述QoS分析控制模塊根據(jù)與各個流媒體數(shù)據(jù)源的網(wǎng)絡(luò)連接速度的不同來控制從流媒體數(shù)據(jù)源獲取數(shù)據(jù)的大小，對于連接速度較慢的數(shù)據(jù)源，給相對較少的數(shù)據(jù)獲取任務(wù)；對于速度理想的數(shù)據(jù)源，則給予相對較多的數(shù)據(jù)獲取任務(wù)。
所述關(guān)鍵幀分析模塊通過提取從流媒體數(shù)據(jù)源所獲取的數(shù)據(jù)的關(guān)鍵幀特征，根據(jù)從不同流媒體數(shù)據(jù)源得到相同關(guān)鍵幀的時間差，來對不同流媒體數(shù)據(jù)源的媒體信息進行時間同步。
所述關(guān)鍵幀分析模塊的關(guān)鍵幀特征采用圖像信息相關(guān)。
本發(fā)明的各個模塊所實現(xiàn)的功能具體如下網(wǎng)絡(luò)服務(wù)模塊負責(zé)與在線流媒體數(shù)據(jù)源交互數(shù)據(jù)。網(wǎng)絡(luò)通信部分都是由該模塊負責(zé)。而與其通信的主要模塊為媒體信息獲取模塊。媒體信息獲取模塊通知網(wǎng)絡(luò)服務(wù)模塊需要從哪個流媒體數(shù)據(jù)源中獲取什么數(shù)據(jù)，網(wǎng)絡(luò)服務(wù)模塊按照要求返回給媒體信息獲取模塊需要的媒體信息。
所述媒體信息獲取模塊接收QoS控制模塊的控制信息，媒體信息獲取模塊根據(jù)這些控制信息，從網(wǎng)絡(luò)上得到的不同數(shù)據(jù)源，存放到不同的媒體信息緩存器中。
本發(fā)明對于每個不同的媒體信息數(shù)據(jù)源，都生成一個獨立的緩存器與其相對應(yīng)。通過媒體信息獲取模塊，從不同數(shù)據(jù)源中獲取的信息，存放于不同的媒體信息緩存器中。各個媒體信息緩存器中的內(nèi)容并不相同，故而需要把所有的內(nèi)容再重新排序，以單一流媒體的形式輸出，在媒體播放器看來，這是一個單一的數(shù)據(jù)流，而不是由各個媒體信息緩存器組成的數(shù)據(jù)流，達到體系結(jié)構(gòu)對播放器透明的目的。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取數(shù)據(jù)包的傳輸速度、數(shù)據(jù)包傳輸中的丟包率等信息，決定每個緩存隊列從流媒體數(shù)據(jù)源中獲取多少數(shù)據(jù)，獲取哪一部分的的數(shù)據(jù)。QoS分析控制模塊還根據(jù)每個當(dāng)前計算機與各個流媒體數(shù)據(jù)源的連接速度的不同，對于速度較慢的數(shù)據(jù)源，則給相對較少的數(shù)據(jù)獲取任務(wù)；對于速度理想的數(shù)據(jù)源，則給予相對較多的數(shù)據(jù)獲取任務(wù)。QoS分析控制模塊是本發(fā)明中一個十分重要的模塊，媒體播放的質(zhì)量、流暢程度都由這個模塊所影響。
所述關(guān)鍵幀分析模塊通過提取關(guān)鍵幀的特征，把特征信息保存在媒體信息緩存器中，當(dāng)從不同的流媒體數(shù)據(jù)源中分析得到相同的特征時，就認(rèn)為在不同時刻從兩個流媒體數(shù)據(jù)源服務(wù)器得到了相同的關(guān)鍵幀，這樣根據(jù)從不同服務(wù)器得到相同關(guān)鍵幀的時間差，來對這些不同數(shù)據(jù)源的媒體信息進行時間同步。
關(guān)鍵幀分析模塊所分析出來的關(guān)鍵幀特性具有與分辨率無關(guān)、與色彩深度無關(guān)、與關(guān)鍵幀的亮度無關(guān)的性質(zhì)，分析出來的關(guān)鍵幀特性只與畫面的內(nèi)容相關(guān)。
本發(fā)明的技術(shù)特點主要體現(xiàn)如下1、可從對應(yīng)同一個節(jié)目的多個流媒體服務(wù)器中同時獲取媒體信息。
在互聯(lián)網(wǎng)中，有多個流媒體數(shù)據(jù)源在播放相同的節(jié)目是非常常見的，使用從單一服務(wù)器通過傳統(tǒng)的媒體播放器來播放這些在線媒體的時候，速度常常不能滿足使用的要求。犧牲媒體質(zhì)量或者建立更大的緩存機制都不能解決問題。這是因為網(wǎng)絡(luò)的狀況并不是穩(wěn)定的，也許在某一段時間內(nèi)某段鏈路非常擁塞，但是在擁塞期過后，網(wǎng)絡(luò)狀況又恢復(fù)正常。本發(fā)明通過同時訪問多個流媒體服務(wù)器，同時從不同的流媒體服務(wù)器中獲取不同的數(shù)據(jù)，再通過QoS分析控制模塊，可以達到避開擁塞段鏈路的目的，以獲得穩(wěn)定質(zhì)量的在線媒體播放質(zhì)量。
2、內(nèi)部架構(gòu)對媒體播放器透明。
本發(fā)明的體系架構(gòu)雖然是從多個流媒體數(shù)據(jù)源中獲取不同的數(shù)據(jù)，但是這種多數(shù)據(jù)源的體系架構(gòu)是對播放器透明的。由于通過信息整合模塊對每個媒體信息緩存器中的數(shù)據(jù)整合后才發(fā)送至播放器，故而對于播放器來說，它仍然與播放單一數(shù)據(jù)源的工作流程相同。
3、具備良好的擴展性。
本發(fā)明給出的是按功能劃分的模塊設(shè)計，在遵循整個架構(gòu)上下文約束的情況下，可以靈活配置實現(xiàn)各個模塊。如QoS分析控制模塊，可以用新的分析控制策略替代原來的策略；關(guān)鍵幀分析模塊，也可以通過用其他的分析策略來更換原有的策略，以達到提高速度或減少資源開銷的目的。
圖1為本發(fā)明的結(jié)構(gòu)示意圖；圖2為本發(fā)明應(yīng)用于網(wǎng)絡(luò)上的示意圖。
具體實施例方式
下面結(jié)合附圖對本發(fā)明做進一步的說明。
本發(fā)明的結(jié)構(gòu)示意圖如附圖1所示，由網(wǎng)絡(luò)服務(wù)模塊、媒體信息獲取模塊、媒體信息緩存器、整合模塊、QoS分析控制模塊、關(guān)鍵幀分析模塊組成。
所述網(wǎng)絡(luò)服務(wù)模塊與網(wǎng)絡(luò)上的媒體服務(wù)器連接，負責(zé)與服務(wù)器的流媒體數(shù)據(jù)源進行交互。
所述媒體信息獲取模塊與網(wǎng)絡(luò)服務(wù)模塊連接，通知網(wǎng)絡(luò)服務(wù)模塊需要從哪個流媒體數(shù)據(jù)源中獲取什么數(shù)據(jù)，網(wǎng)絡(luò)服務(wù)模塊按照要求返回給媒體信息獲取模塊需要的媒體信息，媒體信息獲取模塊將媒體信息存放于不同的媒體信息緩存器中。
所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取數(shù)據(jù)包的傳輸速度、數(shù)據(jù)包傳輸中的丟包率等信息，決定每個緩存隊列從流媒體數(shù)據(jù)源中獲取多少數(shù)據(jù)，獲取哪一部分的的數(shù)據(jù)。QoS分析控制模塊還根據(jù)每個當(dāng)前計算機與各個流媒體數(shù)據(jù)源的連接速度的不同，對于速度較慢的數(shù)據(jù)源，則給相對較少的數(shù)據(jù)獲取任務(wù)；對于速度理想的數(shù)據(jù)源，則給予相對較多的數(shù)據(jù)獲取任務(wù)。
所述關(guān)鍵幀分析模塊通過提取與畫面的內(nèi)容相關(guān)的關(guān)鍵幀的特征，把特征信息保存在緩存中，當(dāng)從不同的流媒體數(shù)據(jù)源中分析得到相同的特征時，就認(rèn)為在不同時刻從兩個服務(wù)器得到了相同的關(guān)鍵幀，這樣根據(jù)從不同服務(wù)器得到相同關(guān)鍵幀的時間差，來對這些不同數(shù)據(jù)源的媒體信息進行時間同步。
所述的整合模塊與用戶的播放終端連接，用于將媒體信息緩存器中的數(shù)據(jù)整合后發(fā)送給播放終端。
本發(fā)明應(yīng)用于網(wǎng)絡(luò)上的一個實例的示意圖如附圖2所示，網(wǎng)絡(luò)上不同地區(qū)有多個服務(wù)器正同時轉(zhuǎn)播媒體節(jié)目，這些服務(wù)器為ServerA、ServerB、ServerC、ServerD、ServerE。由于在線實時觀看該節(jié)目的人數(shù)很多，大量的用戶增加了服務(wù)器的負擔(dān)，使服務(wù)器可能不能及時服務(wù)每一位用戶，同時大量的用戶也增加了網(wǎng)絡(luò)的負擔(dān)，由于網(wǎng)絡(luò)的擁塞，導(dǎo)致媒體信息數(shù)據(jù)包傳播的延時、甚至被丟棄。由于客戶端和ServerA的連接速度非常好，但是與ServerB的連接速度就比較慢，其他服務(wù)器服務(wù)速度一般。所以客戶端通過QoS分析控制模塊，分配較多的信息獲取任務(wù)給ServerA，分配相對少的任務(wù)給ServerB，其他服務(wù)器分配介于ServerA和ServerB之間的任務(wù)量。但是ServerA由于訪問人數(shù)的逐漸增多，ServerA的響應(yīng)速度在下降，QoS分析控制模塊發(fā)現(xiàn)從ServerA獲取信息的速度在變慢，于是分配給ServerA的任務(wù)也逐漸減少，QoS模塊也發(fā)現(xiàn)ServerC的服務(wù)速度在增加，于是把任務(wù)更多地分配給ServerC。通過這種機制，達到了避開擁塞的網(wǎng)絡(luò)，避開能力達到上限的服務(wù)器的目的，從而保證的媒體瀏覽的質(zhì)量。
權(quán)利要求
1.一種實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于設(shè)置有如下模塊負責(zé)與流媒體數(shù)據(jù)源交互數(shù)據(jù)的網(wǎng)絡(luò)服務(wù)模塊；通過網(wǎng)絡(luò)服務(wù)模塊從網(wǎng)絡(luò)上的流媒體數(shù)據(jù)源獲取數(shù)據(jù)的媒體信息獲取模塊；用于存儲從不同流媒體數(shù)據(jù)源所獲取的數(shù)據(jù)的兩個或兩個以上媒體信息緩存器；將媒體信息緩存器的數(shù)據(jù)重組并傳送至播放終端的整合模塊；以及QoS分析控制模塊和關(guān)鍵幀分析模塊。
2.根據(jù)權(quán)利要求1所述的實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于所設(shè)置的媒體信息緩存器的數(shù)量不少于流媒體數(shù)據(jù)源的數(shù)量。
3.根據(jù)權(quán)利要求1或2所述的實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于所述QoS分析控制模塊通過分析各個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取數(shù)據(jù)包的傳輸速度、數(shù)據(jù)包傳輸中的丟包率來決定每個媒體信息緩存器從流媒體數(shù)據(jù)源中獲取多少數(shù)據(jù)以及獲取哪一部分的的數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于所述QoS分析控制模塊根據(jù)與各個流媒體數(shù)據(jù)源的網(wǎng)絡(luò)連接速度的不同來控制從流媒體數(shù)據(jù)源獲取數(shù)據(jù)的大小，對于連接速度較慢的數(shù)據(jù)源，給相對較少的數(shù)據(jù)獲取任務(wù)；對于速度理想的數(shù)據(jù)源，則給予相對較多的數(shù)據(jù)獲取任務(wù)。
5.根據(jù)權(quán)利要求4所述的實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于所述關(guān)鍵幀分析模塊通過提取從流媒體數(shù)據(jù)源所獲取的數(shù)據(jù)的關(guān)鍵幀特征，根據(jù)從不同流媒體數(shù)據(jù)源得到相同關(guān)鍵幀的時間差，來對不同流媒體數(shù)據(jù)源的媒體信息進行時間同步。
6.根據(jù)權(quán)利要求5所述的實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，其特征在于所述關(guān)鍵幀分析模塊的關(guān)鍵幀特征采用圖像信息相關(guān)。
全文摘要
本發(fā)明提供一種實現(xiàn)多數(shù)據(jù)源流媒體在線瀏覽的系統(tǒng)，包括網(wǎng)絡(luò)服務(wù)模塊、媒體信息獲取模塊、媒體信息緩存器、整合模塊、QoS分析控制模塊和關(guān)鍵幀分析模塊。通過各個模塊之間的協(xié)作，實現(xiàn)了穩(wěn)定傳輸、高質(zhì)量的媒體在線瀏覽。
文檔編號H04L29/00GK1852283SQ20061003496
公開日2006年10月25日 申請日期2006年4月13日 優(yōu)先權(quán)日2006年4月13日
發(fā)明者羅笑南, 凌若天 申請人:中山大學(xué)