本申請(qǐng)是申請(qǐng)日為2011年04月20日、申請(qǐng)?zhí)枮?01180020090.5、發(fā)明名稱為“用于傳送和接收媒體數(shù)據(jù)的接口裝置和方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明一般涉及用于傳送和接收多媒體數(shù)據(jù)的裝置和方法，并且更具體地，涉及用于封裝各種類型的多媒體數(shù)據(jù)并且在以多媒體傳輸為目標(biāo)的網(wǎng)絡(luò)上的設(shè)備之間傳送和接收封裝的多媒體數(shù)據(jù)的接口裝置和方法。

背景技術(shù)：

為了高效地傳送各種多媒體內(nèi)容，mpeg(運(yùn)動(dòng)圖像專家組)已經(jīng)開(kāi)發(fā)的多種標(biāo)準(zhǔn)，諸如mpeg2ts(傳輸流)和mp4系統(tǒng)以及文件格式。而且，標(biāo)準(zhǔn)組織，如ietf(因特網(wǎng)工程工作組)和ieee(電子和電氣工程師協(xié)會(huì))3gpp(第三代伙伴計(jì)劃)，已經(jīng)開(kāi)發(fā)了多種協(xié)議，用于在因特網(wǎng)上傳送各種多媒體內(nèi)容，以及平臺(tái)技術(shù)，用于使用mpeg標(biāo)準(zhǔn)配置多媒體內(nèi)容。

隨著從2000年延續(xù)的廣播和通信服務(wù)的集中(convergence)的傾向，已經(jīng)呈現(xiàn)出各種內(nèi)容和服務(wù)必須通過(guò)不同的網(wǎng)路來(lái)傳送的環(huán)境。而且，由于內(nèi)容壓縮和傳輸技術(shù)的發(fā)展，以及顯示性能的改善(例如，tv)，用戶希望以更低的成本來(lái)使用高清(high-definition)數(shù)據(jù)。

為了滿足上述要求，mpeg意圖開(kāi)發(fā)能夠有效傳送高清多媒體內(nèi)容、集中傳送各種多媒體內(nèi)容、以及在多媒體內(nèi)容的傳輸中使用各種網(wǎng)絡(luò)的標(biāo)準(zhǔn)技術(shù)。

圖1示出了根據(jù)各種多媒體內(nèi)容使用了不同的協(xié)議的傳統(tǒng)的多媒體內(nèi)容傳輸結(jié)構(gòu)。

參考圖1，每個(gè)應(yīng)用(例如電子郵件、文件傳遞、網(wǎng)絡(luò)服務(wù)，等等)傳統(tǒng)地通過(guò)使用單獨(dú)的(separate)協(xié)議而在相應(yīng)的層中服務(wù)。例如，電子郵件服務(wù)101在應(yīng)用層中要求smtp協(xié)議103，在傳輸層中要求tcp協(xié)議105，并且在網(wǎng)絡(luò)層中要求ip協(xié)議107。相反，語(yǔ)音服務(wù)113在應(yīng)用層中要求rtp協(xié)議115，并且在傳輸層中要求udp協(xié)議117。

例如，假定將電影內(nèi)容提供給用戶。構(gòu)成電影內(nèi)容的一幀典型地包括視頻流、音頻流、以及字幕信息。在使用圖1的協(xié)議結(jié)構(gòu)的情況下，如上所述，視頻流、音頻流、以及字幕信息必須使用不同的協(xié)議來(lái)傳送。因此，當(dāng)使用傳統(tǒng)的協(xié)議結(jié)構(gòu)時(shí)，包括各種類型的媒體的內(nèi)容(以下稱為“多媒體內(nèi)容”)，諸如電影內(nèi)容，其傳送是低效率的(inefficient)。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問(wèn)題

也就是說(shuō)，在目前使用的提供多媒體內(nèi)容的方法中，必須根據(jù)構(gòu)成每種多媒體內(nèi)容的各個(gè)媒體而應(yīng)用單獨(dú)的協(xié)議，這導(dǎo)致了在多媒體內(nèi)容傳輸中的低效率。具體來(lái)說(shuō)，在包括各種多媒體內(nèi)容的復(fù)雜多媒體內(nèi)容的傳輸中存在困難。

技術(shù)方案

因此，已經(jīng)做出本發(fā)明以解決在現(xiàn)有技術(shù)中出現(xiàn)的上述問(wèn)題，并且本發(fā)明的一個(gè)方面提供了用于通過(guò)使用各種類型的網(wǎng)絡(luò)來(lái)傳送包括各種類型的多媒體內(nèi)容的多媒體數(shù)據(jù)的裝置和方法。

而且，本發(fā)明的另一個(gè)方面提供了一種用于多媒體內(nèi)容的綜合性傳輸?shù)慕涌凇?/p>

而且，本發(fā)明的再一個(gè)方面提供了一種用于多媒體內(nèi)容的綜合性傳輸?shù)臄?shù)據(jù)包格式。

根據(jù)本發(fā)明的一個(gè)方面，提供了用于提供媒體服務(wù)的接口，該接口包括：封裝層，用于封裝編碼的媒體數(shù)據(jù)；遞送層，用于將封裝的媒體數(shù)據(jù)傳送到另一個(gè)實(shí)體；以及控制層，用于控制媒體數(shù)據(jù)的傳輸。

更具體地，本發(fā)明的一個(gè)方面提供了一種用于接收多媒體內(nèi)容的數(shù)據(jù)的方法，所述方法包括：接收數(shù)據(jù)單元，該數(shù)據(jù)單元包括多媒體內(nèi)容的媒體數(shù)據(jù)和媒體數(shù)據(jù)相關(guān)信息；以及接收用于消費(fèi)多媒體內(nèi)容的控制信息；其中所述控制信息包括關(guān)于所述多媒體內(nèi)容的結(jié)構(gòu)的信息。

附圖說(shuō)明

圖1示出了根據(jù)各種多媒體服務(wù)而使用不同的協(xié)議的傳統(tǒng)的協(xié)議結(jié)構(gòu)；

圖2示出了根據(jù)本發(fā)明的實(shí)施例的用于解釋必要功能和接口而細(xì)分的三個(gè)層；

圖3示出了使用具有如圖2中所示的結(jié)構(gòu)的mmt傳送的多媒體的ip數(shù)據(jù)包的結(jié)構(gòu)；

圖4示出了通過(guò)使用如圖2中定義的mmt系統(tǒng)而為用戶實(shí)際提供服務(wù)的示例；

圖5示出了使用具有如圖2中所示的結(jié)構(gòu)的多媒體系統(tǒng)傳送的、具有傳輸文件格式的形式的服務(wù)；以及

圖6示出了使用具有如圖2中所示的結(jié)構(gòu)的多媒體系統(tǒng)傳送的內(nèi)容的數(shù)據(jù)包結(jié)構(gòu)。

具體實(shí)施方式

以下，將參考附圖描述本發(fā)明的實(shí)施例。在下面描述中，相同的元素將由相同的參考標(biāo)號(hào)來(lái)表示，即使它們示出在不同的附圖中。而且，在以下描述中找到的各種具體定義，如數(shù)據(jù)包標(biāo)識(shí)的具體值、顯示信息的內(nèi)容等，只是提供用來(lái)幫助對(duì)本發(fā)明的一般理解，并且本領(lǐng)域技術(shù)人員將清楚，本發(fā)明可以實(shí)現(xiàn)而沒(méi)有這樣的定義。而且，在本發(fā)明的以下描述中，當(dāng)可能使得本發(fā)明的主題不清楚時(shí)，將省略在這里合并的已知功能和配置的詳細(xì)描述。

本發(fā)明定義了用于多媒體內(nèi)容的綜合性(integrated)傳送和接收的接口。在本發(fā)明中定義的接口提供了三個(gè)功能層。第一功能層是封裝層，第二功能層是遞送層，而第三功能層是控制層。

封裝層處理和封裝從媒體編碼層接收的各種類型的編碼的多媒體內(nèi)容。而且，封裝層將封裝的多媒體內(nèi)容適當(dāng)?shù)剞D(zhuǎn)換為能夠在存儲(chǔ)設(shè)備中存儲(chǔ)的格式，或者能夠通過(guò)遞送層傳送到網(wǎng)絡(luò)上的另一個(gè)實(shí)體或用戶設(shè)備的格式。

遞送層定義了用于提供對(duì)于多媒體內(nèi)容最優(yōu)化的傳輸環(huán)境的功能，以便通過(guò)各種網(wǎng)絡(luò)傳送封裝的多媒體內(nèi)容。

控制層定義了用戶消費(fèi)(consume)多媒體內(nèi)容所需的消費(fèi)信息(例如電子節(jié)目指南(epg))以及遞送層高效傳送多媒體內(nèi)容所需的功能。

圖2示出了根據(jù)本發(fā)明的實(shí)施例的以逐個(gè)協(xié)議為基礎(chǔ)細(xì)分的上述三個(gè)功能層。

在本發(fā)明中，封裝層包括三個(gè)層e.1211、e.2212、以及e.3213，遞送層包括三個(gè)層d.1221、d.2222、以及d.3223，而控制層包括三個(gè)層c.1231、c.2232、以及c.3233。在圖2中，各層由參考標(biāo)號(hào)“270”共同地指定，也就是說(shuō)，片段nal單元、au、mpeg-2ts、rtp/http、以及udp/tcp只是為了更好地理解本發(fā)明的各層而描述的，因此應(yīng)當(dāng)注意到mmte.3層213、mmte.2層212、mmte.1層211、mmtd.1層221、以及mmtd.2層222的功能不必與片段nal單元、au、mpeg-2ts、rtp/http、以及udp/tcp層的功能相一致。

參考圖2，媒體編碼層200通過(guò)以片段為單位劃分多媒體內(nèi)容并對(duì)劃分的片段進(jìn)行編碼，來(lái)生成媒體數(shù)據(jù)片段(“片段”)。而且，媒體編碼層200生成與片段相關(guān)的信息。這種與片段相關(guān)的信息是代表在所生成的片段之間的關(guān)系的信息。用于參考，給定數(shù)目的片段的組合構(gòu)成了存取單元，而給定數(shù)目的存取單元以及與存取單元相關(guān)的信息的組合構(gòu)成了基本碼流。

封裝層具有以下配置和功能。

封裝層的e.3層213從媒體編碼層200接收片段、片段報(bào)頭、以及與片段相關(guān)的信息，并通過(guò)使用所接收的片段、片段報(bào)頭、以及與片段相關(guān)的信息生成存取單元。而且，e.1層213生成與存取單元相關(guān)的信息，即，關(guān)于在所生成的存取單元之間的關(guān)系的信息。

與存取單元相關(guān)的信息是指，例如，解碼時(shí)間、合成時(shí)間(compositiontime)、大小、存取序號(hào)(sequencenumber)、等等。所生成的存取單元和與存取單元相關(guān)的信息被傳遞到e.2層212。用于參考，片段可以是組成多媒體內(nèi)容的所有類型的數(shù)據(jù)，諸如從語(yǔ)音編解碼器輸出的數(shù)據(jù)、從視頻編解碼器輸出的數(shù)據(jù)、用于支持與已有媒體視頻相比能夠附加功能的富媒體(richmedia)的場(chǎng)景合成信息、各種應(yīng)用、以及文檔數(shù)據(jù)等。

e.2層212通過(guò)組合多個(gè)存取單元和與存取單元相關(guān)的信息來(lái)生成基本碼流。而且，e.2層212生成與基本碼流相關(guān)的信息。所述與基本碼流相關(guān)的信息是指，例如，流的類型、流標(biāo)識(shí)符、流的傳輸特性值、等等。

e.1層211生成允許多媒體內(nèi)容被適當(dāng)消費(fèi)的包括基本碼流和代表性傳輸特性值的多媒體內(nèi)容的合成信息。所述合成信息可以是，例如，當(dāng)視頻數(shù)據(jù)和音頻數(shù)據(jù)被組合以便再現(xiàn)包括視頻數(shù)據(jù)和音頻數(shù)據(jù)的多媒體內(nèi)容時(shí)所需的信息，而所述代表性傳輸特性值可以是，例如，可以通過(guò)傳輸誤差率、速度、等等來(lái)表示的qos(服務(wù)質(zhì)量)。

遞送層具有以下配置和功能。

d.1層221是由本發(fā)明新提供的應(yīng)用協(xié)議，其對(duì)應(yīng)于類似于在圖1的傳統(tǒng)協(xié)議結(jié)構(gòu)中用于多媒體數(shù)據(jù)傳輸?shù)囊延衦tp或http傳輸協(xié)議的傳輸協(xié)議。為了高效地傳送多媒體內(nèi)容，d.1層221生成多媒體傳輸所需的網(wǎng)絡(luò)信息和關(guān)于多媒體內(nèi)容的特性的信息。

d.2層222考慮到各種網(wǎng)絡(luò)類型生成用于執(zhí)行流控制和糾錯(cuò)功能的信息，其對(duì)應(yīng)于類似于圖1中的已有udp或tcp協(xié)議的網(wǎng)絡(luò)傳輸協(xié)議。

d.3層223提供了涉及在如圖2中所示的所有層之間的信息傳輸?shù)墓δ?。也就是說(shuō)，d.3層223使能多媒體內(nèi)容在層之間的傳遞以及最終必須的通信，以便最優(yōu)化多媒體內(nèi)容的生成、傳遞、以及消費(fèi)。d.3層223執(zhí)行用于滿足多媒體內(nèi)容的體驗(yàn)質(zhì)量(qualityofexperience，qoe)的操作，生成用于這些操作的信息，并且必要時(shí)，將信息傳送給接收多媒體內(nèi)容的實(shí)體。而且，d.3層223允許多媒體內(nèi)容滿足其在遞送層中的qos，并且為此，執(zhí)行與圖2的所有層的通信。

控制層具有以下配置和功能?？刂茖痈鶕?jù)用于控制的目標(biāo)層被劃分為三個(gè)層。

c.1層231通過(guò)使用在封裝層e.1211、e.2212、e.3213中生成的信息，生成傳遞和消費(fèi)多媒體內(nèi)容所需的信息，并且將所生成的信息提供給用戶設(shè)備。所述傳遞和消費(fèi)多媒體內(nèi)容所需的信息是指，例如，內(nèi)容消費(fèi)所需的信息，諸如構(gòu)成多媒體的內(nèi)容的種類，內(nèi)容之間的關(guān)系、內(nèi)容的消費(fèi)次序、以及可以通過(guò)其來(lái)發(fā)現(xiàn)多媒體內(nèi)容的發(fā)現(xiàn)信息(discoveryinformation)。

c.2層232為d.1層221和d.2層222提供媒體傳輸所需的控制功能。例如，c.2層232控制d.1層221執(zhí)行考慮到多媒體內(nèi)容的幀配置。就這一點(diǎn)而言，c.2層232考慮到多媒體內(nèi)容被通過(guò)各種網(wǎng)絡(luò)傳送的情況而對(duì)d.1層221執(zhí)行控制。而且，c.2層232為d.2層222提供了用于傳送多媒體內(nèi)容的會(huì)話的流控制。

c.3層233存取和控制低于遞送層的各層，即，ip(網(wǎng)際協(xié)議)層240、數(shù)據(jù)鏈路層250、或物理層260。例如，c.3層233從數(shù)據(jù)鏈路層250接收網(wǎng)絡(luò)傳輸延遲測(cè)量信息，并通過(guò)使用所接收的信息，允許遞送層適當(dāng)?shù)貍魉投嗝襟w內(nèi)容。而且，c.3層233可以從物理層260接收傳輸誤差率信息，并且執(zhí)行減少傳輸誤差率所需的適當(dāng)控制。用于減少傳輸誤差率的控制示例可以是重新傳送發(fā)生錯(cuò)誤的已傳送數(shù)據(jù)包的指令。

圖3示出了使用具有如圖2中所示的結(jié)構(gòu)的mmt(mpeg媒體傳遞)接口傳送的多媒體的ip數(shù)據(jù)包的結(jié)構(gòu)。

操作圖2中的每一層所要求的信息被包括在構(gòu)成圖3的ip數(shù)據(jù)包300的有效載荷的每個(gè)相應(yīng)層報(bào)頭中。在圖3中，ip數(shù)據(jù)包300包括ip報(bào)頭301和有效載荷310。有效載荷310包括每層報(bào)頭，其中包括在上述每層中生成的信息。

更具體地，在媒體編碼層中生成的媒體編碼的(mediacoded)數(shù)據(jù)以存取單元為單位被包括在e.3層有效載荷307、309中。e3層報(bào)頭306、308包括在相應(yīng)層中生成的與存取單元相關(guān)的信息，e.2層報(bào)頭305包括在相應(yīng)層中生成的基本碼流中繼的(elementarystream-relayed)信息，而e.1層報(bào)頭304包括在相應(yīng)層中生成的合成信息和代表性傳輸特性值。此外，d.1層報(bào)頭303包括在相應(yīng)層中生成的關(guān)于多媒體內(nèi)容的特性的信息，而d.2層報(bào)頭302包括用于流控制和糾錯(cuò)的信息。

在本發(fā)明中，由于使用在圖3中示出的ip數(shù)據(jù)包結(jié)構(gòu)傳遞需要的信息，所以支持特定層的網(wǎng)絡(luò)實(shí)體能夠從相應(yīng)層報(bào)頭中獲取將在相應(yīng)層中執(zhí)行的功能所需的信息而不用訪問(wèn)其有效載荷。

圖4示出了通過(guò)使用根據(jù)本發(fā)明實(shí)施例的mmt系統(tǒng)而為用戶實(shí)際提供服務(wù)的示例。

圖4的這個(gè)示例對(duì)應(yīng)于提供用于在http協(xié)議上傳送高級(jí)視頻編解碼器(avc)數(shù)據(jù)的服務(wù)的示例，并且示出了能夠只使用e.1層411和c.1層431來(lái)提供該服務(wù)的情況。這樣，本發(fā)明能夠通過(guò)只使用在圖2中定義的層中的一些來(lái)為用戶提供相應(yīng)的服務(wù)來(lái)提供服務(wù)。

圖5示出了使用根據(jù)本發(fā)明實(shí)施例的多媒體系統(tǒng)傳送的、具有傳輸文件格式的形式的服務(wù)。

在e.3層513中，編碼的媒體數(shù)據(jù)514以存取單元為單位進(jìn)行解片段(defragmented)。這通過(guò)圖5中的e.3塊示出。

e.3層數(shù)據(jù)被存儲(chǔ)在e.2層512中，并且e.1層511包括多媒體內(nèi)容的合成信息和代表性傳輸特性值，其中多媒體內(nèi)容的合成信息是d層和c層讀取與包括基本碼流的服務(wù)或會(huì)話相關(guān)的信息并將其作為服務(wù)提供所需的信息，而代表性傳輸特性值允許多媒體內(nèi)容被適當(dāng)?shù)叵M(fèi)。由于用戶可以從相應(yīng)媒體服務(wù)開(kāi)始后的任意時(shí)間點(diǎn)訪問(wèn)多媒體服務(wù)，比如在用戶在提供相應(yīng)的多媒體服務(wù)的中間打開(kāi)tv終端的情況下，需要重復(fù)地表示(express)合成信息和代表性傳輸特性值。

在低于e.1層511的各層中，d.1層521包括傳輸相應(yīng)的數(shù)據(jù)包所需的網(wǎng)絡(luò)信息以及關(guān)于對(duì)應(yīng)的多媒體內(nèi)容的特性的信息，而d.2層522包括使用ip層的傳輸所需的網(wǎng)絡(luò)信息和用于流控制和糾錯(cuò)的信息。

圖6示出了使用根據(jù)本發(fā)明實(shí)施例的多媒體系統(tǒng)傳送的媒體內(nèi)容數(shù)據(jù)的數(shù)據(jù)包結(jié)構(gòu)。

在圖6中，根據(jù)內(nèi)容數(shù)據(jù)的類型和屬性被切分(sliced)為適當(dāng)大小的媒體片(mediaslice)601作為e.3數(shù)據(jù)包602的有效載荷被包格式化(packetized)。而且，e.3數(shù)據(jù)包602在被以存取單元為單位進(jìn)行劃分時(shí)被e.2數(shù)據(jù)包603包格式化。而且，e.2數(shù)據(jù)包603在被以基本碼流為單位進(jìn)行劃分時(shí)被e.1數(shù)據(jù)包604包格式化。e.1數(shù)據(jù)包604與用于使用tcp或udp層進(jìn)行傳輸?shù)男畔⒁约瓣P(guān)于多媒體內(nèi)容的特性的信息一起，由d.1數(shù)據(jù)包605包格式化。d.1數(shù)據(jù)包605與使用ip層進(jìn)行傳輸所需的信息以及用于流控制和糾錯(cuò)的信息一起，由d.2數(shù)據(jù)包606包格式化。最后，d.2數(shù)據(jù)包606由傳統(tǒng)的ip數(shù)據(jù)包607包格式化。

根據(jù)如上所述的本發(fā)明，通過(guò)使用集中框架(convergedframework)，各種多媒體內(nèi)容能夠以最小化的成本最優(yōu)化地傳送。因此，由于不僅能夠?yàn)橛脩舾咝У靥峁┡c多媒體相關(guān)的內(nèi)容，而且多媒體內(nèi)容的供應(yīng)商還能夠通過(guò)一個(gè)集中的系統(tǒng)提供服務(wù)，從而改善了提供服務(wù)時(shí)的效率和靈活性。

雖然已經(jīng)參考本發(fā)明的一定實(shí)施例示出和描述了本發(fā)明，本領(lǐng)域技術(shù)人員將理解，可以在這里進(jìn)行形式和細(xì)節(jié)上的各種改變，而不脫離由所附權(quán)利要求定義的本發(fā)明的精神和范圍。