專利名稱：多視圖媒體數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及多視圖媒體數(shù)據(jù)，具體地，涉及這種多視圖媒體數(shù)據(jù)的產(chǎn)生和處理。
背景技術(shù)：
運動畫面專家組(MPEG) [1]和電信標(biāo)準(zhǔn)化分部(ITU-T)研究組16(SG16)正在進行的對多視圖視頻編碼(MVC)的標(biāo)準(zhǔn)化是一種對通過多個攝像機或攝像機陣列產(chǎn)生的視頻序列進行編碼的視頻編碼技術(shù)。MVC以高效的方式利用多個視頻視圖之間的冗余，以提供緊湊的編碼視頻流。MVC基于高級視頻編碼(AVC)標(biāo)準(zhǔn)(也稱為ITU-T H. 264)，因此MVC 比特流語法和語義保持與AVC比特流語法和語義相似。IS0/IEC 14496-15 [2]是國際標(biāo)準(zhǔn)，被設(shè)計為采用便于管理AVC比特流的靈活和可擴展的格式來包含AVC比特流信息。該標(biāo)準(zhǔn)與MP4文件格式[3]和3GPP文件格式[4] 兼容。所有這些標(biāo)準(zhǔn)均是從由MPEG定義的ISO基本媒體文件格式[5]中導(dǎo)出的。MVC視頻流的存儲被稱為MVC文件格式。在MVC文件格式中，文件中的一個或多個視頻軌道表示多視圖視頻流。每個軌道表示流的一個或多個視圖。除了編碼后的多視圖視頻數(shù)據(jù)本身，MVC文件格式還包括要在處理視頻數(shù)據(jù)時使用的元數(shù)據(jù)。例如，每個視圖具有相關(guān)聯(lián)的視圖標(biāo)識符，這意味著一個視圖內(nèi)的MVC網(wǎng)絡(luò)抽象層(NAL)單元具有完全相同的視圖標(biāo)識符，即，具有MVC NAL單元首部擴展中的view_id字段的相同值。MVC NAL單元首部擴展還包括指定NAL單元的優(yōu)先級標(biāo)識符的priority_id字段。 在所建議的標(biāo)準(zhǔn)[6]中，較低的priority_id值指定了較高的優(yōu)先級。priority_id用于定義NAL單元優(yōu)先級，并依賴于比特流，因為priorityjd反映了來自不同視圖的視頻數(shù)據(jù)的
互編碼關(guān)系。

發(fā)明內(nèi)容
現(xiàn)今使用的優(yōu)先級標(biāo)識符僅僅指定了來自MVC文件中提供的攝像機視圖的視頻數(shù)據(jù)的互編碼關(guān)系。這種與編碼相關(guān)的優(yōu)先級盡管可以用于實現(xiàn)對來自不同攝像機視圖的視頻數(shù)據(jù)進行基于內(nèi)容的處理，但是只能有限地實現(xiàn)。本發(fā)明實施例克服了現(xiàn)有技術(shù)配置的這些和其他缺點。本發(fā)明的總體目的是提供可更加高效地處理的多視圖媒體數(shù)據(jù)。該目的和其他目的是通過所附專利權(quán)利要求限定的實施例來實現(xiàn)的。簡而言之，本發(fā)明實施例涉及通過提供表示場景的多個媒體視圖的編碼后的媒體數(shù)據(jù)來產(chǎn)生多視圖媒體數(shù)據(jù)。每個媒體視圖與相應(yīng)的結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)。結(jié)構(gòu)優(yōu)先級標(biāo)識符表示相關(guān)聯(lián)媒體視圖的媒體數(shù)據(jù)相對于至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系。因此，結(jié)構(gòu)優(yōu)先級標(biāo)識符以如下方式依賴于比特流它們與媒體數(shù)據(jù)的編碼相關(guān)， 并提供在媒體數(shù)據(jù)編碼中使用的視圖間預(yù)測的層次等級的指令。
針對多個媒體視圖的至少一部分中的每個媒體視圖，確定內(nèi)容優(yōu)先級標(biāo)識符。與結(jié)構(gòu)優(yōu)先級標(biāo)識符明顯不同，內(nèi)容優(yōu)先級標(biāo)識符表示相關(guān)聯(lián)媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級。例如通過將所確定的內(nèi)容優(yōu)先級標(biāo)識符包括在承載媒體視圖的媒體數(shù)據(jù)的一個或多個數(shù)據(jù)分組中，或者通過使所確定的內(nèi)容優(yōu)先級標(biāo)識符與指示媒體視圖的視圖標(biāo)識符相關(guān)，將所確定的內(nèi)容優(yōu)先級標(biāo)識符與相關(guān)媒體視圖相關(guān)聯(lián)。可選地，可以包括編碼后的媒體數(shù)據(jù)，作為媒體容器文件的一個或多個媒體軌道。 然后，包括結(jié)構(gòu)優(yōu)先級標(biāo)識符和內(nèi)容優(yōu)先級標(biāo)識符，作為在處理媒體數(shù)據(jù)期間適用于媒體軌道的元數(shù)據(jù)。內(nèi)容優(yōu)先級標(biāo)識符允許在數(shù)據(jù)處理設(shè)備處對多視圖媒體數(shù)據(jù)進行選擇性和差異化的基于內(nèi)容的處理。在這種情況下，基于內(nèi)容優(yōu)先級標(biāo)識符，優(yōu)選地還基于結(jié)構(gòu)優(yōu)先級標(biāo)識符，選擇編碼后的媒體數(shù)據(jù)的媒體數(shù)據(jù)子集。然后，將媒體數(shù)據(jù)的處理僅僅應(yīng)用于所選媒體數(shù)據(jù)子集，或者與其余媒體數(shù)據(jù)相比，針對所選媒體數(shù)據(jù)子集使用另一類型的媒體數(shù)據(jù)處理。


參照結(jié)合附圖而進行的以下描述，可以最佳地理解實施例以及實施例的其他目的和優(yōu)點，附圖中圖1是示意了根據(jù)實施例產(chǎn)生多視圖媒體數(shù)據(jù)的方法的流程圖；圖2是可用于記錄多視圖視頻數(shù)據(jù)的攝像機陣列的示意圖；圖3是示意了圖1中的媒體數(shù)據(jù)產(chǎn)生方法的附加步驟的流程圖；圖4是根據(jù)實施例的媒體容器文件的示意圖；圖5是根據(jù)實施例的媒體產(chǎn)生設(shè)備的示意框圖；圖6是根據(jù)實施例的處理多視圖媒體數(shù)據(jù)的方法的流程圖；圖7至11是示意了圖6中的媒體數(shù)據(jù)處理方法的處理步驟的不同實施例的流程圖；圖12是根據(jù)實施例的數(shù)據(jù)處理設(shè)備的示意框圖；圖13是根據(jù)另一實施例的數(shù)據(jù)處理設(shè)備的示意框圖；以及圖14是其中可以實現(xiàn)實施例的通信系統(tǒng)的示例的概述。
具體實施例方式在整個附圖中，相同的參考標(biāo)記用于相應(yīng)或相似的元素。本發(fā)明實施例總體涉及所謂多視圖媒體數(shù)據(jù)的產(chǎn)生和處理，具體地，涉及提供優(yōu)先級信息和與媒體數(shù)據(jù)處理相關(guān)地使用這種優(yōu)先級信息。多視圖媒體數(shù)據(jù)意味著媒體內(nèi)容的多個媒體視圖可用，其中，每個這種媒體視圖產(chǎn)生表示媒體內(nèi)容但來自多個可用媒體視圖之一的媒體數(shù)據(jù)。這種多視圖媒體的典型示例是多視圖視頻。在這種情況下，相對于要記錄的場景，提供了多個攝像機或其他媒體記錄/ 創(chuàng)建設(shè)備或多個這種攝像機的陣列。由于攝像機具有相對于內(nèi)容的不同位置和/或不同指向和/或焦距，因此它們提供了內(nèi)容的備選視圖。圖2示意性地示出了這種概念，其中，多個攝像機12-18的陣列10位于場景30附近，例如，場景30是要由不同攝像機12-18來記錄足球比賽的足球場。該圖還指示了攝像機12-18的相應(yīng)攝像機視圖22-28。在該示意性示例中，攝像機12-18位于沿足球場長度的不同位置，從而記錄場地的不同位置。這意味著攝像機12-18捕捉從其相應(yīng)攝像機視圖22- 看到的媒體內(nèi)容的不同版本。如本領(lǐng)域公知的，視頻數(shù)據(jù)編碼典型地基于相對像素預(yù)測，如在H. 261, H. 263, MPEG-4和H. 264中。在H. 264中，利用了 3種像素預(yù)測方法，即幀內(nèi)、幀間和雙向預(yù)測。幀內(nèi)預(yù)測提供根據(jù)當(dāng)前幀的先前解碼像素對當(dāng)前像素塊的空間預(yù)測。幀間預(yù)測使用先前解碼幀中對應(yīng)的但是移位的像素塊來給出當(dāng)前像素塊的時間預(yù)測。雙向預(yù)測給出兩個幀間預(yù)測的加權(quán)平均。因此，幀內(nèi)編碼幀不依賴于視頻流中的任何先前幀，而幀間編碼幀(包括具有雙向預(yù)測的幀間編碼幀)使用來自視頻流中的一個或多個其他參考幀的運動補償。多視圖視頻編碼通過不僅允許來自單一攝像機視圖的幀之間的預(yù)測，還允許視圖間預(yù)測，來使這種基于預(yù)測的編碼更進一步。因此，與要編碼的當(dāng)前幀相比，參考幀可以是處于相同相對時刻但屬于另一攝像機視圖的幀。視圖間和視圖內(nèi)預(yù)測的組合也是可能的， 從而具有來自不同攝像機視圖的多個參考幀。具有多個媒體視圖以及對來自媒體視圖的媒體數(shù)據(jù)進行互編碼的概念不必限于視頻數(shù)據(jù)。完全相反，多視圖媒體的概念也可以應(yīng)用于其他類型的媒體，包括例如圖形(例如可縮放向量圖形(SVG))。實際上，本發(fā)明的實施例可以應(yīng)用于可表示為多個媒體視圖的形式且其中可至少部分地在媒體視圖之間執(zhí)行媒體編碼的任何媒體類型。在本領(lǐng)域中，如MVC標(biāo)準(zhǔn)草案[6]中公開的，在NAL單元首部中包括所謂 priorityjd形式的優(yōu)先級。在具體情況下，屬于特定視圖的所有NAL單元可以具有相同的 priority_id,從而給出了每視圖唯一的現(xiàn)有技術(shù)優(yōu)先級標(biāo)識符。這些現(xiàn)有技術(shù)優(yōu)先級標(biāo)識符可以被認(rèn)為是所謂的結(jié)構(gòu)優(yōu)先級標(biāo)識符，因為這些優(yōu)先級標(biāo)識符指示了來自不同媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系。例如參照圖2，假定攝像機視圖沈被認(rèn)為是基本視圖。這意味著，攝像機視圖26是獨立視圖，其是根據(jù)其自身的視頻數(shù)據(jù)而編碼和解碼的，而無需來自其他攝像機視圖22、24、觀的任何預(yù)測。然后，兩個相鄰攝像機視圖MJ8可以依賴于基本視圖沈，這意味著可以根據(jù)來自基本視圖沈的視頻數(shù)據(jù)來預(yù)測來自攝像機視圖M、28 的視頻數(shù)據(jù)。最后，最后一個攝像機視圖22可以依賴于相鄰攝像機視圖24。這些依賴性方面給出了如下的結(jié)構(gòu)優(yōu)先級表I-結(jié)構(gòu)優(yōu)先級標(biāo)識符
攝像機視圖‘22242628結(jié)構(gòu)優(yōu)先級標(biāo)識符3212*根據(jù)圖2的攝像機視圖參考標(biāo)號在表I中，如所建議的標(biāo)準(zhǔn)[6]中那樣，較低的結(jié)構(gòu)優(yōu)先級標(biāo)識符值指定了較高優(yōu)先級。因此，向基本視圖沈給出最低結(jié)構(gòu)優(yōu)先級標(biāo)識符，并且，依賴于基本視圖沈編碼的兩個攝像機視圖22、觀具有次最低的結(jié)構(gòu)優(yōu)先級標(biāo)識符。因此，依賴于具有次最低結(jié)構(gòu)優(yōu)先級標(biāo)識符的攝像機視圖MJ8之一編碼的攝像機視圖22具有本示例中4個攝像機視圖中最高的結(jié)構(gòu)優(yōu)先級標(biāo)識符。
因此，結(jié)構(gòu)優(yōu)先級標(biāo)識符依賴于比特流，因為它們反映了來自不同攝像機視圖的視頻數(shù)據(jù)的互編碼關(guān)系。實施例提供和使用了適用于多視圖媒體但依賴于內(nèi)容的備選形式的優(yōu)先級標(biāo)識符。圖1是示意了根據(jù)實施例的產(chǎn)生多視圖媒體數(shù)據(jù)的方法的流程圖。該方法從步驟 Sl開始，在步驟Si，提供表示媒體內(nèi)容的多個媒體視圖的編碼后的數(shù)據(jù)。該多個媒體視圖中的每一個與如上所述相應(yīng)的結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)。因此，結(jié)構(gòu)優(yōu)先級標(biāo)識符指示了媒體視圖的媒體數(shù)據(jù)相對于多個媒體視圖中至少一個其他媒體視圖的媒體數(shù)據(jù)的編碼相
互關(guān)系。步驟Sl的這種多視圖媒體數(shù)據(jù)提供是可以通過從可訪問的媒體存儲器中取得媒體數(shù)據(jù)來實現(xiàn)的，其中，先前已經(jīng)將媒體數(shù)據(jù)輸入該媒體存儲器。備選地，媒體數(shù)據(jù)是從某個其他外部單元接收的，在該外部單元中存儲、記錄或產(chǎn)生了媒體數(shù)據(jù)。另一種可能性是實際創(chuàng)建和編碼媒體數(shù)據(jù)，例如記錄視頻序列或合成地產(chǎn)生媒體數(shù)據(jù)。下一步驟S2針對多個可用媒體視圖中的媒體視圖確定所謂的內(nèi)容優(yōu)先級標(biāo)識符。與依賴于媒體視圖之間的編碼相互關(guān)系的結(jié)構(gòu)優(yōu)先級標(biāo)識符明顯不同，步驟S2中確定的內(nèi)容優(yōu)先級標(biāo)識符指示媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級。因此，內(nèi)容優(yōu)先級標(biāo)識符與實際媒體內(nèi)容更加相關(guān)，并向媒體視圖提供了與源自媒體視圖之一的媒體數(shù)據(jù)相對于來自其他媒體視圖的媒體數(shù)據(jù)的重要程度有關(guān)的優(yōu)先級。再次參照圖2，一般認(rèn)為，看到與足球場中的球門之一周圍的區(qū)域相關(guān)的視頻數(shù)據(jù)對觀看者來說更有價值。因此，典型地，攝像機視圖12被認(rèn)為從內(nèi)容和呈現(xiàn)的觀點來看具有最高優(yōu)先級。因此，根據(jù)組織結(jié)構(gòu)優(yōu)先級標(biāo)識符的方式，攝像機視圖12的內(nèi)容優(yōu)先級標(biāo)識符具有與最高優(yōu)先級相對應(yīng)的最低優(yōu)先級值，見表II。 表II-內(nèi)容優(yōu)先級標(biāo)識符
攝像機視圖*22242628內(nèi)容優(yōu)先級標(biāo)識符1234*根據(jù)圖2的攝像機視圖參考標(biāo)號因此，從呈現(xiàn)的觀點來看，攝像機視圖越接近于足球場的最令人感興趣的部分 (即球門)，該攝像機視圖的內(nèi)容優(yōu)先級就越高，內(nèi)容優(yōu)先級標(biāo)識符就越低。在備選方式中，媒體視圖的結(jié)構(gòu)/內(nèi)容優(yōu)先級越高，結(jié)構(gòu)/內(nèi)容優(yōu)先級標(biāo)識符值就越高。然后，在步驟S3，將步驟S2所確定的內(nèi)容優(yōu)先級標(biāo)識符關(guān)聯(lián)至并分配至多個媒體視圖中的相關(guān)媒體視圖。這種關(guān)聯(lián)是可以通過將內(nèi)容優(yōu)先級標(biāo)識符與媒體視圖的視圖標(biāo)識符一起存儲來實現(xiàn)的。備選地，將內(nèi)容優(yōu)先級標(biāo)識符與來自相關(guān)媒體視圖的媒體數(shù)據(jù)一起存儲。針對多個媒體視圖的至少一個部分來確定內(nèi)容優(yōu)先級標(biāo)識符，這由線Ll示意性地示出。這意味著步驟S2和S3形成的循環(huán)可以執(zhí)行一次，使得媒體視圖中只有一個具有內(nèi)容優(yōu)先級標(biāo)識符。優(yōu)選地，多次確定步驟S2和S3，更優(yōu)選地，針對多個媒體視圖中的每個媒體視圖確定一次。因此，如果從M個媒體視圖記錄了多視圖媒體數(shù)據(jù)，則步驟S2和S3可以執(zhí)行N次，其中1彡N彡M且M彡2。然后，該方法結(jié)束。內(nèi)容優(yōu)先級標(biāo)識符指示來自與內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)的媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)或播出重要性等級。因此，如以上結(jié)合圖2所討論的，可以基于多個媒體視圖相對于所記錄場景的記錄位置來確定內(nèi)容優(yōu)先級標(biāo)識符的值。因此，攝像機視圖22-28的攝像機 12-18的位置、對焦方向和/或焦距可以用于確定攝像機視圖22- 的相應(yīng)內(nèi)容優(yōu)先級標(biāo)識符?？捎糜诖_定內(nèi)容優(yōu)先級標(biāo)識符的附加或備選參數(shù)是不同攝像機12-18記錄場景30的分辨率。一般地，與視頻數(shù)據(jù)的較低分辨率版本相比，具有場景30的高分辨率視頻數(shù)據(jù)具有較高的呈現(xiàn)重要性。實施例中的內(nèi)容優(yōu)先級標(biāo)識符可以由記錄和/或處理(如編碼)多視圖媒體數(shù)據(jù)的內(nèi)容提供器來確定。例如，手動操作員可以通過檢查來自不同媒體視圖的所記錄的媒體數(shù)據(jù)，基于他/她關(guān)于哪個或哪些媒體視圖被認(rèn)為是在媒體呈現(xiàn)期間與其他媒體視圖相比對觀看用戶而言更加重要的看法，來確定和關(guān)聯(lián)內(nèi)容優(yōu)先級標(biāo)識符。內(nèi)容優(yōu)先級標(biāo)識符的確定也可以是自動確定的，即無需任何人為操作。在這種情況下，處理器或算法可以使用上述參數(shù)(如攝像機位置、對焦方向、焦距、攝像機分辨率)中的任一個，將攝像機視圖分為不同的內(nèi)容優(yōu)先級等級。與結(jié)構(gòu)優(yōu)先級標(biāo)識符一樣，所確定的內(nèi)容優(yōu)先級標(biāo)識符典型地是靜態(tài)的，這意味著為了所記錄的內(nèi)容的目的，單一內(nèi)容優(yōu)先級標(biāo)識符與攝像機視圖相關(guān)聯(lián)。然而，有時可能的情況是來自不同媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級實際上可以隨時間而改變。在這種情況下，內(nèi)容優(yōu)先級標(biāo)識符可以與所謂生存時間值相關(guān)聯(lián)，或被設(shè)計為應(yīng)用于有限時間段或應(yīng)用于有限量的媒體幀。例如，媒體視圖可以具有針對前f個媒體幀或媒體內(nèi)容的前m分鐘的第一內(nèi)容優(yōu)先級標(biāo)識符，而針對后續(xù)媒體幀或來自該媒體視圖的媒體數(shù)據(jù)的其余部分，使用不同的第二內(nèi)容優(yōu)先級標(biāo)識符。當(dāng)然，這可以擴展至針對媒體視圖具有內(nèi)容優(yōu)先級標(biāo)識符之間的多于一次改變的情形。圖3是示意了產(chǎn)生多視圖媒體數(shù)據(jù)的方法的可選附加步驟的流程圖。該方法從圖 1的步驟S3繼續(xù)進行。下一步驟SlO將多個媒體視圖的編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個媒體軌道。例如，媒體容器文件可以是所謂MVC文件或優(yōu)選地基于ISO基本媒體文件格式的某種其他文件格式。媒體容器文件可以被認(rèn)為是媒體服務(wù)器在媒體會話期間用于提供媒體內(nèi)容和將媒體數(shù)據(jù)形成為可傳輸?shù)臄?shù)據(jù)分組的完整輸入封裝。因此，除了媒體內(nèi)容本身之外，容器文件優(yōu)選地包括媒體服務(wù)器執(zhí)行處理和允許在媒體會話期間傳輸媒體內(nèi)容所需的信息和指令。在實施例中，每個媒體視圖具有容器文件中單獨分配的媒體軌道，從而提供了多個媒體視圖與多個媒體軌道之間的一對一關(guān)系。備選地，至少兩個(可能全部)媒體視圖的媒體數(shù)據(jù)可以裝入媒體容器文件的單一媒體軌道中。圖4示意性地示出了具有承載編碼后的多視圖媒體數(shù)據(jù)的一個或多個媒體軌道32的媒體容器文件30的示例。多個媒體視圖的相應(yīng)媒體數(shù)據(jù)(不論被組織為一個還是多個媒體軌道)優(yōu)選地都被分配有與媒體視圖相關(guān)聯(lián)的相應(yīng)視圖標(biāo)識符。
圖3的下一步驟Sll相對于來自步驟SlO的至少一個媒體軌道，將結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到媒體容器文件中。相關(guān)聯(lián)地組織意味著將結(jié)構(gòu)優(yōu)先級標(biāo)識符包括在媒體容器文件中，以提供結(jié)構(gòu)優(yōu)先級標(biāo)識符與該結(jié)構(gòu)優(yōu)先級標(biāo)識符所應(yīng)用于的媒體視圖之間的關(guān)聯(lián)。對應(yīng)地，這種關(guān)聯(lián)可以取而代之地在結(jié)構(gòu)優(yōu)先級標(biāo)識符與源自該結(jié)構(gòu)優(yōu)先級標(biāo)識符所應(yīng)用于的媒體視圖的媒體數(shù)據(jù)之間。關(guān)聯(lián)可以具有從媒體視圖的媒體數(shù)據(jù)在媒體容器文件內(nèi)的存儲位置至結(jié)構(gòu)優(yōu)先級標(biāo)識符的存儲位置(或者反之)的指針的形式。因此，給定特定媒體數(shù)據(jù)或其在媒體容器文件內(nèi)的位置，該指針或元數(shù)據(jù)實現(xiàn)了對相關(guān)聯(lián)的結(jié)構(gòu)優(yōu)先級標(biāo)識符或結(jié)構(gòu)優(yōu)先級標(biāo)識符在文件內(nèi)的存儲位置的標(biāo)識。取代采用指針，元數(shù)據(jù)可以包括媒體數(shù)據(jù)/媒體視圖的視圖標(biāo)識符。然后，使用元數(shù)據(jù)來標(biāo)識結(jié)構(gòu)優(yōu)先級標(biāo)識符所應(yīng)用于的媒體數(shù)據(jù)之一。圖4示意性地示出了將結(jié)構(gòu)優(yōu)先級標(biāo)識符36相關(guān)聯(lián)地組織到媒體容器文件30中的實施例。在本實施例中，每個結(jié)構(gòu)優(yōu)先級標(biāo)識符36與指示結(jié)構(gòu)優(yōu)先級標(biāo)識符36所應(yīng)用于的媒體數(shù)據(jù)和媒體視圖的視圖標(biāo)識符34相關(guān)聯(lián)。圖3的下一步驟S12對應(yīng)地相對于至少一個媒體軌道，將內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到媒體容器文件中。與結(jié)構(gòu)優(yōu)先級標(biāo)識符類似，可以通過元數(shù)據(jù)(例如，提供媒體容器文件中媒體數(shù)據(jù)/媒體視圖與內(nèi)容優(yōu)先級標(biāo)識符之間的聯(lián)系的視圖標(biāo)識符)來實現(xiàn)關(guān)聯(lián)。圖4中也示意了這一點，其中每個內(nèi)容優(yōu)先級標(biāo)識符38與指示內(nèi)容優(yōu)先級標(biāo)識符36 所應(yīng)用于的媒體數(shù)據(jù)和媒體視圖的視圖標(biāo)識符34相關(guān)聯(lián)。向媒體容器文件提供內(nèi)容優(yōu)先級標(biāo)識符的非限制性示例是將“vipr”箱包括在媒體容器文件的樣本組描述箱中[6]。箱類型‘vipr，容器樣本組描述箱(‘sgpd’ )強制否數(shù)量0或更多
class ViewPriorityBox extends VisualSampleGroupEntry ('vipr ‘) { unsigned int( 16) view_count for (i=0; i<view_count; i++) { unsigned int(6) reserved — 0; unsigned int(10) viewjd; unsigned int(32) content_priority_id;其中view_count是媒體視圖的總數(shù)，view_id是文獻[6]中的ViewIdentifierBox 中指示的媒體視圖的視圖標(biāo)識符，content_priority_id是內(nèi)容優(yōu)先級標(biāo)識符。備選地，"vipr"箱可以是在媒體容器文件的樣本條目中提供的。箱類型‘vipr，
容器樣本條目(‘a(chǎn)vcl，，‘a(chǎn)vc2，，‘mvcl，)強制否數(shù)量精確為1個
權(quán)利要求
1.一種用于產(chǎn)生多視圖媒體數(shù)據(jù)的方法，包括-提供表示媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)，每個媒體視圖與結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級標(biāo)識符指示所述媒體視圖的所述媒體數(shù)據(jù)相對于所述多個媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-針對所述多個媒體視圖的至少一部分中的每個媒體視圖，確定內(nèi)容優(yōu)先級標(biāo)識符，所述內(nèi)容優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級；以及-將所述內(nèi)容優(yōu)先級標(biāo)識符與所述媒體視圖相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述確定步驟包括針對所述多個媒體視圖中的每個媒體視圖，確定相應(yīng)的內(nèi)容優(yōu)先級標(biāo)識符。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述確定步驟包括基于所述多個媒體視圖相對于所記錄的場景的記錄位置，針對所述多個媒體視圖的所述至少一部分中的每個媒體視圖，確定所述內(nèi)容優(yōu)先級標(biāo)識符。
4.根據(jù)權(quán)利要求1至3中任一項所述的方法，還包括-將所述多個媒體視圖的所述編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個媒體軌道；-相對于所述至少一個媒體軌道，將所述結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到所述媒體容器文件中；以及-相對于所述至少一個媒體軌道，將所述至少一個內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到所述媒體容器文件中。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述將所述至少一個內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織的步驟包括針對所述至少一個內(nèi)容優(yōu)先級標(biāo)識符中的每個內(nèi)容優(yōu)先級標(biāo)識符，將所述內(nèi)容優(yōu)先級標(biāo)識符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識符一起組織到所述媒體容器文件中。
6.一種用于產(chǎn)生多視圖媒體數(shù)據(jù)的媒體產(chǎn)生設(shè)備，包括-媒體提供器，用于提供表示媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)，每個媒體視圖與結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級標(biāo)識符指示所述媒體視圖的所述媒體數(shù)據(jù)相對于所述多個媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-優(yōu)先級分配器，用于向所述多個媒體視圖的至少一部分中的每個媒體視圖分配內(nèi)容優(yōu)先級標(biāo)識符，所述內(nèi)容優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級。
7.根據(jù)權(quán)利要求6所述的設(shè)備，還包括優(yōu)先級確定器，基于所述多個媒體視圖相對于所記錄的場景的記錄位置，針對所述多個媒體視圖的所述至少一部分中的每個媒體視圖， 確定所述內(nèi)容優(yōu)先級標(biāo)識符。
8.根據(jù)權(quán)利要求6或7所述的設(shè)備，還包括-軌道組織器，將所述多個媒體視圖的所述編碼后的媒體數(shù)據(jù)組織為媒體容器文件的至少一個媒體軌道；以及-優(yōu)先級組織器，相對于所述至少一個媒體軌道，將所述結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到所述媒體容器文件中，并相對于所述至少一個媒體軌道，將所述至少一個內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)地組織到所述媒體容器文件中。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述優(yōu)先級組織器被配置為針對所述至少一個內(nèi)容優(yōu)先級標(biāo)識符中的每個內(nèi)容優(yōu)先級標(biāo)識符，將所述內(nèi)容優(yōu)先級標(biāo)識符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識符一起組織到所述媒體容器文件中。
10.一種媒體容器文件，包括-至少一個媒體軌道，包括表示媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)；-相對于所述至少一個媒體軌道而相關(guān)聯(lián)地組織到所述媒體容器文件中的多個結(jié)構(gòu)優(yōu)先級標(biāo)識符，其中，所述多個媒體視圖中的每個媒體視圖具有結(jié)構(gòu)優(yōu)先級標(biāo)識符，所述結(jié)構(gòu)優(yōu)先級標(biāo)識符指示所述媒體視圖的所述媒體數(shù)據(jù)相對于所述多個媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系；-相對于所述至少一個媒體軌道而相關(guān)聯(lián)地組織到所述媒體容器文件中的至少一個內(nèi)容優(yōu)先級標(biāo)識符，其中，所述多個媒體視圖的至少一部分中的每個媒體視圖具有內(nèi)容優(yōu)先級標(biāo)識符，所述內(nèi)容優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級。
11.根據(jù)權(quán)利要求10所述的媒體容器文件，其中，所述多個媒體視圖中的每個媒體視圖具有所分配的視圖標(biāo)識符，所述至少一個內(nèi)容優(yōu)先級標(biāo)識符中的每個內(nèi)容優(yōu)先級標(biāo)識符與分配至相關(guān)聯(lián)媒體視圖的視圖標(biāo)識符一起被組織到所述媒體容器文件中。
12.一種用于處理多視圖媒體數(shù)據(jù)的方法，包括 -接收表示媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)，每個媒體視圖與結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級標(biāo)識符指示所述媒體視圖的所述媒體數(shù)據(jù)相對于所述多個媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系，所述多個媒體視圖的至少一部分中的每個媒體視圖與內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述內(nèi)容優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級；以及-基于所述至少一個內(nèi)容優(yōu)先級標(biāo)識符來選擇所述多個媒體視圖的所述媒體數(shù)據(jù)的媒體數(shù)據(jù)子集，以進行處理。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述選擇步驟包括基于所述結(jié)構(gòu)優(yōu)先級標(biāo)識符和所述至少一個內(nèi)容優(yōu)先級標(biāo)識符來選擇所述媒體數(shù)據(jù)子集，以進行處理。
14.根據(jù)權(quán)利要求12或13所述的方法，還包括從所述編碼后的媒體數(shù)據(jù)中剪裁所選的媒體數(shù)據(jù)子集。
15.根據(jù)權(quán)利要求12至14中任一項所述的方法，還包括對所選的媒體數(shù)據(jù)子集進行解碼和呈現(xiàn)。
16.根據(jù)權(quán)利要求12至15中任一項所述的方法，還包括-對所選的媒體數(shù)據(jù)子集應(yīng)用第一數(shù)據(jù)保護等級；以及-對未包括在所選的媒體數(shù)據(jù)子集中的其余媒體數(shù)據(jù)應(yīng)用不同的第二數(shù)據(jù)保護等級。
17.一種用于處理多視圖媒體數(shù)據(jù)的數(shù)據(jù)處理設(shè)備，包括-接收機，用于接收表示媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)，每個媒體視圖與結(jié)構(gòu)優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述結(jié)構(gòu)優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級，并指示所述媒體視圖的所述媒體數(shù)據(jù)相對于所述多個媒體視圖中的至少另一媒體視圖的媒體數(shù)據(jù)的編碼相互關(guān)系，所述多個媒體視圖的至少一部分中的每個媒體視圖與內(nèi)容優(yōu)先級標(biāo)識符相關(guān)聯(lián)，所述內(nèi)容優(yōu)先級標(biāo)識符指示所述媒體視圖的媒體數(shù)據(jù)的呈現(xiàn)重要性等級；以及-媒體選擇器，基于所述至少一個內(nèi)容優(yōu)先級標(biāo)識符來選擇所述多個媒體視圖的所述媒體數(shù)據(jù)的媒體數(shù)據(jù)子集，以進行處理。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中，所述媒體選擇器被配置為基于所述結(jié)構(gòu)優(yōu)先級標(biāo)識符和所述至少一個內(nèi)容優(yōu)先級標(biāo)識符來選擇所述媒體數(shù)據(jù)子集，以進行處理。
19.根據(jù)權(quán)利要求17或18所述的設(shè)備，還包括媒體剪裁器，從所述編碼后的媒體數(shù)據(jù)中剪裁所選的媒體數(shù)據(jù)子集。
20.根據(jù)權(quán)利要求17至19中任一項所述的設(shè)備，還包括解碼器，對所選的媒體數(shù)據(jù)子集進行解碼；以及媒體播放器，呈現(xiàn)解碼后的所選媒體數(shù)據(jù)子集。
21.根據(jù)權(quán)利要求17至20中任一項所述的設(shè)備，還包括保護應(yīng)用器，對所選的媒體數(shù)據(jù)子集應(yīng)用第一數(shù)據(jù)保護等級，并對未包括在所選的媒體數(shù)據(jù)子集中的其余媒體數(shù)據(jù)應(yīng)用不同的第二數(shù)據(jù)保護等級。
全文摘要
通過提供媒體內(nèi)容的多個媒體視圖的編碼后的媒體數(shù)據(jù)來產(chǎn)生多視圖媒體數(shù)據(jù)。每個媒體視圖(22-28)與結(jié)構(gòu)優(yōu)先級標(biāo)識符(36)相關(guān)聯(lián)，結(jié)構(gòu)優(yōu)先級標(biāo)識符(36)指示媒體數(shù)據(jù)相對于至少另一媒體視圖(22-28)的媒體數(shù)據(jù)的編碼相互關(guān)系。優(yōu)選地，針對每個媒體視圖(22-28)，確定內(nèi)容優(yōu)先級標(biāo)識符(38)。與結(jié)構(gòu)優(yōu)先級標(biāo)識符(36)不同，內(nèi)容優(yōu)先級標(biāo)識符(38)指示媒體視圖(22-28)的媒體數(shù)據(jù)的呈現(xiàn)重要性等級。確定和包括內(nèi)容優(yōu)先級標(biāo)識符(38)提供了與例如多視圖媒體數(shù)據(jù)的選擇性剪裁、呈現(xiàn)和/或保護應(yīng)用相結(jié)合的、改進的媒體數(shù)據(jù)處理。
文檔編號H04N7/26GK102177718SQ200880131456
公開日2011年9月7日 申請日期2008年12月15日 優(yōu)先權(quán)日2008年10月7日
發(fā)明者巫壯飛, 珀·福羅德亨 申請人:艾利森電話股份有限公司