專利名稱:用于多媒體消息服務(mms)到視頻適配的方法和系統(tǒng)的制作方法
技術領域:
本發(fā)明涉及多媒體消息服務(MMS),并且更特別地,涉及將匪S消息中包含的媒體 適配成單個媒體。
背景技術:
多媒體消息服務(MMS),例如在開放移動聯(lián)盟的2005年5月批準的版 ^ 1. 2, 0MA-ERP-MMS-Vl_2-20050429-A.zip, OMA MultimediaMessaging Service specification(0MA多媒體消息服務規(guī)范)中所描述的,用于提供包括文本、音頻、靜態(tài)圖 像以及移動圖像的各種類型數(shù)據(jù)的主要通過無線網(wǎng)絡的對等以及服務器/客戶端傳輸?shù)?方法,該版本在以下 URL 上處可找至丨J :http://www. openmobilealliance. org/Technical/ release_program/mms_vl_2. aspx。盡管MMS提供用于封裝這樣的數(shù)據(jù)的標準方法,數(shù)據(jù)的類型可以以大量諸如純文 本、3GP視頻和音頻/語音、用于合成音頻的SP-MIDI、JPEG靜態(tài)圖像等的標準格式中的任何 一種(這些格式中的任何一種的細節(jié)參考在以下URL http://www.3gpp.org/ftp/Specs/ html-info/26140. htm 處可找至Ij的 Multimedia Messaging Service、Media formats and codecs,3GPP TS26. 140、V7. 1. 0 (2007-06))來編碼。圖1示出匪S系統(tǒng)體系結構100的一個示例,包括發(fā)起節(jié)點102、服務遞送平臺 104、目的節(jié)點106和適配引擎108。發(fā)起節(jié)點102能夠通過網(wǎng)絡“A” 110與服務遞送平臺 104通信。類似地,目的節(jié)點106能夠通過網(wǎng)絡“B” 112與服務遞送平臺104通信。網(wǎng)絡 “A”和“B”僅僅是用來示出可能連接集的示例,很多其他配置也是可行的。例如,發(fā)起節(jié)點 和目的節(jié)點(102和106)能夠通過單個網(wǎng)絡與服務遞送平臺104通信;發(fā)起節(jié)點102可以 直接連接到服務遞送平臺104,沒有中間網(wǎng)絡等。適配引擎108可以通過圖1中示出的鏈路114與服務遞送平臺104直接連接,或 者替代地可以通過網(wǎng)絡與其連接,或者可以嵌入在服務遞送平臺104中。 在一個普通案例中,發(fā)起節(jié)點102可以發(fā)送要發(fā)往目的節(jié)點106的(多媒體)消 息。該消息通過網(wǎng)絡“A” 110被轉(zhuǎn)發(fā)到服務遞送平臺104,從服務遞送平臺104經(jīng)由網(wǎng)絡 “B” 112被發(fā)送到目的節(jié)點106。發(fā)起節(jié)點和目的節(jié)點(102和106)可以例如是無線設備, 網(wǎng)絡“A”和“B”(110和112)在該案例中可以是無線網(wǎng)絡,以及服務遞送平臺104可以提供 多媒體消息轉(zhuǎn)發(fā)服務。在另一情形中,發(fā)起節(jié)點102可以是內(nèi)容提供商的服務器,通過數(shù)據(jù)網(wǎng)絡連接到服務遞送平臺104,即網(wǎng)絡“A”110可以是互聯(lián)網(wǎng),而網(wǎng)絡“B”112可以是服務目的節(jié)點106 的無線網(wǎng)絡,其中目的節(jié)點106可以是無線設備。在更一般的案例中,目的節(jié)點106的能力可以不包括以消息被從發(fā)起節(jié)點102發(fā)送的形式接收、解碼或顯示該消息的能力。為了目的節(jié)點106處理消息,從發(fā)起節(jié)點102接 收的消息可以在被遞送到目的節(jié)點106前,在適配引擎108中被修改?!伴_放移動聯(lián)盟”所提出的“標準編碼接口,,提供一種用于標準化匪S的消息適 配的方法的框架,如開放移動聯(lián)盟文檔0MA-AD-STI-V1_0-20270515-A "Architecture of the Environment usingthe Standard Transcoding Interface,,中描述白勺,i亥文檔在以下 URLhttp://www. openmobilealliance. org/Technical/release_program/sti_vl0. aspx 處 可找到。在圖1的示例配置中,消息從發(fā)起節(jié)點102到目的節(jié)點106的傳輸將涉及以下五 個步驟,假定需要消息適配步驟1 從發(fā)起節(jié)點102向服務遞送平臺104發(fā)送“源消息”;步驟2 服務遞送平臺104確定目的節(jié)點106的能力,例如通過直接詢問目的節(jié)點 106,或者通過查閱能力數(shù)據(jù)庫;步驟3 服務遞送平臺104向適配引擎108發(fā)送請求,該請求包括原始“源消息”以 及對目的節(jié)點106的能力的描述;步驟4 適配引擎108實施“源消息”到“適配的消息”的適配;及步驟5 適配引擎108向服務遞送平臺104返回“所適配的消息”,服務遞送平臺 104將它轉(zhuǎn)發(fā)到目的節(jié)點106。盡管以上引用的2005 年 5 月核準版本 1.2 的 OMA MultimediaMessaging Service specification(0ΜΑ多媒體消息服務規(guī)范書)中所描述的“標準編碼接口”提供了一種用于 代碼轉(zhuǎn)換要發(fā)往無線設備的消息的框架,但仍舊需要開發(fā)一種適配引擎,所述適配引擎具 有用于特定類型的目的節(jié)點或服務的適配方法。
發(fā)明內(nèi)容
因此,本發(fā)明的目的是提供一種改進的用于多媒體消息服務(MMS)到視頻適配的 方法和系統(tǒng),該方法和系統(tǒng)將避免或緩解現(xiàn)有技術的缺陷。根據(jù)本發(fā)明的一個方面,提供了一種用于將多媒體消息適配成輸出單個媒體的方 法,所述多媒體消息包括呈現(xiàn)和多個輸入媒體,該方法包括以下步驟(a)解析所述呈現(xiàn);(b)從所述被解析的呈現(xiàn)創(chuàng)建所述多個輸入媒體的邏輯時間線;(c)從該邏輯時間線創(chuàng)建適配流水線(adaptation pipeline);以及(d)通過執(zhí)行所述適配流水線創(chuàng)建所述輸出單個媒體。步驟(a)包括將所述呈現(xiàn)分解成表示所述多個輸入媒體的每一個的時間和持續(xù) 期的成分。步驟(b)包括以下步驟(i)確定所述輸入媒體的每一個的開始時間和持續(xù)期;(ii)在所述多個輸入媒體中標識任何文本媒體的存在;
(iii)將除所述文本媒體外的所有輸入媒體插入到所述邏輯時間線中;以及(iv)在步驟(iii)后將所述文本媒體插入到所述邏輯時間線中。步驟(c)包括遵循所述邏輯時間線的順序以適配流水線的形式創(chuàng)建單獨適配指 令步驟(individual adaptation instruction steps)的序列。優(yōu)選地,單獨適配指令步 驟包括定義要以所述邏輯時間線的順序?qū)嵤┑牟僮鳎霾僮鲗е滤鲚敵鰡蝹€媒體。步 驟(d)包括在所述輸入媒體上執(zhí)行所述單獨適配指令步驟,產(chǎn)生所述輸出單個媒體。便利地,每一個單獨適配指令步驟包括定義用于代碼轉(zhuǎn)換的一個或多個輸入媒體;使用代碼轉(zhuǎn)換參數(shù)集,定義用于所述一個或多個輸入媒體的代碼轉(zhuǎn)換操作;以及定義用于所述代碼轉(zhuǎn)換操作的結果的各目的地輸出媒體。在本發(fā)明的實施例中,所述備目的地輸出媒體是所述輸出單個媒體。便利地,步驟 (d)包括將所述各目的地輸出媒體合并成所述輸出單個媒體。在本發(fā)明的實施例中,所述多媒體消息是多媒體消息服務(MMS)消息。在以上描述的方法中,所述輸出單個媒體是以下中的一個音頻文件;包括視頻流的視頻文件;或包括音頻和視頻流的組合音頻和視頻文件。可選地,所述輸出單個媒體可以是以下中的一個音頻流;視頻流;或組合音頻和視頻流。在以上描述的方法中,步驟(d)包括將所述多個輸入媒體的文本媒體轉(zhuǎn)換成圖形 表示,以及其中步驟(d)進一步包括將所述圖形表示分別疊加在所述視頻文件或所述組合 音頻和視頻文件的視頻流上。類似地,步驟(d)可以包括將所述多個輸入媒體的圖像媒體轉(zhuǎn)變成視頻表示,并 且分別將所述視頻表示插入到所述視頻文件或所述組合音頻和視頻文件的視頻流中。根據(jù)本發(fā)明的另一方面,提供了一種用于將包括呈現(xiàn)的多媒體消息服務(MMS)消 息中包含的多個輸入媒體適配成輸出單個媒體的方法,所述方法包括以下步驟(a)解析所述呈現(xiàn);(b)從所述被解析的呈現(xiàn)創(chuàng)建邏輯時間線;(c)從所述邏輯時間線創(chuàng)建適配流水線;以及(d)執(zhí)行所述適配流水線以生成所述輸出單個媒體。步驟(a)包括將所述呈現(xiàn)分解成表示所述多個輸入媒體的每一個的時間和持續(xù) 期的成分。步驟(b)包括以下步驟(i)確定每一個輸入媒體的開始時間和持續(xù)期;(ii)在所述多個輸入媒體中標識任何文本媒體的存在;(iii)將除所述文本媒體外的所有輸入媒體插入到所述邏輯時間線中;以及(iv)在步驟(iii)后將所述文本媒體插入到所述邏輯時間線中。
6
步驟(c)包括遵循所述邏輯時間線的順序以適配流水線的形式創(chuàng)建流水線單獨 適配指令步驟的序列。所述單獨適配指令步驟包括定義要以所述邏輯時間線的順序?qū)嵤┑牟僮?,所述?作導致所述輸出單個媒體。步驟(d)包括在所述輸入媒體上執(zhí)行所述單獨適配指令步驟,產(chǎn)生所述輸出單個 媒體。根據(jù)本發(fā)明的另一方面,提供了一種用于將包括多個輸入媒體的多媒體消息適配 成單個輸出媒體的媒體適配系統(tǒng),該系統(tǒng)包括用于解析所述多媒體消息的呈現(xiàn)的解析器模塊;用于從所述被解析的呈現(xiàn)創(chuàng)建所述輸入媒體的邏輯時間線的時間線模塊;用于從所述邏輯時間線創(chuàng)建適配流水線的流水線模塊;以及用于通過執(zhí)行所述適配流水線創(chuàng)建所述輸出單個媒體的流水線執(zhí)行模塊。所述解析器模塊包括用于將所述呈現(xiàn)分解成表示所述多媒體消息的所述輸入媒 體的每一個的時間和持續(xù)期的成分的裝置。所述時間線模塊包括用于以下操作的裝置(i)確定每一個輸入媒體的開始時間和持續(xù)期;(ii)在所述多個輸入媒體中標識任何文本媒體的存在;(iii)將除文本媒體外的所有輸入媒體插入到所述邏輯時間線中;以及(iv)將所述文本媒體插入到所述邏輯時間線中。所述流水線模塊包括用于遵循所述邏輯時間線的順序以適配流水線的形式創(chuàng)建 流水線單獨適配指令步驟的序列的裝置。所述流水線執(zhí)行模塊包括用于在所述輸入媒體上執(zhí)行所述單獨適配指令步驟,產(chǎn) 生所述輸出單個媒體的裝置。還提供了一種計算機可讀介質(zhì),所述計算機可讀介質(zhì)包括在其上存儲的用于實施 以上描述的所述方法的步驟的計算機代碼指令。
現(xiàn)在將通過示例方式參考附圖描述本發(fā)明的實施例,在所述附圖中圖1示出現(xiàn)有技術的MMS系統(tǒng)體系結構100的一個示例;圖2是示出根據(jù)本發(fā)明實施例的將示例輸入MMS消息202媒體適配成單個輸出音 頻/視頻媒體204的框圖200,包括適配方法224 ;圖3示出對應所述匪S消息202的呈現(xiàn)208的SMIL代碼段;圖4是所述適配方法224的步驟的流程圖;圖5示出所述適配方法224的步驟404 “創(chuàng)建邏輯時間線”的擴展流程圖;圖6示出對應圖3的示例呈現(xiàn)208的被完成的示例邏輯時間線600 ;圖7示出從所述示例邏輯時間線600導出的示例適配流水線700 ;圖8示出所述適配方法224的步驟406 “創(chuàng)建適配流水線”的擴展流程圖;以及圖9示出根據(jù)本發(fā)明優(yōu)選實施例的改進的媒體適配系統(tǒng)900。
具體實施例方式本發(fā)明涉及匪S消息和匪S消息中包含的“媒體”的處理。單個媒體是表示要被 讀取、聽取或查看的信息的數(shù)據(jù)塊。因為經(jīng)常更廣泛地應用術語“媒體”,在本說明書中將使 用術語“單個媒體”來指定不包含其他單個媒體的媒體(數(shù)據(jù)塊)文本單個媒體格式只能包含文本;圖像單個媒體格式只能包含一個或多個靜態(tài)或動畫圖像;音頻/視頻單個媒體格式只能(典型地)包含音頻/視頻;音頻單個媒體格式只能包含音頻剪輯(這里意味著音頻、語音和合成音頻)。從這一點上,動畫圖像被視為等同于視頻。靜態(tài)圖像被視為圖像。簡單地說,本發(fā)明的目的是將可以包含諸如音頻剪輯、視頻剪輯、靜態(tài)或動畫圖 像、以及文本的媒體的輸入MMS消息適配成單個輸出音頻/視頻媒體。所適配的單個音頻 /視頻媒體隨后可以以任何指定的格式或封裝被遞送到目的地。術語“媒體”和(更特定地)“單個媒體”將被用來描述MMS消息中的獨特成分或 數(shù)據(jù)塊。因而,被編碼為提供具有聲音的移動圖像的塊可以被稱為音頻/視頻媒體,被編碼 為提供靜態(tài)或動畫圖像的塊可以被稱為圖像媒體,以及文本塊可以被稱為文本媒體。MMS消 息因而整體上可以被視為封裝一個或多個“單個媒體”的“容器媒體”。MMS消息中包含的單個媒體塊被順序地存儲。MMS消息可以可選地包含被稱為“媒 體呈現(xiàn)”或簡單稱為“呈現(xiàn)”(presentation)的特殊類型媒體。呈現(xiàn)的目的是表示消息中包 含的其他單個媒體塊之間關系,就它所指代的呈現(xiàn)的編序(sequencing)、排序(ordering) 和定時而言。換言之,呈現(xiàn)表示每一個單個媒體關于該MMS內(nèi)的其他單個媒體何時被呈現(xiàn) 以及被呈現(xiàn)多長時間。圖2是示出根據(jù)本發(fā)明實施例的將示例輸入MMS消息202媒體適配成單個輸出音 頻/視頻媒體204的框圖200。輸入MMS消息202包括“MMS報頭” 206、“呈現(xiàn)” 208、包括音頻部分210a和視頻部 分210v的“音頻/視頻媒體” 210、“圖像媒體” 212、“音頻媒體” 214以及“文本媒體” 216。單個輸出音頻/視頻媒體204包括音頻部分204a和視頻部分204v。單個輸出音 頻/視頻媒體204的音頻部分204a包括被適配的音頻部分218。單個輸出音頻/視頻媒體 204的視頻部分204v包括被適配的視頻部分220和被適配的具有文本疊加的圖像媒體。輸入匪S消息202通過適配方法224被轉(zhuǎn)變和適配成單個輸出音頻/視頻媒體 204,適配方法224可以由被加載到適配引擎108(見圖1)中的創(chuàng)新軟件執(zhí)行。盡管示例輸入匪S消息202可以是根據(jù)以上引用的2005年5月核準版本1. 2的 OMA Multimedia Messaging Service specification (0MA 多媒體消息服務規(guī)范)的標準 MMS消息,并且單個輸出音頻/視頻媒體204可以是根據(jù)既定格式的媒體文件,但是是創(chuàng)新 適配方法224允許將MMS消息轉(zhuǎn)變或適配成單個媒體格式。"MMS報頭” 206提供涉及輸入MMS消息202的一般信息,諸如該消息的發(fā)起者、該 消息的目的地、以及關于該消息包含的數(shù)據(jù)的細節(jié)。MMS報頭206還標識在該消息中呈現(xiàn)的 存在,所述呈現(xiàn)在該示例中是“呈現(xiàn)” 208。一般來說,“呈現(xiàn)”208中包含的信息包括用于在目的設備中呈現(xiàn)消息內(nèi)容(各“媒 體”)的方法。在本示例中,“呈現(xiàn)” 208提出以下順序
8
-先播放“音頻/視頻媒體”210,然后-并行播放“圖像媒體”212、“音頻媒體” 214和“文本媒體” 216。下文將更詳細描述示例呈現(xiàn)208 (見圖3)?!耙纛l/視頻媒體” 210、“圖像媒體” 212、“音頻媒體” 214和“文本媒體” 216可以
是分別包含表示視頻剪輯(帶有聲音)、靜態(tài)圖像、音頻剪輯以及要顯示的文本的編碼數(shù)據(jù)的數(shù)據(jù)塊。消息可以物理地包含這些“媒體”,或者當執(zhí)行適配方法224的適配引擎(108) 要求時,它可以包含對要物理獲得的實際數(shù)據(jù)塊的引用。圖2中示出的輸入MMS消息202僅是一個示例,出于描述創(chuàng)新適配方法224的目 的,用來示出“單個媒體”的每一個類型的一個情形,所述適配方法224將輸入MMS消息202 適配成單個輸出音頻/視頻媒體204。在實踐中,復雜性更低或更高的MMS消息也可以被適 配成單個音頻/視頻媒體。當從發(fā)起設備(例如發(fā)起節(jié)點102,見圖1)向目的設備(目的節(jié)點106)發(fā)送匪S 消息時,首先使用發(fā)起設備的能力創(chuàng)建該消息。該設備可以不具有確定目的設備的能力是 什么的裝置。管理該類型流量的實體(例如服務遞送平臺104)具有識別該MMS消息被編址到 的目的設備的能力。它可以具有問詢該設備的能力。如果匪S消息的內(nèi)容與目的設備的能 力不匹配,則需要適配。如果發(fā)送設備和接收設備均能處理MMS消息,則適配的結果通常也 是MMS消息,但其內(nèi)容(其包含的媒體)已被所述適配改變?yōu)檫m合目的設備的格式。本發(fā)明涉及需要適配輸入MMS消息的特定案例,所述適配產(chǎn)生單個音頻/視頻媒 體輸出。這在目的設備不具有處理包含若干單個媒體的MMS消息的能力,但它具有處理一 個或多個音頻/視頻單個媒體格式的能力時是需要的。將輸入MMS消息適配成單個輸出音頻/視頻媒體具有若干高等級步驟-解析輸入匪S消息;-解析輸入呈現(xiàn)。如果不存在輸入呈現(xiàn),則從所述媒體的參數(shù)創(chuàng)建默認呈現(xiàn);創(chuàng)建邏輯時間線,所述邏輯時間線表示所述呈現(xiàn)意圖如何向所述目的地(即,想 要回放該消息的設備)呈現(xiàn)所述MMS消息的內(nèi)容;-實施生成適應所述邏輯時間線的單個輸出音頻/視頻媒體所必要的適配。解析輸入匪S消息(例如,輸入匪S消息202,見圖2)需要將該消息分解成子成 分(在該示例中,該MMS消息包括MMS報頭206、呈現(xiàn)208、包括音頻部分210a和視頻部分 210v的音頻/視頻媒體210、圖像媒體212、音頻媒體214、以及文本媒體216)。每一個子成 分對應該MMS消息中包含的所述媒體中的一個。該消息解析步驟的最終結果是表示該MMS 消息的結構的(例如,可以被存儲在計算機存儲器中的)抽象數(shù)據(jù)結構。Ma如之前所提到的,可以被包括在MMS消息(例如,輸入MMS消息202)中的呈現(xiàn)208 包括指令集,所述指令集可以被視為用于在目的設備中呈現(xiàn)消息內(nèi)容(所述“媒體”)的方 法。適配方法224使用在呈現(xiàn)208中找到的信息來驅(qū)動適配過程。呈現(xiàn)208以2001年8月7日的同步多媒體集成語言(SMIL) 2. 0規(guī)范書W3C推薦 中描述的同步媒體集成語言(SMIL)標記語言被編碼,見以下URL http://www.w3.org/TR/ smil20/o
圖3示出對應所述呈現(xiàn)208的SMIL代碼段,作為示例。呈現(xiàn)208包括19行SMIL代碼。行01標識該代碼是SMIL代碼。報頭(行02至 行08)包括用于“圖像”區(qū)域(行05)和“文本”區(qū)域(行06)的屏幕布局規(guī)范。該呈現(xiàn)的 “主體”(行09至18)包含“par” (并行段落)塊內(nèi)的媒體規(guī)范。第一“par,,塊(行10至12)指定8000毫秒的持續(xù)期(行10),在該持續(xù)期期間已 命名的視頻源(“vide01.3gp”)要在所述“圖像”區(qū)域中,從時間0到時間8000毫秒(行 11)被播放。第二、虹”±夬(行13至17)指定6000毫秒的持續(xù)期(行13),在該持續(xù)期期間三 個媒體要被呈現(xiàn)已命名的音頻源(“audiol. aac")從時間0到時間6000毫秒(行14);已命名的圖像源("image 1. jpg,,)從時間0到時間3000毫秒(行15);以及已命名的文本源("textl. txt,,)從時間3000毫秒到時間6000毫秒(行16)。呈現(xiàn)208是個簡單示例,為了示出創(chuàng)新適配方法224的基本概念。可以構造更復 雜的呈現(xiàn),并且SMIL語言包括眾多可以被用來指定呈現(xiàn)元素的附加關鍵字。這里不考慮細 節(jié),預期適配方法224將或者實現(xiàn)可以在MMS消息的呈現(xiàn)中指定的所有特征,或者提供默認 行為。圖4是所述適配方法224的步驟的流程圖,包括以下步驟402 “解析呈現(xiàn)”;404 “創(chuàng)建邏輯時間線”;406 “創(chuàng)建適配流水線”;以及408 “創(chuàng)建輸出單個媒體”。如果輸入MMS消息中存在呈現(xiàn)(諸如呈現(xiàn)208),則使用該呈現(xiàn)。如果不存在呈現(xiàn), 則創(chuàng)建默認呈現(xiàn),該默認呈現(xiàn)簡單按順序呈現(xiàn)輸入MMS消息的所有單個媒體整個持續(xù)期。使用該呈現(xiàn)中的信息,有可能標識應當被播放的媒體的順序和定時。在本示例中, 連續(xù)的“par”塊被以呈現(xiàn)208的SMIL代碼(行10至17,圖3)標識,生成關于它們指代的 媒體應當如何被“回放”的信息。在步驟402 “解析呈現(xiàn)”中,呈現(xiàn)208中的信息被分解成表示輸入MMS消息的單個 媒體的每一個的時間和持續(xù)期的成分。圖5示出創(chuàng)建了邏輯時間線的步驟404 “創(chuàng)建邏輯時間線”的擴展流程圖,包括以 下(子)步驟502 “確定開始時間和持續(xù)期”;504 “標識文本媒體”;506 “插入除文本外的所有媒體”;以及508 “插入文本媒體”。為了創(chuàng)建邏輯時間線,在步驟502 “確定整個持續(xù)期”中檢查所述呈現(xiàn),以確定它 所指代的每一個單個媒體的開始時間和持續(xù)期,因而創(chuàng)建持續(xù)期足夠長的空時間線。注意,適配的最終目標是單個音頻/視頻媒體。在下一步驟504 “標識文本媒體” 中,并且在將任何媒體插入到邏輯時間線中前,分析所述呈現(xiàn)以標識任何文本媒體的存在。 這樣做是為了輸入MMS消息中不存在音頻/圖像時在必要的情況下可以插入空視頻。這允許文本以文本疊加的形式被添加到所述輸出音頻/視頻單個媒體。注意,視頻文本疊加要 求存在視頻。 在下一步驟506 “插入除文本外的所有媒體”中,通過使用用于所述呈現(xiàn)中找到的 每一個的時間和持續(xù)期規(guī)范,所有音頻、圖像和視頻媒體被插入到所述邏輯時間線上。在 將媒體插入到邏輯時間線上時,已經(jīng)被插入的任何單個媒體的開始時間和持續(xù)期可以被調(diào) 整,以便它們可以彼此對準(在相同時間開始并且具有相同的持續(xù)期)。這樣的調(diào)整對于確 保沒有媒體重疊超過其他媒體可能是必要的。這樣做是為了有可能最不相互依賴地實施所 請求的適配為單獨適配集,并且如有必要能夠插入無聲(空音頻)和/或空視頻幀(空視 頻)。因而,在開始,輸入MMS消息中找到的所有音頻、圖像和視頻單個媒體被插入到邏 輯時間線中。在最終步驟508 “插入文本媒體”中,插入可能存在的任何文本媒體完成了邏輯時 間線創(chuàng)建。所產(chǎn)生的邏輯時間線是有序的單個媒體集序列,每一個單個媒體集包括下列中的 每一個類型的最多一個的并行集音頻、圖像或視頻、以及可選的文本段?!皢蝹€媒體集”也 可以被松散地稱為包含輸入MMS消息的“輸入媒體”。圖6示出對應示例呈現(xiàn)208 (圖3)的被完成的示例邏輯時間線600。邏輯時間線 600的標度通過一個以秒計的時間軌道602提供。邏輯時間線600于是包括音頻軌道604、 視頻/圖像軌道606、以及文本軌道608。音頻軌道604具有整體14秒的持續(xù)期,并且包括三段8秒持續(xù)期的 "videol. 3gp (音頻部分)”段610、3秒持續(xù)期的“audiol. aac第一個3秒”段612、以及3 秒持續(xù)期的"audiol. aac最后3秒”段614。視頻/圖像軌道606也具有整體14秒的持續(xù)期,并且包括三段8秒持續(xù)期的 "videol. 3gp (視頻部分)”段616、3秒持續(xù)期的“ imagel. jpg”段618、以及3秒持續(xù)期的 “空視頻”段620。文本軌道608也具有整體14秒的持續(xù)期,并且包括兩段11秒持續(xù)期的空白段 622、以及3秒持續(xù)期的“text 1. txt”段624。就單個媒體集而言,示例邏輯時間線600包括三個單個媒體集(SMS)-第一(8秒)SMS626,包括8秒持續(xù)期的“videol. 3gp (音頻部分)”段610和 "videol. 3gp (視頻部分)”段 616 ;-第二(3秒)SMS628,包括3秒持續(xù)期的“audiol. aac第一個3秒”段612和 "imagel. jpg” 段 618 ;以及-第三(3秒)SMS630,包括3秒持續(xù)期的“audiol. aac最后3秒”段614、“空視 頻”段620和同樣也是3秒的"textl. txt”段624。通過執(zhí)行(子)步驟502至508 (圖5),在步驟404 “創(chuàng)建邏輯時間線”中從示例 呈現(xiàn)208 (圖3)中包含的信息創(chuàng)建了示例邏輯時間線600 在步驟502 “確定開始時間和持續(xù)期”中,從示例呈現(xiàn)208的至少14000毫秒(= 14秒)長的行10 (持續(xù)期=8000毫秒)和行13 (持續(xù)期=6000毫秒)中確定所述示例時間軌道602的持續(xù)期。在步驟504“標識文本媒體”中,在示例呈現(xiàn)208的行16中找到對文本媒體“textl. txt”的引用。在步驟506“插入除文本外的所有媒體”中,在示例邏輯時間線600的音頻軌道604中插入以下音頻項目音頻/視頻媒體“videol. 3gp”的持續(xù)8秒的音頻部分(見示例呈現(xiàn)208,行11), 被插入到時間范圍0至8秒中,作為“videol. 3gp (音頻部分)” 610 ;然后持續(xù)6秒的音頻媒體塊“audiol. aac"(見示例呈現(xiàn)208,行14),被插入到時 間范圍8至11秒以及11至14秒中,作為“audiol. aac第一個3秒” 612和“audiol. aac 最后3秒” 614。注意,6秒音頻媒體塊“audiol. aac”被分解成兩個3秒部分,以便與圖像和空視頻 媒體對齊,便于稍后將音頻和視頻軌道組合成單個音頻/視頻媒體(見下文)。繼續(xù)在步驟506 “插入除文本外的所有媒體”中,在示例邏輯時間線600的視頻/ 圖像軌道606中插入以下視頻/圖像項目音頻/視頻媒體“videol. 3gp”的持續(xù)8秒的視頻部分(見示例呈現(xiàn)208,行14), 被插入到時間范圍0至8秒中,作為“videol. 3gp (視頻部分)” 616 ;然后持續(xù)3秒的圖像媒體“imagel. jpg” (見示例呈現(xiàn)208,行15),被插入到時間 范圍8至11秒中,作為“imagel. jpg” 618。因為音頻軌道是14秒長,并且目標(如之前所解釋的)是創(chuàng)建單個音頻/視頻媒 體,將有必要還填充14秒視頻軌道。但示例呈現(xiàn)208中未包含超過11秒的視頻或圖像。出 于該原因,“空視頻”塊620被插入到示例邏輯時間線600的時間范圍11至14秒中。最后,在步驟508 “插入文本媒體”中,持續(xù)3秒的文本媒體“textl. txt” (見示例 呈現(xiàn)208,行16),被插入到文本軌道的時間范圍8至11秒中,作為“textl. jpg"6240適配方法224不應當被解釋為僅限于示例呈現(xiàn)208以及相應的示例邏輯時間線 600,呈現(xiàn)所述示例呈現(xiàn)208以及相應的示例邏輯時間線600僅僅是為了便于更容易理解本 發(fā)明。在描述創(chuàng)建適配流水線的步驟406 “創(chuàng)建適配流水線”的細節(jié)前,簡要解釋適配流 水線的概念。適配流水線包括指令序列,其中,每一個指令具有三個成分輸入標識符(所引用的媒體);操作;輸出標識符。在適配方法224的最終步驟408 “創(chuàng)建輸出單個媒體”中,動態(tài)構造的適配流水線 的指令序列然后在可以被編程來執(zhí)行這些指令的計算機中被簡單執(zhí)行。圖7示出從所述示例邏輯時間線600導出的示例適配流水線700。所示出的示例適配流水線700具有在欄中排列的指令字段“輸入標識符”字段 702、“操作”字段704以及“輸出標識符”字段706。指令由指令字段中的條目定義,其中,“操作”字段704指示在媒體上要實施的適配 操作,所述媒體的引用在“輸入標識符”字段702中被指示,該操作產(chǎn)生各目的地輸出媒體結果,所述各目的地輸出媒體結果的引用名在“輸出標識符”字段706中包含。在示例適配流水線700中,第一指令集(708、710和712)包括直接從示例邏輯時 間線600拷貝的輸入標識符(欄702)-指令708 :“videol.3gp (音頻部分)和 videol. 3gp (視頻部分)”(610 和 616);-指令710 :"audiol. aac 第一個 3 秒”禾口 image 1. jpg” (612 和 618);以及-指令712 :"audiol. aac 最后 3 秒”和空視頻” (614 和 620)。這些指令的適配操作(欄704)如下所列
-指令708“適配成原始音頻和原始視頻”;-指令710“適配成原始音頻和從圖像創(chuàng)建原始視頻”;以及-指令712“適配成原始音頻和生成空視頻”。由這些適配操作生成的輸出被給予獨特的任意輸出標識符(欄706),即-指令708 “適配 1”;-指令710“適配2”;以及-指令712 “適配 3”。示例適配流水線700的第四指令714包括-輸入標識符(欄702) “適配 3 和 textl. txt” (624);-適配操作(欄704)“實施文本疊加”;以及-輸出標識符(欄706)“適配4”。通過將該邏輯時間線中連續(xù)引用的媒體用作輸入標識符并且將輸入媒體適配 成所要求的一般形式(原始音頻和原始視頻),示例適配流水線700的前三個適配指令 (708-712)遵循示例邏輯時間線600。總體而言,這包括“解開”被壓縮或編碼的音頻和視 頻文件(例如.3gp音頻和視頻格式、.aac格式)、從靜態(tài)圖像(.jpg格式)創(chuàng)建原始視頻、 以及創(chuàng)建空視頻準備插入文本疊加。第四適配指令(714)的功能是通過將前一個指令(“適配3”)的輸出與示例邏輯時 間線600中被引用的“textl. txt”624媒體組合來實施文本疊加。換言之,第四指令(714) 采取僅包含音頻和空視頻剪輯的“適配3”,并且將文本從“textl. txt” 624 “描繪”(添加 包含被描繪的文本的透明層)到視頻上。即使它在該示例中不存在,但也有可能在任何視頻上實施文本疊加。它不必具有 空視頻。示例適配流水線700的第五適配指令716包括-輸入標識符(欄702)“適配1和適配2和適配4” ;-適配操作(欄704)“相繼合并媒體”;以及-輸出標識符(欄706)“適配5”。該第五適配指令716僅僅將前面生成的媒體(“適配1”、“適配2”和“適配4”) 串聯(lián)成被命名為“適配5”的單個媒體。“適配3”未被包括,因為它已被包括視頻部分中的 文本疊加的“適配4 ”有效取代。示例適配流水線700的最后指令(718)的最終適配操作“適配成最終格式”被用 來從(原始)“適配5”生成被格式化的單個音頻/視頻媒體“最終輸出單個媒體”。“最終 輸出單個媒體”被設計為與將要接收所適配的消息的目的節(jié)點(例如,目的節(jié)點106,圖1)的能力相匹配。為了演示現(xiàn)實的示例,已通過特定輸入媒體格式(.3gp、. aac,. jpg和.txt)描述了示例適配流水線700。該示例不應當被解釋為將本發(fā)明限于這些格式的適配,相反,本發(fā) 明的明確目標是適應可以在匪S消息的媒體中承載的任何的以及所有的格式的媒體,并且 將它們適配并合并成單個媒體,例如,以目的節(jié)點可能要求的任何實際格式來編碼的單個
音頻/視頻媒體。在描述了適配流水線的示例(示例適配流水線700)后,現(xiàn)在對適配方法224(圖 4)的步驟406 “創(chuàng)建適配流水線”進行一般描述。圖8示出步驟406 “創(chuàng)建適配流水線”的擴展流程圖,包括步驟802 “得到當前 SMS” ;804 “創(chuàng)建操作,,;806 “文本 &!視頻?”808 “添加空視頻”;810 “解開音頻/視頻到原始”;812 “圖像?”;814 “圖像到視頻”;816 “附加到流水線”;818 “文本?”;820 “創(chuàng)建文本疊加”;822 “完成?”;824 “合并適配”;以及826 “壓縮并格式化”。使用邏輯時間線(例如,示例邏輯時間線600),步驟406 “創(chuàng)建適配流水線”創(chuàng)建 單獨適配的序列,所述單獨適配一起形成適配流水線。如以上所描述的,適配流水線由適配 指令組成,所述適配指令包括導致最終結果所要求的操作,所述最終結果是輸出單個媒體。 在適配流水線被創(chuàng)建后,它包含的適配指令在步驟408 “創(chuàng)建輸出單個媒體”(見下文)中 被順序地執(zhí)行。步驟(802至820)形成用于將邏輯時間線的一個SMS處理成適配流水線的對應的一個或多個適配指令的步驟序列。該序列被執(zhí)行,直至步驟824 “完成”指示所有單個媒體 集已被處理。在步驟802 “得到當前SMS”中,在第一重復迭代中,從邏輯時間線中獲得第一單個媒體集;在隨后的重復迭代中獲得下一 SMS。在步驟804 “創(chuàng)建操作”中,通過當前SMS創(chuàng)建適配操作。但該適配操作不包含任 何文本;如果當前SMS中存在文本,它稍后將被處理。在步驟806 “文本&!視頻?”(“文本并且沒有視頻圖像”)中,確定當前SMS中 是否存在文本并且沒有視頻。如果不存在文本或者存在視頻(806為“否”),則繼續(xù)執(zhí)行步 驟810。如果當前SMS中存在文本但沒有視頻(806為“是”),則執(zhí)行步驟808 “添加空視 頻”,在該步驟中添加空視頻的操作被添加為當前適配操作的一部分。通過下一步驟810 “解開音頻/視頻到原始”,增加了將創(chuàng)建輸出單個媒體的適配操作,所述輸出單個媒體具有原始音頻和/或視頻(未壓縮形式的音頻和/或視頻)。在下一步驟812 “圖像? ”中,確定當前SMS中是否存在靜態(tài)圖像。如果找到圖像(812為“是”),執(zhí)行步驟814 “圖像到視頻”,該步驟添加操作,在所 述操作中,通過在形成所述SMS中給定的持續(xù)期的視頻部分所要求的那么多的單獨幀中復 制該圖像,該圖像將被轉(zhuǎn)變成視頻。如果沒有找到圖像(812為“否”),直接繼續(xù)執(zhí)行步驟 816 “附加到流水線”。在下一步驟(步驟816 “附加到流水線”)中,完整的適配指令,其是當前的操作也 是輸入標識符(來自邏輯時間線的SMS)和輸出標識符,被附加到適配流水線。在繼續(xù)下一 SMS前,在步驟818 “文本? ”中確定當前SMS中是否存在文本。如果 存在文本(818為“是”),則在步驟820 “創(chuàng)建文本疊加”中創(chuàng)建附加的適配指令,該步驟將 創(chuàng)建文本疊加。它將使用當前文本媒體和從前一適配操作中產(chǎn)生的單個媒體輸出作為輸入 標識符,并且創(chuàng)建另一適配輸出。該附加的適配指令還被附加到適配流水線。執(zhí)行步驟802至820的結果是一個或多個適配指令集,所述一個或多個適配指令 集表示邏輯時間線的一個SMS中包含的單個媒體。當被執(zhí)行時,該適配將產(chǎn)生包含未壓縮 的音頻和/或視頻(以及可能的文本疊加)的中間輸出單個媒體。在步驟822 “完成?”中,確定邏輯時間線的所有SMS是否已被處理。如果當前 SMS是邏輯時間線的最后SMS (822為“是”),則繼續(xù)執(zhí)行步驟824 “合并適配”,否則(822為 “否”)返回執(zhí)行步驟802 “得到當前SMS”以從邏輯時間線獲得下一 SMS,并且使它成為“當 前 SMS”。在步驟824 “合并適配”中,指令被附加到適配流水線,適配流水線將合并所有有 意義的中間單個媒體(從以上在步驟816或820中已經(jīng)被添加到適配流水線的適配中產(chǎn)生 的)成一個單個媒體。該單個媒體將表示邏輯時間線中存在的具有未壓縮形式并且順應原 始定時、順序和持續(xù)期的所有媒體。步驟406 “創(chuàng)建適配流水線”的最后子步驟是步驟826 “壓縮并格式化”,在該子步 驟中,指令被添加到適配流水線,采用前一適配操作的結果作為輸入,并且實施到原始請求 的最終輸出格式的適配。該最后指令還將負責執(zhí)行可能被請求的任何特殊效果。在適配方法224的最終步驟408 “創(chuàng)建輸出單個媒體”中,前一步驟406 “創(chuàng)建適 配流水線”中創(chuàng)建的適配流水線中包含的每一個適配指令被順序地執(zhí)行。該執(zhí)行的結果是 具有所請求的輸出格式的表示原始MMS內(nèi)容的輸出單個媒體。用于實施以上描述的方法的步驟的計算機程序代碼被存儲在諸如半導體存儲器、閃存、CD和DVD的計算機可讀介質(zhì)中,所述計算機程序代碼當被執(zhí)行時實施以上描述的方 法的步驟。圖9示出根據(jù)本發(fā)明實施例的改進的媒體適配系統(tǒng)900。所述改進的媒體適配系 統(tǒng)900包括輸入模塊902 ;數(shù)據(jù)存儲器(DM) 904 ;輸出單元906 ;程序存儲器(PM) 908 ;以及 程序執(zhí)行單元910。改進的媒體適配系統(tǒng)900可以便利地在具有CPU和存儲器的通用或?qū)?用計算機中被實現(xiàn),在所述計算機中,計算機程序代碼被存儲并且在諸如Linux、Mac OSX、 UNIX或Windows的眾多已知操作系統(tǒng)的任何一種下被執(zhí)行。系統(tǒng)900的各模塊可以包括固 件或替代地存儲在諸如半導體存儲器、閃存、CD和DVD的計算機可讀介質(zhì)中的計算機軟件 代碼。
程序存儲器908包括存儲在計算機存儲器中的計算機程序,該計算機程序被便利 地分組在以下模塊中解析器模塊912 ;時間線模塊914 ;流水線模塊916 ;以及流水線執(zhí)行 模塊918。程序存儲器908還可以包括用于建立、運行和維護所述改進的媒體適配系統(tǒng)900 的其他計算機程序模塊(未示出)。數(shù)據(jù)存儲器904包括用于多個輸入媒體920、邏輯時間線922、適配流水線924 ;以 及輸出媒體926的存儲裝置。數(shù)據(jù)存儲器904可以進一步包括用于促進媒體適配系統(tǒng)900 的操作的其他數(shù)據(jù)(未示出),包括查找表、臨時變量等。媒體適配系統(tǒng)900的目的是將多媒體消息928適配成輸出單個媒體930。在操作中,媒體適配系統(tǒng)900通過它的輸入模塊902接收多媒體消息928到數(shù)據(jù) 存儲器904中。媒體適配系統(tǒng)900使用程序存儲器908中存儲的并且由程序執(zhí)行單元910 執(zhí)行的程序模塊處理多媒體消息92 8。媒體適配系統(tǒng)900通過輸出單元906遞送輸出單個 媒體930。在圖9中,通過數(shù)據(jù)流線象征性地示出所述適配從多媒體消息928到輸入單元902 ;從輸入單元902到多個輸入媒體920 ;從多個輸入媒體920到邏輯時間線922 ;從邏輯時間線922到適配流水線924 ;從適配流水線924到輸出媒體926 ;從輸出媒體926到輸出單元906 ;以及從輸出單元906到輸出單個媒體930。所述數(shù)據(jù)流線上從程序模塊(912至918)的每一個到功能點(圓圈)的箭頭指示 由程序模塊(912至918)的每一個在處理數(shù)據(jù)中實施的動作,所述動作對應以上在圖4中 示出的適配方法的步驟-解析器模塊912實施步驟402“解析呈現(xiàn)”(見圖4),在該步驟中,通過輸入單元 902接收的多媒體消息(928)被解析并且多個輸入媒體920被遞送到數(shù)據(jù)存儲器904中加 以存儲;-時間線模塊914實施步驟404“創(chuàng)建邏輯時間線”,在該步驟中,邏輯時間線被創(chuàng) 建為多個輸入媒體920的有序序列(見圖5),并且在數(shù)據(jù)存儲器904中被存儲為邏輯時間 線922,同樣參見以上對示例邏輯時間線600 (圖6)的描述;-流水線模塊916實施步驟406“創(chuàng)建適配流水線”,在該步驟中,適配指令的流水 線從邏輯時間線922中被導出,并且在數(shù)據(jù)存儲器904中被存儲為適配流水線924,同樣參 見對示例適配流水線700的描述;以及-通過順序地執(zhí)行適配流水線924的適配指令,并且將所產(chǎn)生的輸出媒體926(其 對應示例適配流水線700的倒數(shù)第二適配步驟716的結果,圖7)存儲在數(shù)據(jù)存儲器904中, 流水線執(zhí)行模塊918實施步驟408 “創(chuàng)建輸出單個媒體”。輸出媒體926優(yōu)選地被以期望的最終格式格式化(該步驟對應示例適配流水線 700的最后適配步驟718,圖7)為輸出單個媒體930并且通過輸出單元906遞送。盡管已詳細描述了本發(fā)明的實施例,對本領域的技術人員將顯而易見的是,在以 下權利要求的范圍內(nèi)可以對所述實施例做出各種變化和修改。
權利要求
一種用于將包括呈現(xiàn)和多個輸入媒體的多媒體消息適配成輸出單個媒體的方法,所述方法包括以下步驟(a)解析所述呈現(xiàn);(b)從所述被解析的呈現(xiàn)創(chuàng)建所述多個輸入媒體的邏輯時間線;(c)從所述邏輯時間線創(chuàng)建適配流水線;以及(d)通過執(zhí)行所述適配流水線創(chuàng)建所述輸出單個媒體。
2.根據(jù)權利要求1所述的方法,其中,步驟(a)包括將所述呈現(xiàn)分解成表示所述多個輸 入媒體的每一個的時間和持續(xù)期的成分。
3.根據(jù)權利要求1至2的任一項所述的方法,其中,步驟(b)包括以下步驟(i)確定所述輸入媒體的每一個的開始時間和持續(xù)期;(ii)在所述多個輸入媒體中標識任何文本媒體的存在;(iii)將除所述文本媒體外的所有輸入媒體插入到所述邏輯時間線中;以及(iv)在步驟(iii)后將所述文本媒體插入到所述邏輯時間線中。
4.根據(jù)權利要求1至3的任一項所述的方法,其中,步驟(c)包括遵循所述邏輯時間線 的順序以所述適配流水線的形式創(chuàng)建單獨適配指令步驟的序列,并且步驟(d)包括在所述 輸入媒體上執(zhí)行所述單獨適配指令步驟,產(chǎn)生所述輸出單個媒體。
5.根據(jù)權利要求4所述的方法,其中,每一個單獨適配指令步驟包括 定義用于代碼轉(zhuǎn)換的一個或多個輸入媒體;使用代碼轉(zhuǎn)換參數(shù)集,定義用于所述一個或多個輸入媒體的代碼轉(zhuǎn)換操作;以及 定義用于所述代碼轉(zhuǎn)換操作的結果的各目的地輸出媒體。
6.根據(jù)權利要求5所述的方法,其中,步驟(d)包括將所述各目的地輸出媒體合并成所 述輸出單個媒體。
7.根據(jù)權利要求1至6的任一項所述的方法,其中,所述輸出單個媒體是以下中的一個包括音頻流的音頻文件;包括視頻流的視頻文件;或包括音頻和視頻流的組合音頻和視頻文件。
8.根據(jù)權利要求7所述的方法,其中,步驟(d)包括將所述多個輸入媒體的文本媒體轉(zhuǎn) 換成圖形表示,并且其中步驟(d)進一步包括將所述圖形表示分別疊加在所述視頻文件或 所述組合音頻和視頻文件的視頻流上。
9.根據(jù)權利要求7所述的方法,其中,步驟(d)包括將所述多個輸入媒體的圖像媒體轉(zhuǎn) 變成視頻表示,以及分別將所述視頻表示插入到所述視頻文件或所述組合音頻和視頻文件 的所述視頻流中。
10.根據(jù)權利要求1至9的任一項所述的方法,其中,所述多媒體消息是多媒體消息服 務0MS)消息。
11.一種用于將包括多個輸入媒體的多媒體消息適配成單個輸出媒體的媒體適配系 統(tǒng),所述系統(tǒng)包括用于解析所述多媒體消息的呈現(xiàn)的解析器模塊;用于從所述被解析的呈現(xiàn)創(chuàng)建所述輸入媒體的邏輯時間線的時間線模塊;用于從所述邏輯時間線創(chuàng)建適配流水線的流水線模塊;以及用于通過執(zhí)行所述適配流水線創(chuàng)建所述輸出單個媒體的流水線執(zhí)行模塊。
12.根據(jù)權利要求11所述的系統(tǒng),其中,所述解析器模塊包括用于將所述呈現(xiàn)分解成 表示所述多媒體消息的所述輸入媒體的每一個的時間和持續(xù)期的成分的裝置。
13.根據(jù)權利要求11至12的任一項所述的系統(tǒng),其中,所述時間線模塊包括用于以下 操作的裝置(i)確定每一個輸入媒體的開始時間和持續(xù)期;(ii)在所述多個輸入媒體中標識任何文本媒體的存在;(iii)將除所述文本媒體外的所有輸入媒體插入到所述邏輯時間線中;以及(iv)將所述文本媒體插入到所述邏輯時間線中。
14.根據(jù)權利要求11至13的任一項所述的系統(tǒng),其中,所述流水線模塊包括用于遵循 所述邏輯時間線的順序以適配流水線的形式創(chuàng)建流水線單獨適配指令步驟的序列的裝置; 并且其中,所述流水線執(zhí)行模塊包括用于在所述輸入媒體上執(zhí)行所述單獨適配指令步驟, 產(chǎn)生所述輸出單個媒體的裝置。
15.一種計算機可讀介質(zhì),所述計算機可讀介質(zhì)包括在其上存儲的用于實施根據(jù)權利 要求1至10的任一項所述的方法的所述步驟的計算機代碼指令。
全文摘要
公開了一種方法和系統(tǒng),所述方法和系統(tǒng)用于將可能包括呈現(xiàn)的多媒體消息服務(MMS)消息中包含的媒體適配成諸如音頻/視頻文件或流的單個媒體格式,通過從所述呈現(xiàn)中找到的信息創(chuàng)建邏輯時間線、從所述邏輯時間線創(chuàng)建適配流水線以及執(zhí)行所述適配流水線。
文檔編號G06F17/00GK101802814SQ200880106387
公開日2010年8月11日 申請日期2008年7月14日 優(yōu)先權日2007年9月10日
發(fā)明者F·R·拉波恩特, J·L·C·M·拉瓦利埃, R·E·諾頓 申請人:萬特里克斯公司