專利名稱：數(shù)字計算機系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包含在諸如播放器之類的數(shù)字媒體重放裝置中的數(shù)字計算機系統(tǒng)領(lǐng)域，用于通過重放一個或多個音頻、視頻、靜止圖像、三維或者其它多種類型的媒體格式來播放或者允許觀看；以及，尤其是涉及，通過用于無縫地將表示這種補充內(nèi)容的可執(zhí)行程序代碼嵌入到各種播放器或者觀看器可以執(zhí)行的各種類型的預(yù)先準備媒體文件中，使得這種系統(tǒng)具有一個擴展功能，以用諸如交易廣告之類的圖形、交互式和/或電子商務(wù)的內(nèi)容、交互式的音樂視頻等類似內(nèi)容、以及通常的電子商務(wù)來補充這些系統(tǒng)預(yù)先準備的顯示。本發(fā)明尤其，但決不是僅僅，對“MP3”媒體格式及其類似格式非常有用，這將在以后進行討論。
背景技術(shù)：
在視頻、音頻、聲音、文本及其它多媒體格式中嵌入各種類型信息的一般概念先前已經(jīng)被廣泛地使用了。迄今為止已經(jīng)使用了兩種主要的方法來實現(xiàn)這些目的(1)擴展該格式或者創(chuàng)建一種包含那種數(shù)據(jù)類型的新格式；或者(2)使用允許該數(shù)據(jù)被恢復(fù)但是不影響該格式的向后兼容性的技術(shù)來嵌入數(shù)據(jù)。
第二種方法的實例頻繁地出現(xiàn)在通信和娛樂媒體中；例如彩色電視廣播的向后兼容性，或者嵌入在一個視頻信號中的子標題及其它信息的傳輸。另一個非常普遍的應(yīng)用的例子是為了諸如知識產(chǎn)權(quán)保護的目的，在一個媒體文件中編碼識別信息，從而使它是堅固的以防止質(zhì)量降低，以及轉(zhuǎn)換該媒體文件——這經(jīng)常被稱為“壓制水印”。然而，這些技術(shù)及其它類似特性旨在相對低位速率數(shù)據(jù)、大約每秒22個二進制數(shù)字(位)數(shù)據(jù)的嵌入。這種數(shù)據(jù)一般包括簡短的和簡單的ASCII文本或者其它唯一標識符。在另一個應(yīng)用中，就防止計算機復(fù)制一個拷貝受保護的數(shù)據(jù)文件來說，一個控制代碼被用來為一個計算機系統(tǒng)提供一個非常簡短的信號控制代碼。
在現(xiàn)有專利中說明了這種和相關(guān)的技術(shù)和使用的有美國專利US4,379,947(處理數(shù)據(jù)和音頻的同時傳輸)、US5,185,800(基于精神聽覺條件利用自適應(yīng)量化為轉(zhuǎn)換的數(shù)字音頻廣播信號使用位分配)、US5,687,236(隱寫技術(shù))；US5,710,834(通過圖形圖象傳送的編碼信號)、US5,832,119(通過嵌入到經(jīng)驗數(shù)據(jù)中的控制信號來控制系統(tǒng))、US5,850,481(嵌入的文件，但不是用于任意數(shù)據(jù)或者計算機代碼)、US5,889,868(在數(shù)字數(shù)據(jù)中的數(shù)字水印)、以及5,893,067(隱藏在音頻信號中的回聲數(shù)據(jù))。
描述了這種技術(shù)的現(xiàn)有出版物包含Bender，W.D.Gruhl，M Morimoto以及A.Lu，“Techniques fordata hiding”，IBM Systems Journal，Vol.35，No.3 & 4，1996，第313-336頁；MPEG Spec-ISO/IEC 11172，parts 1-3，“Information Technology-coding of moving pictures and associated audio for digital storagemedia at up to about 1.5Mbits”，Copyright 1993，ISO/1EC；以及ID3v2 spechttp/www.id3.org/casy.html和http//www.id3.org/id3v2.3.0.htmlLangelaar，G.C.等人在“Copy Protection for Multimedia Databased on Labeling Techniques” 中介紹了通過編碼低位速率信息使用壓制水印來進行的、用于多媒體數(shù)據(jù)標記以及尤其用于版權(quán)標記的技術(shù)的一個綜述。然而，在本發(fā)明中，是一種用于以高位速率在一個媒體文件中嵌入一組可執(zhí)行程序指令的新穎技術(shù)，而實質(zhì)上沒有影響用戶重放該媒體的感受，并且其特征在于，它不同于現(xiàn)有技術(shù)，可執(zhí)行代碼序列被嵌入到?jīng)]有被特別地預(yù)設(shè)計為用于或者包含這種可執(zhí)行代碼的容器的音頻、視頻、圖像或者聲音格式，諸如例如娛樂音樂或視頻程序等中。
這個補充的嵌入被無縫地和容易地完成，以允許補充的圖形、交互式和/或電子商務(wù)程序內(nèi)容，諸如上面提及的交易及其它廣告、交互式音樂視頻和電子商務(wù)內(nèi)容，被合并到娛樂或者其它媒體文件中，用于由播放器和觀看器在重放該原始娛樂或者其它媒體文件資料時執(zhí)行。
這種技術(shù)具有四個主要優(yōu)點1)可執(zhí)行代碼可以被直接放置在該媒體文件中，以簡化內(nèi)容發(fā)行并允許數(shù)據(jù)和可執(zhí)行代碼緊密地集成在一起；2)加強的觀看器能夠透明地訪問該可執(zhí)行代碼；3)現(xiàn)有的觀看器是向后兼容的，并且仍然能夠觀看該媒體文件；以及4)大量的補充數(shù)據(jù)可以被容易地嵌入到該媒體文件中。
此外，使用隱寫技術(shù)，本發(fā)明能夠以很高的位速率嵌入數(shù)據(jù)。例如，在隨后討論的一個實施例中，每秒超過3000位的可執(zhí)行代碼數(shù)據(jù)被嵌入到一個以128,000比特/秒(bits/sec)的位速率編碼的MP3音頻文件中。(在這里隨后結(jié)合表格1進行討論)。

發(fā)明內(nèi)容
因此，本發(fā)明的一個主要目的是提供一種新的及改進的過程和系統(tǒng)，用于無縫地嵌入可執(zhí)行程序代碼到預(yù)先準備的媒體文件格式里，用于由數(shù)字媒體播放器以及觀看裝置或系統(tǒng)等執(zhí)行，以提供諸如以上提及的交易廣告、游戲、交互式音樂視頻、電子商務(wù)等之類的補充內(nèi)容，用于由該數(shù)字播放器和觀看裝置或系統(tǒng)在繼續(xù)呈現(xiàn)該初始的預(yù)準備媒體文件程序時進行執(zhí)行和顯示。
一個進一步的目的是提供這樣一種尤其適用于“MP3”應(yīng)用等的新穎技術(shù)。
另一個目的是通過允許用戶和相關(guān)數(shù)字媒體文件或者唱盤播放器和觀看器等還呈現(xiàn)補充的交易廣告和電子商務(wù)功能等，來開拓新的處理業(yè)務(wù)的方法，這將在隨后得到更充分的說明。
其它和進一步的目的將在下文中進行說明，并且在附加的權(quán)利要求中進行詳細地描繪。
概述然而，概括來說，從它一個更寬闊的觀點上來看，本發(fā)明包含一個用于用補充的數(shù)字程序內(nèi)容來補充將要由一個數(shù)字重放裝置執(zhí)行的預(yù)準備媒體數(shù)字文件內(nèi)容的過程，該過程包含以可執(zhí)行代碼形式準備這種補充的數(shù)字程序內(nèi)容，并且將該可執(zhí)行代碼嵌入到該預(yù)準備的媒體文件里，用于由該重放裝置執(zhí)行以補充該預(yù)準備的媒體文件內(nèi)容的重放。
從另一個觀點上看，本發(fā)明提供了一種用于靈活地將補充的數(shù)字程序內(nèi)容添加到由數(shù)字重放裝置執(zhí)行的一個預(yù)準備媒體文件的重放中的系統(tǒng)，該系統(tǒng)包含用于修改該預(yù)準備的媒體數(shù)字文件以在其中嵌入表示這種補充程序內(nèi)容的可執(zhí)行代碼序列的裝置，在該數(shù)字重放裝置中提供的、用于在該數(shù)字重放裝置重放所修改的媒體文件期間解碼該嵌入代碼的裝置；以及，除用于重放該媒體文件的預(yù)準備內(nèi)容的裝置之外，還在該數(shù)字重放裝置處提供了響應(yīng)于該解碼、呈現(xiàn)補充的程序內(nèi)容的裝置。
最佳和最好模式實施例、設(shè)計、應(yīng)用以及實現(xiàn)將在隨后進行充分的描述。


現(xiàn)在將參考附圖對本發(fā)明加以描述。
圖1a、1b、1c是說明了通過本發(fā)明中嵌入的可執(zhí)行代碼序列和用戶及其它數(shù)字“MP3”播放器一起使用可完成的新穎補充顯示的示意圖；圖1是一個顯示了根據(jù)本發(fā)明一個最佳實施例操作的編碼過程和系統(tǒng)的概述的框圖及流程圖；圖2是一個類似的框圖，顯示了當(dāng)由該媒體播放器或者觀看器執(zhí)行時，解碼嵌入在圖1中創(chuàng)建的可執(zhí)行代碼的媒體文件的概述；圖3也是一個類似于圖1的框圖，但是詳細地顯示了利用id3v2編碼(在先前引用的“ID3v2 spec”中進行了論述)，對說明的MPEG音頻(在先前引用的“MPEG spec”中進行了論述)特定實例的編碼；圖4和5是類似的框圖，分別對MPEG使用了輔助位編碼和專用流編碼；圖6是一個顯示了結(jié)合先前(和隨后)討論的隱寫技術(shù)到編碼里的框圖；以及圖7說明了利用本發(fā)明中的編碼技術(shù)的上述壓制水印過程的使用。
本發(fā)明最佳實施例的描述在描述本發(fā)明的新穎過程和系統(tǒng)的最佳實現(xiàn)之前，相信有必要定義以及提供所涉及的各個術(shù)語和系統(tǒng)部件的說明實例。
如早先所述，在本發(fā)明中，是一個以多媒體格式提供和用新方法將表示補充內(nèi)容的可執(zhí)行代碼嵌入到多媒體文件現(xiàn)在預(yù)準備的內(nèi)容(音頻、視頻、靜止圖像、三維、它們的組合、或者其它的媒體格式)中的整體構(gòu)思，其中這些多媒體文件被提供用來由數(shù)字計算機系統(tǒng)或者裝置(諸如便攜式音樂播放器、PDA或者個人數(shù)字助理、數(shù)字電視、汽車用立體聲系統(tǒng)、家用音頻系統(tǒng)、視頻墻、網(wǎng)絡(luò)電視、控制臺和便攜式數(shù)字游戲設(shè)備等等)進行播放或者觀看。通過在該預(yù)先準備的媒體文件中無縫地嵌入這樣的補充內(nèi)容可執(zhí)行代碼序列，該播放器或者觀看裝置在呈現(xiàn)預(yù)先準備的媒體文件程序的同時，在解碼該代碼中，還可以呈現(xiàn)這種補充的或者附加的內(nèi)容(例如，廣告、交互式音樂視頻、電子商務(wù)、游戲、民意測驗、和競賽等等，如先前提到的那樣)——做為它的一個結(jié)果，添加了不可計量的附加信息和便利性，還顯著增加了商業(yè)和用戶機會——事實上，是在播放器或者觀看裝置處進行或者處理這種事務(wù)的一種新方法。
例如，參考圖1a、1b和1c，作為在示范的現(xiàn)在普遍廣泛分布的“MP3”音頻播放器上的呈現(xiàn)，說明了根據(jù)本發(fā)明通過在媒體文件中嵌入有序可執(zhí)行代碼添加圖形、交互式和允許電子商務(wù)的內(nèi)容?？s寫“MP3”描述了一個MPEG層III音頻文件——一種目前在全世界廣泛使用的標準音頻文件格式，如在公布的標準ISO/1EC 11172-3中所述。縮寫MPEG代表由運動圖像專家組(Motion Picture Experts Group)開發(fā)的音頻與視頻壓縮格式，并且由ISO/IEC JTC1正式化，作為以上提及的國際標準ISO/IEC11172的1-3部分。部分1闡明了該系統(tǒng)，部分2是視頻，部分3是音頻編碼。
在圖1a中，顯示了將一個468×60像素交互式旗幟廣告(“United Colors Of Benetton”)嵌入到在一個“Free Amp”類型MP3播放器內(nèi)顯示的MP3流中——添加媒體顯示到播放器音樂(歌曲“Paint It Black”)中。通過使用音樂銷售產(chǎn)品，這允許了登廣告者贊助的音樂文件。因此由本發(fā)明開展了直接向無論什么人口統(tǒng)計想要的事物進行推銷和銷售的功能，同時也允許了對音樂發(fā)行的資助。
在圖1b中提供了類似的新途經(jīng)的開拓，其中說明了在一個有名的商業(yè)“Sonique”MP3播放器內(nèi)嵌入可執(zhí)行代碼(在這種情況下，如跳舞圖所示，是對用戶的鼠標移動和音樂的拍子作出響應(yīng)并和它們同步的一個交互式音樂視頻)。
作為由本發(fā)明提供的新商業(yè)請求機會的第三個例子，圖1c說明了在Sonique MP3播放器另一個有名的商業(yè)版本內(nèi)嵌入可執(zhí)行代碼(在這種情況下，是帶有圖形用戶界面的一個電子商務(wù)應(yīng)用)，以允許用戶購票(這樣被標記了的)或者CD。這開拓了一個新的而且先前難以獲得的嵌入的購買點銷售的途徑，其允許在重放裝置處直接向聽眾發(fā)布完全可交易的廣告和商品銷售。
此外，根據(jù)本發(fā)明的新穎技術(shù)，在媒體文件中嵌入這個可執(zhí)行代碼是以這樣一種方式無縫進行的，如隨后說明的那樣，從而使兼容的播放器/觀看器能夠提取可執(zhí)行代碼并且根據(jù)它執(zhí)行操作，而不兼容的播放器/觀看器仍能播放該媒體文件就好象其中沒有附加的嵌入信息一樣。當(dāng)前，在圖1a、1b和1c中顯示的這些播放器類型中沒有一個支持諸如說明的那樣的顯示；它們僅僅允許從MP3流中提取有限的數(shù)據(jù)、諸如歌曲標題和歌詞信息，以及能夠在MP3播放時被執(zhí)行的獨立下載的代碼(“插件”)。它們不允許如由本發(fā)明所實施得那樣在MP3流中嵌入可執(zhí)行代碼序列。
容易利用本發(fā)明中嵌入的可執(zhí)行代碼序列程序進行操作的媒體文件類型的實例包括，但是不局限于，先前列舉的音頻、視頻、靜止圖像、三維、或者這些的組合或者其它媒體格式。這些中有MP3、SDMI、CD音頻、AIFF、AU、WAV、RealAudio、Quicktime、MPEG、AVI、JPEG、JFIF、GIF、PNG、TIFF、DXF、或者VRML。
在可以被嵌入到這種媒體文件里的可執(zhí)行代碼程序類型當(dāng)中有Java文件、Macromedia Director、Shockwave或者Flash、Perl、VRML、TCL、Visual Basic、機器碼、字節(jié)代碼、任何諸如cab、jar或者zip之類的存檔格式、或者任何這些程序和任何不可執(zhí)行的媒體、包含但不是限于圖像、音頻、三維或者文本的任何組合。該內(nèi)容可以是、但不局限于，正如先前提到的廣告、娛樂、實用程序、應(yīng)用、教育、設(shè)計、交互式廣告、可交易的商品銷售、或者交互式內(nèi)容諸如音樂視頻、游戲、民意測驗以及競賽等。
現(xiàn)在按次序說明根據(jù)本發(fā)明如何可以實現(xiàn)在預(yù)準備媒體文件中進行編碼以及代碼嵌入。據(jù)此參考圖1，其中顯示了一個這樣標記的預(yù)準備媒體文件(音頻、圖像、視頻、三維、數(shù)據(jù)庫、或者其它以上提及的多媒體數(shù)據(jù))，以及一個預(yù)先定義的預(yù)準備可執(zhí)行代碼序列(諸如先前提及的計算機程序Java類文件、MacromediaShockwave和Flash、二進制可執(zhí)行代碼、字節(jié)代碼、Visual Basic、Java Script、等等)被送到一個編碼處理器用于嵌入諸如例如隨后描述的編碼類型的代碼序列。如隨后討論的那樣，取決于該媒體文件格式以及用于要被創(chuàng)建的媒體文件的任何眾所周知的壓縮技術(shù)，可以使用眾所周知的編碼過程。然后產(chǎn)生一個帶有嵌入的可執(zhí)行代碼的修改的媒體文件，這沒有改變它和現(xiàn)有文件格式的向后兼容性，并且實質(zhì)上沒有改變用戶重放該預(yù)準備媒體文件內(nèi)容的體驗。
此外，應(yīng)注意到，本發(fā)明將表示對該媒體文件預(yù)準備內(nèi)容的補充的內(nèi)容的可執(zhí)行代碼序列嵌入到?jīng)]有被特別地預(yù)先設(shè)計為用于或包含任何這種可執(zhí)行代碼的一個容器的媒體格式中。該代碼被直接放置到該媒體文件里，以簡化內(nèi)容分配以及允許數(shù)據(jù)和可執(zhí)行代碼緊密地集成在一起，如先前所述那樣。
在圖2中，顯示了在播放器或者觀看重放裝置處，帶有嵌入的可執(zhí)行代碼的媒體文件被送到一個解碼處理器，如隨后描述的那樣。原始的預(yù)準備的媒體文件內(nèi)容例如，圖1a中的歌曲“PaintIt Black”在解碼過程中通常是不改變的，這是因為刪除可執(zhí)行代碼經(jīng)常是難以實施的，并且這樣做一般不會改善用戶的重放體驗，而且該媒體文件內(nèi)容顯示在圖2的左手端，和重放環(huán)境中的媒體播放器裝置進行通信。解碼的可執(zhí)行代碼例如，表示圖1a中的“United Colors Of Benetton”顯示內(nèi)容，和在圖1中編碼的原始可執(zhí)行代碼逐位相同，被傳送(圖2的右手邊)給該重放環(huán)境的執(zhí)行部分。作為一個可選的特征，顯示了在“驗證過程”處可使用一個眾所周知的校驗或數(shù)字簽名來驗證該代碼在它被執(zhí)行之前是未經(jīng)改變的。
此外，在想要的地方，可執(zhí)行代碼例如，上面討論的“UnitedColors Of Benetton”顯示的執(zhí)行可以通過眾所周知的通信和媒體文件歌曲“Paint It Black”或者它的一個選定部分的播放器重放同步，這由圖標“SYNC”示意地顯示。
作為一個更具體的例子，圖3圖示了其中將被嵌入可執(zhí)行代碼的先前描述的MPEG音頻文件的使用。
再次參考先前引用的“MPEG Spec”和“ID3v2 Spec”出版物—MPEG音頻文件是(但不局限于)使用層I、II、或III編碼來進行編碼的一個MPEG-1、MPEG-2、或者MPEG-2.5文件。如圖1所示，可執(zhí)行代碼，其在圖3中也是這樣標記的，可以是任何類型的計算機程序，諸如Java類文件、Macromedia Shock wave和Flash、二進制可執(zhí)行代碼、字節(jié)代碼、Visual Basic、Java Script等。該可執(zhí)行代碼首先通過修改形式為％11111111 111xxxxx的任何連續(xù)字節(jié)而被顯示為不同步的，從而使它們不類似于在MPEG音頻流中的一個同步字節(jié)。然后該代碼以ID3v2格式密封，該格式在公眾網(wǎng)址http//id3.org中有文檔說明，并且如圖所示在編碼過程中作為一個ID3v2標記被插入在MP3音頻流的開始處。這導(dǎo)致一個帶有嵌入的可執(zhí)行代碼的MPEG音頻文件是向后兼容的，但是稍微大一些以容納該嵌入的代碼，并且音頻數(shù)據(jù)未受影響，而且任何存在的MPEG同步信號都由不同步方案處理了。
更具體地說，特別參考位于http//www.id3.org/id3v2.3.0.html、之前引用的可公開獲得的ID3v2.3.0規(guī)范(“ID3v2”)，現(xiàn)在將詳細說明用于這樣一個MPEG音頻流的一個最佳編碼系統(tǒng)。在ID3v2規(guī)范中描述了多個現(xiàn)有的內(nèi)容類型，那里稱為“幀”。幀主要被定義用于ASCII文本數(shù)據(jù)、諸如歌曲標題及歌詞，或者用于一幅將要被嵌入到MPEG音頻文件中的靜止圖像。在這個說明書中，我們創(chuàng)建并且定義了一種新型的ID3幀，稱為“EXEC”，它被設(shè)計作為可執(zhí)行內(nèi)容的一個容器，通常用于在播放音頻的同時被執(zhí)行。
在下面的描述中，符號$xx用來指向一個十六進制編碼的八位字節(jié)，例如，$00表示八個二進制數(shù)字00000000。這個幀的最初四個八位字節(jié)是ISO-8859-1(ASCII)字符”EXEC”。接下來這又繼之以一個四個-八位字節(jié)的大小(Size)頭部和一個兩個-八位字節(jié)的標記(Flag)頭部，如在ID3v2規(guī)范中描述的那樣。這后面繼之以$00以表示在該幀內(nèi)使用ISO-8859-1文本編碼，或者繼之以$01以表示使用ISO/IEC 10646-1(Unicode)文本編碼，這將在隨后加以參考。接下來的元素是ISO 8859-I編碼的可執(zhí)行內(nèi)容的MIME類型，如在IETF RFC 2045中描述的那樣，這也將在隨后加以參考，在其后面是$00。例如，上述的Macromedia Flash文件的MIME類型是″application/x-shockwave-flash″。這繼之以在為那個幀定義的文本編碼中的可執(zhí)行代碼的一個描述，如果編碼是ASCII則由$00結(jié)束，或者如果編碼是Unicode則用$00 $00結(jié)束。這繼之以單個八位字節(jié)，如果沒有校驗和，則是$00，或者如果有一個校驗和，則是$01，如結(jié)合圖2描述的那樣。如果有一個校驗和，則這后面繼之以一個通過對所有的可執(zhí)行代碼的八位字節(jié)求和并將該結(jié)果對256求模創(chuàng)建的校驗和。這是有用的，是因為這使可執(zhí)行代碼在執(zhí)行之前被檢查，以減少可能導(dǎo)致錯誤指令被執(zhí)行的傳輸誤差存在的可能性。
最后的元素是被嵌入到該MPEG數(shù)據(jù)流中的可執(zhí)行代碼的二進制或者ASCII數(shù)據(jù)。如先前說明的那樣，在圖3中，必須在可執(zhí)行代碼內(nèi)執(zhí)行“不同步”步驟，其中必須代替任何存在的位序列11111111 111xxxxx，其中“x”表示一個可以是0或者1的位。這是因為MPEG播放器使用這樣的一個位序列來識別音頻數(shù)據(jù)的開始，否則將開始把該可執(zhí)行代碼解釋為音頻數(shù)據(jù)。在ID3v2規(guī)范中定義的不同步技術(shù)中，所有這樣的序列被替換為序列1111111100000000 111xxxxx。另外，所有$FF$00形式的序列被替換為序列$FF$00$00。
剛剛描述的本發(fā)明中的EXEC幀然后被嵌入到ID3v2標記中，如在ID3v2規(guī)范中描述的那樣。然后通過使用在ID3v2規(guī)范中描述的標準技術(shù)，產(chǎn)生的ID3v2標記被放置在圖3中MPEG音頻流的開始處。
在本發(fā)明的最佳實施例中，解碼過程是上面詳細描述的編碼過程的簡單逆轉(zhuǎn)。從MPEG音頻流的開始處提取ID3v2標記，并且從該EXEC幀中讀出相關(guān)的數(shù)據(jù)。然后顛倒在可執(zhí)行代碼中的不同步步驟，由序列$FFXX替換所有存在的$FF 00 XX，其中XX表示任意的二進制八位字節(jié)。如果在該EXEC幀中編碼有一個校驗和，則將可執(zhí)行代碼的八位字節(jié)進行求和，并將結(jié)果對256取模，然后與編碼的校驗和相比較。如果它們相等，則執(zhí)行繼續(xù)。
基于可執(zhí)行代碼的MIME類型，用例子說明了一個適當(dāng)?shù)膱?zhí)行環(huán)境。在先前討論的application/x-shockwave-flash類型的情況下，由Macromedia在位于http//www.macromedia.com/software/flash/open/的Flash標準網(wǎng)頁處描述了一個參考執(zhí)行環(huán)境。然后激活該執(zhí)行環(huán)境以在音頻文件重放的同時開始執(zhí)行該可執(zhí)行代碼。當(dāng)正在重放的同時可以參考該執(zhí)行環(huán)境定義附加的應(yīng)用編程接口(API)以控制該執(zhí)行環(huán)境相對于音頻文件的精確動作。
在本發(fā)明的編碼和解碼過程部件中使用的上述技術(shù)的更全面的具體參考文獻是ISO-8859-1ISO/IEC DIS 8859-1.
8-bit single-byte coded character sets，Part ILatin alphabet No.1.Technical committee/subcommittee JTC I/SC 2；MIMEFreed.N.和N.Borenstein.，“Multipurpose InternetMail Extensions(IME)Part OneFormat of Internet MessageBodies”，RFC 2045，Nov.1996.
<urlftp//ftp.isi.edu/in-notes/rfc2045.txt>；以及UNICODEISO/IEC 10646-1.1993.
Universal Multiple-Octet coded Character Set(UCS)，Part 1Architecture and Basic Multilingual Plane.Technicalcommittee/subcommitteeJTC1/SC2<urlhttp//www.unicode.org>。
在圖4中說明了一個進一步的修改，例如，為了填充目的，MPEG音頻文件允許在一個音頻包末端處的輔助位。在MPEG-2中，這些位被用來編碼環(huán)繞聲數(shù)據(jù)。那里顯示的MPEG音頻文件容易進行附加的壓縮以確保在音頻幀的末端有空間用于插入可執(zhí)行代碼。為了提高音頻壓縮過程的質(zhì)量，最好可以是從未壓縮的音頻文件進行再壓縮，而不是以一個較低位速率再壓縮該MPEG音頻。如圖4所示，然后在編碼過程中利用在每個音頻幀內(nèi)的音頻數(shù)據(jù)末端插入可執(zhí)行代碼，把這和可執(zhí)行代碼組合在一起。如上所述，因為MPEG-2使用輔助位來編碼環(huán)繞聲數(shù)據(jù)，所以必須確保嵌入的代碼沒有被曲解為環(huán)繞聲音頻數(shù)據(jù)。產(chǎn)生的帶有嵌入的可執(zhí)行代碼的媒體文件再次是向后兼容的，但是由于附加的壓縮音頻質(zhì)量可能是稍微減低了，但是是完全可以接受的。
在圖5中說明了另一個MPEG變體修改，其中除了提供MPEG文件的標準音頻與視頻流之外，還提供了將要被編碼的附加的“專用”數(shù)據(jù)流。如圖所示，使用同步的或者不同步的專用數(shù)據(jù)流，將可執(zhí)行代碼在一個或多個專用數(shù)據(jù)包中進行編碼，并且在編碼過程中將可執(zhí)行代碼插入到已有的MPEG文件里。那樣產(chǎn)生的嵌入可執(zhí)行代碼的媒體文件具有一個稍微增加的文件大小以容納該可執(zhí)行代碼。
如先前提及的那樣，可以有效地使用隱寫技術(shù)，特別是在諸如數(shù)字“壓制水印”的應(yīng)用中(例如，參見較早引用的美國專利5,889，868和Langelaar的文章)。圖6說明了使用這種隱寫技術(shù)、根據(jù)本發(fā)明過程的編碼，它允許嵌入遠遠多于現(xiàn)有技術(shù)、300比特/秒的可執(zhí)行代碼。
如該圖左手端所示，該媒體文件進行一個選擇過程，該選擇過程涉及在該媒體文件中，基于具有對該文件的用戶重放體驗產(chǎn)生最小影響、對實際媒體文件內(nèi)容能夠進行的微小改變的標識，選擇適當(dāng)?shù)奈恢?。此外，這些改變必須是這樣的，從而使它們能夠容易地被自動化解碼檢測到，并且據(jù)此再現(xiàn)該信息。同時，在可執(zhí)行代碼側(cè)(圖6中的右手邊)，通過提取該可執(zhí)行代碼的字節(jié)成為一位接一位的表示，把該代碼轉(zhuǎn)換成一個位流，以便使它們能夠作為這種小改變被插入到媒體文件里。然后，在這個隱寫編碼過程中，如此轉(zhuǎn)換的可執(zhí)行代碼通過任何眾所周知的編碼技術(shù)，包含例如先前引用的美國專利5,687 236中的那些技術(shù)，被插入在該媒體文件的適當(dāng)位置處。產(chǎn)生的嵌入可執(zhí)行代碼的媒體文件，有時候可能由于該嵌入過程稍微減小了用戶的通常重放體驗，但是基本上是全部可以接受的。
在圖7中，說明了媒體文件對一個堅固的水印和嵌入的可執(zhí)行代碼的包含。大多數(shù)的壓制水印過程，包含那些先前參考的，都是堅固的，并且不容易通過媒體文件的修改除去，所以它們不會由嵌入可執(zhí)行代碼的一個隨后的編碼過程影響，如圖7所示，其中說明了數(shù)據(jù)嵌入在壓制水印之后進行。這適應(yīng)于對媒體文件的修改不堅固的數(shù)據(jù)嵌入技術(shù)。
我們已經(jīng)成功地執(zhí)行了本發(fā)明這些不同編碼技術(shù)中的幾個的預(yù)先測試。使用取自Natalie Merchant的歌曲“Jealousy”的一個示例音頻文件，我們使用Fraunhofer的mp3enc編碼器以128k比特/秒編碼該音頻文件為一個MP3。該文件的編碼部分是30秒長，并且是720K字節(jié)大小。選擇的主要編碼技術(shù)是相位/振幅頻率域低比特編碼技術(shù)(Phase/Magnitude Frequency Domain Low-BitCoding Technique)，同時改變在該文件中編碼數(shù)據(jù)的間隔。
成功的結(jié)果如以下的表1所示表1


其中使用了一個媒體文件的一個音頻部分的最低有效位的低比特編碼的使用，可以被應(yīng)用，從而在整個媒體文件的聲譜中實質(zhì)上平均地散播引入的噪音，就此減少它可察覺的影響。也可以使用頻率域低比特編碼來進行編碼，其中使用了該媒體文件的壓縮音頻部分的系數(shù)的最低有效位。
對本領(lǐng)域技術(shù)人員來說還可以進行進一步的修改，但是這些修改被認為屬于由附加權(quán)利要求所定義的本發(fā)明的精神和范圍之內(nèi)。
權(quán)利要求
1.一種用于用補充的數(shù)字程序內(nèi)容補充由一個數(shù)字重放裝置執(zhí)行的預(yù)準備媒體數(shù)字文件內(nèi)容的過程，包含以可執(zhí)行代碼的形式準備這種補充的數(shù)字程序內(nèi)容，并且將該可執(zhí)行代碼嵌入到該預(yù)準備媒體文件里，用于由該重放裝置執(zhí)行，以補充該預(yù)準備媒體文件內(nèi)容的重放。
2.如權(quán)利要求1所述的過程，其特征在于該媒體文件沒有被預(yù)先準備以包含這種可執(zhí)行代碼，并且該代碼作為補充的可執(zhí)行代碼的數(shù)字程序序列，被無縫地嵌入到該媒體文件里。
3.如權(quán)利要求2所述的過程，其特征在于該媒體數(shù)字文件程序內(nèi)容已經(jīng)從包含音頻、視頻、圖像、三維、數(shù)據(jù)庫信息以及它們的組合的組中預(yù)先準備了。
4.如權(quán)利要求3所述的過程，其特征在于以任何計算機程序格式準備可執(zhí)行代碼序列。
5.如權(quán)利要求4所述的過程，其特征在于可執(zhí)行代碼序列從包含計算機編程的Java類文件、Macromedia Shockwave、Flash、二進制可執(zhí)行代碼、字節(jié)代碼、Visual Basic以及Java Script的組中準備。
6.如權(quán)利要求4所述的過程，其特征在于所述可執(zhí)行代碼序列的程序內(nèi)容被選擇為一個或多個圖形的、交互式的、電子商務(wù)內(nèi)容。
7.如權(quán)利要求6所述的過程，其特征在于所述程序內(nèi)容包括一個或多個廣告、可交易的廣告、交互式音樂視頻、以及電子商務(wù)。
8.如權(quán)利要求3所述的過程，其特征在于該媒體文件已經(jīng)被預(yù)先準備了以包含音頻程序格式，并且嵌入的可執(zhí)行代碼被準備了以提供圖像補充。
9.如權(quán)利要求1所述的過程，其特征在于在預(yù)定時間間隔實施在該媒體文件中的嵌入。
10.如權(quán)利要求1所述的過程，其特征在于該代碼的執(zhí)行與該媒體文件的重放同步。
11.如權(quán)利要求1所述的過程，其特征在于所述的將該可執(zhí)行代碼嵌入到該媒體文件里是無縫實施的，并具有和該媒體文件格式的向后兼容性，而且對于用戶來說重放是不受影響的。
12.如權(quán)利要求11所述的過程，其特征在于重放時在該代碼的執(zhí)行期間使用了一個校驗和，以驗證該嵌入的可執(zhí)行代碼已經(jīng)被正確地提取了。
13.如權(quán)利要求1所述的過程，其特征在于該嵌入通過隱寫技術(shù)實施。
14.如權(quán)利要求13所述的過程，其特征在于通過低比特編碼和頻率域低比特編碼中的一個來實施在該媒體文件中可執(zhí)行代碼的編碼。
15.如權(quán)利要求13所述的過程，其特征在于在該媒體文件中以實質(zhì)上大于300比特/秒可執(zhí)行代碼的速度實施嵌入。
16.如權(quán)利要求1所述的過程，其特征在于該媒體文件是一個包含了一個MP3音頻流的MPEG音頻文件。
17.如權(quán)利要求16所述的過程，其特征在于在編碼過程中，在插入到來自于音頻文件的MP3音頻流的開始處之前，可執(zhí)行代碼與音頻流的同步字節(jié)不同步，并且以ID3v2格式被封裝。
18.如權(quán)利要求16所述的過程，其特征在于在編碼過程中，可執(zhí)行代碼位被插入到在每個音頻幀中的音頻文件數(shù)據(jù)的末端處以編碼輔助數(shù)據(jù)。
19如權(quán)利要求18所述的過程，其特征在于該MPEG音頻文件被再壓縮以確保在該幀末端有用于可執(zhí)行代碼的空間。
20.如權(quán)利要求16所述的過程，其特征在于以專用數(shù)據(jù)包的形式編碼該可執(zhí)行代碼，用于插入以及嵌入新的專用數(shù)據(jù)包到現(xiàn)有的MPEG文件里。
21.如權(quán)利要求13所述的過程，其特征在于該可執(zhí)行代碼被轉(zhuǎn)換成一個位流，并且被插入和嵌入在該媒體文件中的選定位置處，其中該選定位置被標識為在重放期間對該媒體文件內(nèi)容的微小改變產(chǎn)生最少影響的位置。
22.如權(quán)利要求1所述的過程，其特征在于在編碼嵌入可執(zhí)行代碼到該媒體文件里之前，該媒體文件要進行一個數(shù)字壓制水印過程。
23.如權(quán)利要求1所述的過程，其特征在于該預(yù)準備的媒體文件是一個MP3文件，并且該可執(zhí)行代碼被無縫地嵌入其中，并且被準備以提供從包含可交易廣告、游戲、民意測驗、競賽、交互式音樂視頻和電子商務(wù)的組中選擇出來的補充程序內(nèi)容。
24.一種用于靈活地添加補充的數(shù)字程序內(nèi)容到由數(shù)字重放裝置進行的一個預(yù)準備媒體數(shù)字文件的重放中的系統(tǒng)，該系統(tǒng)包含用于修改該預(yù)準備媒體文件以嵌入表示該補充程序內(nèi)容的可執(zhí)行代碼序列的裝置；在該數(shù)字重放裝置中提供的、用于在該數(shù)字重放裝置重放該修改的媒體文件期間解碼該嵌入代碼的裝置；以及，除了用于重放該媒體文件的預(yù)準備內(nèi)容的裝置之外，在該數(shù)字重放裝置處還提供了對解碼做出響應(yīng)、也用于在那里呈現(xiàn)該補充的程序內(nèi)容的裝置。
25.如權(quán)利要求24所述的系統(tǒng)，其特征在于可執(zhí)行代碼序列被選擇以包含一個或多個圖形的、交互式的、電子商務(wù)程序內(nèi)容。
26.如權(quán)利要求25所述的系統(tǒng)，其特征在于所述程序內(nèi)容包括一個或多個廣告、可交易廣告、游戲、民意測驗、競賽、交互式音樂視頻以及電子商務(wù)。
27.如權(quán)利要求24所述的系統(tǒng)，其特征在于該媒體文件是一個包含了一個MP3音頻流的MPEG音頻文件。
28.如權(quán)利要求27所述的系統(tǒng)，其特征在于該修改裝置包含用于在插入到來自音頻文件的MP3音頻流開始處之前、用于使可執(zhí)行代碼與音頻流的同步字節(jié)不同步，并且以ID3v2格式封裝該代碼的裝置。
29.如權(quán)利要求27所述的系統(tǒng)，其特征在于在編碼過程中，提供了用于插入可執(zhí)行代碼位到在每個音頻幀中的音頻文件數(shù)據(jù)的末端處以編碼輔助數(shù)據(jù)的裝置。
30.如權(quán)利要求29所述的系統(tǒng)，其特征在于該MPEG音頻文件被再壓縮以確保在該幀末端有用于可執(zhí)行代碼的空間。
31.如權(quán)利要求27所述的系統(tǒng)，其特征在于提供了用于以專用數(shù)據(jù)包編碼該可執(zhí)行代碼、用于插入以及嵌入新的專用數(shù)據(jù)包到現(xiàn)有MPEG文件里的裝置。
32.如權(quán)利要求24所述的系統(tǒng)，其特征在于該修改裝置包含隱寫編碼裝置，以及其中，提供了用于轉(zhuǎn)換該可執(zhí)行代碼成為一個位流、以及用于在該媒體文件的選定位置插入和嵌入上述位的裝置，其中該選定位置被標識為在重放期間對該媒體文件內(nèi)容的微小改變產(chǎn)生最少影響的位置。
33.如權(quán)利要求24所述的系統(tǒng)，其特征在于提供了可操作用于在編碼嵌入可執(zhí)行代碼到該媒體文件里之前、使該媒體文件進行一個數(shù)字壓制水印過程的裝置。
34.如權(quán)利要求24所述的系統(tǒng)，其特征在于該預(yù)準備的媒體文件是一個MP3文件，并且該可執(zhí)行代碼被無縫地嵌入其中，并且被準備以提供從包含可交易廣告、游戲、民意測驗、競賽、交互式的音樂視頻和電子商務(wù)的組中選擇出來的補充程序內(nèi)容。
35.一種通過一個數(shù)字媒體播放裝置的擴展使用處理廣告和電子商務(wù)業(yè)務(wù)的方法，該方法包含在預(yù)準備用于由所述裝置進行娛樂重放的數(shù)字娛樂媒體文件中無縫地嵌入表示補充的數(shù)字廣告和電子商務(wù)業(yè)務(wù)請求程序內(nèi)容的可執(zhí)行代碼；并且修改所述裝置以允許由該裝置還解碼所述代碼，以便允許在所述裝置處重放所述商業(yè)請求程序內(nèi)容，作為對該娛樂文件重放的補充，并且沒有影響該文件格式的向后兼容性，由此提供了先前在這種裝置處沒有提供的商業(yè)請求機會。
36.如權(quán)利要求35所述的方法，其特征在于該媒體文件包含音頻MPEG格式，并且所述重放裝置適于播放這種格式的MP3數(shù)據(jù)流。
37.一種用于在由數(shù)字媒體內(nèi)容呈現(xiàn)系統(tǒng)執(zhí)行數(shù)字媒體流的期間、在這種數(shù)字媒體流里無縫地嵌入補充的程序內(nèi)容的過程，該過程包含以可執(zhí)行代碼的形式提供補充的數(shù)字程序內(nèi)容；嵌入該可執(zhí)行代碼到該數(shù)字流中；在由該系統(tǒng)呈現(xiàn)該流的內(nèi)容期間解碼所編碼的代碼；以及在由系統(tǒng)呈現(xiàn)該流的內(nèi)容期間，響應(yīng)于這種解碼呈現(xiàn)解碼的補充程序內(nèi)容。
38.如權(quán)利要求37所述的過程，其特征在于嵌入、解碼和呈現(xiàn)由一個計算機系統(tǒng)的軟件控制實施；且該呈現(xiàn)作為在一個計算機屏幕處的播放和/或觀看而實施。
全文摘要
一種用于靈活地添加補充的數(shù)字程序內(nèi)容,諸如,例如可交易的廣告內(nèi)容、游戲、民意測驗、競賽、交互式音樂視頻、以及通常的電子商務(wù)內(nèi)容等,到用于由數(shù)字重放裝置重放的預(yù)準備數(shù)字媒體文件、諸如一個MP3音頻文件等中的新穎過程和系統(tǒng),其特征在于:通過在其中嵌入表示這種補充程序內(nèi)容的可執(zhí)行代碼來修改該預(yù)準備的媒體文件,并且允許該重放裝置解碼和執(zhí)行該補充的程序資料的呈現(xiàn),作為對該預(yù)準備媒體文件內(nèi)容重放的附加。
文檔編號G10L19/00GK1379951SQ00812408
公開日2002年11月13日 申請日期2000年3月6日 優(yōu)先權(quán)日1999年9月3日
發(fā)明者托馬斯·W·米耶, 杰斯林·馬休·米耶 申請人:托馬斯·W·米耶, 杰斯林·馬休·米耶