專利名稱：實時視頻包含系統(tǒng)的制作方法
技術領域：
本申請涉及制作和使用視頻圖像和靜止圖像的技術，并且更具體地涉及一種使第 一用戶能夠準備圖像的方法和裝置，其中所述圖像允許第二用戶與所述圖像更容易地交互。
背景技術：
傳統(tǒng)被動媒體產業(yè)如電視、音樂產業(yè)、電影制片廠和TV商業(yè)廣告正流失給交互式 新媒體如視頻游戲產業(yè)和因特網。雖然諸如數字錄像機(DVR)等裝置允許客戶對內容進行 時間移位，但是它們是被動的并且不能使客戶創(chuàng)建他們自己的新內容。同時，已經有使客戶能夠變成內容創(chuàng)建者的不斷增多的工具。數字靜止相機和攝 像機允許隨時捕獲圖像?？梢杂么嬖谟趥€人計算機上的強大軟件隨時操控所捕獲的圖像。 可以組合和打印、在電視屏幕上顯示、向DVD上燒錄以及甚至用電子郵件向朋友和家人發(fā) 送圖像。同時，強大的數字音樂創(chuàng)建工具允許客戶創(chuàng)建新音樂以與他們的數字圖像組合。現 在任何人都可以是內容創(chuàng)建者。甚至蜂窩電話也捕獲優(yōu)質靜止圖像以及視頻。該創(chuàng)建的內 容正設法上傳到越來越流行的因特網站點。因此，任何客戶都可以是“明星”，但是這并未減 弱公眾對與媒體名人交互和/或從他們自己的媒體創(chuàng)建中受益的愿望。一種這樣做的方式 可能是通過實現允許客戶與名人“交互”的創(chuàng)造性內容。本發(fā)明將個人媒體創(chuàng)建的趨勢與 這一對名人的愛慕結合。同時，本發(fā)明提供一種媒介，使得更多傳統(tǒng)內容創(chuàng)建者和廣告商可 以利用和受益于專業(yè)的和個人的媒體創(chuàng)建。本發(fā)明提供一種使內容創(chuàng)建者能夠借助于模板系統(tǒng)和虛擬集合/圖像鍵系統(tǒng)來 提供源圖像給客戶和想要與該源圖像交互的任何人的交流媒介。兩個或者更多個單獨的視 頻/圖像流可以在家里或者某人有權訪問“內容”視頻的任何地方實時地合成在一起?？?以用包括通過因特網、DVD、⑶和其它數字媒體的多種方式來散播“內容”視頻。該系統(tǒng)允 許使用“內容”視頻中的元數據，該元數據描述攝影機在進行拍攝時做過什么以及與應當如 何使用模板系統(tǒng)來將前景視頻/圖像與該拍攝組合有關的信息。所得合成品產生用戶/對 象似乎在與“內容”現場交互這一令人信服的錯覺。例如，假設可在因特網上得到搖滾音樂 會的視頻。用戶使用連接到攝像機的計算機(該計算機包括各種計算裝置(包括個人計 算機和游戲控制臺))捕獲他或者她自己的圖像。使用實時軟件來組合用戶-客戶的圖像 與“內容”視頻以產生用戶看來存在于搖滾音樂會視頻中的最終視頻圖像。這產生專業(yè)人 士或者業(yè)余愛好者制作的數字視頻內容(“內容(或者背景)創(chuàng)建者”)和客戶的數字視頻內容(“客戶(或者前景)創(chuàng)建者”)的可記錄的、實時的視頻嵌入視頻式的交互。類似 地，出于廣告目的，可以快速調節(jié)圖像；在電影或者視頻游戲中的廣告牌可能在美國放映可 樂廣告而在歐洲放映耐克廣告；十幾歲的女孩可能接收與十幾歲的男孩不同的廣告主題； 等等。這同樣適用于頗有才智的勝出的業(yè)余愛好者，這些業(yè)余愛好者在他們公布于因特網 的、客戶生成的視頻上獲得數百萬的點擊。使用本發(fā)明，他們可以出售他們自己的視頻內的 廣告空間。耐克廣告可與原始內容無縫地集成。
該實時過程實現廣告商和客戶與實況廣播、如實況一樣的廣播、本地存儲的視頻 文件、計算機游戲和視頻會議進行視頻嵌入視頻式的/圖像嵌入圖像式的交互。允許客戶 或者廣告商與廣泛的娛樂節(jié)目(廣播、長片、商業(yè)廣告、音樂視頻、電視劇、“網絡劇”、在線游 戲和客戶生成的媒體)或者諸如舞蹈課程、音樂課程、歌唱課程、表演課程、醫(yī)學訓練等教 育節(jié)目交互。盡管下述實施方式主要為客戶應用，但是本發(fā)明也可以用作教育工具、科學工 具以及廣告和產品布局工具。

發(fā)明內容
對于允許客戶以某一方式與偶像或者明星交互的應用的需要由來已久。一種可允 許客戶與商業(yè)廣告內容反復交互并且能夠與任何人分享成果的應用可解決至今尚未完全 滿足的需要。同樣地，廣告商目前沒有好的方式向客戶和專業(yè)生成的視頻內容迅速添加廣 告。這會潛在地改變將在未來創(chuàng)建和散播許多媒體內容的方式，從而為廣告商和商業(yè)廣告 等以及音樂、游戲和電影產業(yè)生產商創(chuàng)造針對在新媒體散播模型中創(chuàng)建的內容而控制收入 流的機會。當客戶為他們自己的音樂視頻尋求完美的背景或者在實際留在家中時創(chuàng)建他們 自己的“看游世界”項目時，對于股份照片和視頻伙伴存在機會。除了客戶之外，本發(fā)明也 通過實現參與音樂課程、舞蹈課程和體育(聊舉少數應用)來為教育團體所用。在醫(yī)學上， 本發(fā)明實現將符號-語言隨時插入到任何視頻中以及發(fā)揮精神病治療的作用。在監(jiān)獄環(huán)境 中，本發(fā)明實現與位置遠離的人員進行交流，從而使他們看起來像在現場，以有助于重新投 入社會中。作為產品布局和廣告工具，本發(fā)明可以證實廣告商和內容創(chuàng)建者同樣有利可圖。 本發(fā)明還允許終端用戶上傳他/她本人的圖像并且將它應用于計算機游戲角色并且因此 如他們本人參與游戲一樣以供他人看到。這使定制化身達到新高度而無需改寫游戲軟件。本發(fā)明利用了由“內容創(chuàng)建者”預備的“商業(yè)廣告”視頻流和與內容創(chuàng)建者視頻隨 時組合的由客戶產生的視頻流(“客戶”視頻)。本發(fā)明的方法可制作可以實時記錄(內容 創(chuàng)建者允許)的合成視頻并且將客戶才智(合成了什么人或什么事)包括在所得視頻中， 所得視頻使內容創(chuàng)建者的內容在多個版本中是唯一的一一每個客戶視頻(內容創(chuàng)建者視頻 加上客戶視頻)創(chuàng)建新的個性化版本?？梢詫⑦@些唯一的新視頻上傳到例如因特網和移動 裝置以供他人看到。通過計算機或者等效設備如游戲引擎或機頂盒可訪問的客戶創(chuàng)建者軟件應用提 供實時交互。軟件應用可以是相對簡單的二維(2d)系統(tǒng)，其中在2d空間中所述合成相對 固定，或者優(yōu)選地，軟件具有3d能力，使得合成的圖像隨著內容創(chuàng)建者的相機的移動而在 3d空間中移動，因此給予令人信服得多的錯覺?？蛻魟?chuàng)建者軟件應用能夠實時合成例如來自攝像頭的本地視頻流或圖像文件或者例如來自因特網的外部饋入與外部視頻饋入或者本地存儲的視頻文件。視頻文件借助于 軟件應用來組合，該軟件應用能夠實時處理兩層或者更多層視頻和/或圖像、2d和3d標的 以及相機數據流并且借助于疊加或者圖像鍵控來合成本地視頻流/圖像。


圖1是示出本發(fā)明系統(tǒng)的概況的路徑圖；圖2是示出本發(fā)明方法中的步驟的流程圖；圖3是圖示提供元數據時的步驟的系列流程圖；圖4是示出如何相對于模板對圖像進行定位的圖；圖5是對使用高度信息的說明；圖6是用于廣告目的的本發(fā)明的路徑圖；圖7是示出用于廣告目的的方法的流程圖(類似于圖2)；圖8是說明使用縱橫比和圖像格式的圖；以及圖9是說明將高度信息與格式/縱橫比信息一起使用的附加圖。
具體實施例方式提供以下描述以使本領域技術人員能夠實現和使用本發(fā)明并且闡述發(fā)明人設想 的實現其發(fā)明的最佳實施方式。然而，本領域技術人員仍然容易想到各種修改，因為本文中 具體地定義了本發(fā)明的總體原理以提供一種用于提供可以將客戶視頻內容容易地插入到 其中的視頻內容的系統(tǒng)以及用于實現這樣的插入的工具。圖1和圖6示出整個方法的概況。圖1示出所述系統(tǒng)的、其中客戶內容與內容創(chuàng)建 者視頻組合的版本。圖6示出將廣告內容插入到內容創(chuàng)建者視頻中。如已經說明的那樣， 內容創(chuàng)建者創(chuàng)建視頻內容，客戶創(chuàng)建者(“前景”創(chuàng)建者)將他的或者她的視頻/圖像內容 插入到該視頻內容中以創(chuàng)建組合視頻，在該組合視頻中客戶創(chuàng)建者/對象看上去是原內容 創(chuàng)建者視頻的一部分。圖1劃分成內容創(chuàng)建者側(A)和客戶創(chuàng)建者側(B)以闡明在該方法 的每部分中發(fā)生了什么。首先，內容創(chuàng)建者使用圖像創(chuàng)建設備20以捕獲基本視頻圖像。該 附圖示出相機作為圖像創(chuàng)建設備20，但是可以使用任何視頻創(chuàng)建系統(tǒng)，包括計算機或者傳 統(tǒng)(手繪)動畫和普通靜止圖像以及具有生成的運動和搖動效果(例如，Ken Burns效果) 的靜止圖像。該圖像創(chuàng)建設備創(chuàng)建背景圖像22，客戶創(chuàng)建者可以最終向該背景圖像22中插 入用第二圖像捕獲設備32(如在捕獲設備20的情況下一樣，可以使用任何視頻創(chuàng)建系統(tǒng)) 制作的圖像。背景圖像視頻22然后由運行內容創(chuàng)建者軟件26的計算設備(比如個人計算 機或者游戲控制臺)處理。軟件26可以存在于本地計算機上或者可以從服務器訪問軟件 26——在該情況下部分或者所有文件操控可以在遠程服務器計算機上進行。該軟件26允 許內容創(chuàng)建者處理背景視頻22以包括直接元數據24(相機角度、位置等)或者從背景視 頻22中獲得這樣的元數據。內容創(chuàng)建者軟件26還允許內容創(chuàng)建者將模板28嵌入到視頻 內容中。模板28指出在何處以及如何向內容創(chuàng)建者視頻22中插入客戶創(chuàng)建者的視頻圖像 (圖6中的126)。背景(內容)軟件26和前景(客戶)軟件38都理解模板28，并且模板 28在背景視頻22中表現為輪廓、陰影或3d標的?？刂圃试S內容創(chuàng)建者從一個場景到另一 場景到處移動模板28并且決定它將如何、何時以及在何處出現以獲得每個場景/鏡頭中客戶(前景)創(chuàng)建者視頻圖像的最逼真和最佳的創(chuàng)建位置?？梢圆捎酶鞣N尺寸的模板(全身、 上半身特寫、矩形、方形、圓形、3d標的等)，以允許內容創(chuàng)建者選擇最適合于視頻的模板視 圖。該示例使用模板以布置“前景”圖像，但是該模板還可以根據內容創(chuàng)建者的愿望來控制 一個或多個“背景”圖像的布局。對于廣告(圖6)，模板28常常會被成形以插入產品圖像 或消息。例如，如果背景視頻22示 出舞臺上的表演搖滾樂隊，則尺寸與表演者相同的全身 模板會是適當的。這然后被定位在舞臺上，緊鄰其他表演者。如果視頻22然后剪切成表演 者的特寫視圖，則該模板被移動和縮放到適當位置中并且表現為用于該片斷的上身特寫。 客戶創(chuàng)建者軟件38基于由內容創(chuàng)建者提供的元數據24信息來適當地更改插入的模板28， 以創(chuàng)建相機移動和向實際上由單個(通常是固定的)圖像捕獲設備32產生的前景圖像34 的切換的錯覺?？蛻魟?chuàng)建者然后可以查看更改的模板并且如果必要則“微調”它的位置。定 位不僅包括何處而且包括何時模板出現在圖像流中。最終內容創(chuàng)建者數據文件30包含原 背景視頻22、一個或多個嵌入的模板以及適當的元數據。這然后通過DVD或者因特網或者 任何其它適當的散播方法散播給客戶創(chuàng)建者?？蛻魟?chuàng)建者還具有接口到個人計算機或適當的計算設備的圖像創(chuàng)建設備32，例如 攝像機?？蛻魟?chuàng)建者/最終用戶可以在運行客戶前景創(chuàng)建者/最終用戶軟件38 (同樣，可 以從遠程服務器獲得該軟件，并且一些或者所有操控可以發(fā)生在遠程計算機上)的個人計 算機/計算設備上播放最終內容創(chuàng)建者數據文件(視頻)30。該軟件允許客戶(前景)創(chuàng) 建者查看背景圖像22以及看見模板28在該視頻內的位置。在最終內容創(chuàng)建者數據文件30 將模板用于產品布局或廣告的實例(見下文)中，可以不讓最終用戶與這些視頻文件交互。 在設置數據文件30用于交互且有對數據文件30中所編碼的可能模板的選擇時，客戶創(chuàng)建 者能夠選擇最適合于他的或者她的空間和相機設置的模板?？蛻?前景)創(chuàng)建者軟件38 能夠接受由圖像創(chuàng)建設備32捕獲的前景圖像/視頻34并使用疊加或者鍵控來組合它與最 終視頻30以將前景圖像插入或合成到由模板創(chuàng)建的“占位符”位置。鍵控是疊加或組合兩個或更多圖像或視頻流中涉及的公知過程。在制圖學中，重 疊或“疊加”是在已經存在的圖像或者視頻上布置圖像或者視頻以通常加強整體圖像效果， 而有時還為了隱藏某些內容(比如將屏幕的左側用于背景圖像而將右側用于前景圖像，也 稱之為分屏)。通過鍵控過程，一個視頻圖像的一部分與它的背景隔離，因而它可以與另一 圖像合成或者組合到另一圖像中。最常用的鍵是色度鍵。色度鍵是一種用于混合兩個圖像 的技術，其中去除(或者透明化)來自一個圖像的一種顏色(或者小的顏色范圍)，從而展 現另一圖像。該技術也稱為色鍵控、色分離覆蓋(CSO)、綠屏和藍屏。該技術常用于天氣預 報廣播，其中節(jié)目主持人看上去是站立在大的氣象圖前面而實際上是站立在藍色背景或綠 色背景前面。視頻合成的結果類似于在移動畫面中使用的較早的“藍屏”過程，其中以藍屏為背 景為演員照相并且隨后將演員的圖像插入到另一場景中。該照相過程異常地復雜，其中涉 及到產生“照相掩?！币栽试S在照相膠卷上多次沖洗。鍵控-合成系統(tǒng)由于視頻圖像的光柵性質而實際上比照相系統(tǒng)簡單得多。對于合 成圖像的每個掃描線，只要鍵控信號處于一個狀態(tài)(例如表明來自前景圖像的掃描在示出 鍵控色)，電子開關就從背景圖像取得視頻數據。當前景掃描停止示出鍵控色時，鍵控信號改變狀態(tài)并且此時電子開關從前景圖像取得視頻數據。這樣，將圖像逐個掃描線地編制在 一起而無需照相掩?；蚱渌愃频膹碗s因素。錯覺就是下層(背景)圖像在特定選擇區(qū)域 中“未覆蓋”。色度鍵控的一個例子是將每個像素分解成它的紅色通道、綠色通道和藍色通 道，然后這些值會被轉換成色調、飽和度和值色空間。使用最小和最大色調，則可以確定該 像素是否為透明的。還有多種產生鍵控信號 的其它方式。這些包括“照度鍵控”，其中鍵控 信號基于前景圖像的亮度和暗度特性，例如每個像素會被轉換成黑色和白色，并且所得值 將被用于進一步計算以確定透明度。最終結果將保持原像素的顏色。如果用戶指定了白色 背景，則值大于特定極限的任何像素都會為透明的。如果用戶指定了黑色背景，則值低于特 定極限的任何像素都會為透明的。在“差值鍵控”的情況下，先在對象不存在時、然后在對 象存在時分析前景圖像。在兩種分析中存在的標的確定為背景。差值鍵控過程要求相機在 整個鍵控過程中不會從它的原位置移動，因為用戶會在開始前取得“凈板”。凈板是恰好無 必須保持不透明的任何要素的背景的鏡頭。該凈板保存在存儲器中。對于每個幀，計算設 備會從圖像創(chuàng)建設備抓取新圖像并且從凈板圖像中的相應色通道中減去該圖像的每個像 素的色通道。如果減法的絕對值之和小于指定范圍，則使該像素為透明的。簡而言之，如果 像素的顏色與它在凈板中的顏色大致相同，則使該像素為透明的?？蛻?“前景”)創(chuàng)建者軟件38對前景圖像34執(zhí)行鍵控功能、然后將鍵控的圖像 插入到占位符模板的位置中?；仡檮?chuàng)建者元數據24允許模板出現并根據模板和相機角度、 位置等來移動和變換模板?？蛻魟?chuàng)建者軟件38變換疊加的或者鍵控的圖像，使得它的位置 和縱橫比根據原相機及其角度而移動。為了增強這一處理，客戶創(chuàng)建者軟件38可能需要客 戶創(chuàng)建者元數據36。該元數據可以包含與客戶創(chuàng)建者用來捕獲前景圖像34的相機、透鏡和 相機位置有關的廣泛信息，比如相機的高度和視野的細節(jié)。在最優(yōu)地縮放圖像時有利的是 讓軟件38 了解前景圖像34與在最終視頻30中插入的模板的尺寸之間的尺寸或者高度關 系。例如，在上文提到的搖滾樂隊視頻中，表演者的平均身高可能是6英尺，因而將插入的 模板定位成代表6英尺的人?？蛻魟?chuàng)建者軟件38會縮放客戶前景(鍵控的)圖像34以適 應嵌入的模板。如果在前景圖像34中的人約6英尺高，則這恰好起作用。然而，如果該人 僅5英尺高，則將過度放大插入的圖像并且結果將不逼真。通過輸入前景圖像34的高度信 息，避免了該誤差并產生逼真結果。因此，這是要在客戶創(chuàng)建者元數據36中包括的一條重 要fn息?？蛻魟?chuàng)建者軟件38實時進行鍵控和合成，使得客戶前景創(chuàng)建者或者最終用戶能 夠查看計算設備監(jiān)視器(最終輸出40)上的基于附加元數據24來與背景圖像22實際地交 互并被組合在最終內容創(chuàng)建者數據文件30中的對象(常常為他本人或者她本人、產品布局 或者廣告)。客戶創(chuàng)建者不僅可以響應于視頻圖像來完善“移動”，而且客戶創(chuàng)建者還可以 (內容創(chuàng)建者允許)調整元數據36以給予最逼真的響應?？蛻魟?chuàng)建者軟件38也充當錄像機，使得可以保存表演以供上傳到在線服務、發(fā)電 子郵件或者甚至燒錄到DVD或其它記錄介質上(同樣為內容創(chuàng)建者允許)。在最終內容創(chuàng) 建者數據文件30包括聲音20時，系統(tǒng)也有可能在最終產品中包括用戶的聲音。在搖滾表演 的情況下，最終內容創(chuàng)建者數據文件30可以包括缺乏特定聲音軌道或樂器軌道的表演?？?戶創(chuàng)建者然后歌唱或者演奏樂器，并且客戶創(chuàng)建者軟件38混合這一音頻與來自最終內容 創(chuàng)建者數據文件30的音頻。在歌唱的情況下，客戶創(chuàng)建者軟件38可以顯示適當歌詞(最終數據文件30中的部分元數據)并且以與卡拉OK設備相同的方式指導用戶的輸入歌唱。本發(fā)明的一個重要部分在于內容創(chuàng)建者如何處理用戶的圖像將與其合成的視頻 數據。內容創(chuàng)建者可以包括或者可以不包括與在背景圖像22中移動的一個或多個標的的 位置和角度有關的元數據和信息(以及 關于標的何時出現在視頻流中的定時信息)。另外， 內容創(chuàng)建者可以包括或者可以不包括與用來拍攝內容的相機和透鏡的角度有關的元數據 和信息。當內容創(chuàng)建者包括相機信息或者類似元數據時，這極其便于以最佳角度在內容創(chuàng) 建者的視頻饋入內布置客戶創(chuàng)建者的視頻饋入。然后會補償原相機移動，并且客戶創(chuàng)建者 的視頻饋入然后會與內容創(chuàng)建者的相機移動同步移動。本領域技術人員能夠清楚背景圖像 可以是客戶創(chuàng)建者的捕獲圖像，而可鍵控的前景圖像則由內容創(chuàng)建者提供。這允許個人創(chuàng) 建名人拜訪并且出現在個人的起居室中的錯覺。在組合視頻流時，內容創(chuàng)建者一般對客戶 創(chuàng)建者供應的圖像是背景圖像還是前景圖像進行控制?？梢酝ㄟ^利用可用硬件和軟件跟蹤系統(tǒng)實時計算和跟蹤相機移動在現場捕獲相 機元數據信息，或者可以通過使用跟蹤相機位置并及時計算每個點處的正確角度的計算機 軟件在產生后創(chuàng)建該數據。內容創(chuàng)建者軟件26中可以包括這樣的軟件。以客戶創(chuàng)建者軟 件38可用/共享的格式在內容創(chuàng)建者的視頻30內包括所有元數據。在最佳情況下，在最終用戶接收的元數據中包含有四類信息1)背景(或者前景)圖像/視頻一內容創(chuàng)建者指定將在合成過程中使用的圖像或 者視頻。在元數據中包括實際圖像或者對它的引用。2)推薦的模板一內容創(chuàng)建者選擇客戶創(chuàng)建者將他的/她的材料(前景或者背景) 適配到其中的模板。模板代表不同類型的相機鏡頭，比如緊湊鏡頭、中景鏡頭或者寬鏡頭。 模板還可以代表人或者其它類型的對象，例如2d或者3d標的、圖片、照片、廣告、插圖或者 3維計算機模型。元數據中會包括實際模板或者引用。3)對象的高度一這表明對象對于推薦的模板而言有多高。給出的高度不是所示對 象部分的高度。而是整個對象從地面接觸點到對象頂部的高度。這些數據允許客戶創(chuàng)建者 軟件38自動縮放前景圖像34，以維持前景34與背景圖像30之間的恰當高度關系?？蛻魟?chuàng) 建者前景圖像34的縮放是從地面接觸點或者從對象的頂部進行。還可以包括與模板28的 圖像格式和縱橫比有關的信息，以維持由模板28替換或者插入到模板28中的前景圖像34 的正確比例。4)模板的位置、方向和定時一內容創(chuàng)建者以客戶創(chuàng)建者的對象看似它適配到背景 圖像22中的方式對所選模板進行定位，以產生與內容創(chuàng)建者的創(chuàng)建視覺相稱的逼真最終 輸出40。可以指定模板的位置和方向的方式至少有三種。如果相機和/或標的元數據可用， 則可以針對各圖像幀中的模板位置指定3d坐標。還可以包括旋轉數據和縮放信息。相機元 數據包括但不限于相機X、Y和Z坐標、相機的搖攝、傾斜和滾動角度、以及相機的視野。標 的元數據包括但不限于標的的X、Y和Z平移和旋轉坐標以及Χ、Υ和Z縮放坐標。如果背景 圖像為移動圖像，則相機數據可以/是針對每個幀來給出。如果背景圖像具有移動標的，則 標的數據可以/是針對所跟蹤的標的的每個幀來給出。如果相機數據或標的數據不可用， 則針對每個幀，內容創(chuàng)建者可以將模板多邊形的四個角的2d坐標插入到元數據中。這些坐 標可以通過像素或平面跟蹤過程或者通過人工輸入來獲得并且允許客戶創(chuàng)建者軟件38將 前景多邊形變換成恰當角度。如果相機在拍攝期間未移動(或者如果它對于內容創(chuàng)建者而言無關緊要)，則可以人工輸入并且在元數據中僅一次包括模板多邊形的比例以及2d位置 和3d位置。關于模板何時出現和/或消失的定時也由內容創(chuàng)建者控制。
圖2取用圖1的整體工作流程并且將其以過程流程圖的形式顯示。在左側的圖 (A)是內容創(chuàng)建者遵循的過程。在第一步驟42 “創(chuàng)建背景圖像”中，內容創(chuàng)建者創(chuàng)建背景 圖像(視頻)。當該圖像被完善和發(fā)布時，它會變成待由客戶創(chuàng)建者(最終用戶)選擇用 于交互的背景。在第二步驟44 “選擇適當模板”中，內容創(chuàng)建者選擇適當的模板(例如全 圖、中景、中近景或特寫)，該模板最好地代表該模板的幀內的對象。此外，與圖像的格式對 應的模板可用(如圖8和圖9中說明的4 3、16 9或者其它適當的視頻/圖像比例)。 在第三步驟46 “元數據”中，內容創(chuàng)建者提供和/或選擇對背景圖像的標的和在背景圖像 的整個持續(xù)時間內的一個或多個相機位置、定時和/或一個或多個視野進行描述的元數據 (到它可用的程度)。這可以通過使用多種可用技術來實現，這些技術比如是實時相機和標 的跟蹤、來自計算機圖形軟件的相機/動畫數據、軟件相機/標的跟蹤或目測(見圖3)。能 夠理解通過提供元數據通常可以提高最終結果的質量。在第四步驟48“輸入高度信息”中， 內容創(chuàng)建者可以提供與對象的高度有關的可選信息，從而允許軟件基于輸入的高度來自動 調節(jié)前景圖像的位置和比例。在第五步驟50 “布局、縮放、打開-關閉和同步模板”中，內 容創(chuàng)建者在適當位置為每個相機鏡頭布置和縮放模板，以最好地適配內容創(chuàng)建者的創(chuàng)建視 覺、比如適配到背景圖像的正確角度以及如何和何時打開和關閉。如果需要，則內容創(chuàng)建者 同步相機數據與前景圖像的相機移動，以使加入了前景圖像的背景圖像與背景圖像同步播 放。顯然，如果相機位置不變，則實質上無需同步。然而，如果相機到處移動，則需要同步，使 得插入的模板跟蹤相機移動。如果使前景圖像跟蹤背景圖像中的標的，則也需要同步。在 最終的第六步驟52 “發(fā)布”中，當內容創(chuàng)建者對視頻滿意時，發(fā)布它以使背景圖像和元數據 可用于最終用戶和前景圖像創(chuàng)建者。如上文提到的那樣，發(fā)布可以涉及到借助于任何媒體 類型如因特網、⑶和DVD的散播。右手側的圖2(B)示出客戶創(chuàng)建者遵循的整個過程。在第一步驟54“選擇待與之交 互的背景圖像”中，客戶創(chuàng)建者從他的/她的計算設備上的可用內容中選擇待與之交互的背 景視頻/圖像。該選擇受制于客戶創(chuàng)建者的興趣和客戶創(chuàng)建者準備進行什么類型的活動。 在第二步驟56 “適配到模板”中，客戶創(chuàng)建者調節(jié)相機/前景圖像，使得前景視頻/圖像中 的用戶圖像能夠恰當地適配到所選模板中。回顧最終內容視頻30包含內容創(chuàng)建者為了保 證對象在模板的畫面內的理想取景而建議的模板，例如全身。然而，在例如由于最終用戶在 家中的空間有限而不可能將對象適配到推薦的模板中的情況下，最終用戶可以選擇與他們 的圖像創(chuàng)建設備可以實際上捕獲的內容更好地適配的模板。在第三步驟58“可選地提供高 度信息”中，客戶創(chuàng)建者可以輸入對象的高度，由此允許軟件38正確地縮放和自動地適配場 景中的對象，從而維持由內容創(chuàng)建者設置的正確高度關系。例如，如果內容創(chuàng)建者使模板基 于六英尺高的人而對象僅五英尺高，則軟件將自動調節(jié)模板的尺寸和位置，以維持地面接 觸點和高度關系。如已經說明的那樣，高度信息在相機移動期間用來維持逼真的尺寸關系。 然而，如果內容創(chuàng)建者推薦了特定模板，如進行拍攝的中近取景，則即使輸入也可以不使用 高度信息，因為如果重新縮放更矮的對象，則對象的一部分可能出現在屏幕的邊界以外。在第四步驟60 “可選鍵控”中，客戶創(chuàng)建者(AKA最終用戶)有權選擇通過讓前景 視頻完全不透明來將它疊加在內容視頻30上或者通過使用多種可用技術(比如去除對象后面和周圍的背景色并用背景圖像替換它的色度鍵控)來鍵控前景視頻。顯然，在幾乎每 個實例中都會使用鍵控，因為它產生前景圖像實際上為內容視頻30的一部分的更逼真的 錯覺，然而，如果模板用作廣告，則疊加不透明圖像在許多情況下會是最正確的且不可能被 最終用戶改變。如果設置疊加不透明圖像這一過程以進行直接相機剪接(例如電影中的 獨白，其中在客戶創(chuàng)建者的全屏圖像與電影角色的全屏圖像之間有縱切)，則該過程也很好 地起作用。在第五步驟62 “可選著色”中，最終用戶有權選擇對前景圖像進行顏色校正以 更接近地匹配背景圖像的顏色。例如，可能有如下實例，其中以黑白模式拍攝背景，則最終 用戶可以使前景視頻也為黑白的，或者其中背景在日出或日落時拍攝并且具有很暖的色平 衡，則在該情況下，前景圖像的顏色必須變得更暖以匹配背景。 在第六步驟64 “前景圖像的可選定位/縮放”中，最終用戶有權選擇在背景中移 動、縮放和裁剪前景圖像；即將自身移動到更顯眼的視圖中。這可以脫離或者可以不脫離內 容創(chuàng)建者的創(chuàng)建視覺并且可能為最終用戶加入創(chuàng)建視覺。在第七步驟66 “設置視頻/音 頻延遲計時器”中，客戶創(chuàng)建者/最終用戶能夠可選地延遲背景圖像的視頻和音頻的開始。 這可以用來給自己十秒的時間以準備好與內容視頻30交互，并且還保證前景動作一旦記 錄就與背景動作同步。在第八步驟68 “個性化”中，最終用戶有權選擇在屏幕上顯示姓名 或者其它內容作為重疊圖形。這類似于向視頻添加可見數字“水印”以標識來源，比如個人 的姓名等。在第九步驟70 “交互/記錄過程”中，一旦最終用戶全部設置前景/背景圖像 交互并且對之滿意就存儲和散播所得視頻40。在多數情況下，背景內容創(chuàng)建者視頻30 “留 存”在最終用戶的計算設備上，從而允許最終用戶如希望的那樣多次復述和交互。然而，在 背景視頻30為實況流廣播時，最終用戶僅可以在廣播的持續(xù)時間內交互。在任何時間，最 終用戶都可以選擇記錄交互結果，以能夠回放它們。在第十步驟72“可選地單獨記錄、編輯 和合成音頻流和視頻流”中，客戶用戶可以選擇單獨地記錄背景圖像22和前景圖像34及 其相應的視頻文件和音頻文件。這給予最終用戶改善合成的質量的更多靈活性和控制，尤 其是在音頻文件和視頻文件的同步、顏色匹配和鍵控方面。在第十一步驟74“完成/發(fā)布” 中，最終用戶記錄交互并創(chuàng)建可用于回放的視頻文件。最終用戶然后可以上傳結果以為他 人所見，這包括但不限于向因特網和移動電話散播。用戶還可以選擇記錄到其它介質，比如 DVD。本發(fā)明系統(tǒng)還可以用于其它目的，比如廣告?；静襟E與已經討論的步驟相同；圖 6是適應于廣告的圖1的修訂版本。在步驟28中示出模板形狀為幾何形狀以更有效地容 納產品形狀和產品消息。當然，在涉及到發(fā)言人時，如圖1中那樣的“人形”模板會是適合 的。其它步驟如關于圖1所述的那樣操作，不同在于在這一情況下，廣告商創(chuàng)建者創(chuàng)建前景 視頻并將它提供給最終用戶用于合成視頻流。圖7示出用于涉及廣告的過程(圖2)。當內容創(chuàng)建者的意圖在于向最終用戶發(fā)布 僅用于查看目的時，例如當模板代表產品布局或者廣告時，針對可以“購買”模板廣告空間 的廣告商的喜好使內容創(chuàng)建者發(fā)布的具有元數據的文件可用46。在這一情況下，廣告商創(chuàng) 建者創(chuàng)建前景圖像55并將其發(fā)布給最終用戶(客戶)74。然后該前景圖像被包括在元數 據中，從而替換來自內容創(chuàng)建者的模板“占位符”。模板僅為讓他人將他們的內容添加到其 中的參考和向導/ “占位符”。在廣告商的情況下，最終用戶的查看體驗可能基于客戶的人 口統(tǒng)計、年齡、性別和其它相關可用信息而不同或者基于內容創(chuàng)建者的背景視頻/圖像中的內容而不同。這允許“在飛行中”創(chuàng)建“定制”廣告以準確地匹配人口統(tǒng)計一例如借助 于網頁。該方法還可以用于在主要媒體發(fā)行中的靈活產品布局。例如，Warner Bros在發(fā) 行“Batman-The Dark Knight”，并且在Gotham市中的廣告牌之一上(在電影內)可以在美 國有可樂廣告而在歐洲有耐克廣告；十幾歲的女孩可以看見與十幾歲的男孩不同的廣告內 容；等等。這同樣適用于那些頗有才智的業(yè)余愛好者，這些業(yè)余愛好者獲得在他們的客戶生 成的視頻上的數百萬的點擊。使用本發(fā)明，他們可以出售他們的個人視頻和/或照片內的 廣告空間，因此客戶生成的關于他們的家犬的視頻可以吸引狗食廣告商。重要的是，無論從 何處訪問內容創(chuàng)建者文件，本發(fā)明都允許提取廣告。例如，如果內容創(chuàng)建者通過Youtube上 傳具有元數據的內容，則在文件由某人嵌入他們的Facebook站點上時，具有元數據的視頻 內容也在Facebook上可用；因此無論文件去往何處，廣告都跟隨文件。例如，步驟可以包括1.為廣告商創(chuàng)建在線服務器數據庫，包括有東西待出售或者有評論的任何人的廣 告商 必須在其上注冊并被批準；也歡迎慈善團體注冊。作為該過程的一部分，廣告商完成包 括以下內容的涉及既定目標受眾的問卷A.位置(美國、歐洲、我的城市等)；B.人口統(tǒng)計(年齡、性別等)；C.客戶在線歷史(搜索歷史、習慣等)；D.關鍵字標簽(狗、舞蹈、音樂、80年代等)；E.其他因素及其組合。隨后，廣告商創(chuàng)建每個模板至少一個廣告。最終用戶的軟件會自動選擇和提取/ 拉取適當地符合內容創(chuàng)建者和廣告商創(chuàng)建者的標準的廣告。接著上傳包括模板外觀和目標受眾的具有元數據的廣告。然后為廣告商創(chuàng)建價格 包。例如，每1，000次點擊和/或印象定價100美元；每10，000次點擊和/或印象定價900 美元；每100，000次點擊和/或印象定價8，000美元以及每1，000，000次點擊和/或印象 定價70，000美元。于是廣告商能夠跟蹤點擊并且如果希望則僅選擇一個內容創(chuàng)建者。2.為內容創(chuàng)建者(和/或對諸如Youtube、Facebook、MySpace等公司的OEM產 品)創(chuàng)建在線服務器。內容創(chuàng)建者必須注冊并被批準。內容創(chuàng)建者然后接收他們自己的內 容通道和貨幣賬戶，比如Pay Pal賬戶。內容創(chuàng)建者還必須完成問卷。他們表明是否允許 /不允許目標廣告商和慈善團體。其中，廣告商和慈善團體被劃分成多個類別慈善團體A.兒童權利；B.動物權利；C.反毒品和酒精；D.反吸煙；E.保護雨林；F.其他類別。廣告商A.汽車；B. EI 汽車；
C.藥物；D.兒童；E.食品/飲料；6.健康；7.政治；8.其他類別。接著上傳包括具有元數據(目標廣告商、相機/標的數據、模板比例等)的圖像/ 視頻的內容。為內容創(chuàng)建者創(chuàng)建價格包。例如，收入等于每1，000次點擊和印象定價35美 元的50%。該模型基于收入共享。內容創(chuàng)建者能夠跟蹤它們的點擊并僅選擇單個廣告商。如上文說明的那樣，可以用多種不同的方式獲得可以對更逼真的最終結果起作用 的內容創(chuàng)建者元數據24。圖3概括了獲得元數據24的四種最常見方式中的步驟。在圖3A 中使用實時相機跟蹤方法。第一步驟76包括提供相機跟蹤硬件以在拍攝期間從相機產生 相機數據。相機可以裝配有所有移動軸上的機械編碼器或從所有移動軸得到數據的光學編 碼器。所有移動軸包括透鏡的視野/焦距信息、X、Y和Z位置數據以及Χ、Υ和Z旋轉數據。 有可以讀取和記錄來自相機及其有關裝備的相機數據的多種系統(tǒng)可用。在第二步驟78中， 數據由計算機設備轉移，該計算機設備實時識別該數據并創(chuàng)建復制虛擬相機。實時跟蹤技 術使得有可能從現場相機獲得3d信息，以允許將虛擬標的(例如前景圖像)相對于場景中 的拍照標的以正確的位置、比例、方向和運動插入到真實鏡頭中。這些解決方案最常稱為虛 擬設置系統(tǒng)并且常用于廣告產業(yè)中。背景圖像可以被實況流發(fā)送并且包括單獨發(fā)送的相機 數據，以創(chuàng)建實時的背景/前景合成交互廣播。在第三步驟80中，相機元數據與鏡頭一起 保存為元數據24并且使得相機元數據可在拍攝之后的任何時間用于交互過程。相同的思想適用于實時標的跟蹤，其中通過稱為運動捕獲系統(tǒng)的系統(tǒng)得到元數 據，在該運動捕獲系統(tǒng)中，從實時光學和機械系統(tǒng)、以及圖案識別和GPS系統(tǒng)得到包括位置 數據和xyz旋轉標的跟蹤數據的相機和標的跟蹤數據78。存儲標的數據并使之可用80。在圖3B中使用軟件相機跟蹤匹配移動方法。在第一步驟82中創(chuàng)建和存儲背景圖 像。然后在第二步驟84中，使用軟件根據背景圖像中的信息生成相機數據，該軟件能夠識 別和計算視頻圖像中的像素位置并且基于該圖案識別方法創(chuàng)建相機數據。這是如今最常用 的相機跟蹤方法并且為多數走紅電影所用。有提供這一能力(也稱為匹配_移動)的多個 公司和解決方案可用。匹配_移動工具使得有可能根據二維照片推斷3d信息，以允許將虛 擬標的(例如前景圖像)相對于場景中的拍照標的以正確的位置、比例、方向和運動插入到 真實鏡頭中。同樣，最終步驟86存儲創(chuàng)建的相機元數據24。關于標的軟件跟蹤，軟件84通 過識別和計算視頻圖像內的標的像素的位置來根據背景圖像82內的移動標的推斷2d和/ 或3d信息。然后存儲創(chuàng)建的標的數據86。圖3C示出計算機圖形軟件方法。這里，在第一步驟88中，計算機圖形軟件用來創(chuàng) 建內容創(chuàng)建者視頻30。在第二步驟90期間，通過在計算機圖形軟件中激勵標的和/或虛擬 相機生成標的和/或相機數據。將背景圖像表現為在視頻中或者實時表現為例如計算機游 戲。如果表現為視頻，則在第三步驟92中單獨地保存出標的和/或相機數據用于在合成 / 交互過程中使用。如果背景圖像22為計算機游戲，則最終用戶控制相機移動并且軟件可以 將對象/前景圖像插入內容創(chuàng)建者指定的模板之處。例如，模板可以用來用個人本人的照片或者個人本人的化身替換計算機角色的面部或者用于隨機更新的游戲內廣告。圖3D圖示了“目測”方法。如果實時相機跟蹤和軟件相機跟蹤生成的匹配從一開 始就不理想，則常常將目測與這些解決方案組合使用。后生產常常使用目測以用技巧處理 相機數據，并且如果相機在拍攝期間使用變焦攝影則這在軟件跟蹤中尤其屬實。在第一步 驟94中產生背景視頻圖像。然后在第二步驟96中，目測用來創(chuàng)建或者增強元數據。在該 情況下，目測可以由內容創(chuàng)建者用來將模板匹配到其中無標的或相機數據可用的背景鏡頭 中。這可以通過在與內容創(chuàng)建者的創(chuàng)建視覺一致時將模板移動和縮放到背景的最正確的可 能角度中來完成。在第三步驟98中，向/為內容創(chuàng)建者元數據24記錄得到的元數據。如果無法布置相機和對象，則客戶創(chuàng)建者有權選擇替代模板，使得該對象適配到 該模板中。這一情況的例子可以是如果內容創(chuàng)建者指定了代表廣角鏡頭的模板(圖4A)，但 是客戶創(chuàng)建者僅能用可用圖像創(chuàng)建設備獲得中景鏡頭(圖4B)。在該情況下，客戶創(chuàng)建者 可以選擇中景鏡頭模板并將對象適配到該模板中。軟件38然后對視頻圖像進行定位，使得 它在與原模板相同的位置，然而，由于它是更緊湊的鏡頭，所以僅一部分原模板由前景圖像 填充。原模板的其余部分會如圖4C所示那樣為空。由于具有部分對象，所以“漂浮于空間 中”會破壞客戶對象實際上存在于內容創(chuàng)建者視頻30中這一錯覺，可以裁剪整個視頻幀以 去除圖4C中所示的灰色外區(qū)域。參照圖5可以更好地理解對象高度與模板之間的關系。當創(chuàng)建客戶創(chuàng)建者可以與 之一起工作 的文件時，內容創(chuàng)建者選擇模板，客戶創(chuàng)建者會向該模板中適配前景視頻34的 對象。例如，當內容創(chuàng)建者選擇代表人的模板時，他可以指定該模板代表六英尺高的人。如 果內容創(chuàng)建者指定模板代表的高度，則客戶創(chuàng)建者也可以指定他的或者她的對象的高度， 以維持與背景的恰當高度關系。如果對象為五英尺高，則前景模板多邊形會不匹配而需要 減小尺寸。假設內容創(chuàng)建者將模板布置于他的項目內，且在軟件內部模板的實際高度為四 個圖形單位。如果內容創(chuàng)建者指定模板代表六英尺高的人，則每個內部單位等于1. 5英尺。 如果客戶創(chuàng)建者輸入對象為五英尺高，則前景多邊形的高度然后被縮放至3. 333個單位。 因為從地面接觸點或者對象的頂部而不是從前景模板多邊形的中心縮放該前景模板多邊 形，因此正確地維持了高度關系。圖5提供與內容創(chuàng)建者和客戶創(chuàng)建者(最終用戶)如何在他們各自的視頻產生中 使用涉及標的的物理尺寸(高度)的信息有關的細節(jié)。內容創(chuàng)建者使用的過程在左側的 圖5A中示出并且包括第一步驟104 “對模板進行定位和縮放”，其中內容創(chuàng)建者選擇最好 地代表圖像幀內的對象的適當模板，例如全圖、中景、中近景或特寫。然后，內容創(chuàng)建者通過 移動、縮放、同步將模板適配于背景圖像內，并且在多數情況下，由此確定表觀地面接觸點。 在第二步驟106 “表明高度”中，如果地面接觸點可見，則內容創(chuàng)建者應當表明對象的高度。 例如，如果內容創(chuàng)建者在對音樂視頻進行處理且音樂人為六英尺高，則適合選擇模板并且 表明高度為六英尺。這在110處用圖表示。如果地面接觸點在視頻中不可見(例如特寫鏡 頭)，則可以無需輸入高度信息以適配對象，而是讓軟件在最終的合成中在屏幕上進行對象 適配。最終在第三步驟108 “發(fā)布”中，內容創(chuàng)建者向軟件26傳達模板基于六英尺高的對 象這一信息。圖5的右側示出客戶創(chuàng)建者進行的活動。在第一步驟116“將對象適配于模板內” 中，客戶創(chuàng)建者嘗試設置相機以將視頻對象(可能為他本人/她本人)適配到推薦的模板中。如果適配是可能的，則該過程繼續(xù)進行第三步驟120。最終用戶可能由于在家中的空 間有限、相機特性或者其它可能性而不能將對象適配到建議的模板中。如果不可能適配模 板，則在第二步驟118 “選擇另一模板”，客戶創(chuàng)建者檢查一系列模板直至找到能適配的模 板。選擇對本地圖像創(chuàng)建設備32的能力更準確描述的模板一例如中近景相對于全身。當 然，這一步驟118也可以涉及到改變相機位置/角度/透鏡，以容納各種模板直至找到適 配。在第四步驟120，“如果地面接觸點可見”，則向軟件38中輸入對象的高度。 這在112用 圖示出，其中對象為五英尺高。項114示出原六英尺模板與前景圖像34的五英尺對象之間 的相對關系。在不知道對象的高度時，軟件38會把對象縮放至六英尺高并鄰近該六英尺的 音樂人，五英尺對象會看上去比例失調。通過讓客戶創(chuàng)建者輸入高度信息，軟件會自動對模 板進行縮放、定位和適配，以維持高度關系，即對象看起來鄰近該六英尺的音樂人且為五英 尺高。最終在第四步驟122 “發(fā)布”中，最終視頻40基于從內容創(chuàng)建者和客戶創(chuàng)建者輸入 的高度來示出在屏幕上正確取景的對象。軟件38會在數學上調節(jié)前景圖像34的比例和位 置，以維持正確的高度關系。圖8描述在模板的圖像格式和縱橫比為內容創(chuàng)建者和在這一情況下的廣告商創(chuàng) 建者所知時將模板用來維持前景視頻的準確比例。當圖像格式可從內容創(chuàng)建者得到并且為 廣告商創(chuàng)建者所用時，廣告商創(chuàng)建的圖像不變形并與內容創(chuàng)建者視覺和廣告商創(chuàng)建者視覺 相符。例如，如果內容創(chuàng)建者上傳有趣視頻并且認為有可能向廣告商出售該視頻，則軟件允 許選擇描述圖像格式的模板，廣告商內容需要具有該圖像格式，以準確地呈現于內容創(chuàng)建 者背景圖像22內。在圖8A中，內容創(chuàng)建者使用的過程包括第一步驟170“對模板進行選擇、定位和縮 放”，其中內容創(chuàng)建者選擇與他的/她的創(chuàng)建視覺最相符的模板，例如方形、矩形或者圓形。 然后，內容創(chuàng)建者通過移動、縮放、同步將模板適配于背景圖像內并且在多數情況下確定如 何、何時和何處出現和消失于屏幕上。在第二步驟172 “表明縱橫比”中，內容創(chuàng)建者應當 表明所用模板的圖像比例，然而在多數情況下內容創(chuàng)建者數據文件30使得這一信息可用 而無需內容創(chuàng)建者輸入這一信息。這是因為內容創(chuàng)建者軟件26僅使特定數目的模板可用， 其中每個模板的圖像格式為預定的并且因此也已經為廣告商創(chuàng)建者所知。在步驟176中用 圖代表這一點，其中內容創(chuàng)建者選擇縱橫比為8X1的模板。最終在步驟174 “發(fā)布”中，內 容創(chuàng)建者向廣告商傳達模板是基于比率8X1這一信息。右側的圖8B示出廣告商創(chuàng)建者進行的活動。在第一步驟182“創(chuàng)建前景圖像”中， 廣告商創(chuàng)建者為每個模板比例創(chuàng)建和準備圖像，其中，所述模板比例在內容創(chuàng)建者軟件26 中可用并且因此已經為廣告商創(chuàng)建者所知。一旦廣告商創(chuàng)建者找到(使用多個搜索標準， 比如人口統(tǒng)計)與其產品關聯(lián)的可用內容，內容創(chuàng)建者軟件就能夠立即和自動選擇縱橫比 與該內容創(chuàng)建者所用模板相同的前景圖像。在多數情況下，廣告商創(chuàng)建者已基于模板尺寸 準備多個版本并且因此立即可用于正確內容。在第二步驟184 “發(fā)布”中，廣告商創(chuàng)建者發(fā) 布他的/她的廣告，從而使它可用于出現在內容創(chuàng)建者視頻內，以供最終用戶40觀看。第 三步驟186 “變形”強調圖像格式與前景圖像相同的模板參考的重要性。也就是說，當模板 和前景圖像具有相同的縱橫比時，最終用戶(受眾)會體驗未變形且與內容創(chuàng)建者和廣告 商創(chuàng)建者的創(chuàng)建視覺相符的前景圖像。這在178以及180A、180B和180C中用圖表示。在 176中內容創(chuàng)建者選擇了比率為8X1的模板。在178中廣告商創(chuàng)建者創(chuàng)建了兩個前景圖像一個具有比率8X 1而另一個具有比率IX 1。在步驟180A中，可以看到前景圖像理想地 適配于內容創(chuàng)建者所選的模板內，其中二者具有相同的縱橫比8X1。在步驟180B和180C 中，可以看到廣告商創(chuàng)建者選擇了比率為1X1的圖像以與內容創(chuàng)建者所選的比率為8X1 的模板適配。系統(tǒng)可以處理該前景圖像的方式有兩種。在180B中，使圖像伸展和變形以適 配在模板的邊界內，即使這不是廣告商創(chuàng)建者的意圖和創(chuàng)建視覺。在步驟180C中，前景圖 像保持它的比例與廣告商的視覺相符、但是不同于內容創(chuàng)建者的創(chuàng)建視覺。因此，如關于步 驟186說明的那樣，當模板和前景圖像具有相同的縱橫比時，查看者/最終用戶會體驗未變 形且與內容創(chuàng)建者和廣告商的創(chuàng)建視覺都相符的前景圖像。
在圖9中最好地描述了將高度與圖像格式信息一起使用。假設內容創(chuàng)建者創(chuàng)建了 計算機游戲并且鼓勵多個用戶作為他們本人參與。于是內容創(chuàng)建者基于從兒童到成年人、 從亞洲人到白種人的普通人來創(chuàng)建二維或三維計算機角色。然后，客戶創(chuàng)建者可以選擇最 好地描述他本人的角色、輸入他的高度并上傳他自己的圖像。模板角色然后相對于其他玩 家與客戶創(chuàng)建者的高度匹配，并且用客戶創(chuàng)建者的面部替換用于模板角色的面部的默認圖 像。因此，其他玩家能夠確實看見該客戶創(chuàng)建者的有效代表以及在他們在游戲內與該客戶 創(chuàng)建者相遇和看見時能夠確實看見該客戶創(chuàng)建者的真實模樣。圖9A描述內容創(chuàng)建者的動作。在第一步驟190“創(chuàng)建、選擇、定位和縮放”中，再次 假設內容創(chuàng)建者創(chuàng)建計算機角色。在計算機角色的全圖內，內容創(chuàng)建者對用于角色面部的 適配圖像進行選擇、定位和縮放并且使其成為讓他人將他們自己的圖像插入到其中的“占 位符”。在第二步驟192 “表明高度”中，內容創(chuàng)建者表明和限定角色的默認高度，如在步驟 198中用圖表示的那樣。在第三步驟194 “提供縱橫比信息”中，內容創(chuàng)建者提供與用于面 部模板的圖像比率有關的信息以及如何將一個人的面部適配于該模板內，如在202用圖表 示的那樣。在第四步驟196 “發(fā)布”中，內容創(chuàng)建者發(fā)布該信息并使其可用于客戶創(chuàng)建者。圖9B描述客戶創(chuàng)建者的動作。在第一步驟208“輸入對象物體的高度”中，客戶創(chuàng) 建者使用以上示例輸入他或者她自己的高度，如在步驟200中用圖表示的那樣。在第二步 驟210 “創(chuàng)建前景圖像”中，客戶創(chuàng)建者匹配“面部”模板的圖像比率以及匹配他們的面部在 模板內的位置，如在204用圖描述的那樣。在客戶創(chuàng)建者使用他們自己的三維化身(計算 機生成的面部)的情況下，個人可能需要基于現實測量來給出個人頭部的真實尺度，假如 個人的頭部為10”高和7”寬，然后該信息必須由內容創(chuàng)建者指定并由客戶創(chuàng)建者提交以避 免最終結果中的變形。這里，保證從正確的全景點進行標的的縮放也是重要的；例如對于模 板代表放在桌上的標的的產品布局，個人想要該標的(如可樂瓶)也被置于桌上。在該情 況下，如上所述從地面接觸點進行縮放。在第三步驟212 “發(fā)布”中，客戶創(chuàng)建者發(fā)布信息， 并且如在步驟206中用圖表示的那樣，該用戶的計算機角色的關系相對于游戲的其他玩家 對該客戶創(chuàng)建者的“現實”角色是真實的。“發(fā)布”信息的方式有多種。首先，內容創(chuàng)建者軟件26和客戶/最終用戶軟件38 應當使用相同的編程語言(或者兼容語言)來編寫并且可供所有人使用。然而，編程語言 可以根據希望的結果而不同。例如，在一種情況下，其中客戶/最終用戶能夠看見和聽見他 們本人與別人的視頻內容內的他人交互，那么為求最好的結果，對于三維能力，可以使用但 不限于使用C++、圖形(OpenGL或者Direct3D)和媒體回放編程語言的組合。對于包含兩層 或者更多層視頻信息的簡單2d版本，可以僅使用但不限于Adobe Flash。這在上文涉及視頻中的廣告中進行了最好地描述，因為如今多數在線視頻使用Adobe Flash用于在線視頻 回放。在涉及游戲和計算機生成的角色的例子中，可以但不限于使用已可用的游戲引擎軟 件如Quest3D或者使用C++和圖形(OpenGL或者Direct3D)或openFrameworks的組合從 頭開始構建應用。在最終內容創(chuàng)建者數據文件30中，如上文提到的那樣，這一個/多個文 件可以包括但不限于視頻和音頻、模板信息、位置數據、高度和圖像格式信息。有多種視頻 格式，如Adobe Flash、AVI、H. 264和Mpeg4以及多種音頻格式，如Mp3和Aiff。類似地，到 處推送的其它數據如相機數據和模板數據可以具有不同的文本格式并且以包括html、xml、 flash、ASCII、二進制等的不同編碼格式來編寫。然而，當然重要的是所有不同的格式都協(xié) 調地工作并且相互理解，以產生希望的結果。
仍采用上文的三個例子并將它們分解成如何協(xié)調地發(fā)布它們，對于每種情況，假 設散播它們以讓最終用戶在線訪問文件。在第一情況下，談到最終用戶/客戶創(chuàng)建者能 夠借助于少數簡單步驟來在內容創(chuàng)建者的視頻內容內交互。假設內容創(chuàng)建者發(fā)布還具有 相機移動的帶音頻的視頻。內容創(chuàng)建者對于將模板/他們本人布置到全景中、將相機數 據與視頻同步的測試滿意并且準備好發(fā)布。發(fā)布的文件引用相機數據以及具有視頻和音 頻文件的推薦模板。然后假設文件被上傳到因特網服務器?？蛻魟?chuàng)建者能夠通過查看視 頻的縮略圖表示來瀏覽多個視頻文件，搜索功能如標簽和關鍵詞、查看最多、最新和速度 最好可用。然而，在本情況下，下載的文件不僅為具有音頻的視頻，而且它還引用與視頻 交互所需的信息。客戶創(chuàng)建者軟件下載視頻和音頻以及引用的相機數據文件和模板信息 或者使其形成流。用于完成這一點的最可能方式為當客戶創(chuàng)建者點擊視頻的縮略像 時，該縮略像實際上引用并開始下載文本文件，該文本文件包括或引用模板信息、相 機數據、對視頻和圖像文件位置的引用以及內容創(chuàng)建者為了體驗根據他的/她的創(chuàng)建視 覺工作而給出的所有信息。該文本文件將相應文件散播到終端用戶軟件內有代表性的位 置。例如，可以在 www, this interact ivecompany server, com/videos/thisvideo. video 找 到具有音頻文件的視頻。這些URL為用于示出可以如何布置信息以供因特網訪問的假想 例子。另外，文件可以包括或者引用相機數據。如果在文件中引用，則可以例如在Ml^ this interact ivecompany server, com/cameradata/thiscameradata. text 找到實際數據。 如果包括或者引用相機數據，則相機數據可以但不限于應用于客戶創(chuàng)建者軟件如下一個 行項等于視頻的一幀。每個行項具有相機在每個幀上的移動的信息并且可以由逗號或者分 號分隔，例如“幀編號，位置X，位置Y，位置Z，旋轉X，旋轉Y，旋轉Z，視野(焦距)”。內容 創(chuàng)建者已經同步和發(fā)布了相機數據與視頻，客戶創(chuàng)建者軟件因此知道相機數據的什么行項 與視頻中的什么幀相配并且應用于客戶創(chuàng)建者軟件的虛擬相機。另外，由于內容創(chuàng)建者軟 件和客戶創(chuàng)建者軟件已經包括對于二者而言相同的一套模板，所以文本文件僅需包括對內 容創(chuàng)建者推薦什么模板的引用。這可以通過讓每個模板具有唯一編號來表達，例如，編號一 (1)等于大特寫而編號七(7)等于全寬。此外，文本文件包括與模板如何、何時和何處出現 在模板內有關的信息。例如，如果相機在移動，則每次拍攝僅提供一次關于模板比例和位置 的信息可能就足夠了。這可以在文本文件中加以描述，其中每個行項等于每一新鏡頭，并且 每個行項包括但不限于模板的“幀編號，在這一鏡頭的持續(xù)時間內的幀數目，比例Χ、γ、ζ，位 置X，Y，Ζ，旋轉X，Y，Ζ”。此外，軟件能夠基于可以在文本文件中引用為高度以英尺為單位 等于6’ 3”或者以厘米為單位等于185的由內容創(chuàng)建者和客戶創(chuàng)建者給出的高度信息來應用它自己的比例和位置。內容創(chuàng)建者軟件和客戶創(chuàng)建者軟件均可以包括用于將顏色和鍵控 應用于圖像的相同能力并且能夠被分別執(zhí)行。如果必要則這同樣適用于例如視頻和音頻延遲。在涉及廣告商的例子中，可以與第一種情況類似地訪問視頻文件和相機數據文 件。這里，模板還可以在另外有或者無相機移動的情況下跟隨標的的位置，例如在運動中 的出租汽車上的海報。類似地，可以例如在www, thisinteractivecompanyserver. com/ obiectdata/thisobiectdata. text找到標的數據文件。如果內容創(chuàng)建者的上傳文件中 包括或者引用標的數據，則該標的數據可以但不限于應用于客戶創(chuàng)建者軟件如下一個行 項等于視頻的一幀。每個行項具有標的在每個幀上的移動的信息并且可以由逗號或者分 號分隔，例如“幀編號，位置X，位置Y，位置Z，旋轉X，旋轉Y，旋轉Z”。內容創(chuàng)建者已經同 步和發(fā)布了標的數據與視頻，客戶創(chuàng)建者軟件因此知道標的數據的什么行項與視頻中的 什么幀相配并且應用于客戶創(chuàng)建者模板標的。另外，由于內容創(chuàng)建者軟件和最終用戶軟 件已經包括對于二者而言相同的一套模板，所以文本文件僅需包括簡單地通過例如稱之 為1X1、8X1、4X3或者16X9來實現的對內容創(chuàng)建者使用什么模板的引用。在這一情 況下，除了可能僅出于測試目的之外可以不必讓廣告商創(chuàng)建者訪問廣告商創(chuàng)建者軟件38。 其原因僅為一旦內容創(chuàng)建者上傳內容創(chuàng)建者數據文件30就可以自動運行每項操作。這 通過內容創(chuàng)建者上傳具有對服務器上的特定文件夾中的特定文件的引用的文件來實現。 該“占位符”從特定服務器上的引用文件夾持續(xù)地拉取/提取下一可用內容。例如， thisadvertisinRcompanyserver . com/advertisinR/mypreferredadvertisers/imaRefo rmat8X 1/available/nextfile. Ipr0該可以位于廣告公司服務器上的文件夾用新的可用 內容持續(xù)更新。這可以是來自可口可樂公司的內容，或者它可以是來自慈善團體的內容。如果模板能夠但不限于接受JPEG、PNG和Adobe Flash (. flv)格式，則指令為用文 件夾中的第一個、隨機的或者結構化的、可用內容替換模板中的“占位符”圖像。例如但不 限于如果下一可用文件為.jpg文件，則軟件會評出.png和.flv文件并且用該nextfile. jpg文件替換/提取默認模板.jpg文件。當然，廣告商可以針對特定廣告活動僅購買一定 數目的點擊和查看，并且廣告服務器公司然后會嘗試針對另一廣告活動協(xié)商交易或者一旦 廣告達到所需數目的點擊就從該文件夾中去除文件。產品公司或者慈善組織可以決定基于 諸如人口統(tǒng)計、年齡和性別、關鍵字、查看最多、速度最好等多個不同的類別來關聯(lián)它們的 產品或者慈善事業(yè)。類似地，內容創(chuàng)建者可以通過例如提供的問卷中選擇或者不選擇選項 來決定不與特定產品和組織關聯(lián)。這然后會變成將在有代表性的元數據中包括的元數據信 息。本發(fā)明為慈善團體和福利事業(yè)創(chuàng)造巨大機會，因為如果沒有其他人決定購進內容，則內 容創(chuàng)建者可以選擇讓慈善團體做廣告。此外，內容創(chuàng)建者可以決定例如對于在他們的內容 內示出的每五十個廣告中必須有一個由內容創(chuàng)建者選擇用于慈善團體。另外一個例子涉及客戶創(chuàng)建者/最終用戶通過選擇游戲角色(模板)、輸入高度 信息以及基于由內容創(chuàng)建者推薦的模板的圖像格式和在該模板內的位置上傳他/她本人 的圖像來作為他/她本人(或者他/她可以選擇的任何人)參與。由于一些計算機游戲的 性質，所以簡單地輸入個人無法看見的內容，軟件并不讀取。這意味著如果游戲者位于游戲 內的特定位置，則在游戲者玩游戲時很遠的和超出視線的事物可以不用說明且可以不占用 太多或任何處理能力或者繁重計算。這最常稱為細節(jié)層次L0D、離散細節(jié)層次DLOD和分層細節(jié)層次HL0D。軟件知道何時下載所需圖形要素，并且這最常基于這些項進入視線的可能 性。由于游戲僅有反復使用的多個計算機角色(模板)，所以重要的是無論特定玩家的角 色在游戲內何處都唯一地標識該角色。類似于用于下載可以進入視線的圖形的方法，軟件 可以在游戲者靠近以進入視線時將該游戲者的圖像下載到他的/她的伙伴游戲對手的計 算設備上。玩家的模板圖像可以用玩家的登錄角色來唯一地標識并且可以例如位于www. thisgamecompany. com/thisgame/thischaracter/thisface/myimage. jpg。以;tik，可以ffl 過VoIP(網絡電話)或者因特網聊天來自動連接玩家和他/她所選的對手。這可以通過角 色在距離上相互接近(例如六英尺/兩米)并且同意接受與他人的通信來實現。例如，內 容創(chuàng)建者/游戲公司可以基于實際的游戲中的測量來創(chuàng)建VoIP分區(qū)。
所附權利要求因此應理解為包括上文具體圖示和描述的內容、在概念上等同的內 容、可以明顯替換的內容以及實質上并入本發(fā)明基本思想的內容。本領域技術人員能夠理 解可以配置上述優(yōu)選實施例的各種改變和修改而不脫離本發(fā)明的范圍。記載的所示實施例 僅出于舉例的目的而不應當理解為限制本發(fā)明。因此，應理解在所附權利要求的范圍內可 以與本文的具體描述不同的方式實現本發(fā)明。
權利要求
一種用于通過將對象圖像自動組合到第一視頻內容中從而創(chuàng)建第二視頻內容的方法，包括以下步驟產生視頻內容；操作第一軟件程序以將至少一個模板插入到所述視頻內容中，由此創(chuàng)建第一視頻內容，其中所述至少一個模板是用于插入其他視頻內容的占位符；運用圖像創(chuàng)建設備以捕獲對象的圖像作為第二視頻內容，其中所述圖像的尺寸對應于所述第一視頻內容中的所述至少一個模板；以及使用第二軟件程序以通過替換所述至少一個模板將所述圖像插入到所述第一視頻中，由此產生最終視頻內容，其中所述對象表現為所述第一視頻內容的一部分。
2.根據權利要求1所述的方法，還包括散播所述第一視頻內容的步驟。
3.根據權利要求1所述的方法，還包括散播所述第二視頻內容的步驟。
4.根據權利要求1所述的方法，其中所述對象在所述第二視頻內容的前景中，并且所 述第一視頻內容提供所述第二視頻內容的背景。
5.根據權利要求1所述的方法，其中所述對象在所述第二視頻內容的背景中，并且所 述第一視頻內容提供所述第二視頻內容的前景。
6.根據權利要求1所述的方法，其中所述產生步驟使用物理圖像捕獲設備以對物理標 的進行成像。
7.根據權利要求1所述的方法，其中所述產生步驟使用虛擬圖像捕獲設備以對軟件創(chuàng) 建的標的進行成像。
8.根據權利要求1所述的方法，其中所述操作步驟包括插入多個模板。
9.根據權利要求1所述的方法，還包括向所述第一視頻內容添加元數據的步驟，其中 所述元數據描述在產生所述視頻內容時所使用的圖像捕獲設備的位置信息。
10.根據權利要求1所述的方法，還包括向所述第一視頻內容添加元數據的步驟，其中 所述元數據描述所述一個或者多個模板的位置信息、定時或者尺寸信息。
11.根據權利要求1所述的方法，其中所述使用步驟包括提供描述所述運用步驟中的 所述圖像捕獲設備的位置信息的元數據。
12.根據權利要求1所述的方法，其中所述使用步驟包括提供描述所述對象的高度或 者尺寸的元數據。
13.根據權利要求1所述的方法，其中所述使用步驟還包括在所述第一視頻內容包含 多個模板時選擇一個模板。
14.根據權利要求1所述的方法，其中所述對象的圖像為視頻圖像。
15.根據權利要求1所述的方法，還包括散播所述最終視頻內容的步驟。
全文摘要
一種允許最終用戶將圖像插入到視頻內容中使得該圖像看來為該視頻內容的一部分的方法和系統(tǒng)。這允許客戶看起來為視頻的一部分并且與該視頻中的名人交互。產生視頻內容，并且使用第一軟件程序來將占位模板插入到該視頻內容中。最終用戶產生滿足所插入的模板的要求的視頻圖像，并且第二軟件程序合成這兩個視頻流，使得最終用戶的視頻圖像被插入到該第一視頻內容中，從而替換模板。該系統(tǒng)還可以用于將廣告信息插入到背景中，以創(chuàng)建定制的、個性化的、‘在飛行中’的廣告和產品布局。
文檔編號G06T1/00GK101946500SQ200880126860
公開日2011年1月12日 申請日期2008年12月17日 優(yōu)先權日2007年12月17日
發(fā)明者斯坦·考塞瑞德 申請人:斯坦·考塞瑞德