專利名稱：捕獲、處理、以及繪制圖像的方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及計算機輔助圖像處理，更特別地，涉及捕獲、 編輯和處理、以及繪制圖像的系統(tǒng)和方法。
背景技術(shù)：
在當今的數(shù)字世界中，執(zhí)行圖像獲取、圖像處理、以及圖像繪制
(render)技術(shù)的計算機和計算機軟件已變得越來越普及。例如，越 來越多的運動圖像、視頻、以及游戲利用圖像處理技術(shù)來人為地繪制 圖像。計算機生成的圖像逐漸代替以傳統(tǒng)方式獲得的圖像，在保證特 技效果的情況下尤其如此。
所謂的"動作跟蹤"或"動作捕獲"開始于生物機械學研究中的 分析工具，并隨著技術(shù)的成熟而擴展至教育、培訓、體育運動和最近 的用于電影以及視頻游戲的計算機動畫制作。
在當前的技術(shù)中，執(zhí)行者在每個關(guān)節(jié)附近佩戴標記以通過標記之 間的位置或角度來識別動作。聲學標記、慣性標記、LED標記、磁性 標記或反射標記、或這些標記的任何組合以最佳為期望動作的速率的 至少兩倍的速率被跟蹤至亞毫米位置。動作捕獲計算機軟件記錄位 置、角度、速度、加速度、以及沖量，提供動作的精確數(shù)字表示。
在娛樂應(yīng)用中，動作跟蹤的應(yīng)用可以降低動畫制作的成本，否則 需要動畫制作者畫出每一幀，或者用更尖端的軟件鍵入由該軟件插值 的幀。動作捕獲節(jié)省時間并創(chuàng)作出比手工動畫制作更自然的運動。在 生物機械學、體育運動和培訓中，實時數(shù)據(jù)可以提供診斷問題或提出 提高性能的方式所必需的信息，例如，對于高爾夫揮桿，需要動作捕 獲技術(shù)捕獲高達140英里/小時的動作。
一些缺點仍繼續(xù)給動作跟蹤技術(shù)造成問題。例如，當前算法和技術(shù)在應(yīng)用于在計算機生成的角色中重現(xiàn)人類特性時常常故障，導致 "卡通風格"的再現(xiàn)。此外，當前的方法和技術(shù)常常導致比所期望的 差的分辨率和清晰度，在應(yīng)用于諸如面部表情等人性化特征時尤其如 此。
因此，需要一種提供增加的分辨率和清晰度的捕獲、處理、以及 繪制圖像的方法。另外，需要一種實現(xiàn)各種修正"定位，，以有助于在 再現(xiàn)中具有更高的分辨率、清晰度、以及整體質(zhì)量的方法。

發(fā)明內(nèi)容
在一個實施例中，本發(fā)明涉及一種用于結(jié)合多個數(shù)字化標記來捕 獲和處理一 系列圖像的計算機實現(xiàn)方法，該方法包括根據(jù)所述多個數(shù) 字化標記來識別多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個 對準跟蹤點來確定第一標記在后續(xù)的第二圖像幀中的位置，其中，如 果識別到第一標記，則在第二圖像幀中再使用第一標記，而如果未識 別到第 一標記，則在第 一標記的位置周圍的限定區(qū)域內(nèi)搜索匹配的第 二標記，如果在該限定區(qū)域內(nèi)識別到匹配的第二標記，則在后續(xù)的第 二圖像幀中使用該匹配的第二標記，而如果在限定區(qū)域內(nèi)未識別到該 匹配的標記，則通過處理幾何互連到第一標記的第二標記的轉(zhuǎn)換信息 來插值第一標記的最佳猜測位置。
在另 一實施例中，本發(fā)明涉及一種用于捕獲和處理一系列圖像的 計算機實現(xiàn)方法，該方法包括結(jié)合具有在紋理或顏色方面不同的多個 標記的表面來捕獲第 一 圖像以獲得圖像表示，指定從所述多個標記獲 得的多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個對準跟蹤點 來確定第 一標記在后續(xù)的第二圖像幀中的位置，如果找到第 一標記， 則在后續(xù)的第二圖像幀中再使用第一標記，如果未找到第一標記，則 在第一標記的位置周圍的限定區(qū)域內(nèi)搜索在紋理或顏色上與第一標 記匹配的第二標記，如果該第二標記位于該限定區(qū)域內(nèi)，則在后續(xù)的 第二圖像幀中使用第二標記，并且，如果第二標記不位于限定區(qū)域內(nèi)， 則通過處理幾何互連到第一標記的第三標記的轉(zhuǎn)換信息來插值笫一標記的最佳猜測位置。
在又一 實施例中，本發(fā)明涉及一種包括計算機可用介質(zhì)的計算機 程序產(chǎn)品，所述計算機可用介質(zhì)包括用于捕獲和處理一 系列圖像的計 算機可用程序代碼，所述計算機程序產(chǎn)品包括用于結(jié)合具有在紋理或 顏色方面不同的多個標記的表面來捕獲第一圖像以獲得圖像表示的 計算機可用程序代碼，用于指定從所述多個標記獲得的多個對準跟蹤 點的計算機可用程序代碼，以及用于利用第 一 圖像幀中的所述多個對 準跟蹤點來確定第 一標記在后續(xù)的第二圖像幀中的位置的計算機可
用程序代碼，如果找到該第一標記，則在后續(xù)的第二圖像幀中再使用 第一標記，如果未找到該第一標記，則計算機可用程序代碼用于在第 一標記的位置周圍的限定區(qū)域內(nèi)搜索在紋理或顏色上與第一標記匹 配的第二標記，如果該第二標記位于該限定區(qū)域內(nèi)，則在后續(xù)的第二 圖像幀中使用第二標記，并且，如果該第二標記不位于該限定區(qū)域內(nèi)， 則計算機可用程序代碼用于通過處理幾何互連到第 一標記的第三標 記的轉(zhuǎn)換信息來插值第一標記的最佳猜測位置。


圖1示出附著于表面的多個標記； 圖2A示出由計算機軟件解釋的多種標記顏色方案； 圖2B示出用于捕獲結(jié)合所述多個標記的表面的多個示例性計算 機系統(tǒng)；
圖3A和3B分別示出原始視頻捕獲圖像和分割后的捕獲圖像； 圖4示出在圖形用戶界面(GUI)中對用于照相機對的多個標記 的識別；
圖5示出在GUI環(huán)境中分成三角形的光流跟蹤網(wǎng)格(mesh); 圖6示出在GUI環(huán)境中的多個相關(guān)聯(lián)標記； 圖7示出為圖6的多個相關(guān)聯(lián)標記生成連接性數(shù)據(jù)； 圖8再次示出在GUI環(huán)境中從第一圖像幀到后續(xù)的第二圖像幀 的光流的計算；
10圖9示出在GUI環(huán)境中在根據(jù)本發(fā)明的跟蹤和編輯之后繪制的
圖像對；
圖io示出伴隨有重新映射到不同人臉部上的最終頂點的原始未
處理動作捕獲數(shù)據(jù)；
圖11示出伴隨有重定目標和最終蒙皮的網(wǎng)格的原始未處理動作 捕獲數(shù)據(jù)；
圖12是根據(jù)本發(fā)明的捕獲和識別跟蹤點的示例性方法的流程圖； 圖13是根據(jù)本發(fā)明的從第一圖像幀經(jīng)各后續(xù)圖像幀利用跟蹤點 的示例性方法的流程圖14是根據(jù)本發(fā)明的從第一圖像幀經(jīng)各后續(xù)圖像幀識別跟蹤點
的修正技術(shù)的流程圖；以及
圖15是可AJt 1"拙.軒斗以直A古《.戀頓.太勞印
性計算機系統(tǒng)，
具體實施例方式
在參照附圖的以下描述中，在一個或多個實施例中描述了本發(fā) 明，在附圖中，同樣的附圖標記表示相同或類似的元件。雖然根據(jù)用 于實現(xiàn)本發(fā)明的目標的最佳方式描述了本發(fā)明，但本領(lǐng)域技術(shù)人員應(yīng) 認識到，本發(fā)明意圖涵蓋可包括在本發(fā)明的精神和范圍內(nèi)的替代方 案、變型、以及等同方案，本發(fā)明的精神和范圍由以下公開和附圖支 持的隨附權(quán)利要求及其等同物來限定。
所包括的示意性流程圖總體上被作為邏輯流程圖來闡述。因而， 所示的順序和被標記的步驟可表示提出的方法的一個實施例。可構(gòu)想 在功能、邏輯、或效果方面與所闡述方法的一個或多個步驟或其部分 等同的其它步驟和方法。另外，所采用的格式和符號用于說明方法的 邏輯步驟，并且應(yīng)被理解為不限制該方法的范圍。雖然在流程圖中可 采用各種箭頭類型和線型，但它們應(yīng)被理解為不限制相應(yīng)方法的范 圍。實際上，可以使用某些箭頭或其它連接符來僅指示方法的邏輯流 程。例如，箭頭可以指示所示方法的列舉步驟之間的具有未指定的持續(xù)時間的等待或監(jiān)測時間段。另外，特定方法發(fā)生的順序可嚴格地或 可不嚴格地遵從所示的相應(yīng)步驟的順序。
此外，可以在一個或多個實施例中以任何適合的方式來組合本發(fā) 明的所述特征、結(jié)構(gòu)、或特性。在以下描述中，提供了許多具體細節(jié)， 諸如編程、軟件模塊、用戶選擇、網(wǎng)絡(luò)事務(wù)、數(shù)據(jù)庫查詢、數(shù)據(jù)庫結(jié) 構(gòu)、硬件模塊、硬件電路、硬件芯片等的示例，以便提供對本發(fā)明的 實施例的透徹理解。然而，本領(lǐng)域技術(shù)人員應(yīng)認識到，可以在沒有所 述具體細節(jié)中的一個或多個的情況下、或者在有其它方法、部件、材 料等的情況下實施本發(fā)明。在其它實例中，未示出或詳細描述公知的 結(jié)構(gòu)、材料、或操作以免使本發(fā)明的各個方面不明顯。
可以實現(xiàn)一種捕獲、處理、以及繪制一系列圖像的方法，該方法 用于減少與目前的捕獲技術(shù)相關(guān)的上述問題。另外，該方法可產(chǎn)生具 有增加的對比度、清晰度、以及細節(jié)的圖像。當具體應(yīng)用于人性化特 征時，可以實現(xiàn)引人注目的效果。
圖1示出附著于人臉部10的表面的多個標記12、 14、和16。可 以將標記12、 14、和16附著、涂敷、連接、或以其它方式關(guān)聯(lián)到期 望捕獲的表面10。例如，可以用涂料或粘著劑來涂敷標記12、 14、 和16。標記12、 14、和16可以由多種材料組成。例如，在涉及皮膚 的應(yīng)用中，可以將標記12涂敷于水貼紙。然后，使用薄層粘結(jié)材料 將標記12涂敷于皮膚。
在一個實施例中，可以用染料、熱轉(zhuǎn)印貼花(iron-on transfer)、 涂料、或粘著劑來將標記12涂敷到布料表面10上。另外，可以將標 記結(jié)合到布料本身的表面圖案中。
在視覺上，可以以各種紋理和/或顏色來提供標記12。在一個實 施例中，標記12可以包括具有各種純色的填充圓形標記12。在另一 實施例中，標記12可以包括諸如具有各種顏色的棋盤形圖案的圖案。
轉(zhuǎn)到圖2A，示出了被捕獲并隨后由計算機軟件解釋的各種標記 顏色和圖案方案18。這里以變化的灰度梯度表示的彩色標記20、 22、 24、和26可以是諸如藍色、橙色、黃色、以及綠色的顏色。彩色圖案標記28、 30、 32、 34、 36、和38可具有與所示的棋盤形圖案相結(jié) 合的類似的顏色變化。例如，標記28可包括具有綠色和藍色交替顏 色的棋盤形圖案。
除充當標記12的示例性實施例的彩色標記12之外，可以將任何 表面細節(jié)識別為標記12。多個標記12可以屬于具有對比度足夠高的 細節(jié)的表面的任何區(qū)域。例如，在皮膚上，標記12可以是疤痕、痣、 或表面變色。在皮夾克中，標記12可以是皮革表面中的劃痕或折痕。 在具有印刷物(圖像或文本)的任何表面上，標記12可以是在某方 面獨特的圖像或文本的任何部分。
本質(zhì)上，任何可見的識別標記可被選為"標記"12，并如同該識 別標記是彩色標記實施例12 —樣在三維空間中被跟蹤。因而，本發(fā) 明不僅可以通過三維空間來識別和跟蹤彩色標記12,而且可以通過三 維空間來跟蹤任何表面(特別是表面上的選定細節(jié))的移動和拓樸結(jié) 構(gòu)。
圖2B示出被聯(lián)網(wǎng)以執(zhí)行對象/表面10的圖像獲取功能的多個示 例性計算機系統(tǒng)19。在一個實施例中，配置了一系列的照相機"對" 以實現(xiàn)圖像獲取。具有光學位置23的照相機21和具有光學位置27 的照相機25被配置為第一對。同樣地，可將具有光學位置31的照相 機29配置為第二照相機對中的第一照相機，等等。如圖所示，照相 機21、 25、以及29經(jīng)由信號承載介質(zhì)33連接到一系列計算機系統(tǒng) 35、 37、和39。
還示出了示例性計算機系統(tǒng)35以供參考。計算機系統(tǒng)35包括連 接到諸如硬盤驅(qū)動器(HDD)或類似存儲部件的大容量存儲設(shè)備13 的中央處理單元(CPU) 11。另外，示出了連接到CPU 11的諸如電 可擦除可編程只讀存儲器(EEPROM)或類似存儲部件的存儲器15。 CPU11連接到通信端口 17，通信端口 17繼而連接到耦合計算機系統(tǒng) 37和39的通信網(wǎng)絡(luò)19。通信網(wǎng)絡(luò)19包括局域網(wǎng)或廣域網(wǎng)及相關(guān)部 件(LAN、 WAN)，或者可結(jié)合諸如通用串行總線接口 (USB)、 IEEE 802.11無線連接等協(xié)議。
13在一個實施例中，每個計算才幾系統(tǒng)35、 37、和39可以最少具有 一個照相機對。附屬照相機對的最大數(shù)目可最終取決于各個計算機系 統(tǒng)35、 37和39及其子部件的速度。
每個計算機系統(tǒng)35、 37、和39可在其上安裝軟件，該軟件允許 每個CPU11使任何附屬照相機21、 25、或29與整個系統(tǒng)19中的所 有其它CPU11同步。另外，計算機系統(tǒng)35、 37、和39中的一個或 多個可包括為了在捕獲會話期間捕獲音頻而附加的麥克風(未示出)。
在一個實施例中，附加計算機(未示出)耦合到通信網(wǎng)絡(luò)19。 該附加計算機可包括使所有捕獲計算機35、 37、和39同步并驅(qū)動捕 獲計算機35、 37、和39進行捕獲的軟件。
當由照相機21 、 25、和29捕獲到圖像數(shù)據(jù)時，可以以未處理(raw ) 格式將該圖像數(shù)據(jù)存儲在計算機系統(tǒng)大容量存儲設(shè)備13上。在捕獲 之后，可隨后在也可與通過麥克風記錄的任何音頻同步的一系列視頻 "證據(jù)，，中處理該未處理數(shù)據(jù)。
一旦捕獲到數(shù)據(jù)，并且計算機系統(tǒng)將具有結(jié)合的標記信息的圖像 以數(shù)字格式存儲在大容量存儲設(shè)備13上，則可通過在前述計算機系 統(tǒng)中的一個或多個上執(zhí)行的軟件來處理該數(shù)字信息。作為第一步驟， 可以通過標記分割算法來處理捕獲的視頻的每個存儲"幀"。標記分 割算法用于更好地區(qū)分標記12和與標記12相關(guān)聯(lián)的表面10。轉(zhuǎn)到圖 3A和3B，分別示出了原始視頻捕獲圖像和分割后的捕獲圖像。圖3A 示出了未處理格式的標記12和表面10的圖像捕獲。在圖3B中示出 了分割后的捕獲圖像。如所示，各個標記12可更容易地與下層表面 10區(qū)分開。
在一個實施例中，對于各顏色的標記，每個圖像幀中的像素被根 據(jù)該相應(yīng)像素與相應(yīng)顏色接近的程度來定級。因此，生成這樣的灰度 級圖像，即該圖像具有所選顏色突出的亮區(qū)和所選顏色不突出的暗 區(qū)。然后，可以在灰度級圖像中搜索較高密度棋盤形圖案拐角的區(qū)域 或亮區(qū)的"島，，。然后，可以將該島標記為所選顏色的標記12。
在使用如前文所述的表面細節(jié)作為標記12的本發(fā)明實施例中，
14可繞過使標記12經(jīng)過分割算法的處理步驟。作為替代，如將進一步 描述的光流跟蹤信息可形成關(guān)于三維空間中的單個標記12的位置的 初始猜測。
轉(zhuǎn)到圖4，示出了在圖形用戶界面(GUI) 40中對用于照相機對 的多個標記的識別。窗口 42示出了來自雙照相機對中的第一照相機 的第一表示。多個方塊44中的每一個指示特定顏色的被選擇和識別 的標記12。同樣地，窗口 46示出了來自該雙照相機對中的第二照相 機的第二表示，方塊48指示各種顏色的^C識別的標記12。在窗口42 和46下面示出正在所述實施例中使用的各種顏色綠色50、橄欖色 52、藍色54和橙色56。還示出工具菜單對話框58，其允許用戶選擇 多種菜單選項之一以執(zhí)行將要描述的圖像處理功能。
在每個圖像幀中可識別每個圖像12中的某些標記12或點，該標 記12或點可被使用光流技術(shù)更容易地跟蹤到后續(xù)圖像幀。在后續(xù)圖 像幀中跟蹤所識別的標記12中的每一個。可舍棄不能定位的任何標 記12。然后可使最后確定的標記12的集合在幾何學上分成三角形 (triangulate)而形成二維網(wǎng)格表示。然后可以將所識別的標記12中 的每一個存儲在存儲器中。
圖5再次示出在表面IO的各個圖像幀的GUI環(huán)境中分成三角形 的光流跟蹤網(wǎng)格60。作為示例，利用線62和64 4吏多個所選標記12 在幾何學上分成三角形。
在跟蹤動作之前，可以生成表面IO的三維表示?？梢栽谝粋€步 驟中使在照相機對的每個圖像表示中識別的所識別標記12與該三維 表示的最后生成相關(guān)聯(lián)。轉(zhuǎn)到圖6，示出了在GUI環(huán)境中的多個相關(guān) 聯(lián)標記66。再一次地，窗口 68表示雙照相機對的第一圖^f象表示。用 附圖標記O、 1、和2來指示所選的相關(guān)聯(lián)標記70、 72、和74以供用 戶參考。標記70、 72、和74與窗口 76中所示的雙照相機對的第二圖 像表示中的標記78、 80、和82相關(guān)聯(lián)。然后可4吏用該相關(guān)性來創(chuàng)建 從該雙照相機對的每個照相機投射的各標記的三維標記點。此三維標 記點可被稱為將進一步描述的"跟蹤點"。在下一步驟中，可以識別與每個跟蹤點相關(guān)聯(lián)的連接性數(shù)據(jù)，這
樣創(chuàng)建要捕獲的被標記表面10的三維網(wǎng)格表示。圖7示出了生成用 于圖6的多個相關(guān)聯(lián)標記的連接性數(shù)據(jù)的過程，結(jié)果得到雙照相機對 的每個圖像表示中的三維網(wǎng)格表示84。窗口 86再次表示第一圖像表 示，該第一圖像表示具有如圖所示在幾何上通過連接線96相連的跟 蹤點88、 90、 92、和94。
在涉及臉部表面IO的一個實施例中，用戶可以指定將使用哪些 跟蹤點來跟蹤眼睛周圍的區(qū)域。另外，用戶可以指定所謂的"對準 (alignment)跟蹤點"，其可以用來估計對象10或?qū)ο?0的元件的 總體取向。除用戶已經(jīng)選擇的對準跟蹤點之外，并不打算使被對準跟 蹤點利用的各個標記12可與其它標記12區(qū)分開。
在單獨的實施例中，在捕獲的第一圖像幀上，用戶可以識別先前 已將哪些標記12識別為對準跟蹤點。整個系統(tǒng)19可以使用標記12 來進行標記12/跟蹤點與正被捕獲的表面10的第一 "最佳猜測"對準。
在動作if艮蹤序列期間，可以逐一處理雙照相才幾對中的每一照相 機。用戶可以逐個幀地步進通過一系列動畫圖^f象幀中的每一個，識別 每個動畫圖像幀中的相應(yīng)的跟蹤解決方案中的誤差。
作為下一步驟，可將來自先前幀的每個所選跟蹤點從自然空間變 換到表面10的局部空間，該局部空間由對準點限定。然后，在當前 圖像幀中，可使用對準跟蹤點的先前位置作為搜索合適的相關(guān)聯(lián)標記 12的起始點?？梢允褂孟惹坝嬎愕墓饬餍畔泶_定相應(yīng)的標記12從 圖像幀移動到后續(xù)圖像幀中的何處。如果在新圖像幀中在相應(yīng)的位置 處(標記12預期所處的位置)未識別到標記12，則可以使用來自先 前圖像幀的標記12位置來確定表面10的對準并促進從圖像到圖像的 適當流動。
一旦生成了光流信息，則可以將各個相應(yīng)的對準跟蹤點從表面 10的局部空間變換回到自然空間。然后，隨著每個跟蹤點在幀之間移 動，可再次使用光流信息來跟蹤該跟蹤點的移動。
轉(zhuǎn)到圖8，再次示出在GUI環(huán)境中從第一圖像幀到后續(xù)的笫二圖像幀的光流信息110的計算。窗口 112表示雙照相機對中的第一個 照相機的第一圖像表示。標記114和116表示使用線118在三維網(wǎng)格 表示中幾何連接的所選對準跟蹤點114、 116。線119表示所示的從第 一圖像幀到后續(xù)的第二圖像幀的光流信息。窗口 120相應(yīng)地示出來自 雙照相機對中的第二個照相機的表示，示出了對準跟蹤點122、 124、 連接線126、以及光流線127。
如前文所述，光流的計算和跟蹤可以是對選自諸如皮膚變色等表 面細節(jié)的標記12的位置的第一初始猜測。作為下一步驟，可以搜索 圍繞標記12的預先限定窗口以估計匹配圖案的光流位置。
如果光流信息未識別到適合的標記12，則可以將更新的自然空 間位置投射到相應(yīng)的照相機幀中。然后，可對該區(qū)域執(zhí)行對在顏色、 紋理、或圖案方面匹配的附近標記的搜索。
如果未發(fā)現(xiàn)適合的標記，則可以通過使用(經(jīng)由三維網(wǎng)格)幾何 連接到相應(yīng)的標記12的標記12的轉(zhuǎn)換信息，使用先前圖像幀的位置 來插值(interpolate)"最佳猜測"位置。
如果用戶識別到跟蹤解決方案中的誤差，則可以使用多種工具來 修正誤差，這些工具根據(jù)本發(fā)明而結(jié)合以適合特定應(yīng)用。在示例性第 一誤差修正技術(shù)中，可以在第一照相機圖像中拖動投射的跟蹤點，直 到匹配的第二標記被重疊。然后，可以將拖動路徑鎖定到系統(tǒng)19中， 防止該匹配的標記被用于另一跟蹤點。在第一照相機圖像中，線可被 從第一照相機中的固定標記12投射到成對的第二照相機的視圖中。 可以使用該投射的線來發(fā)現(xiàn)伴隨的成對標記12，因為，通常，正確地 講，標記12應(yīng)沿著該線放置。如果沒有發(fā)現(xiàn)標記，則可以將先前幀 的跟蹤點投射到圖像中?？梢允褂脧母欬c到投射線的距離最近點作 為用于相應(yīng)的圖像幀的適當標記12的位置。
在示例性第二誤差修正技術(shù)中，如果對于各圖像幀，各跟蹤點被 標記為不可解，則可以得出將不會識別到適合的標記12的結(jié)論。結(jié) 果，可以使用與不能在后續(xù)圖像幀中定位適合的標記12的跟蹤點相 同的跟蹤算法來計算跟蹤點的最終位置。如果標記12不可見，并且計算機35對于跟蹤點錯誤地識別該標記12,則可以使用第二示例性 技術(shù)。
在示例性第三誤差修正技術(shù)中，可在三維空間中固定跟蹤點?？?在二個維度中移動各跟蹤點?？梢酝ㄟ^在成對圖像中投射一條線，并 選擇從標記12的原始投射位置到該線距離最近的點來計算最終位置。 可替換地，各跟蹤點可在照相機圖像幀中移動，并沿著從當前跟蹤點 投射到成對的第二照相機的線而受約束。
轉(zhuǎn)到圖9，示出了在GUI環(huán)境中在根據(jù)本發(fā)明的跟蹤和編輯之 后繪制的圖像對128。窗口 130和138分別描繪照相機對的第一和第 二圖像表示。經(jīng)由連接信息136、 144來提供連接的三維網(wǎng)格。對準 跟蹤點132、 140表示已根據(jù)前述修正技術(shù)而修正的跟蹤點。對準跟 蹤點134、 142表示已被自動地從第一圖像幀跟蹤到后續(xù)的第二圖像 幀的跟蹤點。
根據(jù)本發(fā)明，可以實現(xiàn)一種跟蹤眼睛瞳孔的運動的技術(shù)。"眼睛 跟蹤點"區(qū)域可以由用戶來選擇，結(jié)果得到圍繞指定眼睛區(qū)域的方形 限制框?？梢栽谠摲叫蜗拗瓶虻膬?nèi)部區(qū)域中搜索凹窩和圓圏。如果找 到凹窩，則識別該凹窩并將其指定為瞳孔。如果未識別到凹窩，但找 到圓圏，則使用圓圏的中心作為瞳孔。如果在照相機對的每個圖像中 識別到瞳孔，則可以使三維位置分成三角形，并將數(shù)據(jù)存儲在系統(tǒng)19 中。
另外，瞳孔跟蹤可以實現(xiàn)先前在第二和第三示例性修正技術(shù)中描 述的一種或多種方法。
一旦已在每個照相機對中連續(xù)地跟蹤表面，則可以使用來自照相 機對的每個點的跟蹤數(shù)據(jù)來重建最終網(wǎng)格。如果一個跟蹤點在多于一 個的照相機對中被識別到，則可以使用來自最精確照相機(通常是最 接近于表面10的照相機)的數(shù)據(jù)。
一旦使用前述技術(shù)將捕獲到的跟蹤數(shù)據(jù)轉(zhuǎn)換為動畫，則可以將其 應(yīng)用于任何模型。為此，使數(shù)據(jù)重定目標(retarget)。重定目標是 這樣實現(xiàn)的，即首先使來自中立姿勢的跟蹤網(wǎng)格與再次處于中立姿勢的要被動畫制作的模型對準。然后，可以使用計算機軟件來將被動畫
制作的表面"粘貼"到新目標的表面。圖10示出在GUI環(huán)境146中 伴隨有被重映射到不同人臉上的最終頂點的原始未處理動作捕獲數(shù) 據(jù)。因而，可看到原始未處理動作捕獲數(shù)據(jù)148被顯示在界面的左側(cè)， 而重映射信息被示為附著于顯示在界面的右側(cè)的新模型/目標150。具 有用線156連接的跟蹤點152、 154的三角網(wǎng)格(delta mesh)幫助動 畫制作軟件使所述多個跟蹤點152、 154等適當?shù)嘏帕性谛卤砻?50 上。
一旦已將網(wǎng)格重定目標，則可以利用被稱為"蒙皮(skinning)" 的方法將該網(wǎng)格應(yīng)用于目標。蒙皮方法提供關(guān)于頂點將如何相對于各 跟蹤點移動的目標模型頂點的信息。任何特定跟蹤點對源網(wǎng)格中的頂 點的影響量由沿著網(wǎng)格的表面從相應(yīng)的跟蹤點到要動畫制作的頂點 的距離來確定。結(jié)果，多個跟蹤點可以影響任何單個目標頂點。為了 說明，圖11在GUI環(huán)境158中描繪了伴隨有重定目標和最終蒙皮的 網(wǎng)格162的原始未處理動作捕獲數(shù)據(jù)160。
圖12示出根據(jù)本發(fā)明的捕獲、存儲、和準備圖像以供進一步處 理的示例性方法160。方法160從用戶將標記放置在表面上(步驟164) 開始(步驟162)。如前所述地配置各照相機對(步驟166)。以未 處理格式存儲捕獲的數(shù)據(jù)(步驟168)。通過標記分割算法來處理視 頻幀(步驟170)，以將標記與表面10區(qū)分開。識別多個二維跟蹤點 (步驟172)，然后將它們在幾何學上分成三角形以形成二維網(wǎng)格表 示，其中，存儲與光流跟蹤信息相結(jié)合的跟蹤點(步驟174)。
作為下一步驟，使用跟蹤點數(shù)據(jù)和光流信息來生成表面的三維表 示(176)。在雙照相機對的每個圖像中使各標記/跟蹤點相關(guān)聯(lián)(步 驟178)。根據(jù)相關(guān)聯(lián)標記而生成多個三維跟蹤點(步驟180)。另 外，對每個選定的三維跟蹤點導出幾何連接性數(shù)據(jù)，然后同樣地識別 該幾何連接性數(shù)據(jù)(步驟182、 184)。此后，方法160結(jié)束(步驟 186)。
圖13是根據(jù)本發(fā)明的從第一圖像幀通過后續(xù)圖像幀利用跟蹤點的示例性方法的流程圖。另外，圖13示出根據(jù)本發(fā)明的執(zhí)行跟蹤功 能以及結(jié)合示例性修正定位技術(shù)的示例性方法188。方法188從對先 前在方法160中被識別為對準跟蹤點的標記的識別和指定(步驟192 ) 開始(步驟l卯)。如果未識別到后續(xù)標記12，則把執(zhí)行跟蹤點的"最 佳猜測"對準的步驟194作為可選項。
將來自先前圖像幀的各跟蹤點從自然空間變換到局部空間(步驟 196)。作為可能的可選項，利用該跟蹤點的先前位置來搜索適當后 續(xù)標記12 (步驟198)。在有或沒有可選步驟194和/或198的幫助的 情況下，試圖確定每個標記/跟蹤點從一個幀移動到后續(xù)幀的位置(步 驟200 )。
如果標記12存在于新位置(步驟202 )，則在新的位置上再使 用該標記(步驟204)。否則，在先前標記的位置周圍的限定區(qū)域內(nèi) 搜索適合顏色、紋理、或圖案的匹配標記(步驟206 )。如果發(fā)現(xiàn)適 合的匹配(步驟208 )，則使用適合的標記12 (步驟210)。如果未 發(fā)現(xiàn)，則使用來自先前幀的標記12的位置來確定適當?shù)膶?步驟 212)。
一旦識別到并指定適合的標記，則如前所述將每個跟蹤點從局部 空間重新變換回到自然空間(步驟214)。再次重新利用前述光流信 息來跟蹤每個跟蹤點在幀之間的移動(步驟216)。
作為附加和可選的修正措施，如果光流信息識別到適合的標記 (步驟218),則在后續(xù)圖像幀中利用該適合的標記12 (步驟220)。 可替換地，將自然空間位置投射到照相機幀中(步驟222)。在限定 區(qū)域內(nèi)搜索匹配標記12 (步驟224)。如果發(fā)現(xiàn)適合的標記，則利用 該標記(步驟228)。如果未發(fā)現(xiàn)，則通過利用幾何連接的標記12的 轉(zhuǎn)換信息而使用先前幀的位置來插值"最佳猜測"位置(步驟230)。 然后，方法188結(jié)束。
最后，圖14是根據(jù)本發(fā)明的從第一圖像幀通過后續(xù)圖像幀識別 跟蹤點的可選修正技術(shù)234的流程圖。方法234從在第一圖像表示中 移動投射的跟蹤點直到匹配標記在第二圖像表示中被重疊(步驟238 )開始(步驟236)。然后，將該信息鎖定以防止匹配標記12被另外的 跟蹤點使用(步驟240)。
接下來，從第一照相機中的固定標記12向該對中的第二照相機 的視圖中投射一條投射線(步驟242 )。如果標記12被定位(步驟 244)，則在后續(xù)圖像幀中使用標記12 (步驟246)。如果不是這樣， 則將先前幀的跟蹤點信息投射到圖像表示上。在后續(xù)圖像幀中使用指 定區(qū)域中的從跟蹤點到投射線的距離最近點(步驟248)。然后，方 法234結(jié)束(步驟250)。
轉(zhuǎn)到圖15，示出了示例性計算機系統(tǒng)252，在該示例性系統(tǒng)252 上，可以實現(xiàn)本發(fā)明的各方面，諸如前述方法234的各步驟的執(zhí)行。 工作站254可以包括用于執(zhí)行所述的各捕獲、處理和繪制步驟的中央 處理設(shè)備(CPU) 256、大容量存儲設(shè)備258、和用于存儲圖像表示的 存儲設(shè)備260、以及用于通過通信網(wǎng)絡(luò)264將工作站254鏈接到遠程 計算機系統(tǒng)266、 268的通信端口 262。如本領(lǐng)域的技術(shù)人員將認識到 的那樣，可以使用類似的計算設(shè)備以多種方式來實現(xiàn)前述方法以適合 特定的應(yīng)用。
雖然已詳細地說明了本發(fā)明的一個或多個實施例，技術(shù)人員將認 識到在不脫離以下權(quán)利要求所闡述的本發(fā)明的范圍的情況下可對那 些實施例進行各種修改和改進。
權(quán)利要求
1.一種結(jié)合多個數(shù)字化標記來捕獲和處理一系列圖像的計算機實現(xiàn)的方法，包括以下步驟根據(jù)所述多個數(shù)字化標記來識別多個對準跟蹤點；以及利用第一圖像幀中的所述多個對準跟蹤點來確定第一標記在后續(xù)的第二圖像幀中的位置，其中，如果識別到所述第一標記，則在第二圖像幀中再使用所述第一標記，并且如果未識別到所述第一標記則在所述第一標記的位置周圍的限定區(qū)域內(nèi)搜索匹配的第二標記，如果在所述限定區(qū)域內(nèi)識別到所述匹配的第二標記，則在所述后續(xù)的第二圖像幀中使用所述匹配的第二標記，并且如果在所述限定區(qū)域內(nèi)未識別到所述匹配的標記則通過處理與所述第一標記幾何互連的第二標記的轉(zhuǎn)換信息來插值第一標記的最佳猜測位置。
2. 權(quán)利要求1的方法，其中，在三維網(wǎng)格表示中生成多個互連的數(shù)字化標記。
3. 權(quán)利要求1的方法，還包括用具有第一光學位置的第一攝像機來捕獲第一圖像以生成第一圖像表示的步驟。
4. 權(quán)利要求3的方法，還包括用具有第二光學位置的第二攝像機來捕獲第二圖像以生成第二圖像表示的步驟。
5. 權(quán)利要求4的方法，其中，對所述第一圖像表示和第二圖像表示中的每一個執(zhí)行所述根據(jù)所述多個數(shù)字化標記來識別多個對準跟蹤點的步驟以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第一標記在后續(xù)的第二圖像幀中的位置的步驟。
6. 權(quán)利要求5的方法，還包括使所述第一和第二圖像表示同步以生成表示相關(guān)聯(lián)的第一和第二圖像表示的合成圖像表示的步驟。
7. 權(quán)利要求3的方法，還包括通過標記分割算法來處理第一圖像表示以獲得第 一 圖像分割表示的步驟。
8. 權(quán)利要求1的方法，其中，所述多個數(shù)字化標記在纟文理或顏色方面不同。
9. 4又利要求1的方法，其中，所述第一標記與匹配的第二標記在顏色或紋理方面匹配。
10. 權(quán)利要求l的方法，還包括將所述多個對準跟蹤點從自然空間表示變換至第 一 圖像的局部空間表示的步驟。
11. 權(quán)利要求4的方法，還包括以下步驟在第 一 圖像表示中拖動投射的跟蹤點直到匹配的第三標記被重疊；鎖定所述第 一 圖像表示以防止所述匹配的第三標記被進一步使用；以及從第一圖像表示中的匹配的第三標記向第二圖像表示的視圖中投射一條線，其中，如果沿著該線識別到第四標記，則在第二圖像表示的后續(xù)的第二圖像幀中使用第四標記，并且如果未識別到第四標記則在后續(xù)的第二圖像幀中利用從第一圖像表示中的投射跟蹤點到投射線的距離最近的第五標記。
12. —種用于捕獲和處理一系列圖像的計算機實現(xiàn)的方法，包括以下步驟結(jié)合具有多個在紋理或顏色方面不同的標記的表面來捕獲第一圖像以獲得圖像表示；指定根據(jù)所述多個標記獲得的多個對準跟蹤點；以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一 標記在后續(xù)的第二圖像幀中的位置，如果確定了第一標記的位置，則在后續(xù)的第二圖像幀中再使用第一標記，其中，如果未確定第一標記的位置則在第一標記的位置周圍的限定區(qū)域內(nèi)搜索在紋理或顏色方面與第一標記匹配的第二標記，如果第二標記位于該限定區(qū)域內(nèi)，則在后續(xù)的第二圖像幀中使用第二標記，并且，如果第二標記未位于該P艮定區(qū)域內(nèi)則通過處理與第 一標記幾何互連的第三標記的轉(zhuǎn)換信息來插值第 一 標記的最佳猜測位置。
13. 權(quán)利要求12的方法，其中，用多個照相機來執(zhí)行所述捕獲第一圖像的步驟以獲得多個圖像表示。
14. 權(quán)利要求13的方法，其中，對所述多個圖像表示中的每一個執(zhí)行所述指定多個對準跟蹤點的步驟。
15. 權(quán)利要求14的方法，還包括使所述多個圖像表示中的每一個同步以生成合成圖像表示的步驟。
16. 權(quán)利要求12的方法，還包括通過分割算法來處理所述圖像表示以獲得圖像分割表示的步驟。
17. 權(quán)利要求12的方法，還包括將所述多個對準跟蹤點從自然空間表示變換至第 一 圖像的局部空間表示的步驟。
18. 權(quán)利要求12的方法，還包括在所述捕獲第一圖像的步驟之后，生成已被分成三角形而形成二維網(wǎng)格表示的多個二維跟蹤點的步驟。
19. 權(quán)利要求18的方法，其中，將所述二維網(wǎng)格表示與多個光流跟蹤點組合以生成具有三維跟蹤點的三維網(wǎng)格表示。
20. 權(quán)利要求19的方法，其中，所述多個對準跟蹤點選自所述三維網(wǎng)格表示的三維跟蹤點。
21. 權(quán)利要求13的方法，還包括以下步驟在圖像表示中拖動投射的跟蹤點，直到在紋理或顏色方面與所述投射的跟蹤點匹配的第三標記被重疊；鎖定所述圖像表示以防止第三標記被進一步使用；以及從所述圖像表示中的第三標記向第二圖像表示的視圖中投射一條線，其中，如果沿著所述線識別到第四標記，則在第二圖像表示的后續(xù)的第二圖像幀中使用第四標記，并且如果未識別到第四標記則在后續(xù)的第二圖像幀中利用從第一圖像表示中的投射的跟蹤點到投射線的距離最近的第五標記。
22. —種計算機程序產(chǎn)品，包括計算機可用介質(zhì)，所述計算機可用介質(zhì)包括用于捕獲和處理一 系列圖像的計算機可用程序代碼，所述計算機程序產(chǎn)品包括計算機可用程序代碼，其用于結(jié)合具有在紋理或顏色方面不同的多個標記的表面來捕獲第 一 圖像以獲得圖像表示；計算機可用程序代碼，其用于指定根據(jù)所述多個標記獲得的多個對準J艮蹤點；以及計算機可用程序代碼，其用于利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一標記在后續(xù)的第二圖像幀中的位置，如果找到第一標記，則在后續(xù)的第二圖像幀中再使用第一標記，其中，如果未找到第一標記計算機可用程序代碼，其用于在第一標記的位置周圍的限定 區(qū)域內(nèi)搜索在紋理或顏色方面與第 一標記匹配的第二標記，如果第二標記位于該限定區(qū)域內(nèi)，則在后續(xù)的第二圖像中使用第二標記，并且， 如果第二標記未位于該限定區(qū)域內(nèi)則計算機可用程序代碼，其用于通過處理與第一標記幾 何互連的第三標記的轉(zhuǎn)換信息來插值第一標記的最佳猜測位置。
23. 權(quán)利要求22的計算機程序產(chǎn)品，其中，用多個照相機來執(zhí) 行捕獲第一圖像的步驟以獲得多個圖像表示。
24. 權(quán)利要求23的計算機程序產(chǎn)品，其中，對所述多個圖像表 示中的每一個執(zhí)行指定多個對準跟蹤點的步驟。
25. 權(quán)利要求24的計算機程序產(chǎn)品，還包括使所述多個圖像表 示中的每一個同步以生成合成圖像表示。
26. 權(quán)利要求22的計算機程序產(chǎn)品，還包括通過分割算法來處 理所述圖像表示以獲得圖像分割表示。
27. 權(quán)利要求22的計算機程序產(chǎn)品，還包括將所述多個對準跟 蹤點從自然空間表示變換至第一圖像的局部空間表示。
28. —種用于捕獲和處理一系列圖像的計算機系統(tǒng)，包括 存儲設(shè)備；以及處理設(shè)備，電氣連接到所述存儲設(shè)備，其中，所述處理設(shè)備 結(jié)合具有在紋理或顏色方面不同的多個標記的表面來捕獲 第一圖像，生成存儲在所述存儲設(shè)備上的圖像表示，指定根據(jù)所述多個標記獲得的多個對準跟蹤點，以及利用第 一 圖像幀中的所述多個對準跟蹤點來確定第 一標記 在后續(xù)的第二圖像幀中的位置，如果找到第一標記，則在后續(xù)的第二 圖像幀中再使用第一標記，其中，如果未找到第一標記，則所述處理設(shè)備在第一標記的位置周圍的限定區(qū)域內(nèi)搜索在紋理或顏 色方面與第 一標記匹配的第二標記，如果第二標記位于該限定區(qū)域 內(nèi)，則在后續(xù)的第二圖像中使用第二標記，并且，如果第二標記未位 于該限定區(qū)域內(nèi)，則所述處理設(shè)備則通過處理與第一標記幾何互連的第三標記的轉(zhuǎn)換信 息來插值第一標記的最佳猜測位置。
29. 權(quán)利要求28的計算機系統(tǒng)，其中，所述處理設(shè)備使用多個 照相機來捕獲第一圖像以獲得多個圖像表示。
30. 權(quán)利要求28的計算機系統(tǒng)，其中，所述處理設(shè)備對所述多 個圖像表示中的每一個指定多個對準跟蹤點。
31. 權(quán)利要求28的計算機系統(tǒng)，其中，所述處理設(shè)備使所述多 個圖像表示中的每一個同步以生成合成圖像表示。
32. 權(quán)利要求28的計算機系統(tǒng)，其中，所述處理設(shè)備通過分割 算法來處理所述圖像表示以獲得圖像分割表示。
33. 權(quán)利要求28的計算機系統(tǒng)，其中，所述處理設(shè)備將所述多 個對準跟蹤點從自然空間表示變換至第 一圖像的局部空間表示。
全文摘要
一種用于捕獲和處理一系列圖像的計算機實現(xiàn)方法結(jié)合具有在紋理或顏色方面不同的多個標記的表面來捕獲第一圖像以獲得圖像表示。指定從所述多個標記獲得的多個對準跟蹤點。在第一圖像幀中利用所述多個對準跟蹤點來確定第一標記在后續(xù)的第二圖像幀中的位置。如果找到第一標記，則在后續(xù)的第二圖像幀中再使用第一標記。否則，在第一標記的位置周圍的限定區(qū)域內(nèi)搜索在紋理或顏色方面與第一標記匹配的第二標記。如果找到第二標記，則在后續(xù)的第二圖像中使用第二標記。否則，通過處理幾何互連到第一標記的第三標記的轉(zhuǎn)換信息來插值第一標記的最佳猜測位置。
文檔編號G06K9/00GK101681423SQ200780052085
公開日2010年3月24日 申請日期2007年12月20日 優(yōu)先權(quán)日2007年1月26日
發(fā)明者A·克拉維爾 申請人:撲動公司