對(duì)象數(shù)字化的制作方法
【專利摘要】在此描述了對(duì)圖片中的對(duì)象進(jìn)行數(shù)字化。用戶將對(duì)象呈現(xiàn)給相機(jī)，相機(jī)捕捉該對(duì)象的前面和背面的包括顏色和深度數(shù)據(jù)的圖像。對(duì)于前面和背面圖像這兩者，通過分析深度數(shù)據(jù)來確定最接近相機(jī)的點(diǎn)。從這些最接近的點(diǎn)中，可以通過標(biāo)注深度數(shù)據(jù)中的大的差異來找到該對(duì)象的邊緣。深度數(shù)據(jù)也被用于構(gòu)建該對(duì)象的前面和背面的點(diǎn)云構(gòu)造。將各種技術(shù)應(yīng)用于推斷邊緣、移除接縫、智能擴(kuò)展顏色、過濾噪聲、將骨架結(jié)構(gòu)應(yīng)用于該對(duì)象以及進(jìn)一步優(yōu)化數(shù)字化。最后，將數(shù)字表示呈現(xiàn)給用戶并在不同的應(yīng)用（例如游戲、Web等）中潛在使用。
【專利說明】對(duì)象數(shù)字化
[0001]背景
[0002]現(xiàn)代游戲和因特網(wǎng)技術(shù)與過去的那些技術(shù)相比以更加個(gè)人的方式來與用戶交互。現(xiàn)今的游戲系統(tǒng)可讀取站立在相機(jī)前面的玩家的移動(dòng)或玩家通過無線控制器采取的行動(dòng)(例如如同棒球棒那樣揮動(dòng)控制器)以取代在連接到游戲控制臺(tái)的控制器上簡(jiǎn)單地敲擊按鍵。這種個(gè)人交互開拓出一個(gè)完全嶄新的游戲領(lǐng)域。
[0003]概述
[0004]提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征。本概述也不是意在幫助確定所要求的主題的范圍。
[0005]一個(gè)方面旨在創(chuàng)建圖像中對(duì)象的數(shù)字表示(“數(shù)字化”)。用戶將對(duì)象呈現(xiàn)給相機(jī)，相機(jī)捕捉該對(duì)象的前面和背面的包括顏色和深度數(shù)據(jù)的圖像。對(duì)于前面和背面圖像這兩者，通過分析深度數(shù)據(jù)來確定最接近相機(jī)的點(diǎn)。從這些最接近的點(diǎn)中，可以通過標(biāo)注深度數(shù)據(jù)中的大的差異來找到該對(duì)象的邊緣。深度數(shù)據(jù)也被用于構(gòu)建該對(duì)象的前面和背面的點(diǎn)云構(gòu)造。將各種技術(shù)應(yīng)用于推斷邊緣、移除接縫、智能擴(kuò)展顏色、過濾噪聲、將骨架結(jié)構(gòu)應(yīng)用于該對(duì)象以及進(jìn)一步優(yōu)化數(shù)字化。最后，將數(shù)字表示呈現(xiàn)給用戶并在不同的應(yīng)用(例如游戲、Web等)中潛在使用。
【專利附圖】

【附圖說明】
[0006]下面將參考附圖詳細(xì)描述本發(fā)明的說明性實(shí)施例，在附圖中:
[0007]圖1描繪了適用于實(shí)現(xiàn)在此討論的各實(shí)施例的示例性計(jì)算環(huán)境的框圖。
[0008]圖2是根據(jù)一個(gè)實(shí)施例的呈現(xiàn)用于數(shù)字化的對(duì)象的用戶的圖示。
[0009]圖3是根據(jù)一個(gè)實(shí)施例的用于將對(duì)象進(jìn)行數(shù)字化的工作流程的圖示。
[0010]圖4A和4B是根據(jù)一個(gè)實(shí)施例的呈現(xiàn)用于數(shù)字化的對(duì)象的用戶的相機(jī)觀看視角的圖示。
[0011]圖5是根據(jù)一個(gè)實(shí)施例的可用于對(duì)對(duì)象進(jìn)行數(shù)字化的分割深度圖像的圖示。
[0012]圖6是根據(jù)一個(gè)實(shí)施例的深度對(duì)顏色的偏移的圖示。
[0013]圖7是根據(jù)一個(gè)實(shí)施例的可用于對(duì)對(duì)象進(jìn)行數(shù)字化的源色彩圖像的圖示。
[0014]圖8是根據(jù)一個(gè)實(shí)施例的所捕捉的對(duì)象的色彩分割的圖示。
[0015]圖9和10是根據(jù)一個(gè)實(shí)施例的用于保持要被數(shù)字化的對(duì)象的用戶界面(UI)指導(dǎo)的圖示。
[0016]圖11是根據(jù)一個(gè)實(shí)施例的對(duì)象的三維(3D)點(diǎn)云構(gòu)造的圖示。
[0017]圖12是根據(jù)一個(gè)實(shí)施例的對(duì)齊的點(diǎn)片(point sheets)的兩個(gè)視圖的圖示。
[0018]圖13是根據(jù)一個(gè)實(shí)施例的最終的點(diǎn)云構(gòu)造的圖示。
[0019]圖14是根據(jù)一個(gè)實(shí)施例的顯示經(jīng)數(shù)字化的對(duì)象的確認(rèn)圖像的n的圖示，所述經(jīng)數(shù)字化的對(duì)象被顯示給用戶。
[0020]圖15是根據(jù)一個(gè)實(shí)施例的所捕捉的對(duì)象的網(wǎng)格輸出的圖示。[0021]圖16是根據(jù)一個(gè)實(shí)施例的經(jīng)平滑和處理的對(duì)象的圖像的圖示。
[0022]圖17是根據(jù)一個(gè)實(shí)施例的具有UV坐標(biāo)的圖像的圖示。
[0023]圖18是根據(jù)一個(gè)實(shí)施例的將面朝前的三角邊緣繪制到最終的紋理圖的截面的圖
/Jn o
[0024]圖19A-19E是根據(jù)一個(gè)實(shí)施例的示出要添加到所生成的骨架結(jié)構(gòu)的不同骨頭處的加權(quán)的圖示。
[0025]圖20A和20B是根據(jù)一個(gè)實(shí)施例的示出在亮度/色度處理之前和之后的圖示。
[0026]圖21A和21B是根據(jù)一個(gè)實(shí)施例的示出在對(duì)邊緣進(jìn)行濾波之后的源和輸出圖像的圖示。
[0027]圖22A和22B是根據(jù)一個(gè)實(shí)施例的示出在其中所述邊緣修復(fù)濾波器查找到背景顏色和目標(biāo)對(duì)象顏色的圖像的圖示。
[0028]圖23A和23B是根據(jù)一個(gè)實(shí)施例的示出從邊緣到爭(zhēng)議區(qū)域的距離以及所計(jì)算的背景似然值的圖像的圖示。
[0029]圖24是根據(jù)一個(gè)實(shí)施例的最終的合成紋理圖的圖示。
[0030]圖25A和25B是根據(jù)一個(gè)實(shí)施例的屏蔽值和重度模糊化的頂點(diǎn)色彩的圖示。
[0031]圖26A和26B是根據(jù)一個(gè)實(shí)施例的僅具有紋理和具有混合了屏蔽值的頂點(diǎn)色彩的紋理的不同的網(wǎng)格的圖示。
[0032]圖27是根據(jù)一個(gè)實(shí)施例的經(jīng)數(shù)字化的對(duì)象的最終呈現(xiàn)的圖示。
[0033]圖28是根據(jù)一個(gè)實(shí)施例的用于詳細(xì)描述將對(duì)象進(jìn)行數(shù)字化的工作流程的流程圖。
[0034]圖29是根據(jù)一個(gè)實(shí)施例的用于詳細(xì)描述將對(duì)象數(shù)字化的工作流程的流程圖。
[0035]詳細(xì)描述
[0036]本文中用細(xì)節(jié)來描述本發(fā)明各實(shí)施例的主題以滿足法定要求。然而，該描述本身并非旨在必定限制權(quán)利要求的范圍。相反，所要求保護(hù)的主題可結(jié)合其他當(dāng)前或未來技術(shù)按照其他方式來具體化，以包括不同的步驟或類似于本文中所描述的步驟的步驟組合。術(shù)語(yǔ)不應(yīng)被解釋為暗示本文所公開的各步驟之中或之間的任何特定次序，除非且除了在明確描述個(gè)別步驟的次序的時(shí)候。
[0037]在此所述的實(shí)施例通常涉及由相機(jī)捕捉的對(duì)象的數(shù)字表示。在一個(gè)實(shí)施例中，在相機(jī)前面用戶持有對(duì)象，相機(jī)捕捉對(duì)象的圖像，并且一個(gè)設(shè)備將所捕捉的對(duì)象數(shù)字化成3D呈現(xiàn)，所述3D呈現(xiàn)可以被數(shù)字化地顯示一例如，作為視頻游戲中的實(shí)體顯示。
[0038]為了說明，考慮以下示例。用戶向裝備有相機(jī)的游戲設(shè)備舉起玩具章魚。使用相機(jī)，游戲設(shè)備拍攝了所述對(duì)象的前面和背面的圖片，捕捉每個(gè)面的色彩和深度數(shù)據(jù)。根據(jù)深度數(shù)據(jù)，構(gòu)建章魚的3D呈現(xiàn)，并且，隨后將色彩數(shù)據(jù)加入到3D呈現(xiàn)中以創(chuàng)建章魚的數(shù)字化呈現(xiàn)(在此稱為“數(shù)字化”)。隨后可以將所述數(shù)字化用于在其中所述章魚的顯示是有用的游戲或任意其它軟件或Web應(yīng)用中。
[0039]至少一個(gè)實(shí)施例針對(duì)將對(duì)象進(jìn)行數(shù)字化。用戶將對(duì)象呈現(xiàn)給計(jì)算設(shè)備(例如游戲控制臺(tái))上的相機(jī)。設(shè)備可以指令用戶定位要顯示的對(duì)象以一例如通過在屏幕上放置反映由相機(jī)所看見的圖像的輪廓并指示用戶應(yīng)該將所述對(duì)象移動(dòng)到輪廓中，來優(yōu)化所捕捉的圖像。最終，設(shè)備捕捉對(duì)象的一個(gè)或多個(gè)圖像。隨后，可以指令用戶將對(duì)象的背側(cè)呈現(xiàn)給相機(jī)以進(jìn)行捕捉。隨后，設(shè)備捕捉對(duì)象的背側(cè)的一個(gè)或多個(gè)圖像。處理所捕捉的前面和背面圖像以構(gòu)建對(duì)象的3D數(shù)字化。
[0040]在一個(gè)實(shí)施例中，處理使用由相機(jī)捕捉的圖像的深度數(shù)據(jù)。深度數(shù)據(jù)以每個(gè)像素或其它空間表示形式描述了在圖像中所捕捉的事物的接近度。使用所述深度數(shù)據(jù)，可以定位圖像中的對(duì)象的最接近點(diǎn)。這個(gè)實(shí)施例假設(shè)圖像的最接近的對(duì)象是用戶正期望捕捉的對(duì)象一例如，朝相機(jī)緊握章魚的用戶很可能意味著這個(gè)章魚相對(duì)于相機(jī)而言是最接近的事物。
[0041]在已經(jīng)簡(jiǎn)要描述了本發(fā)明的概述后，現(xiàn)在描述可以在其中實(shí)現(xiàn)本發(fā)明的各個(gè)方面的示例性操作環(huán)境。概括地參考附圖，并首先具體參考圖1，示出了用于實(shí)現(xiàn)本發(fā)明的各實(shí)施例的示例性操作環(huán)境，并將其概括地指定為計(jì)算設(shè)備100。計(jì)算設(shè)備100只是合適的計(jì)算環(huán)境的一個(gè)示例，并且不旨在對(duì)本發(fā)明的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算設(shè)備100解釋為對(duì)所示出的任一組件或其組合有任何依賴性或要求。
[0042]本發(fā)明的各實(shí)施例可以在由計(jì)算機(jī)或諸如個(gè)人數(shù)據(jù)助理或其它手持式設(shè)備之類的其它機(jī)器執(zhí)行的計(jì)算機(jī)代碼或機(jī)器可使用指令(包括諸如程序模塊之類的計(jì)算機(jī)可執(zhí)行指令)的一般上下文中描述。一般而言，包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等的程序模塊指的是執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的代碼。本發(fā)明的實(shí)施例可以在各種系統(tǒng)配置中實(shí)施，這些系統(tǒng)配置包括手持式設(shè)備、消費(fèi)電子產(chǎn)品、通用計(jì)算機(jī)、更專用計(jì)算設(shè)備等等。本發(fā)明的各實(shí)施例也可以在任務(wù)由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備執(zhí)行的分布式計(jì)算環(huán)境中實(shí)施。
[0043]繼續(xù)參考圖1，計(jì)算設(shè)備100包括直接或間接耦合以下設(shè)備的總線101:存儲(chǔ)器102、一個(gè)或多個(gè)處理器103、一個(gè)或多個(gè)呈現(xiàn)組件104、輸入/輸出(I/O)端口 105、I/O組件106、和說明性電源107?？偩€101表示可以是一條或多條總線(諸如地址總線、數(shù)據(jù)總線、或其組合)。雖然為了清楚起見利用線條示出了圖1的各框，但是實(shí)際上，各組件的輪廓并不是那樣清楚，并且比喻性地來說，線條更精確地將是灰色的和模糊的。例如，可以將諸如顯示設(shè)備等呈現(xiàn)組件認(rèn)為是I/O組件。另外，許多處理器具有存儲(chǔ)器。發(fā)明人關(guān)于此點(diǎn)認(rèn)識(shí)到這是本領(lǐng)域的特性，并重申，圖1的圖示只是可以結(jié)合本發(fā)明的一個(gè)或多個(gè)實(shí)施例來使用的示例性計(jì)算設(shè)備的例示。諸如“工作站”、“服務(wù)器”、“膝上型計(jì)算機(jī)”、“游戲控制臺(tái)”、“手持式設(shè)備”等分類之間沒有區(qū)別，它們?nèi)慷急徽J(rèn)為是在圖1的范圍之內(nèi)的并且被稱為“計(jì)算設(shè)備”。
[0044]計(jì)算設(shè)備100通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是可由計(jì)算設(shè)備100訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動(dòng)和不可移動(dòng)介質(zhì)。作為示例而非局限，計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括，但不限于，隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、閃存或其它存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它全息存儲(chǔ)器、磁帶盒、磁帶、磁盤存儲(chǔ)或其它磁性存儲(chǔ)設(shè)備或可用于編碼所需信息且可以由計(jì)算設(shè)備100訪問的任何其它介質(zhì)。
[0045]存儲(chǔ)器102包括易失性和/或非易失性存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)。存儲(chǔ)器102可以是可移動(dòng)的、不可移動(dòng)的或其組合。示例性硬件設(shè)備包括固態(tài)存儲(chǔ)器、硬盤驅(qū)動(dòng)器、光盤驅(qū)動(dòng)器等。計(jì)算設(shè)備100包括從諸如存儲(chǔ)器102或I/O組件106等各種實(shí)體讀取數(shù)據(jù)的一個(gè)或多個(gè)處理器。呈現(xiàn)組件104向用戶或其他設(shè)備呈現(xiàn)數(shù)據(jù)指示。示例性呈現(xiàn)組件包括顯示設(shè)備、揚(yáng)聲器、打印組件、振動(dòng)組件等等。
[0046]I/O組件106可以包括能夠拍攝靜態(tài)圖片或視頻的相機(jī)。在一個(gè)實(shí)施例中，當(dāng)拍攝圖片時(shí)，所述相機(jī)捕捉色彩數(shù)據(jù)(例如紅、綠、藍(lán))和深度數(shù)據(jù)。深度數(shù)據(jù)(在一個(gè)實(shí)施例中在每個(gè)像素的基礎(chǔ)上)指示由相機(jī)所捕捉的對(duì)象與相機(jī)本身的接近度?？梢砸栽S多方式來捕捉深度數(shù)據(jù)，像使用紅外(IR)相機(jī)來讀取發(fā)射出的紅外線，讀取發(fā)射出的激光等等。深度數(shù)據(jù)可以以每厘米、每米或其它空間表示的形式被存儲(chǔ)。例如，IR點(diǎn)可被發(fā)射出并由IR相機(jī)讀取，生成詳細(xì)描述在相機(jī)前面的區(qū)域中以每米定位方式所測(cè)量的圖像的深度的輸出文件。另外，深度數(shù)據(jù)還可以通過對(duì)在其中測(cè)量深度的屏幕區(qū)域的像素進(jìn)行記錄來指示所捕捉的對(duì)象的特定部位的朝向。因?yàn)椴噬鄼C(jī)和深度相機(jī)可以位于彼此分開的位置，可以做出變換以將所檢索的色彩數(shù)據(jù)映射到對(duì)應(yīng)的深度數(shù)據(jù)。
[0047]I/O端口 118允許計(jì)算設(shè)備100邏輯上耦合至包括I/O組件120的其它設(shè)備，其中某些可以是內(nèi)置的。說明性I/O組件120包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀、打印機(jī)、無線設(shè)備等等。
[0048]如在前所述，一些實(shí)施例針對(duì)創(chuàng)建虛擬環(huán)境中的對(duì)象的數(shù)字呈現(xiàn)。圖2是根據(jù)一個(gè)實(shí)施例的用于用戶204的創(chuàng)建對(duì)象206的數(shù)字表示的環(huán)境200的圖示。應(yīng)當(dāng)理解，此處所描述的這一和其他安排僅作為示例來闡明。附加于或替代于所示的安排和元素，可使用其他安排和元素(例如機(jī)器、接口、功能、次序、以及功能聚集等)，并且可完全省略某些元素。此外，本文所描述的許多元素是可以實(shí)現(xiàn)為分立或分布式組件或結(jié)合其他組件的、以及以任何合適的組合和在任何合適的位置的功能實(shí)體。此處被描述為由一個(gè)或多個(gè)實(shí)體執(zhí)行的各種功能可由硬件、固件和/或軟件來執(zhí)行。例如，各種功能可由執(zhí)行存儲(chǔ)在存儲(chǔ)器中的指令的處理器來執(zhí)行。
[0049]關(guān)注圖2，環(huán)境200示出將對(duì)象206 (如所示為章魚塑像)呈現(xiàn)給計(jì)算設(shè)備202的用戶204，該計(jì)算設(shè)備裝備有兩個(gè)相機(jī):彩色相機(jī)208和深度相機(jī)210。在環(huán)境200中，計(jì)算設(shè)備202是游戲控制臺(tái)，例如由微軟公司創(chuàng)造的微軟Kinect?。計(jì)算設(shè)備202上的相機(jī)捕捉包括對(duì)象206的一個(gè)或多個(gè)圖像。彩色相機(jī)208捕捉圖像的色彩數(shù)據(jù)，而深度相機(jī)210捕捉深度數(shù)據(jù)。在替換實(shí)施例中，計(jì)算設(shè)備202可以僅具有一個(gè)相機(jī)，該相機(jī)同時(shí)捕捉色彩和深度數(shù)據(jù)。
[0050]雖然被示為是單獨(dú)的設(shè)備，計(jì)算設(shè)備202也可以被集成到或通信連接到其它的計(jì)算設(shè)備(例如游戲控制臺(tái)、服務(wù)器等)。計(jì)算系統(tǒng)200的組件可以經(jīng)由網(wǎng)絡(luò)彼此通信，網(wǎng)絡(luò)包括但不限于一個(gè)或多個(gè)局域網(wǎng)(LAN)和/或廣域網(wǎng)(WAN)。此類聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。應(yīng)該理解一些實(shí)施例可以包括附加的計(jì)算設(shè)備202。其每個(gè)都可以包括單個(gè)設(shè)備/接口或在分布式環(huán)境中協(xié)作的多個(gè)設(shè)備/接口。
[0051]在某些實(shí)施例中，所示的一個(gè)或多個(gè)數(shù)字化技術(shù)可以由獨(dú)立的應(yīng)用來實(shí)現(xiàn)?；蛘?，可以由跨諸如因特網(wǎng)的網(wǎng)絡(luò)的不同的計(jì)算設(shè)備或由游戲系統(tǒng)內(nèi)部的模塊來實(shí)現(xiàn)一個(gè)或多個(gè)數(shù)字化技術(shù)。本領(lǐng)域的普通技術(shù)人員可以理解，圖2所示的組件/模塊本質(zhì)和數(shù)量上是示例性的，并且不應(yīng)被解釋為限制。可采用任何數(shù)量的組件/模塊來實(shí)現(xiàn)此處的實(shí)施例的范圍內(nèi)的所需功能。此外，組件/模塊可位于任何數(shù)量的服務(wù)器或客戶計(jì)算設(shè)備上。[0052]雖然用戶204在圖2中被示為將對(duì)象206的前側(cè)呈現(xiàn)給計(jì)算設(shè)備202，但用戶204可以將對(duì)象206的背側(cè)呈現(xiàn)給計(jì)算設(shè)備202，以便捕捉對(duì)象206的背側(cè)圖像。隨后，可以將背側(cè)圖像與對(duì)象206的前側(cè)圖像結(jié)合起來以生成對(duì)象206的3D呈現(xiàn)。每個(gè)所捕捉的圖像可以包括色彩和深度數(shù)據(jù)，這兩者都允許計(jì)算設(shè)備202精確創(chuàng)建對(duì)象206的3D呈現(xiàn)。
[0053]在不同的實(shí)施例中還可以使用附加的對(duì)象106的圖像視圖以幫助數(shù)字化?？梢詮娜我獠煌慕嵌葋砼臄z和錄制對(duì)象106。例如，除了前面和背面視圖之外或替代前面和背面視圖，可以從圖像106的右邊、左邊、底部、頂部來拍攝幾張圖像，以便生成更加穩(wěn)健的3D數(shù)字化。例如，可以在將對(duì)象106的特定側(cè)面進(jìn)行數(shù)字化時(shí)使用幾張側(cè)面視圖。至少在實(shí)施例中，使用的對(duì)象106的視圖越多，3D呈現(xiàn)就越完整或精確。
[0054]圖3是根據(jù)一個(gè)實(shí)施例的用于將對(duì)象進(jìn)行數(shù)字化的工作流程300的圖示。最初，用戶將對(duì)象呈現(xiàn)給計(jì)算設(shè)備上的相機(jī)以拍攝圖像，如在302所示。在一些實(shí)施例中，計(jì)算設(shè)備可以指令用戶移動(dòng)對(duì)象到特定區(qū)域以便捕捉圖像的優(yōu)化圖像一例如要求在顯示屏上提供輪廓、示出用戶和對(duì)象的實(shí)時(shí)圖像，并隨后指令用戶將對(duì)象移動(dòng)到輪廓中。一旦拍攝了初始圖像，計(jì)算設(shè)備可以指令該用戶呈現(xiàn)對(duì)象的背側(cè)以進(jìn)行捕捉，如在304所示。同樣可以由計(jì)算設(shè)備提供捕捉背側(cè)的指導(dǎo)。對(duì)于每個(gè)捕捉的圖像，存儲(chǔ)色彩和深度數(shù)據(jù)并將其用于將正被呈現(xiàn)的對(duì)象進(jìn)行數(shù)字化。而且，可以從對(duì)象的前側(cè)和背側(cè)視角捕捉多張圖像。例如，計(jì)算設(shè)備可以被配置為捕捉10張前面圖像和10張背面圖像，并且可能將所述10張前面圖像和10張背面圖像合并在一起一或使用所有20張圖像來對(duì)圖像進(jìn)行數(shù)字化。雖然10張圖像已經(jīng)被示出為是將一個(gè)對(duì)象進(jìn)行數(shù)字化的理想圖像數(shù)量，但其它實(shí)施例可以使用不同數(shù)量的已捕捉圖像。
[0055]一旦由相機(jī)捕捉了對(duì)象的前面圖像和背面圖像，一個(gè)實(shí)施例開始通過一使用圖像的深度數(shù)據(jù)一搜索圖像中最接近相機(jī)的點(diǎn)來將對(duì)象數(shù)字化，如在306中所示。用戶可能將要數(shù)字化的對(duì)象保持在用戶的前面，這樣，該對(duì)象應(yīng)該比任何其它事物更接近相機(jī)。轉(zhuǎn)回到圖2 —會(huì)，可以注意到用戶204將對(duì)象206保持在他的前面，這樣它更靠近計(jì)算設(shè)備202?？梢允褂门c該圖像相關(guān)聯(lián)的深度數(shù)據(jù)來實(shí)現(xiàn)定位圖像中的最接近對(duì)象，并且一些實(shí)施例在前側(cè)和背側(cè)圖像兩者上都執(zhí)行該過程以標(biāo)識(shí)這兩者中的最接近對(duì)象。
[0056]如在308處所示，隨后搜索圖像中所標(biāo)識(shí)的最接近對(duì)象以查找邊緣以標(biāo)識(shí)何處該對(duì)象結(jié)束。再次使用深度數(shù)據(jù)以定位圖像中的對(duì)象的邊緣。邊緣搜索可以從最接近的點(diǎn)向外開始，查找在點(diǎn)的深度之間的劇烈差異。例如，圖2中的章魚的邊緣可以具有比表示用戶204的肩膀的鄰近點(diǎn)更近差不多半米的一個(gè)點(diǎn)。這種劇烈差異表示了一個(gè)所述鄰近點(diǎn)并不是對(duì)象的一部分且不應(yīng)該被包括在進(jìn)一步的數(shù)字化步驟中的可讀信號(hào)。通過這種方式定位對(duì)象的所有邊緣允許了計(jì)算設(shè)備標(biāo)識(shí)出圖像中的該對(duì)象。
[0057]—旦確定了對(duì)象，一個(gè)實(shí)施例關(guān)閉與圖像的剩余部分(即圖像的沒有被標(biāo)識(shí)為對(duì)象的部分)相關(guān)聯(lián)的色彩數(shù)據(jù)。在一些實(shí)施例中，可能必需捕捉多個(gè)圖像(例如對(duì)象的10個(gè)前面和10個(gè)背面的圖像)，因此，需要一種平滑技術(shù)以混合幀之間的所找到的邊緣，如在310所示。例如，對(duì)象在幀I和幀4之間可能已經(jīng)移動(dòng)，因而平滑幀之間的邊緣是取得對(duì)象的精確表示所必需的。另外，在深度到色彩記錄(registration)中的噪聲、低分辨率和瑕疵也可能需要附加的邊緣平滑和/或?yàn)V波。
[0058]在一個(gè)實(shí)施例中，所得的經(jīng)平滑和/或經(jīng)濾波的對(duì)象被呈現(xiàn)給用戶用于確認(rèn)，如在312所示。隨后，用戶可以接受或拒絕所得的對(duì)象。如果接受，隨后附加處理行進(jìn)到將對(duì)象進(jìn)行數(shù)字化。如果拒絕，實(shí)施例可以要求用戶通過拍攝對(duì)象的新圖片來開始處理或僅僅重新平滑或重新濾波所述對(duì)象。
[0059]最終，前面和背面的圖像被用于在生成在3D中的對(duì)象的點(diǎn)云構(gòu)造。如在圖11中詳細(xì)描述的“點(diǎn)云構(gòu)造”是通過被標(biāo)識(shí)的對(duì)象的每個(gè)點(diǎn)或像素的深度將對(duì)象的前面和/或背面的圖像映射到3D空間。點(diǎn)云構(gòu)造可以被用在對(duì)象的進(jìn)一步的數(shù)字化中。但是，替換的實(shí)施例可以使用深度和色彩數(shù)據(jù)的其它表示或空間聚合來從不同的圖像中創(chuàng)建對(duì)象的構(gòu)造或其它類型的表示。
[0060]圖4-26示出了在數(shù)字化處理中的各種步驟的圖像，并且將在下面進(jìn)一步詳細(xì)討論以說明由不同的實(shí)施例使用的處理。特別地，圖4A和4B是根據(jù)一個(gè)實(shí)施例的呈現(xiàn)用于數(shù)字化的對(duì)象的用戶的相機(jī)觀看視角的圖示。在所示的實(shí)施例中，捕捉對(duì)象的兩個(gè)視圖。彩色相機(jī)在框的中央縮放以在目標(biāo)對(duì)象周圍獲得640x480彩色的窗口，并且隨后將彩色窗口的四角變換成深度幀坐標(biāo)(假設(shè)所述角位于目標(biāo)對(duì)象的前面)。隨后從深度幀中抓取一個(gè)匹配的160x120的窗口。在沒有這種每幀窗口調(diào)整(取決于目標(biāo)對(duì)象到相機(jī)的距離)的情況下，深度和彩色窗口不會(huì)充分重疊。而且，可以在不執(zhí)行深度到色彩或色彩到深度的記錄的情況下捕捉原始色彩和深度。所述分辨率數(shù)目和窗口僅供說明的目的，因?yàn)榭梢蕴鎿Q地使用各種其它的分辨率。
[0061]在一個(gè)實(shí)施例中，深度圖像對(duì)目標(biāo)對(duì)象進(jìn)行分割。為了這么做，搜索并找到到相機(jī)的最接近的深度像素，假設(shè)這樣的一個(gè)點(diǎn)在目標(biāo)對(duì)象上。隨后，該實(shí)施例從所找到的最接近的點(diǎn)開始向外泛色填充，直到碰到深度邊緣(即深度離開對(duì)象的前面太遠(yuǎn)或我們不具有深度數(shù)據(jù))。另外，可以移除在陡坡區(qū)域周圍的且具有太少的鄰居的點(diǎn)。所述結(jié)果是在目標(biāo)對(duì)象上的深度像素(在此稱為“被分割的深度像素”)的屏蔽，如圖5所示。被分割的深度圖像被存儲(chǔ)在深度圖像的環(huán)形緩沖區(qū)(裝有大小為10的環(huán)形緩沖區(qū)的BAB/G0E)，覆蓋最舊的深度幀并將所有幀一起取平均以獲得最終的深度圖像。在一個(gè)實(shí)施例中，僅有已分割的深度像素對(duì)最終平均做出貢獻(xiàn)。結(jié)果，平滑了噪聲，導(dǎo)致更加穩(wěn)定的對(duì)象邊緣，并改善了在其中由于噪聲或弱IR反射材料引起對(duì)象的部分的分割閃爍的情形。
[0062]圖6是根據(jù)一個(gè)實(shí)施例的深度對(duì)顏色的偏移的圖示。如所示，一個(gè)實(shí)施例建立了一個(gè)深度對(duì)顏色偏移表，具有綠色(在右上角中示出)、紅色(在左下角中示出)以及在這之間的兩種顏色的混合。每個(gè)像素的深度和色彩空間坐標(biāo)之間的偏移被存儲(chǔ)在用于在色彩分割和網(wǎng)格處理期間的快速查找的表中，并且有助于僅使用這兩種已捕捉的色彩圖像完美地再現(xiàn)輸出網(wǎng)格，而不考慮特定相機(jī)的校準(zhǔn)設(shè)置。通過在分割的邊緣處向外復(fù)制偏移可以填充在對(duì)象分割外面的表的區(qū)域。在邊緣處復(fù)制的偏移可以隨后用于處理當(dāng)在輸出的網(wǎng)格中投射到深度圖像中的頂點(diǎn)落在深度分割的邊界之外時(shí)的情況。
[0063]圖7是源色彩圖像的圖示，而圖8是根據(jù)一個(gè)實(shí)施例的所捕捉的對(duì)象的色彩分割的圖示。從在深度空間中分割開始，一個(gè)實(shí)施例使用類似星形的縱板圖案(star-likesplat pattern)將每個(gè)分割的深度像素放入320x240色彩分割緩沖區(qū)。隨后可以對(duì)所得的圖案“上采樣”到640x480，并且，隨后為每個(gè)分割的色彩像素計(jì)算一個(gè)“離理想的距離”值，該值描述了源深度像素離開“理想”距離有多遠(yuǎn)。理想距離表示在不與深度相機(jī)的前面剪切平面相交的情況下，用戶應(yīng)該持有目標(biāo)對(duì)象離相機(jī)有多近，以便獲得盡可能多的色彩/深度數(shù)據(jù)。這些值可以被作為給用戶的反饋在捕捉過程期間呈現(xiàn)。距離理想更遠(yuǎn)的像素可以被模糊化，并且與離理想更近的像素相比更加重地著色。離理想的距離的值最終被復(fù)制到色彩圖像的alpha通道中用于實(shí)時(shí)預(yù)覽。
[0064]圖9和10是根據(jù)一個(gè)實(shí)施例的用于保持要被數(shù)字化的對(duì)象的用戶界面(UI)指導(dǎo)的圖示。圖9示出了所示的實(shí)施例分析所分割的像素的數(shù)目、到相機(jī)的距離、離開相機(jī)視圖的中心的距離、像素穩(wěn)定性以及對(duì)象大小，并給出如何最佳安置對(duì)象的用戶可視的和文本反饋。所述反饋可以是以在屏幕上的輪廓的形式。圖10示出使用如上所述相同的過程的目標(biāo)對(duì)象的背面圖像的色彩和深度數(shù)據(jù)。一個(gè)實(shí)施例使用所分割的前面捕捉的輪廓來指導(dǎo)用戶正確確定對(duì)象的方位。所述用戶不需要精確匹配輪廓，因?yàn)殡S后可以自動(dòng)對(duì)齊前面和背面的捕捉。
[0065]圖11示出根據(jù)一個(gè)實(shí)施例的點(diǎn)云構(gòu)造。此時(shí)，兩個(gè)色彩和深度數(shù)據(jù)圖像已經(jīng)針對(duì)目標(biāo)對(duì)象進(jìn)行分割。使用這些圖像，可以構(gòu)建在目標(biāo)對(duì)象的表面上的點(diǎn)的點(diǎn)云構(gòu)造，并且隨后用于重新構(gòu)建三角網(wǎng)格。在前面深度圖像中的所分割的像素可以變換成3D點(diǎn)的“薄片(sheet)”。在一個(gè)實(shí)施例中，位置沒有從深度圖像空間投射到模型空間，并且原點(diǎn)在薄片的背面中心。通過加入附加的點(diǎn)以形成對(duì)象的側(cè)面，薄片的邊緣被向后擠壓(extrude)。為了猜測(cè)對(duì)象有多“深”，在BAB/G0E中，可以使用固定的擠壓距離值。
[0066]類似地，使用前面捕捉的背面中心作為原點(diǎn)來從背面深度圖像中創(chuàng)建3D點(diǎn)的薄片。圖12是根據(jù)一個(gè)實(shí)施例的對(duì)齊的點(diǎn)薄片的兩個(gè)視圖的圖示。為了對(duì)齊薄片，計(jì)算初始變換以圍繞上軸旋轉(zhuǎn)該薄片180度，以便其形成點(diǎn)云的背面。在一個(gè)實(shí)施例中，計(jì)算另一個(gè)變換，其中將前面和背面薄片的邊緣盡可能靠近對(duì)齊。對(duì)齊處理可以將背面薄片轉(zhuǎn)變?yōu)楸趁姹∑馁|(zhì)心與前面薄片的質(zhì)心匹配。隨后在轉(zhuǎn)變和旋轉(zhuǎn)范圍上使用強(qiáng)力迭代以最小化“對(duì)齊錯(cuò)誤”值，該值是作為從每個(gè)前面邊緣點(diǎn)到其最接近的背面邊緣點(diǎn)的距離的總和來計(jì)算的?？梢砸远啻瓮ㄟ^的方式來完成迭代(每個(gè)通過試圖一次一個(gè)地計(jì)算每個(gè)轉(zhuǎn)變和旋轉(zhuǎn)軸的最佳值)，并且為了效率使用兩層層次結(jié)構(gòu)方案來完成跨每個(gè)軸的搜索。使用3D單元格空間分隔來加速最接近的點(diǎn)的查找。一個(gè)實(shí)施例也實(shí)現(xiàn)了一種用于快速細(xì)粒度對(duì)齊的迭代最接近點(diǎn)(“ICP”)算法，或者替換地，對(duì)于更好控制的需求可以指示僅使用強(qiáng)力方法迭代。
[0067]來自前面薄片的在背面薄片中不具有對(duì)應(yīng)點(diǎn)的點(diǎn)可以被挑選出以從每個(gè)前面的點(diǎn)向后搜索以查找最接近的背面的點(diǎn)。類似地，可以挑選出來自背面薄片的在前面薄片中不具有對(duì)應(yīng)點(diǎn)的點(diǎn)。這移除了薄片的在前面和背面捕捉中不一致的點(diǎn)，這種情況在如果用戶的手在所述捕捉中但在捕捉之間改變了位置時(shí)，或者在如果對(duì)象在前面和背面捕捉之間改變了形狀時(shí)會(huì)出現(xiàn)。
[0068]在一個(gè)實(shí)施例中，將剩余的點(diǎn)一起合成為最終的點(diǎn)云，并且使用由每個(gè)點(diǎn)和其右下的鄰居形成的平面來計(jì)算這些點(diǎn)的法線(normal)。圖13示出根據(jù)一個(gè)實(shí)施例的最終的點(diǎn)云構(gòu)造。
[0069]隨后，將確認(rèn)圖像呈現(xiàn)給用戶，如圖14所示。確認(rèn)圖像合并了薄片對(duì)齊和點(diǎn)挑選的結(jié)果，允許用戶檢測(cè)捕捉、對(duì)齊或挑選嚴(yán)重失敗的情況，并且在不必須經(jīng)歷構(gòu)造過程的剩余部分的情況下重新捕捉。通過將最終的點(diǎn)云中的點(diǎn)投射并放入前面和背面色彩圖像的alpha通道、基于對(duì)齊變換來旋轉(zhuǎn)背面圖像以及做出某些附加的圖像清除，來創(chuàng)建所述圖像。
[0070]表面重新構(gòu)造步驟采用最終的點(diǎn)云并生成三角網(wǎng)格。圖15示出通過表面重新構(gòu)造的網(wǎng)格輸出的圖示。一個(gè)實(shí)施例使用了由在MSR-北京的通信小組中的Minmin Gong所開發(fā)的泊松(Poisson)表面重構(gòu)算法的混合CPU/GPU實(shí)現(xiàn),所述實(shí)現(xiàn)在由KazhdaruBolitho和Hoppe的“泊松表面重構(gòu)”以及Zhou、Gong、Huang和Guo的“高度并行表面重構(gòu)”中有詳細(xì)描述。這可能是數(shù)字化中在存儲(chǔ)器和時(shí)間這兩方面中最計(jì)算上密集的部分，在某些實(shí)施例中，對(duì)于大約20，000個(gè)點(diǎn)的典型點(diǎn)云數(shù)據(jù)來說花費(fèi)10-20秒。在重構(gòu)期間可以限制洞填充的數(shù)量以保持存儲(chǔ)器的使用率受到控制，但是，如果在點(diǎn)云中存在大量的洞，這樣的限制可以導(dǎo)致非水密的網(wǎng)格。
[0071]圖16是根據(jù)一個(gè)實(shí)施例的經(jīng)平滑和處理的對(duì)象的圖像的圖示。構(gòu)建頂點(diǎn)鄰接列表，并且計(jì)算面和頂點(diǎn)法線。隨后，一個(gè)實(shí)施例使用拉普拉斯算子算法來平滑某些約束。結(jié)果，對(duì)象的所述側(cè)面變得完美，噪聲被移除，并且在其中點(diǎn)的薄片沒有完美排列起來的區(qū)域
被清理。
[0072]依據(jù)點(diǎn)云的質(zhì)量，表面重構(gòu)可以創(chuàng)建小的幾何“島”以取代單個(gè)大的網(wǎng)格。一個(gè)實(shí)施例使用所連接的組件的標(biāo)記來查找島、計(jì)算它們的體積、并移除那些明顯小于最大的島的島。
[0073]對(duì)于每個(gè)頂點(diǎn)，一個(gè)實(shí)施例查找在該頂點(diǎn)的法線和前面及背面捕捉視圖方向之間的點(diǎn)積。前面視圖方向可以沿模型空間的負(fù)Z軸，而背面視圖方向可以取決于薄片對(duì)齊處理的結(jié)果而不是沿正Z軸。結(jié)果，一些頂點(diǎn)對(duì)于前面和背面捕捉視圖兩者都是可見的，而一些頂點(diǎn)可以對(duì)于這兩個(gè)視圖都不可見。如果一些頂點(diǎn)的法線面向前面超過背面，則它們可以被分類為“前面”，反之亦然。這也允許定位“接合”頂點(diǎn)(即橫跨對(duì)象的前面和背面視圖的頂點(diǎn))。
[0074]為了創(chuàng)建紋理圖并應(yīng)用到最終的網(wǎng)格，一個(gè)實(shí)施例將來自所述前面捕捉的色彩圖像放置在紋理的頂部，而將來自所述背面捕捉的色彩圖像直接放置在前面捕捉之下。隨后，將來自紋理的頂部部分的紋理像素(Texel)映射到主面向前面的三角形，并且對(duì)于主面向背面的三角形來說反之亦然?？梢栽谡醚厍懊?背面接縫的前面和背面三角形之間初始地共享頂點(diǎn)，并且隨后，復(fù)制這些被共享的頂點(diǎn)以便將紋理的不同部分映射到前面對(duì)背面的三角形。
[0075]圖17示出了具有UV坐標(biāo)的圖像的圖示,而圖18示出根據(jù)一個(gè)實(shí)施例將面向前面的三角形邊緣繪制到最終的紋理圖的一個(gè)部分中的圖示。為了計(jì)算UV坐標(biāo)，面向前面的三角形被映射到紋理的頂部部分，在該部分中放置有前面捕捉色彩圖像，并且對(duì)于底部來說也是一樣的。頂點(diǎn)位置在深度相機(jī)的空間中，而色彩圖像位于顏色相機(jī)的空間中，因此，在將頂點(diǎn)投射到前面/背面深度圖像上之后，一個(gè)實(shí)施例使用深度到色彩偏差表來將坐標(biāo)變換到顏色相機(jī)空間。
[0076]在一個(gè)實(shí)施例中，網(wǎng)格參照上軸被重新居中、鏡像，并且縮放以增強(qiáng)最大寬/高t匕。所捕捉的色彩和深度圖像對(duì)比于實(shí)際的物理對(duì)象被鏡像，因此，另一個(gè)鏡像被用于將其倒轉(zhuǎn)。對(duì)于較高而不是較寬的對(duì)象，可以優(yōu)化骨架并且加入動(dòng)畫，這樣，寬/高比限制在由動(dòng)畫不與某個(gè)骨架匹配的寬對(duì)象所引起的偽影上設(shè)置了一個(gè)限制范圍。
[0077]在一個(gè)實(shí)施例中，單個(gè)骨架被用于所有動(dòng)畫骨架。該骨架可以具有給出良好運(yùn)動(dòng)范圍(走路、跳躍、爬行、跳舞、看左看右等)，而不是要求目標(biāo)對(duì)象具有更多外形。
[0078]為了將皮膚應(yīng)用到經(jīng)數(shù)字化的圖像，重新縮放并定位網(wǎng)格，這樣，骨架在其內(nèi)部合適，因?yàn)轫敳抗穷^定位在離對(duì)象的頂部某個(gè)百分比(例如大約90%)(將其粗略地放置在對(duì)象的“頭”內(nèi))，而底部骨頭在對(duì)象的底部范圍。通過沿上軸查找與每個(gè)頂點(diǎn)最接近的骨頭并使用壓降曲線來對(duì)它們進(jìn)行加權(quán)，可以計(jì)算骨頭的索引并為骨架加入權(quán)重。圖19A-19E是根據(jù)一個(gè)實(shí)施例的示出要添加到所生成的骨架結(jié)構(gòu)的不同骨頭處的加權(quán)的圖示。
[0079]處理色彩和/或深度圖像以減少噪聲并改善質(zhì)量。在一個(gè)實(shí)施例中獨(dú)自在前面和背面圖像上完成處理，并且將結(jié)果合并入最終紋理圖，這可能需要附加處理。依照來自藝術(shù)家的某些實(shí)驗(yàn)和反饋，發(fā)現(xiàn)下述步驟是最佳的:將sRGB色彩轉(zhuǎn)換成線性空間、應(yīng)用“灰度世界”自動(dòng)白平衡、修復(fù)邊緣偽影、計(jì)算亮度和色度值、應(yīng)用雙向過濾器、直方圖均衡以及對(duì)亮度銳化、對(duì)色度應(yīng)用中值濾波器、轉(zhuǎn)換回sRGB，并且最終，將色彩邊緣向外延伸到圖像的去分割區(qū)域。在不同的實(shí)施例中，可以加入其它步驟，或者刪除上述某些步驟。
[0080]圖20A和20B是根據(jù)一個(gè)實(shí)施例的示出在亮度/色度處理之前和之后的圖像。獨(dú)立處理亮度/色度允許更加強(qiáng)力地過濾色度同時(shí)保留亮度圖像中的細(xì)節(jié)，這對(duì)去除圖像噪聲是有利的?？梢暂p度應(yīng)用直方圖均衡以補(bǔ)償曝光欠佳的圖像。
[0081]圖21A和21B是根據(jù)一個(gè)實(shí)施例的示出在對(duì)邊緣濾波之后的源和輸出圖像。在一個(gè)實(shí)施例中，“邊緣修復(fù)濾波器”試圖替換在目標(biāo)對(duì)象邊緣處的色彩，這些色彩實(shí)際來自背景而非對(duì)象自身。由于相對(duì)低的分辨率和深度圖像的高噪聲以及有缺陷的深度到色彩記錄使得壞色彩可能蔓延。邊緣修復(fù)濾波器在對(duì)象邊緣周圍的像素“爭(zhēng)議區(qū)域”上直接工作。假設(shè)爭(zhēng)議區(qū)域內(nèi)的像素是目標(biāo)對(duì)象的確定部分，而更外面的像素是背景部分，則計(jì)算每個(gè)爭(zhēng)議區(qū)域像素的“背景似然值”，并將其用于向內(nèi)部顏色混合高似然度背景像素。
[0082]圖22A和22B是根據(jù)一個(gè)實(shí)施例的示出在其中所述邊緣修復(fù)濾波器查找背景顏色和目標(biāo)顏色的圖像。從外面將目標(biāo)顏色外插入爭(zhēng)議區(qū)域中。
[0083]圖23A和23B是示出根據(jù)一個(gè)實(shí)施例的從邊緣到爭(zhēng)議區(qū)域的距離以及計(jì)算的背景似然值的圖像。而且，圖24示出根據(jù)本發(fā)明的通過在非最終圖像的塔(tope)上紋理化后的圖像的最終合成的紋理圖。
[0084]從將前面和背面圖放置在一起所導(dǎo)致的接縫可能需要被修復(fù)。網(wǎng)格處理的最后一位被用于改善在前面-背面接縫附近的以及在捕捉期間對(duì)顏色相機(jī)不可見的區(qū)域中的對(duì)象的外觀。首先，計(jì)算每個(gè)頂點(diǎn)的屏蔽值，該值表示了紋理色彩將在該頂點(diǎn)處有多“壞”的。該值是到接縫(其中前面和背面圖像接觸但通常不是排列得很好)的距離的乘積，以及一個(gè)頂點(diǎn)相對(duì)于任意所捕捉的圖像是如何面向背面的(其中由于表面沒有面對(duì)相機(jī)視野并且不足的紋理像素密度，紋理色彩分解了)。這些值可以被存儲(chǔ)在頂點(diǎn)的色彩alpha通道。接著，計(jì)算表面色彩的模糊版本，并存儲(chǔ)到頂點(diǎn)色彩RGB通道。這些色彩在質(zhì)量上是相當(dāng)好的(雖然是低細(xì)節(jié))。需要修復(fù)的負(fù)面?zhèn)斡氨幌鄬?duì)地定位，且是較高頻率的，然而所述模糊化給出了更加全局、低頻率的色彩。
[0085]圖25A和25B是根據(jù)一個(gè)實(shí)施例的屏蔽值和重度模糊化的頂點(diǎn)色彩。在一個(gè)實(shí)施例中，在運(yùn)行時(shí)的屏蔽值被用于在源紋理和經(jīng)模糊化的頂點(diǎn)色彩之間混合。圖26A和26B是根據(jù)一個(gè)實(shí)施例的僅具有紋理(26A)和具有由屏蔽值(26B)所混合的頂點(diǎn)色彩的紋理的不同的網(wǎng)格。[0086]圖27是根據(jù)一個(gè)實(shí)施例的用于經(jīng)數(shù)字化的對(duì)象的最終呈現(xiàn)。在一個(gè)實(shí)施例中，一旦最終的網(wǎng)格和紋理是完整的，就創(chuàng)建并渲染虛幻引擎3網(wǎng)格，連同環(huán)境及輪廓照明、自屏蔽和動(dòng)畫。GOE應(yīng)用還允許用戶通過將Nui骨架映射到所述骨架上來將所述對(duì)象進(jìn)行數(shù)字化。
[0087]上述步驟平衡了可用性、CPU/GPU/存儲(chǔ)器限制、輸出質(zhì)量、藝術(shù)關(guān)注、傳感器精度以及開發(fā)時(shí)間。做出了可能不是專用于每個(gè)場(chǎng)景的折衷。這樣，可以加入不同的步驟或刪除上述某些步驟以改善速度或最終數(shù)字化的質(zhì)量。
[0088]圖28是根據(jù)一個(gè)實(shí)施例的用于將對(duì)象進(jìn)行數(shù)字化的工作流程2800。接收?qǐng)D像的色彩和深度數(shù)據(jù)，如在2802處所示。分析所述深度數(shù)據(jù)，通過基于假設(shè)用戶最可能將對(duì)象呈現(xiàn)給用于捕捉的相機(jī)來標(biāo)識(shí)離該相機(jī)的最近的圖像的點(diǎn)，以找到感興趣的對(duì)象?？梢蕴鎿Q地或附加地使用確定感興趣的對(duì)象的替換方法?？梢允褂貌煌膱D像識(shí)別或算法匹配技術(shù)來定位圖像中的對(duì)象，因此實(shí)施例并不是要限制于任意專門類型的用于定位圖像中的對(duì)象的裝置。而且，除了深度數(shù)據(jù)之外或作為深度數(shù)據(jù)的替換，實(shí)施例還可以使用圖像的色彩數(shù)據(jù)來定位對(duì)象。例如，可口可樂的罐子可以包括紅色的商標(biāo)顏色，當(dāng)試圖定位圖片中的罐子時(shí)，可以使得色彩數(shù)據(jù)特別相關(guān)。這樣，可以以許多不同的方式來查找感興趣的對(duì)象。
[0089]一旦定位了感興趣的對(duì)象，就標(biāo)識(shí)對(duì)象的邊緣，如在2806所示?？梢酝ㄟ^分析圖像中在對(duì)象周圍的色彩、深度或?qū)Ρ榷炔町悂碜龀鲞@樣的確定。一旦定位了邊緣，可以使用圖像的色彩和深度數(shù)據(jù)執(zhí)行對(duì)象的點(diǎn)云構(gòu)造，如在2808處所示。為了將對(duì)象在3D中進(jìn)行數(shù)字化，可以基于多個(gè)圖像(例如背面、前面、頂面、底面等)的色彩和深度數(shù)據(jù)來構(gòu)建對(duì)象的不同側(cè)面的多個(gè)點(diǎn)云構(gòu)造。一旦創(chuàng)建了多個(gè)點(diǎn)云構(gòu)造，可以將它們聚合以創(chuàng)建對(duì)象的最終數(shù)字化，如在2810處所示。
[0090]圖29是根據(jù)一個(gè)實(shí)施例的用于將對(duì)象進(jìn)行數(shù)字化的工作流程2900。一旦接收到對(duì)象的圖像，如在2902處所示,標(biāo)識(shí)圖像的最接近點(diǎn)，如在2904處所示。標(biāo)識(shí)對(duì)象的側(cè)面(例如左面、右面、北面、南面、頂面、底面等)，如在2906處所示。創(chuàng)建圖像的點(diǎn)云構(gòu)造,如在2908處所示，并將其合并成單個(gè)呈現(xiàn)，如在2910處所示。隨后，可以保存所得的呈現(xiàn)，如在2912處所示,并在顯示設(shè)備上將其顯示。
[0091]所描繪的各組件以及未示出的組件的許多不同的安排都是可能的，而不背離所附權(quán)利要求書的精神和范圍。已帶著說明而非限制的意圖描述了本技術(shù)的各實(shí)施例。在閱讀本發(fā)明之后或由于閱讀了本發(fā)明，替換實(shí)施例將變得對(duì)本發(fā)明的讀者顯而易見?？赏瓿蓪?shí)現(xiàn)上述的替換裝置而不脫離所附權(quán)利要求書的范圍。某些特征和子組合是有用的，并且可以使用而無需參考其他特征和子組合并且被認(rèn)為是在權(quán)利要求書的范圍之內(nèi)的。
【權(quán)利要求】
1.在其上包含有計(jì)算機(jī)可執(zhí)行指令的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，當(dāng)所述指令被執(zhí)行時(shí)，對(duì)由相機(jī)捕捉的對(duì)象進(jìn)行數(shù)字化，所述方法包括: 接收與圖像相關(guān)聯(lián)的色彩和深度數(shù)據(jù)； 標(biāo)識(shí)所述圖像中到所述相機(jī)最接近的點(diǎn)； 從所述最接近的點(diǎn)中標(biāo)識(shí)出在所述圖像中的對(duì)象的邊緣； 使用所述深度數(shù)據(jù)來生成所述對(duì)象的點(diǎn)云構(gòu)造；以及 使用所述點(diǎn)云構(gòu)造來生成所述對(duì)象的數(shù)字化。
2.如權(quán)利要求1所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，標(biāo)識(shí)所述圖像中到所述相機(jī)最接近的點(diǎn)進(jìn)一步包括: 計(jì)算在所述相機(jī)的光圈和所述圖像中的多個(gè)點(diǎn)之間的距離；以及 從所述距離中選擇最短的距離。
3.如權(quán)利要求2所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，還包括: 標(biāo)識(shí)以所述最短距離連接到對(duì)象的一個(gè)特征；以及 存儲(chǔ)表示所述對(duì)象到所述相機(jī)的最接近的部分的所述特征的指示。
4.如權(quán)利要求1所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，還包括: 接收所述對(duì)象的第二圖像的色彩和深度數(shù)據(jù)； 確定在所述第二圖像中的第二最接近的點(diǎn)； 標(biāo)識(shí)在所述第二最接近的點(diǎn)處的所述對(duì)象；以及 生成如在所述第二圖像中取向的所述對(duì)象的第二點(diǎn)云構(gòu)造。
5.如權(quán)利要求4所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，還包括: 標(biāo)識(shí)在所述點(diǎn)云構(gòu)造和第二點(diǎn)云構(gòu)造之間的接縫； 確定要填充所述接縫部分的填充器顏色； 用所述填充器顏色來填充所述接縫部分，以創(chuàng)建在所述點(diǎn)云構(gòu)造和第二點(diǎn)云構(gòu)造之間沒有接縫的3D呈現(xiàn)；以及存儲(chǔ)所述3D呈現(xiàn)。
6.如權(quán)利要求1所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述標(biāo)識(shí)所述對(duì)象還包括: 在所述圖像中的最接近的點(diǎn)的周圍的空間區(qū)域中執(zhí)行圖像分析； 基于所述圖像分析確定在所述空間區(qū)域中的兩個(gè)區(qū)域之間的色彩差異； 指派所述區(qū)域之一與所述對(duì)象相關(guān)聯(lián)；以及 移除具有與所述區(qū)域之一不同顏色的另一個(gè)區(qū)域。
7.如權(quán)利要求1所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，還包括移除區(qū)域周圍的所述圖像的一個(gè)或多個(gè)點(diǎn)，所述區(qū)域具有少于閾值數(shù)目的與所述對(duì)象相關(guān)聯(lián)的鄰居點(diǎn)，導(dǎo)致所述對(duì)象的深度像素的屏蔽。
8.如權(quán)利要求7所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，還包括以下述方式將深度像素的屏蔽存儲(chǔ)在深度幀的環(huán)形緩沖區(qū)中:覆蓋至少一個(gè)深度幀并將多個(gè)幀一起平均以產(chǎn)生最終的深度圖像。
9.一種顯示對(duì)象的數(shù)字表示的方法，包括: 接收從不同視角捕捉的所述對(duì)象的圖像；在兩個(gè)單獨(dú)的圖像中，使用各自的深度數(shù)據(jù)來標(biāo)識(shí)在所述圖像中到一個(gè)或多個(gè)相機(jī)最接近的點(diǎn)； 從所述最接近的點(diǎn)中標(biāo)識(shí)所述對(duì)象的至少兩個(gè)不同的側(cè)面； 創(chuàng)建捕捉所述對(duì)象的所述至少兩個(gè)不同的側(cè)面的構(gòu)造； 將所述構(gòu)造合并到所述對(duì)象的一個(gè)呈現(xiàn)中；以及 存儲(chǔ)所述對(duì)象的所述呈現(xiàn)。
10.如權(quán)利要求9所述的方法，其特征在于，還包括: 確定所述構(gòu)造之一的連接到另一個(gè)構(gòu)造的點(diǎn)；以及 在所述點(diǎn)對(duì)齊所述構(gòu)造。
11.如權(quán)利要求10所述的方法，其特征在于，至少一個(gè)所述圖像從服務(wù)器接收。
12.如權(quán)利要求9所述的方法，其特征在于，還包括: 對(duì)于每個(gè)圖像，標(biāo)識(shí)所述對(duì)象的邊界；以及 當(dāng)合并所述構(gòu)造時(shí)，用顏色填充在兩個(gè)邊界之間的至少一個(gè)縫隙以減少所述構(gòu)造之間的接縫部分。
13.如權(quán)利要求9所述的方法，其特征在于，所述圖像包括色彩和深度數(shù)據(jù)。
14.一種計(jì)算設(shè)備，包括: 能夠捕捉或接收?qǐng)D像的相機(jī)，每個(gè)圖像包括色彩和深度數(shù)據(jù)； 存儲(chǔ)至少一個(gè)圖像的所述色彩數(shù)據(jù)和所述深度數(shù)據(jù)的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)；以及 一個(gè)或多個(gè)處理器，被配置成: (1)標(biāo)識(shí)所述至少一個(gè)圖像中的對(duì)象， (2)創(chuàng)建在所述至少一個(gè)圖像中的所述對(duì)象的數(shù)字表示，以及 (3)通過將所述數(shù)字表示與從第二圖像創(chuàng)建的所述對(duì)象的第二數(shù)字表示進(jìn)行組合，來創(chuàng)建所述對(duì)象的3D呈現(xiàn)；以及 配置為顯示所述3D呈現(xiàn)的顯示設(shè)備。
15.如權(quán)利要求14所述的一個(gè)或多個(gè)計(jì)算機(jī)存儲(chǔ)介質(zhì)，其特征在于，所述一個(gè)或多個(gè)處理器根據(jù)移動(dòng)所述對(duì)象的肢體的一組規(guī)則來在所述顯示設(shè)備上移動(dòng)所述對(duì)象。
【文檔編號(hào)】H04N13/00GK103703489SQ201280027694
【公開日】2014年4月2日 申請(qǐng)日期:2012年6月5日 優(yōu)先權(quán)日:2011年6月6日
【發(fā)明者】J·J·埃弗特, J·A·克拉克, C·H·維羅畢, M·斯卡維澤, J·蒂亞奎羅, R·馬爾科維奇, J·索拉, D·哈利 申請(qǐng)人:微軟公司