使用多邊形的3d網(wǎng)格和對(duì)應(yīng)紋理對(duì)圖像進(jìn)行編碼的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 一般來(lái)說(shuō),本發(fā)明涉及編碼。更具體來(lái)說(shuō),本發(fā)明涉及編碼深度信息。
【背景技術(shù)】
[0002]在圖像捕獲期間,存在用來(lái)捕獲與圖像紋理信息關(guān)聯(lián)的深度信息的各種技術(shù)。深度信息通常用來(lái)產(chǎn)生具有三維(3D)多邊形網(wǎng)格(其定義圖像中的3D對(duì)象的形狀)的點(diǎn)云或深度圖。
[0003]原始或者未壓縮深度信息可由照相裝置來(lái)捕獲,并且然后發(fā)送給處理單元供進(jìn)一步處理。深度信息可按照多種格式的任一種發(fā)送給處理單元。深度信息也可使用立體對(duì)或者多視圖立體重構(gòu)方法從2D圖像來(lái)得出。此外,深度信息可從大量直接深度感測(cè)方法(包括結(jié)構(gòu)光、飛行時(shí)間傳感器和許多其它技術(shù))來(lái)得出。
[0004]在處理之后,深度信息可按照若干格式來(lái)表示,包括但不限于3D空間中的X、Y和Z點(diǎn)云、2D深度圖圖像或者三角形或四邊形的3D表面網(wǎng)格。用于表示深度信息的其它格式包括XML編碼格式、文本格式或者圖形格式(例如OpenGL)。
【附圖說(shuō)明】
[0005]圖1是可按照實(shí)施例使用的計(jì)算裝置的框圖;
圖2A是按照實(shí)施例的多邊形網(wǎng)格;
圖2B是按照實(shí)施例的施加紋理的多邊形網(wǎng)格;
圖3是示出按照實(shí)施例、用于再現(xiàn)3D圖像的方法的過(guò)程流程圖;
圖4是按照實(shí)施例、M幀、T幀和C幀中存儲(chǔ)的數(shù)據(jù)的簡(jiǎn)圖;
圖5是按照實(shí)施例的幀序列;
圖6是示出按照實(shí)施例、用于使用網(wǎng)格和紋理對(duì)圖像進(jìn)行編碼的方法的過(guò)程流程圖;圖7是示出按照實(shí)施例、存儲(chǔ)用于使用網(wǎng)格和對(duì)應(yīng)紋理對(duì)圖像進(jìn)行編碼的代碼的有形非暫時(shí)計(jì)算機(jī)可讀介質(zhì)的框圖;
圖8是按照實(shí)施例、用于使用多邊形的3D網(wǎng)格和對(duì)應(yīng)紋理對(duì)圖像進(jìn)行編碼的示范系統(tǒng)的框圖;
圖9是按照實(shí)施例、可實(shí)施圖8的系統(tǒng)的小形狀因數(shù)裝置900的示意圖;以及圖10是示出按照實(shí)施例、用于在打印裝置中打印使用多邊形的3D網(wǎng)格和對(duì)應(yīng)紋理所編碼的圖像的方法的過(guò)程流程圖。
[0006]相同標(biāo)號(hào)在本公開(kāi)和附圖中通篇用來(lái)表不相似組件和特征。100系列中的標(biāo)號(hào)表示最初見(jiàn)于圖1的特征;200系列中的標(biāo)號(hào)表示最初見(jiàn)于圖2的特征;依此類(lèi)推。
【具體實(shí)施方式】
[0007]如上所述,深度信息可連同關(guān)聯(lián)圖像紋理信息一起發(fā)送給處理單元供進(jìn)一步處理。在實(shí)施例中,可使用提取深度信息的任何技術(shù)。深度信息可按照多種格式的任一種發(fā)送給處理單元。例如,結(jié)構(gòu)光圖案可廣播到畫(huà)面中,以及深度信息可通過(guò)檢測(cè)圖案的大小來(lái)重構(gòu),因?yàn)榻Y(jié)構(gòu)光圖案隨距離而變化。在其它示例中,飛行時(shí)間(TOF)傳感器可用來(lái)通過(guò)測(cè)量紅外光從傳感器到對(duì)象并且返回的往返飛行時(shí)間來(lái)采集信息。
[0008]如上所述,深度信息也可使用立體對(duì)或者多視圖立體重構(gòu)方法從2D圖像來(lái)得出,或者深度信息可從大量直接深度感測(cè)方法(包括結(jié)構(gòu)光、飛行時(shí)間傳感器和許多其它方法)來(lái)得出。但是,當(dāng)前2D圖像捕獲系統(tǒng)不產(chǎn)生深度圖。此外,深度信息沒(méi)有經(jīng)過(guò)標(biāo)準(zhǔn)化。缺乏發(fā)送深度信息和關(guān)聯(lián)圖像紋理信息的標(biāo)準(zhǔn)化方法會(huì)防止深度信息在多種應(yīng)用中使用。相應(yīng)地,本文所述的實(shí)施例涉及對(duì)深度信息和關(guān)聯(lián)圖像紋理信息進(jìn)行編碼。編碼信息可與任何媒體CODEC格式配合使用。通過(guò)組合標(biāo)準(zhǔn)媒體CODEC格式對(duì)信息進(jìn)行編碼,實(shí)現(xiàn)真實(shí)視頻圖像與合成3D圖形的融合。
[0009]在以下描述和權(quán)利要求書(shū)中,可使用術(shù)語(yǔ)“耦合”和“連接”及其派生。應(yīng)當(dāng)理解,這些術(shù)語(yǔ)并不是要作為彼此的同義詞。相反,在具體實(shí)施例中,“連接”可用來(lái)表示兩個(gè)或更多元件相互直接物理或電氣接觸。“耦合”可表示兩個(gè)或更多元件直接物理或電接觸。但是,“耦合”也可表示兩個(gè)或更多元件不是相互直接接觸,但是仍然相互配合或交互。
[0010]一些實(shí)施例可通過(guò)硬件、固件和軟件其中之一或者它們的組合來(lái)實(shí)現(xiàn)。一些實(shí)施例還可作為機(jī)器可讀介質(zhì)上存儲(chǔ)的指令來(lái)實(shí)現(xiàn),所述指令可由計(jì)算平臺(tái)讀取和運(yùn)行以執(zhí)行本文所述的操作。機(jī)器可讀介質(zhì)可包括用于存儲(chǔ)或傳送機(jī)器、例如計(jì)算機(jī)可讀形式的信息的任何機(jī)制。例如,機(jī)器可讀介質(zhì)可包括:只讀存儲(chǔ)器(ROM);隨機(jī)存取存儲(chǔ)器(RAM);磁盤(pán)存儲(chǔ)介質(zhì);光存儲(chǔ)介質(zhì);閃速存儲(chǔ)器裝置;或者電、光、聲或其它形式的傳播信號(hào)(例如載波、紅外信號(hào)、數(shù)字信號(hào)或者傳送和/或接收信號(hào)的接口 )等。
[0011]一實(shí)施例是實(shí)現(xiàn)或示例。本說(shuō)明書(shū)中提到“一實(shí)施例”、“一個(gè)實(shí)施例”、“一些實(shí)施例”、“各個(gè)實(shí)施例”或“其它實(shí)施例”表示組合這些實(shí)施例所述的特定特征、結(jié)構(gòu)或特性包含在本發(fā)明的至少部分實(shí)施例但不一定是全部實(shí)施例中。出現(xiàn)“一實(shí)施例”、“一個(gè)實(shí)施例”或“一些實(shí)施例”的各種情況不一定都表不相同實(shí)施例。來(lái)自一實(shí)施例的兀件或方面能夠與另一個(gè)實(shí)施例的元件或方面相組合。
[0012]并非本文所述和所示的所有組件、特征、結(jié)構(gòu)、特性等都需要包含在具體實(shí)施例中。例如,如果本說(shuō)明書(shū)陳述組件、特征、結(jié)構(gòu)或特性“可”、“可能”或者“能夠”被包含,則不要求包含那個(gè)特定組件、特征、結(jié)構(gòu)或特性。如果本說(shuō)明書(shū)或權(quán)利要求書(shū)提到“一”或“一個(gè)”元件,則并不表示只有一個(gè)這種元件。如果本說(shuō)明書(shū)或權(quán)利要求書(shū)提到“一個(gè)附加”元件,則不排除存在一個(gè)以上這種附加元件的情況。
[0013]要注意,雖然一些實(shí)施例參照具體實(shí)現(xiàn)來(lái)描述,但是按照一些實(shí)施例,其它實(shí)現(xiàn)是可能的。另外,附圖所示和/或本文所述的電路元件或其它特征的布置和/或順序無(wú)需按照所示和所述的特定方式來(lái)設(shè)置。按照一些實(shí)施例,許多其它布置是可能的。
[0014]在附圖所示的各系統(tǒng)中,一些情況下的元件各可具有相同的參考標(biāo)號(hào)或者不同的參考標(biāo)號(hào),以暗示所表示的元件可能是不同的和/或相似的。但是,元件可以足夠靈活,以便具有不同實(shí)現(xiàn),并且與本文所示或所述的系統(tǒng)的部分或全部配合工作。附圖所示的各種元件可以是相同或不同的。哪一個(gè)稱(chēng)作第一元件和哪一個(gè)稱(chēng)作第二元件是任意的。
[0015]圖1是可按照實(shí)施例使用的計(jì)算裝置100的框圖。計(jì)算裝置100可以是例如膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、平板計(jì)算機(jī)、移動(dòng)裝置或服務(wù)器等等。計(jì)算裝置100可包括中央處理單元(CPU) 102 (其配置成運(yùn)行所存儲(chǔ)指令)以及存儲(chǔ)器裝置104 (其存儲(chǔ)由CPU 102可執(zhí)行的指令)。CPU可經(jīng)過(guò)總線(xiàn)106耦合到存儲(chǔ)器裝置104。另外,CPU 102能夠是單核處理器、多核處理器、計(jì)算集群或者任何數(shù)量的其它配置。此外,計(jì)算裝置100可包括一個(gè)以上CPU 102。由CPU 102運(yùn)行的指令可用來(lái)使用多邊形的3D網(wǎng)格和對(duì)應(yīng)紋理對(duì)圖像進(jìn)行編碼。
[0016]計(jì)算裝置100還可包括圖形處理單元(GPU) 108。如所示,CPU 102可經(jīng)過(guò)總線(xiàn)106耦合到GPU 108。GPU 108可配置成執(zhí)行計(jì)算裝置100中的任何數(shù)量的圖形操作。例如,GPU 108可配置成再現(xiàn)或操縱圖形圖像、圖形幀、視頻等,以便向計(jì)算裝置100的用戶(hù)顯示。在一些實(shí)施例中,GPU 108包括多個(gè)圖形引擎(未示出),其中各圖形引擎配置成執(zhí)行特定圖形任務(wù)或者運(yùn)行特定類(lèi)型的工作負(fù)荷。
[0017]存儲(chǔ)器裝置104能夠包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、閃速存儲(chǔ)器或者任何其它適當(dāng)存儲(chǔ)器系統(tǒng)。例如,存儲(chǔ)器裝置104可包括動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(DRAM)。存儲(chǔ)器裝置104可包括裝置驅(qū)動(dòng)器110,其配置成運(yùn)行用于對(duì)深度信息進(jìn)行編碼的指令。裝置驅(qū)動(dòng)器110可以是軟件、應(yīng)用程序、應(yīng)用代碼等。
[0018]計(jì)算裝置100包括圖像捕獲機(jī)構(gòu)112。在實(shí)施例中,圖像捕獲機(jī)構(gòu)112是照相裝置、立體照相裝置、紅外傳感器等。圖像捕獲機(jī)構(gòu)112用來(lái)捕獲深度信息和圖像紋理信息。相應(yīng)地,計(jì)算裝置100還包括一個(gè)或多個(gè)傳感器114。在示例中,傳感器114可以是深度傳感器,其用來(lái)捕獲與圖像紋理信息關(guān)聯(lián)的深度信息。傳感器114也可以是用來(lái)捕獲圖像紋理信息的圖像傳感器。此外,圖像傳感器可以是電荷耦合器件(CCD)圖像傳感器、互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器、芯片上系統(tǒng)(SOC)圖像傳感器、具有光敏薄膜晶體管的圖像傳感器或者它們的任何組合。裝置驅(qū)動(dòng)器110可按照當(dāng)前存在或者將來(lái)開(kāi)發(fā)的任何標(biāo)準(zhǔn)化媒體CODEC、使用3D網(wǎng)格以及來(lái)自圖像紋理信息的對(duì)應(yīng)紋理對(duì)深度信息進(jìn)行編碼。
[0019]CPU 102可經(jīng)過(guò)總線(xiàn)106連接到輸入/輸出(I/O)裝置接口 116,其配置成將計(jì)算裝置100連接到一個(gè)或多個(gè)I/O裝置118。I/O裝置118可包括例如鍵盤(pán)和指針裝置,其中指針裝置可包括觸摸板或觸摸屏等等。I/O裝置118可以是計(jì)算裝置100的內(nèi)置組件,或者可以是外部連接到計(jì)算裝置100的裝置。
[0020]CPU 102也可經(jīng)過(guò)總線(xiàn)106鏈接到顯示器接口 120,其配置成將計(jì)算裝置100連接到顯示裝置122。顯示裝置122可包括顯示屏幕,其是計(jì)算裝置100的內(nèi)置組件。顯示裝置122還可包括計(jì)算機(jī)監(jiān)視器、電視機(jī)或投影儀等等,其外部連接到計(jì)算裝置100。
[0021]計(jì)算裝置還包括存儲(chǔ)裝置124。存儲(chǔ)裝置124是物理存儲(chǔ)器,例如硬盤(pán)驅(qū)動(dòng)器、光驅(qū)動(dòng)器、拇指盤(pán)驅(qū)動(dòng)器、驅(qū)動(dòng)器陣列或者它們的任何組合。存儲(chǔ)裝置124還可包括遠(yuǎn)程存儲(chǔ)驅(qū)動(dòng)器。存儲(chǔ)裝置124包括任何數(shù)量的應(yīng)用126,其配置成運(yùn)行于計(jì)算裝置100。應(yīng)用126可用來(lái)組合媒體和圖形,包括用于立體顯示器的3D立體照相裝置圖像和3D圖形。
[0022]在示例中,應(yīng)用126可用來(lái)對(duì)深度信息和圖像紋理信息進(jìn)行編碼。此外,在示例中,應(yīng)用126可將真實(shí)視頻圖像與合成3D計(jì)算機(jī)生成圖像相組合??赏ㄟ^(guò)對(duì)媒體流或文件進(jìn)行編碼,然后對(duì)媒體流或文件進(jìn)行解碼供再現(xiàn),來(lái)處理組合的媒體流或文件。此外,應(yīng)用126可用來(lái)使用頂點(diǎn)和紋理單元在標(biāo)準(zhǔn)圖形流水線(xiàn)中對(duì)媒體進(jìn)行解碼。此外,應(yīng)用126可用來(lái)在運(yùn)行時(shí)將“化身”引入真實(shí)視頻畫(huà)面中。如本文所使用的“化身”可以是合成人類(lèi)圖像。在實(shí)施例中,其它3D對(duì)象可代入3D視頻中。在實(shí)施例中,光源可實(shí)時(shí)地添加到媒體流中??筛淖児庠吹母鱾€(gè)方面,包括但不限于照明的位置、顏色和距離。相應(yīng)地,編碼網(wǎng)格和對(duì)應(yīng)紋理可采用合成圖像的添加、照明、遮蔽、對(duì)象置換、化身引入或者它們的任何組合中的至少一個(gè)來(lái)改變。
[0023]計(jì)算裝置100還可包括網(wǎng)絡(luò)接口控制器(NIC) 128,其可配置成經(jīng)過(guò)總線(xiàn)106將計(jì)算裝置100連接到網(wǎng)絡(luò)130。網(wǎng)絡(luò)130可以是廣域網(wǎng)(WAN)、局域網(wǎng)(LAN)或因特網(wǎng)等等