專利名稱：利用運(yùn)動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)生成骨架模型的設(shè)備和方法
技術(shù)領(lǐng)域：
示例實(shí)施例涉及一種在虛擬現(xiàn)實(shí)(virtual reality)中對(duì)用戶進(jìn)行建模的技術(shù)， 更具體地講，涉及一種利用從圖像傳感器和運(yùn)動(dòng)傳感器采集的數(shù)據(jù)來(lái)關(guān)于用戶的全身生成 三維(3D)骨架模型(skeleton model)的設(shè)備和方法。
背景技術(shù)：
當(dāng)前，已經(jīng)提出各種利用虛擬現(xiàn)實(shí)的技術(shù)。具體地講，通過(guò)檢測(cè)用戶的運(yùn)動(dòng)來(lái)在虛 擬現(xiàn)實(shí)中反映用戶的實(shí)際運(yùn)動(dòng)的技術(shù)已經(jīng)引起關(guān)注。對(duì)于與虛擬環(huán)境(如游戲等)交互而 言，用戶的全身的軌跡會(huì)是重要的工具。在傳統(tǒng)技術(shù)中，有許多檢測(cè)用戶運(yùn)動(dòng)的方法。例如，有通過(guò)在用戶的全身附著眾多 標(biāo)記，或者通過(guò)簡(jiǎn)單地捕捉用戶的圖像，來(lái)對(duì)用戶的運(yùn)動(dòng)建模的方法。在利用標(biāo)記的方法中，可能由于用戶活動(dòng)的減少而難以精確地測(cè)量用戶的運(yùn)動(dòng)， 或者當(dāng)標(biāo)記由于掩蔽而不可見(jiàn)時(shí)，可能無(wú)法測(cè)量用戶的運(yùn)動(dòng)。此外，不管傳感器數(shù)量如何， 可能需要利用特定姿態(tài)的校準(zhǔn)。在捕捉用戶的方法中，當(dāng)拍攝裝置的數(shù)量相對(duì)少時(shí)，3維 (3D)位置的準(zhǔn)確度會(huì)變差，當(dāng)用戶的全身的部位重疊時(shí)，可能難以對(duì)用戶的運(yùn)動(dòng)建模。此 外，可能無(wú)法針對(duì)用戶的關(guān)節(jié)檢測(cè)位置或取向。因此，需要一種更有效地對(duì)用戶的全身建模的方法。

發(fā)明內(nèi)容
根據(jù)示例實(shí)施例，可提供一種生成骨架模型的設(shè)備，該設(shè)備包括數(shù)據(jù)同步單元， 分別對(duì)由圖像傳感器采集的用戶的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器采集的用戶的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行 同步；剪影提取單元，從同步的圖像數(shù)據(jù)提取用戶的剪影；關(guān)節(jié)信息計(jì)算單元，從同步的運(yùn) 動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取向；骨架模型生成單元，利用所述剪影和用戶的關(guān)節(jié)的 位置或取向，生成用戶的全身的三維(3D)骨架模型。在這種情況下，骨架模型生成單元可基于所述剪影，從用戶的關(guān)節(jié)的位置或取向來(lái)生成用戶的全身的3D骨架模型。此外，骨架模型生成單元可基于用戶的關(guān)節(jié)的位置或取向，從所述剪影來(lái)生成用 戶的全身的3D骨架模型。此外，骨架模型生成單元可利用從剪影提取的3D骨架模型和從用戶的關(guān)節(jié)的位 置或取向提取的3D骨架模型中的每一個(gè)的誤差范圍，來(lái)生成用戶全身的3D骨架模型。根據(jù)示例實(shí)施例，提供一種生成骨架模型的方法，該方法包括分別對(duì)由圖像傳感 器采集的用戶的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器采集的用戶的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行同步；從同步的圖像 數(shù)據(jù)提取用戶的剪影；從同步的運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取向；利用所述剪影和用戶的關(guān)節(jié)的位置或取向，生成用戶的全身的3D骨架模型。示例實(shí)施例的另外的方面、特征和/或優(yōu)點(diǎn)將通過(guò)下面的描述被部分地闡述，并且部分地將從描述變得明顯，或者可通過(guò)本公開(kāi)的實(shí)踐而了解。


通過(guò)下面結(jié)合附圖對(duì)實(shí)施例的描述，本發(fā)明的這些和/或其他方面和優(yōu)點(diǎn)將變得 明顯并更易于理解，其中圖1示出根據(jù)示例實(shí)施例的用于生成骨架模型的設(shè)備的整體構(gòu)造的框圖；圖2示出根據(jù)示例實(shí)施例的利用圖像傳感器和運(yùn)動(dòng)傳感器關(guān)于用戶的全身生成 三維(3D)骨架模型的過(guò)程；圖3示出根據(jù)示例實(shí)施例的采集用戶的圖像數(shù)據(jù)和用戶的運(yùn)動(dòng)數(shù)據(jù)的示例；圖4示出根據(jù)示例實(shí)施例在圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行空間同步的處理的示 圖；圖5示出根據(jù)示例實(shí)施例的在圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行時(shí)間同步的處理的 示圖；圖6示出根據(jù)示例實(shí)施例的基于運(yùn)動(dòng)數(shù)據(jù)利用圖像數(shù)據(jù)生成3D骨架模型的處理 的示圖；圖7示出根據(jù)示例實(shí)施例的基于圖像數(shù)據(jù)利用運(yùn)動(dòng)數(shù)據(jù)生成3D骨架模型的處理 的示圖；圖8示出根據(jù)示例實(shí)施例的利用從2個(gè)3D骨架模型生成的誤差范圍來(lái)提煉3D骨 架模型的處理的示圖；圖9示出根據(jù)示例實(shí)施例的生成骨架模型的方法的整個(gè)過(guò)程的流程圖。
具體實(shí)施例方式現(xiàn)在將詳細(xì)說(shuō)明一個(gè)或多個(gè)實(shí)施例，其示出于附圖中，在附圖中，相同的標(biāo)號(hào)始終 表示相同的部件。以下參照附圖描述示例實(shí)施例以解釋本公開(kāi)。圖1示出根據(jù)示例實(shí)施例的用于生成骨架模型的設(shè)備100的整體構(gòu)造的框圖。參照?qǐng)D1，設(shè)備100可包括數(shù)據(jù)同步單元101、剪影(silhouette)提取單元102、關(guān) 節(jié)信息計(jì)算單元103和骨架模型生成單元104。設(shè)備100可利用用戶的圖像數(shù)據(jù)和用戶的運(yùn)動(dòng)數(shù)據(jù)來(lái)生成用戶的全身的三維 (3D)骨架模型，然后通過(guò)生成的3D骨架模型來(lái)檢測(cè)用戶的全身，從而獲得用戶的運(yùn)動(dòng)的軌 跡。數(shù)據(jù)同步單元101可在由圖像傳感器107采集的用戶的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器 108采集的用戶的運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行同步。設(shè)備100在生成3D骨架模型時(shí)可通過(guò)數(shù)據(jù)的同 步來(lái)交叉參照(cross-reference)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。例如，圖像傳感器107可表示拍攝用戶以采集用戶數(shù)據(jù)的裝置(例如，照相機(jī)、攝 像機(jī)等)。在這種情況下，圖像傳感器107可包括深度圖像傳感器和顏色圖像傳感器，其中 深度圖像傳感器關(guān)于用戶采集深度圖像數(shù)據(jù)(3D)，顏色圖像傳感器關(guān)于用戶采集顏色圖像 數(shù)據(jù)(2D)。根據(jù)示例實(shí)施例，運(yùn)動(dòng)傳感器108可被安裝在構(gòu)成用戶的多個(gè)關(guān)節(jié)的部位中。
參照?qǐng)D1，數(shù)據(jù)同步單元101可包括空間同步單元105和時(shí)間同步單元106?？臻g同步單元105可對(duì)數(shù)據(jù)的位置信息進(jìn)行同步，以在相同的位置交叉參照在不 同位置采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。例如，空間同步單元105可通過(guò)基于預(yù)定的參考位置 轉(zhuǎn)換圖像數(shù)據(jù)中的運(yùn)動(dòng)傳感器108的位置以及運(yùn)動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器108的位置，來(lái)對(duì) 數(shù)據(jù)的位置信息進(jìn)行同步。在這種情況下，參考位置可以指定世界坐標(biāo)上的原點(diǎn)。具體地 講，空間同步單元105可將運(yùn)動(dòng)傳感器108的本地坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，還將圖像傳感器 107的本地坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，從而交叉參照由運(yùn)動(dòng)傳感器108采集的運(yùn)動(dòng)數(shù)據(jù)和由圖 像傳感器107采集的圖像數(shù)據(jù)。時(shí)間同步單元106可對(duì)圖像數(shù)據(jù)的時(shí)間信息和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步，以 在相同的時(shí)間交叉參照在不同時(shí)間采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。例如，時(shí)間同步單元106 可利用數(shù)據(jù)插值來(lái)對(duì)圖像數(shù)據(jù)的時(shí)間信息和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步。具體地講，時(shí) 間同步單元106可調(diào)節(jié)運(yùn)動(dòng)傳感器108和圖像傳感器107之間在數(shù)據(jù)獲取時(shí)間上的差異。剪影提取單元102可從同步的圖像數(shù)據(jù)提取用戶的剪影。關(guān)節(jié)信息計(jì)算單元103可從同步的運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶關(guān)節(jié)的位置或取向 (orientation)0骨架模型生成單元104可利用用戶關(guān)節(jié)的位置或取向，并且還利用所述剪影，來(lái) 生成用戶的全身的3D骨架模型。根據(jù)示例實(shí)施例，骨架模型生成單元104可參照剪影信息從用戶的關(guān)節(jié)的位置或 取向來(lái)生成用戶全身的3D骨架模型。在這種情況下，骨架模型生成單元104可利用逆運(yùn)動(dòng) 學(xué)(Inverse-Kinematics)，從運(yùn)動(dòng)數(shù)據(jù)中所包括的用戶關(guān)節(jié)的位置或取向計(jì)算用戶剩余關(guān) 節(jié)的解(solution)，并且當(dāng)所述解是多個(gè)時(shí)，選擇包括在剪影的范圍內(nèi)的最佳解。根據(jù)示例實(shí)施例，骨架模型生成單元104可基于用戶關(guān)節(jié)的位置或取向從剪影生 成用戶全身的3D骨架模型。在這種情況下，骨架模型生成單元104可利用從剪影提取的參 考點(diǎn)，并且還利用運(yùn)動(dòng)數(shù)據(jù)中所包括的用戶關(guān)節(jié)的位置或取向，來(lái)確定包括在剪影的范圍 內(nèi)的用戶的剩余關(guān)節(jié)。根據(jù)其它示例實(shí)施例，骨架模型生成單元104可利用從剪影提取的3D骨架模型和從用戶關(guān)節(jié)的位置或取向提取的3D骨架模型中的每一個(gè)3D骨架模型的誤差范圍，來(lái)生成 用戶全身的3D骨架模型。在這種情況下，骨架模型生成單元104可將從剪影提取的3D骨 架模型和從用戶關(guān)節(jié)的位置或取向提取的3D骨架模型中的每一個(gè)3D骨架模型的誤差范圍 結(jié)合，并選擇具有最小誤差的位置。圖2示出根據(jù)示例實(shí)施例的利用圖像傳感器和運(yùn)動(dòng)傳感器關(guān)于用戶的全身生成三維(3D)骨架模型的過(guò)程。參照?qǐng)D2的操作(I)，至少一個(gè)圖像傳感器可采集用戶的圖像數(shù)據(jù)。具體地講，圖 像傳感器可對(duì)用戶進(jìn)行拍攝以獲得用戶的圖像。例如，圖像傳感器可以是深度圖像傳感器 或顏色圖像傳感器。在這種情況下，圖像傳感器可被設(shè)置在預(yù)定距離處，并獲得多視點(diǎn)圖像 數(shù)據(jù)。參照?qǐng)D2的操作(II)，至少一個(gè)運(yùn)動(dòng)傳感器可采集用戶的運(yùn)動(dòng)數(shù)據(jù)。根據(jù)示例實(shí) 施例，運(yùn)動(dòng)傳感器可被附著在用戶上。在這種情況下，運(yùn)動(dòng)傳感器可被附著在用戶的關(guān)節(jié) 上。然而，由于當(dāng)運(yùn)動(dòng)傳感器被附著在用戶的所有關(guān)節(jié)上時(shí)，檢測(cè)用戶的全身所需的處理時(shí)間可能相對(duì)較長(zhǎng)，所以運(yùn)動(dòng)傳感器可僅被附著在一些關(guān)節(jié)上。參照?qǐng)D2的操作(III)和圖1，設(shè)備100可對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)執(zhí)行空間同步和時(shí)間同步，使得由圖像傳感器107采集的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器108采集的運(yùn)動(dòng)數(shù)據(jù)被 交叉參照。將參照?qǐng)D4進(jìn)一步描述空間同步，將參照?qǐng)D5進(jìn)一步描述時(shí)間同步。參照?qǐng)D2的操作(IV)和圖1，設(shè)備100可從圖像數(shù)據(jù)提取用戶的剪影。當(dāng)圖像傳 感器107再次獲得多視點(diǎn)圖像數(shù)據(jù)時(shí)，可以每一視點(diǎn)地提取剪影。參照?qǐng)D2的操作(V)和圖1，設(shè)備100可從運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取 向。在這種情況下，設(shè)備100可計(jì)算附著有運(yùn)動(dòng)傳感器108的用戶關(guān)節(jié)的位置或取向。參照?qǐng)D2的操作(VI)和圖1，設(shè)備100可利用用戶關(guān)節(jié)的位置或取向，并且還利用 提取的剪影，來(lái)生成用戶的全身的3D骨架模型。在這種情況下，設(shè)備100可確定關(guān)于圖2 的操作(V)中沒(méi)有計(jì)算的剩余關(guān)節(jié)的信息，從而生成包括用戶全身的關(guān)節(jié)的3D骨架模型。參照?qǐng)D2的操作(VII)和圖1，設(shè)備100可利用生成的3D骨架模型輸出每一時(shí)間 情形下的3D骨架模型的全身的運(yùn)動(dòng)軌跡。具體地講，設(shè)備100可將用戶全身的實(shí)時(shí)運(yùn)動(dòng)應(yīng) 用到虛擬的3D骨架模型。圖3示出根據(jù)示例實(shí)施例的采集用戶的圖像數(shù)據(jù)和用戶的運(yùn)動(dòng)數(shù)據(jù)的示例。參照?qǐng)D3，可設(shè)置采集圖像數(shù)據(jù)的圖像傳感器301-1、301_2和301_3，以拍攝用 戶300的全身?？蓪⒉杉\(yùn)動(dòng)數(shù)據(jù)的運(yùn)動(dòng)傳感器302附著在用戶300的特定部位303-1、 303-2,303-3,303-4和303-5上。在這種情況下，圖像傳感器301-1至301-3可以是關(guān)于用 戶300采集顏色圖像數(shù)據(jù)的顏色圖像傳感器或者關(guān)于用戶300采集深度圖像數(shù)據(jù)的深度圖 像傳感器。可存在至少一個(gè)圖像傳感器。例如，運(yùn)動(dòng)傳感器302可被附著在用戶300的邊緣部位，如頭部303_1、手部303_2 和303-3、腳部303-4和303-5等上。上面提及的附著有運(yùn)動(dòng)傳感器302的用戶300的部位 僅是示例，運(yùn)動(dòng)傳感器302可被附著在用戶300的不同身體部位上。圖4示出根據(jù)示例實(shí)施例在圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行空間同步的處理的示 圖。骨架模型生成單元100 (圖1)可在由圖像傳感器107 (圖1)采集的用戶的圖像數(shù) 據(jù)和由運(yùn)動(dòng)傳感器108(圖1)采集的用戶的運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行同步。例如，設(shè)備100(圖1) 可對(duì)數(shù)據(jù)的位置信息進(jìn)行同步，使得在不同位置采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)在相同的位置 被交叉參照。在這種情況下，設(shè)備100(圖1)可基于預(yù)定的參考位置轉(zhuǎn)換圖像數(shù)據(jù)中的運(yùn) 動(dòng)傳感器108 (圖1)的位置和運(yùn)動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器108 (圖1)的位置，從而對(duì)數(shù)據(jù)的 位置信息進(jìn)行同步。參照?qǐng)D4，圖像傳感器401可拍攝用戶404的全身。在這種情況下，由圖像傳感器 401采集的圖像數(shù)據(jù)可包含運(yùn)動(dòng)傳感器402的位置信息。如圖4所示，在圖像數(shù)據(jù)中運(yùn)動(dòng)傳 感器402的位置可對(duì)應(yīng)于點(diǎn)(5，-12，3)。此外，由運(yùn)動(dòng)傳感器402采集的運(yùn)動(dòng)數(shù)據(jù)可包含 運(yùn)動(dòng)傳感器402的位置信息。如圖4所示，在運(yùn)動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器402的位置可對(duì)應(yīng) 于點(diǎn)(6，0，-10)。具體地講，由于被定位在不同的點(diǎn)，所以關(guān)于相同的位置，圖像數(shù)據(jù)和運(yùn) 動(dòng)數(shù)據(jù)可具有不同的位置值。根據(jù)示例實(shí)施例，為了生成用戶的全身的3D骨架模型，設(shè)備100(圖1)可關(guān)于相 同的參考點(diǎn)執(zhí)行坐標(biāo)轉(zhuǎn)換，以交叉參照?qǐng)D像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。圖像數(shù)據(jù)可由圖像傳感器401的本地坐標(biāo)配置，運(yùn)動(dòng)數(shù)據(jù)可由運(yùn)動(dòng)傳感器402的本地坐標(biāo)配置。相反，設(shè)備100(圖1)可 將由圖像傳感器401的本地坐標(biāo)和運(yùn)動(dòng)傳感器402的本地坐標(biāo)配置的數(shù)據(jù)匹配到相同的世 界坐標(biāo)。在這種情況下，世界坐標(biāo)可以指關(guān)于參考點(diǎn)403(0，0，0)實(shí)現(xiàn)的坐標(biāo)。參照?qǐng)D4，圖像數(shù)據(jù)中關(guān)于運(yùn)動(dòng)傳感器的位置的點(diǎn)(5，-12,3)可被轉(zhuǎn)換為關(guān)于參考點(diǎn)403的點(diǎn)(3，4，5)，運(yùn)動(dòng)數(shù)據(jù)中關(guān)于運(yùn)動(dòng)傳感器的位置的點(diǎn)(6，0，-10)可被轉(zhuǎn)換為關(guān) 于參考點(diǎn)403的點(diǎn)(3，4，5)。以這樣的方式，可在連續(xù)輸入的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)中同樣地 應(yīng)用坐標(biāo)轉(zhuǎn)換。圖5示出根據(jù)示例實(shí)施例的在圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行時(shí)間同步的處理的 示圖。參照?qǐng)D5，隨時(shí)間示出了運(yùn)動(dòng)數(shù)據(jù)的采集時(shí)間點(diǎn)和圖像數(shù)據(jù)的采集時(shí)間點(diǎn)。由于運(yùn) 動(dòng)傳感器108(圖1)和圖像傳感器107(圖1)之間的數(shù)據(jù)采集比率可不同，所以采集時(shí)間 點(diǎn)可不同。設(shè)備100(圖1)可交叉參照?qǐng)D像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)，以生成3D骨架模型。在從運(yùn)動(dòng)數(shù)據(jù)501生成3D骨架模型時(shí)參照?qǐng)D像數(shù)據(jù)的情況下，設(shè)備100 (圖1)可 利用分別在0. 1秒和0. 2秒采集的圖像數(shù)據(jù)生成與運(yùn)動(dòng)數(shù)據(jù)501的采集時(shí)間點(diǎn)對(duì)應(yīng)的圖像 數(shù)據(jù)502。隨后，設(shè)備100(圖1)可在參照生成的圖像數(shù)據(jù)502的同時(shí)，生成用戶的全身的 骨架模型。相反，在從圖像數(shù)據(jù)503生成3D骨架模型時(shí)參照運(yùn)動(dòng)數(shù)據(jù)的情況下，設(shè)備100 (圖 1)可利用分別在0. 18秒和0.21秒采集的運(yùn)動(dòng)數(shù)據(jù)生成與圖像數(shù)據(jù)503的采集時(shí)間點(diǎn)對(duì)應(yīng) 的運(yùn)動(dòng)數(shù)據(jù)504。隨后，設(shè)備100(圖1)可在參照生成的運(yùn)動(dòng)數(shù)據(jù)504的同時(shí)，生成用戶的 全身的骨架模型。例如，設(shè)備100 (圖1)可利用數(shù)據(jù)插值對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同 步。參照?qǐng)D1和圖5，設(shè)備100可對(duì)分別在0. 1秒和0. 2秒采集的圖像數(shù)據(jù)進(jìn)行插值，以生 成與運(yùn)動(dòng)數(shù)據(jù)501的采集時(shí)間點(diǎn)對(duì)應(yīng)的圖像數(shù)據(jù)502。另外，設(shè)備100可對(duì)分別在0. 18秒 和0. 21秒采集的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行插值，以生成與圖像數(shù)據(jù)503的采集時(shí)間點(diǎn)對(duì)應(yīng)的運(yùn)動(dòng)數(shù)據(jù) 504。圖6至圖8示出利用運(yùn)動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)生成3D骨架模型的處理。圖6示出根據(jù)示例實(shí)施例的基于運(yùn)動(dòng)數(shù)據(jù)利用圖像數(shù)據(jù)生成3D骨架模型的處理 的示圖。具體地講，在圖6中，詳細(xì)描述在關(guān)于運(yùn)動(dòng)數(shù)據(jù)生成3D骨架模型時(shí)參照?qǐng)D像數(shù)據(jù) 的處理。例如，設(shè)備100(圖1)可在參照剪影的同時(shí)，從用戶的關(guān)節(jié)的位置或取向生成用戶 的全身的3D骨架模型。在這種情況下，設(shè)備100(圖1)可利用逆運(yùn)動(dòng)學(xué)，從運(yùn)動(dòng)數(shù)據(jù)中所 包括的用戶關(guān)節(jié)的位置或取向計(jì)算剩余關(guān)節(jié)的解。在這種情況下，當(dāng)所述解是多個(gè)時(shí)，設(shè)備 100 (圖1)可選擇包括在剪影的范圍內(nèi)的最佳解。參照?qǐng)D6的操作⑴和圖1，示出了與運(yùn)動(dòng)傳感器108的位置對(duì)應(yīng)的關(guān)節(jié)602。這 里，運(yùn)動(dòng)數(shù)據(jù)可包括關(guān)于關(guān)節(jié)602的六軸信息(位置和取向)或者三軸信息(取向或位置)。 在這種情況下，當(dāng)設(shè)備100可將特定位置設(shè)置為參考點(diǎn)601，以應(yīng)用逆運(yùn)動(dòng)學(xué)時(shí)，可創(chuàng)建關(guān) 于剩余關(guān)節(jié)的多個(gè)解603-1、603-2和603-3。參照?qǐng)D6的操作(II)和圖1，示出了與運(yùn)動(dòng)傳感器108的位置對(duì)應(yīng)的關(guān)節(jié)602。在 這種情況下，設(shè)備100可利用從圖像數(shù)據(jù)提取的剪影來(lái)提取參考點(diǎn)604。當(dāng)從用戶的關(guān)節(jié)602的位置或取向關(guān)于參考點(diǎn)604應(yīng)用逆運(yùn)動(dòng)學(xué)時(shí)，可創(chuàng)建關(guān)于剩余關(guān)節(jié)的多個(gè)解。例如， 設(shè)備100可計(jì)算與所述多個(gè)解(包括603-1和603-2)中，被包括在剪影范圍內(nèi)的解603-3 對(duì)應(yīng)的用戶關(guān)節(jié)的位置或取向。當(dāng)使用從單個(gè)圖像傳感器采集的剪影時(shí)，設(shè)備100可計(jì)算運(yùn)動(dòng)傳感器108的位置 (關(guān)節(jié)602的位置)與解603-3之間的二維(2D)距離。另外，當(dāng)使用從多個(gè)圖像傳感器采 集的剪影時(shí)，設(shè)備100可計(jì)算運(yùn)動(dòng)傳感器108的位置(關(guān)節(jié)602的位置)與剪影603-3之 間的3D距離。根據(jù)示例實(shí)施例，設(shè)備100可通過(guò)多個(gè)解中被包括在剪影范圍內(nèi)的解來(lái)生成3D骨 架模型，從而利用具有最小誤差的最佳解來(lái)提高3D骨架模型的準(zhǔn)確度。 圖7示出根據(jù)示例實(shí)施例的基于圖像數(shù)據(jù)利用運(yùn)動(dòng)數(shù)據(jù)生成3D骨架模型的處理 的示圖。具體地講，在圖7中，將詳細(xì)描述在關(guān)于運(yùn)動(dòng)數(shù)據(jù)生成3D骨架模型時(shí)參照?qǐng)D像數(shù) 據(jù)的處理。例如，設(shè)備100(圖1)可在參照用戶關(guān)節(jié)的位置或取向的同時(shí)，從剪影生成用戶的 全身的3D骨架模型。在這種情況下，設(shè)備100(圖1)可利用從剪影提取的參考點(diǎn)，并且還 利用運(yùn)動(dòng)數(shù)據(jù)中所包括的關(guān)節(jié)的位置或取向，來(lái)確定包括在剪影范圍內(nèi)的剩余關(guān)節(jié)。參照?qǐng)D7的操作(I)和圖1，設(shè)備100可從自圖像數(shù)據(jù)提取的剪影中提取參考點(diǎn) 701。另外，設(shè)備100可利用運(yùn)動(dòng)數(shù)據(jù)中所包括的關(guān)節(jié)702的位置和取向來(lái)對(duì)3D骨架模型 進(jìn)行初始化。具體地講，通過(guò)關(guān)節(jié)703將參考點(diǎn)701與關(guān)節(jié)702彼此連接，從而對(duì)3D骨架 模型進(jìn)行初始化。參照?qǐng)D7的操作(II)和圖1，設(shè)備100可設(shè)置參考點(diǎn)701以及關(guān)節(jié)702的位置， 然后生成使剩余關(guān)節(jié)703中的匹配誤差最小的3D骨架模型。在圖7的操作(I)的剩余關(guān) 節(jié)703中，在圖7的操作(II)的剪影的范圍內(nèi)所包括的剩余關(guān)節(jié)703的位置，匹配誤差可最小。根據(jù)示例實(shí)施例，通過(guò)利用運(yùn)動(dòng)數(shù)據(jù)中所包括的關(guān)節(jié)702的位置或取向，設(shè)備100 可以對(duì)這樣的復(fù)雜處理進(jìn)行簡(jiǎn)化，從而提高處理速度，所處復(fù)雜處理指從能夠在參考點(diǎn) 701中生成的所有位置和取向確定剩余關(guān)節(jié)703，然后從能夠再次從剩余關(guān)節(jié)703生成的所 有位置和取向確定關(guān)節(jié)702。另外，通過(guò)交叉利用圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)，設(shè)備100可防止關(guān) 節(jié)的漂移，從而提高3D骨架模型的準(zhǔn)確度。圖8示出根據(jù)示例實(shí)施例的利用誤差范圍生成3D骨架模型的處理的示圖。例如，設(shè)備100 (圖1)可利用從用戶關(guān)節(jié)的位置或取向提取的3D骨架模型和從剪 影提取的3D骨架模型中的每一個(gè)的誤差范圍，生成用戶的全身的3D骨架模型。在這種情 況下，設(shè)備100 (圖1)可將從剪影提取的3D骨架模型和從用戶關(guān)節(jié)的位置或取向提取的3D 骨架模型中的每一個(gè)的誤差范圍結(jié)合，選擇具有最小誤差的位置。參照?qǐng)D8的操作(I)，示出了從關(guān)節(jié)的位置或取向提取的每一 3D骨架模型的誤差 范圍。參照?qǐng)D8的操作(II)，示出了從剪影提取的每一 3D骨架模型的誤差范圍。在這種情 況下，誤差范圍可表示用戶的關(guān)節(jié)實(shí)際存在的概率。例如，誤差范圍可指定關(guān)于用戶的關(guān)節(jié) 實(shí)際存在的概率的高斯函數(shù)分布。參照?qǐng)D8的操作(I)，在從運(yùn)動(dòng)數(shù)據(jù)中所包括的關(guān)節(jié)的位置或取向提取的3D骨架 模型中，示出了關(guān)節(jié)801的誤差范圍809和關(guān)節(jié)802的誤差范圍808。在這種情況下，誤差范圍808和誤差范圍809可根據(jù)運(yùn)動(dòng)傳感器108 (圖1)的跟蹤質(zhì)量而不同。如圖8的操作 (I)所示，關(guān)節(jié)801的位置可指示用戶的關(guān)節(jié)實(shí)際存在的概率相對(duì)高，關(guān)節(jié)802的位置可指 示用戶的關(guān)節(jié)實(shí)際存在的概率相對(duì)高。參照?qǐng)D8的操作(II)，在利用從圖像數(shù)據(jù)提取的剪影812生成的3D骨架模型中，示出了關(guān)節(jié)803的誤差范圍810和關(guān)節(jié)804的誤差范圍811。在這種情況下，誤差范圍810 和誤差范圍811可包括關(guān)節(jié)的誤差范圍和掩蔽時(shí)的估計(jì)的誤差范圍。關(guān)節(jié)803和關(guān)節(jié)802 可存在于用戶全身的相似位置中。另外，關(guān)節(jié)801和關(guān)節(jié)804可存在于用戶全身的相似位 置中。參照?qǐng)D8的操作(III)，示出了將誤差范圍810和誤差范圍808結(jié)合的結(jié)果以及將 誤差范圍809和誤差范圍811結(jié)合的結(jié)果。當(dāng)如圖8的操作(III)所示將誤差范圍810和 誤差范圍808結(jié)合時(shí)，可選擇具有最小誤差的關(guān)節(jié)807，當(dāng)將誤差范圍809和誤差范圍811 結(jié)合時(shí)，可選擇具有最小誤差的關(guān)節(jié)806。具體地講，最終3D骨架模型的關(guān)節(jié)可被確定在具 有高可靠性的關(guān)節(jié)807和關(guān)節(jié)806的位置。根據(jù)示例實(shí)施例，通過(guò)將從圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)中的每一個(gè)生成的3D骨架模型 的誤差范圍結(jié)合，可選擇具有高可靠性的信息，從而提高用戶全身的3D骨架模型的準(zhǔn)確度。如圖2的操作(VII)所示，如圖6和圖8中所描述的用戶的全身的3D骨架模型可 用于在每一時(shí)間情形下輸出用戶的全身的軌跡。圖9是示出根據(jù)示例實(shí)施例的生成骨架模型的方法的整個(gè)過(guò)程的流程圖。參照?qǐng)D1和圖9，在操作S901，圖像傳感器107可采集圖像數(shù)據(jù)，運(yùn)動(dòng)傳感器108 可采集運(yùn)動(dòng)數(shù)據(jù)。然后，采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)可被輸入到設(shè)備100中。在操作S902，設(shè)備100可在由圖像傳感器107采集的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器 108采集的運(yùn)動(dòng)數(shù)據(jù)之間執(zhí)行同步。在這種情況下，設(shè)備100可對(duì)數(shù)據(jù)的位置信息進(jìn)行同步 (空間同步)，以在相同位置交叉參照在不同位置采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。另外，設(shè)備 100可對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步(時(shí)間同步)，以在相同的時(shí)間交叉參照 在不同時(shí)間采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。例如，設(shè)備100可通過(guò)基于預(yù)定的參考位置轉(zhuǎn)換圖像數(shù)據(jù)中的運(yùn)動(dòng)傳感器108的 位置以及運(yùn)動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器108的位置，來(lái)對(duì)數(shù)據(jù)的位置信息進(jìn)行同步。另外，設(shè)備 100可利用數(shù)據(jù)插值來(lái)對(duì)圖像數(shù)據(jù)的時(shí)間信息和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步。在操作S903，設(shè)備100可從同步的圖像數(shù)據(jù)中提取用戶的剪影。提取的剪影的數(shù) 量可依據(jù)圖像數(shù)據(jù)的數(shù)量而不同。在操作S904，設(shè)備100可從同步的運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取向。在這 種情況下，由于運(yùn)動(dòng)傳感器108被附著在用戶的全身的關(guān)節(jié)部位，所以可關(guān)于關(guān)節(jié)部位計(jì) 算用戶的關(guān)節(jié)的位置或取向。在生成3D骨架模型時(shí)可計(jì)算剩余關(guān)節(jié)。在操作S905，設(shè)備100可利用剪影，并且還利用關(guān)節(jié)的位置或取向來(lái)生成用戶的 全身的3D骨架模型。根據(jù)示例實(shí)施例，設(shè)備100可在參照剪影的同時(shí)，從關(guān)節(jié)的位置或取向來(lái)生成用 戶的全身的3D骨架模型。在這種情況下，設(shè)備100可利用逆運(yùn)動(dòng)學(xué)，從運(yùn)動(dòng)數(shù)據(jù)中所包括的 用戶的關(guān)節(jié)的位置或取向計(jì)算剩余關(guān)節(jié)的解。在這種情況下，當(dāng)所述解是多個(gè)時(shí)，設(shè)備100可選擇包括在剪影的范圍內(nèi)的最佳解。根據(jù)其它示例實(shí)施例，設(shè)備100可在參照關(guān)節(jié)的位置或取向的同時(shí)，從剪影生成 用戶的全身的3D骨架模型。在這種情況下，設(shè)備100可利用運(yùn)動(dòng)數(shù)據(jù)中所包括的用戶的關(guān) 節(jié)的位置或取向，并且還利用從剪影提取的參考點(diǎn)，來(lái)確定包括在剪影的范圍內(nèi)的剩余關(guān) 節(jié)。根據(jù)其它示例實(shí)施例，設(shè)備100可利用從剪影提取的3D骨架模型和從用戶的關(guān)節(jié) 的位置或取向提取的3D骨架模型中的每一個(gè)的誤差范圍，來(lái)生成用戶的全身的3D骨架模 型。在這種情況下，設(shè)備100可將從剪影提取的3D骨架模型和從用戶的關(guān)節(jié)的位置或取向 提取的3D骨架模型中的每一個(gè)的誤差范圍結(jié)合，并選擇具有最小誤差的位置。當(dāng)在操作S901至S905中生成用戶的全身的3D骨架模型時(shí)，在操作S906，設(shè)備100 可獲得每一時(shí)間情形下的3D骨架模型的軌跡。參照?qǐng)D1至圖8的描述可應(yīng)用于圖9。如上所述，根據(jù)示例實(shí)施例，可利用由運(yùn)動(dòng)傳感器采集的運(yùn)動(dòng)數(shù)據(jù)和由圖像傳感 器采集的圖像數(shù)據(jù)來(lái)生成用戶的全身的3D骨架模型，從而提高3D骨架模型的準(zhǔn)確度。根據(jù)示例實(shí)施例，可在圖像傳感器中設(shè)置參考點(diǎn)，從而使運(yùn)動(dòng)傳感器的數(shù)量最小 化。根據(jù)示例實(shí)施例，可基于關(guān)節(jié)的位置或取向以及剪影的參考點(diǎn)來(lái)應(yīng)用逆運(yùn)動(dòng)學(xué)， 從而獲得多個(gè)3D骨架模型方案，可從所述多個(gè)方案中選擇最佳方案，從而提高處理速度以 及生成骨架模型的準(zhǔn)確度。根據(jù)示例實(shí)施例，可使用剪影的參考點(diǎn)和關(guān)節(jié)的位置或取向，從而生成精確的3D 骨架模型。根據(jù)示例實(shí)施例，可使用從剪影提取的3D骨架模型和從用戶的關(guān)節(jié)的位置或取 向提取的3D骨架模型中的每一 3D骨架模型的誤差范圍，從而生成具有高可靠性和高準(zhǔn)確 度的3D骨架模型。除了上述實(shí)施例之外，還可通過(guò)介質(zhì)(例如，計(jì)算機(jī)可讀介質(zhì))中/上的計(jì)算機(jī)可 讀代碼/指令來(lái)實(shí)現(xiàn)實(shí)施例，以控制至少一個(gè)處理裝置執(zhí)行上述任何實(shí)施例。所述介質(zhì)可 對(duì)應(yīng)于允許計(jì)算機(jī)可讀代碼的存儲(chǔ)和/或傳輸?shù)娜魏谓橘|(zhì)。代碼/指令的示例可包括由編 譯器生成的機(jī)器代碼以及包含能夠被計(jì)算機(jī)利用解釋器執(zhí)行的高級(jí)代碼的文件。計(jì)算機(jī)可讀代碼可以以各種方式被記錄在介質(zhì)上，記錄介質(zhì)的示例包括磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光學(xué)記錄介質(zhì)(例如，⑶-ROM或DVD)。計(jì)算機(jī)可讀代碼還 可通過(guò)例如傳輸介質(zhì)以及互聯(lián)網(wǎng)元件被傳送。因此，根據(jù)一個(gè)或多個(gè)實(shí)施例，例如，所述介 質(zhì)可以是這樣定義和可測(cè)量的結(jié)構(gòu)，該結(jié)構(gòu)攜帶或控制信號(hào)或信息，如攜帶比特流的裝置。 所述介質(zhì)還可以是分布式網(wǎng)絡(luò)，從而計(jì)算機(jī)可讀代碼以分布式方式被存儲(chǔ)/傳送并執(zhí)行。 另外，僅作為示例，所述處理裝置可包括處理器或計(jì)算機(jī)處理器，處理元件可分布于或包括 在單個(gè)裝置中。盡管已經(jīng)顯示和描述了若干示例實(shí)施例，但是本公開(kāi)不限于所描述的示例實(shí)施 例。相反，本領(lǐng)域技術(shù)人員應(yīng)該理解的是，在不脫離本公開(kāi)的原理和精神的情況下，可對(duì)這 些示例實(shí)施例進(jìn)行改變，本公開(kāi)的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
一種生成骨架模型的設(shè)備，該設(shè)備包括數(shù)據(jù)同步單元，分別對(duì)由圖像傳感器采集的用戶的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器采集的用戶的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行同步；剪影提取單元，從同步的圖像數(shù)據(jù)提取用戶的剪影；關(guān)節(jié)信息計(jì)算單元，從同步的運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取向；骨架模型生成單元，利用所述剪影和用戶的關(guān)節(jié)的位置或取向，生成用戶的全身的三維骨架模型。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述數(shù)據(jù)同步單元包括空間同步單元，對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的位置信息進(jìn)行同步，以在相同的位置交叉參 照 在不同位置采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)；時(shí)間同步單元，對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步，以在相同的時(shí)間交叉參 照在不同時(shí)間采集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，空間同步單元通過(guò)基于預(yù)定的參考位置轉(zhuǎn)換圖像數(shù)據(jù)中的運(yùn)動(dòng)傳感器的位置以及運(yùn) 動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器的位置，來(lái)對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的位置信息進(jìn)行同步；時(shí)間同步單元利用數(shù)據(jù)插值來(lái)對(duì)運(yùn)動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)的時(shí)間信息進(jìn)行同步。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中，圖像傳感器包括關(guān)于用戶采集深度圖像數(shù)據(jù)的深度圖像傳感器或者關(guān)于用戶采集顏 色圖像數(shù)據(jù)的顏色圖像傳感器；當(dāng)圖像傳感器是深度圖像傳感器時(shí)，剪影提取單元從深度圖像數(shù)據(jù)提取用戶的剪影， 當(dāng)圖像傳感器是顏色圖像傳感器時(shí)，剪影提取單元從顏色圖像數(shù)據(jù)提取用戶的剪影。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中，骨架模型生成單元基于所述剪影，從用戶的關(guān)節(jié) 的位置或取向來(lái)生成用戶的全身的三維骨架模型。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中，骨架模型生成單元利用逆運(yùn)動(dòng)學(xué)，從運(yùn)動(dòng)數(shù)據(jù)中 所包括的用戶的關(guān)節(jié)的位置或取向來(lái)計(jì)算用戶的剩余關(guān)節(jié)的至少一個(gè)解，并且當(dāng)所述至少 一個(gè)解是多個(gè)時(shí)，選擇包括在剪影的范圍內(nèi)的最佳解。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中，骨架模型生成單元基于用戶的關(guān)節(jié)的位置或取 向，從所述剪影來(lái)生成用戶的全身的三維骨架模型。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中，骨架模型生成單元利用從剪影提取的參考點(diǎn)，并 且還利用運(yùn)動(dòng)數(shù)據(jù)中所包括的用戶的關(guān)節(jié)的位置或取向，來(lái)確定包括在剪影的范圍內(nèi)的用 戶的剩余關(guān)節(jié)。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其中，骨架模型生成單元利用從剪影提取的三維骨架 模型和從用戶的關(guān)節(jié)的位置或取向提取的三維骨架模型中的每一個(gè)的誤差范圍，來(lái)生成用 戶全身的三維骨架模型。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中，骨架模型生成單元將從剪影提取的三維骨架模 型和從用戶的關(guān)節(jié)的位置或取向提取的三維骨架模型中的每一個(gè)的誤差范圍結(jié)合，并選擇 具有最小誤差的位置。
11.一種生成骨架模型的方法，該方法包括分別對(duì)由圖像傳感器采集的用戶的圖像數(shù)據(jù)和由運(yùn)動(dòng)傳感器采集的用戶的運(yùn)動(dòng)數(shù)據(jù)執(zhí)行同步；從同步的圖像數(shù)據(jù)提取用戶的剪影；從同步的運(yùn)動(dòng)數(shù)據(jù)計(jì)算用戶的關(guān)節(jié)的位置或取向；利用所述剪影和用戶的關(guān)節(jié)的位置或取向，生成用戶的全身的三維骨架模型。
12.根據(jù)權(quán)利要求11所述的方法，其中，執(zhí)行步驟包括對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的位置信息進(jìn)行同步，以在相同的位置交叉參照在不同位置采 集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)；對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的時(shí)間信息進(jìn)行同步，以在相同的時(shí)間交叉參照在不同時(shí)間采 集的圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)。
13.根據(jù)權(quán)利要求12所述的方法，其中，對(duì)位置信息進(jìn)行同步的步驟通過(guò)基于預(yù)定的 參考位置轉(zhuǎn)換圖像數(shù)據(jù)中的運(yùn)動(dòng)傳感器的位置以及運(yùn)動(dòng)數(shù)據(jù)中的運(yùn)動(dòng)傳感器的位置，來(lái)對(duì) 圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)的位置信息進(jìn)行同步，對(duì)時(shí)間信息進(jìn)行同步的步驟利用數(shù)據(jù)插值來(lái)對(duì) 運(yùn)動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)的時(shí)間信息進(jìn)行同步。
14.根據(jù)權(quán)利要求11所述的方法，其中，生成三維骨架模型的步驟基于所述剪影，從用 戶的關(guān)節(jié)的位置或取向來(lái)生成用戶的全身的三維骨架模型。
15.根據(jù)權(quán)利要求14所述的方法，其中，生成三維骨架模型的步驟利用逆運(yùn)動(dòng)學(xué)，從運(yùn) 動(dòng)數(shù)據(jù)中所包括的用戶的關(guān)節(jié)的位置或取向來(lái)計(jì)算用戶的剩余關(guān)節(jié)的至少一個(gè)解，并且當(dāng) 所述至少一個(gè)解是多個(gè)時(shí)，選擇包括在剪影的范圍內(nèi)的最佳解。
16.根據(jù)權(quán)利要求11所述的方法，其中，生成三維骨架模型的步驟基于用戶的關(guān)節(jié)的 位置或取向，從所述剪影來(lái)生成用戶的全身的三維骨架模型。
17.根據(jù)權(quán)利要求16所述的方法，其中，生成三維骨架模型的步驟利用從剪影提取的 參考點(diǎn)，并且還利用運(yùn)動(dòng)數(shù)據(jù)中所包括的用戶的關(guān)節(jié)的位置或取向，來(lái)確定包括在剪影的 范圍內(nèi)的用戶的剩余關(guān)節(jié)。
18.根據(jù)權(quán)利要求11所述的方法，其中，生成三維骨架模型的步驟利用從剪影提取的 三維骨架模型和從用戶的關(guān)節(jié)的位置或取向提取的三維骨架模型中的每一個(gè)的誤差范圍， 來(lái)生成用戶全身的三維骨架模型。
19.根據(jù)權(quán)利要求18所述的方法，其中，生成三維骨架模型的步驟將從剪影提取的三 維骨架模型和從用戶的關(guān)節(jié)的位置或取向提取的三維骨架模型中的每一個(gè)的誤差范圍結(jié) 合，并選擇具有最小誤差的位置。
全文摘要
本發(fā)明提供一種利用運(yùn)動(dòng)數(shù)據(jù)和圖像數(shù)據(jù)生成骨架模型的設(shè)備和方法。生成骨架模型的設(shè)備可對(duì)圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)進(jìn)行同步，利用從圖像數(shù)據(jù)提取的剪影并且利用從運(yùn)動(dòng)數(shù)據(jù)提取的用戶的關(guān)節(jié)的位置或取向來(lái)生成用戶的全身的三維(3D)骨架模型。可利用圖像數(shù)據(jù)和運(yùn)動(dòng)數(shù)據(jù)來(lái)生成所述骨架模型，從而提高用戶的全身的骨架模型的精確度。
文檔編號(hào)G06T1/00GK101840587SQ20101000317
公開(kāi)日2010年9月22日 申請(qǐng)日期2010年1月14日 優(yōu)先權(quán)日2009年3月17日
發(fā)明者方遠(yuǎn)喆, 李基彰, 林和燮, 金昌容, 金道均, 韓在濬 申請(qǐng)人:三星電子株式會(huì)社