基于低質(zhì)量grb-d數(shù)據(jù)的場(chǎng)景恢復(fù)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及三維建模技術(shù)領(lǐng)域，特別是涉及一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)上三維模型數(shù)量的增加(例如Google 3D Warehouse等模型庫(kù))以及模型檢索技術(shù)的發(fā)展，即使是沒有任何專業(yè)技術(shù)背景的普通人也可以通過(guò)搜索和擺放模型來(lái)構(gòu)建室內(nèi)三維場(chǎng)景模型。尤其是在消費(fèi)級(jí)深度相機(jī)(如Microsoft Kinect)普及后，室內(nèi)場(chǎng)景點(diǎn)云采集的成本越來(lái)越低，數(shù)字化構(gòu)建虛擬室內(nèi)場(chǎng)景的需求變得越來(lái)越旺盛。
[0003]傳統(tǒng)的三維重建方法，其目標(biāo)是精確地恢復(fù)出物體的幾何結(jié)構(gòu)；而通過(guò)模型庫(kù)中的虛擬三維模型來(lái)匹配點(diǎn)云的方法則更強(qiáng)調(diào)利用點(diǎn)云檢索出語(yǔ)義上正確的、視覺上符合標(biāo)準(zhǔn)的模型。這種新興的重建方法被成為語(yǔ)義重建。
[0004]現(xiàn)有的語(yǔ)義重建方法要么需要大量人工交互，比如“An interactive approachto semantic modeling of indoor scenes with an RGBD camera( 一種從 RGBD 相機(jī)中恢復(fù)室內(nèi)場(chǎng)景的交互方法)”，需要人工的分割，選擇和擺放模型；要么對(duì)采集設(shè)備的精度有著較高的要求，比如 “A search-classify approach for cluttered indoor sceneunderstanding( 一種基于“搜索-分類”模式的復(fù)雜室內(nèi)場(chǎng)景理解)”。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)中需要大量人工交互以及對(duì)采集設(shè)備精度要求高的缺陷，本發(fā)明提供了一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法及裝置。
[0006]一方面，本發(fā)明提供一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法，包括:
[0007]獲取RGB-D圖像，并對(duì)所述RGB-D圖像進(jìn)行拼接，得到過(guò)分割拼接后的場(chǎng)景點(diǎn)云；
[0008]根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器，將所述場(chǎng)景點(diǎn)云與模型庫(kù)中的模型進(jìn)行匹配；所述語(yǔ)義關(guān)系為從擾動(dòng)后的模型中提取得到的物體之間的語(yǔ)義關(guān)系，所述點(diǎn)云分類器為針對(duì)每一類別的物體模型分別訓(xùn)練出基于點(diǎn)云的分類器；
[0009]提取所述場(chǎng)景點(diǎn)云中未能匹配模型的小物體的輪廓，根據(jù)所述語(yǔ)義關(guān)系與所述模型庫(kù)中的模型進(jìn)行輪廓匹配。
[0010]進(jìn)一步地，在所述獲取RGB-D圖像的步驟之前，所述方法還包括:
[0011]對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系；
[0012]針對(duì)所述模型庫(kù)中每一類別的物體模型分別訓(xùn)練出點(diǎn)云分類器。
[0013]進(jìn)一步地，所述對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)的步驟，包括:
[0014]多次更新模型庫(kù)中小物體模型的位置和朝向?qū)λ瞿Ｐ蛶?kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系。
[0015]進(jìn)一步地，所述將所述場(chǎng)景點(diǎn)云與所述模型庫(kù)中的模型進(jìn)行匹配的步驟，包括:
[0016]采用自頂向下的匹配方法識(shí)別場(chǎng)景點(diǎn)云，并判斷是否滿足預(yù)設(shè)的置信度，若是則將所述場(chǎng)景點(diǎn)云與識(shí)別出的物體模型進(jìn)行匹配；
[0017]否則，將所述場(chǎng)景點(diǎn)云分割成不可能屬于同一物體的兩個(gè)以上部分；
[0018]將分割后得到的場(chǎng)景點(diǎn)云重復(fù)執(zhí)行上述步驟。
[0019]進(jìn)一步地，所述將所述場(chǎng)景點(diǎn)云分割成不可能屬于同一物體的兩個(gè)以上部分的步驟，包括:
[0020]采用RANSAC方法檢測(cè)所述場(chǎng)景點(diǎn)云中的平面，然后將檢測(cè)得到的平面刪除，根據(jù)連通性對(duì)刪除所述平面后得到的場(chǎng)景點(diǎn)云進(jìn)行過(guò)分割。
[0021]另一方面，本發(fā)明還提供一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)裝置，包括:
[0022]圖像處理模塊，用于獲取RGB-D圖像，并對(duì)所述RGB-D圖像進(jìn)行拼接，得到過(guò)分割拼接后的場(chǎng)景點(diǎn)云；
[0023]點(diǎn)云匹配模塊，用于根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器，將所述場(chǎng)景點(diǎn)云與模型庫(kù)中的模型進(jìn)行匹配；所述語(yǔ)義關(guān)系為從擾動(dòng)后的模型中提取得到的物體之間的語(yǔ)義關(guān)系，所述點(diǎn)云分類器為針對(duì)每一類別的物體模型分別訓(xùn)練出基于點(diǎn)云的分類器；
[0024]輪廓匹配模塊，用于提取所述場(chǎng)景點(diǎn)云中未能匹配模型的小物體的輪廓，根據(jù)所述語(yǔ)義關(guān)系與所述模型庫(kù)中的模型進(jìn)行輪廓匹配。
[0025]進(jìn)一步地，所述裝置還包括:
[0026]語(yǔ)義關(guān)系模塊，用于對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系；
[0027]點(diǎn)云分類器模塊，用于針對(duì)所述模型庫(kù)中每一類別的物體模型分別訓(xùn)練出點(diǎn)云分類器。
[0028]進(jìn)一步地，所述語(yǔ)義關(guān)系模塊具體用于:
[0029]多次更新模型庫(kù)中小物體模型的位置和朝向?qū)λ瞿Ｐ蛶?kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系。
[0030]進(jìn)一步地，所述點(diǎn)云匹配模塊，具體用于:
[0031]根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器，采用自頂向下的匹配方法識(shí)別場(chǎng)景點(diǎn)云，并判斷是否滿足預(yù)設(shè)的置信度，若是則將所述場(chǎng)景點(diǎn)云與識(shí)別出的物體模型進(jìn)行匹配；
[0032]否則，將所述場(chǎng)景點(diǎn)云分割成不可能屬于同一物體的兩個(gè)以上部分；
[0033]將分割后得到的場(chǎng)景點(diǎn)云重復(fù)執(zhí)行上述步驟。
[0034]進(jìn)一步地，所述點(diǎn)云匹配模塊，還用于:
[0035]采用RANSAC方法檢測(cè)所述場(chǎng)景點(diǎn)云中的平面，然后將檢測(cè)得到的平面刪除，根據(jù)連通性對(duì)刪除所述平面后得到的場(chǎng)景點(diǎn)云進(jìn)行過(guò)分割。
[0036]本發(fā)明提供的一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法及裝置，通過(guò)首先根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器恢復(fù)出場(chǎng)景中的主要物體模型，然后從對(duì)應(yīng)的彩色圖像準(zhǔn)確的提取出小物體的輪廓，采用輪廓檢索方法來(lái)幫助恢復(fù)細(xì)小物體。這樣極大提高了從低質(zhì)量RGB-D圖像序列中恢復(fù)三維模型的準(zhǔn)確率，實(shí)現(xiàn)了在不需要人工干預(yù)的前提下自動(dòng)恢復(fù)出語(yǔ)義上正確的、視覺上逼真的虛擬三維場(chǎng)景模型。
【附圖說(shuō)明】
[0037]通過(guò)參考附圖會(huì)更加清楚的理解本發(fā)明的特征和優(yōu)點(diǎn)，附圖是示意性的而不應(yīng)理解為對(duì)本發(fā)明進(jìn)行任何限制，在附圖中:
[0038]圖1是本發(fā)明一個(gè)實(shí)施例中一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法的流程示意圖；
[0039]圖2是本發(fā)明一個(gè)實(shí)施例中一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法的過(guò)程示意圖；
[0040]圖3是本發(fā)明一個(gè)實(shí)施例中一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法的效果示意圖；
[0041]圖4是本發(fā)明一個(gè)實(shí)施例中一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0042]現(xiàn)結(jié)合附圖和實(shí)施例對(duì)本發(fā)明技術(shù)方案作進(jìn)一步詳細(xì)闡述。
[0043]圖1示出了本實(shí)施例中一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法的流程示意圖，如圖1所示，本實(shí)施例提供的一種基于低質(zhì)量GRB-D數(shù)據(jù)的場(chǎng)景恢復(fù)方法，包括:
[0044]SI，獲取RGB-D圖像，并對(duì)所述RGB-D圖像進(jìn)行拼接，得到過(guò)分割拼接后的場(chǎng)景點(diǎn)云。
[0045]舉例來(lái)說(shuō)，對(duì)于一組目標(biāo)場(chǎng)景的RGB-D圖像，既包括RGB (彩色)圖像信息，也包括D印th(深度)圖像信息，根據(jù)圖像的D印th圖像信息可以通過(guò)計(jì)算機(jī)將這組圖像過(guò)分割后拼接成一個(gè)完整的場(chǎng)景點(diǎn)云。
[0046]S2，根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器，將所述場(chǎng)景點(diǎn)云與模型庫(kù)中的模型進(jìn)行匹配；所述語(yǔ)義關(guān)系為從擾動(dòng)后的模型中提取得到的物體之間的語(yǔ)義關(guān)系，所述點(diǎn)云分類器為針對(duì)每一類別的物體模型分別訓(xùn)練出基于點(diǎn)云的分類器。
[0047]S3，提取所述場(chǎng)景點(diǎn)云中未能匹配模型的小物體的輪廓，根據(jù)所述語(yǔ)義關(guān)系與所述模型庫(kù)中的模型進(jìn)行輪廓匹配。
[0048]在具體實(shí)施過(guò)程中，對(duì)于場(chǎng)景中諸如桌子與椅子、寫字臺(tái)與電腦、沙發(fā)與茶幾或者床與床頭柜之類的大件物體，根據(jù)語(yǔ)義關(guān)系以及點(diǎn)云分類器可以很容易的在所述模型庫(kù)中匹配找到相應(yīng)的物體模型。
[0049]但是，由于消費(fèi)級(jí)深度相機(jī)采集的深度信息質(zhì)量較差，深度信息在一些具有反光材質(zhì)的物體表面常常缺失，分辨率也不足以描述一些小物體，如鼠標(biāo)、鉛筆或小勺等。為此，需要從對(duì)應(yīng)的彩色圖像提取出小物體的輪廓，通過(guò)輪廓檢索方法來(lái)幫助恢復(fù)細(xì)小物體。
[0050]優(yōu)選的，在所述獲取RGB-D圖像的步驟之前，所述方法還包括:
[0051]S01，對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系；
[0052]S02，針對(duì)所述模型庫(kù)中每一類別的物體模型分別訓(xùn)練出點(diǎn)云分類器。
[0053]事實(shí)上，在現(xiàn)實(shí)世界場(chǎng)景中的物體之間總是存在著很明顯的語(yǔ)義關(guān)系，例如，椅子經(jīng)常出現(xiàn)在桌子周圍，筆記本經(jīng)常放置在寫字臺(tái)上等，而充分利用這些語(yǔ)義關(guān)系則可以極大的提高場(chǎng)景中模型的檢索正確率。
[0054]同時(shí)，由于大部分的人造場(chǎng)景模型中物體模型總是跟坐標(biāo)軸對(duì)齊的，導(dǎo)致人造場(chǎng)景模型中的物體大部分都是互相平行或垂直的，不符合現(xiàn)實(shí)世界中物體之間位置關(guān)系。為此，我們首先需要對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)。
[0055]如圖2所示，是采用本實(shí)施例上述方法來(lái)實(shí)現(xiàn)的一個(gè)室內(nèi)場(chǎng)景恢復(fù)的具體過(guò)程示意圖。
[0056]進(jìn)一步地，在所述步驟SOl中，所述對(duì)模型庫(kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)的步驟，包括:多次更新模型庫(kù)中小物體模型的位置和朝向?qū)λ瞿Ｐ蛶?kù)中的模型進(jìn)行模擬現(xiàn)實(shí)世界場(chǎng)景的擾動(dòng)，并從擾動(dòng)后的模型中提取物體之間的語(yǔ)義關(guān)系。
[0057]在具體實(shí)施過(guò)程中，為了能夠使得所述模型庫(kù)中的物體模型位置關(guān)系更接近現(xiàn)實(shí)世界場(chǎng)景，可以采用對(duì)小物體隨機(jī)次數(shù)迭代更新其位置及其方向的方