本發(fā)明涉及計(jì)算機(jī)視覺(jué)與圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及一種基于視頻圖像的對(duì)象融合方法及終端。

背景技術(shù)：

隨著移動(dòng)互聯(lián)網(wǎng)的高速發(fā)展與快速普及，電子商務(wù)模式不斷地改變著人們傳統(tǒng)的消費(fèi)習(xí)慣與消費(fèi)行為。在開(kāi)放的互聯(lián)網(wǎng)環(huán)境下，消費(fèi)者能夠越來(lái)越便捷地體驗(yàn)網(wǎng)上購(gòu)物、電子支付以及線(xiàn)上到線(xiàn)下服務(wù)等。

目前消費(fèi)者網(wǎng)上購(gòu)物的過(guò)程通常是：通過(guò)電腦或智能終端輸入所需商品的名稱(chēng)，通過(guò)網(wǎng)絡(luò)搜索查找相關(guān)商品的信息，根據(jù)查找到的商品信息如商品價(jià)格、商品介紹、商家信息等確定是否購(gòu)買(mǎi)相應(yīng)商品，確定后選擇購(gòu)買(mǎi)并按指定的支付方式進(jìn)行付費(fèi)，從而完成購(gòu)物過(guò)程。此種方式比傳統(tǒng)的實(shí)體店購(gòu)物方式更為方便快捷，消費(fèi)者足不出戶(hù)便能夠選擇自己所需的商品和服務(wù)，一定程度上減少了消費(fèi)者購(gòu)物所花費(fèi)的時(shí)間和精力，提升了消費(fèi)者的購(gòu)物體驗(yàn)。但同時(shí)，通過(guò)網(wǎng)上購(gòu)物方式購(gòu)買(mǎi)服裝鞋帽等需要試穿以選擇尺碼及材質(zhì)等的商品時(shí)，消費(fèi)者目前尚不能獲得同傳統(tǒng)實(shí)體店購(gòu)物時(shí)對(duì)商品的外觀、材質(zhì)及合體度等類(lèi)似的直觀體驗(yàn)，從而一定程度上會(huì)影響消費(fèi)者對(duì)商品的判斷和選擇。如何提升消費(fèi)者網(wǎng)上購(gòu)物過(guò)程中對(duì)商品的直觀體驗(yàn)，是網(wǎng)上購(gòu)物進(jìn)一步發(fā)展普及過(guò)程中亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述技術(shù)問(wèn)題至少之一，本發(fā)明提供一種基于視頻圖像的對(duì)象融合方法及終端，通過(guò)采集對(duì)象視頻圖像，確定對(duì)象的形狀數(shù)據(jù)并建立對(duì)象三維模型，通過(guò)三維模型進(jìn)行匹配后，將融合后的圖像顯示于視頻圖像中，從而使用戶(hù)能夠得到多個(gè)對(duì)象匹配效果的直觀感受。

有鑒于此，本發(fā)明一方面提供一種基于視頻圖像的對(duì)象融合方法，其特征在于，包括：步驟101，采集包含第一對(duì)象的視頻圖像；步驟102，根據(jù)所述包含第一對(duì)象的視頻圖像，建立所述第一對(duì)象的三維模型；步驟103，獲取至少一 個(gè)第二對(duì)象的三維模型，將所述第二對(duì)象的三維模型與所述第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于所述包含第一對(duì)象的視頻圖像中。

優(yōu)選地，所述步驟101具體為：采集包含所述第一對(duì)象的實(shí)景視頻圖像，以及采集所述第一對(duì)象的深度視頻圖像。

優(yōu)選地，所述步驟102具體為：根據(jù)所述第一對(duì)象的深度視頻圖像，獲取所述第一對(duì)象的三維深度信息及形狀數(shù)據(jù)，建立所述第一對(duì)象的三維模型。

優(yōu)選地，所述步驟103具體為：根據(jù)所述第一對(duì)象三維模型的形狀數(shù)據(jù)，獲取與所述第一對(duì)象匹配的第二對(duì)象的三維模型，與所述第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于所述第一對(duì)象的實(shí)景視頻圖像中。

優(yōu)選地，所述步驟103具體為：獲取至少一個(gè)第二對(duì)象的三維模型，將所述第二對(duì)象三維模型的形狀數(shù)據(jù)調(diào)整至與所述第一對(duì)象的三維模型匹配后，與所述第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于所述包含第一對(duì)象的實(shí)景視頻圖像中。

本發(fā)明另一方面提供一種基于視頻圖像的對(duì)象融合終端，其特征在于，包括：圖像采集模塊：用于采集包含第一對(duì)象的視頻圖像；模型建立模塊：用于根據(jù)所述包含第一對(duì)象的視頻圖像，建立所述第一對(duì)象的三維模型；模型獲取模塊：用于獲取至少一個(gè)第二對(duì)象的三維模型；圖像融合模塊：用于將所述第二對(duì)象的三維模型與所述第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于所述包含第一對(duì)象的視頻圖像中。

優(yōu)選地，所述圖像采集模塊包括：實(shí)景圖像采集單元，用于采集包含第一對(duì)象的實(shí)景視頻圖像；深度圖像采集單元，用于采集第一對(duì)象的深度視頻圖像。

優(yōu)選地，所述模型建立模塊用于根據(jù)所述第一對(duì)象的深度視頻圖像，獲取所述第一對(duì)象的三維深度信息及形狀數(shù)據(jù)，建立所述第一對(duì)象的三維模型。

優(yōu)選地，所述模型獲取模塊還用于根據(jù)所述第一對(duì)象三維模型的形狀數(shù)據(jù)，獲取與所述第一對(duì)象匹配的第二對(duì)象的三維模型。

優(yōu)選地，所述圖像融合模塊還用于將所述模型獲取模塊獲取的所述第二對(duì)象三維模型的形狀數(shù)據(jù)調(diào)整至與所述第一對(duì)象匹配后，與所述第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于所述包含第一對(duì)象的實(shí)景視頻圖像中。

本發(fā)明所提供的基于視頻圖像的對(duì)象融合方法及終端，通過(guò)采集對(duì)象視頻 圖像，獲取對(duì)象的三維深度信息及形狀數(shù)據(jù)并建立對(duì)象的三維模型，將兩個(gè)及以上對(duì)象的三維模型進(jìn)行融合之后，實(shí)時(shí)顯示于對(duì)象視頻圖像中，呈現(xiàn)具有增強(qiáng)現(xiàn)實(shí)效果的視頻圖像的同時(shí)，能夠使用戶(hù)對(duì)多個(gè)對(duì)象的搭配或組合后的效果產(chǎn)生直觀的體驗(yàn)與感受，在網(wǎng)上購(gòu)物等場(chǎng)景下，能夠顯著提升用戶(hù)的使用體驗(yàn)，為用戶(hù)的選擇提供有效的參考。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖：

圖1示出了本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合方法的流程圖；

圖2示出了本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合終端的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了能夠更清楚地理解本發(fā)明的目的、特征和優(yōu)點(diǎn)，下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合。

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明，但是，這僅僅是本發(fā)明的一些實(shí)施例，本發(fā)明還可以采用其他不同于在此描述的其他方式來(lái)實(shí)施，因此，本發(fā)明的保護(hù)范圍并不受下面公開(kāi)的具體實(shí)施例的限制。

實(shí)施例一

圖1示出了本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合方法的流程圖。

如圖1所示，本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合方法，包括：步驟101，采集包含第一對(duì)象的視頻圖像；步驟102，根據(jù)包含第一對(duì)象的視頻圖像，建立第一對(duì)象的三維模型：步驟103，獲取至少一個(gè)第二對(duì)象的三維模型，將第二對(duì)象的三維模型與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的視頻圖像中。

在上述技術(shù)方案中，所述步驟101具體為：采集包含第一對(duì)象的實(shí)景視頻圖像，以及采集第一對(duì)象的深度視頻圖像。

在該技術(shù)方案中，通過(guò)光學(xué)攝像頭采集包含第一對(duì)象的實(shí)景視頻圖像，同 時(shí)通過(guò)深度攝像頭采集第一對(duì)象的深度視頻圖像。具體地，第一對(duì)象可以在深度攝像頭前原地轉(zhuǎn)動(dòng)360度以完成對(duì)第一對(duì)象的深度視頻圖像采集；或者，在第一對(duì)象周?chē)O(shè)置三個(gè)深度攝像頭，每?jī)蓚€(gè)深度攝像頭間隔120度，共同完成對(duì)第一對(duì)象的深度視頻圖像采集。

在上述技術(shù)方案中，所述步驟102具體為：根據(jù)第一對(duì)象的深度視頻圖像，獲取第一對(duì)象的三維深度信息及形狀數(shù)據(jù)，建立第一對(duì)象的三維模型。

在該技術(shù)方案中，將深度視頻圖像中的第一對(duì)象劃分為多個(gè)區(qū)域，對(duì)每一區(qū)域的形狀信息進(jìn)行實(shí)時(shí)測(cè)量，通過(guò)建模算法得到第一對(duì)象的三維模型。同時(shí)根據(jù)第一對(duì)象的運(yùn)動(dòng)狀態(tài)，如旋轉(zhuǎn)、移動(dòng)等，實(shí)時(shí)同步調(diào)整第一對(duì)象的三維模型的角度和姿態(tài)。

在上述技術(shù)方案中，所述步驟103具體為：根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)，獲取與第一對(duì)象匹配的第二對(duì)象的三維模型，與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中。

在該技術(shù)方案中，根據(jù)第一對(duì)象的三維模型的形狀數(shù)據(jù)，例如用戶(hù)的輪廓模型及體型數(shù)據(jù)，獲取與第一對(duì)象匹配的第二對(duì)象的三維模型，例如網(wǎng)上購(gòu)物系統(tǒng)中與用戶(hù)體型相符的服裝三維模型，將所獲取的服裝三維模型與用戶(hù)的輪廓三維模型進(jìn)行融合，融合后的服裝圖像疊加顯示于包含用戶(hù)影像的實(shí)景視頻圖像中，能夠呈現(xiàn)出用戶(hù)試穿服裝的效果圖像，具有增強(qiáng)現(xiàn)實(shí)的顯示效果。

在該技術(shù)方案中，根據(jù)第一對(duì)象的三維模型的形狀數(shù)據(jù)，例如房間的形狀結(jié)構(gòu)模型及物品布局?jǐn)?shù)據(jù)，獲取與第一對(duì)象匹配的第二對(duì)象的三維模型，例如網(wǎng)上購(gòu)物系統(tǒng)中與房間結(jié)構(gòu)及布局模型相符的物品三維模型，將所獲取的物品三維模型與房間的結(jié)構(gòu)及布局模型進(jìn)行融合，融合后的物品圖像疊加顯示于包含房間影像的實(shí)景視頻圖像中，能夠呈現(xiàn)出物品布置于房間內(nèi)的效果圖像，具有增強(qiáng)現(xiàn)實(shí)的顯示效果。

在上述技術(shù)方案中，所述步驟103具體為：獲取第二對(duì)象的三維模型，將第二對(duì)象三維模型的形狀數(shù)據(jù)調(diào)整至與第一對(duì)象匹配后，與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中。

在該技術(shù)方案中，根據(jù)用戶(hù)的操控指令，包括觸控指令、手勢(shì)指令和/或語(yǔ)音指令，選擇一個(gè)或多個(gè)第二對(duì)象的三維模型，并根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)對(duì)第二對(duì)象的三維模型進(jìn)行調(diào)整后，使之與第一對(duì)象的三維模型匹配之 后，將第二對(duì)象的三維模型與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中。例如，根據(jù)用戶(hù)指令，選擇網(wǎng)上購(gòu)物系統(tǒng)中的一個(gè)或多個(gè)服裝三維模型，將其形狀數(shù)據(jù)調(diào)整至與用戶(hù)輪廓三維模型相匹配后，與用戶(hù)輪廓三維模型進(jìn)行融合，同時(shí)可以根據(jù)用戶(hù)的實(shí)時(shí)動(dòng)作，同步調(diào)整服裝三維模型與用戶(hù)輪廓三維模型的融合狀態(tài)，包括服裝三維模型對(duì)用戶(hù)輪廓三維模型的部分遮擋、服裝三維模型在用戶(hù)輪廓三維模型特定位置的褶皺等，并將融合后的服裝圖像顯示于包含用戶(hù)影像的實(shí)景視頻圖像中。

本發(fā)明實(shí)施例提供的基于視頻圖像的對(duì)象融合方法，通過(guò)深度攝像頭實(shí)時(shí)采集第一對(duì)象的深度信息及形狀數(shù)據(jù)，生成第一對(duì)象的三維模型，根據(jù)用戶(hù)操控指令選擇一個(gè)或多個(gè)第二對(duì)象，將第二對(duì)象的三維模型與第一對(duì)象的模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中，同時(shí)根據(jù)第一對(duì)象的運(yùn)動(dòng)狀態(tài)及形狀數(shù)據(jù)，實(shí)時(shí)調(diào)整第二對(duì)象與第一對(duì)象的融合狀態(tài)，從而真實(shí)地呈現(xiàn)對(duì)象融合后的圖像效果，顯著提升用戶(hù)體驗(yàn)。

實(shí)施例二

圖2示出了本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合終端的結(jié)構(gòu)示意圖。

如圖2所示，本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合終端200，包括：圖像采集模塊202：用于采集包含第一對(duì)象的視頻圖像；模型建立模塊204：用于根據(jù)包含第一對(duì)象的視頻圖像，建立第一對(duì)象的三維模型；模型獲取模塊206：用于獲取至少一個(gè)第二對(duì)象的三維模型；圖像融合模塊208：用于將模型獲取模塊206獲取的第二對(duì)象的三維模型與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的視頻圖像中。

在上述技術(shù)方案中，圖像采集模塊202包括：實(shí)景圖像采集單元2021，用于采集包含第一對(duì)象的實(shí)景視頻圖像；深度圖像采集單元2022，用于采集第一對(duì)象的深度視頻圖像。

在該技術(shù)方案中，實(shí)景圖像采集模塊2021通過(guò)光學(xué)攝像頭采集包含第一對(duì)象的實(shí)景視頻圖像；深度圖像采集模塊2022通過(guò)深度攝像頭采集第一對(duì)象的深度視頻圖像。具體地，第一對(duì)象可以在深度攝像頭前原地轉(zhuǎn)動(dòng)360度以完成對(duì)第一對(duì)象的深度視頻圖像采集；或者，在第一對(duì)象周?chē)O(shè)置三個(gè)深度攝像頭，每?jī)蓚€(gè)深度攝像頭間隔120度，共同完成對(duì)第一對(duì)象的深度視頻圖像采集。

在上述技術(shù)方案中，模型建立模塊204用于根據(jù)第一對(duì)象的深度視頻圖像， 獲取第一對(duì)象的三維深度信息及形狀數(shù)據(jù)，建立第一對(duì)象的三維模型。

在該技術(shù)方案中，模型建立模塊204將深度視頻圖像中的第一對(duì)象劃分為多個(gè)區(qū)域，對(duì)每一區(qū)域的形狀信息進(jìn)行實(shí)時(shí)測(cè)量，通過(guò)建模算法得到第一對(duì)象的三維模型，同時(shí)，根據(jù)第一對(duì)象的運(yùn)動(dòng)狀態(tài)，如旋轉(zhuǎn)、移動(dòng)等，實(shí)時(shí)同步調(diào)整第一對(duì)象的三維模型的角度和姿態(tài)。

在上述技術(shù)方案中，模型獲取模塊206還用于根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)，獲取與所述第一對(duì)象匹配的第二對(duì)象的三維模型。

在該技術(shù)方案中，模型獲取模塊206用于根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)，例如用戶(hù)的輪廓模型及體型數(shù)據(jù)，獲取與第一對(duì)象匹配的第二對(duì)象的三維模型，例如網(wǎng)上購(gòu)物系統(tǒng)中與用戶(hù)體型相符的服裝三維模型，圖像融合模塊208將模型獲取模塊206獲取的服裝三維模型與用戶(hù)的輪廓三維模型進(jìn)行融合，融合后的服裝圖像疊加顯示于包含用戶(hù)影像的實(shí)景視頻圖像中，能夠呈現(xiàn)出用戶(hù)試穿服裝的效果圖像，具有增強(qiáng)現(xiàn)實(shí)的顯示效果。

在該技術(shù)方案中，模型獲取模塊206用于根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)，例如房間的形狀結(jié)構(gòu)模型及物品的布局?jǐn)?shù)據(jù)，獲取與第一對(duì)象匹配的第二對(duì)象的三維模型，例如網(wǎng)上購(gòu)物系統(tǒng)中與房間結(jié)構(gòu)及布局模型相符的物品三維模型，圖像融合模塊208將模型獲取模塊206獲取的物品三維模型與房間的結(jié)構(gòu)及布局模型進(jìn)行融合，融合后的物品圖像疊加顯示于包含房間影像的實(shí)景視頻圖像中，能夠呈現(xiàn)出物品布置于房間內(nèi)的效果圖像，具有增強(qiáng)現(xiàn)實(shí)的顯示效果。

在上述技術(shù)方案中，圖像融合模塊208還用于將模型獲取模塊206獲取的第二對(duì)象三維模型的形狀數(shù)據(jù)調(diào)整至與第一對(duì)象匹配后，與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中。

在該技術(shù)方案中，模型獲取模塊206可以根據(jù)用戶(hù)的操控指令，包括觸控指令、手勢(shì)指令和/或語(yǔ)音指令等，選擇一個(gè)或多個(gè)第二對(duì)象的三維模型，圖像融合模塊208根據(jù)第一對(duì)象三維模型的形狀數(shù)據(jù)對(duì)第二對(duì)象的三維模型進(jìn)行調(diào)整，使之與第一對(duì)象的三維模型匹配后，將第二對(duì)象的三維模型與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中。例如，根據(jù)用戶(hù)指令，選擇網(wǎng)上購(gòu)物系統(tǒng)中的一個(gè)或多個(gè)服裝三維模型，將其形狀數(shù)據(jù)調(diào)整至與用戶(hù)輪廓三維模型相匹配后，與用戶(hù)輪廓三維模型進(jìn)行 融合，同時(shí)可以根據(jù)用戶(hù)輪廓的三維模型的實(shí)時(shí)動(dòng)作，調(diào)整服裝三維模型與用戶(hù)輪廓三維模型的融合狀態(tài)，包括服裝三維模型對(duì)用戶(hù)輪廓三維模型的部分遮擋、服裝三維模型在用戶(hù)輪廓三維模型特定位置的褶皺等，并將融合后的服裝圖像顯示于包含用戶(hù)影像的實(shí)景視頻圖像中。

本發(fā)明實(shí)施例提供的基于視頻圖像的對(duì)象融合終端，通過(guò)深度攝像頭實(shí)時(shí)采集第一對(duì)象的深度信息及形狀數(shù)據(jù)，生成第一對(duì)象的三維模型，根據(jù)用戶(hù)操控指令選擇一個(gè)或多個(gè)第二對(duì)象，將第二對(duì)象的三維模型與第一對(duì)象的三維模型進(jìn)行融合，并將融合后的第二對(duì)象顯示于包含第一對(duì)象的實(shí)景視頻圖像中，同時(shí)根據(jù)第一對(duì)象的運(yùn)動(dòng)狀態(tài)及形狀數(shù)據(jù)，實(shí)時(shí)調(diào)整第二對(duì)象與第一對(duì)象的融合狀態(tài)，從而真實(shí)地呈現(xiàn)對(duì)象融合后的圖像效果，顯著提升用戶(hù)體驗(yàn)。

上述本發(fā)明實(shí)施例基于視頻圖像的對(duì)象融合終端，可以是智能手機(jī)、平板電腦等智能移動(dòng)設(shè)備，也可以是智能眼鏡等可穿戴式智能設(shè)備，還可以是車(chē)載智能終端等車(chē)載式智能設(shè)備或智能電視等智能家居設(shè)備。

再次聲明，本說(shuō)明書(shū)中公開(kāi)的所有特征，或公開(kāi)的所有方法或過(guò)程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

本說(shuō)明書(shū)(包括任何附加權(quán)利要求、摘要和附圖)中公開(kāi)的任一特征，除非特別敘述，均可被其他等效或具有類(lèi)似目的的替代特征加以替換。即，除非特別敘述，每個(gè)特征只是一系列等效或類(lèi)似特征中的一個(gè)例子而已。

本發(fā)明并不局限于前述的具體實(shí)施方式。本發(fā)明可以擴(kuò)展到任何在本說(shuō)明書(shū)中披露的新特征或任何新的組合，以及披露的任一新的方法或過(guò)程的步驟或任何新的組合。