專利名稱：基于圖像的虛擬試穿系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬試穿技術(shù)，尤其涉及一種以試穿者的圖像為基礎(chǔ)來達(dá)到試穿效果的虛擬試穿系統(tǒng)和方法。
背景技術(shù)：
隨著計算機(jī)圖形學(xué)等信息處理技術(shù)的發(fā)展，已經(jīng)研發(fā)出能夠?qū)崿F(xiàn)虛擬試穿的諸多方案。通過虛擬試穿系統(tǒng)，用戶不必真實地穿上衣服，而僅需要將自己的影像提供給虛擬試穿系統(tǒng)就能夠看到虛擬試穿的效果。這種虛擬試穿系統(tǒng)的應(yīng)用十分廣泛，比如，設(shè)計師可利用虛擬試穿系統(tǒng)來輔助服裝設(shè)計，而隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，對于普通顧客而言，這種虛擬試穿系統(tǒng)還特別適用于網(wǎng)絡(luò)購物、虛擬社區(qū)等在線交互系統(tǒng)?，F(xiàn)有的虛擬試穿系統(tǒng)主要分為兩類，其中，第一類為基于模型(model based)的虛擬試穿系統(tǒng)，第二類為基于圖像(image based)的虛擬試穿系統(tǒng)。圖I是現(xiàn)有技術(shù)中基于模型的虛擬試穿系統(tǒng)的試穿效果示意圖?，F(xiàn)有的基于模型的虛擬試穿系統(tǒng)通常采用三維模型(因為二維模型實用價值非常小)，具體說來，可根據(jù)人體三維模型和衣物三維模型，計算出穿衣后上述兩個模型的相對位置關(guān)系和變形，并依據(jù)衣物的材質(zhì)信息進(jìn)行渲染，即實現(xiàn)虛擬試穿效果。例如，公開號為CN101398942A的中國專利《三維試衣仿真系統(tǒng)》中公開了一種對虛擬人模和衣物模型進(jìn)行模擬著裝的技術(shù)，其中，三維衣物數(shù)據(jù)從二維衣物數(shù)據(jù)轉(zhuǎn)換而來，在進(jìn)行著裝模擬時，采用了基于層次剖分技術(shù)并融合了 AABB包圍盒檢測算法。然而，由于人體和衣物的三維模型均難以獲取，不僅需要昂貴的設(shè)備，采集過程也不簡便，因此，基于模型的三維試穿仿真系統(tǒng)難以應(yīng)用于普通用戶。此外，由于在渲染時僅處理幾何方面的問題，導(dǎo)致渲染結(jié)果的真實感較差，達(dá)不到照片級別的真實性，很容易看出是計算機(jī)合成的結(jié)果。另一方面，在基于圖像的虛擬試穿系統(tǒng)中，所使用的是人體和衣服的二維圖像。具體說來，所述虛擬試穿系統(tǒng)可基于人體二維圖像中的某些特征(如關(guān)節(jié)點位置、人體輪廓等)，結(jié)合試穿者的身材數(shù)據(jù)(如，身高、體重、三圍等)，通過與試穿者進(jìn)行頻繁交互來實現(xiàn)將衣服擬合到人體上的效果。基于圖像的虛擬試穿系統(tǒng)中的數(shù)據(jù)采集部分相對而言易于實現(xiàn)(僅需要輸入普通的二維圖像)，并能夠?qū)崿F(xiàn)照片級別的真實性。但是現(xiàn)有的基于圖像的虛擬試穿系統(tǒng)普遍存在以下缺陷1、僅支持簡單的體姿，圖2示出現(xiàn)有技術(shù)中基于圖像的虛擬試穿系統(tǒng)支持的典型體姿，從圖2可以看出，目前的基于圖像的虛擬試穿系統(tǒng)由于局限于單一的站姿而無法獲得足夠豐富的試穿效果。2、對試穿者的拍攝有嚴(yán)格限制，如第US6307568B1號美國專利《Virtual dressing over the Internet》中明確限制試穿者拍攝時需要穿緊身衣服。3、需要知曉試穿者的身材數(shù)據(jù)，既不利于保護(hù)隱私，也不便于用戶使用。4、需要試穿者不斷與試穿系統(tǒng)進(jìn)行交互，操作復(fù)雜且速度較慢，如第US5680528號美國專利《Digital dressing room))中就要求試穿者進(jìn)行多次手動交互。綜上所述，在現(xiàn)有的虛擬試穿系統(tǒng)中，仍存在諸多應(yīng)用限制，對試穿者的要求也較高，操作起來不夠便利。用戶難以通過現(xiàn)有的虛擬試穿系統(tǒng)進(jìn)行便利的試穿，也無法獲得真實度高且內(nèi)容豐富的試穿效果圖。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供能夠基于圖像實現(xiàn)良好試穿效果的虛擬試穿系統(tǒng)和方法，通過所述虛擬試穿系統(tǒng)和方法，能夠自動生成生動的虛擬試穿效果，而不需要對試穿者或輸入圖像進(jìn)行諸多約束。根據(jù)本發(fā)明的一方面，提供一種基于圖像的虛擬試穿系統(tǒng)，所述系統(tǒng)包括圖像分解單元，用于將試穿者圖像分解為不同的部位；匹配單元，用于針對由圖像分解單元分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位；以及合成單元，用于將由匹配單元搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。圖像分解單元可在試穿者圖像中與試穿衣物對應(yīng)的區(qū)域中，沿著用于確定試穿者各個部位的關(guān)節(jié)點來分解出所述各個部位。圖像分解單元可包括特征提取模塊，用于檢測所述各個部位的關(guān)節(jié)點的三維或二維坐標(biāo)；分割模塊，用于沿著檢測到的關(guān)節(jié)點的三維或二維坐標(biāo)進(jìn)行分割處理，以獲取所述各個部位。分割模塊可在各個部位之間留出預(yù)定重疊部分以用于合成處理。當(dāng)存在穿著所述試穿衣物的多個模特的模特圖像時，匹配單元可優(yōu)先搜索與試穿者體型接近的模特的模特圖像。匹配單元可包括部位匹配模塊，用于針對試穿者的每個部位，搜索與其匹配的一個或多個候選模特對應(yīng)部位；全局匹配模塊，用于基于部位匹配模塊搜索出的全部候選模特對應(yīng)部位，確定與試穿者各個部位組成的整體相匹配的模特對應(yīng)部位的組合。部位匹配模塊可將試穿者的各個部位的端點處的關(guān)節(jié)點連線的空間朝向與模特的相應(yīng)部位的端點處的關(guān)節(jié)點連線的空間朝向進(jìn)行匹配，將匹配差異較小的一個或多個模特對應(yīng)部位選為候選模特對應(yīng)部位。全局匹配模塊可確定試穿者的各個部位組成的整體與候選模特對應(yīng)部位的哪種組合之間的總匹配差異最小，并將最小總匹配差異對應(yīng)的那組候選模特對應(yīng)部位確定為最終的模特對應(yīng)部位。當(dāng)部位匹配模塊選擇候選模特對應(yīng)部位時，可將候選模特對應(yīng)部位限制為不被其它部位遮擋。圖像分解單元還可獲取試穿者各個部位之間的遮擋關(guān)系，并且，全局匹配模塊可將相鄰的非遮擋關(guān)系的試穿者部位組裝為一個新的匹配對象，然后針對所述新的匹配對象在候選模特對應(yīng)部位的模特圖像中搜索匹配的模特對應(yīng)部位組合。當(dāng)全局匹配模塊確定組裝的所述新的匹配對象的匹配差異時，可對其中的每個部位的匹配差異進(jìn)行求和，再從求和的值減去與所述新的匹配對象中的部位個數(shù)成預(yù)定比例的數(shù)值。當(dāng)試穿者圖像是時間上連續(xù)的運動圖像時，匹配單元可依據(jù)前后圖像幀之間的連續(xù)性來搜索匹配的模特對應(yīng)部位。合成單元可包括變形模塊，用于依據(jù)試穿者圖像的圖像特征，對由匹配單元搜索到的模特對應(yīng)部位進(jìn)行變形；拼接模塊，用于將變形模塊輸出的變形結(jié)果與試穿者圖像中除所述與試穿衣物對應(yīng)的區(qū)域之外的圖像區(qū)域進(jìn)行拼接或融合，以產(chǎn)生試穿效果圖。所述試穿者圖像的圖像特征包括可所述關(guān)節(jié)點和/或試穿者自身的軀體輪廓信
肩、O變形模塊可依據(jù)試穿者和模特的關(guān)節(jié)點和軀體輪廓信息的對應(yīng)關(guān)系，將模特對應(yīng)部位變形到試穿者圖像的空間。拼接模塊可利用由分割模塊在各個部位之間留出的預(yù)定重疊部分來進(jìn)行拼接或融合處理。拼接模塊可基于皮膚一致性約束或姿勢約束來執(zhí)行拼接或融合處理。所述虛擬試穿系統(tǒng)還可包括插值單元，用于當(dāng)試穿者圖像是時間上連續(xù)的運動圖像時，通過對相鄰圖像幀的試穿效果圖進(jìn)行插值來獲得當(dāng)前圖像幀的試穿效果圖。當(dāng)試穿者圖像是不同視角下的多幅圖像時，合成單元可基于所述多幅圖像對應(yīng)的試穿效果圖來生成三維試穿效果圖。根據(jù)本發(fā)明的另一方面，提供一種基于圖像的虛擬試穿方法，所述方法包括將試穿者圖像分解為不同的部位；針對分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位；以及將搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)和方法對試穿者的輸入圖像沒有限制，試穿者可采用隨意的穿著和姿勢，輸入圖像也可以是易于采集的普通二維圖像。在根據(jù)本發(fā)明示例性實施例的虛擬試衣系統(tǒng)和方法中，可自動合成試穿效果圖，不需要進(jìn)行任何用戶交互操作，也不需要獲取試穿者的真實身材數(shù)據(jù)，所實現(xiàn)的試穿效果圖可達(dá)到照片級別的真實性。此外，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)和方法有效地解決了基于圖像進(jìn)行虛擬試穿時經(jīng)常面臨的部位遮擋問題，并通過獨特的部位劃分、部位匹配和效果圖合成處理，保證了試穿系統(tǒng)運行的速度和顯示的效果。


通過下面結(jié)合附圖進(jìn)行的對實施例的描述，本發(fā)明的上述和/或其它目的和優(yōu)點將會變得更加清楚，其中圖I是現(xiàn)有技術(shù)中基于模型的虛擬試穿系統(tǒng)的試穿效果示意圖；圖2示出現(xiàn)有技術(shù)中基于圖像的虛擬試穿系統(tǒng)支持的典型體姿；圖3是示出根據(jù)本發(fā)明示例性實施例的基于圖像的虛擬試穿系統(tǒng)的框圖；圖4示出根據(jù)本發(fā)明示例性實施例的試穿者圖像的示圖；圖5是示出根據(jù)本發(fā)明示例性實施例的基于圖像的虛擬試穿方法的流程圖；圖6示出根據(jù)本發(fā)明示例性實施例的用于分解出人體部位的關(guān)節(jié)點示例；圖7示出根據(jù)本發(fā)明示例性實施例的圖像分解單元的示例性構(gòu)造；圖8示出根據(jù)本發(fā)明示例性實施例的匹配單元的示例性構(gòu)造；圖9示出根據(jù)本發(fā)明示例性實施例的合成單元的示例性構(gòu)造；以及圖10示出根據(jù)本發(fā)明示例性實施例進(jìn)行虛擬試穿的測試效果圖。
具體實施例方式現(xiàn)將詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中，相同的標(biāo)號始終指的是相同的部件。以下將通過參照附圖來說明所述實施例，以便解釋本發(fā)明。圖3是示出根據(jù)本發(fā)明示例性實施例的基于圖像的虛擬試穿系統(tǒng)的框圖。如圖3所示，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)包括圖像分解單元10、匹配單元20和合成單元30，其中，圖像分解單元10將試穿者圖像分解為不同的部位，匹配單元20針對由圖像分解單元10分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位，然后，合成單元30將由匹配單元20搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。這里，對衣物的試穿不僅是指試穿成套的上衣、褲子或其它外套，也指對單獨的上衣或褲子進(jìn)行試穿，甚至還包括對鞋子等其余配件的試穿(或試戴)等，只要試穿者圖像和模特圖像能夠?qū)崿F(xiàn)相應(yīng)的匹配和合成，即可實現(xiàn)試穿的效果。根據(jù)本發(fā)明的示例性實施例，所述圖像分解單元10分解的試穿者圖像可以是任何能夠數(shù)字化為二維點陣的圖像，例如，RGB圖像等。此外，深度圖像或運動圖像也可作為圖像分解單元10進(jìn)行分解的對象。圖4示出根據(jù)本發(fā)明示例性實施例的試穿者圖像的示圖，其中，圖4中的(a)為普通的RGB 二維圖像，圖4中的(b)為深度圖像。在這里，試穿者圖像可不受姿勢或穿著的限制，即，試穿者不必局限于圖2所示的站姿，而可以作出更加多樣的姿勢和角度，另外，也不必穿著現(xiàn)有技術(shù)中要求的緊身衣，而可以穿著日常的衣服。在本發(fā)明的示例性實施例中，提出了一種全新的試穿方案，其超出了試穿者與衣物本身兩者之間的擬合，而是借助于衣物圖庫中存儲的穿有被試穿衣物的模特圖像來生成與試穿者各個部位匹配的模特對應(yīng)圖像，然后將匹配的模特對應(yīng)圖像與試穿者圖像中的非衣物區(qū)域進(jìn)行合成，以產(chǎn)生試穿者的試穿效果圖。為了實現(xiàn)更好的匹配效果，在衣物圖庫中，針對每一將被試穿的衣物，可存儲多個模特以不同姿勢、不同視角拍攝的多幅圖像，所述多個模特可以在身高體重等方面存在一定差異。也就是說，模特圖像信息越豐富，匹配的效果也就越精確，適用的范圍也更廣泛。以下將結(jié)合圖5來說明根據(jù)本發(fā)明示例性實施例的基于圖像的虛擬試穿方法的示例。圖5是示出根據(jù)本發(fā)明示例性實施例的基于圖像的虛擬試穿方法的流程圖。參照圖5，在步驟S100，由圖像分解單元10將試穿者圖像分解為不同的部位。作為示例，分解得到的部位可以是諸如軀干、上臂、下臂、大腿、小腿等，這些部位屬于能夠體現(xiàn)穿著效果的關(guān)鍵部位，當(dāng)分別確定了這些部位的試穿效果時，相應(yīng)地也就確定了試穿者的整體試穿效果。作為示例，圖像分解單元10可沿著能夠確定上述部位的關(guān)節(jié)點來分解出各個人體部位，所述關(guān)節(jié)點可如圖6所示。圖7示出根據(jù)本發(fā)明示例性實施例的圖像分解單元10的示例性構(gòu)造。參照圖7所示的優(yōu)選方式，圖像分解單元10可包括特征提取模塊101和分割模塊102，其中，特征提取模塊101用于將作為前景的試穿者本身從試穿者圖像中分離出來，并在與試穿衣物對應(yīng)的區(qū)域檢測關(guān)節(jié)點的三維或二維坐標(biāo)(這里，特征提取模塊101可采用現(xiàn)有技術(shù)中的任何已知算法或其它算法來檢測關(guān)節(jié)點坐標(biāo)，本說明書不對具體算法進(jìn)行贅述)，此外，特征提取單元101還可從試穿者圖像中檢測出試穿者自身的軀體輪廓信息，作為示例，軀體輪廓信息可以是該試穿者軀體輪廓上的一些采樣點信息。在特征提取模塊101提取出試穿者在與試穿衣物區(qū)域中的關(guān)節(jié)點的三維或二維坐標(biāo)之后，分割模塊102可沿著檢測到的關(guān)節(jié)點的三維或二維坐標(biāo)進(jìn)行分割處理，從而得到試穿者在試穿衣物區(qū)域中的各個部位(例如試穿上衣時的軀干、上臂、下臂等，試穿長褲時的大腿、小腿等)。作為優(yōu)選方式，當(dāng)分割模塊102分割所述部位時，可在各部位之間留出一定的重疊部分，以便在后續(xù)合成效果圖時易于進(jìn)行拼接處理。應(yīng)注意圖7所示的圖像分解單元10的結(jié)構(gòu)僅是示例性的，本發(fā)明并不受限于該具體結(jié)構(gòu)。特征提取模塊101和分割模塊102可被合并為單個模塊或者進(jìn)一步劃分為更多的操作模塊。而且，圖像分解單元10對于試穿者各個部位的劃分也并不受限于參照圖7所述的具體操作，任何能夠?qū)⒃嚧┱邎D像中的試穿者進(jìn)行有效部位劃分的其它方式也均可應(yīng)用于本發(fā)明。然后，在步驟S200，由匹配單元20針對由圖像分解單元10在步驟SlOO分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位。這里，為了便于進(jìn)行試穿者與模特之間的部位匹配，在衣物圖庫中，對于試穿衣物的每幅模特圖像而言，該模特與試穿者對應(yīng)的各個部位和每個部位的相關(guān)屬性信息已經(jīng)作為該幅模特圖像的附加信息被一并存儲。例如，當(dāng)試穿者試穿一條長褲時，圖像分解單元10會將試穿者圖像中與長褲對應(yīng)的區(qū)域劃分為腰部、臀部、大腿、小腿等部位；相應(yīng)地，衣物圖庫中穿著該長褲的模特圖像的附加信息中也已經(jīng)存儲有關(guān)于模特的腰部、臀部、大腿、小腿等部位以及每個部位的相關(guān)屬性信息。作為優(yōu)選方式，為了獲取模特與試穿者對應(yīng)的各個部位，可按照與試穿者圖像完全一致的方式對模特圖像進(jìn)行分割。為了進(jìn)一步提高匹配效率，當(dāng)衣物圖庫中存儲有穿著試穿衣物的多位模特的圖像時，可基于身高和體重差異來優(yōu)先選取體型接近的模特進(jìn)行匹配。在這一處理中，不需要獲知試穿者的真實體重和身高，而僅需要將試穿者圖像與模特圖像在統(tǒng)一縮放尺度下進(jìn)行比對即可獲知兩者的差異程度，其中，高度數(shù)據(jù)可以直接從圖像中測量得出，而體重數(shù)據(jù)則可通過軀體面積與高度的比值來估算。對于本領(lǐng)域技術(shù)人員而言，可使用各種方式來比較試穿者的各部位與模特的各部位，從而選擇與試穿者差異較小的模特對應(yīng)部位?？筛鶕?jù)實際應(yīng)用的需要(例如，對精確度和運行速度的不同要求)來調(diào)整匹配的具體處理過程。以下，作為示例，將結(jié)合圖8示出的根據(jù)本發(fā)明示例性實施例的匹配單元20的示例性構(gòu)造來描述步驟S200進(jìn)行的匹配操作。參照圖8，匹配單元20可包括部位匹配模塊201和全局匹配模塊202，其中，所述部位匹配模塊201用于針對試穿者的每個部位，搜索與其匹配的一個或多個候選模特對應(yīng)部位，而全局匹配模塊202基于部位匹配模塊201獲得的全部候選模特對應(yīng)部位，確定與試穿者各個部位組成的整體相匹配的模特對應(yīng)部位的組合。具體說來，在部位匹配模塊201搜索候選模特對應(yīng)部位時，所述部位匹配模塊201可將試穿者某個部位的端點處的關(guān)節(jié)點連線的空間朝向與相關(guān)模特的相應(yīng)部位的端點處的關(guān)節(jié)點連線的空間朝向進(jìn)行比較，二者差異較小的一個或多個模特對應(yīng)部位被選為候選模特對應(yīng)部位。在此基礎(chǔ)上，全局匹配模塊202可確定各個試穿者部位組成的整體與候選模特對應(yīng)部位的哪種組合之間的總匹配差異最小，并將最小總匹配差異對應(yīng)的那組候選模特對應(yīng)部位確定為最終的模特對應(yīng)部位。由于本發(fā)明的虛擬試穿系統(tǒng)不對試穿者的姿勢進(jìn)行限制，因此可能會出現(xiàn)人體部位互相遮擋的情況(例如，手臂可能位于軀干前方，遮擋住了部分軀干)。因此，為了進(jìn)一步提高試穿的效果，可首先在對試穿者和模特進(jìn)行部位分割的時候即獲取指示各個部位之間是否存在遮擋關(guān)系的信息，在選擇候選模特對應(yīng)部位時，可限制該候選模特對應(yīng)部位不應(yīng)被其它部位遮擋，以優(yōu)化對候選模特對應(yīng)部位的選取。在此基礎(chǔ)上，全局匹配模塊202可通過組裝試穿者部位的方式來進(jìn)一步優(yōu)化匹配結(jié)果。具體說來，全局匹配模塊202可將相鄰的非遮擋關(guān)系的試穿者部位組裝為一個新的匹配對象，然后以該對象為基礎(chǔ)在候選模特圖像中搜索與其匹配的部位組合。作為一種優(yōu)選方式，當(dāng)確定上述重組對象的匹配差異時，可對組合中每個部位的匹配差異進(jìn)行求和，再從求和的值減去與組合中部位個數(shù)成預(yù)定比例的數(shù)值。全局匹配模塊202的上述處理是為了對來自不同模特圖像的匹配結(jié)果予以懲罰，以增加匹配處理的有效性。通過上述處理，各個試穿者部位組成的整體(即，試穿衣物覆蓋的區(qū)域)被全局匹配模塊202劃分為多個重組的匹配對象和剩余的單個部位，并依次計算對應(yīng)的匹配差異，其中，總匹配差異最小的那組候選模特對應(yīng)部位確定為最終的模特對應(yīng)部位。應(yīng)注意圖8所示的匹配單元20的結(jié)構(gòu)僅是示例性的，本發(fā)明并不受限于該具體結(jié)構(gòu)。部位匹配模塊201和全局匹配模塊202可被合并為單個模塊或者進(jìn)一步劃分為更多的操作模塊。而且，匹配單元20針對試穿者各個部位選擇匹配的模特對應(yīng)部位的方式也并不受限于參照圖8所述的具體操作，任何能夠?qū)⒃嚧┱邎D像中的各個部位有效地匹配到模特的對應(yīng)部位的其它方式也均可應(yīng)用于本發(fā)明。例如，如果輸入的試穿者圖像是時間上連續(xù)的運動圖像，則匹配單元20還可依據(jù)前后圖像幀之間的連續(xù)性來更加高效地搜索匹配的模特對應(yīng)部位，例如，匹配單元20可根據(jù)前一幀圖像的匹配結(jié)果來預(yù)測當(dāng)前幀圖像的匹配結(jié)果。然后，在步驟S300，由合成單元30將由匹配單元20搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。為了實現(xiàn)更好的合成效果，可首先依據(jù)試穿者的圖像特征，對由匹配單元20搜索到的模特對應(yīng)部位進(jìn)行變形，在將變形的結(jié)果與試穿者圖像中的非試穿衣物區(qū)域進(jìn)行拼接。以下，作為示例，將結(jié)合圖9示出的根據(jù)本發(fā)明示例性實施例的合成單元30的示例性構(gòu)造來描述步驟S300進(jìn)行的合成操作。參照圖9，合成單元30可包括變形模塊301和拼接模塊302，其中，所述變形模塊301用于依據(jù)試穿者的圖像特征，對由匹配單元20搜索到的模特對應(yīng)部位進(jìn)行變形，然后，拼接模塊302將變形的結(jié)果與試穿者圖像中的非試穿衣物區(qū)域進(jìn)行拼接/融合，以產(chǎn)生試穿效果圖。這里，用于進(jìn)行變形的試穿者的圖像特征可以是由特征提取單元101提取的關(guān)節(jié)點，還可包括從試穿者圖像中檢測出的試穿者自身的軀體輪廓信息，例如，該試穿者軀體輪廓上的一些采樣點信息。相應(yīng)地，變形模塊301可依據(jù)試穿者和模特的軀體輪廓上的上述關(guān)節(jié)點和采樣點的對應(yīng)關(guān)系，將各個模特對應(yīng)部位變形到試穿者圖像的空間。在變形模塊301執(zhí)行變形處理之后，拼接模塊302將變形的結(jié)果與試穿者圖像中的非試穿衣物區(qū)域進(jìn)行拼接/融合。作為優(yōu)選方式，拼接模塊302可利用進(jìn)行部位分割時在各部位之間預(yù)留出的重疊部分進(jìn)行拼接。這里，拼接模塊302可采用任何已知的拼接/融合技術(shù)來對變形結(jié)果與試穿者的非衣物區(qū)域進(jìn)行拼接/融合，例如，可考慮皮膚一致性約束、姿勢約束等各種條件來執(zhí)行拼接處理。應(yīng)注意圖9所示的合成單元30的結(jié)構(gòu)僅是示例性的，本發(fā)明并不受限于該具體結(jié)構(gòu)。變形模塊301和拼接模塊302可被合并為單個模塊或者進(jìn)一步劃分為更多的操作模塊。而且，合成單元30對試穿衣物相應(yīng)的模特匹配結(jié)果與試穿者非衣物區(qū)域進(jìn)行的合成操作也并不受限于參照圖9所述的具體操作，任何能夠?qū)⒃嚧┱叩姆且挛飬^(qū)域與模特圖像變形結(jié)果相互拼接的其它方式也均可應(yīng)用于本發(fā)明。此外，本發(fā)明對輸入的試穿者圖像并無具體限制，而當(dāng)輸入圖像是試穿者的連續(xù)視頻時，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)還可包括插值單元(未示出)，用于通過對相鄰圖像幀的試衣效果圖進(jìn)行插值來獲取當(dāng)前圖像幀的試衣效果圖，從而能夠在當(dāng)前幀自身的合成效果圖不夠理想時，對其進(jìn)行適當(dāng)?shù)膹浹a(bǔ)。而且，當(dāng)輸入圖像是試穿者在不同視角下的多幅圖像時，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)可針對所述多幅圖像對應(yīng)的試穿效果圖，合成三維試穿效果圖，便于試穿者更好地查看試穿效果。例如，可通過合成單元10基于多幅試穿效果圖來生成三維試穿效果圖。圖10示出根據(jù)本發(fā)明示例性實施例進(jìn)行虛擬試穿的測試效果圖。圖10中的(a)是輸入的試穿者圖像，圖10中的(b)是衣物圖庫中存儲的穿著試穿者想要試穿的上衣和褲子的多幅模特圖像，而圖10中的(C)是根據(jù)本發(fā)明示例性實施例進(jìn)行虛擬試穿的合成效果圖。從圖10看出，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)和方法對試穿者的輸入圖像沒有限制，試穿者可采用隨意的穿著和姿勢，輸入圖像也可以是易于采集的普通二維圖像。在根據(jù)本發(fā)明示例性實施例的虛擬試衣系統(tǒng)和方法中，可自動合成試穿效果圖，不需要進(jìn)行任何用戶交互操作，也不需要獲取試穿者的真實身材數(shù)據(jù)，所實現(xiàn)的試穿效果圖可達(dá)到照片級別的真實性。此外，根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)和方法有效地解決了基于圖像進(jìn)行虛擬試穿時經(jīng)常面臨的部位遮擋問題，并通過獨特的部位劃分、部位匹配和效果圖合成處理，保證了試穿系統(tǒng)運行的速度和顯示的效果。根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)和方法可被應(yīng)用于服裝設(shè)計、網(wǎng)絡(luò)購物、虛擬社區(qū)等系統(tǒng)中。在上述系統(tǒng)中，除了根據(jù)本發(fā)明示例性實施例的虛擬試穿系統(tǒng)之夕卜，還包括相應(yīng)的圖像采集單元、數(shù)據(jù)處理單元或顯示單元等，由于這些單元均屬于本發(fā)明以外的現(xiàn)有技術(shù)，因此，為了避免對本發(fā)明的主題造成混淆，在此不進(jìn)行詳細(xì)說明。本發(fā)明的以上各個實施例僅僅是示例性的，而本發(fā)明并不受限于此。本領(lǐng)域技術(shù)人員應(yīng)該理解任何借助于衣物圖庫中存儲的穿有被試穿衣物的模特圖像來生成與試穿者各個部位匹配的模特對應(yīng)圖像，然后將匹配的模特對應(yīng)圖像與試穿者圖像中的非衣物區(qū)域進(jìn)行合成，以產(chǎn)生試穿者的試穿效果圖的方式均落入本發(fā)明的范圍之中。因此，在不脫離本發(fā)明的原理和精神的情況下，可對這些實施例進(jìn)行改變，其中，本發(fā)明的范圍在權(quán)利要求及其等同物中限定。
權(quán)利要求
1.一種基于圖像的虛擬試穿系統(tǒng)，所述系統(tǒng)包括 圖像分解單元，用于將試穿者圖像分解為不同的部位； 匹配單元，用于針對由圖像分解單元分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位；以及 合成單元，用于將由匹配單元搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。
2.如權(quán)利要求I所述的系統(tǒng)，其中，圖像分解單元在試穿者圖像中與試穿衣物對應(yīng)的區(qū)域中，沿著用于確定試穿者的所述各個部位的關(guān)節(jié)點來分解出所述各個部位。
3.如權(quán)利要求2所述的系統(tǒng)，其中，圖像分解單元包括 特征提取模塊，用于檢測所述各個部位的關(guān)節(jié)點的三維或二維坐標(biāo)； 分割模塊，用于沿著檢測到的關(guān)節(jié)點的三維或二維坐標(biāo)進(jìn)行分割處理，以獲取所述各個部位。
4.如權(quán)利要求I所述的系統(tǒng)，其中，當(dāng)存在穿著所述試穿衣物的多個模特的模特圖像時，匹配單元優(yōu)先搜索與試穿者體型接近的模特的模特圖像。
5.如權(quán)利要求3所述的系統(tǒng)，其中，匹配單元包括 部位匹配模塊，用于針對試穿者的所述各個部位，搜索與其匹配的一個或多個候選模特對應(yīng)部位； 全局匹配模塊，用于基于部位匹配模塊搜索出的全部候選模特對應(yīng)部位，確定與試穿者的所述各個部位組成的整體相匹配的模特對應(yīng)部位的組合。
6.如權(quán)利要求5所述的系統(tǒng)，其中，部位匹配模塊將試穿者的所述各個部位的端點處的關(guān)節(jié)點連線的空間朝向與模特的相應(yīng)部位的端點處的關(guān)節(jié)點連線的空間朝向進(jìn)行匹配，將匹配差異較小的一個或多個模特對應(yīng)部位選為候選模特對應(yīng)部位；全局匹配模塊確定試穿者的所述各個部位組成的整體與候選模特對應(yīng)部位的哪種組合之間的總匹配差異最小，并將最小總匹配差異對應(yīng)的那組候選模特對應(yīng)部位確定為最終的模特對應(yīng)部位。
7.如權(quán)利要求6所述的系統(tǒng)，其中，當(dāng)部位匹配模塊選擇候選模特對應(yīng)部位時，將候選模特對應(yīng)部位限制為不被其它部位遮擋。
8.如權(quán)利要求7所述的系統(tǒng)，其中，圖像分解單元還獲取試穿者的所述各個部位之間的遮擋關(guān)系，并且，全局匹配模塊將相鄰的非遮擋關(guān)系的試穿者的部位組裝為一個新的匹配對象，然后針對所述新的匹配對象在候選模特對應(yīng)部位的模特圖像中搜索匹配的模特對應(yīng)部位組合。
9.如權(quán)利要求8所述的系統(tǒng)，其中，當(dāng)全局匹配模塊確定組裝的所述新的匹配對象的匹配差異時，對其中的每個部位的匹配差異進(jìn)行求和，再從求和的值減去與所述新的匹配對象中的部位個數(shù)成預(yù)定比例的數(shù)值。
10.如權(quán)利要求9所述的系統(tǒng)，其中，當(dāng)試穿者圖像是時間上連續(xù)的運動圖像時，匹配單元依據(jù)前后圖像幀之間的連續(xù)性來搜索匹配的模特對應(yīng)部位。
11.如權(quán)利要求3所述的系統(tǒng)，其中，合成單元包括 變形模塊，用于依據(jù)試穿者圖像的圖像特征，對由匹配單元搜索到的模特對應(yīng)部位進(jìn)行變形； 拼接模塊，用于將變形模塊輸出的變形結(jié)果與試穿者圖像中除所述與試穿衣物對應(yīng)的區(qū)域之外的圖像區(qū)域進(jìn)行拼接或融合，以產(chǎn)生試穿效果圖。
12.如權(quán)利要求11所述的系統(tǒng)，其中，所述試穿者圖像的圖像特征包括所述關(guān)節(jié)點和/或試穿者自身的軀體輪廓信息；變形模塊依據(jù)試穿者和模特的關(guān)節(jié)點和軀體輪廓信息的對應(yīng)關(guān)系，將模特對應(yīng)部位變形到試穿者圖像的空間。
13.如權(quán)利要求11所述的系統(tǒng)，其中，拼接模塊利用由分割模塊在所述各個部位之間留出的預(yù)定重疊部分來進(jìn)行拼接或融合處理。
14.如權(quán)利要求I所述的系統(tǒng)，還包括 插值單元，用于當(dāng)試穿者圖像是時間上連續(xù)的運動圖像時，通過對相鄰圖像幀的試穿效果圖進(jìn)行插值來獲得當(dāng)前圖像幀的試穿效果圖。
15.如權(quán)利要求I所述的系統(tǒng)，其中，當(dāng)試穿者圖像是不同視角下的多幅圖像時，合成單元基于所述多幅圖像對應(yīng)的試穿效果圖來生成三維試穿效果圖。
16.—種基于圖像的虛擬試穿方法，所述方法包括 將試穿者圖像分解為不同的部位； 針對分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位；以及將搜索到的模特對應(yīng)部位與試穿者圖像行合成。
全文摘要
提供一種基于圖像的虛擬試穿系統(tǒng)和方法，所述系統(tǒng)包括圖像分解單元，用于將試穿者圖像分解為不同的部位；匹配單元，用于針對由圖像分解單元分解出的試穿者的各個部位，在衣物圖庫中存儲的穿著所述試穿衣物的至少一個模特圖像中搜索與所述各個部位匹配的模特對應(yīng)部位；以及合成單元，用于將由匹配單元搜索到的模特對應(yīng)部位與試穿者圖像進(jìn)行合成。根據(jù)本發(fā)明的虛擬試穿系統(tǒng)和方法可支持試穿者的多種體姿，實現(xiàn)照片級別的真實性并能夠取得豐富的試穿效果。
文檔編號G06T19/00GK102982581SQ20111026569
公開日2013年3月20日 申請日期2011年9月5日 優(yōu)先權(quán)日2011年9月5日
發(fā)明者張輝, 馮雪濤, 沈曉璐, 林華書, 金庸善 申請人:北京三星通信技術(shù)研究有限公司, 三星電子株式會社