本發(fā)明屬于深度學習和仿真的結合領域，尤其涉及一種基于深度學習的寬松服裝粗粒度仿真方法。

背景技術：

1、隨著硬件算力的不斷提升，服裝仿真近年來來一直是一個活躍的話題，其在視頻游戲、動畫電影、時裝設計和擴展現(xiàn)實(xr)中的廣泛應用?；谖锢淼姆b仿真模擬(pbs)為主，它利用力學原理直接解決非線性行為。盡管有這些創(chuàng)新算法，pbs仍然需要迭代求解。布料每次迭代數(shù)千個節(jié)點或網(wǎng)格元素，耗費大量的計算時間，甚至不能保證收斂。

2、為了滿足虛擬試穿等交互式應用的實時模擬需求，必須避免大量的計算，可以利用深度學習來繞過物理推理中的迭代求解。但是過去的實現(xiàn)，由于往往最后一步會使用人體關節(jié)對服裝進行線性混合蒙皮(lbs)來貼合動作，線性蒙皮的實現(xiàn)如下式所示：

3、

4、其中，是t時刻第i個頂點的位置,j是影響物數(shù)量是第i個頂點在第j個影響物上的權重值，是第j個影響物t時刻的transform矩陣，是第j個影響物t時刻的offset矩陣，是第i個頂點的綁定位置。

5、使用線性蒙皮能在緊身服裝上取得很好的效果，但由于對關節(jié)施加的旋轉分量并不適用于引導寬松服裝，線性蒙皮給服裝的寬松部分引出了很大的誤差值，這些誤差給深度學習引入了很大的挑戰(zhàn)。

技術實現(xiàn)思路

1、本發(fā)明的目的在于解決現(xiàn)有技術中存在的問題，并提供一種基于深度學習的寬松服裝粗粒度仿真方法?？紤]到粗粒度不僅可以對寬松部分進行先一步擬合，還可以使用預測結果作為后續(xù)細粒度網(wǎng)絡輸入以減少擬合難度。lbs是動畫和仿真的常用方法，即使用少量的節(jié)點控制整體mesh的運動，mesh上的每一個頂點根據(jù)其影響物的運動而去做線性變換，lbs的過程通常涉及到weights,transform矩陣和offset矩陣?；谏鲜霭l(fā)明構思，本發(fā)明提出了一種基于深度學習的寬松服裝粗粒度仿真方法，并給出了粗粒度的深度學習推理網(wǎng)絡，配合使用能實時更新寬松部分的粗粒度變形，以進行實時預測。

2、為了實現(xiàn)上述發(fā)明目的，本發(fā)明具體采用如下技術方案：

3、一種基于深度學習的寬松服裝粗粒度仿真方法，包括以下步驟：

4、s1、通過k-means聚類算法從服裝點云中獲取聚合特征，使用k-d樹尋找聚合特征在服裝點云上的鄰近點作為虛擬骨骼中每個虛擬骨骼點的位置，以虛擬骨骼中每個虛擬骨骼點的位置所在的服裝頂點為源，采用熱量擴散技術得到所有服裝頂點在每個虛擬骨骼點上的熱力值，預設權重最大影響物再對熱力值進行權重歸一化，得到初始化權重并將其作為服裝的虛擬骨骼蒙皮權重，利用虛擬骨骼的位置、預設的無旋轉分量以及無縮放分量得到bind矩陣，再通過對bind矩陣求逆得到服裝的虛擬骨骼offset矩陣，將服裝的虛擬骨骼蒙皮權重和服裝的虛擬骨骼offset矩陣作為服裝的虛擬骨骼蒙皮信息；

5、s2、分別預設人體的關節(jié)蒙皮權重和人體的關節(jié)offset矩陣，將人體的關節(jié)offset矩陣作為服裝的關節(jié)offset矩陣，通過k-d樹尋找離服裝頂點最近的人體頂點并使用人體的關節(jié)蒙皮權重在最近人體頂點處的值作為服裝的關節(jié)蒙皮權重在各頂點上的值，將服裝的關節(jié)蒙皮權重和服裝的關節(jié)offset矩陣作為服裝的關節(jié)蒙皮信息；

6、s3、使用s1中的服裝的關節(jié)蒙皮權重和服裝的關節(jié)offset矩陣以及獲取的人體關節(jié)運動數(shù)據(jù)對服裝進行線性混合蒙皮，得到蒙皮服裝序列，再由仿真器對人體骨骼運動數(shù)據(jù)進行仿真得到仿真服裝序列，計算蒙皮服裝序列和仿真服裝序列的數(shù)值差異得到服裝的寬松信息，將服裝的寬松信息作為權重分別對服裝的關節(jié)蒙皮權重以及服裝的虛擬骨骼蒙皮權重進行加權，在每個服裝頂點上將加權后的服裝的關節(jié)蒙皮權重以及服裝的虛擬骨骼蒙皮權重拼接作為服裝的混合骨骼蒙皮權重，將服裝的虛擬骨骼offset矩陣和服裝的關節(jié)offset矩陣拼接作為服裝的混合骨骼offset矩陣，將服裝的混合骨骼蒙皮權重和服裝的混合骨骼offset矩陣作為服裝的混合骨骼蒙皮信息；

7、s4、由人體關節(jié)運動數(shù)據(jù)得到人體關節(jié)transform信息，并對人體關節(jié)transform信息進行初步預處理，并將初步預處理后的人體關節(jié)transform信息對輸入到經(jīng)過訓練的寬松服裝粗粒度預測網(wǎng)絡，得到混合骨骼的虛擬骨骼部分transform信息，再對初步預處理后的人體關節(jié)transform信息進行深度預處理，得到混合骨骼的關節(jié)部分transform信息，將混合骨骼的關節(jié)部分transform信息與混合骨骼的虛擬骨骼部分transform信息拼接得到混合骨骼transform信息，使用混合骨骼transform信息、服裝的混合骨骼蒙皮信息和服裝mesh對服裝進行線性混合蒙皮，得到服裝預測結果。

8、在上述方案基礎上，各步驟可以采用如下優(yōu)選的具體方式實現(xiàn)。

9、作為優(yōu)選，步驟s1中，熱力值的計算方式如下：

10、

11、其中，bj是第j個虛擬骨骼點的位置；vi是第i個服裝頂點；gd(bj,vi)表示計算第j個虛擬骨骼點和第i個服裝頂點的測地線距離；代表第j個虛擬骨骼點在第i個服裝頂點上的熱力值；α表示預設的超參數(shù)。

12、作為優(yōu)選，步驟s3中，服裝的寬松信息的計算方式如下：

13、

14、其中，iloose,i表示第i個服裝頂點的寬松信息數(shù)值；clamp(x,min,max)表示將數(shù)據(jù)x截斷到[min,max]區(qū)間的函數(shù)；kloose表示預設的寬松信息計算系數(shù)；vlbs,i是蒙皮服裝序列中的第i個服裝頂點；vgt,i表示仿真服裝序列中的第i個服裝頂點；tloose表示預設的寬松距離閾值。

15、作為優(yōu)選，步驟s3中，將服裝的寬松信息作為權重分別對服裝的關節(jié)蒙皮權重以及服裝的虛擬骨骼蒙皮權重進行加權的計算方式如下：

16、

17、其中，wb(n),i代表第n個虛擬骨骼在第i個服裝頂點上的虛擬骨骼蒙皮權重；wj(n),i代表第n個關節(jié)在第i個服裝頂點上的關節(jié)蒙皮權重；代表第n個虛擬骨骼在第i個服裝頂點上的加權后的虛擬骨骼蒙皮權重；代表第n個關節(jié)在第i個服裝頂點上的加權后的關節(jié)蒙皮權重。

18、作為優(yōu)選，步驟s4中，對人體關節(jié)transform信息進行初步預處理的具體過程如下：對服裝的關節(jié)蒙皮權重沿頂點求和得到每個關節(jié)在所有服裝頂點上的權重和，將所有權重和小于α的關節(jié)記為jα，從人體關節(jié)transform信息中剔除jα后得到初步預處理后的人體關節(jié)transform信息，其中，α表示預設的超參數(shù)。

19、作為優(yōu)選，步驟s4中，對初步預處理后的人體關節(jié)transform信息進行深度預處理的具體過程如下：對服裝的混合骨骼蒙皮權重沿頂點求和得到每個混合骨骼在所有服裝頂點上的權重和，將所有權重和小于α的關節(jié)記為bα，并從初步預處理后的人體關節(jié)transform信息中剔除bα后得到混合骨骼的關節(jié)部分transform信息。

20、作為優(yōu)選，步驟s4中，所述寬松服裝粗粒度預測網(wǎng)絡中的具體處理流程如下：首先由mlp編碼器對初步預處理后的人體關節(jié)transform信息進行編碼，得到編碼后的特征，再將編碼后的特征輸入到門循環(huán)單元中，得到時序特征，再將時序特征經(jīng)過mlp解碼器進行解碼，將解碼后的特征作為混合骨骼的虛擬骨骼部分transform信息。

21、作為優(yōu)選，步驟s4中，采用有監(jiān)督的形式訓練寬松服裝粗粒度預測網(wǎng)絡，將仿真服裝序列作為真實值，計算仿真服裝序列與服裝預測結果之間的均方誤差作為損失函數(shù)，基于最小化所述損失函數(shù)更新寬松服裝粗粒度預測網(wǎng)絡參數(shù)。

22、本發(fā)明相對于現(xiàn)有技術而言，具有以下有益效果：

23、本發(fā)明公開了一種基于深度學習的寬松服裝粗粒度仿真方法。本發(fā)明針對深度學習服裝仿真中寬松服裝缺乏合適蒙皮信息的復雜背景，導致深度神經(jīng)網(wǎng)絡對寬松服裝特征難以學習的問題，通過分析寬松服裝的結構特點，構造基于聚合特征的服裝的虛擬骨骼蒙皮信息和基于關節(jié)的服裝的關節(jié)蒙皮信息并混合為服裝的混合骨骼蒙皮信息，服裝的混合骨骼蒙皮信息能對服裝高效蒙皮的同時還能解決寬松服裝特征難以學習的問題。此外，本發(fā)明還設計了能實時預測混合骨骼transform矩陣的網(wǎng)絡結構，能從人體關節(jié)運動數(shù)據(jù)中高效提取服裝的混合骨骼transform矩陣。本發(fā)明解決了深度學習服裝仿真中缺乏對寬松服裝合適蒙皮信息的問題，并提供了適合寬松服裝的一種基于深度學習的粗粒度服裝仿真方案，提高了深度學習服裝仿真的性能，實現(xiàn)了簡單、高效、低時間開銷的深度學習寬松服裝粗粒度仿真。