一種運筆動作捕捉系統(tǒng)、裝置及繪畫風格仿真方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理領域，尤其涉及的是一種運筆動作捕捉系統(tǒng)、裝置及繪畫風 格仿真方法。
【背景技術】
[0002] 近年來，中國數(shù)字內(nèi)容產(chǎn)業(yè)飛躍蓬勃發(fā)展，尤其是動畫、游戲等數(shù)字娛樂產(chǎn)品水平 進步飛速，已經(jīng)有逐步趕超外國產(chǎn)品勢頭。然而，隨著市場的日趨成熟，消費者對于數(shù)字娛 樂產(chǎn)品不論是數(shù)量還是質(zhì)量的要求不斷提升。由此，在數(shù)字娛樂產(chǎn)品(游戲、動漫)生產(chǎn)環(huán)節(jié) 中，對內(nèi)容創(chuàng)作平臺及數(shù)字內(nèi)容數(shù)據(jù)處理技術提出了更加嚴苛的要求。為此，如何能夠加速 動漫、游戲等高質(zhì)量數(shù)字娛樂產(chǎn)品的生產(chǎn)成為目前行業(yè)面臨的挑戰(zhàn)。從數(shù)碼手繪技術角度， 著重解決數(shù)碼繪畫風格化效果質(zhì)量和產(chǎn)量的提升問題。
[0003] 計算機圖形學被廣泛地應用于數(shù)字內(nèi)容處理領域。尤其是非真實繪制技術、手繪 藝術風格化繪制被廣泛地實現(xiàn)在數(shù)字創(chuàng)意軟件工具(如：Adobe Photoshop，Corel Painter 和G頂P繪畫工具軟件等）當中。藝術家利用這些軟件，創(chuàng)作出了動漫、游戲中栩栩如生的 角色、宏大逼真的場景和美輪美奐的視覺特效。在眾多仿自然手繪效果算法當中，基于筆畫 的繪制方式是被應用最為廣泛的方式，被大量應用在動畫、游戲的角色、道具和場景可視化 效果中。
[0004] 現(xiàn)有相關繪畫軟件產(chǎn)品當中的工作流程主要采用筆刷紋理位圖復用的方式，即： 將現(xiàn)有筆觸紋理貼圖進行剪裁、變形及拼接來完成預生成新的筆觸效果生成。然而，為了創(chuàng) 作出更加逼真的角色和宏大的場景，設計師不得不對每個筆觸進行精細的手動調(diào)整。這一 過度依賴手動且繁瑣而耗時的操作成為了制約數(shù)字內(nèi)容創(chuàng)作瓶頸之一。更重要的是，為了 同一系列數(shù)字娛樂作品在藝術風格上的統(tǒng)一性，設計師團隊需要對參數(shù)調(diào)整進行一系列嚴 格的流程化規(guī)范操作。在本方法中認定此類定制化的操作均視為"風格化行為"。
[0005] 對于多人團隊來說，想要實現(xiàn)作品的藝術風格統(tǒng)一，每個成員都要進行十分繁瑣 和耗時的標準化手動操作。由此可見，作品風格化的手動設定操作成為了制約數(shù)字內(nèi)容創(chuàng) 作的另一個大瓶頸。綜上所述，由于創(chuàng)意軟件的數(shù)字內(nèi)容智能處理能力不足，導致"過度依 賴手動操作"和"藝術風格化設定難"成為了阻礙文化創(chuàng)意產(chǎn)業(yè)，尤其是高質(zhì)量手繪風格數(shù) 字內(nèi)容(動漫、游戲）產(chǎn)品生產(chǎn)的瓶頸。急需數(shù)字內(nèi)容的智能化處理技術來破解困局。針對 數(shù)字媒體內(nèi)容平臺的數(shù)字內(nèi)容智能處理及創(chuàng)作媒體軟件的關鍵技術，解決繪畫行為風格學 習與模擬本身就是一個非常具有挑戰(zhàn)性的工作。
[0006] 而且傳統(tǒng)的藝術風格化算法集中在于對畫作本身的分析與風格特點表達。這類方 法只是單純的對靜態(tài)作品的分析，而且對風格的分析是平面化、局部化和非連續(xù)化的。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供一種運筆動作捕捉系統(tǒng)、裝置及繪畫風格仿真方法，旨在 設計設備捕捉畫家的運筆行為并通過計算機程序學習并模擬繪畫進行輔助創(chuàng)作。
[0008] 本發(fā)明的上述技術目的是通過以下技術方案得以實現(xiàn)的： 一種運筆動作捕捉系統(tǒng)，包括：主控制模塊，用于產(chǎn)生控制信號；視頻采集模塊，用于 采集圖像數(shù)據(jù)；影像投射模塊，用于視頻信號播放；數(shù)據(jù)存儲模塊，用于運筆視頻數(shù)據(jù)的存 儲；處理模塊，用于筆刷的運筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理；所述的處理模塊設置 有為所述的視頻采集模塊采集得到的圖像數(shù)據(jù)構建的用于生成原子特征信息樣本的特征 向量表達函數(shù)和反饋式風格行為特征表達函數(shù)；且設置有智能輔助手繪風格化優(yōu)化策略。
[0009] 視頻采集模塊采集到的圖像數(shù)據(jù)通過影像投射模塊視頻信號播放，然后處理模塊 根據(jù)特征向量表達函數(shù)、反饋式風格行為特征表達函數(shù)和智能輔助手繪風格化優(yōu)化策略進 行運筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理，形成特定風格并記錄在數(shù)據(jù)存儲模塊中。
[0010] 作為優(yōu)選，所述的特征向量表達函數(shù)嫌由原子特征構建而來φ f丄Φ)，其 中涵f為原子特征向量:.s_y ;χ為μ維的二進制標記符，表征原子向量是否參與某一反饋 特征構建中;Z和U代表先驗知識，Z具體標記某些原子特征參與反饋特征，U表示針對反饋特征， 某一對原子特征同時出現(xiàn)的概率分布。
[0011] 作為優(yōu)選，所述的反饋式風格行為特征表達函數(shù)R為
其中，S表不某一時刻的狀態(tài)，a表不某一時刻的動作，f表不筆刷在某一時刻的姿態(tài)信 息，具體地，
[0012] 作為優(yōu)選，所述的智能輔助手繪風格化優(yōu)化策略包括確定性決策 決策參數(shù)i是由具有超參數(shù)#的先驗分布得來的；期望的反饋值可以表示為超參數(shù)P的形 式：
其中，為一組狀態(tài)和動作的數(shù)據(jù)，可以表示為_ 於最優(yōu)化從而得到最大值#彳:與，
。
[0013] 運筆動作捕捉系統(tǒng)進行繪畫風格仿真方法，其特征在于，所述的方法包括如下步 驟： 步驟1，影像投射模塊進行視頻信號播放。
[0014] 步驟2,視頻采集模塊采集記錄筆觸繪制過程的圖像數(shù)據(jù)。
[0015] 步驟3,處理模塊進行筆觸繪制過程中筆刷的運筆姿態(tài)的采樣、提取和同步化處 理。
[0016] 步驟4,處理模塊根據(jù)步驟3采集的運筆姿態(tài)進行原子特征抽取和分析。
[0017] 步驟5,處理模塊根據(jù)步驟4中原子特征，構建特征向量表達函數(shù)和反饋式風格行 為特征表達函數(shù)R并形成特定風格。
[0018] 步驟6,引入所述步驟5形成特定風格的行為特征表達函數(shù)，采用確定性決策 并且在繪畫先驗知識的基礎上，對模型中的繪畫行為參數(shù)引入隨機性模式形 成智能輔助手繪風格化優(yōu)化策略。
[0019] 步驟7,設置筆刷智能代理，根據(jù)以上步驟形成的運筆姿態(tài)進行繪畫得出所述步驟 1圖像數(shù)據(jù)的藝術風格化結果。
[0020] 作為優(yōu)選，所述的步驟4中原子特征抽取的方法包括以下步驟： 1) 將步驟1采集的圖像數(shù)據(jù)分割成rgb圖像（Red，Green，Blue); 2) 將步驟1采集的圖像數(shù)據(jù)分割成hsv (Hue, Saturation, Value)，grab，sat圖像； 3) 根據(jù)步驟I)中的：red部分圖像與步驟2) hsv模型下飽和度saturation分量進行 對比進行圖像尋找目標足跡點，若red和saturation顏色差異較小，則說明目標足跡點已 經(jīng)尋找到； 4) 與提前設定的閾值進行比較，所述的閾值是指red和saturation顏色差異的差值； 若不大于閾值，則重新執(zhí)行步驟4);若大于閾值，則尋找基于主成分分析（PCA)算法提取筆 觸的原子特征； 5) 建立子文件夾，將采集來的圖像數(shù)據(jù)自動保存； 6) 保存灰度圖像。
[0021] 作為優(yōu)選，所述步驟7中的筆刷智能代理是指將筆刷進行建模，形成基于紙面的 筆刷印記模型，對于所述的模型賦予自主策略，實現(xiàn)不用人控制，筆刷印記可以自動運筆書 寫筆觸完成自主位移、方向變化及大小變化的動作。
[0022] 具體地將所述步驟4抽取的原子特征信息樣本的特征向量形成訓練集數(shù)據(jù)D數(shù) 據(jù)，然后按照所述步驟5形成特定風格，利用訓練集數(shù)據(jù)D數(shù)據(jù)對參數(shù)進行學習并賦值， 隨后，針對反饋式風格行為特征表達函數(shù)R對所述的筆刷智能代理的策略進行自主優(yōu)化學 習，從而使之達到可以實現(xiàn)圖片輔助手繪風格化操作。
[0023] 作為優(yōu)選，所述的步驟4)中尋找基于主成分分析（PCA)算法提取筆觸的原子特征 的方法包括：將視頻拆分成為一組幀，進而分析筆刷運動過程中筆劃的生成過程，對于其中 的每一幀，利用主成分分析（PCA )算法計算運動中筆刷的主軸信息，依據(jù)所述的主軸信息來 定位計算出控制的筆刷的運動姿態(tài)信息，包括運動速度、筆頭所指方向、筆觸姿態(tài)和同環(huán)境 (目標筆觸形狀）的相對位置信息以及隨時間變化的規(guī)律要素。
[0024] -種根據(jù)繪畫風格仿真方法采集圖像數(shù)據(jù)的運筆動作捕捉裝置，包括設置有筆觸 繪制工作區(qū)域的框架、設置在所述筆觸繪制工作區(qū)域用于運筆姿態(tài)捕捉的采集板、用于記 錄繪畫動作的圖像采集設備、用于將圖像投影在所述筆觸繪制工作區(qū)域內(nèi)的投影設備和用 于整個裝置的控制及數(shù)據(jù)存儲與處理相關工作的主控制電腦，所述的主控制電腦設置有數(shù) 據(jù)存儲模塊和處理模塊。
[0025] 為了方便運筆姿態(tài)的捕捉，在筆觸繪制工作區(qū)域采用透明亞克力板支撐。
[0026] 繪畫時，選用毛筆、普通宣紙和墨水等傳統(tǒng)繪畫材料為繪畫工具進行。
[0027] 所述的圖像采集設備包括照相機，設置在框架的底面中心位置。
[0028] 所述的投影設備使得用戶可以在繪制的同時，觀察都所要繪制物體的真實圖片， 設置在框架的底面中心位置。
[0029] 綜上所述，本發(fā)明具有以下有益效果： 1、由于本發(fā)明通過運筆動作捕捉系統(tǒng)和裝置記錄一副普通的照片的藝術風格并形成 藝術風格化結果，根據(jù)本發(fā)明的繪畫風格仿真方法可以將任意輸入的照片都形成該藝術風 格。
[0030] 2、本發(fā)明將人手繪過程中運筆動作的動作行為習慣通過進行有效捕捉分析，不僅 適用于靜態(tài)作品，而且實現(xiàn)了立體化、整體化、連續(xù)化的風格分析。
【附圖說明】
[0031] 圖1是本發(fā)明根據(jù)運筆動作捕捉系統(tǒng)進行繪畫風格仿真方法的工作流程示意圖。
[0032] 圖2是本發(fā)明步驟3中原子特征抽取方法的工作流程示意圖。
[0033] 圖3是本發(fā)明的一種運筆動作捕捉裝置的示意圖。
[0034] 圖4是本發(fā)明基于主成分分析（PCA)算法提取筆觸的原子特征的示意圖。
[0035] 圖5是本發(fā)明的筆刷智能代理的結構示意圖。
[0036] 圖中，1、框架；2、采集板；3、圖像采集設備；4、投影設備；5、主控制電腦。
【具體實施方式】
[0037] 以下結合附圖對本發(fā)明作進一步詳細說明。
[0038] -種運筆動作捕捉系統(tǒng)，包括：主控制模塊，用于產(chǎn)生控制信號；視頻采集模塊， 用于采集圖像數(shù)據(jù)；影像投射模塊，用于視頻信號播放；數(shù)據(jù)存儲，用于運筆視頻數(shù)據(jù)的存 儲；處理模塊，用于筆刷的運筆姿態(tài)數(shù)據(jù)的采樣、提取和同步化處理，設置有為所述的視頻 采集模塊采集得到的圖像數(shù)據(jù)構建的特征向量表達函數(shù)權、反饋式風格行為特征表達函數(shù) R和智能輔助手繪風格化優(yōu)化策略P。
[0039] 具體的，特征向量表達函數(shù)_ 爲臟，其中砸為原子特征向量： X為M維的二進制標記符，表征原子向量是否參與某一反饋特征構建中； Z和U代表先驗知識，Z具體標記某些原子特征參與反饋特征，U表示針對反饋特征，某 一對原子特征同時出現(xiàn)的概率分布。
[0040] 反饋式風格行為特征表達函數(shù)R:
其中，s表不某一時刻的狀態(tài)，a表不某一時刻的動作，f表不筆刷在某一