一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法
【專利摘要】一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，該算法通過Kinect傳感器采集用戶運動空間信息作為虛擬裝配系統(tǒng)的輸入信息，應用OpenGL建立手部模型，將建立的手部模型與采集的手部圖像進行對比，計算得到手部模型與手部圖像的相似度，采用改進的粒子群優(yōu)化算法，最終得到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標定信息，最終渲染得到深度圖像，實現(xiàn)對手勢的跟蹤識別，完成虛擬裝配系統(tǒng)的信息輸入，進而實現(xiàn)高精度虛擬裝配過程。本發(fā)明能實現(xiàn)對手勢進行準確穩(wěn)定的三維實時跟蹤，不需要特殊的標記或復雜的圖像采集設備，降低了硬件設備的要求和成本；也不需要訓練樣本，從而更容易進行應用擴展。
【專利說明】一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法

【技術領域】
[0001] 本發(fā)明涉及一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法。

【背景技術】
[0002] 在產品的設計和制造過程中，裝配是一個很重要的環(huán)節(jié)，裝配的效率和質量直接 影響產品的最終質量。據(jù)有關資料介紹，裝配工作的成本占總制造成本的30%?50%，甚 至還可能更高。在傳統(tǒng)的裝配過程中，由于裝配通常并不能一次性完成，必須要反復的裝配 和修改設計，且修改過程中需依賴實物模型。這種繁復的工作不僅使得裝配過程極其復雜， 也使得裝配成本頗高。虛擬裝配是利用計算機工具，在沒有產品或支撐工藝的物理實現(xiàn)情 況下，通過分析、虛擬模型、可視化和數(shù)據(jù)表達，做出或輔助做出裝配關系工程的決定。不同 于傳統(tǒng)設計必須依靠實物模型進行裝配，虛擬裝配技術可以在數(shù)字環(huán)境中進行裝配，從而 對設計進行檢驗和修改，并形成評價模型。虛擬裝配技術的應用可以簡化產品的優(yōu)化設計， 縮短設計周期，減少設計成本，提高產品精度和生產自動化程度。實現(xiàn)手部姿勢的高精度立 體跟蹤是虛擬裝配系統(tǒng)的一個關鍵性且具有挑戰(zhàn)性的問題。為了開發(fā)一種有效的且高效的 解決方案，研究者們需要考慮一些復雜的、相互關聯(lián)的因素，例如手部動作會存在的高維度 的問題、手的外觀顏色的均勻度的問題和嚴重的自遮擋問題。為了解決以上這些問題，一些 非常成功的方法應用于專門進行動作捕捉的硬件或者用來進行視覺標記。遺憾的是，這些 方法需要一個復雜的、昂貴的硬件設備或者它們會受到觀測場景的干擾，或者兩種情況同 時存在。由于上述原因，從而影響虛擬裝配系統(tǒng)的用戶體驗效果和推廣普及。
[0003] 對于通過無標記視覺數(shù)據(jù)來解決手勢的立體跟蹤識別問題，現(xiàn)有的方法可以分 為基于模型和基于外觀兩種?；谀Ｐ偷姆椒ㄌ峁┻B續(xù)的解決方案，但是需要昂貴的成本 和依賴于豐富的視覺信息的可用性，這些信息一般由多功能攝像機系統(tǒng)提供。基于外觀的 方法需要相對較少的計算成本和不那么復雜的硬件，但是它們對手勢的識別是不連續(xù)的， 不能實現(xiàn)對手勢的準確跟蹤識別。


【發(fā)明內容】

[0004] 本發(fā)明的目的是為了克服【背景技術】中的不足之處，基于Kinect傳感器系統(tǒng)，融合 手勢識別跟蹤技術及人機交互方式，提供一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法。 該算法主要是依靠Kinect傳感器采集的信息作為輸入，在基于模型方法的基礎上，將手勢 的識別跟蹤問題轉化為一個利用改進的PS0算法解決的最優(yōu)化問題，并利用GPU提高最優(yōu) 化性能。
[0005]為了解決上述存在的技術問題，本發(fā)明是通過以下技術方案實現(xiàn)的：
[0006] -種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，該算法內容如下：
[0007] 通過Kinect傳感器采集用戶運動空間信息，包括上肢動作信息、手勢信息包括靜 態(tài)手勢和動態(tài)手勢信息作為虛擬裝配系統(tǒng)的輸入信息，從而使用自然習慣動作完成虛擬裝 配過程；
[0008] 采用Kinect傳感器拍攝手部姿態(tài)的彩色圖像和對應的深度圖像信息作為輸入信 息，通過膚色檢測結合深度信息，分割出手部圖像，得到觀察的模型；應用OpenGL建立手部 模型，采用球體、圓柱體、橢球體和椎體四個基本圖元，建立一個用27個參數(shù)表征的具有26 個自由度的3D手部模型；
[0009] 將建立的手部模型與采集的手部圖像進行對比，計算得到手部模型與手部圖像的 相似度，采用改進的粒子群優(yōu)化算法，通過相異性計算公式E(h，0)，估算出觀察對象與模型 對象之間的相異程度，不斷優(yōu)化手部模型的27個參數(shù)，使得相似度度量達到最大，最終得 到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標定信息，最終渲染得到深度 圖像，實現(xiàn)對手勢的跟蹤識別，完成虛擬裝配系統(tǒng)的信息輸入，進而實現(xiàn)高精度虛擬裝配過 程。
[0010] 所述的相異性計算公式E(h，0)為：
[0011] E(h，0) =D(0,h，C) + 入k ?kc(h) (1)
[0012] 其中Ak是一個標準化因數(shù)，c表示攝像機的校準信息，h代表模型對象，0代表觀 察對象；函數(shù)D(0，h，c)表示為：
[0013]

【權利要求】
1. 一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，其特征在于該算法內容如下： 通過Kinect傳感器采集用戶運動空間信息，包括上肢動作信息、手勢信息包括靜態(tài)手 勢和動態(tài)手勢信息作為虛擬裝配系統(tǒng)的輸入信息，從而使用自然習慣動作完成虛擬裝配過 程； 采用Kinect傳感器拍攝手部姿態(tài)的彩色圖像和對應的深度圖像信息作為輸入信息， 通過膚色檢測結合深度信息，分割出手部圖像，得到觀察的模型；應用OpenGL建立手部模 型，采用球體、圓柱體、橢球體和椎體四個基本圖元，建立一個用27個參數(shù)表征的具有26個 自由度的3D手部模型； 將建立的手部模型與采集的手部圖像進行對比，計算得到手部模型與手部圖像的相 似度，采用改進的粒子群優(yōu)化算法，通過相異性計算公式E(h，0)，估算出觀察對象與模型 對象之間的相異程度，不斷優(yōu)化手部模型的27個參數(shù)，使得相似度度量達到最大，最終得 到采集圖像的手部模型，基于手部模型以及Kinect傳感器的標定信息，最終渲染得到深度 圖像，實現(xiàn)對手勢的跟蹤識別，完成虛擬裝配系統(tǒng)的信息輸入，進而實現(xiàn)高精度虛擬裝配過 程。
2. 根據(jù)權利要求1所述的一種基于雙目視覺的高精度虛擬裝配系統(tǒng)算法，其特征在 于：所述的相異性計算公式E(h，0)為： E(h, 0) =D(0,h,C) +Ak ?kc(h) 其中Ak是一個標準化因數(shù)，C表示攝像機的校準信息，h代表模型對象，0代表觀察對 象；函數(shù)D(0，h，C)表示為：
函數(shù)D(0，h，C)中的絕對值表示觀察對象與模型對象的箝位深度差，e用來防止分母 為零。
【文檔編號】G06F17/50GK104408760SQ201410596344
【公開日】2015年3月11日 申請日期:2014年10月28日 優(yōu)先權日:2014年10月28日
【發(fā)明者】張立國, 王鵬, 金梅, 蔣再毅 申請人:燕山大學