Kinect深度圖像獲取方法與裝置制造方法
【專利摘要】本發(fā)明公開了一種基于散焦法和圖像融合的Kinect深度圖像獲取方法與裝置，包括：對Kinect彩色圖應用Mean?Shift算法進行圖像分割；根據(jù)Kinect彩色圖像使用散焦法提取深度；將散焦法提取的深度圖和Kinect傳感器捕獲的深度圖融合；對融合生成的深度圖進行三邊濾波。其中，基于散焦法的單幅圖像深度提取方法，通過邊緣點處LOG濾波響應的正負雙峰間距計算散焦模糊參數(shù)進而獲得邊緣點處深度值，使用matting?Laplacian插值生成稠密深度圖；利用自適應權值選取方法將散焦法深度圖與Kinect原始深度圖融合。本發(fā)明的有益效果是：能夠結合散焦法提取深度與Kinect主動式提取深度各自的優(yōu)點，獲得比Kinect原始深度圖質量更好的深度圖像，該深度圖像不包含空洞、平滑性更好且噪聲水平更低。
【專利說明】Kinect深度圖像獲取方法與裝置
【【技術領域】】
[0001]本發(fā)明屬于計算機視覺領域，具體涉及一種Kinect深度圖像獲取方法與裝置。【技術背景】
[0002]微軟公司的Kinect體感交互設備正在引領著自然人機交互技術的熱潮。Kinectfor Xbox360作為Xbox360游戲機的外接設備，利用動態(tài)骨骼追蹤、影像識別、語音識別等功能使玩家能夠擺脫傳統(tǒng)游戲手柄的束縛，帶來全新的體感交互游戲體驗。2012年初微軟正式發(fā)布了 Kinect for Windows,意味著Kinect被推廣到Windows平臺。Kinect在3D重建、動作捕捉、機器人控制、虛擬現(xiàn)實、增強現(xiàn)實等方面都有很好的應用前景，這極大地激發(fā)了科研和開發(fā)人員的興趣與熱情。
[0003]Kinect的技術核心之一是深度獲取。Kinect擁有一個RGB攝像頭、一個紅外線發(fā)射器和一個紅外攝像頭，能夠同時捕獲場景的彩色圖像與深度圖像。Kinect使用一家以色列公司PrimeSense的光編 碼(light coding)技術來獲取深度信息,它屬于一種新的結構光技術。紅外線發(fā)射器發(fā)射出激光散斑對場景形成光編碼，紅外攝像頭捕獲散斑圖像之后結合光源標定時得到的參考散斑圖案進行一系列計算，便可以得到場景中物體的深度信肩、O
[0004]Kinect捕獲的深度圖像存在較多空洞區(qū)域，即深度信息缺失，另外還存在閃爍現(xiàn)象以及光學噪聲等問題。如果要用于3D重建或是基于深度圖渲染(DIBR)的虛擬視點繪制，則需要更高質量的深度圖像。
【
【發(fā)明內容】
】
[0005]為了克服現(xiàn)有技術的不足，本發(fā)明提供了一種Kinect深度圖像獲取方法與裝置，以獲取深度圖像并改善Kinect深度圖像質量。
[0006]為此，本發(fā)明提出一種Kinect深度圖像獲取方法與裝置，裝置包括Kinect設備以及配套的軟件系統(tǒng)，方法包括如下步驟:
[0007]I)對Kinect彩色圖應用Mean Shift算法(指一個迭代的步驟，即先算出當前點的偏移均值，移動該點到其偏移均值，然后以此為新的起始點，繼續(xù)移動，直到滿足一定的條件結束。詳見百度文庫，mean-shift算法概述，http://wenku.baidu.com/View/0d9eb876a417866fb84a8eb2.html)進行圖像分割；
[0008]2)根據(jù)Kinect彩色圖像使用散焦法提取深度；
[0009]3)自適應權值的深度圖像融合(圖像融合，Image Fusion,是指將多源信道所采集到的關于同一目標的圖像數(shù)據(jù)經過圖像處理和計算機技術等，最大限度的提取各自信道中的有利信息，最后綜合成高質量的圖像)；
[0010]4)對融合生成的深度圖進行三邊濾波(百度文庫，http://wenku.baidu.com/View/6df033c74028915f804dc2d5,《三邊濾波的圖像插值》，提出了一種三邊濾波插值法，該方法利用平滑不同自然圖像輪廓的行為，并試圖通過抑制邊緣凸角落像素克服輪廓鋸齒問題)。
[0011]其中步驟2)中通過邊緣點處LOG濾波(LOG濾波器是高斯(GAUSS)濾波和拉普拉斯(LAPLACIAN)濾波的結合，即先用高斯濾波器進行平滑濾波，以過慮調噪聲，再提取邊緣，所以效果較好。LOG濾波器原理:設I (X，y)代表灰度變化，灰度變化劇烈的地方就是階躍點，而階躍點的一次微商為極大值，二次微商為零。因此二次微商為零的地方就是圖像的邊緣所在。百度文庫，http://wenku.baidu.com/view/fb9b916dleb91a37flll5cdf.html)響應的正負雙峰間距計算散焦模糊參數(shù)進而獲得邊緣點處深度值，使用mattingLaplacian(拉普拉斯摳圖法)插值生成稠密深度圖；
[0012]步驟3中，利用自適應權值選取方法將散焦法深度圖與Kinect原始深度圖融合。
[0013]本發(fā)明的有益效果是:能夠結合散焦法提取深度與Kinect主動式提取深度各自的優(yōu)點，獲得比Kinect原始深度圖質量更好的深度圖像，該深度圖像不包含空洞、平滑性更好且噪聲水平更低。
【【專利附圖】
【附圖說明】】
[0014]圖1是本發(fā)明一種實施例的結合散焦法的Kinect深度圖像獲取方法與裝置的流程不意圖。
[0015]圖2是本發(fā)明一種實施例的基于散焦法的單幅圖像深度提取方法的流程示意圖?！尽揪唧w實施方式】】
[0016]以下將結合附圖，對本發(fā)明的具體實施例作進一步詳細說明。
[0017]如圖1所示，本發(fā)明的一種實施例的結合散焦法的Kinect深度圖像獲取方法與裝置，包括如下步驟:
[0018]一、對Kinect彩色圖應用Mean Shift算法進行圖像分割
[0019]Mean Shift算法可以用來根據(jù)顏色信息實現(xiàn)圖像分割,其基本原理是Mean Shift向量總是指向概率密度梯度的方向，因而通過迭代算法可以收斂到概率密度函數(shù)的一個局部穩(wěn)態(tài)點。對Kinect彩色圖應用Mean Shift算法進行圖像分割的具體方法如下:
[0020]I)由于RGB彩色空間是視覺感知非線性的彩色空間，為便于彩色圖像分割，先將彩色圖像轉換到視覺感知近似線性的LUV彩色空間。LUV彩色空間全稱CIE1976 (L*，u*，V*)或CIELUV彩色空間，由CIEXYZ空間經簡單變換得到，其中L*表示亮度，取值為O到100 ;u*和V*分別表示色調和飽和度，取值為-100到+100。由RGB空間到LUV空間的轉換公式如下:
【權利要求】
1.一種Kinect深度圖像獲取方法,其特征是,包括如下步驟: 1)對Kinect彩色圖應用MeanShift算法進行圖像分割； 2)根據(jù)Kinect彩色圖像使用散焦法提取深度D2(x，y)； 3)自適應權值的深度圖-']#D2 (x, y)與Kinect傳感器捕獲的深度圖D1 (x, y)融合，生成圖像質量更好的深度四￡> (x，y); 4)對融合生成的深度圖進行三邊濾波。
2.如權利要求1所述的Kinect深度圖像獲取方法，其特征是:所述步驟I)中，將Kinect彩色圖轉換到LUV彩色空間并使用Mean Shift算法將圖像分割為c個區(qū)域R1,R2, , R。，其中c為Mean Shift圖像分割結果的分割區(qū)域數(shù)目，即類別數(shù)。
3.如權利要求1所述的Kinect深度圖像獲取方法，其特征是:所述步驟2)中，根據(jù)Kinect彩色圖像使用散焦法提取深度的方法是，將Kinect彩色圖轉換為灰度圖，使用Canny算子檢測邊緣并計算LOG濾波響應,通過邊緣點處LOG濾波響應的正負雙峰間距計算散焦模糊參數(shù)進而獲得邊緣點處深度值，得到稀疏深度圖。
4.如權利要求3所述的Kinect深度圖像獲取方法，其特征是:根據(jù)只包含邊緣點處深度值的稀疏深度圖使用matting Laplacian插值生成稠密深度圖。
5.如權利要求1所述的Kinect深度圖像獲取方法，其特征是:所述步驟3)中，自適應權值的深度圖融合方法是，根據(jù)散焦法得到的深度圖和Kinect原始深度圖，以Mean Shift分割區(qū)域為單位進行像素級加權融合，根據(jù)該像素所述區(qū)域的灰度值方差和該像素到邊緣像素的距離自適應地計算融合的權值。
6.如權利要求1所述的Kinect深度圖像獲取方法，其特征是:所述步驟4)中，對融合生成的深度圖進行三邊濾波，三邊濾波器的權值包括三項，分別表征空間距離、顏色值差異和深度值差異。
7.—種Kinect深度圖像獲取裝置，其特征是，包括Kinect設備以及配套的軟件系統(tǒng)，其中軟件系統(tǒng)采用如權利要求1-6所述的Kinect深度圖像獲取方法。
【文檔編號】G06T7/00GK103440662SQ201310399037
【公開日】2013年12月11日 申請日期:2013年9月4日 優(yōu)先權日:2013年9月4日
【發(fā)明者】王好謙, 田雨時, 張永兵, 李凱, 戴瓊海 申請人:清華大學深圳研究生院