基于圖像模板匹配的手指手腕關節(jié)自動定位方法
【技術領域】
[0001] 本發(fā)明一般涉及計算機數字圖像處理領域，具體涉及基于圖像模板匹配的手指手 腕關節(jié)自動定位方法。
【背景技術】
[0002] 近年來，隨著社會的迅速進步和國力的不斷增強，數字圖像處理在生活各方面得 到了非常廣泛的應用。試穿戴概念屢被提及，然而真正的應用卻仍不夠廣泛，流行于市場上 的試穿戴軟件寥寥無幾，而首飾試穿戴軟件就更少見了。隨著電子商務的高速發(fā)展，線上 網購已經成為一種新興購物模式，并且其發(fā)展越加火熱，而網上選購首飾，如何能讓用戶選 擇最適合自己的款式，顯然僅靠幾張事先美化過的首飾圖片是不能滿足需求的，這時試穿 戴軟件應運而生，它允許用戶使用手機app對自己的手掌、手腕進行拍照，通過定位軟件處 理，實現戒指、手表等首飾的試穿戴。用戶不用親自到實體店也能看到穿戴效果，挑選自己 喜歡的款式。這樣不僅提高用戶的購物體驗，還會為商家培養(yǎng)潛在的客戶，增加用戶忠誠 度，提高銷售量。
[0003] 手指手腕上的首飾試穿戴軟件的技術基礎是手指手腕關節(jié)定位，目前市場上仍未 存在成熟的手指手腕關節(jié)定位技術，能夠實現復雜背景光照條件下的手指手腕關節(jié)準確定 位。
【發(fā)明內容】
[0004] 本發(fā)明針對當前手指手腕關節(jié)定位技術的不足，提供了基于圖像模板匹配的手指 手腕關節(jié)自動定位方法。本發(fā)明的目的在于對特定手型的手指或手腕圖片進行關節(jié)定位， 返回各手指關節(jié)點坐標和對應手指寬度，或返回手腕2個定位點坐標和手腕寬度，從而為 實現戒指、手表等手部首飾的試穿戴提供基礎，具體技術方案如下。
[0005] 基于圖像模板匹配的手指手腕關節(jié)自動定位方法，包括以下步驟：
[0006] (a)選擇手型框，手契合手型框放置，拍照；
[0007] (b)加載照片，選擇手型模板，開始定位處理；
[0008] (C)若步驟（b)中選擇的是手指模板，加載選定模板，進行膚色采樣，根據膚色采 樣結果進行膚色檢測；
[0009] (d)將步驟（C)膚色檢測結果進行開操作，得到手指和掌心的二值圖像，將步驟 (d)的手指和掌心的二值圖像膨脹，相與，得到5根掌指交線，根據掌指交線求得5個掌指關 節(jié)點坐標；
[0010] (e)提取原圖Y通道圖像，對手指區(qū)域求豎直方向梯度差，再對每根手指梯度差聚 類得到2個聚類中心點，其中靠近掌指關節(jié)點的中心點即為中指關節(jié)點；
[0011] (f)對步驟⑷中每根手指二值圖像進行直線擬合，擬合直線與手指輪廓有兩個 交點，其中遠離掌指關節(jié)點的交點即為指尖定位點；
[0012] (g)將步驟⑷中每根手指二值圖像旋轉成豎直方向，對應定位點坐標相應作旋 轉處理，得到其在旋轉圖中的新定位點，新定位點所在行的非零像素點數即為該定位點處 對應的手指寬度；
[0013] (h)如果步驟（d)、（e)、（f)、（g)拋出任何自定義錯誤，調用模板匹配方法；
[0014] (i)使用步驟（C)的模板和膚色采樣結果，使用膚色采樣A通道均值進行掌心區(qū)域 匹配；
[0015] (j)步驟（i)中掌心匹配后，初步掌指關節(jié)點確定，再對每個手指模板在對應的初 步掌指關節(jié)點附近范圍內移動縮放匹配，5根手指都匹配完后，得到5個掌指關節(jié)點坐標；
[0016] (k)步驟（j)中5根手指模板匹配后作為手指二值圖，按照步驟（e)、（f)、（g)即 可依次得到中指關節(jié)點、指尖定位點和對應手指寬度；
[0017] (1)若步驟（b)中選擇的是手腕模板，加載選定模板，進行膚色采樣；
[0018] (m)使用手腕模板和膚色采樣A通道均值進行移動縮放匹配，確定手腕2定位點位 置，2點間距離即為手腕寬度。
[0019] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（a)包括以下步 驟：
[0020] (a-ι)點擊拍照后，選定模板與原圖縮放對齊，根據模板進行膚色采樣；
[0021] (a_2)判斷模板是手指模板還是手腕模板；
[0022] (a-3)如果（a-2)判斷結果是手指模板，取原圖對應模板的掌心區(qū)域，計算該區(qū)域 內A通道均值，若該均值與膚色采樣A通道均值相差大于5. 5,返回自定義錯誤，提示用戶更 換場景或手要契合手型框重新拍照；
[0023] (a-4)若（a-3)中A通道均值相差不大于5. 5,進行膚色檢測，對每個像素點，假 設LAB通道值為（1，a, b)，膚色采樣LAB通道均值為（avg_l, avg_a, avg_b)，如果（a - avg_ a)~2+(b - avg_br2〈400,則認為該點是膚色，否則不是膚色；
[0024] (a-5)根據（a-4)膚色檢測結果，如果對應模板掌心區(qū)域的膚色面積比小于0. 75， 返回自定義錯誤，提示用戶更換場景或手要契合手型框重新拍照；
[0025] (a-6)如果（a-5)中掌心區(qū)域膚色面積比不小于0· 75,繼續(xù)判斷對應每根手指模 板區(qū)域的膚色面積比，如果有任意一根手指區(qū)域內膚色面積比小于0. 3,返回自定義錯誤， 提示用戶更換場景或手要契合手型框重新拍照；
[0026] (a-7)如果（a-6)沒有返回自定義錯誤，保存手指照片，拍照成功；
[0027] (a-8)如果（a-2)判斷結果是手腕模板，取原圖對應模板的拳頭與手腕區(qū)域，計算 該區(qū)域內A通道均值，若該均值與膚色采樣A通道均值相差大于5. 5,返回自定義錯誤，提示 用戶更換場景或手要契合手型框重新拍照；
[0028] (a-9)若（a-8)中A通道均值相差不大于5. 5,進行膚色檢測，對每個像素點，假 設LAB通道值為（1，a, b)，膚色采樣LAB通道均值為（avg_l, avg_a, avg_b)，如果（a - avg_ a)~2+(b - avg_br2〈400,則認為該點是膚色，否則不是膚色；
[0029] (a-ΙΟ)根據（a-9)膚色檢測結果，如果對應模板拳頭與手腕區(qū)域的膚色面積比小 于0.69,返回自定義錯誤，提示用戶更換場景或手要契合手型框重新拍照；
[0030] (a-ΙΙ)如果（a-ΙΟ)沒有返回自定義錯誤，保存手腕照片，拍照成功。
[0031] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（C)中，模板對應 原圖縮放對齊后，膚色采樣計算LAB通道均值（avg_l, avg_a, avg_b)，對原圖每個像素點， 假設LAB通道值為（1，a，b)，如果（a - avg_ar2+(b - avg_br2〈350且1>50,則認為該點是 膚色，否則是背景。
[0032] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（d)包括以下步 驟：
[0033] (d-Ι)將膚色檢測結果二值圖縮放，長邊縮為240,短邊按同樣比率縮放；
[0034] (d-2)定義橢圓結構元素進行開操作得到掌心區(qū)域，橢圓半徑大小r由膚色面積 決定，假設膚色面積為 hand_area，則 r = hand_area/7000*22 ;
[0035] (d_3)膚色檢測二值圖減去掌心二值圖得到手指二值圖，進行開操作，斷開狹窄的 間斷和消除細的突出物，再進行連通域檢測，如果連通域個數大于5,保留面積最大的5個 連通域，去除其他連通域，剩下的5個連通域即為5根手指。
[0036] (d-4)得到5根掌指交線后，對每根掌指交線上的點，計算X坐標均值avg_x和Y 坐標均值avg_y，則點（avg_x，avg_y)即為掌指關節(jié)點。
[0037] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（e)包括以下步 驟：
[0038] (e-Ι)對每根手指，根據手指二值圖像，提取原圖對應手指的Y通道圖像；
[0039] (e_2)根據手指二值圖像，計算旋轉矩陣，將對應手指的Y通道圖像旋轉，使手指 成豎直方向；
[0040] (e-3)對旋轉后的手指Y通道圖像求豎直方向上的梯度差；
[0041] (e-4)對旋轉后的手指二值圖腐蝕，再和梯度差結果圖像相與，以消除手指邊緣梯 度；
[0042] (e_5)對去除邊緣梯度后的梯度圖像，選擇梯度差最小的100個點，進行聚類，得 到兩個聚類中心點，距離掌指關節(jié)點較近的聚類中心點即為中指關節(jié)點。
[0043] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（f)包括以下步 驟：
[0044] (f_l)根據步驟⑷可得到每根手指二值圖像的擬合直線；
[0045] (f_2)求每根手指二值圖像的輪廓線；
[0046] (f_3)計算擬合直線和輪廓線的兩個交點，兩交點分布在手指兩端，遍歷輪廓線上 所有點，若某點到擬合直線的距離不大于1，則認為該點是交點；
[0047] (f_4)找到兩交點后，距離掌指關節(jié)點較遠的點為指尖定位點。
[0048] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（g)包括以下步 驟：
[0049] (g_l)根據步驟（e)可得到旋轉后的手指二值圖像和旋轉矩陣；
[0050] (g_2)將對應定位點坐標依據旋轉矩陣做旋轉處理，得到在旋轉后圖像中的對應 坐標；
[0051] (g_3)對于掌指關節(jié)點，旋轉后手指二值圖像水平方向上最大寬度認為是掌指關 節(jié)點對應的手指寬度，對于中指關節(jié)點和指尖，旋轉后坐標所在行的非零點個數即為手指 寬度。
[0052] 上述基于圖像模板匹配的手指手腕關節(jié)自動定位方法中，步驟（i)包括以下步 驟：
[0053] (i-1)計算原圖A通道值與膚色采樣A通道均值的差值的絕對值；
[0054] (i-2)根據模板取用于匹配的掌心區(qū)域和對應懲罰區(qū)域；
[0055] (i-3)定義背景懲罰系數bgPunish和掌心縮放系數s的變化范圍，限定掌心移動 匹配的范圍；
[0056] (i-4)開始移動匹配，使用步驟（i-1)結果，計算掌心區(qū)域內的A通道差值絕 對值的平均值palmDiffA_avg，和懲罰區(qū)域內的平均值bgDiffA_avg，計算差值diff = palmDiffA_avg - bgPunish*bgDiffA_a