專利名稱：手勢(shì)辨識(shí)裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明系有關(guān)于一種手勢(shì)辨識(shí)裝置及方法，特別是有關(guān)于一種利用影像處理進(jìn)行手勢(shì)辨識(shí)的裝置，和使用此裝置的手勢(shì)辨識(shí)方法。
背景技術(shù)：
使用者對(duì)人機(jī)界面系統(tǒng)(man - machine interface system)的操作要求越來越高，希望能更簡化操作流程，讓界面操作更直覺化。人機(jī)界面系統(tǒng)的操作機(jī)制大多為鍵盤操作、滑鼠操作、觸控操作以及遙控器操作等四種機(jī)制。鍵盤操作適合于輸入文字，但是現(xiàn)今的顯示界面大多為圖形顯示界面，因此在使用上并不方便?；蟛僮骰蜻b控器操作雖然可提供不錯(cuò)的便利性，但是使用者必須依賴一外部裝置來進(jìn)行操作，控制距離也受到限制。觸控操作則限制使用者必須在手指或觸控筆在可觸碰的螢?zāi)环秶鷥?nèi)來操作人機(jī)界面。目前，人機(jī)界面系統(tǒng)的另一種操作機(jī)制是將手模擬成滑鼠使用。舉例，Kinect人機(jī)界面系統(tǒng)先將手部追蹤，藉以得到手部座標(biāo)，然后將系統(tǒng)座標(biāo)與手部座標(biāo)連結(jié)，就可以將手模擬成滑鼠使用。若使用者將手往向前方向推出(朝向影像感測(cè)器的方向)，則可下達(dá)滑鼠點(diǎn)擊動(dòng)作(Click)等對(duì)應(yīng)的指令動(dòng)作。然而，Kinect的硬體架構(gòu)包含矩陣式紅外線發(fā)射器、紅外線攝影機(jī)、可見光攝影機(jī)、矩陣式麥克風(fēng)及馬達(dá)等，造成硬體成本居高不下。雖然Kinect的硬體架構(gòu)可以準(zhǔn)確的取得手部在Z軸的座標(biāo)值，但是在真實(shí)的應(yīng)用中只需知道手部相對(duì)的前后關(guān)系就可以得知對(duì)應(yīng)的指令動(dòng)作。因此，便有需要提供一種可兼顧操作空間自由性以及徒手操作的手勢(shì)辨識(shí)裝置及方法，以解決前述的問題。

發(fā)明內(nèi)容
本發(fā)明的一目的為，克服現(xiàn)有的操作機(jī)制的空間自由性不足，而提供一種兼顧操作空間自由性以及徒手操作的手勢(shì)辨識(shí)方法及裝置。為達(dá)成上述目的，本發(fā)明提供一種手勢(shì)辨識(shí)方法，包括提供一影像；將該影像的
三原色圖轉(zhuǎn)換為灰階圖；判斷出該影像的一手部影像；以及判斷出該手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。為達(dá)成上述目的，本發(fā)明另提供一種手勢(shì)辨識(shí)裝置，包括一影像處理模組。該影像處理模組用以處理一影像，并包括一膚色偵測(cè)單元，用以判斷該影像中的膚色面積是否大于一門檻值；一特征偵測(cè)單元，電性連接該膚色偵測(cè)單元，用以辨識(shí)該影像中的一手部影像；以及一邊緣偵測(cè)單元，電性連接該特征偵測(cè)單元，用以判斷該手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。本發(fā)明的手勢(shì)辨識(shí)方法及裝置利用膚色偵測(cè)單元找出膚色面積，再利用特征偵測(cè)單元從影像中找出手部影像，并利用邊緣偵測(cè)單元判斷出手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)。后續(xù)的手部的空間位置變化、手指指尖的個(gè)數(shù)及手指的彎曲變化，再不需要整張畫面的影像進(jìn)行掃瞄辨識(shí)。因此，畫面的影像檔案小，可加快手部影像辨識(shí)的速度，控制單元再依據(jù)變化的結(jié)果執(zhí)行相對(duì)應(yīng)的動(dòng)作。在使用上，使用者不用在局限于空間上的限制，可以較自由的操作及控制。


圖1為本發(fā)明具有手勢(shì)辨識(shí)裝置的人機(jī)界面系統(tǒng)的架構(gòu)圖。圖2為本發(fā)明手勢(shì)辨識(shí)方法流程圖。圖3為本發(fā)明膚色偵測(cè)方法流程圖。圖4a為本發(fā)明手部影像辨識(shí)示意圖，其為灰階示意圖。圖4b為本發(fā)明手部影像辨識(shí)示意圖，其為選取手部影像的灰階示意圖。圖4c為本發(fā)明手部影像辨識(shí)示意圖，其為標(biāo)示凸點(diǎn)、凹點(diǎn)及質(zhì)心座標(biāo)的灰階示意圖。圖5為使用者使用本發(fā)明人機(jī)界面系統(tǒng)的示意圖。主要元件符號(hào)說明
1人機(jī)界面系統(tǒng) 10手勢(shì)辨識(shí)裝置
100影像擷取單元 20顯示單元
200影像處理模組 210膚色偵測(cè)單元
220特征偵測(cè)單元 230邊緣偵測(cè)單元
240資料庫250控制單元
251觸控點(diǎn)功能252手勢(shì)判斷功能
300使用者界面310圖形使用者界面
320人性化界面410灰階圖
420第一手部影像 450凸點(diǎn)
460凹點(diǎn)470質(zhì)心座標(biāo)
510網(wǎng)路攝影機(jī)520影像處理模組
530電腦螢?zāi)?40使用者 步驟 S100 S112 步驟 S1021 S1023。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下將通過具體實(shí)施例和相關(guān)附圖，對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。請(qǐng)參閱圖1為本發(fā)明之一實(shí)施例的具有手勢(shì)辨識(shí)裝置的人機(jī)界面系統(tǒng)的架構(gòu)圖。人機(jī)界面系統(tǒng)I包括一手勢(shì)辨識(shí)裝置10及一顯示單元20。手勢(shì)辨識(shí)裝置10包括一影像擷取單元100、一影像處理模組200及一使用者界面300。影像處理模組200包括一膚色偵測(cè)單元210、一特征偵測(cè)單元220、一邊緣偵測(cè)單元230、一資料庫240及一控制單元250。影像處理模組200電性連接于該影像擷取單元100。使用者界面300電性連接于影像處理模組 200。圖2為本發(fā)明之一實(shí)施例的手勢(shì)辨識(shí)方法流程圖，請(qǐng)同時(shí)參閱圖1。該手勢(shì)辨識(shí)方法包括下列步驟
在步驟S100，提供第一影像。于本步驟中，由影像擷取單元100擷取第一影像，并電性連接該膚色偵測(cè)單元210，將該第一影像傳遞至該膚色偵測(cè)單元210。該影像擷取單元100可為攝影機(jī)或影像感測(cè)器。在步驟S102，膚色偵測(cè)單元210進(jìn)行一膚色偵測(cè)步驟，將該第一影像的三原色(RGB)圖轉(zhuǎn)換為灰階(Gray-level)圖。請(qǐng)參閱圖3，膚色偵測(cè)步驟，包括下列步驟
在步驟S1021，將該第一影像的三原色模型(RGB color model)轉(zhuǎn)換為色度/飽和度/明度彩色模型(HSV彩色模型，HSV color model)。于本步驟中，該膚色偵測(cè)單元210從影像擷取單元100接收的圖框(frame)為該第一影像，該第一影像原本是以三原色模型所表現(xiàn)，但為了進(jìn)行膚色的判斷，所以將三原色模型轉(zhuǎn)換為HSV彩色模型，以方便后續(xù)的處理。在步驟S1022，移除該第一影像的明度參數(shù)，再以色度參數(shù)和飽和度參數(shù)做膚色的追蹤而判斷出該第一影像的膚色面積。于本步驟中，該膚色偵測(cè)單元210先進(jìn)行移除該第一影像的明度參數(shù)，以減少外在環(huán)境光的影響。利用手掌的皮膚不會(huì)有黑色素生成，對(duì)色度參數(shù)和飽和度參數(shù)訂出一個(gè)范圍，并濾除未落在該范圍的影像，并將該第一影像以灰階表現(xiàn)而形成灰階圖410 (如圖4a所示)。然后，計(jì)算落在該范圍影像的面積即為膚色面積。在步驟S1023，判斷出第一影像的膚色面積是否大于門檻值。于本步驟中，膚色偵測(cè)單元210判斷該第一影像的膚色面積是否大于門檻值。該門檻值為該第一影像中膚色面積至少要占整個(gè)影像面積一預(yù)定比例。當(dāng)膚色面積小于門檻值時(shí)，就回到步驟S100 ;亦即膚色偵測(cè)單元210就結(jié)束偵測(cè)流程，回到初始狀態(tài)，并等待下一張影像再重復(fù)進(jìn)行。當(dāng)膚色面積大于門檻值時(shí)，膚色偵測(cè)單元210就就將該第一影像的灰階圖傳遞到該特征偵測(cè)單元220。假設(shè)，該影像面積為640 X 480，則第一影像中膚色面積至少要300 X 200，上述中的300X200即為上述的門檻值。在步驟S104，特征偵測(cè)單元220進(jìn)行一特征偵測(cè)步驟，用以判斷出該第一影像中的第一手部影像。于本步驟中，當(dāng)特征偵測(cè)單元220電性連接該膚色偵測(cè)單元210，并從膚色偵測(cè)單元210收到該第一影像的灰階圖時(shí)，該特征偵測(cè)單元220利用哈爾(Haar)演算法進(jìn)行辨識(shí)該第一影像的中的第一手部影像。根據(jù)哈爾(Haar)演算法可組出多個(gè)向量以建立一手部特征參數(shù)模型，進(jìn)而能取得個(gè)別對(duì)應(yīng)的樣本特征參數(shù)值。在進(jìn)行手部辨識(shí)時(shí)，該特征偵測(cè)單元220會(huì)擷取各手部區(qū)域的特征，以計(jì)算各手部區(qū)域所分別對(duì)應(yīng)的區(qū)域參數(shù)特征值。接下來，將每個(gè)手部區(qū)域所對(duì)應(yīng)的區(qū)域參數(shù)特征值，與樣本特征參數(shù)值進(jìn)行比較，以取得手部區(qū)域與樣本之間的相似度，只要相似度大于一門檻值(例如相似度門檻值為95，就判斷出手部影像，并選取該手部影像(如圖4b所示)。當(dāng)特征偵測(cè)單元220辨識(shí)出該影像中有手部影像時(shí)，就將該手部影像傳至該邊緣偵測(cè)單元230。如果辨識(shí)出有多個(gè)手部影像，就只傳送有最大面積的手部影像，亦即第一手部影像420。在步驟S106，邊緣偵測(cè)單元230進(jìn)行一邊緣偵測(cè)步驟，用以判斷第一手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)。于本步驟中，請(qǐng)同時(shí)參閱圖4c，該邊緣偵測(cè)單元230電性連接該特征偵測(cè)單元220，并從該特征偵測(cè)單元220收到該第一手部影像。該邊緣偵測(cè)單元230利用該第一手部影像的最大凸多邊形的圓點(diǎn)圖案為凸點(diǎn)450，方點(diǎn)圖案為凹點(diǎn)460，計(jì)算兩凹點(diǎn)460與其中間凸點(diǎn)450的差距，即可判斷出指尖是否為伸出或收起，進(jìn)而得知指尖個(gè)數(shù)及指尖座標(biāo)?；蛘撸?jì)算手指指尖凸點(diǎn)450與兩手指之間凹點(diǎn)460的距離，例如食指指尖到食指與中指之間凹陷處的距離。該邊緣偵測(cè)單元230將該第一手部影像440的指尖個(gè)數(shù)及指尖座標(biāo)傳至資料庫240。于本步驟中，該邊緣偵測(cè)單元230判斷該第一手部影像的最大凸多邊形來計(jì)算第一手部影像的面積，以得知三角點(diǎn)圖案為質(zhì)心座標(biāo)470。該邊緣偵測(cè)單元230將該第一手部影像的質(zhì)心座標(biāo)470傳至資料庫240。步驟S108，提供第η影像，并判斷出第η手部影像及第η手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)。于本步驟中，η為2或2以上的整數(shù)，影像擷取單元100擷取第η影像，將該第η影像傳遞至該膚色偵測(cè)單元210，如步驟S100。第η影像再經(jīng)過步驟S102的膚色偵測(cè)步驟，判斷該第η影像的膚色面積大于門檻值，并將該第η影像灰階圖傳遞到特征偵測(cè)單元220。步驟S104，特征偵測(cè)單元利用哈爾(Haar)演算法進(jìn)行辨識(shí)該第η影像的中的第η手部影像，并將該第η手部影像傳遞到邊緣偵測(cè)單元230。如步驟S106，邊緣偵測(cè)單元230判斷第η手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)，并傳至資料庫240。步驟S110，判斷第一手部影像與第η手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)之間的差異，而執(zhí)行相對(duì)應(yīng)的動(dòng)作。于本步驟中，控制單元250電性連接該資料庫240。該控制單元250依據(jù)該資料庫240的訊號(hào)而執(zhí)行相對(duì)應(yīng)的動(dòng)作。例如第一操作方式為，控制單元250依據(jù)第一手部影像與第η手部影像的質(zhì)心座標(biāo)不同，就可判斷出手部影像在空間中的移動(dòng)變化，而執(zhí)行觸控點(diǎn)功能251的動(dòng)作。第二操作方式為，控制單 元250依據(jù)第一手部影像或第二手部影像的指尖個(gè)數(shù)，判斷出手指的變化，而執(zhí)行手勢(shì)判斷功能252的動(dòng)作。第三操作方式為，控制單元250依據(jù)第一手部影像與第二手部影像的指尖座標(biāo)不同，就可判斷出手部影像的手指頭彎曲程度，而執(zhí)行手勢(shì)判斷功能252的動(dòng)作。上述第一、第二及第三操作方式中，控制單元250可選則其中一個(gè)操作方式，也能同時(shí)三個(gè)操作方式交互使用。步驟S112,顯示單元20透過使用者界面300,顯示控制單元250執(zhí)行動(dòng)作后的結(jié)果。于本步驟中，使用者界面300包括人性化界面320及圖形使用者界面310，且電性連接控制單元250及顯示單元20。人性化界面320是用于觸控點(diǎn)功能251的輸出界面，圖形使用者界面310是用于手勢(shì)判斷功能252的輸出界面。經(jīng)由人性化界面320及圖形使用者界面310，可由顯示單元20顯示控制單元250執(zhí)行動(dòng)作后的結(jié)果。舉例來說如圖5所示，本發(fā)明的手勢(shì)辨識(shí)裝置可代替目前的滑鼠的動(dòng)作，其中該影像擷取單元可為一般網(wǎng)路攝影機(jī)510 (Web camera);本發(fā)明的影像處理模組520可為晶片組(Chip Set)、處理器(Processor 如 CPU、MPU)、控制電路(Control Circuit)、其它輔助電路、運(yùn)算程式(Operation Software)、韌體(Firmware)或相關(guān)模組、元件、軟體等所組合而成；該顯示單元可為一般電腦螢?zāi)?screen) 530。當(dāng)使用者540在網(wǎng)路攝影機(jī)510前時(shí)，使用者540的手部向左移動(dòng)時(shí)，從電腦螢?zāi)?30就可看到螢?zāi)簧系募^向左移動(dòng)。當(dāng)使用者540的手指向下彎曲時(shí)，經(jīng)過影像處理模組520的訊號(hào)處理，電腦螢?zāi)?30上的箭頭所選取的元件就會(huì)被點(diǎn)選。本發(fā)明的手勢(shì)辨識(shí)方法及裝置利用膚色偵測(cè)單元找出膚色面積，再利用特征偵測(cè)單元從影像中找出手部影像，并利用邊緣偵測(cè)單元判斷出手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)。后續(xù)的手部的空間位置變化、手指指尖的個(gè)數(shù)及手指的彎曲變化，再不需要整張畫面的影像進(jìn)行掃瞄辨識(shí)。因此，畫面的影像檔案小，可加快手部影像辨識(shí)的速度，控制單元再依據(jù)變化的結(jié)果執(zhí)行相對(duì)應(yīng)的動(dòng)作。在使用上，使用者不用在局限于空間上的限制，可以較自由的操作及控制。綜上所述，乃僅記載本發(fā)明為呈現(xiàn)解決問題所採用的技術(shù)手段的實(shí)施方式或?qū)嵤├眩⒎怯脕硐薅ū景l(fā)明專利實(shí)施的范圍。即凡與本發(fā)明申請(qǐng)專利范圍文義相符，或依本發(fā)明專利范圍所做的均等變化與修飾，皆為本發(fā)明專利范圍所涵蓋。
權(quán)利要求
1.一種手勢(shì)辨識(shí)方法，其特征在于包括下列步驟 提供一第一影像； 將該第一影像的三原色圖轉(zhuǎn)換為一第一灰階圖； 判斷出該第一影像的一第一手部影像；以及 判斷出該第一手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。
2.根據(jù)權(quán)利要求1所述的手勢(shì)辨識(shí)方法，其特征在于其中將該第一影像的三原色圖轉(zhuǎn)換為一第一灰階圖的步驟中，包括下列步驟 將該第一影像的三原色模型轉(zhuǎn)換為色度/飽和度/明度彩色模型； 移除該第一影像的明度參數(shù)，再以色度參數(shù)和飽和度參數(shù)做膚色的追蹤而判斷出該第一影像的膚色面積，并將該第一影像以灰階表現(xiàn)而形成該第一灰階圖；以及判斷出該第一影像的膚色面積是否大于一門檻值。
3.根據(jù)權(quán)利要求2所述的手勢(shì)辨識(shí)方法，其特征在于其中該門檻值為該第一影像中的膚色面積占整個(gè)影像面積一預(yù)定比例。
4.根據(jù)權(quán)利要求1所述的手勢(shì)辨識(shí)方法，其特征在于更包括下列步驟 提供一第二影像； 將該第二影像的三原色圖轉(zhuǎn)換為一第二灰階圖； 判斷出該第二影像的一第二手部影像；以及 判斷出該第二手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。
5.根據(jù)權(quán)利要求4所述的手勢(shì)辨識(shí)方法，其特征在于其中將該第二影像的三原色圖轉(zhuǎn)換為一第二灰階圖的步驟中，更包括下列步驟 將該第二影像的三原色模型轉(zhuǎn)換為色度/飽和度/明度彩色模型； 移除該第二影像的明度參數(shù)，再以色度參數(shù)和飽和度參數(shù)做膚色的追蹤而判斷出該第二影像的膚色面積，并將該第二影像以灰階表現(xiàn)而形成該第二灰階圖；以及判斷出該第二影像的膚色面積是否大于一門檻值。
6.根據(jù)權(quán)利要求4所述的手勢(shì)辨識(shí)方法，其特征在于更包括下列步驟判斷該第一手部影像與該第二手部影像的質(zhì)心座標(biāo)，而執(zhí)行相對(duì)應(yīng)的動(dòng)作。
7.根據(jù)權(quán)利要求4所述的手勢(shì)辨識(shí)方法，其特征在于更包括下列步驟判斷該第一手部影像或該第二手部影像的指尖個(gè)數(shù)，而執(zhí)行相對(duì)應(yīng)的動(dòng)作。
8.根據(jù)權(quán)利要求4所述的手勢(shì)辨識(shí)方法，其特征在于更包括下列步驟判斷該第一手部影像與該第二手部影像的指尖座標(biāo)，而執(zhí)行相對(duì)應(yīng)的動(dòng)作。
9.一種手勢(shì)辨識(shí)裝置，其特征在于包括 一影像處理模組，用以處理一影像，并包括 一膚色偵測(cè)單元，用以判斷該影像中的膚色面積是否大于一門檻值； 一特征偵測(cè)單元，電性連接該膚色偵測(cè)單元，用以辨識(shí)該影像中的一手部影像；以及一邊緣偵測(cè)單元，電性連接該特征偵測(cè)單元，用以判斷該手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。
10.根據(jù)權(quán)利要求9所述的手勢(shì)辨識(shí)裝置，其特征在于更包括一資料庫，其電性連接該邊緣偵測(cè)單元，用以儲(chǔ)存該手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)的其中至少一者。
11.根據(jù)權(quán)利要求10所述的手勢(shì)辨識(shí)裝置，其特征在于更包括一控制單元，其電性連接該資料庫，用以依據(jù)質(zhì)心座標(biāo)的不同，判斷出手部影像在空間中的移動(dòng)變化。
12.根據(jù)權(quán)利要求10所述的手勢(shì)辨識(shí)裝置，其特征在于更包括一控制單元，其電性連接該資料庫，用以依據(jù)指尖個(gè)數(shù)，判斷出手指的變化。
13.根據(jù)權(quán)利要求10所述的手勢(shì)辨識(shí)裝置，其特征在于更包括一控制單元，其電性連接該資料庫，用以依據(jù)指尖座標(biāo)的不同判斷出該手部影像的手指頭彎曲程度。
全文摘要
一種手勢(shì)辨識(shí)裝置，包括一影像處理模組。該影像處理模組用以處理一影像，并包括一膚色偵測(cè)單元，用以判斷該影像中的膚色面積是否大于一門檻值；一特征偵測(cè)單元，電性連接該膚色偵測(cè)單元，用以辨識(shí)該影像中的一手部影像；以及一邊緣偵測(cè)單元，電性連接該特征偵測(cè)單元，用以判斷該手部影像的質(zhì)心座標(biāo)、指尖個(gè)數(shù)及指尖座標(biāo)。
文檔編號(hào)G06K9/00GK103034333SQ201210550679
公開日2013年4月10日 申請(qǐng)日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者姜智尹, 黃子軒, 張哲維 申請(qǐng)人:福建華映顯示科技有限公司, 中華映管股份有限公司