三維互動裝置及其操控方法
【專利摘要】一種三維互動裝置及其操控方法。三維互動裝置包括投影單元、取像單元以及圖像處理單元。投影單元用以投射互動圖案至主體的表面，藉以讓使用者對互動圖案以手勢進行互動觸發(fā)操作。取像單元用以提取在取像范圍內(nèi)的深度圖像。圖像處理單元接收深度圖像并且判斷深度圖像中是否含有使用者的手部圖像。如果是，圖像處理單元對手部圖像進行手部幾何辨識，以獲得手勢互動語意。圖像處理單元并依據(jù)手勢互動語意來控制投影單元及取像單元。據(jù)此，本公開提供便攜式、非接觸式的三維互動裝置。
【專利說明】三維互動裝置及其操控方法【技術(shù)領(lǐng)域】
[0001]本公開涉及一種三維互動裝置及其操控方法。
【背景技術(shù)】
[0002]近年來非接觸式人機互動界面研究成長十分快速，弗雷斯特研究(ForresterResearch)公司的分析師研究指出:若能讓體感與互動完全融入日?；顒?，成為生活的一部分，未來將是互動應(yīng)用的絕佳機會。目前已有多家公司開發(fā)各種生活應(yīng)用產(chǎn)品，例如微軟所發(fā)表的新世代體感游戲裝置Kinect，采用人體動作操控作為游戲的互動媒介；在波音客機的銷售大廳，架設(shè)能為客人提供一趟虛擬航程的三維(three-dimensional, 3D)互動裝置等等。
[0003]由于深度圖像提供更完整的空間圖像信息，因此發(fā)展虛擬互動輸入技術(shù)的重點在于如何有效、即時且穩(wěn)定的取得第三維(即深度)的信息。然而在現(xiàn)有技術(shù)中，大部分的重點著重于建立深度圖(depth map),以達到“空間三維互動”(spatial 3D interaction)的目的，但目前深度圖的估測因距離遠近與解析度等因素，較難測量到手部甚至手指位置細微變化的絕對坐標(biāo)，較難對應(yīng)譬如小范圍非接觸式的人機界面需求。
[0004]現(xiàn)有的互動輸入方式多屬于大范圍互動應(yīng)用，例如大型沉浸式虛擬互動裝置、互動式數(shù)字黑板與體感互動游戲等，對于范圍較小的目標(biāo)物尚較難于三維空間中進行精確定位，例如對于手部范圍大小的精細操作與范圍較小互動效果并不理想。舉例來說，雖有部分互動裝置通過讓使用者手持紅外線投影器或配帶標(biāo)記(Marker)等方式，雖容易進行追蹤辨識，但僅適合于較大面積互動范圍。并且因為投影成像范圍固定與標(biāo)記尺寸精度不足，與實現(xiàn)便攜式、較小范圍與非接觸式的三維人機界面互動尚有一段距離。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本公開提供一種三維互動裝置及其操控方法，可具有非接觸式、較小的設(shè)定范圍坐標(biāo)定位的三維空間互動能力，達到便攜式隨處投影的三維互動效果。
[0006]本公開提出一種三維互動裝置，其包括投影單元、取像單元以及圖像處理單元。其中，投影單元用以投射互動圖案至主體的表面，藉以讓使用者對互動圖案以手勢進行互動觸發(fā)操作，其中互動圖案被投射在投影范圍內(nèi)。取像單元用以提取在取像范圍內(nèi)的深度圖像，其中取像范圍涵蓋投影范圍。圖像處理單元連接至投影單元與取像單元，用以接收深度圖像并且判斷深度圖像中是否含有使用者的手部圖像。如果是，圖像處理單元對手部圖像進行手部幾何辨識，以獲得手勢互動語意。圖像處理單元并依據(jù)手勢互動語意來控制投影單元及取像單元。
[0007]本公開另提出一種三維互動裝置的操控方法，其中三維互動裝置包括投影單元以及取像單元。操控方法包括下列步驟。對投影單元的投影坐標(biāo)與取像單元的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序。通過投影單元投射互動圖案至主體的表面，藉以讓使用者對互動圖案以手勢進行互動觸發(fā)操作。其中，互動圖案被投射在投影范圍內(nèi)。并且通過取像單元提取在取像范圍內(nèi)的深度圖像，其中，取像范圍涵蓋投影范圍。判斷深度圖像中是否含有使用者的手部圖像。如果是，對手部圖像進行手部幾何辨識，以獲得手勢互動語意。再依據(jù)手勢互動語意控制投影單元及取像單元。
[0008]為讓本公開的上述特征和優(yōu)點能更明顯易懂，下文特舉實施范例，并配合附圖作詳細說明如下。
【專利附圖】

【附圖說明】
[0009] 圖1繪不為一種三維互動裝置的應(yīng)用情境的一實施范例不意圖。
[0010]圖2是根據(jù)本公開一范例實施例所繪示的三維互動裝置的方塊圖。
[0011]圖3A是根據(jù)本公開一范例實施例所繪示的三維互動裝置的操控方法的流程圖。
[0012]圖3B是根據(jù)本公開一范例實施例所繪示的坐標(biāo)校正程序的流程圖。
[0013]圖4是根據(jù)本公開一范例實施例所繪示的坐標(biāo)校正程序的簡單示意圖。
[0014]圖5是根據(jù)本公開另一范例實施例所繪示的手勢辨識單元獲得手勢互動語意的方法流程圖。
[0015]圖6A繪示為一種分析深度圖像中的凸包處與凹陷處的結(jié)果示意圖。
[0016]圖6B繪示為一種投影單元所投射的互動圖案的一實施范例示意圖。
[0017]圖6C繪示為一種投影單元投射互動圖案至使用者的手部的應(yīng)用情境的一實施范例示意圖。
[0018]圖7是根據(jù)本公開另一范例實施例所繪示的手勢互動語意數(shù)據(jù)庫的樣本范例。
[0019]【主要元件符號說明】
[0020]10,200:三維互動裝置
[0021]20:手術(shù)燈
[0022]210:投影單元
[0023]220:取像單元
[0024]230:圖像處理單元
[0025]232:手勢辨識單元
[0026]240:坐標(biāo)校正單元
[0027]410、420、430:畫面
[0028]710、720、730、740:樣本
[0029]Dl:投影范圍
[0030]E、F、G、H、e、f、g、h:坐標(biāo)
[0031]P1、P2、P3、P4:圓點圖案
[0032]P5:手部形狀圖案
[0033]Rl:取像范圍的區(qū)塊
[0034]R2:投影范圍的區(qū)塊
[0035]U:使用者
[0036]S310~S360:三維互動裝置的操控方法的各步驟
[0037]S312、S314、S316:坐標(biāo)校正程序的各步驟
[0038]S501~S521:獲得手勢互動語意的方法的各步驟【具體實施方式】
[0039]本公開的三維互動裝置系結(jié)合取像單元/裝置與投影單元/裝置的設(shè)計，采用投影坐標(biāo)與取像坐標(biāo)的校正技術(shù)，使本公開的三維互動裝置達到便攜式與非接觸式的互動輸入操作。由于利用深度圖像從事目標(biāo)物的辨識與追蹤，使得三維互動裝置在環(huán)境與光線背景變異下，皆較具有抗光強與避免環(huán)境光線干擾的功能。除此之外，使用本公開的三維互動裝置的使用者不須通過佩戴標(biāo)記(Marker )，三維互動裝置即具有手勢辨識功能及三維空間手指定位能力，可建立譬如說類似手部(hand portion)大小等較小的設(shè)定范圍的非接觸式三維空間互動。
[0040]為了使本公開的內(nèi)容更易明了，以下列舉若干實施例作為本公開確實能夠據(jù)以實施的范例。所提出的實施例僅作為解說之用，并非用來限定本公開的權(quán)利范圍。
[0041]本公開的三維互動裝置例如可與手術(shù)醫(yī)療裝置相結(jié)合，使得醫(yī)療裝置在一般接觸式的實體按鍵輸入功能外，還提供三維空間手指定位功能，而能讓醫(yī)護人員以非接觸形式對醫(yī)療裝置進行操控，降低接觸造成的細菌感染。圖1繪示為一種三維互動裝置的應(yīng)用情境的一實施范例示意圖。請參照圖1實施例，三維互動裝置10例如裝設(shè)固定于手術(shù)燈20的位置A處，三維互動裝置10也可裝設(shè)于B處或C處等，但并不限于此，裝設(shè)位置可依實際應(yīng)用需求來設(shè)定。此外，三維互動裝置10也可裝設(shè)于其他醫(yī)療器材，并不以手術(shù)燈為限。
[0042]在此實施例中，三維互動裝置10至少包括投影單元以及取像單元(未繪示于圖1)。投影單元可用以投射互動圖案(例如按鍵圖案等任意圖案界面)至使用者U的手部位置，譬如手掌或手臂，取像單元則用以提取使用者U進行互動操作的手部深度圖像。隨著手術(shù)燈20的角度變化或位置移動，投影單元的投射位置與取像單元所提取的取像位置也會跟著改變。如圖1所示，點P與點S之間的距離代表取像單元所能提取的最大橫軸取像范圍。點1與點r之間的距離代表投影單元所能投射的最大橫軸投影范圍。
[0043]雖然手術(shù)燈20的角度或位置變化會影響三維互動裝置10的取像或投影的位置。然而，一范例實施例的三維互動裝置10可通過取像單元來持續(xù)提取涵蓋使用者U的手部的深度圖像，進而判別手部坐標(biāo)，而可讓投影單元將互動圖案投射在使用者U的手部(例如約10X10公分的小面積范圍內(nèi))。除此之外，三維互動裝置10還可準(zhǔn)確分析使用者U的手勢動作變化，進而解讀手勢動作的手勢互動語意來呈現(xiàn)互動結(jié)果。
[0044]以下則舉一范例實施例來說明圖1的三維互動裝置10的詳細實施方式。圖2是根據(jù)本公開一范例實施例所繪示的三維互動裝置的方塊圖。
[0045]請參照圖2，三維互動裝置200至少包括投影單元210、取像單元220、圖像處理單元230、手勢辨識單元232以及坐標(biāo)校正單元240。其范例功能分述如下:
[0046]投影單元210用以投射互動圖案至一主體的表面。所述主體例如可以是投影屏幕、人體部位、使用者的手部、手術(shù)臺、病床、工作臺、桌面、墻壁、筆記本、紙張、木板、等等任意可載圖像的物件(object)，皆可作為主體，但不限于上述。在一范例實施例中，投影單元210例如可采用一種微型投影機(pico projector,或稱mini projector)。一般來說,微型投影機的光源可采用發(fā)光二極管(Light Emitting Diode,LED)或其他固態(tài)光源，以提高微型投影機所需的流明(Lumen)，進而增加微型投影機投射出來的圖像的亮度。微型投影機的尺寸大約與一般市面上的移動電話相近。因此，微型投影機具有便攜式且無使用場地的限制，適合用于本公開的三維互動裝置200。
[0047]舉例來說，投影單元210可選擇采用下列不同規(guī)格型式的微投影器，以及其他類似規(guī)格:具備44英寸短距投影功能、亮度為200流明的“BENQ Jobee GP2(商品名)”;或40英寸短焦設(shè)計、亮度為250流明且具LED燈泡的“ViewSonic高畫質(zhì)掌上型投影機PLED-W200(商品名或激光微型投影的“1-connect ViewX (商品名)”。上述僅為投影單元210可以采用的范例，本公開并不限定使用上述列舉的商品來做為必要的實施元件。
[0048]在一實施例中，取像單元220可采用“深度攝影機”進行拍攝，除了二維畫面之夕卜，深度攝影機會發(fā)出紅外線光源，通過紅外線光源碰到拍攝物件反射的時間，判斷物件與攝影機之間的距離，而得出畫面中物件遠近的“深度圖像/深度圖”(cbpth image/depthmap)ο在一范例實施例中，取像單元220可采用非接觸主動式掃描規(guī)格的深度攝影機。
[0049]舉例來說，取像單元220可選擇采用下列深度攝影機，以及其他類似規(guī)格:飛行時間(Time-of-flight)攝影機、立體視覺(Stereo vision)深度攝影機、激光散斑(Laserspeckle)攝影機或激光追蹤(Laser tracking)攝影機等等。
[0050]圖像處理單元230可由軟件、硬件或其組合實作而得，在此不加以限制。軟件例如是應(yīng)用軟件或驅(qū)動程序等。硬件例如是中央處理單元(Central Processing Unit, CPU),或是其他可編程的一般用途或特殊用途的微處理器(MiCToprocessor)、數(shù)字信號處理器(Digital Signal Processor, DSP)等裝置。
[0051]圖像處理單元還包括手勢辨識單元232，手勢辨識單元232除了可辨識取像單元220所提取的深度圖像中的手部圖像之外，更可判斷手部圖像的幾何形狀，通過比對手勢互動語意數(shù)據(jù)庫(未繪示于圖2)中的樣本來判斷手勢互動語意。其中手勢互動為本發(fā)明的示范實施例之一，也可利用物件進行互動，舉凡筆、棒、標(biāo)點等等的物件均可進行互動。相對地，可建立物件互動數(shù)據(jù)庫提供比對。
[0052]坐標(biāo)校正單元240耦接投影單元210與取像單元220，用以校正投影單元210的投影坐標(biāo)與取像單元220的取像坐標(biāo)。其校正方法容后詳述。
[0053]圖3A是根據(jù)本公開一范例實施例所繪示的三維互動裝置的操控方法的流程圖。本范例實施例的方法適用于圖2的三維互動裝置200，以下即搭配三維互動裝置200中的各構(gòu)件說明本范例實施例的步驟:
[0054]如步驟S310所述，坐標(biāo)校正單元240對三維互動裝置200的投影單元210的投影坐標(biāo)與取像單元220的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序。取得投影坐標(biāo)與取像坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換關(guān)系之后便可接續(xù)步驟S320，投影單元210投射第一互動圖案至一主體的表面，藉以讓使用者對第一互動圖案以手勢進行互動觸發(fā)操作，其中第一互動圖案被投射在所設(shè)定的一投影范圍內(nèi)。本范例實施例所述的主體可以是使用者的手、人體部位或其他物件、平臺的表面、投影屏幕、手術(shù)臺、病床、工作臺、桌面、墻壁、筆記本、紙張、木板、等等任意可載圖像的物件(object)等等,在此不限制。
[0055]在步驟S330，取像單元220提取在取像范圍內(nèi)的深度圖像，其中取像范圍涵蓋所設(shè)定的投影范圍。在取得深度圖像之后接續(xù)步驟S340，圖像處理單元230可通過手勢辨識單元232判斷深度圖像中是否含有使用者的手部圖像。如果是，進一步對手部圖像進行手部幾何辨識，以獲得手勢互動語意(步驟S350)。在步驟S360，圖像處理單元230可再依據(jù)手勢互動語意控制投影單元210及取像單元220。在一實施例中，圖像處理單元230可依據(jù)手勢互動語意來控制投影單元210投射第二互動圖案(即，互動結(jié)果圖案)至所述主體的表面，以進行接續(xù)互動；并且，圖像處理單元230可控制取像單元220持續(xù)提取含有使用者手勢的深度圖像。
[0056]以下先詳細說明在上述步驟S310中的坐標(biāo)校正單元240執(zhí)行坐標(biāo)校正程序的各步驟。請參照圖3B，圖3B是根據(jù)本公開一范例實施例所繪示的坐標(biāo)校正程序的流程圖。圖4是根據(jù)本公開一范例實施例所繪示的坐標(biāo)校正程序的簡單示意圖。以下請配合參照圖3B與圖4實施例。
[0057]在一范例實施例中，坐標(biāo)校正程序的步驟更可分為多個子步驟S312?S316。先由投影單元210在投影范圍的一或多個邊界點與中心處分別投射邊界標(biāo)記符號與中心標(biāo)記符號，以形成被設(shè)定的一校正圖案(步驟S312)。在本范例實施例中，邊界標(biāo)記符號例如為圓點圖案；中心標(biāo)記符號例如為手部形狀圖案；但并不以此為限，邊界標(biāo)記符號以及中心標(biāo)記符號都可為任意圖形。請參照圖4實施例，畫面410顯示投影單元210所投射的校正圖案，其包括4個圓點圖案P1、P2、P3及P4，以及在中心區(qū)塊處投影了手部形狀圖案P5。其中，圓點圖案P1、P2、P3及P4用以標(biāo)示投影單元210所能投影的最大邊界范圍。手部形狀圖案P5例如是用來提示使用者接下來將以手勢進行互動觸發(fā)操作。
[0058]接著，由取像單元220提取涵蓋校正圖案的三原色圖像(步驟S314)。在此說明的是，取像單元220在進行坐標(biāo)校正程序時是用以提取三原色圖像(亦即RGB圖像)，而非深度圖像。因為深度圖像具有單一深度信息功能，而要進一步得到校正圖案的圖形。請參照圖4實施例，畫面420顯示一種取像單元220將所提取的三原色圖像再經(jīng)過二值化(Binary)處理與邊界處理后的結(jié)果。取像單元220除了會拍攝到校正圖案之外，同時也將背景例如是工作平臺等其他背景物件一并拍攝下來。
[0059]坐標(biāo)校正單元240便可利用圖像比對方法分析三原色圖像中的邊界標(biāo)記符號與中心標(biāo)記符號的坐標(biāo)位置，以獲得投影坐標(biāo)與取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系(步驟S316)。其中，圖像比對例如是采用一種斜面距離(Chamfer distance)的圖像比對方法,但不限于此。凡是可以分析比對出邊界標(biāo)記符號與中心標(biāo)記符號的圖像比對方法皆可適用于此步驟。
[0060]請參照圖4實施例，畫面430顯示坐標(biāo)E、F、G及H所形成的區(qū)塊Rl為取像單元220的取像范圍。其中，坐標(biāo)E(0，0)為取像單元220的原點，坐標(biāo)H(640，480)可用以得知取像單元220所提取圖像的尺寸為640X480 (像素)。另外，坐標(biāo)e、f、g及h所形成的區(qū)塊R2則為投影單元210的投影范圍。其中，坐標(biāo)e(230，100)為投影單元210的原點；另外，利用坐標(biāo)h (460，500)與坐標(biāo)e (230，100)相減可得知投影單元210所能投影的最大尺寸為230X400 (像素)。如此一來，坐標(biāo)校正單元240便可得知投影坐標(biāo)與取像坐標(biāo)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。
[0061]為了詳細說明圖3A的手勢辨識單元232執(zhí)行步驟S340、S350的詳細步驟流程。以下另舉一范例實施例作為詳細說明。圖5是根據(jù)本公開另一范例實施例所繪示的手勢辨識單元獲得手勢互動語意的方法流程圖。
[0062]請參照圖5實施例，手勢辨識單元232接收深度圖像之后先利用直方圖(histogram)統(tǒng)計方法分析深度圖像(步驟S501)。在深度圖像中，每一像素或區(qū)塊皆具有相對應(yīng)的深度值。例如，使用者的手愈靠近取像單元220，深度值愈小；反之，使用者的手愈遠離取像單元220，深度值愈大。因此，此步驟所產(chǎn)生的深度直方圖的橫軸代表深度值層級；縱軸代表相應(yīng)的像素數(shù)目。
[0063]判斷深度圖像的深度值是否具有大于深度臨界值的對應(yīng)圖像區(qū)塊，以判別深度圖像中是否含有使用者的手部圖像(步驟S503)。其中，深度臨界值例如設(shè)定為200。
[0064]如果深度圖像中含有使用者的手部圖像，則依據(jù)手部輪廓(contour)分析深度圖像中的凸包(Convex hull)處與凹陷(Convex deficiency)處(步驟S505)。舉例來說，圖6A繪示為一種分析深度圖像中的凸包處與凹陷處的結(jié)果示意圖。
[0065]得到深度圖像中的凸包處與凹陷處的信息后，便可用來判別手部幾何形狀(步驟S507)。接著判斷此手部圖像為使用者的左手圖像或右手圖像(步驟S509)。如果為左手圖像，則投影單元210可以將互動圖案投射至使用者的左手掌上，因此接續(xù)步驟S511，分析與判斷手部圖像(左手)的質(zhì)心點位置。并且在步驟S513，經(jīng)由坐標(biāo)校正單元240將質(zhì)心點位置輸出至投影單元210。如此一來，投影單元210就可以依據(jù)此質(zhì)心點坐標(biāo)對應(yīng)調(diào)整互動圖案的投射位置或調(diào)整互動圖案的尺寸。也就是說，在一實施例中，投影單元210可以準(zhǔn)確地將互動圖案投射至使用者的左手部位，而使用者便可利用右手的手勢變化來對投射在左手部位上的互動圖案進行互動觸發(fā)操作。
[0066]舉例來說，圖6B繪示為一種投影單元所投射的互動圖案的一實施范例示意圖。其中，虛線Dl代表投影單元所能投射的投影范圍。圖6C繪示為一種投影單元投射互動圖案至使用者的左手部位的應(yīng)用情境的一實施范例示意圖。由于投影單元210取得手部圖像的質(zhì)心點坐標(biāo)，因此將圖6B所示的互動圖案投影至使用者的手部區(qū)域。除此之外，當(dāng)使用者的手部移動時，投影單元210的投射位置也可隨之改變。
[0067]回到步驟S509，如果為右手圖像，代表使用者以右手手勢進行互動觸發(fā)操作，因此接續(xù)步驟S515，手勢辨識單元232分析手部(右手)圖像中的一或多個指尖的深度位置并追蹤這些指尖的運動軌跡。
[0068]更進一步，手勢辨識單元232分析手部(右手)圖像中的食指與拇指的運動軌跡(步驟S517)。手勢辨識單元232通過比對手勢互動語意數(shù)據(jù)庫中的樣本以及深度位置來判斷運動軌跡所代表的手勢互動語意(步驟S519)。
[0069]在一實施范例中，手勢互動語意數(shù)據(jù)庫的建立是以幾組基本手勢外型當(dāng)作學(xué)習(xí)與比對的樣本，其中包括手部的手指全開、閉合、拿取、放、點選、推、放大、縮小等等各種基本手勢外型及其對應(yīng)的運動軌跡。圖7是根據(jù)本公開另一范例實施例所繪示的手勢互動語意數(shù)據(jù)庫的樣本范例。舉例來說，樣本710是以手指按住物件作選擇的操作，其所代表的手勢互動語意為“點選(tap to select)”;樣本720是在手指對物件點選后，作同一方向的拖曳，其所代表的手勢互動語意為“單向拖曳(slide to scroll)”;樣本730是在手指對物件點選后，作旋轉(zhuǎn)方向的拖曳，其所代表的手勢互動語意為“旋轉(zhuǎn)拖曳(spin to scroll)”;樣本740是以手指在物件表面點選的同時，往某一方向輕輕推動后，手指隨即離開屏幕，其所代表的手勢互動語意為“輕推(flick to nudge)”。
[0070]另外可選擇，在步驟S521，圖像處理單元230將手勢辨識單元232分析所得的手勢互動語意輸出至投影單元210，以使投影單元210對應(yīng)手勢互動語意投射第二互動圖案(譬如互動結(jié)果圖案)。舉例來說，如圖6C所示的應(yīng)用情境范例示意圖，如果手勢互動語意為“點選”，則使用者點選或“3”分別可以產(chǎn)生不同的互動結(jié)果圖案，其可由使用者依據(jù)實際應(yīng)用的需求來做設(shè)定。舉例來說，三維互動裝置200若裝設(shè)應(yīng)用于手術(shù)燈的醫(yī)療環(huán)境，醫(yī)護人員以手勢點選“ I ”例如可使投影單元投射標(biāo)示圖案(譬如箭頭圖案)至患者欲進行手術(shù)的部位，更進一步，醫(yī)護人員還可以用手勢與標(biāo)示圖案進行持續(xù)互動，譬如拖曳標(biāo)示圖案至其他位置、放大或縮小標(biāo)示圖案等等；以手勢點選“2”例如可使投影單元投射一患者數(shù)據(jù)；以手勢點選“3”例如可使投影單元投射一手術(shù)流程圖。
[0071]除此之外，對應(yīng)不同的手勢互動語意還可以有一或多個三維互動參數(shù)。舉例來說，如果手勢互動語意為“單向拖曳”，代表投影單元所投射的互動圖案或物件會隨手勢移動到手勢停止。然而，其移動的速度與方向則必須通過三維互動參數(shù)來決定。手勢辨識單元232在分析與追蹤深度圖像中的手部運動軌跡時，可一并將手部圖像的深度坐標(biāo)、深度值變化、加速度、力量等等作為三維互動參數(shù)，圖像處理單元230更可將三維互動參數(shù)傳送至投影單元210。如此一來，投影單元210就可依據(jù)三維互動參數(shù)來得知所投射的互動圖案或物件要往哪一方向移動，移動的速度快慢等等，藉此提升本公開的三維互動效果。
[0072]綜上所述，本公開系結(jié)合取像單元/裝置與投影單元/裝置，利用投影坐標(biāo)與取像坐標(biāo)的校正技術(shù)，也可使得本公開的三維互動裝置具有三維空間手部定位能力，并且能讓使用者以非接觸方式與投影內(nèi)容進行三維空間互動。此外，由于利用深度圖像進行手部辨識與追蹤，使得本公開的三維互動裝置在環(huán)境與光線背景變異下，皆較具有抗光強與避免環(huán)境光線干擾的功效。再者，本公開的三維互動裝置與醫(yī)療器材的結(jié)合，提供醫(yī)療人員能在譬如類似手部大小等的較小設(shè)定范圍的三維空間內(nèi)以非接觸形式準(zhǔn)確地進行輸入操作，降低因接觸造成的細菌感染。
[0073]雖然本公開已以實施范例公開如上，然其并非用以限定本公開，本領(lǐng)域技術(shù)人員，在不脫離本公開的精神和范圍內(nèi)，當(dāng)可作些許的更動與潤飾，故本公開的保護范圍當(dāng)視所附權(quán)利要求書界定范圍為準(zhǔn)。
【權(quán)利要求】
1.一種三維互動裝置，包括: 投影單元，投射第一互動圖案至主體的表面，藉以讓使用者對該第一互動圖案以手勢進行互動觸發(fā)操作，其中該第一互動圖案被投射在投影范圍內(nèi)； 取像單元，提取在取像范圍內(nèi)的深度圖像，其中該取像范圍涵蓋該投影范圍；以及 圖像處理單元，該圖像處理單元連接該投影單元與該取像單元，接收該深度圖像并判斷該深度圖像中是否含有該使用者的手部圖像，如果是，該圖像處理單元對該手部圖像進行手部幾何辨識，以獲得手勢互動語意，該圖像處理單元依據(jù)該手勢互動語意控制該投影單元及該取像單元。
2.如權(quán)利要求1所述的三維互動裝置，其中: 該投影單元在該投影范圍的至少一邊界點與中心處分別投射邊界標(biāo)記符號與中心標(biāo)記符號，以形成用以校正的校正圖案。
3.如權(quán)利要求2所述的三維互動裝置，還包括: 坐標(biāo)校正單元，耦接該投影單元與該取像單元，接收該取像單元所提取的三原色圖像，其中該三原色圖像涵蓋該校正圖案，該坐標(biāo)校正單元采用圖像比對方法分析該三原色圖像中的該邊界標(biāo)記符號與該中心標(biāo)記符號的坐標(biāo)位置，以獲得該投影單元的投影坐標(biāo)與該取像單元的取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系。
4.如權(quán)利要求2所述的三維互動裝置，其中: 該投影單元所投射的該邊界標(biāo)記符號為圓點圖案。
5.如權(quán)利要求2所述的三維互動裝置，其中: 該投影單元所投射的該中心標(biāo)記符號為手部形狀圖案。
6.如權(quán)利要求1所述的三維互動裝置，其中該圖像處理單元還包括: 手勢辨識單元，利用直方圖統(tǒng)計方法對該深度圖像進行分析，并通過該深度圖像的凸包處與凹陷處來判斷該手部圖像。
7.如權(quán)利要求6所述的三維互動裝置，其中: 該手勢辨識單元更判斷該手部圖像的質(zhì)心點位置，并且將對應(yīng)該質(zhì)心點位置的質(zhì)心點坐標(biāo)輸出至該投影單元。
8.如權(quán)利要求7所述的三維互動裝置，其中: 該投影單元依據(jù)該質(zhì)心點坐標(biāo)對應(yīng)調(diào)整第二互動圖案的投射位置及該第二互動圖案的尺寸。
9.如權(quán)利要求6所述的三維互動裝置，其中: 該手勢辨識單元更判斷該手部圖像中的至少一指尖的深度位置并追蹤該至少一指尖的運動軌跡，該手勢辨識單元通過比對手勢互動語意數(shù)據(jù)庫中的樣本及該手部圖像的該深度位置來判斷該運動軌跡所代表的該手勢互動語意。
10.如權(quán)利要求9所述的三維互動裝置，其中: 該手勢辨識單元將該手勢互動語意及分析該深度位置及該運動軌跡所得的至少一三維互動參數(shù)傳送至該投影單元與該取像單元，用以控制該投影單元投射對應(yīng)該手勢互動語意的第二互動圖案，并控制該取像 單元持續(xù)提取含有該手勢的該深度圖像。
11.如權(quán)利要求1所述的三維互動裝置，其中該手勢互動語意至少包括點選操作、單向拖曳操作、旋轉(zhuǎn)拖曳操作、輕推操作、放大操作以及縮小操作。
12.如權(quán)利要求1所述的三維互動裝置，其中該投影單元采用微型投影機。
13.如權(quán)利要求1所述的三維互動裝置，其中該取像單元為飛行時間攝影機、立體視覺深度攝影機、激光散斑攝影機或激光追跡攝影機的其中之一。
14.一種三維互動裝置 的操控方法，其中該三維互動裝置包括投影單元以及取像單元，該操控方法包括: 對該投影單元的投影坐標(biāo)與該取像單元的取像坐標(biāo)執(zhí)行坐標(biāo)校正程序； 通過該投影單元投射第一互動圖案至主體的表面，藉以讓使用者對該第一互動圖案以手勢進行互動觸發(fā)操作，其中該第一互動圖案被投射在投影范圍內(nèi)； 通過該取像單元提取在取像范圍內(nèi)的深度圖像，其中該取像范圍涵蓋該投影范圍；判斷該深度圖像中是否含有該使用者的手部圖像，如果是，對該手部圖像進行手部幾何辨識，以獲得手勢互動語意；以及 依據(jù)該手勢互動語意控制該投影單元及該取像單元。
15.如權(quán)利要求14所述的三維互動裝置的操控方法，其中該坐標(biāo)校正程序包括: 由該投影單元在該投影范圍的至少一邊界點與中心處分別投射邊界標(biāo)記符號與中心標(biāo)記符號，以形成校正圖案； 由該取像單元提取涵蓋該校正圖案的三原色圖像；以及 以圖像比對方法分析該三原色圖像中的該邊界標(biāo)記符號與該中心標(biāo)記符號的坐標(biāo)位置，以獲得該投影坐標(biāo)與該取像坐標(biāo)的坐標(biāo)轉(zhuǎn)換關(guān)系。
16.如權(quán)利要求14所述的三維互動裝置的操控方法，其中該邊界標(biāo)記符號為圓點圖案。
17.如權(quán)利要求14所述的三維互動裝置的操控方法，其中該中心標(biāo)記符號為手部形狀圖案。
18.如權(quán)利要求14所述的三維互動裝置的操控方法，其中判斷該深度圖像以獲得該手勢互動語意的步驟包括: 利用直方圖統(tǒng)計方法分析該深度圖像； 通過該深度圖像的深度值以及該深度圖像的凸包處與凹陷處來判斷該手部圖像；以及判斷該手部圖像中的至少一指尖的深度位置并追蹤該至少一指尖的運動軌跡，通過比對手勢互動語意數(shù)據(jù)庫中的樣本以及該手部圖像的該深度位置來判斷該運動軌跡所代表的該手勢互動語意。
19.如權(quán)利要求18所述的三維互動裝置的操控方法，其中在獲得該手勢互動語意之后,還包括: 將分析該深度位置及該運動軌跡所得的至少一三維互動參數(shù)傳送至該投影單元與該取像單元，用以控制該投影單元投射對應(yīng)該手勢互動語意的第二互動圖案，并控制該取像單元持續(xù)提取含有該手勢的該深度圖像。
20.如權(quán)利要求19所述的三維互動裝置的操控方法，還包括: 判斷該手部圖像的質(zhì)心點位置，將對應(yīng)該質(zhì)心點位置的質(zhì)心點坐標(biāo)輸出至該投影單元；以及 由該投影單元依據(jù)該質(zhì)心點坐標(biāo)對應(yīng)調(diào)整該第二互動圖案的投射位置與該第二互動圖案的尺寸。
21.如權(quán)利要求14所述的三維互動裝置的操控方法，其中該手勢互動語意至少包括點選操作、單向拖曳操作、旋轉(zhuǎn)拖曳操 作、輕推操作、放大操作以及縮小操作。
【文檔編號】G06F3/01GK103902035SQ201210586668
【公開日】2014年7月2日 申請日期:2012年12月28日 優(yōu)先權(quán)日:2012年12月24日
【發(fā)明者】林宏偉, 王浩偉, 董書屏 申請人:財團法人工業(yè)技術(shù)研究院