專(zhuān)利名稱(chēng)：使操作員能夠不操作設(shè)備而發(fā)出指令的操作識(shí)別系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種操作識(shí)別系統(tǒng)，所述操作識(shí)別系統(tǒng)識(shí)別無(wú)設(shè)備的用戶(hù)操作，并根據(jù)所述識(shí)別控制對(duì)象。
背景技術(shù)：
在醫(yī)療領(lǐng)域，圖像顯示設(shè)備被用于例如通過(guò)圖形用戶(hù)接口(GUI)支持圖像判讀，醫(yī)學(xué)檢查和向患者說(shuō)明。這種圖像顯示設(shè)備被稱(chēng)為工作站或者圖像閱讀器，并在例如日本專(zhuān)利申請(qǐng)公開(kāi)No.PH5-12352中進(jìn)行了說(shuō)明。
通常，圖像閱讀器中使用的GUI一般是鍵盤(pán)，鼠標(biāo)或者特別提供為GUI的操作面板。圖像閱讀器還包括圖像顯示單元，例如顯示監(jiān)視器或者投影器。圖像閱讀器的操作者，例如醫(yī)生操縱鍵盤(pán)，鼠標(biāo)和/或操作面板，以便選擇，改變和/或設(shè)置將在顯示監(jiān)視器中顯示，或者將由投影器顯示的醫(yī)學(xué)圖像或醫(yī)學(xué)檢查報(bào)告的顯示條件。從而在顯示監(jiān)視器中或者由投影器顯示所需的醫(yī)學(xué)信息。關(guān)于顯示的醫(yī)學(xué)信息，操作者還可調(diào)整其大小，對(duì)準(zhǔn)，圖像質(zhì)量，灰度級(jí)等等。另外，操作者可向顯示的醫(yī)學(xué)信息添加必要的信息，作為注釋信息。
醫(yī)學(xué)圖像通常由諸如數(shù)字X射線(xiàn)照相設(shè)備，X射線(xiàn)計(jì)算斷層照相設(shè)備，磁共振成像設(shè)備之類(lèi)醫(yī)學(xué)成像設(shè)備獲得。獲得的圖像被保存在圖像服務(wù)器中。醫(yī)學(xué)檢查報(bào)告通常由報(bào)告系統(tǒng)中的報(bào)告客戶(hù)機(jī)或由醫(yī)學(xué)成像設(shè)備準(zhǔn)備。準(zhǔn)備好的報(bào)告被保存在報(bào)告系統(tǒng)中的報(bào)告服務(wù)器中。利用鍵盤(pán)、鼠標(biāo)和/或操作面板，根據(jù)操作者的操作，可從圖像服務(wù)器和報(bào)告服務(wù)器分別把保存的圖像和報(bào)告取回到圖像閱讀器。圖像閱讀器還被用于在用于準(zhǔn)備醫(yī)學(xué)檢查報(bào)告的圖像判讀中顯示獲得的圖像。操作者觀察在圖像閱讀器中顯示的圖像，并在報(bào)告客戶(hù)機(jī)中準(zhǔn)備醫(yī)學(xué)檢查報(bào)告。
在圖像判讀或圖像參考中，操作者需要操縱鍵盤(pán)、鼠標(biāo)和/或操作面板，以便顯示所需的圖像或所需的報(bào)告。特別地，當(dāng)舉行會(huì)議時(shí)，存在查閱圖像或報(bào)告的大量操作者。在會(huì)議過(guò)程中，操作者需要相互交接鍵盤(pán)、鼠標(biāo)和/或操作面板。對(duì)于操作者來(lái)說(shuō)，這種交接不方便，并且限制了他們的操作。此外，在外科或手術(shù)治療的情況下，從衛(wèi)生的觀點(diǎn)來(lái)看，在外科或手術(shù)治療的過(guò)程中，不允許醫(yī)生觸摸和操縱鍵盤(pán)等。例如，日本專(zhuān)利申請(qǐng)公開(kāi)No.P2000-222098描述了一種手指示設(shè)備，該設(shè)備識(shí)別操作者的手形，并在無(wú)鍵盤(pán)和鼠標(biāo)的輸入操作的情況下，響應(yīng)所述識(shí)別進(jìn)行操作。
但是，這種手指示設(shè)備不能使操作者完成通常在常規(guī)圖像閱讀器中實(shí)現(xiàn)的下述操作。這些操作包括通過(guò)鼠標(biāo)操作的拖動(dòng)操作和雙擊操作，以及屏幕中的繪圖操作。繪圖操作包括在屏幕中繪制所需的線(xiàn)條，數(shù)字和字符。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供一種操作識(shí)別系統(tǒng)。該系統(tǒng)包括要操縱的對(duì)象，至少一個(gè)照相機(jī)，一個(gè)處理器和一個(gè)控制器。所述至少一個(gè)照相機(jī)被配置成獲得操作者的圖像數(shù)據(jù)。在預(yù)定的時(shí)段中至少獲得預(yù)定數(shù)目的圖像數(shù)據(jù)。處理器被配置成處理獲得的圖像數(shù)據(jù)，以便識(shí)別操作者。處理器還被配置成定義介于對(duì)象和操作者之間的虛擬平面，以及根據(jù)所述識(shí)別，確定操作者的預(yù)定部位是否穿透虛擬平面?？刂破鞅慌渲贸筛鶕?jù)所述確定，控制對(duì)象。
根據(jù)本發(fā)明的第二方面，提供一種顯示圖像的圖像顯示設(shè)備。該設(shè)備包括顯示器、位置檢測(cè)器、虛擬平面定義部件，確定部件和顯示控制部件。顯示器被配置成在屏幕中顯示圖像。位置檢測(cè)器被配置成檢測(cè)操作者的位置和操作者手的位置。虛擬平面定義部件被配置成根據(jù)操作者的位置，定義介于屏幕和操作者之間的虛擬平面。確定部件被配置成根據(jù)操作者手的位置和虛擬平面的位置，確定虛擬平面和操作者手之間的虛擬接觸。顯示控制部件被配置成根據(jù)確定部件的確定，控制圖像的顯示。
根據(jù)本發(fā)明的第三方面，提供一種顯示圖像的圖像顯示設(shè)備。該設(shè)備包括顯示器、成像部件、位置檢測(cè)器、虛擬平面定義部件，確定部件和顯示控制部件。顯示器被配置成在屏幕中顯示圖像。成像部件設(shè)置在屏幕的兩側(cè)，并被配置成從不同方向獲得操作者的圖像數(shù)據(jù)。位置檢測(cè)器被配置成根據(jù)獲得的圖像數(shù)據(jù)，檢測(cè)操作者相對(duì)于屏幕的位置，以及操作者手的位置。虛擬平面定義部件被配置成根據(jù)操作者的位置，定義介于屏幕和操作者之間的虛擬平面。確定部件被配置成根據(jù)操作者手的位置和虛擬平面的位置，確定虛擬平面和操作者手之間的虛擬接觸方式。顯示控制部件被配置成根據(jù)確定部件的確定結(jié)果，確定對(duì)應(yīng)于接觸方式的操作項(xiàng)。顯示控制部件還被配置成根據(jù)操作項(xiàng)，控制圖像的顯示。
根據(jù)本發(fā)明的第四方面，提供一種控制對(duì)象的方法。通過(guò)獲得操作者的圖像數(shù)據(jù)開(kāi)始該方法。在預(yù)定時(shí)段中至少獲得預(yù)定數(shù)目的圖像數(shù)據(jù)通過(guò)處理獲得的圖像數(shù)據(jù)以便識(shí)別操作者，并定義介于對(duì)象和操作者之間的虛擬平面，繼續(xù)該方法。還通過(guò)根據(jù)所述識(shí)別，確定操作者的預(yù)定部位是否穿透虛擬平面，繼續(xù)該方法。此外通過(guò)根據(jù)確定結(jié)果控制對(duì)象，繼續(xù)該方法。


結(jié)合附圖，參考下面的詳細(xì)說(shuō)明，易于更全面地理解本發(fā)明的實(shí)施例及其許多附隨優(yōu)點(diǎn)，其中圖1是表示根據(jù)本發(fā)明第一實(shí)施例的例證醫(yī)學(xué)圖像顯示系統(tǒng)的方框圖；圖2表示根據(jù)本發(fā)明第一實(shí)施例的圖像閱讀器的例證結(jié)構(gòu)；圖3是表示根據(jù)本發(fā)明第一實(shí)施例的控制器的例證結(jié)構(gòu)的方框圖；圖4說(shuō)明根據(jù)本發(fā)明第一實(shí)施例的虛擬平面的定義的例子；圖5說(shuō)明根據(jù)本發(fā)明第一實(shí)施例的虛擬鍵盤(pán)的例子；圖6表示根據(jù)本發(fā)明第一實(shí)施例的模式選擇的例子；圖7表示根據(jù)本發(fā)明第一實(shí)施例的矩陣變換的例子；
圖8表示根據(jù)本發(fā)明第一實(shí)施例的徒手繪圖的例子；圖9是表示根據(jù)本發(fā)明第一實(shí)施例的圖像閱讀器中的例證操作流程的流程圖；圖10是表示根據(jù)本發(fā)明第一實(shí)施例，圖9中所示流程的例證連續(xù)流程的流程圖；圖11是表示根據(jù)本發(fā)明第一實(shí)施例，圖9中所示流程圖的修改例子的流程圖；圖12表示根據(jù)本發(fā)明第一實(shí)施例的虛擬平面位置改變窗口的例子；圖13表示根據(jù)本發(fā)明第一實(shí)施例的穿透試驗(yàn)窗口的第一例子；圖14表示根據(jù)本發(fā)明第一實(shí)施例的穿透試驗(yàn)窗口的第二例子；圖15表示根據(jù)本發(fā)明第二實(shí)施例，通過(guò)虛擬平面改變X射線(xiàn)透視檢查位置的例子；圖16表示根據(jù)本發(fā)明第三實(shí)施例，通過(guò)虛擬平面的轉(zhuǎn)換例子；圖17表示根據(jù)本發(fā)明第四實(shí)施例，通過(guò)虛擬平面的開(kāi)窗和關(guān)窗例子。
具體實(shí)施例方式
下面參考附圖，說(shuō)明本發(fā)明的實(shí)施例。
(第一實(shí)施例)(醫(yī)學(xué)圖像顯示系統(tǒng))圖1是表示根據(jù)本發(fā)明第一實(shí)施例的例證醫(yī)學(xué)圖像顯示系統(tǒng)的方框圖。如圖1中所示，醫(yī)學(xué)圖像顯示系統(tǒng)包括圖像閱讀器1，X射線(xiàn)計(jì)算斷層照相設(shè)備2，磁共振成像設(shè)備3，數(shù)字X射線(xiàn)照相設(shè)備4和圖像服務(wù)器5。
圖像閱讀器1包括顯示圖像的顯示器和輸入信息或指令的輸入單元。顯示器還被用于顯示基于醫(yī)學(xué)圖像判讀的醫(yī)學(xué)檢查報(bào)告。輸入單元包括鍵盤(pán)、鼠標(biāo)和/或操作面板。X射線(xiàn)計(jì)算斷層照相設(shè)備2，磁共振成像設(shè)備3和數(shù)字X射線(xiàn)照相設(shè)備4分別獲得醫(yī)學(xué)圖像。數(shù)字X射線(xiàn)照相設(shè)備4結(jié)合X射線(xiàn)透視(圖1中未示出)使用，并數(shù)字處理X射線(xiàn)圖像。獲得的醫(yī)學(xué)圖像保存在圖像服務(wù)器5中。圖像服務(wù)器5還保存醫(yī)學(xué)檢查報(bào)告。圖1中所示的組件通過(guò)諸如局域網(wǎng)(LAN)6之類(lèi)的網(wǎng)絡(luò)相互連接和通信。醫(yī)學(xué)圖像顯示系統(tǒng)還包括一個(gè)或多個(gè)備選的醫(yī)學(xué)成像設(shè)備，例如X射線(xiàn)診斷設(shè)備、超聲波診斷設(shè)備、內(nèi)診鏡和核醫(yī)學(xué)診斷設(shè)備。此外，醫(yī)學(xué)圖像顯示系統(tǒng)可包括報(bào)告系統(tǒng)。所述報(bào)告系統(tǒng)包括報(bào)告服務(wù)器和報(bào)告客戶(hù)機(jī)。報(bào)告服務(wù)器可被用于保存醫(yī)學(xué)檢查報(bào)告，從而不需要圖像服務(wù)器5保存醫(yī)學(xué)檢查報(bào)告。類(lèi)似地，報(bào)告客戶(hù)機(jī)可被用于準(zhǔn)備醫(yī)學(xué)檢查報(bào)告。報(bào)告客戶(hù)機(jī)還被用于顯示準(zhǔn)備好的醫(yī)學(xué)檢查報(bào)告。
當(dāng)在X射線(xiàn)計(jì)算斷層照相設(shè)備2、磁共振成像設(shè)備3和/或數(shù)字X射線(xiàn)照相設(shè)備4中獲得了醫(yī)學(xué)圖像數(shù)據(jù)時(shí)，獲得的醫(yī)學(xué)圖像數(shù)據(jù)通常被傳送給并保存在圖像服務(wù)器5中。諸如醫(yī)生之類(lèi)操作者操縱圖像閱讀器1中的輸入單元，以便取回保存在圖像服務(wù)器5中的所需醫(yī)學(xué)圖像數(shù)據(jù)。在圖像閱讀器1中顯示取回的醫(yī)學(xué)圖像數(shù)據(jù)。醫(yī)生觀察并判讀顯示的圖像，從而關(guān)于判讀的圖像準(zhǔn)備醫(yī)學(xué)檢查報(bào)告。準(zhǔn)備好的醫(yī)學(xué)檢查報(bào)告保存在圖像服務(wù)器5中。一旦醫(yī)學(xué)檢查報(bào)告被保存在圖像服務(wù)器5中，則可取回并在圖像閱讀器1中顯示醫(yī)學(xué)檢查報(bào)告。根據(jù)本發(fā)明的第一實(shí)施例，圖像閱讀器1包括作為第二操作面板的虛擬操作面板。虛擬操作面板包括分別限定于虛擬空間中的預(yù)定位置的虛擬平面和虛擬鍵盤(pán)。下面將更詳細(xì)地說(shuō)明虛擬操作面板。
(醫(yī)學(xué)圖像顯示)下面說(shuō)明圖像閱讀器1。根據(jù)第一實(shí)施例，圖像閱讀器1的說(shuō)明也適用于報(bào)告客戶(hù)機(jī)，雖然下面不對(duì)報(bào)告客戶(hù)機(jī)進(jìn)行說(shuō)明。圖2表示根據(jù)本發(fā)明第一實(shí)施例的圖像閱讀器1的例證結(jié)構(gòu)。
除了上述組件之外，圖像閱讀器1還包括投影器10、屏幕11、攝像機(jī)12a和12b、以及控制器13。投影器10把顯示窗口投影到屏幕11上。顯示窗口是通常是上述顯示器中顯示的內(nèi)容。于是，操作者P可在屏幕11中觀察圖像。攝像機(jī)12a和12b設(shè)置在屏幕11的兩側(cè)。攝像機(jī)12a和12b被用于檢測(cè)操作者P的雙手，雙眼以及其它任意必需身份部位的位置。操作者P雙眼之一被確定為操作者P的視點(diǎn)。當(dāng)操作者P只睜開(kāi)一只眼睛時(shí)，睜開(kāi)的眼睛可以是所述視點(diǎn)。否則，事先把操作者P雙眼之一確定為視點(diǎn)。對(duì)于每個(gè)操作者P，可預(yù)先確定所述一只眼睛(左眼或右眼)。控制器13實(shí)現(xiàn)關(guān)于攝像機(jī)12a和12b獲得的圖像數(shù)據(jù)的圖像處理，并根據(jù)圖像數(shù)據(jù)計(jì)算視點(diǎn)和屏幕11之間的距離?？刂破?3還根據(jù)計(jì)算的距離、視點(diǎn)和屏幕11的預(yù)定尺寸，定義在從視點(diǎn)到屏幕11各角的延伸范圍內(nèi)的虛擬平面G(例如參見(jiàn)圖4)。由于操作者P的動(dòng)作由攝像機(jī)12a和12b成像，因此控制器13根據(jù)圖像處理，確定操作者P是否使其指尖穿透虛擬平面G。響應(yīng)所述穿透，控制器13根據(jù)虛擬平面G中的穿透部分，控制圖像閱讀器1。在屏幕11的顯示畫(huà)面中反映圖像閱讀器1的控制。代替投影器10和屏幕11，圖像閱讀器11可包括陰極射線(xiàn)管(CRT)監(jiān)視器、液晶顯示器(LCD)或者任意其它可從市場(chǎng)購(gòu)得的顯示器。投影器10、攝像機(jī)12a和12b、以及控制器13由電纜、紅外數(shù)據(jù)通信等連接。
(控制器)圖3是表示根據(jù)本發(fā)明第一實(shí)施例的控制器13的例證結(jié)構(gòu)的方框圖。如圖3中所示，控制器13包括識(shí)別單元13a、第一處理單元13b、第一存儲(chǔ)單元13c、通信單元13d、用戶(hù)接口13e、第二處理單元13f、信息采集單元13g、第三處理單元13h和第二存儲(chǔ)單元13i。
識(shí)別單元13a識(shí)別操作者P的位置、形狀和/或聲音。例如，識(shí)別單元13a檢測(cè)操作者P的位置，例如眼睛的位置或頭部的位置，以及操作者P的雙手(特別地，操作者P的手尖)的三維位置。第一處理單元13b處理虛擬平面G和虛擬鍵盤(pán)。例如，第一處理單元13b確定操作者P和屏幕11之間的虛擬平面G。第一處理單元13b還以虛擬平面G中的三維位置定義虛擬鍵盤(pán)。第一存儲(chǔ)單元13c保存關(guān)于操作者P的個(gè)體信息。通信單元13d通過(guò)LAN6，從圖像服務(wù)器5取回圖像數(shù)據(jù)和/或醫(yī)學(xué)檢查報(bào)告。通信單元13d還可與投影器10連接。用戶(hù)接口13e包括圖形用戶(hù)接口(GUI)，并被用于通過(guò)虛擬平面G和/或虛擬鍵盤(pán)的輸入操作。第二處理單元13f把操作者P手的三維位置信息轉(zhuǎn)換成二維坐標(biāo)信息。第二處理單元13f還根據(jù)虛擬平面G和/或虛擬鍵盤(pán)的位置，以及手的三維位置信息，確定單擊操作。信息采集單元13g獲得在屏幕11中顯示的圖像的大小，即屏幕大小信息。第三處理單元13h處理通過(guò)用戶(hù)接口13e產(chǎn)生的操作，以便根據(jù)所述操作，實(shí)現(xiàn)由圖像處理產(chǎn)生的圖像顯示。第三處理單元13h與投影器10連接。第二存儲(chǔ)單元13i保存將在屏幕11中顯示的圖像數(shù)據(jù)和醫(yī)學(xué)檢查報(bào)告的信息。
在控制器13的上述結(jié)構(gòu)中，當(dāng)操作者P進(jìn)入預(yù)定有效區(qū)域時(shí)，攝像機(jī)12a和12b獲得操作者P手指的圖像數(shù)據(jù)。預(yù)定的有效區(qū)域可以是與攝像機(jī)12a和12b的視場(chǎng)對(duì)應(yīng)的區(qū)域。識(shí)別單元13a根據(jù)獲得的圖像數(shù)據(jù)，獲得操作者P的眼睛和/或手的三維位置信息。獲得的三維位置信息被傳送給第一處理單元13b和第二處理單元13f。由于攝像機(jī)12a和12b設(shè)置在與屏幕11呈預(yù)定關(guān)系的位置，因此眼睛和手的三維位置信息代表與屏幕11的相對(duì)位置關(guān)系。
當(dāng)圖像閱讀器1要求操作者P操縱圖像閱讀器1的權(quán)限時(shí)，操作者P必須在預(yù)定有效區(qū)域展示他或她的手。另外必須事先把每個(gè)許可的操作者P的手形保存在第一存儲(chǔ)單元13c中。識(shí)別單元13a識(shí)別希望操縱圖像閱讀器1的操作者P的手形。如果識(shí)別的手形和保存的手形之一相同，則批準(zhǔn)該操作者P操縱圖像閱讀器1。從而，該操作者P的后續(xù)操作有效。另一方面，這種權(quán)限確定也可由識(shí)別單元13a中的聲音識(shí)別完成，或者可和識(shí)別單元13a中的聲音識(shí)別相結(jié)合。
當(dāng)多個(gè)操作者P出現(xiàn)于預(yù)定有效區(qū)域中時(shí)，控制器13只允許一個(gè)操作者P操縱圖像閱讀器1。換句話(huà)說(shuō)，只有一個(gè)操作者P的操作被認(rèn)為是有效操作。為了確定唯一的一個(gè)操作者P，圖像閱讀器1要求操作者P展示他或她的手。識(shí)別單元13a根據(jù)獲得的圖像數(shù)據(jù)識(shí)別手形。例如，操作者確定可能需要特定的手形。代替手形，操作者P可把他或她的手放在其臉部之前。根據(jù)獲得的圖像數(shù)據(jù)，識(shí)別單元13a能夠識(shí)別這樣的動(dòng)作。另一方面，操作者確定可以是聲音識(shí)別或者與聲音識(shí)別相結(jié)合。例如，允許發(fā)出預(yù)定單詞的一個(gè)操作者P操縱圖像閱讀器1。識(shí)別單元13a根據(jù)收集的由操作者P的發(fā)音產(chǎn)生的語(yǔ)音數(shù)據(jù)，識(shí)別預(yù)定的單詞。預(yù)定的單詞和/或手的特定形狀被事先保存在識(shí)別單元13a或者第一存儲(chǔ)單元13c中。
一旦允許操作者P操縱圖像閱讀器1，則識(shí)別單元13a根據(jù)獲得的圖像數(shù)據(jù)，獲得操作者P的眼睛和手的三維位置信息。獲得的三維位置信息被傳送給第一處理單元13b和第二處理單元13f。
識(shí)別單元13a還設(shè)置視點(diǎn)。當(dāng)操作者P只睜開(kāi)一只眼睛時(shí)，視點(diǎn)可被設(shè)置成睜開(kāi)的眼睛。當(dāng)操作者P睜開(kāi)雙眼時(shí)，操作者P的優(yōu)勢(shì)眼睛(dominant eye)可被設(shè)置成視點(diǎn)。操作者P可從輸入單元輸入優(yōu)勢(shì)眼睛的信息。指示優(yōu)勢(shì)眼睛的另一方式可以是通過(guò)獲得的圖像數(shù)據(jù)，識(shí)別操作者P舉起和優(yōu)勢(shì)眼睛同側(cè)的一只手。另外，當(dāng)每個(gè)許可的操作者P的手形被保存在第一存儲(chǔ)單元13c中時(shí)，可對(duì)應(yīng)于每個(gè)許可的操作者P的手形保存優(yōu)勢(shì)眼睛?？捎帽砀竦男问綄?shí)現(xiàn)保存。作為輔助信息，所述保存還可包括操作權(quán)限，即每個(gè)操作者P能夠執(zhí)行的許可操作。
識(shí)別單元13a進(jìn)行計(jì)算，以便獲得例如視點(diǎn)的高度，視點(diǎn)和屏幕11之間的距離，識(shí)別的手和屏幕11之間的距離。
第一處理單元13b根據(jù)操作者P眼睛的三維位置信息，確定位于從視點(diǎn)到屏幕11的延伸范圍內(nèi)預(yù)定位置的虛擬平面G。虛擬平面G的三維位置信息被傳送給第二處理單元13f。
對(duì)于虛擬平面G的確定來(lái)說(shuō)，第一處理單元13b確定到操作者P的視點(diǎn)R的距離L為操作者P手臂半長(zhǎng)的位置，如圖4中所示。虛擬平面G被確定在到視點(diǎn)R的距離為L(zhǎng)的位置。最好平行于屏幕11確定虛擬平面G。為了獲得操作者P的臂長(zhǎng)，例如在操作者的肩、肘及手放置預(yù)定的標(biāo)記。攝像機(jī)12a和12b獲得帶有標(biāo)記的操作者P的圖像數(shù)據(jù)。識(shí)別單元13a對(duì)獲得的圖像數(shù)據(jù)進(jìn)行圖像處理，識(shí)別標(biāo)記的位置。借助所述識(shí)別，抽取標(biāo)記的位置。第一處理單元13b根據(jù)抽取的位置，計(jì)算肩部的標(biāo)記和肘部的標(biāo)記之間的第一距離。類(lèi)似地，第一處理單元13b根據(jù)抽取的位置，計(jì)算肘部的標(biāo)記和手部的標(biāo)記之間的第二距離。最后，第一處理單元13b計(jì)算第一距離和第二距離之和，從而獲得操作者P的臂長(zhǎng)。
虛擬平面P的每個(gè)角落最好位于從視點(diǎn)R到投影在屏幕11上的顯示窗口40的對(duì)應(yīng)角落的延伸線(xiàn)上。從而，虛擬平面G中的每個(gè)點(diǎn)對(duì)應(yīng)于顯示窗口40中的相似點(diǎn)。距離L可變，并可根據(jù)操作者P的偏愛(ài)而改變。操作者P可把初始距離預(yù)置為距離L。距離L也可以是固定的，或者最初由系統(tǒng)預(yù)先確定。另外，虛擬平面G的大小并不局限于上述情況下位于從視點(diǎn)R到屏幕11的延伸范圍中。此外，不必平行于屏幕11確定虛擬平面G。
第一處理單元13b還確定位于虛擬平面G中預(yù)定位置的虛擬鍵盤(pán)。虛擬鍵盤(pán)的三維位置信息通過(guò)第二處理單元13f被傳送給用戶(hù)接口13e。在虛擬平面G內(nèi)，確定的虛擬鍵盤(pán)的預(yù)定位置可變。如圖5中所示，當(dāng)在虛擬平面G中確定虛擬鍵盤(pán)H1時(shí)，用戶(hù)接口13e工作，從而以圖形圖像的形式在屏幕11中顯示屏幕鍵盤(pán)J。屏幕鍵盤(pán)J對(duì)應(yīng)于虛擬鍵盤(pán)H1。于是，在屏幕鍵盤(pán)J上反映操作者P在虛擬鍵盤(pán)H1上的操作，使得操作者P能夠了解操作者P正在按下哪個(gè)按鍵。例如，用顏色區(qū)分屏幕鍵盤(pán)J中，與在虛擬鍵盤(pán)H1上按下的按鍵對(duì)應(yīng)的按鍵和其它按鍵。在難以操縱這種虛擬鍵盤(pán)H1的情況下，作為一種備選方案，可確定簡(jiǎn)化的虛擬鍵盤(pán)。例如，簡(jiǎn)化的虛擬鍵盤(pán)可包括尺寸更大的較少按鍵，從而操作者P易于按下所需的按鍵。
在操作者P正在屏幕11中確認(rèn)按下的按鍵的時(shí)候，當(dāng)操作者發(fā)覺(jué)難以操縱在其視界內(nèi)的虛擬鍵盤(pán)H1時(shí)，可以在另一虛擬平面G2中確定一個(gè)備選虛擬鍵盤(pán)H2。例如平行于操作者P站立的地面確定虛擬平面G2。但是，這種情況下，需要位于地面上的另一攝像機(jī)，以便獲得圖像數(shù)據(jù)，確定另一虛擬平面G2，實(shí)現(xiàn)關(guān)于虛擬鍵盤(pán)H2上的操作的圖像處理。即使當(dāng)確定另一虛擬平面G2時(shí)，仍按照和虛擬鍵盤(pán)H2對(duì)應(yīng)的方式，在屏幕11中顯示屏幕鍵盤(pán)J。于是，操作者P可在屏幕11中確認(rèn)操作者P正在按下哪個(gè)按鍵。
信息采集單元13g獲得關(guān)于投影到屏幕11上的顯示窗口的大小的信息。根據(jù)屏幕11和投影器10之間的距離，以及在投影器10中設(shè)置的圖像放大比，確定顯示窗口的大小。例如，屏幕11和投影器10之間距離的信息被預(yù)先保存在信息采集單元13g中。另外，通過(guò)通信單元13d，可從投影器10獲得圖像放大比的信息。
第二處理單元13f從信息采集單元13g接收關(guān)于顯示窗口大小的信息。第二處理單元13f還從識(shí)別單元13a接收操作者P的眼睛和手的三維位置信息。根據(jù)接收的信息，第二處理單元13f計(jì)算投影到屏幕11上的顯示窗口中的對(duì)應(yīng)二維坐標(biāo)信息。計(jì)算得到的信息被傳送給用戶(hù)接口13e。此外，第二處理單元13f根據(jù)諸如操作者P指尖的位置之類(lèi)的三維位置信息，和虛擬平面G的位置，確定是否產(chǎn)生了單擊(雙擊)操作。確定結(jié)果被傳送給第三處理單元13h。單擊操作后面說(shuō)明。
用戶(hù)接口13e進(jìn)行處理，以便顯示輸入操作的圖形圖像。圖形圖像包括圖標(biāo)、屏幕鍵盤(pán)和光標(biāo)。用戶(hù)接口13e還實(shí)現(xiàn)關(guān)于輸入操作的處理。更具體地說(shuō)，用戶(hù)接口13e根據(jù)來(lái)自第二處理單元13f的二維坐標(biāo)信息，處理光標(biāo)移動(dòng)。當(dāng)在虛擬平面G中某一圖標(biāo)的位置產(chǎn)生單擊操作時(shí)，用戶(hù)接口13e指令第三處理單元13H實(shí)現(xiàn)由該圖標(biāo)定義或者與該圖標(biāo)相關(guān)的處理或操作。另外當(dāng)在虛擬鍵盤(pán)的某一按鍵上，發(fā)生單擊操作時(shí)，用戶(hù)接口13e確定操作者P輸入了和擊打的按鍵對(duì)應(yīng)的數(shù)字或字符。數(shù)字或字符信息被傳送給第三處理單元13h。
第三處理單元13h執(zhí)行和用戶(hù)接口13e指令的處理或操作對(duì)應(yīng)的軟件程序，以便實(shí)現(xiàn)所述處理或操作。如果所述處理或操作需要，則第三處理單元13h可從用戶(hù)接口13e獲得其它信息，例如坐標(biāo)信息和單擊確定結(jié)果。由于第二處理單元13f、用戶(hù)接口13e和第三處理單元13h中的處理的結(jié)果，和單擊操作對(duì)應(yīng)的處理或操作結(jié)果被投影器10投影到屏幕11上，并顯示在屏幕11中。將在處理或操作中獲得的圖像數(shù)據(jù)等事先被保存在第二存儲(chǔ)單元13i中。當(dāng)?shù)诙鎯?chǔ)單元13i中未保存這種數(shù)據(jù)時(shí)，可通過(guò)通信單元13d從圖像服務(wù)器5預(yù)先取回這種數(shù)據(jù)，并將其保存在第二存儲(chǔ)單元13i中。
(第二處理單元)下面詳細(xì)說(shuō)明第二處理單元13f中的處理。這種處理包括在虛擬平面G中產(chǎn)生的光標(biāo)移動(dòng)，單擊操作，雙擊操作，和拖動(dòng)操作。所述處理還包括虛擬鍵盤(pán)中的輸入操作。
在圖像閱讀器1中，準(zhǔn)備各種操作模式，以便幫助諸如醫(yī)生之類(lèi)操作者判讀醫(yī)學(xué)圖像。例如，可準(zhǔn)備矩陣變換模式，以便改變圖像顯示的矩陣。當(dāng)設(shè)置2×2矩陣時(shí)，每次顯示四個(gè)圖像。如果操作者P提出每次觀察16個(gè)圖像，則根據(jù)矩陣變化模式，2×2矩陣被改變成4×4矩陣。還可準(zhǔn)備距離測(cè)量模式，以便測(cè)量在投影到屏幕11上的顯示窗口中顯示的圖像中所需兩點(diǎn)之間的距離。還可準(zhǔn)備徒手畫(huà)模式，以便在投影到屏幕11上的顯示窗口中顯示的圖像中徒手繪制所需的線(xiàn)條。另外可準(zhǔn)備灰度級(jí)改變模式，以便改變?cè)谕队暗狡聊?1上的顯示窗口中顯示的圖像的灰度級(jí)。此外，可準(zhǔn)備文本輸入模式，以便輸入并在投影到屏幕11上的顯示窗口中顯示的圖像中，以注釋的形式顯示數(shù)字、字符和符號(hào)。根據(jù)需要，可準(zhǔn)備任意其它必需的操作模式。
如上所述，第二處理單元13f根據(jù)在識(shí)別單元13a中獲得的操作者P的眼睛和手的三維位置信息，計(jì)算投影到屏幕11上的顯示窗口中的二維坐標(biāo)信息。在該計(jì)算中，獲得位于從操作者P的眼睛的位置(視點(diǎn))到操作者P指尖的位置的延伸線(xiàn)與投影到屏幕11上的顯示窗口相交的交點(diǎn)的坐標(biāo)。從而，獲得的坐標(biāo)對(duì)應(yīng)于操作者查看他或她的指尖相對(duì)于顯示窗口指向的一點(diǎn)。
這里，參數(shù)S被定義為當(dāng)操作者P的指尖穿透虛擬平面G時(shí)的時(shí)段(秒)。此外，參數(shù)X被定義為操作者P的指尖穿透虛擬平面G的距離(毫米)。第二處理單元13f包括計(jì)時(shí)器和處理部分(圖3中都未示出)。計(jì)時(shí)器用于測(cè)量時(shí)段S。處理部分用于檢測(cè)或確定距離X。第二處理單元13f將根據(jù)時(shí)段S和距離X進(jìn)行下述確定。
(單擊操作)相對(duì)于虛擬平面G的單擊操作本質(zhì)上由關(guān)于攝像機(jī)12a和12b獲得的圖像數(shù)據(jù)的圖像處理識(shí)別。由于兩個(gè)攝像機(jī)12a和12b被用于獲取圖像數(shù)據(jù)，因此能夠?qū)崿F(xiàn)三維圖像處理。由于這種圖像處理的結(jié)果，可識(shí)別指尖的動(dòng)作。攝像機(jī)的數(shù)目可大于2。
當(dāng)只使用一個(gè)攝像機(jī)獲取圖像數(shù)據(jù)時(shí)，依據(jù)單擊操作前后指尖的大小差異，識(shí)別單擊操作。另一方面，也可用照相機(jī)領(lǐng)域眾所周知的自動(dòng)調(diào)焦功能，實(shí)現(xiàn)所述識(shí)別。實(shí)現(xiàn)識(shí)別的另一種方式是使用同樣可從市場(chǎng)購(gòu)得的距離測(cè)量傳感器。
單擊操作的這種識(shí)別的思想還適用于雙擊操作和拖動(dòng)操作。
當(dāng)距離X大于預(yù)定距離，時(shí)段S在預(yù)定時(shí)段之內(nèi)時(shí)，第二處理單元13f確定操作者P進(jìn)行了單擊操作。例如，可如下設(shè)置確定條件(或閾值)。預(yù)定的距離為10毫米。預(yù)定的時(shí)段為0.5秒。在這些條件下，當(dāng)操作者P的指尖穿透虛擬平面G的距離X等于15毫米，持續(xù)時(shí)間S＝0.3秒時(shí)，操作者P的這種操作被確定為單擊操作。如果預(yù)定距離被設(shè)置成很短的距離，則即使指尖的輕微動(dòng)作也可能被識(shí)別成單擊操作。于是，如果操作者P不希望靈敏的反應(yīng)，則最好把預(yù)定距離設(shè)置成合理的距離。
單擊操作被用于選擇上述操作模式之一。圖6表示了根據(jù)本發(fā)明第一實(shí)施例的模式選擇的一個(gè)例子。如圖6中所示，操作者P將其手指放置在虛擬平面G中的區(qū)域6A，并用手指的指尖指向區(qū)域6A。這種指示動(dòng)作導(dǎo)致穿透虛擬平面G，并被解釋成單擊操作，只要上述條件被滿(mǎn)足。響應(yīng)這種單擊操作，選擇距離測(cè)量模式。在顯示窗口中，區(qū)別距離測(cè)量模式圖標(biāo)和其它圖標(biāo)。虛擬平面G中的區(qū)域6A位于和顯示窗口中該圖標(biāo)對(duì)應(yīng)的位置。換句話(huà)說(shuō)，操作者P注視該圖標(biāo)，并相對(duì)于該圖標(biāo)移動(dòng)其指尖。這種動(dòng)作導(dǎo)致虛擬平面G中的單擊操作。
(雙擊操作)雙擊操作被用于改變顯示多個(gè)圖像的矩陣大小。當(dāng)以預(yù)定時(shí)間間隔內(nèi)的間隔T重復(fù)單擊操作時(shí)，第二處理單元13f確定操作者P進(jìn)行了雙擊操作。例如，可如下設(shè)置確定條件(或閾值)。預(yù)定距離為10毫米。預(yù)定時(shí)段為0.3秒。此外，預(yù)定時(shí)間間隔為0.5秒。在這些條件下，當(dāng)操作者P的指尖穿透虛擬平面G的距離X等于15毫米，持續(xù)時(shí)間S＝0.3秒，并且以0.4秒的間隔重復(fù)相似動(dòng)作時(shí)，操作者P的這種動(dòng)作被確定為雙擊操作。
圖7表示了根據(jù)本發(fā)明第一實(shí)施例的矩陣變換的例子。如圖7中所示，操作者P按照和選擇距離測(cè)量模式相似的方式選擇矩陣變換模式。響應(yīng)矩陣變換模式的選擇，在顯示窗口中顯示改變矩陣大小的圖標(biāo)。類(lèi)似于單擊操作，操作者P把其指尖置于和矩陣變換圖標(biāo)A對(duì)應(yīng)的區(qū)域，并兩次指向虛擬平面G。只要上述條件被滿(mǎn)足，則這種指示動(dòng)作就被解釋成雙擊操作。響應(yīng)這種雙擊操作，改變矩陣大小。圖7中，矩陣大小從1×1改變?yōu)?×2。
另一方面，可按照下述方式確定上述雙擊操作。當(dāng)在第二預(yù)定時(shí)段內(nèi)重復(fù)單擊操作時(shí)，第二處理單元13f可確定操作者P進(jìn)行了雙擊操作。例如，可如下設(shè)置確定條件(或閾值)。預(yù)定距離為10毫米。預(yù)定時(shí)段為0.3秒。此外，第二預(yù)定時(shí)段為1.0秒。
在本發(fā)明的第一實(shí)施例中，能夠在顯示窗口中顯示光標(biāo)C，并根據(jù)操作者P的指尖動(dòng)作移動(dòng)光標(biāo)C。由于通過(guò)處理攝像機(jī)12a和12b獲得的圖像數(shù)據(jù)，控制器13能夠跟蹤操作者P的動(dòng)作，因此無(wú)穿透情況下，來(lái)自操作者P的虛擬平面G的視場(chǎng)內(nèi)的指尖動(dòng)作在顯示窗口中反映成光標(biāo)移動(dòng)。
(拖動(dòng)操作)拖動(dòng)操作用于按照徒手畫(huà)模式繪制所需的線(xiàn)條。當(dāng)下述條件被滿(mǎn)足時(shí)，第二處理單元13f確定操作者P進(jìn)行了拖動(dòng)操作。距離X大于預(yù)定距離。初始穿透點(diǎn)的時(shí)段S大于預(yù)定時(shí)段。此外，保持穿透時(shí)的第三時(shí)段大于第三預(yù)定時(shí)段。即，在虛擬平面G中持續(xù)大于第三預(yù)定時(shí)段的時(shí)間移動(dòng)指尖。例如，可如下設(shè)置確定條件(或閾值)。預(yù)定距離為10毫米。預(yù)定時(shí)段為0.5秒。此外，第三預(yù)定時(shí)段為1.0秒。在這些條件下，當(dāng)操作者P的指尖穿透虛擬平面的距離X為15毫米，時(shí)段S為1.0秒，并開(kāi)始持續(xù)2.0秒在虛擬平面內(nèi)移動(dòng)指尖時(shí)，操作者P的這種動(dòng)作被確定為拖動(dòng)操作。
圖8表示了根據(jù)本發(fā)明第一實(shí)施例的徒手畫(huà)的例子。如圖8中所示，操作者P按照和選擇距離測(cè)量模式相似的方式，選擇徒手畫(huà)模式。操作者P將其指尖置于虛擬平面G中的所需初始位置(圖8中的(a))，并移動(dòng)指尖，以便穿透虛擬平面G，從而開(kāi)始繪制(圖8中的(b))。在穿透之后，在指尖保持穿透的情況下，操作者P移動(dòng)指尖以繪制所需的線(xiàn)條(圖8中的(c))。只要上述條件被滿(mǎn)足，則這種動(dòng)作可被解釋成拖動(dòng)操作。為了完成繪制，操作者P從虛擬平面G縮回指尖。從而，如同操作者P所需那樣，根據(jù)指尖的動(dòng)作在顯示窗口中繪制線(xiàn)條。
如果需要，當(dāng)繪制的線(xiàn)條的長(zhǎng)度超過(guò)預(yù)定長(zhǎng)度，或者當(dāng)在繪制早先所繪部分之后過(guò)去預(yù)定的時(shí)間時(shí)，可從早先所繪部分清除或擦除在顯示窗口中顯示的繪制線(xiàn)條。這可幫助使正在顯示窗口中出現(xiàn)的繪制線(xiàn)條保存在預(yù)定長(zhǎng)度之內(nèi)。作為一個(gè)輔助特征，當(dāng)操作者P的手穿透虛擬平面G時(shí)，或者當(dāng)指尖穿透虛擬平面G的距離大于預(yù)定距離時(shí)，手或指尖可被看作清除全部或所需部分繪制線(xiàn)條的擦除器。
圖6中再次表示了拖動(dòng)操作的另一例子。該拖動(dòng)操作可用于在距離測(cè)量模式下，測(cè)量?jī)牲c(diǎn)之間的距離。
操作者P將其指尖置于虛擬平面G中的所需第一點(diǎn)6B，并移動(dòng)指尖以便穿透虛擬平面G，從而確定起點(diǎn)。在穿透之后，在指尖保持穿透的情況下，操作者P把指尖移動(dòng)到第二點(diǎn)6C，以便確定終點(diǎn)。在第二點(diǎn)6C，操作者P從虛擬平面G縮回指尖。因此，在顯示窗口中顯示和從虛擬平面中的第一點(diǎn)6B到第二點(diǎn)6C拖曳的線(xiàn)條對(duì)應(yīng)的線(xiàn)條。在顯示窗口中顯示的線(xiàn)條的距離被計(jì)算為距離測(cè)量結(jié)果。
(流程圖)下面參考圖9和10，說(shuō)明圖像閱讀器1的基本操作流程。
圖9是表示根據(jù)本發(fā)明第一實(shí)施例的圖像閱讀器1中的操作的例證流程的流程圖。圖10是表示根據(jù)本發(fā)明第一實(shí)施例，圖9中所示流程的例證連續(xù)流程的流程圖。
在待機(jī)模式下，當(dāng)操作者P進(jìn)入前述預(yù)定有效區(qū)時(shí)，攝像機(jī)12a和12b獲得操作者P的圖像數(shù)據(jù)。識(shí)別單元13a根據(jù)獲得的圖像數(shù)據(jù)識(shí)別操作者P已進(jìn)入預(yù)定的有效區(qū)(步驟S01)。信息采集單元13g確定屏幕11和操作者P之間的距離。信息采集單元13g還確定投影到屏幕11上的顯示窗口的大小(步驟S02)。
當(dāng)圖像閱讀器1向操作者P要求操縱圖像閱讀器1的權(quán)限時(shí)，操作者P在預(yù)定的有效區(qū)展示他或她的手。識(shí)別單元13a識(shí)別操作者P的手形，并確定該操作者P被準(zhǔn)許操縱圖像閱讀器1。另一方面，當(dāng)操作者P用聲音發(fā)出預(yù)定單詞時(shí)，通過(guò)可設(shè)置在攝像機(jī)12a和12b中的麥克風(fēng)，該聲音被收集為語(yǔ)音數(shù)據(jù)。識(shí)別單元13a根據(jù)收集的語(yǔ)音數(shù)據(jù)識(shí)別預(yù)定單詞，并確定該操作者P被準(zhǔn)許操縱圖像閱讀器1。
識(shí)別單元13a隨后確定操作者P的視點(diǎn)。當(dāng)操作者P只睜開(kāi)一只眼睛時(shí)，視點(diǎn)可被設(shè)置成睜開(kāi)的眼睛。當(dāng)操作者P睜開(kāi)雙眼時(shí)，操作者P的優(yōu)勢(shì)眼睛可被設(shè)置成視點(diǎn)(步驟S03)。響應(yīng)視點(diǎn)確定，識(shí)別單元13a實(shí)現(xiàn)獲得視點(diǎn)的高度，視點(diǎn)和屏幕11之間的距離，以及識(shí)別的手和屏幕11之間距離的計(jì)算。
第一處理單元13b根據(jù)獲得的圖像數(shù)據(jù)、視點(diǎn)和計(jì)算的距離，確定操作者的臂長(zhǎng)(步驟S04)。第一處理單元13b確定到視點(diǎn)的距離L為操作者臂長(zhǎng)一半的位置。在到視點(diǎn)的距離為L(zhǎng)的位置確定虛擬平面(步驟S05)。
在定義虛擬平面之后，識(shí)別單元13a確定是否存在正在展示他或她的手，以便獲得操縱圖像閱讀器1的權(quán)限的其它操作者P(步驟S06)。當(dāng)在步驟S06中，確定存在這樣的其它操作者P時(shí)，對(duì)新的操作者P重復(fù)步驟S03～S05。
第一處理單元13b確定操作者P的指尖是否穿透虛擬平面G(步驟S07)。如果確定指尖穿透虛擬平面G，則確定前述各種參數(shù)，包括距離X、時(shí)段S、時(shí)間間隔、第二時(shí)段和第三時(shí)段中的一個(gè)或多個(gè)，并將其與相應(yīng)的預(yù)定值進(jìn)行比較。作為比較的結(jié)果，確定相對(duì)于虛擬平面的操作是單擊操作，雙擊操作還是拖動(dòng)操作(步驟S08)。
第三處理單元13h根據(jù)確定的操作進(jìn)行處理。當(dāng)確定的操作是單擊操作時(shí)，第三處理單元13h實(shí)現(xiàn)單擊處理(步驟S09)。當(dāng)確定的操作是雙擊操作時(shí)，第三處理單元13h實(shí)現(xiàn)雙擊操作(步驟S10)。當(dāng)確定的操作是拖動(dòng)操作時(shí)，第三處理單元13h實(shí)現(xiàn)拖動(dòng)操作(步驟S11)。
當(dāng)在步驟S07中確定指尖未穿透虛擬平面G時(shí)，通過(guò)處理攝像機(jī)12a和12b獲得的圖像數(shù)據(jù)，跟蹤操作者P的動(dòng)作。從而，無(wú)穿透情況下，虛擬平面G的視場(chǎng)內(nèi)指尖的動(dòng)作在顯示窗口中被反映成光標(biāo)移動(dòng)(步驟S12)。第三處理單元13h可根據(jù)視點(diǎn)，以及包括投影在屏幕11上的顯示窗口的位置和大小在內(nèi)的信息，實(shí)現(xiàn)反映顯示處理。
在步驟S09、S10、S11或S12中的處理之后，操作繼續(xù)步驟S13。在步驟S13中，識(shí)別單元13a確定操作者P是否移動(dòng)至預(yù)定有效區(qū)之外(步驟S13)。當(dāng)識(shí)別單元13a根據(jù)圖像數(shù)據(jù)的處理，在圖像數(shù)據(jù)內(nèi)不能認(rèn)出操作者P時(shí)，確定操作者P已移動(dòng)到預(yù)定有效區(qū)之外。當(dāng)產(chǎn)生這樣的確定時(shí)，確定已終止通過(guò)虛擬平面G的圖像閱讀器1的操作。從而，操作返回步驟S01。另一方面，當(dāng)識(shí)別單元13a在圖像數(shù)據(jù)中仍然識(shí)別出操作者P，則操作返回步驟S03，從而為下一次操作再次確定或者校正視點(diǎn)(如果需要的話(huà))。
作為在步驟S13中，識(shí)別單元13a在圖像數(shù)據(jù)內(nèi)仍然識(shí)別出操作者P的情況的一種備選操作流程，操作可返回步驟S04，如圖11中所示。當(dāng)在步驟S09、S10、S11或S12的處理中，持續(xù)跟蹤操作者P的視點(diǎn)時(shí)，這是可能的。此外，操作可改為從步驟S13返回步驟S05，如圖11中所示。當(dāng)除了視點(diǎn)跟蹤之外，把先前獲得的關(guān)于操作者P的臂長(zhǎng)的數(shù)據(jù)保存在識(shí)別單元13a或者保存在第一存儲(chǔ)單元13c中時(shí)，這是可能的。另一方面，操作可從步驟S13返回步驟S06，如圖11中所示。當(dāng)除了視點(diǎn)跟蹤和臂長(zhǎng)數(shù)據(jù)之外，不必重新確定虛擬平面G時(shí)，這是可能的。
如上所述，根據(jù)第一實(shí)施例的圖像閱讀器1根據(jù)操作者P的形狀或者操作者P的任意可識(shí)別的特性，識(shí)別操作者P。此外，圖像閱讀器1在空間中，為操作者P確定虛擬平面G和位于適當(dāng)位置，對(duì)應(yīng)于鍵盤(pán)、鼠標(biāo)等的虛擬鍵盤(pán)。于是，操作者不必向其它操作者交接諸如鍵盤(pán)和/或鼠標(biāo)之類(lèi)的操作單元。因此，操作者P不需要考慮衛(wèi)生問(wèn)題。這有助于提高操作者P的操作。
根據(jù)第一實(shí)施例，虛擬平面G被確定為位于到視點(diǎn)的距離為操作者P的臂長(zhǎng)一半的位置。但是，可根據(jù)操作者P的手，在預(yù)定距離的位置確定虛擬平面G。這種情況下，可平行于手掌確定虛擬平面G。
另外根據(jù)第一實(shí)施例，識(shí)別單元13a和第二處理單元13f已獲得操作者P的包括視點(diǎn)高度和優(yōu)勢(shì)眼睛在內(nèi)的眼睛信息以及手位置信息，屏幕11和視點(diǎn)之間的距離，投影到屏幕11上的顯示窗口的大小等等。但是，就這種信息來(lái)說(shuō)，可事先在識(shí)別單元13a和/或第二處理單元13f中保存標(biāo)準(zhǔn)值。
此外，當(dāng)操作者P展示他或她的手時(shí)，或者當(dāng)操作者P用聲音發(fā)出預(yù)定單詞時(shí)，識(shí)別單元13a確定操作者P被準(zhǔn)許操縱圖像閱讀器1。但是，即使當(dāng)操作者P進(jìn)入預(yù)定有效區(qū)，以便在無(wú)單獨(dú)的預(yù)先指令的情況下操縱圖像閱讀器1時(shí)，識(shí)別單元13a也可確定操作者P被準(zhǔn)許操縱圖像閱讀器1。另一方面，識(shí)別單元13a可確定首先進(jìn)入預(yù)定有效區(qū)的操作者P被準(zhǔn)許操縱圖像閱讀器1。
另外，第三處理單元可調(diào)整將在投影到屏幕11上的顯示窗口中繪制或顯示的線(xiàn)條、數(shù)字和字符的大小和/或粗細(xì)。這種調(diào)整可以屏幕11和操作者P的視點(diǎn)之間的距離為基礎(chǔ)。
攝像機(jī)可設(shè)置在任意位置。代替第一實(shí)施例中描述的位置，攝像機(jī)可設(shè)置在屏幕11之后，通過(guò)在屏幕11中形成的小孔獲得圖像數(shù)據(jù)。攝像機(jī)可設(shè)置在屏幕11的頂部或下部。攝像機(jī)的這些位置的混合也適用于第一實(shí)施例。無(wú)論位置在何處，都可設(shè)置任意數(shù)目的攝像機(jī)。
(虛擬平面位置)當(dāng)操作者P希望改變當(dāng)前定義的虛擬平面G的位置時(shí)，操作者P可輸入操作命令，顯示虛擬平面位置改變窗口。圖12表示了根據(jù)本發(fā)明第一實(shí)施例的虛擬平面位置改變窗口的一個(gè)例子。例如，如果操作者P把遵循指尖動(dòng)作的光標(biāo)120移到虛擬平面位置改變窗口中的向上箭頭121時(shí)，在更接近于操作者P的位置定義虛擬平面G。如果操作者P把光標(biāo)120移動(dòng)到虛擬平面位置改變窗口中的向下箭頭122時(shí)，在更遠(yuǎn)離操作者P的位置定義虛擬平面G。
在虛擬平面G的位置改變之后或者操作者希望的任意時(shí)候，操作者P可試圖了解虛擬平面G定義在何處，單擊操作需要多大的指尖穿透。圖13表示了根據(jù)本發(fā)明第一實(shí)施例的穿透測(cè)試窗口的第一例子。如圖13中所示，當(dāng)操作者P首次相對(duì)于虛擬平面G嘗試穿透時(shí)，第一穿透距離表明指尖穿透虛擬平面G過(guò)多。虛線(xiàn)130表示識(shí)別單擊操作的臨界距離點(diǎn)。虛線(xiàn)130可指示定義虛擬平面G的位置。響應(yīng)該嘗試，第二次嘗試表明指尖穿透虛擬平面G過(guò)短。最后，在第三次嘗試中，操作者P可認(rèn)識(shí)到移動(dòng)指尖多少距離，以便被識(shí)別成單擊操作。可根據(jù)前述預(yù)定距離的變化，移動(dòng)虛線(xiàn)130。
圖14中表示了一種備選的穿透測(cè)試窗口。圖14表示了根據(jù)本發(fā)明第二實(shí)施例的穿透測(cè)試窗口的第二例子。在第二例子中，穿透測(cè)試窗口只表示一個(gè)指示符，所述指示符根據(jù)相對(duì)于虛擬平面G的指尖動(dòng)作，改變其長(zhǎng)度。于是，操作者易于理解對(duì)于單擊操作，操作者P應(yīng)按照何種程度移動(dòng)他或她的指尖。虛擬40和圖13中的虛線(xiàn)130表示相同的含義。
(第二實(shí)施例)本發(fā)明的第二實(shí)施例涉及作為虛擬平面的另一應(yīng)用例子的，導(dǎo)管插入術(shù)過(guò)程中的X射線(xiàn)透視(fluoroscope)位置改變。圖15表示了根據(jù)本發(fā)明第二實(shí)施例的通過(guò)虛擬平面改變X射線(xiàn)透視位置的例子。
圖15(a)表示醫(yī)生S正在從腹股溝151把導(dǎo)管插入患者T內(nèi)。患者T躺在診斷臺(tái)152上，診斷臺(tái)152是X射線(xiàn)診斷設(shè)備的一部分。在導(dǎo)管插入過(guò)程中，X射線(xiàn)診斷設(shè)備獲得患者T的X射線(xiàn)透視圖像數(shù)據(jù)。在導(dǎo)管頭部所處的患者T的身體部位上方實(shí)現(xiàn)X射線(xiàn)透視?；讷@得的圖像數(shù)據(jù)的X射線(xiàn)透視圖像由顯示監(jiān)視器153顯示，從而醫(yī)生S能夠通過(guò)顯示監(jiān)視器在視覺(jué)上核實(shí)是否正在正確插入導(dǎo)管。顯示監(jiān)視器153由支持物154支承。
如圖15(b)中所示，攝像機(jī)155a和155b設(shè)置在顯示監(jiān)視器153的兩側(cè)。攝像機(jī)155a和155b獲得醫(yī)生S的圖像數(shù)據(jù)。通過(guò)對(duì)獲得的圖像數(shù)據(jù)進(jìn)行的圖像處理，跟蹤醫(yī)生S的動(dòng)作。在圖像處理單元(未示出)中實(shí)現(xiàn)這種圖像處理。圖像處理單元可設(shè)置在X射線(xiàn)診斷設(shè)備中，或者獨(dú)立于X射線(xiàn)診斷設(shè)備?？刂茊卧?未示出)根據(jù)圖像處理的結(jié)果，控制X射線(xiàn)診斷設(shè)備的懸臂位置，以便改變X射線(xiàn)透視位置。懸臂支承X射線(xiàn)管和X射線(xiàn)檢測(cè)器?？刂茊卧稍O(shè)置在X射線(xiàn)診斷設(shè)備中，或者獨(dú)立于X射線(xiàn)診斷設(shè)備。根據(jù)醫(yī)生S相對(duì)于虛擬平面156的操作，改變X射線(xiàn)透視位置。
虛擬平面156定義在醫(yī)生S的視點(diǎn)和顯示監(jiān)視器153之間。當(dāng)醫(yī)生S的指尖穿透虛擬平面156進(jìn)行單擊操作時(shí)，圖像處理單元通過(guò)處理通過(guò)攝像機(jī)155a和155b獲得的圖像數(shù)據(jù)，識(shí)別這樣的操作。從而，控制單元根據(jù)單擊操作控制懸臂位置。
虛擬平面156可定義在從醫(yī)生S的視點(diǎn)到顯示監(jiān)視器153的各角的延伸范圍內(nèi)。虛擬平面156的大小可在從視點(diǎn)到顯示監(jiān)視器153的視場(chǎng)范圍內(nèi)，如圖15(a)中所示。
醫(yī)生S可用一只手157R(例如右手)改變懸臂位置，以便改變?cè)诒O(jiān)視顯示器153中顯示的X射線(xiàn)透視圖像，同時(shí)醫(yī)生用另一只手157L(例如左手)拿著導(dǎo)管。當(dāng)借助點(diǎn)擊操作，例如按下動(dòng)作，手157R的指尖穿透虛擬平面156時(shí)，圖像處理單元識(shí)別這樣的操作。例如，在顯示監(jiān)視器153中顯示四方向箭頭158。如果指尖在對(duì)應(yīng)于四方向箭頭158的向上箭頭的位置穿透虛擬平面156，則控制懸臂位置稍微移向患者T的頭部。類(lèi)似地，如果指尖在對(duì)應(yīng)于四方向箭頭158的向下箭頭的位置穿透虛擬平面156，則控制懸臂位置稍微移向患者T的腳部。此外，如果指尖在對(duì)應(yīng)于四方向箭頭158的向左箭頭的位置穿透虛擬平面156，則控制懸臂位置稍微移向患者T的右側(cè)。最后，如果指尖在對(duì)應(yīng)于四方向箭頭158的向右箭頭的位置穿透虛擬平面156，則控制懸臂位置稍微移向患者T的左側(cè)。在顯示監(jiān)視器153的圖像顯示窗口159中，顯示以在改變后的懸臂位置獲得的圖像數(shù)據(jù)為基礎(chǔ)的X射線(xiàn)透視圖像。
四方向箭頭158只表示四個(gè)方向。但是，代替四方向箭頭158，可用箭頭顯示更多的方向(例如八個(gè)方向)。一個(gè)點(diǎn)擊操作中的移動(dòng)距離可被固定，或者可按照可變的方式設(shè)置。
代替相對(duì)于四方向箭頭158的點(diǎn)擊操作，醫(yī)生5可對(duì)虛擬平面156進(jìn)行拖動(dòng)操作。當(dāng)手157R的指尖穿透虛擬平面156以便進(jìn)行拖動(dòng)操作時(shí)，圖像處理單元識(shí)別這種操作。如果醫(yī)生S向上進(jìn)行拖動(dòng)操作，則控制懸臂位置稍微移向患者T的頭部。類(lèi)似地，如果醫(yī)生S向下進(jìn)行拖動(dòng)操作，則控制懸臂位置稍微移向患者T的腳部。此外，如果醫(yī)生S向左進(jìn)行拖動(dòng)操作，則控制懸臂位置稍微移向患者T的右側(cè)。最后，如果醫(yī)生S向右進(jìn)行拖動(dòng)操作，則控制懸臂位置稍微移向患者T的左側(cè)。在圖像顯示窗口159中，顯示以在改變后的懸臂位置獲得的圖像數(shù)據(jù)為基礎(chǔ)的X射線(xiàn)透視圖像。
移動(dòng)距離可被固定，而和拖動(dòng)操作的距離無(wú)關(guān)。另一方面，移動(dòng)距離可根據(jù)拖動(dòng)操作的距離而變化。例如，當(dāng)懸臂響應(yīng)高達(dá)3厘米的拖動(dòng)操作，移動(dòng)第一距離時(shí)，懸臂可響應(yīng)大于3厘米的拖動(dòng)操作，移動(dòng)兩個(gè)第一距離。根據(jù)拖動(dòng)操作，懸臂的移動(dòng)方向可包括除上述四個(gè)方向之外的其它方向。
在第二實(shí)施例的情況下，醫(yī)生S會(huì)在不打算操縱顯示監(jiān)視器153的時(shí)候，不經(jīng)意地使其手臂穿過(guò)虛擬平面。即，雖然通過(guò)虛擬平面156直接操縱顯示監(jiān)視器153，但是顯示監(jiān)視器153不是醫(yī)生S的手臂的移動(dòng)中的直接意圖目標(biāo)。但是，只要當(dāng)通過(guò)虛擬平面進(jìn)行操作時(shí)，在無(wú)來(lái)自間接對(duì)象的指令的情況下，直接對(duì)象不能作出響應(yīng)，則在本發(fā)明的范圍中，類(lèi)似于顯示監(jiān)視器153之類(lèi)的間接對(duì)象被解釋成要操縱的對(duì)象。
根據(jù)第二實(shí)施例中的系統(tǒng)，醫(yī)生S不必要求其它人調(diào)整他/她手臂的位置。當(dāng)醫(yī)生S希望獲得患者T的當(dāng)前未顯示的視圖，以便進(jìn)行導(dǎo)管插入時(shí)，醫(yī)生S可在不觸摸任何事物的情況下進(jìn)行調(diào)整操作。另外，在醫(yī)生的操作中，不會(huì)產(chǎn)生任何衛(wèi)生問(wèn)題。
在第一實(shí)施例中說(shuō)明的一個(gè)或多個(gè)特征適用于第二實(shí)施例。
(第三實(shí)施例)通過(guò)虛擬平面的操作還適用于日常生活中的其它領(lǐng)域。虛擬平面可被用于控制通常需要實(shí)際操作，以便操縱的任意用具。這種用具的例子包括(但不限于)固定照明設(shè)備、窗子、加熱系統(tǒng)、門(mén)、烘箱、以及能夠控制的各種其它物品。作為一個(gè)例子，本發(fā)明的第三實(shí)施例涉及固定在天花板的熒光燈的開(kāi)/關(guān)。圖16表示了根據(jù)本發(fā)明第三實(shí)施例通過(guò)虛擬平面的這種開(kāi)關(guān)的例子。
如圖16(a)中所示，用戶(hù)V躺在床161上。在用戶(hù)V所躺的房間中，熒光燈162固定于房間的天花板上。類(lèi)似于第一實(shí)施例，在熒光燈162的兩側(cè)設(shè)置了攝像機(jī)163a和163b。攝像機(jī)163a和163b獲得用戶(hù)V的圖像數(shù)據(jù)。通過(guò)對(duì)獲得的圖像數(shù)據(jù)的圖像處理，跟蹤用戶(hù)V的動(dòng)作。在圖像處理單元164中實(shí)現(xiàn)這種圖像處理?？刂茊卧?65根據(jù)圖像處理的結(jié)果，控制熒光燈162的開(kāi)/關(guān)。所述開(kāi)/關(guān)取決于用戶(hù)V相對(duì)于虛擬平面166的操作。
虛擬平面166例如定義于用戶(hù)V的視點(diǎn)和熒光燈162之間。當(dāng)用戶(hù)V的頭部或手臂穿透虛擬平面166，以便進(jìn)行點(diǎn)擊操作時(shí)，圖像處理單元164通過(guò)處理攝像機(jī)163a和163b獲得的圖像數(shù)據(jù)，識(shí)別這種操作。從而，控制單元165控制熒光燈的開(kāi)/關(guān)。
如圖16中圖(b)～(d)中所示，可在預(yù)定位置確定虛擬平面166的大小。當(dāng)虛擬平面166由四邊形形成時(shí)，可沿著從用戶(hù)V從左到右的方向，在用戶(hù)V手臂可及的距離內(nèi)確定虛擬平面166的一側(cè)，如圖16(b)中所示。類(lèi)似地，可沿著從用戶(hù)V腳部到頭部的方向，在用戶(hù)V手臂可及的距離內(nèi)確定虛擬平面166的另一側(cè)，如圖16(c)中所示。圖16(d)表示了從攝像機(jī)163a和163b觀察的虛擬平面166的一個(gè)例證大小。另一方面，虛擬平面166可由圓、三角形或者其它任意形狀構(gòu)成。
第一實(shí)施例中描述的一個(gè)或多個(gè)特征適用于第三實(shí)施例。
(第四實(shí)施例)本發(fā)明的第四實(shí)施例涉及開(kāi)關(guān)窗子。圖17表示了根據(jù)本發(fā)明第四實(shí)施例通過(guò)虛擬平面開(kāi)關(guān)窗子的例子。
如圖17中所示，用戶(hù)W位于窗子171之前，窗子171可位于辦公室或住宅中。窗子171具有窗玻璃172。類(lèi)似于第二實(shí)施例，在窗子171兩側(cè)設(shè)置有攝像機(jī)173a和173b。攝像機(jī)173a和173b獲得用戶(hù)W的圖像數(shù)據(jù)。通過(guò)對(duì)獲得的圖像數(shù)據(jù)進(jìn)行圖像處理，跟蹤用戶(hù)W的動(dòng)作。在圖像處理單元174中實(shí)現(xiàn)這種圖像處理。根據(jù)圖像處理的結(jié)果，控制單元175向驅(qū)動(dòng)機(jī)構(gòu)176提供控制信號(hào)。響應(yīng)控制信號(hào)，驅(qū)動(dòng)機(jī)構(gòu)176驅(qū)動(dòng)打開(kāi)窗玻璃172之一。驅(qū)動(dòng)機(jī)構(gòu)176還響應(yīng)控制信號(hào)，驅(qū)動(dòng)關(guān)閉該窗玻璃172。控制信號(hào)取決于用戶(hù)W相對(duì)于虛擬平面177的操作。
例如在用戶(hù)W的視點(diǎn)和窗子171之間定義虛擬平面177。當(dāng)用戶(hù)W使其指尖穿透虛擬平面177以便進(jìn)行拖動(dòng)操作時(shí)，圖像處理單元174通過(guò)處理攝像機(jī)173a和173b獲得的圖像數(shù)據(jù)，識(shí)別這種操作。從而，控制單元175控制驅(qū)動(dòng)機(jī)構(gòu)176。當(dāng)用戶(hù)W朝著圖17中的左側(cè)進(jìn)行拖動(dòng)操作時(shí)，窗玻璃172受驅(qū)動(dòng)機(jī)構(gòu)176驅(qū)動(dòng)，朝著左側(cè)移動(dòng)以便關(guān)閉。類(lèi)似地，當(dāng)用戶(hù)W朝著圖17中的右側(cè)進(jìn)行拖動(dòng)操作時(shí)，窗玻璃172受驅(qū)動(dòng)機(jī)構(gòu)176驅(qū)動(dòng)，朝著右側(cè)移動(dòng)以便打開(kāi)。
可在從用戶(hù)W的視點(diǎn)到窗子171各角的延伸范圍內(nèi)定義虛擬平面177。
第一實(shí)施例中描述的一個(gè)多個(gè)特征適用于第四實(shí)施例。
當(dāng)在離用戶(hù)的距離不同的位置存在兩個(gè)用具時(shí)，可根據(jù)相對(duì)于虛擬平面的穿透距離，控制(或操縱)這兩個(gè)用具。例如，當(dāng)虛擬平面被穿透1厘米時(shí)，操縱兩個(gè)用具中較近的一個(gè)用具。當(dāng)虛擬平面被穿透3厘米時(shí)，操縱兩個(gè)用具中的另一用具。另一方面，根據(jù)距離不同的用具的數(shù)目，可準(zhǔn)備多個(gè)虛擬平面。此外，即使對(duì)于單一用具，該用具的不同操作也可被分別分配給不同的穿透距離或者多個(gè)虛擬平面。
在上面說(shuō)明的實(shí)施例中，描述了用于獲得操作者、用戶(hù)或醫(yī)生的圖像數(shù)據(jù)的攝像機(jī)。但是，也可使用其它類(lèi)型的照相機(jī)，只要照相機(jī)能夠在預(yù)定的時(shí)段中，順序獲得至少預(yù)定數(shù)目的圖像(或照片)。除了攝像機(jī)之外，WEB照相機(jī)和數(shù)字相機(jī)是這種照相機(jī)的例子。
相對(duì)于虛擬平面的穿透并不局限于由操作者的指尖實(shí)現(xiàn)，相反也可由操作者的任意預(yù)定部位實(shí)現(xiàn)。
上面說(shuō)明的本發(fā)明的實(shí)施例只是為易于理解本發(fā)明而說(shuō)明的例子，并不意味著對(duì)本發(fā)明的限制。因此，在本發(fā)明的范圍內(nèi)，在本發(fā)明的實(shí)施例中公開(kāi)的各個(gè)組件和部件可被重新設(shè)計(jì)或者修改成其等同物。此外，這些組件和部件的任意可能組合都包含在本發(fā)明的范圍中，只要獲得和根據(jù)本發(fā)明實(shí)施例中的上述公開(kāi)內(nèi)容獲得的那些優(yōu)點(diǎn)相似的優(yōu)點(diǎn)即可。
鑒于上述教導(dǎo)，本發(fā)明的各種修改和變化都是可能的。于是在附加權(quán)利要求的范圍內(nèi)，可按照除這里具體說(shuō)明之外的其它方式實(shí)踐本發(fā)明。
權(quán)利要求
1.一種操作識(shí)別系統(tǒng)，包括要操縱的對(duì)象；獲得操作者的圖像數(shù)據(jù)的至少一個(gè)照相機(jī)，在預(yù)定的時(shí)段中至少獲得預(yù)定數(shù)目的圖像數(shù)據(jù)；對(duì)獲得的圖像數(shù)據(jù)進(jìn)行識(shí)別處理，以便定義介于所述對(duì)象和操作者之間的第一虛擬平面，以及確定操作者的預(yù)定部位是否穿透第一虛擬平面的處理器；和根據(jù)所述確定，控制所述對(duì)象的控制器。
2.按照權(quán)利要求1所述的系統(tǒng)，其中處理器被配置成識(shí)別操作者的預(yù)定動(dòng)作，當(dāng)處理器識(shí)別出操作者的預(yù)定動(dòng)作時(shí)，控制器工作。
3.按照權(quán)利要求1所述的系統(tǒng)，其中處理器被配置成識(shí)別操作者的預(yù)定聲音，當(dāng)處理器識(shí)別出操作者的預(yù)定聲音時(shí)，控制器工作。
4.按照權(quán)利要求1所述的系統(tǒng)，其中處理器被配置成根據(jù)識(shí)別處理，識(shí)別操作者的操作權(quán)限。
5.按照權(quán)利要求1所述的系統(tǒng)，其中處理器還被配置成檢測(cè)操作者的預(yù)定部位所穿透的一部分第一虛擬平面，其中控制器根據(jù)所述檢測(cè)，控制所述對(duì)象。
6.按照權(quán)利要求1所述的系統(tǒng)，其中當(dāng)處理器被配置成把操作者的眼睛識(shí)別成視點(diǎn)時(shí)，處理器定義介于所述對(duì)象和視點(diǎn)之間的第一虛擬平面。
7.按照權(quán)利要求1所述的系統(tǒng)，其中當(dāng)處理器被配置成識(shí)別操作者的臂長(zhǎng)時(shí)，處理器在距離操作者識(shí)別長(zhǎng)度的范圍內(nèi)的某一位置定義第一虛擬平面。
8.按照權(quán)利要求1所述的系統(tǒng)，其中根據(jù)所述識(shí)別，在可變的位置定義第一虛擬平面。
9.按照權(quán)利要求1所述的系統(tǒng)，其中處理器被配置成當(dāng)操作者的預(yù)定部位穿透第一虛擬平面的長(zhǎng)度大于預(yù)定長(zhǎng)度時(shí)，確定穿透。
10.按照權(quán)利要求9所述的系統(tǒng)，其中預(yù)定長(zhǎng)度是可變的。
11.按照權(quán)利要求1所述的系統(tǒng)，其中處理器被配置成當(dāng)操作者的預(yù)定部位穿透第一虛擬平面的持續(xù)時(shí)間大于預(yù)定時(shí)段時(shí)，確定穿透。
12.按照權(quán)利要求11所述的系統(tǒng)，其中預(yù)定時(shí)段是可變的。
13.按照權(quán)利要求1所述的系統(tǒng)，其中控制器被配置成根據(jù)操作者的預(yù)定部位穿透第一虛擬平面的長(zhǎng)度和時(shí)段，控制所述對(duì)象。
14.按照權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象包括配置成顯示一個(gè)或多個(gè)操作項(xiàng)的顯示器，其中控制器被配置成根據(jù)所述識(shí)別和所述確定，控制操作項(xiàng)之一的執(zhí)行。
15.按照權(quán)利要求14所述的系統(tǒng)，其中處理器被配置成識(shí)別操作者的預(yù)定動(dòng)作，并且處理器被配置成確定預(yù)定動(dòng)作表示單擊操作。
16.按照權(quán)利要求14所述的系統(tǒng)，其中處理器被配置成識(shí)別操作者的預(yù)定動(dòng)作，并且處理器被配置成確定預(yù)定動(dòng)作表示雙擊操作。
17.按照權(quán)利要求13所述的系統(tǒng)，其中處理器被配置成識(shí)別操作者的預(yù)定動(dòng)作，并且處理器被配置成確定預(yù)定動(dòng)作表示拖動(dòng)操作。
18.按照權(quán)利要求1所述的系統(tǒng)，還包括被配置成響應(yīng)所述對(duì)象進(jìn)行操作的第二對(duì)象。
19.按照權(quán)利要求1所述的系統(tǒng)，其中處理器還被配置成定義第一虛擬平面中的虛擬鍵盤(pán)，其中控制器被配置成根據(jù)所述確定，根據(jù)通過(guò)虛擬鍵盤(pán)的鍵盤(pán)輸入，控制所述對(duì)象。
20.按照權(quán)利要求19所述的系統(tǒng)，其中所述對(duì)象包括配置成顯示對(duì)應(yīng)于虛擬鍵盤(pán)的鍵盤(pán)圖像的顯示器，其中鍵盤(pán)圖像辨別和通過(guò)虛擬鍵盤(pán)的鍵盤(pán)輸入對(duì)應(yīng)的按鍵。
21.按照權(quán)利要求1所述的系統(tǒng)，其中處理器還被配置成定義不同于第一虛擬平面的第二虛擬平面，以及第二虛擬平面中的虛擬鍵盤(pán)，并根據(jù)所述識(shí)別，確定操作者的預(yù)定部位是否穿透第二虛擬平面，其中控制器被配置成根據(jù)所述確定，根據(jù)通過(guò)虛擬鍵盤(pán)的鍵盤(pán)輸入，控制所述對(duì)象。
22.按照權(quán)利要求21所述的系統(tǒng)，其中所述對(duì)象包括配置成顯示對(duì)應(yīng)于虛擬鍵盤(pán)的鍵盤(pán)圖像的顯示器，其中鍵盤(pán)圖像辨別和通過(guò)虛擬鍵盤(pán)的鍵盤(pán)輸入對(duì)應(yīng)的按鍵。
23.按照權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象包括配置成顯示一個(gè)或多個(gè)操作項(xiàng)的顯示器，所述顯示器包括投影器和屏幕，其中在屏幕和操作者之間定義第一虛擬平面。
24.按照權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象包括醫(yī)療設(shè)備。
25.按照權(quán)利要求24所述的系統(tǒng)，其中醫(yī)療設(shè)備包括顯示一個(gè)或多個(gè)操作項(xiàng)的顯示監(jiān)視器；和拍攝樣本的X射線(xiàn)照片的X射線(xiàn)照相設(shè)備，其中控制器被配置成根據(jù)所述確定，控制操作項(xiàng)之一的執(zhí)行，其中X射線(xiàn)照相設(shè)備被配置成對(duì)所述操作項(xiàng)之一的執(zhí)行作出響應(yīng)。
26.按照權(quán)利要求25所述的系統(tǒng)，其中當(dāng)操作者操控導(dǎo)管時(shí)，X射線(xiàn)照相設(shè)備的位置受控。
27.按照權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象包括用具。
28.按照權(quán)利要求1所述的系統(tǒng)，還包括顯示指示符的顯示器，所述指示符表示操作者的預(yù)定部位穿透第一虛擬平面多少。
29.按照權(quán)利要求28所述的系統(tǒng)，其中指示符根據(jù)操作者的預(yù)定部位的動(dòng)作而變化。
30.按照權(quán)利要求1所述的系統(tǒng)，其中所述對(duì)象包括顯示虛擬平面位置改變窗口的顯示器，根據(jù)所述確定改變第一虛擬平面的位置。
31.一種顯示圖像的圖像顯示設(shè)備，該設(shè)備包括在屏幕中顯示圖像的顯示器；檢測(cè)操作者的位置和操作者手的位置的位置檢測(cè)器；根據(jù)操作者的位置，定義介于屏幕和操作者之間的虛擬平面的虛擬平面定義機(jī)構(gòu)；根據(jù)操作者手的位置和虛擬平面的位置，確定虛擬平面和操作者手之間的虛擬接觸的確定機(jī)構(gòu)；和根據(jù)確定機(jī)構(gòu)的確定，控制圖像的顯示的顯示控制機(jī)構(gòu)。
32.按照權(quán)利要求31所述的設(shè)備，還包括檢測(cè)操作者的手形的形狀檢測(cè)器；和當(dāng)檢測(cè)的形狀和預(yù)定形狀相同時(shí)，識(shí)別為操作者具有操作權(quán)限的識(shí)別機(jī)構(gòu)。
33.一種顯示圖像的圖像顯示設(shè)備，包括在屏幕中顯示圖像的顯示器；設(shè)置在屏幕的兩側(cè)，并被配置成從不同方向獲得圖像數(shù)據(jù)的成像部件；根據(jù)獲得的圖像數(shù)據(jù)，檢測(cè)操作者相對(duì)于屏幕的位置，以及操作者某一部位的位置的位置檢測(cè)器；根據(jù)操作者的位置，定義介于屏幕和操作者之間的虛擬平面的虛擬平面定義機(jī)構(gòu)；根據(jù)操作者某一部位的位置和虛擬平面的位置，確定虛擬平面和操作者某一部位之間的虛擬接觸方式的確定機(jī)構(gòu)；和根據(jù)確定機(jī)構(gòu)的確定結(jié)果，確定對(duì)應(yīng)于接觸方式的操作項(xiàng)，并按照操作項(xiàng)，控制圖像顯示的顯示控制機(jī)構(gòu)。
34.一種控制對(duì)象的方法，所述方法包括下述步驟在預(yù)定時(shí)段中獲得操作者的預(yù)定數(shù)目的圖像數(shù)據(jù)；對(duì)獲得的圖像數(shù)據(jù)進(jìn)行識(shí)別處理；定義介于所述對(duì)象和操作者之間的虛擬平面；根據(jù)識(shí)別處理，確定操作者的預(yù)定部位是否穿透虛擬平面；和根據(jù)確定結(jié)果控制所述對(duì)象。
35.按照權(quán)利要求34所述的方法，其中處理獲得的圖像數(shù)據(jù)，以便根據(jù)識(shí)別處理，識(shí)別操作者的操作權(quán)限。
全文摘要
操作識(shí)別系統(tǒng)包括要操縱的對(duì)象，至少一個(gè)照相機(jī)，一個(gè)處理器和一個(gè)控制器。所述至少一個(gè)照相機(jī)被配置成在預(yù)定的時(shí)段中獲得操作者的圖像數(shù)據(jù)，處理器被配置成對(duì)獲得的圖像數(shù)據(jù)進(jìn)行識(shí)別處理。當(dāng)處理圖像數(shù)據(jù)時(shí)，處理器被配置成定義介于要操縱的對(duì)象和操作者之間的虛擬平面。處理器被配置成隨后根據(jù)所述識(shí)別處理，確定操作者的預(yù)定部位是否穿透虛擬平面?？刂破鞅慌渲贸筛鶕?jù)所述確定，控制要操縱的對(duì)象。
文檔編號(hào)G01R33/28GK1595334SQ20041000708
公開(kāi)日2005年3月16日 申請(qǐng)日期2004年2月24日 優(yōu)先權(quán)日2003年2月24日
發(fā)明者丹羽賢一, 佐藤桂 申請(qǐng)人:株式會(huì)社東芝, 東芝醫(yī)療系統(tǒng)株式會(huì)社