本發(fā)明涉及圖像處理裝置、圖像處理系統(tǒng)和圖像處理方法，特別涉及通過連接到網(wǎng)絡(luò)線路而使用的圖像處理裝置、包括通過網(wǎng)絡(luò)連接到圖像處理裝置的具有通信功能的信息處理裝置的圖像處理系統(tǒng)、以及在圖像處理裝置中進行的圖像處理方法。

背景技術(shù)：

近年來，在正常會議和遠程會議中已經(jīng)使用了稱為電子信息板的電子黑板，其中觸摸面板被安裝在諸如液晶顯示器和等離子體顯示器的平板顯示器上或投影儀的投影屏幕上。例如，ptl1公開了一種電子黑板(電子信息板)，其可以通過連接個人計算機(pc)，在屏幕上顯示在pc上顯示的圖像。

技術(shù)實現(xiàn)要素：

技術(shù)問題

但是，當(dāng)在包括ptl1中描述的電子黑板的常規(guī)電子黑板上進行筆畫繪制時，會出現(xiàn)如何區(qū)分當(dāng)在pc等上進行遠程操作時來自點擊操作的點圖像的筆畫與來自電子黑板的其它筆畫。

鑒于上述情況，需要提供一種能夠在進行筆畫繪制的同時在諸如pc的信息處理裝置上遠程進行點擊操作的圖像處理裝置、圖像處理系統(tǒng)和圖像處理方法。

對問題的解決方案

根據(jù)本發(fā)明的示例性實施方式，提供了一種圖像處理裝置，包括：事件獲取單元，其基于屏幕上的操作來獲取筆事件；繪制-點擊確定單元，確定所述筆事件是關(guān)于點圖像的筆畫的事件還是關(guān)于點擊操作的事件；以及倒數(shù)計時器，當(dāng)所述繪制-點擊確定單元接收到確定-目標筆事件以確定時開始計時，其中所述繪制-點擊確定單元當(dāng)計時已經(jīng)結(jié)束、并且所述事件獲取單元獲取了關(guān)于另一筆畫的筆事件時，或者當(dāng)從確定-目標筆事件之前獲取的關(guān)于另一筆畫的筆事件結(jié)束以來的經(jīng)過時間在一定時間段內(nèi)時，確定所述確定-目標筆事件是關(guān)于點圖像的筆畫的事件。

發(fā)明的有益效果

根據(jù)本發(fā)明的示例性實施方式，可以區(qū)分點圖像的筆畫與點擊操作，因此可以在進行筆畫繪制的同時在信息處理裝置上遠程進行點擊操作。

附圖說明

圖1是根據(jù)本發(fā)明的一個實施方式的圖像處理系統(tǒng)的整體配置圖。

圖2是電子黑板的硬件配置圖。

圖3是電子黑板和筆記本個人計算機(pc)的功能框圖。

圖4是圖像層的配置圖。

圖5是示出頁面數(shù)據(jù)的概念圖。

圖6是示出筆畫數(shù)據(jù)的概念圖。

圖7是示出坐標布置(arrangement)數(shù)據(jù)的概念圖。

圖8是示出媒體數(shù)據(jù)的概念圖。

圖9是示出遠程-許可證管理表的概念圖。

圖10是文件處理器的功能框圖。

圖11是示出地址簿管理表的概念圖。

圖12是示出備份數(shù)據(jù)的概念圖。

圖13是示出連接-目的地管理表的概念圖。

圖14是示出參與-點管理表的概念圖。

圖15是服務(wù)器單元和客戶端單元的通信控制器的功能框圖。

圖16是示出操作數(shù)據(jù)的概念圖。

圖17是示出經(jīng)由網(wǎng)絡(luò)線路在筆記本pc與電子黑板之間的連接建立的處理的序列的序列圖。

圖18是示出切換電子黑板的多個信息處理裝置之間的連接的處理的序列的流程圖。

圖19是示出在電子黑板的顯示器上展開并顯示從筆記本pc發(fā)送的圖像的處理的序列的流程圖。

圖20a是用于說明從電子黑板側(cè)通過遠程操作來進行筆記本pc的鼠標操作的處理的圖。

圖20b是用于說明從電子黑板側(cè)通過遠程操作來進行筆記本pc的鍵盤操作的處理的圖。

圖21是示出遠程共享處理和參與處理的開始的序列的序列圖。

圖22是示出在遠程共享處理中共享圖像數(shù)據(jù)的處理的序列的序列圖。

圖23是示出在遠程共享處理中共享操作數(shù)據(jù)的處理的序列的序列圖。

圖24是示出在遠程共享處理中終止參與的處理的序列的序列圖。

圖25是事件分發(fā)單元和筆畫處理器的功能框圖。

圖26是示出當(dāng)接收到下筆(pen-down)的預(yù)覽事件時進行的處理的序列的流程圖。

圖27是示出當(dāng)接收到筆移動的預(yù)覽事件時進行的處理的序列的流程圖。

圖28是示出當(dāng)接收到提筆的預(yù)覽事件時進行的處理的序列的流程圖。

圖29是示出當(dāng)點擊計時器結(jié)束時進行的處理的序列的流程圖。

圖30a是示出用于說明點擊事件的處理的時序圖的一個示例的圖。

圖30b是示出用于說明點擊事件的處理的時序圖的一個示例的圖。

圖30c是示出用于說明點擊事件的處理的時序圖的一個示例的圖。

具體實施方式

下面基于圖1到30的描述本發(fā)明的一個示例性實施方式。然而，實施方式中描述的組成元件、類型、組合、形狀和相對位置并不旨在將本發(fā)明的范圍限制于這些，而僅僅是說明性示例，除非另有具體描述。

圖像處理系統(tǒng)1的概要

首先，將描述圖像處理系統(tǒng)1的概要。

在圖1中，示出了根據(jù)實施方式的圖像處理系統(tǒng)1的配置。圖像處理系統(tǒng)1包括作為連接成能夠經(jīng)由作為網(wǎng)絡(luò)線的通信網(wǎng)絡(luò)9彼此通信的圖像處理裝置的多個(圖1中的兩個)的電子黑板2a和2b、pc(pc)8以及作為信息處理裝置的筆記本計算機(筆記本pc)11。圖像處理系統(tǒng)1可以通過包括但不限于兩個、三個或更多個電子黑板來配置。在本實施方式中，作為一個例子，通信網(wǎng)絡(luò)9被假設(shè)為公司無線lan。

電子黑板2a(2b)包括作為顯示單元的顯示器3a(3b)。雖然顯示器3a(3b)是作為圖像處理裝置的電子黑板2a(2b)的組成元件，但是在圖中與電子黑板等分離地示出了顯示器，為方便說明。顯示器3a(3b)配有電子筆4a(4b)、usb存儲器5a(5b)等。電子黑板2a(2b)與連接的是筆記本pc6a(6b)、電視(視頻)會議終端7a(7b)等。

顯示器3a(3b)是具有多層中布置的多個顯示面板(層)的多層顯示器，并且通過在各層上顯示彼此不同的圖像，來向用戶顯示其中那些圖像被疊加的單個圖像(見圖4)。顯示器3a(3b)是配備有由一種類型的觸摸面板組成的稍后描述的接觸傳感器的觸摸面板顯示器。顯示器3a(3b)可以用電子筆4a(4b)的筆尖或筆頂檢測其屏幕上的接觸(觸摸)等事件，并且在屏幕上顯示由該事件繪制的圖像。顯示器3a(3b)還可以檢測用用戶的手ha(hb)等的諸如輕拂、輕劃和捏合(捏小/擴大(in/out))的手勢，并且可以擴展和減少屏幕上顯示的圖像并且翻轉(zhuǎn)(更改)頁面。

usb存儲器5a(5b)可以連接到顯示器3a(3b)。電子黑板2a(2b)可以從連接到顯示器3a(3b)的usb存儲器5a(5b)中讀出諸如pdf文件的電子文件，并將電子文件寫入usb存儲器5a(5b)。

筆記本pc6a(6b)經(jīng)由電纜10a1(10b1)連接到電子黑板2a(2b)，電纜10a1(10b1)能夠進行符合諸如displayport、數(shù)字可視界面(dvi)、高分辨率多媒體接口(hdmi，注冊商標)和視頻圖形陣列(vga)的標準的通信。因此，可以將由顯示器3a(3b)檢測到的事件信息(事件的檢測結(jié)果)發(fā)送到筆記本pc6a(6b)。電視(視頻)會議終端7a(7b)還經(jīng)由能夠進行符合相同標準的通信的電纜10a2(10b2)連接到電子黑板2a(2b)。筆記本pc6a(6b)和電視會議終端7a(7b)可以通過符合諸如藍牙(注冊商標)的各種無線通信協(xié)議的無線通信連接到電子黑板2a(2b)。

筆記本pc11以無線方式(或以有線的方式)連接到通信網(wǎng)絡(luò)9。筆記本pc11包括如圖3所示的作為第一通信控制器的第一遠程-屏幕傳送通信控制器77、圖像發(fā)送單元78和事件接收單元79。對于筆記本pc11，使用具有通信功能的通用筆記本pc。第一遠程-屏幕傳送通信控制器77是控制經(jīng)由通信網(wǎng)絡(luò)9在筆記本pc11和電子黑板2a(2b)之間進行的通信的控制器。第一遠程-屏幕傳送通信控制器77對稍后描述的客戶端單元(客戶端設(shè)備)20的第二遠程-屏幕傳送通信控制器87進行用于連接建立(包括連接認證處理)的后續(xù)處理，并且當(dāng)建立連接，指示圖像發(fā)送單元78將圖像數(shù)據(jù)(例如，顯示在筆記本pc11的屏幕上的圖像的數(shù)據(jù))傳送到電子黑板(客戶端單元)。稍后將描述在第一遠程-屏幕傳送通信控制器77和稍后描述的電子黑板2a(2b)的第二遠程-屏幕傳送通信控制器87之間進行的連接建立的處理的細節(jié)。

圖像發(fā)送單元78將由第一遠程-屏幕傳送通信控制器77指示的圖像的數(shù)據(jù)發(fā)送到電子黑板2a(2b)。

事件接收單元79從電子黑板2a(2b)的稍后描述的事件發(fā)送單元89接收關(guān)于鼠標事件或鍵盤事件的信息。與所接收到的關(guān)于事件的信息相對應(yīng)的操作將由筆記本pc11的操作系統(tǒng)(os)進行。

在上述配置的圖像處理系統(tǒng)1中，兩個電子黑板2a和2b經(jīng)由通信網(wǎng)絡(luò)9彼此通信，從而在電子黑板2a的顯示器3a上繪制的圖像可以被顯示在電子黑板2b的顯示器3b上。此外，在電子黑板2a的顯示器3b上繪制的圖像也可以被顯示在電子黑板2a的顯示器3a上。如上所述，在圖像處理系統(tǒng)1中，可以進行遠程共享處理，其中在兩個遠距離的電子黑板2a和2b之間共享相同的圖像。稍后將描述在圖像處理系統(tǒng)1中進行的遠程共享處理的細節(jié)。

在下面的描述中，當(dāng)指示多個電子黑板中的任何期望的電子黑板時，簡單地將其簡稱為“電子黑板2”。以同樣的方式，描述了“顯示器3”、“電子筆4”、“usb存儲器5”、“筆記本pc6”、“電視會議終端7”、“手h”和“電纜10”。

電子黑板2的硬件配置

接下來，將描述電子黑板2的硬件配置。

在圖2中，示出了電子黑板2的硬件配置。電子黑板2包括控制電子黑板的整體操作的cpu101；其中存儲用于驅(qū)動cpu101的諸如初始程序加載器(ipl)的計算機程序的rom102；用作cpu101的工作區(qū)域的ram103；固態(tài)驅(qū)動器(ssd)104，其中存儲諸如計算機程序的各種數(shù)據(jù)；網(wǎng)絡(luò)控制器105，其控制經(jīng)由通信網(wǎng)絡(luò)9(參見圖1)與其它電子黑板等的通信；外部存儲控制器106，其控制與連接到顯示器3的usb存儲器5的通信；捕獲裝置111，其在筆記本pc6的顯示器上顯示作為靜止圖像或運動圖像的視頻信息；圖形處理單元(gpu)112，其進行圖形所需的圖像數(shù)據(jù)處理；顯示控制器113，其進行屏幕顯示的控制和管理以在顯示器3、電視會議終端7等上顯示來自gpu112的輸出圖像；接觸傳感器115，其在顯示器3上檢測電子筆4、用戶的手h等的接觸(觸摸)；傳感器控制器114，其控制接觸傳感器115；以及電子筆控制器116，其與電子筆4進行通信并檢測顯示器3上的觸摸。

在上述各種構(gòu)成單元中，cpu101、rom102、ram103、ssd104、網(wǎng)絡(luò)控制器105、外部存儲控制器106、捕獲裝置111、gpu112、傳感器控制器114和電子筆控制器116連接到總線線路120，例如地址總線和數(shù)據(jù)總線，用于電連接。

接觸傳感器115是一種觸摸面板，其檢測通過電子筆4等在顯示器3上進行的輸入操作以及通過紅外掃描方法(也稱為紅外線中斷檢測方法)檢測其位置坐標。在紅外線中斷檢測方法中，設(shè)置在顯示器3的上側(cè)的兩端部的兩個發(fā)發(fā)射和接收裝置(未示出)發(fā)射與屏幕平行的多個紅外線，并且接收設(shè)置在屏幕的外圍的反射部件上反射的光。當(dāng)電子筆4等與屏幕接觸時，由兩個光發(fā)射和接收設(shè)備每個發(fā)射的單個紅外線的光路徑被中斷，并且紅外線的那些中斷被兩個光發(fā)射和接收設(shè)備檢測到。接觸傳感器115識別中斷的紅外線，并將其標識(id)輸出到傳感器控制器114。傳感器控制器114通過使用接收到的id來識別電子筆4等的接觸(即，輸入操作)，并且識別其位置坐標。

作為接觸傳感器115的檢測方法，不限于紅外線中斷檢測方法，也可以采用各種檢測方法，例如使用通過檢測電容變化來識別輸入操作及其位置坐標的電容式觸摸面板電、檢測兩個相對的電阻膜的電壓變化的電阻式觸摸面板、檢測在專用電子筆和屏幕之間產(chǎn)生的電磁感應(yīng)的電磁感應(yīng)觸摸面板等。

雖然電子筆控制器116被配置為檢測用電子筆4的筆尖和筆頂在顯示器3上的觸摸的存在，但是并不限于此，并且可以將其配置為進一步檢測用把手部分和其它部分的觸摸的存在。

諸如存儲在ssd104中的計算機程序的各種類型的數(shù)據(jù)可以被配置為被存儲(記錄)在諸如cd-rom的信息記錄介質(zhì)中。

電子黑板2的功能配置

接下來，將描述電子黑板2的功能配置。電子黑板2成為首先啟動遠程共享處理的“主機設(shè)備”，并且也成為稍后參與已經(jīng)啟動的遠程共享處理的“參與設(shè)備”。

在圖3中，示出了電子黑板2的整體的功能配置。電子黑板2的功能大致分為客戶端單元(客戶端設(shè)備)20和服務(wù)器單元(服務(wù)器)90。這些功能由上述硬件配置中的組成單元和各種計算機程序來實現(xiàn)。服務(wù)器單元90通過經(jīng)由通信網(wǎng)絡(luò)9向客戶端單元20提供諸如遠程共享處理所需的信息的服務(wù)來主管遠程共享處理。同時，客戶端單元20通過從服務(wù)器單元90接收關(guān)于遠程共享處理的服務(wù)來參與遠程共享處理。

本實施方式中的電子黑板2具有客戶端單元20和服務(wù)器單元90的功能。因此，構(gòu)成圖像處理系統(tǒng)1的電子黑板2a和2b兩者可以是參與設(shè)備，并且可以是主機設(shè)備。然而，雖然在成為主機設(shè)備的電子黑板2中激活了客戶端單元20和服務(wù)器單元90的兩個功能，但是在成為參與設(shè)備的電子黑板2中只有客戶端單元20被激活。因此，當(dāng)電子黑板2a是主機設(shè)備、電子黑板2b是參與設(shè)備時，例如在遠程共享處理中，電子黑板2a中的服務(wù)器單元90提供關(guān)于處理的服務(wù)，并且電子黑板2a中的客戶端單元20經(jīng)由同一電子黑板2a的服務(wù)器單元90與電子黑板2b的客戶端單元20進行通信，電子黑板2b的客戶端單元20經(jīng)由電子黑板2a的服務(wù)器單元90與電子黑板2a的客戶端單元20進行通信。

客戶端單元20的功能配置

接下來，將描述客戶端單元20的功能配置?？蛻舳藛卧?0包括視頻獲取單元21、坐標檢測器22、自動調(diào)整單元23、接觸檢測器24、按鍵-事件輸入單元91、作為事件獲取單元的事件分發(fā)單元25、操作處理器26、手勢處理器27、視頻疊加單元28、圖像處理器30和通信控制器60。除此之外，客戶端單元20還包括與連接到通信網(wǎng)絡(luò)9的信息處理裝置進行的通信相關(guān)的部分，而不連接到諸如圖3所示的筆記本pc11的其它電子黑板。這樣的部分包括作為第二通信控制器(和通信控制器)的第二遠程-屏幕傳送通信控制器87、作為圖像數(shù)據(jù)接收單元的圖像接收單元88、和事件發(fā)送單元89。

視頻獲取單元21從諸如經(jīng)由電纜10連接到電子黑板2的筆記本pc6的視頻輸出裝置獲取輸出視頻(圖像信號)。此外，視頻獲取單元21分析所獲取的圖像信號，并提取諸如視頻輸出裝置的顯示圖像(圖像幀)的分辨率、更新的頻率等的圖像信息。所獲取的圖像信號和圖像信息被輸出到稍后將描述的圖像處理器30(圖像獲取單元31)。

坐標檢測器22檢測用戶生成的事件(用電子筆4的筆尖或筆頂在顯示器3上的觸摸等)的位置坐標。坐標檢測器22進一步檢測顯示器3上的觸摸區(qū)域的大小。這些檢測結(jié)果被輸出到事件分發(fā)單元25。

自動調(diào)整單元23在啟動電子黑板2時被激活，并且在接觸傳感器115的紅外掃描方法中調(diào)整信號處理等的各種參數(shù)，使得坐標檢測器22可以檢測具有適當(dāng)分辨率的諸如觸摸的事件的位置坐標。

接觸檢測器24檢測用戶產(chǎn)生的事件(用電子筆4的筆尖或筆底部在顯示器3上的觸摸等)。檢測結(jié)果被輸出到事件分發(fā)單元25。

當(dāng)用戶對顯示在電子黑板2的顯示器3上的鍵盤進行輸入操作時，按鍵-事件輸入單元91檢測由輸入操作產(chǎn)生的鍵盤事件。由按鍵-事件輸入單元91檢測到的鍵盤事件被輸出到事件分發(fā)單元25。

事件分發(fā)單元25確定將電子黑板2和經(jīng)由通信網(wǎng)絡(luò)9連接的外部設(shè)備(本實施方式中的筆記本pc11)中的哪個設(shè)置為操作目標設(shè)備。在實踐中，當(dāng)進行鼠標輸入(電子筆4的觸摸輸入和手h的輸入)或鍵盤輸入時，在顯示器3的屏幕上顯示用于設(shè)置操作目標設(shè)備的按鈕(或用于選擇的按鈕)，且用戶用例如電子筆4點擊按鈕，從而進行操作目標設(shè)備的設(shè)置。事件分發(fā)單元25基于坐標檢測器22和接觸檢測器24的檢測結(jié)果來識別操作目標設(shè)備的設(shè)置。由于用戶的鼠標輸入或鍵盤輸入是在操作目標設(shè)備已經(jīng)被設(shè)置的狀態(tài)下進行的，所以目標設(shè)備的指定命令可以被包含在鼠標輸入或鍵盤輸入的一部分中。在任何事件中，當(dāng)事件分發(fā)單元25確定筆記本pc11(信息處理裝置)被設(shè)置為操作目標設(shè)備時，事件分發(fā)單元25發(fā)送鼠標事件(關(guān)于筆畫繪制、ui操作、和對應(yīng)于鼠標輸入的手勢操作的每個事件)或鍵盤事件的信息發(fā)送到事件發(fā)送單元89(參見圖20a和圖20b)。

同時，當(dāng)事件分發(fā)單元25確定電子黑板2被設(shè)置為操作目標設(shè)備時，事件分發(fā)單元25將關(guān)于鼠標事件或鍵盤事件的信息發(fā)送到操作處理器26、手勢處理器27、和筆畫處理器32。更詳細地，事件分發(fā)單元25基于由坐標檢測器22檢測到的事件的位置坐標、由接觸檢測器24檢測到的檢測結(jié)果和來自按鍵-事件輸入單元91的鍵盤事件來確定輸入事件的類型。具體地說，事件分發(fā)單元25確定筆畫繪制、ui操作和手勢操中的哪一個是輸入事件，并且根據(jù)確定結(jié)果，將關(guān)于事件的信息分發(fā)并輸出到圖像處理器30(筆畫處理器32)、操作處理器26和手勢處理器27中的任何一個。

當(dāng)在顯示器3上顯示稍后描述的筆畫圖像(b)時，筆畫繪制是通過用戶將電子筆4按壓到顯示器3上來在顯示器3上繪制筆畫、在顯示器3上在該狀態(tài)中滑動電子筆4、最后將電子筆4與顯示器3分開的事件。筆畫繪制不僅包括繪制筆畫，還包括刪除已經(jīng)繪制的筆畫的事件和編輯已繪制的筆畫的事件。

當(dāng)在顯示器3上顯示稍后描述的ui圖像(a)時，ui操作是用戶用電子筆4、手h等按下某一位置的事件。通過ui操作，設(shè)置例如由電子筆4繪制的線的顏色、寬度等。通過ui操作，還進行上述操作目標設(shè)備等的設(shè)置。

當(dāng)在顯示器3上顯示稍后描述的筆畫圖像(b)時，手勢操作是用戶通過手h觸摸顯示器3并滑動它來進行諸如輕拂、輕劃和捏合(捏小/擴大)的手勢的事件。通過手勢操作，例如可以進行圖像的擴展(或縮小)、顯示區(qū)域的改變或頁面的切換。

操作處理器26接收關(guān)于由事件分發(fā)單元25確定為ui操作的事件的信息，并且根據(jù)導(dǎo)致事件的ui的元素進行上述各種操作。ui的元素例如包括按鈕(包括用于設(shè)置操作目標設(shè)備的上述按鈕)、列表、復(fù)選框和文本框。

手勢處理器27接收關(guān)于由事件分發(fā)單元25確定為手勢操作的事件的信息，并且進行對應(yīng)于該信息的操作(擴展或縮小圖像、顯示區(qū)域的改變或頁面的切換)。

視頻疊加單元28在顯示器3上顯示由稍后描述的圖像處理器30(顯示疊加單元36)疊加(布局)的圖像。此外，視頻疊加單元28在整個顯示器3上顯示經(jīng)由圖像處理器30從視頻輸出設(shè)備(筆記本pc6等)發(fā)送的視頻，并且在顯示器3的一部分上分別顯示從其它視頻輸出設(shè)備(電視會議終端7等)發(fā)送的視頻(被稱為畫中畫)。視頻疊加單元28進一步切換到在顯示器3的整個上顯示畫中畫顯示的顯示。

第二遠程-屏幕傳送通信控制器87進行包括與經(jīng)由通信網(wǎng)絡(luò)9連接的筆記本pc11的第一遠程-屏幕傳送通信控制器77的連接認證處理的用于連接建立的處理。稍后將描述用于連接建立的處理。

圖像接收單元88從已經(jīng)建立與電子黑板2的連接的筆記本pc11的圖像發(fā)送單元78接收經(jīng)由通信網(wǎng)絡(luò)9發(fā)送的圖像數(shù)據(jù)。作為這種情況下的圖像數(shù)據(jù)，例如通常可以想到在筆記本pc11的屏幕上顯示的圖像的數(shù)據(jù)。圖像接收單元88將接收的圖像數(shù)據(jù)發(fā)送到圖像處理器30的稍后描述的遠程-圖像獲取單元92。

如圖20a中的步驟s72所示，事件發(fā)送單元89將關(guān)于從事件分發(fā)單元25接收的鼠標事件的信息發(fā)送到筆記本pc11的事件接收單元79。此外，如圖20b中的步驟s74所示，事件發(fā)送單元89將關(guān)于從事件分發(fā)單元25接收到的鍵盤事件的信息發(fā)送到筆記本pc11的事件接收單元79。因此，通過筆記本pc11的操作系統(tǒng)(os)，進行與關(guān)于屏幕上接收的事件的信息對應(yīng)的鼠標操作或鍵盤操作。

圖像處理器30

圖像處理器30進行疊加圖像(圖像層)等的處理。圖像處理器30包括圖像獲取單元31、筆畫處理器32、ui圖像生成器33、背景生成器34、布局管理單元35、遠程-圖像獲取單元92、顯示疊加單元36、頁面處理器37、頁面-數(shù)據(jù)存儲單元300、遠程-許可證管理表310和文件處理器40。

圖像獲取單元31從由視頻獲取單元21獲取的輸出視頻中獲取其中包含的每個幀作為圖像，并將其輸出到顯示疊加單元36。該圖像對應(yīng)于來自圖4所示的視頻輸出設(shè)備(筆記本pc6等)的輸出圖像(c)。

筆畫處理器32接收關(guān)于由事件分發(fā)單元25確定為筆畫繪制(使用電子筆4或手h繪制的筆畫)的事件的信息；繪制、刪除和編輯由筆畫繪制的圖像(筆畫圖像)；并將其圖像數(shù)據(jù)和筆畫數(shù)據(jù)輸出到顯示疊加單元36和頁面處理器37。由筆畫繪制的圖像對應(yīng)于圖4所示的筆畫圖像(b)。筆畫圖像的繪制、刪除和編輯的各個結(jié)果存儲在操作-數(shù)據(jù)存儲單元840(參見圖15)中作為操作數(shù)據(jù)。

ui圖像生成器33生成在電子黑板2中預(yù)先設(shè)置的用戶界面(ui)圖像，并將其輸出到顯示疊加單元36。該ui圖像對應(yīng)于圖4所示的ui圖像(a)。

背景生成器34從頁面處理器37接收頁面處理器37從頁面-數(shù)據(jù)存儲單元300讀出的頁面數(shù)據(jù)中包含的媒體數(shù)據(jù)。背景生成器34將接收到的媒體數(shù)據(jù)輸出到顯示疊加單元36。通過媒體數(shù)據(jù)得到的圖像對應(yīng)于圖4所示的背景圖像(d)。背景圖像(d)的圖案為空白、網(wǎng)格顯示等。

布局管理單元35管理關(guān)于布局的信息(布局信息)，該布局指定從圖像獲取單元31和筆畫處理器32輸出的輸出圖像(c)和筆畫圖像(b)相對于從ui圖像生成器33和背景生成器34輸出的ui圖像(a)和背景圖像(d)的布置方式(顯示在哪個位置)，或者指定它們不顯示。該布局信息被輸出到顯示疊加單元36。

遠程-圖像獲取單元92從由圖像接收單元88獲取的輸出視頻中獲取每幀作為圖像，并將其輸出到稍后將描述的顯示疊加單元36。該圖像對應(yīng)于來自信息處理裝置(筆記本pc11等)的輸出圖像(參照圖4中的(c))。

顯示疊加單元36根據(jù)從布局管理單元35輸出的布局信息，布局從ui圖像生成器33輸出的ui圖像(a)、從筆畫處理器32輸出的筆畫圖像(b)、從圖像獲取單元31或遠程-圖像獲取單元92輸出的輸出圖像(c)和從背景生成器34輸出的背景圖像(d)，并分別地從顯示器3的近側(cè)(用戶側(cè))開始依次在第一至第四顯示面板(層)上顯示。因此，如圖4所示，這四個圖像從用戶側(cè)開始按照ui圖像(a)、筆畫圖像(b)、輸出圖像(c)和背景圖像(d)的序列疊加。

顯示疊加單元36還可以根據(jù)從布局管理單元35輸出的布局信息，適當(dāng)?shù)貙⑤敵鰣D像(c)和背景圖像(d)中的每一個轉(zhuǎn)換為不顯示。例如，當(dāng)視頻輸出設(shè)備(筆記本pc6等)的連接丟失時，顯示疊加單元36將輸出圖像(c)轉(zhuǎn)換為不顯示，并從顯示器3的近側(cè)(用戶側(cè))開始在第一、第二和第四顯示面板(層)上分別顯示ui圖像(a)、筆畫圖像(b)和背景圖像(d)。因此，顯示從用戶側(cè)開始的以ui圖像(a)、筆畫圖像(b)和背景圖像(d)的序列重疊的三個圖像。顯示疊加單元36進一步進行圖像的顯示區(qū)域的擴展、縮小和移動的處理。稍后將描述在顯示器3上擴展和顯示從筆記本pc11發(fā)送的圖像的處理。

頁面處理器37將筆畫圖像(b)的數(shù)據(jù)和輸出圖像(c)的數(shù)據(jù)合在一起成為單個頁面數(shù)據(jù)，并將其存儲在頁面-數(shù)據(jù)存儲單元300中。筆畫圖像(b)的數(shù)據(jù)構(gòu)成作為圖5所示的筆畫-布置數(shù)據(jù)id示出的筆畫布置數(shù)據(jù)(每個筆畫數(shù)據(jù))的頁面數(shù)據(jù)的一部分。輸出圖像(c)的數(shù)據(jù)構(gòu)成作為由圖5所示的媒體數(shù)據(jù)id指示的媒體數(shù)據(jù)的頁面數(shù)據(jù)的一部分。當(dāng)從頁面-數(shù)據(jù)存儲單元300讀出時，將媒體數(shù)據(jù)作為背景圖像(d)的數(shù)據(jù)進行處理。

頁面處理器37經(jīng)由背景生成器34將一旦存儲的頁面數(shù)據(jù)中的媒體數(shù)據(jù)發(fā)送到顯示疊加單元36，從而視頻疊加單元28可以刷新顯示器3上的背景圖像(d)的顯示。頁面處理器37將頁面數(shù)據(jù)中的筆畫布置數(shù)據(jù)(每個筆畫數(shù)據(jù))返回到筆畫處理器32，從而能夠使筆畫處于可以進行重新編輯的狀態(tài)。此外，頁面處理器37還可以刪除和復(fù)制頁面數(shù)據(jù)。

也就是說，在頁面處理器37將頁面數(shù)據(jù)存儲在頁面-數(shù)據(jù)存儲單元300中時，顯示在顯示器3上的輸出圖像(c)的數(shù)據(jù)被存儲在頁面-數(shù)據(jù)存儲單元300中，并且當(dāng)隨后從頁面-數(shù)據(jù)存儲單元300中讀出時，其被讀出作為指示背景圖像(d)的媒體數(shù)據(jù)。頁面處理器37然后將從頁面-數(shù)據(jù)存儲單元300讀出的頁面數(shù)據(jù)中的、指示筆畫圖像(b)的筆畫布置數(shù)據(jù)輸出到筆畫處理器32。頁面處理器37還將從頁面-數(shù)據(jù)存儲單元300讀出的頁面數(shù)據(jù)中的指示背景圖像(d)的媒體數(shù)據(jù)輸出到背景生成器34。

在圖中。在圖5中，示出了頁面數(shù)據(jù)的一個示例。頁面數(shù)據(jù)是顯示器3上顯示的單個頁面的數(shù)據(jù)，即在顯示器3上顯示筆畫圖像(b)的筆畫布置數(shù)據(jù)(每個筆畫數(shù)據(jù))以及在顯示器3上顯示背景圖像(d)的媒體數(shù)據(jù)。頁面數(shù)據(jù)包括標識頁面的頁面數(shù)據(jù)id；該頁面的顯示開始的時間(開始時間)；通過筆畫、手勢等結(jié)束頁面數(shù)據(jù)的更新的時間(結(jié)束時間)；筆畫-布置數(shù)據(jù)id，其標識通過使用電子筆4、手h等由筆畫生成的筆畫布置數(shù)據(jù)；以及標識媒體數(shù)據(jù)的媒體數(shù)據(jù)id。

在圖6中，示出了筆畫布置數(shù)據(jù)的一個示例。單個筆畫布置數(shù)據(jù)由多個筆畫數(shù)據(jù)組成。針對通過使用電子筆4繪制的每個筆畫產(chǎn)生筆畫數(shù)據(jù)。因此，當(dāng)繪制字母“s”時，需要一個筆畫，因此筆畫圖像由單個筆畫數(shù)據(jù)再現(xiàn)。當(dāng)繪制字母“t”時，需要兩個筆畫，因此筆畫圖像由兩個筆畫數(shù)據(jù)再現(xiàn)。

每個筆畫數(shù)據(jù)由標識該筆畫數(shù)據(jù)的筆畫數(shù)據(jù)id、繪制筆畫開始的時間(開始時間)和繪制結(jié)束的時間(結(jié)束時間)、筆畫的顏色和寬度以及用于標識包括關(guān)于經(jīng)過點的信息的坐標布置數(shù)據(jù)的坐標布置數(shù)據(jù)id。

在圖7中，示出了坐標布置數(shù)據(jù)的一個例子。坐標布置數(shù)據(jù)包括對應(yīng)于一個筆畫的、關(guān)于以規(guī)則的時間間隔從筆畫的開始到結(jié)束已經(jīng)經(jīng)過的多個經(jīng)過點的信息。坐標數(shù)據(jù)包括顯示器3上的位置坐標(x坐標和y坐標)、筆畫經(jīng)過位置坐標的點的時間(相對于筆畫的開始時間的差時間)、以及電子筆4的筆壓力。

在圖8中，示出了媒體數(shù)據(jù)的一個示例。媒體數(shù)據(jù)是關(guān)于在記錄頁面數(shù)據(jù)時顯示在顯示器3上的圖像信息(筆畫圖像(b)和背景圖像(d))的信息的數(shù)據(jù)，并且包括數(shù)據(jù)類型、記錄時間、關(guān)于圖像的布局的數(shù)據(jù)(稱為布局數(shù)據(jù))和數(shù)據(jù)內(nèi)容。例如，當(dāng)在顯示器3上沒有顯示背景圖像(d)并且僅顯示筆畫圖像(b)時，僅該筆畫圖像(b)的數(shù)據(jù)被包括在媒體數(shù)據(jù)中，并且當(dāng)在顯示器3上顯示背景圖像(d)和筆畫圖像(b)兩者時，兩者的數(shù)據(jù)被包括在媒體數(shù)據(jù)中。

返回參考圖3，遠程-許可證管理表310管理進行遠程共享處理所需的許可證數(shù)據(jù)。在圖中。參考圖9，示出了遠程-許可證管理表的一個示例。遠程-許可證管理表包括電子黑板2的產(chǎn)品id、用于認證的許可證id和許可證的到期日期。

文件處理器40的功能配置

接下來，將描述文件處理器40的功能配置。

在圖10中，示出了文件處理器40的功能配置。文件處理器40包括恢復(fù)處理器41、文件轉(zhuǎn)換器43、文件輸入單元42a、文件輸出單元42b、文件發(fā)送單元44、地址簿輸入單元45、備份處理器46、備份輸出單元47、設(shè)置管理單元48、配置文件輸出單元49b、配置文件輸入單元49a和地址簿輸入單元50。文件處理器40還包括存儲和管理各種數(shù)據(jù)的地址簿管理表410、備份數(shù)據(jù)存儲單元420、配置-文件存儲單元430和連接-目的地管理表440。

當(dāng)電子黑板2因電力中斷而異常地終止時，恢復(fù)處理器41檢測出異常終止并恢復(fù)未保存的頁面數(shù)據(jù)。即使當(dāng)電子黑板2異常終止時，頁面數(shù)據(jù)也已被存儲并保留在頁面-數(shù)據(jù)存儲單元300中。因此，恢復(fù)處理器41在電源接通時通過從頁面-數(shù)據(jù)存儲單元300讀出來恢復(fù)頁面數(shù)據(jù)。

文件轉(zhuǎn)換器43讀出在頁面-數(shù)據(jù)存儲單元300中的以頁為單位存儲的頁面數(shù)據(jù)(參見圖5)，并將其轉(zhuǎn)換為pdf文件。當(dāng)多個頁面數(shù)據(jù)被存儲在頁面-數(shù)據(jù)存儲單元300中時，它們被單獨地轉(zhuǎn)換成多個pdf文件(即，以頁為單位)或被一體化地轉(zhuǎn)換成單個pdf文件。轉(zhuǎn)換的pdf文件被輸出到備份處理器46。

文件輸入單元42a從usb存儲器5讀入pdf文件，轉(zhuǎn)變(轉(zhuǎn)換)以頁面為單位存儲的筆畫圖像(b)和背景圖像(d)以及布局數(shù)據(jù)(參見圖8)的相應(yīng)數(shù)據(jù)為頁面數(shù)據(jù)，并將頁面數(shù)據(jù)存儲在頁面-數(shù)據(jù)存儲單元300中。當(dāng)多個pdf文件被存儲在usb存儲器5中時，它們中的所有頁面數(shù)據(jù)都被轉(zhuǎn)變。

文件輸出單元42b在usb存儲器5中存儲從文件轉(zhuǎn)換器43輸出的pdf文件。

文件發(fā)送單元44將從文件轉(zhuǎn)換器43輸出的pdf文件通過將其附加到電子郵件上以發(fā)送。在地址簿管理表410中管理電子郵件的目的地(電子郵件地址)。在圖中。在圖11中，示出了地址簿管理表410的一個示例。在地址簿管理表410中，將收件人的姓名和電子郵件地址彼此相關(guān)聯(lián)地放在一起。地址簿管理表410的內(nèi)容由顯示疊加單元36顯示在顯示器3上，用戶通過觀察該顯示并操作諸如觸摸屏的輸入設(shè)備來選擇目的地的電子郵件地址。用戶還可以通過操作諸如觸摸面板的輸入設(shè)備來輸入目的地的電子郵件地址。文件發(fā)送單元44確定所選擇或輸入的電子郵件地址是目的地。

地址簿輸入單元45從usb存儲器5讀入作為電子郵件地址列表的地址簿(例如，csv格式的電子文件)，并將該內(nèi)容存儲在地址簿管理表410中。

備份處理器46通過從文件轉(zhuǎn)換器43接收pdf文件并將其存儲在備份數(shù)據(jù)存儲單元420中來進行備份。在圖12中，示出了備份數(shù)據(jù)的一個示例。備份數(shù)據(jù)以pdf格式存儲為文件(pdf文件)。當(dāng)備份由用戶設(shè)置時進行備份處理，并且在未設(shè)置的情況下不進行備份處理。

備份輸出單元47將存儲在備份數(shù)據(jù)存儲單元420中的pdf文件存儲在usb存儲器5中。在存儲時，為了安全起見，需要用戶通過操作諸如觸摸面板的輸入設(shè)備來輸入密碼。存儲在usb存儲器5中的pdf文件可以由前述文件輸入單元42a讀取。

設(shè)置管理單元48通過將其存儲在配置-文件存儲單元430中并從其讀出來管理關(guān)于電子黑板2的各種類型的設(shè)置信息。關(guān)于電子黑板2的設(shè)置信息例如包括關(guān)于網(wǎng)絡(luò)設(shè)置、時間和日期設(shè)置、區(qū)域和語言設(shè)置、郵件服務(wù)器設(shè)置、地址簿設(shè)置、連接目的地列表設(shè)置和備份設(shè)置的信息。例如，網(wǎng)絡(luò)設(shè)置包括電子黑板2的ip地址設(shè)置、網(wǎng)絡(luò)掩碼設(shè)置、默認網(wǎng)關(guān)設(shè)置和域名系統(tǒng)(dns)設(shè)置。

配置文件輸出單元49b將關(guān)于電子黑板2的上述各種類型的設(shè)置信息存儲在usb存儲器5中作為配置文件。通過安全性，用戶不能看到配置文件的內(nèi)容。

配置文件輸入單元49a從usb存儲器5讀入配置文件，并將其內(nèi)容輸出到設(shè)置管理單元48。因此，各種設(shè)置信息被反映在電子黑板2的各種設(shè)置中。

地址簿輸入單元50從usb存儲器5讀入作為遠程共享處理中的目的地ip地址的列表的連接目的地列表(例如，csv格式的電子文件)，并將其存儲在連接-目的地管理表440中。連接-目的地管理表440是預(yù)先存儲電子黑板2的ip地址的表，以當(dāng)電子黑板2是參與設(shè)備(后來參與已經(jīng)啟動的遠程共享處理的電子黑板2)時節(jié)省用戶輸入主機設(shè)備(啟動遠程共享處理的電子黑板2)的ip地址的時間。

在圖13中，示出了連接-目的地管理表440的一個示例。在連接-目的地管理表440中，將用作主機設(shè)備的電子黑板2的名稱(在本例中，通過使用安裝電子黑板2的位置的名稱給出)和ip地址相互關(guān)聯(lián)地放在一起。

代替使用連接-目的地管理表440，可以配置其為使得參與設(shè)備的用戶通過操作諸如觸摸面板的輸入設(shè)備逐個輸入主機設(shè)備的ip地址。在這種情況下，參與設(shè)備的用戶需要通過電話、電子郵件等從主機設(shè)備的用戶知道主機設(shè)備的ip地址。

通信控制器60的功能配置

接下來，將描述通信控制器60的功能配置。

在圖15中，通信控制器60的功能配置與服務(wù)器單元90的功能配置一起示出。通信控制器60控制經(jīng)由通信網(wǎng)絡(luò)9與其它電子黑板2進行的通信。如圖15所示，通信控制器60包括遠程啟動處理器61、遠程參與處理器62、遠程-圖像發(fā)送單元63、遠程-圖像接收單元64、遠程-操作發(fā)送單元65、遠程-操作接收單元66和參與-點管理表610。

遠程啟動處理器61請求稍后描述的服務(wù)器單元90新啟動遠程共享處理，并從服務(wù)器單元90接收請求的結(jié)果。在請求之前，遠程啟動處理器61參照遠程-許可證管理表310，并檢查許可證信息(電子黑板2的產(chǎn)品id、許可證id和許可證的到期日期)是否被管理。遠程啟動處理器61僅在許可證信息被管理時請求遠程共享處理的啟動，并且在不被管理時不請求它。

遠程參與處理器62經(jīng)由通信網(wǎng)絡(luò)9從主機設(shè)備(已經(jīng)啟動遠程共享的電子黑板2)的服務(wù)器單元90(遠程-連接請求接收單元71)請求參與遠程共享處理處理，并從服務(wù)器單元90接收請求的結(jié)果。在請求之前，遠程參與處理器62參考遠程-許可證管理表310。遠程參與處理器62還參考連接-目的地管理表440并獲取主機設(shè)備的ip地址。代替遠程參與處理器62參考連接-目的地管理表440，可以將其配置為使得用戶通過操作諸如觸摸面板的輸入設(shè)備逐個輸入主機設(shè)備的ip地址。

遠程-圖像發(fā)送單元63分別經(jīng)由圖像獲取單元31或遠程-圖像獲取單元92向服務(wù)器單元90(遠程-圖像接收單元73)發(fā)送從視頻獲取單元21(見圖3)或圖像接收單元88(見圖3)發(fā)送的輸出圖像(c)。

遠程-圖像接收單元64從服務(wù)器單元90(遠程-圖像發(fā)送單元74)接收來自連接到另一電子黑板2的視頻輸出設(shè)備的輸出圖像(圖像信號)，并將其輸出到顯示疊加單元36。因此，可以進行遠程共享處理。

遠程-操作發(fā)送單元65向服務(wù)器單元90(遠程-操作接收單元75)發(fā)送遠程共享處理所需的各種操作數(shù)據(jù)。各種類型的操作數(shù)據(jù)包括關(guān)于筆畫的添加、筆畫的刪除、筆畫的編輯(擴展、縮小、移動)、頁面數(shù)據(jù)的存儲、頁面數(shù)據(jù)的創(chuàng)建、頁面數(shù)據(jù)的復(fù)制、頁面數(shù)據(jù)的刪除、以及顯示頁面的切換的數(shù)據(jù)。

遠程-操作接收單元66從服務(wù)器單元90(遠程-操作發(fā)送單元76)接收輸入到另一電子黑板2中的操作數(shù)據(jù)，并將其輸出到圖像處理器30。因此，進行遠程共享處理。

當(dāng)電子黑板是主機設(shè)備時，參與-點管理表610是用于管理當(dāng)前參與遠程共享處理的作為參與設(shè)備的電子黑板的表格。在圖14中，示出了參與-點管理表610的一個示例。在參與-點管理表610中，將作為參與設(shè)備的電子黑板2的名稱(在本例中通過使用該電子黑板2被安裝的地點的名稱給出)與ip地址相互關(guān)聯(lián)地放在一起。

服務(wù)器單元90的功能配置

接下來，將描述服務(wù)器單元90的功能配置。在本實施方式中，電子黑板2全部設(shè)置有服務(wù)器單元90，電子黑板2中的任何一個可以進行服務(wù)器單元90的功能。從圖中可以看出。如圖15所示，服務(wù)器單元90通常包括通信控制器70和數(shù)據(jù)管理單元80。

通信控制器70的功能配置

首先，對通信控制器70的功能配置進行說明。通信控制器70控制與電子黑板2的客戶端單元20中的通信控制器60的通信、以及經(jīng)由通信網(wǎng)絡(luò)9與其它電子黑板2的客戶端單元20中的通信控制器60的通信。通信控制器70包括遠程-連接請求接收單元71、遠程-連接結(jié)果發(fā)送單元72、遠程-圖像接收單元73、遠程-圖像發(fā)送單元74、遠程-操作接收單元75和遠程-操作發(fā)送單元76。

遠程-連接請求接收單元71從遠程啟動處理器61接收遠程共享處理的啟動請求，并經(jīng)由通信網(wǎng)絡(luò)9從另一電子黑板2的遠程參與處理器62接收用于參與遠程共享處理的請求。遠程-連接結(jié)果發(fā)送單元72將遠程共享處理的啟動請求的結(jié)果發(fā)送到遠程啟動處理器61，并且經(jīng)由通信網(wǎng)絡(luò)9將用于參與遠程共享處理的請求的結(jié)果發(fā)送到另一電子黑板2的遠程參與處理器62。

遠程-圖像接收單元73從遠程-圖像發(fā)送單元63接收圖像數(shù)據(jù)(輸出圖像(c))，并將其發(fā)送到稍后描述的遠程圖像處理器82。遠程-圖像發(fā)送單元74從遠程圖像處理器82接收圖像數(shù)據(jù)并將其發(fā)送到遠程-圖像接收單元64。

遠程-操作接收單元75從遠程-操作發(fā)送單元65接收操作數(shù)據(jù)(筆畫圖像(b)的數(shù)據(jù)等)，并將其發(fā)送到稍后描述的遠程操作處理器83。遠程-操作發(fā)送單元76從遠程操作處理器83接收操作數(shù)據(jù)并將其發(fā)送到遠程-操作接收單元66。

數(shù)據(jù)管理單元80的功能配置

接下來，將描述數(shù)據(jù)管理單元80的功能配置。數(shù)據(jù)管理單元80管理操作數(shù)據(jù)、圖像數(shù)據(jù)等。數(shù)據(jù)管理單元80包括遠程連接處理器81、遠程圖像處理器82、遠程操作處理器83、操作組合處理器84和頁面處理器85。數(shù)據(jù)管理單元80還包括存儲和管理各種數(shù)據(jù)的密碼管理單元810、參與-點管理表820、圖像-數(shù)據(jù)管理單元830、操作-數(shù)據(jù)存儲單元840和頁面-數(shù)據(jù)存儲單元850。

遠程連接處理器81進行遠程共享處理的啟動和終止。在啟動遠程共享處理時，遠程連接處理器81確定是否允許參與另一電子黑板2的遠程共享處理。遠程連接處理器81從遠程啟動處理器61接收到遠程-連接請求接收單元71與遠程共享處理的啟動請求一起接收的許可證信息、或從遠程參與處理器62接收與參與遠程共享處理的請求一起接收到的許可證信息，并檢查許可證的存在和許可證的有效性。遠程連接處理器81還檢查來自其它電子黑板2的參與請求的數(shù)量是否超過了允許的預(yù)定參與人數(shù)。當(dāng)有效許可證不存在時或者當(dāng)參與請求的數(shù)量超過允許的參與者數(shù)量時，遠程連接處理器81拒絕參與遠程共享處理。

遠程連接處理器81進一步確定(認證)與參與遠程共享處理的請求一起從其它電子黑板2發(fā)送的密碼是否與由密碼管理單元810管理的密碼相匹配，并且只有當(dāng)密碼匹配時，它才允許參與遠程共享處理。

密碼在新啟動遠程共享處理時由遠程連接處理器81發(fā)出，且由密碼管理單元810進行管理。參與遠程共享處理的參與設(shè)備的用戶通過電話、電子郵件等從主機設(shè)備的用戶獲取密碼。參與設(shè)備的用戶將獲取的密碼輸入到參與設(shè)備，從而能夠請求參與遠程共享處理。通過相比于安全性而給用戶的可用性優(yōu)先級，可以僅檢查許可條件，并且可以省略對密碼的檢查。

在啟動遠程共享處理時，遠程連接處理器81在參與-點管理表820中存儲經(jīng)由通信網(wǎng)絡(luò)9從參與設(shè)備的遠程參與處理器62發(fā)送的參與請求中包含的參與點信息。遠程連接處理器81還讀出存儲在參與-點管理表820中的參與點信息，并將參與點信息發(fā)送到遠程-連接結(jié)果發(fā)送單元72。參與點信息被發(fā)送到遠程啟動處理器61，并且被存儲在參與-點管理表610中。因此，在主機設(shè)備中，將在客戶端單元20和服務(wù)器單元90兩者中管理相同內(nèi)容的參與點管理信息。

遠程圖像處理器82從連接到參與遠程共享處理的電子黑板2(包括主機設(shè)備和參與設(shè)備)的客戶端單元20的視頻輸出設(shè)備(筆記本pc6等(見圖3))接收圖像數(shù)據(jù)(輸出圖像(c))，并將數(shù)據(jù)存儲在圖像-數(shù)據(jù)管理單元830中，然后根據(jù)接收到的時間(時間序列)確定對其進行遠程共享處理的圖像數(shù)據(jù)的顯示序列。遠程圖像處理器82還參考參與-點管理表820，并且根據(jù)確定的顯示序列，通過通信控制器70(遠程-圖像發(fā)送單元74)將圖像數(shù)據(jù)發(fā)送到參與遠程共享處理的所有電子黑板2(包括主機設(shè)備和參與設(shè)備)的客戶端單元20。

遠程操作處理器83接收各種類型的操作數(shù)據(jù)(筆畫圖像(b)等)，例如在參與遠程共享處理的電子黑板2(包括主機設(shè)備和參與設(shè)備兩者)的客戶端單元20中繪制的筆畫圖像，并根據(jù)接收時間(時間序列)確定圖像的顯示序列。各種類型的操作數(shù)據(jù)與上述各種類型的操作數(shù)據(jù)相同。遠程操作處理器83還參考參與-點管理表820，并將操作數(shù)據(jù)發(fā)送到參與遠程共享處理的所有電子黑板2(包括主機設(shè)備和參與設(shè)備兩者)的客戶端單元20。

操作組合處理器84組合從遠程操作處理器83輸出的每個電子黑板2的操作數(shù)據(jù)，然后將組合的操作數(shù)據(jù)存儲在操作-數(shù)據(jù)存儲單元840中，并將組合的操作數(shù)據(jù)返回到遠程操作處理器83。已經(jīng)返回到遠程操作處理器83的操作數(shù)據(jù)經(jīng)由遠程-操作發(fā)送單元76發(fā)送到主機設(shè)備和參與設(shè)備的各個客戶端單元20。因此，在每個電子黑板2中，顯示關(guān)于操作數(shù)據(jù)的相同圖像。

在圖16中，示出了操作數(shù)據(jù)的一個示例。在操作數(shù)據(jù)中，序列號(seq)、操作名稱、發(fā)送源的電子黑板2的ip地址和客戶端單元(服務(wù)器單元)的端口號、目的地的電子黑板2的ip地址和客戶端單元(服務(wù)器單元)的端口號、操作的類型、操作的目標以及關(guān)于操作的內(nèi)容的數(shù)據(jù)相互關(guān)聯(lián)地被放在一起。例如，在操作數(shù)據(jù)seq1中，示出在作為主機的電子黑板(ip地址：192.0.0.1)的客戶端單元(端口號：50001)中繪制筆畫，將操作類型“筆畫”和操作目標“(頁面數(shù)據(jù)id)p005”的筆畫數(shù)據(jù)發(fā)送到同一主機設(shè)備的電子黑板(ip地址：192.0.0.1)的服務(wù)器單元(端口號：50000)。在操作數(shù)據(jù)seq2中，指示筆畫數(shù)據(jù)被從作為主機設(shè)備的電子黑板(ip地址：192.0.0.1)的服務(wù)器單元(端口號：50000)發(fā)送到作為參與設(shè)備的另一電子黑板(ip地址：192.0.0.2)的客戶端單元(端口號：50001)。

操作組合處理器84按照輸入的序列組合操作數(shù)據(jù)，因此按照用戶在每個電子黑板2中的筆畫序列在參與遠程共享處理的所有電子黑板2的顯示器3上顯示筆畫圖像(b)，只要通信網(wǎng)絡(luò)9不擁塞。

頁面處理器85具有與客戶端單元20的圖像處理器30中的頁面處理器37相同的功能，并且在頁面-數(shù)據(jù)存儲單元850中存儲如圖5至7所示的頁面數(shù)據(jù)。頁面-數(shù)據(jù)存儲單元850與圖像處理器30中的頁面-數(shù)據(jù)存儲單元300的內(nèi)容的相同，因此省略其說明。

用于連接建立的處理

接下來，將基于圖17描述包括在與電子黑板2(2a或2b)同一房間中的筆記本pc11與電子黑板2的客戶端單元20之間的連接認證處理的用于連接建立的處理，作為一個例子。這里假設(shè)使用作為公共密鑰加密系統(tǒng)的示例的高級加密標準(aes)來加密的質(zhì)詢-響應(yīng)系統(tǒng)的認證處理被進行作為連接認證處理。在經(jīng)由通信網(wǎng)絡(luò)9進行在筆記本pc11(第一遠程-屏幕傳送通信控制器77)和客戶端單元20(第二遠程-屏幕傳送通信控制器87)之間的以下通信時，在以下描述中省略關(guān)于通信網(wǎng)絡(luò)的說明，除非特別需要。

首先，在步驟s51中，筆記本pc11的第一遠程-屏幕傳送通信控制器77向第二遠程-屏幕傳送通信控制器87發(fā)送質(zhì)詢(隨機數(shù)據(jù))。這種質(zhì)詢的發(fā)送還起著對從筆記本pc11到電子黑板2的連接請求的處理的作用。

接下來，在步驟s52中，客戶端單元20的第二遠程-屏幕傳送通信控制器87使用公共密鑰(假設(shè)在此使用預(yù)先保留的密碼)作為密鑰對該接收到的(獲取的)質(zhì)詢進行aes加密，并生成被稱為響應(yīng)碼(以下簡稱為響應(yīng))的一次性密碼。

在步驟s53中，第二遠程-屏幕傳送通信控制器87將生成的響應(yīng)發(fā)送到第一遠程-屏幕傳送通信控制器77。

在步驟s54，接收到響應(yīng)的第一遠程-屏幕傳送通信控制器77以與在客戶端上進行的響應(yīng)創(chuàng)建過程相同的方式，以密碼作為密鑰通過aes加密質(zhì)詢而計算響應(yīng)。在下一步驟s55，第一遠程-屏幕傳送通信控制器77將接收到的響應(yīng)與控制器自身計算的響應(yīng)(控制器本身加密的質(zhì)詢)進行核對(比較)。

然后，第一遠程-屏幕傳送通信控制器77在下一步驟s56將認證結(jié)果發(fā)送到第二遠程-屏幕傳送通信控制器87。在該步驟s56中，作為上述對照的結(jié)果，當(dāng)控制器本身計算的響應(yīng)(加密的質(zhì)詢)和接收到的響應(yīng)匹配時，第一遠程-屏幕傳送通信控制器77向第二遠程-屏幕傳送通信控制器87發(fā)送認證成功的信息，并且當(dāng)不匹配時，向第二遠程-屏幕傳送通信控制器87發(fā)送認證失敗的信息。在本實施方式中，配置為從作為接收認證的設(shè)備側(cè)的筆記本pc11側(cè)發(fā)送質(zhì)詢，也作為連接請求的處理，因此不用說，單獨使用防止第三方的非法連接的方式。這樣的方式包括例如在認證成功的信息的一部分中包括某些加密數(shù)據(jù)，例如其中用作密鑰的密碼的特定部分被加密的數(shù)據(jù)。

當(dāng)認證成功時，第一遠程-屏幕傳送通信控制器77建立與電子黑板2的連接。

如上所述，在筆記本pc11的第一遠程-屏幕傳送通信控制器77和客戶端單元20的第二遠程-屏幕傳送通信控制器87之間進行用于連接建立的處理。

如上所述，在本實施方式中，進行質(zhì)詢響應(yīng)系統(tǒng)的認證處理，因此，不在網(wǎng)絡(luò)上發(fā)送密碼(整體密碼)(不通過電報交換密碼(整體密碼)))，可以證明筆記本pc11具有與電子黑板2a側(cè)正確的密碼。第三方無法僅通過筆記本pc11發(fā)送的質(zhì)詢產(chǎn)生響應(yīng)，并且無法從質(zhì)詢和響應(yīng)中進行密碼的反計算。筆記本pc發(fā)送的質(zhì)詢每次發(fā)生變化，并且基于此而計算的響應(yīng)也每次都改變。因此，即使第三方竊聽數(shù)據(jù)包，也難以解密密碼。對于與電子黑板2的非法連接，即使通過復(fù)制響應(yīng)來嘗試登錄筆記本pc11，由于每次登錄時響應(yīng)都變化，認證失敗。采用aes加密，與例如經(jīng)常在web瀏覽器和web服務(wù)器之間的ssl通信中使用的rc4的其它加密技術(shù)相比，aes加密功能非常強大。如上所述，在本實施方式中，在筆記本pc11和電子黑板2a之間進行高安全級別的連接認證處理。

如上所述，當(dāng)通過第一遠程-屏幕傳送通信控制器77和第二遠程-屏幕傳送通信控制器87之間的aes加密的認證成功并且筆記本pc11和電子黑板2之間的連接建立時，圖像接收單元88經(jīng)由通信網(wǎng)絡(luò)9接收從圖像發(fā)送單元78發(fā)送的圖像數(shù)據(jù)。作為這種情況下的圖像數(shù)據(jù)，例如通常可以想到在筆記本pc11的屏幕上顯示的圖像的數(shù)據(jù)。圖像接收單元88將接收到的圖像數(shù)據(jù)發(fā)送到圖像處理器30的遠程-圖像獲取單元92。

接下來，將描述例如在第一信息處理裝置(例如筆記本pc11)連接到電子黑板2的客戶端單元20時，當(dāng)從連接到通信網(wǎng)絡(luò)9的另一筆記本pc的第二信息處理裝置發(fā)送連接請求時的處理。在圖中。在圖18中，示出了在這種情況下的處理的序列的流程圖。在下面的描述中，將說明其中第二信息處理裝置是存在于與連接到通信網(wǎng)絡(luò)9的筆記本pc11相同的房間中的另一筆記本pc(作為一個示例)的情況。

當(dāng)在連接到第一信息處理裝置(例如，筆記本pc11)的同時從第二信息處理裝置進行連接請求時，在步驟s57，第二遠程-屏幕傳送通信控制器87接收該連接請求(例如，與上述相同的質(zhì)詢)。然后，第二遠程-屏幕傳送通信控制器87與第二信息處理裝置(其通信控制器)進行與前述相同的連接認證處理。隨后，當(dāng)從第二信息處理裝置(其通信控制器)接收到連接認證成功并且接收到認證成功的信息時，第二遠程-屏幕傳送通信控制器87建立與第二信息處理裝置的連接，并斷開與第一信息處理裝置(筆記本pc11)的連接(步驟s58，步驟s59)。這結(jié)束了電子黑板2的目的地信息處理裝置的改變(切換)。在本實施方式中，電子黑板2的連接-目的地的信息處理裝置的改變(切換)以所謂的最后者贏(last-win)的方式進行。在電子黑板的連接-目的地的信息處理裝置的上述改變(切換)時，每次改變時都不需要切換電纜等的操作。

如上所述，當(dāng)電子黑板2的連接-目的地從第一信息處理裝置切換到第二信息處理裝置時，電子黑板2的圖像接收單元88接收從第二信息處理裝置發(fā)送的圖像數(shù)據(jù)。接收的圖像數(shù)據(jù)被發(fā)送到圖像處理器30(遠程-圖像獲取單元92)，并且在顯示疊加單元36中，通過使用圖像數(shù)據(jù)來進行上述的處理，且布局圖像的數(shù)據(jù)被生成為用于在顯示器3的屏幕上顯示的顯示圖像數(shù)據(jù)。然后，通過視頻疊加單元28將顯示圖像數(shù)據(jù)對應(yīng)的圖像顯示在顯示器3的屏幕上(步驟s60)。

在顯示器3上顯示從筆記本pc11發(fā)送的圖像的處理

接下來，將描述在顯示器3上展開(或縮小)和顯示從筆記本pc11發(fā)送的圖像的處理。在圖19中，作為一個示例，在流程圖中示出了在展開和顯示時進行的處理的序列。

假設(shè)如下前提條件：電子黑板2所包括的顯示器3的屏幕上正顯示與顯示在筆記本pc11的屏幕上的圖像相同的圖像。

通過用戶在圖像顯示于其上的顯示器3的屏幕上進行擴大(pinchout)手勢開始圖19所示的處理，作為一個示例。擴大手勢是指將兩根手指放置在屏幕上并通過手指的移動增大手指之間的間隔的操作，且還要指定放大率等。

首先，在步驟s61，圖像接收單元88經(jīng)由通信網(wǎng)絡(luò)9從圖像發(fā)送單元78接收顯示在筆記本pc11的屏幕上的圖像的數(shù)據(jù)。該圖像數(shù)據(jù)被發(fā)送到遠程-圖像獲取單元92。

在下一步驟s62中，遠程-圖像獲取單元92獲取由用戶進行的上述擴大手勢指定的放大率、以及對應(yīng)于來自手勢處理器27的手勢操作的處理的指示數(shù)據(jù)(包括由坐標檢測器22獲得的坐標數(shù)據(jù))。在計算放大率之前，由坐標檢測器22檢測用戶在顯示器3上進行手勢時手指的移動(坐標位置)，事件分發(fā)單元25確定它是手勢操作，并且在手勢處理器27中，進行與手勢操作相對應(yīng)的處理。作為該處理的一部分，計算放大率。具體地，手勢處理器27保存來自關(guān)于用戶的屏幕觸摸信息的當(dāng)前放大率和位置信息。例如，當(dāng)用戶用兩根手指觸摸顯示器并使手指之間的間隔加倍時，指示雙重的信息和指示手指在哪個位置處被加寬為中心的位置信息被保存在手勢處理器27中。這兩條信息被定義為放大率(其信息)。

在下一步驟s63中，遠攝圖像獲取單元92根據(jù)所獲取的放大率(其信息)計算從圖像接收單元88獲取的圖像的切出部分，并計算其顯示位置。該計算結(jié)果被發(fā)送到顯示疊加單元36。例如，當(dāng)將筆記本pc11的圖像加倍并顯示時，來自筆記本pc11的圖像的尺寸的一半的圖像的切出部分和被放大為雙倍的切出部分的圖像的顯示位置被發(fā)送到顯示疊加單元36。以這種方式，遠程-圖像獲取單元92根據(jù)手勢處理器27的放大率使從圖像接收單元88獲取的圖像數(shù)據(jù)鎖對應(yīng)的圖像變形，并將其發(fā)送到顯示疊加單元36。

在下一步驟s64，顯示疊加單元36組合基于切出部分的圖像和從遠程-圖像獲取單元92獲取的顯示位置。因此，通過視頻疊加單元28在顯示器3的屏幕上顯示某個擴展圖像。

在顯示器3上減少和顯示從筆記本pc11發(fā)送的圖像的情況下，用戶在圖像顯示于其上的顯示器3的屏幕上進行捏小(pinchin)手勢，從而進行與圖19中的流程圖的相同的過程的相同的處理，并且從筆記本pc11發(fā)送的圖像最終縮小并顯示在顯示器3上。然而，在這種情況下，整個圖像是顯示的對象，因此不進行圖像的切出部分的計算。手指捏小意味著將兩個手指放置在屏幕上并通過手指的移動來縮窄手指之間的間隔，并且，也要指定縮小率等。

用于進行筆記本pc11的鼠標操作和鍵盤操作的處理

接下來，將基于圖20a和圖20b描述通過在電子黑板2側(cè)進行的遠程操作來進行筆記本pc11的鼠標操作和鍵盤操作的處理。

假設(shè)如下前提條件：筆記本pc11的屏幕上的圖像正在被顯示在顯示器3的屏幕上。進一步假定用于設(shè)置操作目標設(shè)備的按鈕正被顯示在顯示器3的屏幕上，作為一個示例。

為了將經(jīng)由通信網(wǎng)絡(luò)9連接的信息處理裝置(在這種情況下為筆記本pc11)設(shè)置為操作目標的設(shè)備，電子黑板2的用戶用電子筆4點擊其按鈕。

該點擊操作由接觸檢測器24和坐標檢測器22檢測，并且事件分發(fā)單元25基于檢測結(jié)果確定操作目標設(shè)備被設(shè)置為信息處理裝置。

在該狀態(tài)(操作目標的設(shè)備被設(shè)置為信息處理裝置的狀態(tài))下，電子黑板2的用戶使用電子筆4或手h在顯示了筆記本pc11的屏幕上的圖像的顯示器3的屏幕上進行必要的輸入操作(鼠標操作)?；谠撟鴺藱z測器22和接觸檢測器24的檢測結(jié)果，通過該輸入操作產(chǎn)生的鼠標事件(對應(yīng)于鼠標輸入的筆畫繪制、ui操作和手勢操作的各個事件)被事件分發(fā)單元25獲取(圖20a中的步驟s71)。

此時，由于操作目標設(shè)備已被設(shè)置為信息處理裝置，所以事件分發(fā)部25向筆記本pc11發(fā)送關(guān)于鼠標事件的信息(步驟s72)。將這些鼠標事件發(fā)送到筆記本pc11的發(fā)送以下面的方式實現(xiàn)。

也就是說，事件分發(fā)單元25將關(guān)于鼠標事件的獲取的信息發(fā)送到事件發(fā)送單元89。事件發(fā)送單元89然后經(jīng)由通信網(wǎng)絡(luò)9將關(guān)于鼠標事件的信息發(fā)送到筆記本pc11的事件接收單元79。

以這種方式，當(dāng)筆記本pc11的事件接收單元79接收關(guān)于鼠標事件的信息時，通過筆記本pc11的操作系統(tǒng)(os)在筆記本pc11的屏幕上進行根據(jù)關(guān)于鼠標事件的信息的鼠標操作。

同時，當(dāng)通過遠程操作進行筆記本pc11的鍵盤操作時，在操作目標設(shè)備被設(shè)置為信息處理裝置的狀態(tài)下，電子黑板2的用戶用電子筆4或手h、或顯示在顯示器3的屏幕上的鍵盤以及筆記本pc11的屏幕上的圖像進行輸入操作。

由該輸入操作產(chǎn)生的鍵盤事件由事件分發(fā)單元25經(jīng)由按鍵-事件輸入單元91獲取(圖20b中的步驟s73)。

此時，由于操作目標設(shè)備已經(jīng)被設(shè)置為信息處理裝置，所以事件發(fā)布部25將關(guān)于鍵盤事件的信息發(fā)送到筆記本pc11(步驟s74)。將關(guān)于這些鍵盤事件上的信息發(fā)送到筆記本pc11以與上述相同的方式實現(xiàn)。

當(dāng)筆記本pc11的事件接收單元79然后接收到關(guān)于鍵盤事件的信息時，根據(jù)該數(shù)據(jù)的鍵盤輸入操作由筆記本pc11的os在筆記本pc11側(cè)進行。

在電子黑板之間的遠程共享處理中的每個電子黑板的操作

接下來，將描述在本實施方式中在構(gòu)成圖像處理系統(tǒng)1的電子黑板之間的遠程共享處理中的每個電子黑板的操作。

這里假設(shè)作為一個例子，圖像處理系統(tǒng)1由電子黑板2a、2b和2c構(gòu)成，電子黑板2a是主管遠程共享處理的主機設(shè)備(稱為主機設(shè)備2a)，電子黑板2b和2c是參與電子黑板2a已經(jīng)啟動的遠程共享處理的參與設(shè)備(稱為參與設(shè)備2b、2c)。注意電子黑板2a的服務(wù)器單元90和客戶端單元20的操作以及電子黑板2b和2c的客戶端單元20的操作。連接到電子黑板2a、2b和2c的分別是顯示器3a、3b和3c，并進一步連接的分別是筆記本pc6a、6b和6c。在電子黑板2a、2b和2c這，正使用的分別是電子筆4a、4b和4c。

首先將基于圖21中的序列圖來描述遠程共享處理和參與處理的啟動。圖21示出了遠程共享處理和參與處理的啟動序列。

假設(shè)每個電子黑板2a、2b和2c被用戶打開，從而客戶端單元20正被激活。

首先，在步驟s21中，電子黑板2a的用戶通過諸如觸摸面板的輸入設(shè)備給出啟動遠程共享處理的指令，從而客戶端單元20的遠程啟動處理器61輸出指示服務(wù)器單元90的啟動信號到服務(wù)器單元90的遠程-連接請求接收單元71。因此，在電子黑板2a中，除了客戶端單元20之外，也啟動服務(wù)器單元90。主機設(shè)備2a(服務(wù)器單元90)啟動遠程共享處理(預(yù)處理以在遠程共享處理中接收參與設(shè)備2b和2c的參與處理)。

在下一步驟s22中，主機設(shè)備2a的客戶端單元20中的ui圖像生成器33生成顯示連接信息以建立與主機設(shè)備2a的連接的ui圖像，并經(jīng)由顯示疊加單元36將其輸出到視頻疊加單元28。視頻疊加單元28在顯示器3a上顯示ui圖像。連接信息包括主機設(shè)備的ip地址和由遠程連接處理器81發(fā)出的密碼，用于遠程共享處理。通過遠程連接處理器81從密碼管理單元810讀出密碼，并且依次通過遠程-連接結(jié)果發(fā)送單元72和遠程啟動處理器61(通信控制器60)被發(fā)送到ui圖像生成器33(圖像處理器30)(參見圖15和圖3)。

主機設(shè)備2a的用戶查看顯示器3a上顯示的連接信息，并通過電話、電子郵件等將其內(nèi)容發(fā)送給參與設(shè)備2b和2c的用戶。當(dāng)在連接-目的地管理表440中存儲的連接目的地列表中管理主機設(shè)備2a的ip地址時，僅需要將密碼包括在連接信息中。參與設(shè)備2b和2c的用戶通過使用諸如觸摸面板的輸入設(shè)備將傳送的連接信息輸入到相應(yīng)的參與設(shè)備2b和2c。

當(dāng)參與設(shè)備2b和2c接收到連接信息的輸入時，在步驟s23和步驟s24，各個客戶端單元20中的遠程參與處理器62經(jīng)由通信網(wǎng)絡(luò)9通過使用包括在連接信息中的ip地址來發(fā)送密碼給在主機設(shè)備2a的服務(wù)器單元90中的通信控制器70。因此，進行用于參與主機設(shè)備2a已啟動的遠程共享處理的請求。因此，通信控制器70的遠程-連接請求接收單元71從每個電子黑板2b和2c接收參與請求(包括密碼)，并將密碼輸出到遠程連接處理器81。

當(dāng)主機設(shè)備2a接收到密碼時，在步驟s25，其服務(wù)器單元90中的遠程連接處理器81通過使用由密碼管理單元810管理的密碼來認證接收到的密碼。在步驟s26中，通過遠程-連接結(jié)果發(fā)送單元72通知各參與設(shè)備2b、2c的客戶端單元20該認證結(jié)果。這建立了主機設(shè)備2a和參與設(shè)備2b和2c之間的遠程共享處理中的通信，并且完成了遠程共享處理和參與處理的啟動。

在遠程共享處理中共享圖像數(shù)據(jù)的處理

接下來，將基于圖22中的序列圖來描述在遠程共享處理中共享圖像數(shù)據(jù)的處理，圖22示出共享圖像數(shù)據(jù)的處理的序列。

首先，在步驟s30中，參與設(shè)備2b的客戶端單元20中的圖像獲取單元31通過使用筆記本pc6b的輸出視頻來生成圖像數(shù)據(jù)(輸出圖像(c))。所生成的圖像數(shù)據(jù)(輸出圖像(c))經(jīng)由顯示疊加單元36輸出到視頻疊加單元28，并且被顯示在參與設(shè)備2b的顯示器3b上(參見圖3)。

在下一步驟s31中，參與設(shè)備2b的客戶端單元20中的遠程-圖像發(fā)送單元63(通信控制器60)從圖像獲取單元31(圖像處理器30)接收圖像數(shù)據(jù)(輸出圖像(c))，并且經(jīng)由通信網(wǎng)絡(luò)9將其發(fā)送到主機設(shè)備2a的服務(wù)器單元90中的通信控制器70(遠程-圖像接收單元73)。圖像數(shù)據(jù)(輸出圖像(c))經(jīng)由遠程-圖像接收單元73發(fā)送到遠程圖像處理器82，并存儲在圖像-數(shù)據(jù)管理單元830(參見圖15)中。

接下來，在步驟s32中，主機設(shè)備2a的客戶端單元20中的視頻疊加單元28在顯示器3a上顯示從參與設(shè)備2b接收到的圖像數(shù)據(jù)(輸出圖像(c))。然而，在步驟s31中由服務(wù)器單元90中的遠程-圖像接收單元73接收的輸出圖像(c)依次經(jīng)由服務(wù)器單元90中的遠程圖像處理器82和遠程圖像發(fā)送單元74、并且經(jīng)由客戶端單元20中的遠程-圖像接收單元64和顯示疊加單元36發(fā)送到客戶端單元20中的視頻疊加單元28。

在下一步驟s33，主機設(shè)備2a的服務(wù)器單元90中的遠程-圖像發(fā)送單元74(通信控制器70)將圖像數(shù)據(jù)(輸出圖像(c))(在步驟s32)發(fā)送到相同主機設(shè)備2a的客戶端單元20中的遠程-圖像接收單元64，并將圖像數(shù)據(jù)(輸出圖像(c))發(fā)送到不同于已經(jīng)發(fā)送了該圖像數(shù)據(jù)的參與設(shè)備2b的參與設(shè)備2c的客戶端單元20中的通信控制器60(遠程-圖像接收單元64)。

在參與設(shè)備2c中，由客戶端單元20中的遠程-圖像接收單元64接收的輸出圖像(c)經(jīng)由顯示疊加單元36被發(fā)送到視頻疊加單元28。

接下來，在步驟s34中，參與設(shè)備2c的客戶端單元20中的視頻疊加單元28在顯示器3c上顯示經(jīng)由主機設(shè)備2a(服務(wù)器單元90)從參與設(shè)備2b發(fā)送的圖像數(shù)據(jù)(輸出圖像(c))。然而，在步驟s33，由客戶端單元20中的遠程-圖像接收單元64接收的輸出圖像(c)經(jīng)由顯示疊加單元36被發(fā)送到視頻疊加單元28。這完成了在遠程共享處理中共享圖像數(shù)據(jù)的處理。

當(dāng)不僅將輸出圖像(c)的圖像數(shù)據(jù)、還將ui圖像(a)和筆畫圖像(b)的圖像數(shù)據(jù)輸入到顯示疊加單元36時，顯示疊加單元36生成并輸出疊加圖像(a，b，c)到視頻疊加單元28。視頻疊加單元28在顯示器3c上顯示疊加圖像(a，b，c)。當(dāng)用于電話會議的視頻(e)的圖像數(shù)據(jù)從電視會議終端7進一步發(fā)送到視頻疊加單元28時，視頻疊加單元28通過畫中畫將用于電話會議的圖像數(shù)據(jù)疊加到疊加圖像(a，b，c)上，并將其顯示在顯示器3c上。

在遠程共享處理中共享操作數(shù)據(jù)的處理

接下來，將基于圖23中的序列圖來描述在遠程共享處理中共享操作數(shù)據(jù)的處理，圖23示出了共享操作數(shù)據(jù)的處理的序列。

首先，在步驟s41，參與設(shè)備2b繪制用戶通過使用電子黑板2b上的電子筆4b繪制的筆畫圖像(b)，并將其顯示在顯示器3b上。

在下一步驟s42中，參與設(shè)備2b的客戶端單元20中的顯示疊加單元36如圖4所示，將筆畫圖像(b)疊加到ui圖像(a)、輸出圖像(c)和背景圖像(d)上，并且視頻疊加單元28在電子黑板2b的顯示器3b上顯示疊加圖像(a，b，c，d)。然而，筆畫處理器32經(jīng)由事件分發(fā)單元25從坐標檢測器22和接觸檢測器24接收筆畫圖像(b)的操作數(shù)據(jù)，并將其發(fā)送到顯示疊加單元36(參見圖3)。

在下一步驟s43中，參與設(shè)備2b的客戶端單元20中的遠程-操作發(fā)送單元65從筆畫處理器32(圖像處理器30)接收筆畫圖像(b)的數(shù)據(jù)(操作數(shù)據(jù))，且經(jīng)由通信網(wǎng)絡(luò)9將其發(fā)送到主機設(shè)備2a(參見圖15)的通信控制器70(遠程-操作接收單元75)。

在主機設(shè)備2a中，由服務(wù)器單元90中的遠程-操作接收單元75接收的筆畫圖像(b)的數(shù)據(jù)(操作數(shù)據(jù))經(jīng)由遠程操作處理器83被發(fā)送到操作組合處理器84。

筆畫圖像(b)的數(shù)據(jù)是針對每個筆畫數(shù)據(jù)id指示的數(shù)據(jù)(見圖6)。例如，如上所述，當(dāng)用戶通過使用電子筆4繪制字母“t”時，要依次發(fā)送兩個筆畫數(shù)據(jù)id表示的筆畫圖像(b)的各個數(shù)據(jù)。

接下來，在步驟s44中，主機設(shè)備2a在顯示器3a上顯示包括從參與設(shè)備2b發(fā)送的筆畫圖像(b)的數(shù)據(jù)的疊加圖像(a，b，c)。主機設(shè)備2a的操作組合處理器84組合經(jīng)由遠程操作處理器83依次發(fā)送的多個筆畫圖像(b)數(shù)據(jù)，并將組合數(shù)據(jù)存儲在操作-數(shù)據(jù)存儲單元840中，然后返回組合數(shù)據(jù)到遠程操作處理器83。組合后的筆畫圖像(b)的數(shù)據(jù)通過主機設(shè)備2a的服務(wù)器單元90中的遠程-操作發(fā)送單元76和客戶端單元20的遠程-操作接收單元66發(fā)送到顯示疊加單元36。顯示疊加單元36將組合后的筆畫圖像(b)疊加在ui圖像(a)、輸出圖像(c)和背景圖像(d)上，并輸出疊加圖像(a，b，c，d)到視頻疊加單元28。視頻疊加單元28在主機設(shè)備2a的顯示器3a上顯示疊加的圖像(a，b，c，d)。

在下一步驟s45中，主機設(shè)備2a的服務(wù)器單元90中的遠程-操作發(fā)送單元76(通信控制器70)在從遠程操作處理器83組合之后接收筆畫圖像(b)的數(shù)據(jù)(在步驟s44)并將其發(fā)送到同一主機設(shè)備2a的客戶端單元20中的遠程-操作接收單元66，并且經(jīng)由通信網(wǎng)絡(luò)9將其發(fā)送到不同于已經(jīng)發(fā)送了筆畫圖像(b)的數(shù)據(jù)的參與設(shè)備2b的參與設(shè)備2c的客戶端單元20中的通信控制器60(遠程-操作接收單元66)。

接下來，在步驟s46中，參與設(shè)備2c將疊加圖像(a，b，c)顯示在顯示器3c上。電子黑板2c的遠程-操作接收單元66將在步驟s45接收到的組合之后的筆畫圖像(b)的數(shù)據(jù)輸出到圖像處理器30(顯示疊加單元36)。顯示疊加單元36以與步驟s44相同的方式，將組合之后的筆畫圖像(b)疊加在ui圖像(a)、輸出圖像(c)和背景圖像(d)上，并輸出疊加圖像(a，b，c，d)到視頻疊加單元28。視頻疊加單元28在顯示器3c上顯示疊加圖像(a，b，c，d)。這完成了在遠程共享處理中共享操作數(shù)據(jù)的處理。

在上述處理中，將輸出圖像(c)和背景圖像(d)兩者顯示在顯示器3c上。然而，或者，也可以配置為將輸出圖像(c)和背景圖像(d)中的一個疊加在ui圖像(a)和組合后的筆畫圖像(b)上，并且顯示在顯示器3上。

遠程共享處理中的終止參與的處理

最后，以參與設(shè)備2c為例，將基于圖24中的序列圖描述遠程共享處理中的終止參與的處理，圖24說明終止參與的處理的序列。

首先，在步驟s47中，當(dāng)參與設(shè)備2c的用戶通過使用諸如觸摸面板的輸入設(shè)備請求在遠程共享處理中終止參與時，參與設(shè)備2c的客戶端單元20中的遠程參與處理器62從在主機設(shè)備2a的服務(wù)器單元90中的通信控制器70(遠程-連接請求接收單元71)請求參與終止。主機設(shè)備2a的遠程-連接請求接收單元71從電子黑板2c接收終止參與的請求，并將其與電子黑板2c的ip地址一起發(fā)送到遠程連接處理器81。遠程連接處理器81從參與-點管理表820中刪除關(guān)于參與設(shè)備2c的參與-點信息(電子黑板2c的ip地址和安裝有電子黑板2c的點的名稱)，并且發(fā)送電子黑板2c的ip地址和刪除的通知到遠程-連接結(jié)果發(fā)送單元72。

接下來，在步驟s48中，遠程-連接結(jié)果發(fā)送單元72(通信控制器70)經(jīng)由通信網(wǎng)絡(luò)9向參與設(shè)備2c的客戶端單元20中的通信控制器60(遠程參與處理器62)通知該參與的終止。

接下來，在步驟s49中，參與設(shè)備2c的客戶端單元20中的遠程參與處理器62斷開遠程共享處理的通信。這完成了遠程共享處理中的參與的終止處理。

從上述說明可以看出，在本實施方式中，圖像數(shù)據(jù)生成器被配置為通過使用來自諸如經(jīng)由通信網(wǎng)絡(luò)9連接的筆記本pc11的信息處理裝置的圖像數(shù)據(jù)由電子黑板2的客戶端單元20具有的圖像處理器30(包括遠程-圖像獲取單元92、顯示疊加單元36等)，來生成顯示圖像數(shù)據(jù)。當(dāng)點擊顯示器3的屏幕上顯示的操作目標設(shè)備的按鈕時，事件分發(fā)單元25基于接觸檢測器24和坐標檢測器22的檢測結(jié)果來識別設(shè)置的內(nèi)容。因此，在本實施方式中，設(shè)置單元被配置為包括設(shè)置在上述按鈕顯示于其上顯示器3上的觸摸面板(接觸傳感器115)，并且包括接觸檢測器24和對其進行響應(yīng)的坐標檢測器22，并且能夠設(shè)置進行與輸入事件相對應(yīng)的操作的操作目標設(shè)備。然而，并不限于此，也可以提供由用于設(shè)置操作目標設(shè)備的硬件所組成的開關(guān)作為設(shè)置單元。在上面的描述中，已經(jīng)定義了可以通過用于設(shè)置操作目標設(shè)備的按鈕的點擊操作將操作目標設(shè)備設(shè)置為信息處理裝置(筆記本pc11等)和電子黑板2中的任一。然而，并不限定于此，也可以配置為將操作目標設(shè)備設(shè)置為電子黑板2本身，而用于設(shè)置操作目標設(shè)備的按鈕等不被操作，并且只有當(dāng)用于設(shè)置操作目標設(shè)備的按鈕等被操作時，將操作目標設(shè)備切換到與通信網(wǎng)絡(luò)連接的信息處理裝置(筆記本pc11等)。也就是說，可以提供這樣的設(shè)置單元。

如上所述，在本實施方式中的圖像處理系統(tǒng)1中，電子黑板2經(jīng)由通信網(wǎng)絡(luò)9(例如公司無線lan)與作為具有通信功能的信息處理裝置的筆記本pc11連接。電子黑板2包括：第二遠程-屏幕傳送通信控制器87，其進行與筆記本pc11(更準確地說，是經(jīng)由通信網(wǎng)絡(luò)9連接的筆記本pc11的第一遠程-屏幕傳送通信控制器77)的連接建立的處理；圖像接收單元88，其經(jīng)由通信網(wǎng)絡(luò)9從建立了連接的筆記本pc11接收圖像數(shù)據(jù)；圖像處理器30(遠程-圖像獲取單元92、顯示疊加單元36)，其通過使用接收的圖像數(shù)據(jù)生成顯示圖像數(shù)據(jù)；以及顯示器3，顯示與由圖像處理器30生成的與顯示圖像數(shù)據(jù)相對應(yīng)的圖像。因此，即使當(dāng)位于同一房間的筆記本pc11和電子黑板2遙遠、且兩者都不能通過電纜10等連接時，顯示在筆記本pc11的屏幕上的圖像(視頻)也可以被顯示在顯示屏3上。

此外，在建立筆記本pc11(第一信息處理裝置)和電子黑板2之間的連接的狀態(tài)下，當(dāng)從連接到通信網(wǎng)絡(luò)9的例如pc或其它電子黑板的第二信息處理裝置向電子黑板2進行連接請求時，在所謂的最后者贏系統(tǒng)中進行與電子黑板2的連接的切換。因此，在每次更改連接時，不需要諸如移除和插入通信電纜或切換開關(guān)等麻煩的工作。

因此，本實施方式中的電子黑板2例如在與大型會議室中的大量人員會面時具有良好的可用性。

此外，根據(jù)本實施方式中的電子黑板2，當(dāng)在顯示器3上顯示筆記本pc11的圖像時，用戶通過手h進行指定擴展和縮小的手勢操作(擴大)，從而可以容易地進行顯示器3上的顯示圖像的擴展和縮小。

根據(jù)本實施方式中的電子黑板2，在顯示器3的屏幕上顯示用于設(shè)置操作目標設(shè)備的按鈕，并且通過用戶通過使用電子筆4點擊按鈕，可以將操作目標設(shè)備設(shè)置為筆記本pc11和電子黑板2本身中的任一。然后，當(dāng)由用戶點擊用于設(shè)置操作目標設(shè)備的按鈕并且將操作目標設(shè)備設(shè)置為筆記本pc11時，事件分發(fā)單元25基于坐標檢測器22和接觸檢測器24的檢測結(jié)果來識別操作目標設(shè)備已經(jīng)被設(shè)置為筆記本pc11，并將關(guān)于隨后獲取的事件的信息發(fā)送到事件發(fā)送單元89。事件發(fā)送單元89經(jīng)由通信網(wǎng)絡(luò)9將接收到的關(guān)于事件的信息發(fā)送到筆記本pc11的事件接收單元79。因此，與由事件接收單元79接收到的對應(yīng)于關(guān)于事件的信息的操作將由筆記本pc11的os進行。也就是說，當(dāng)由事件接收單元79接收的關(guān)于事件的信息是關(guān)于鼠標事件的信息時，由os在筆記本pc11的屏幕上進行與該鼠標事件相對應(yīng)的鼠標操作。當(dāng)由事件接收單元79接收的關(guān)于事件的信息是關(guān)于鍵盤事件的信息時，與該鍵盤事件相對應(yīng)的鍵盤輸入由筆記本pc11的os進行。

同時，當(dāng)由用戶點擊用于設(shè)置操作目標設(shè)備的按鈕并且將操作目標設(shè)備設(shè)置為電子黑板2本身時，事件分發(fā)單元25基于坐標檢測器22和接觸檢測器24的檢測結(jié)果識別出操作目標設(shè)備已被設(shè)置為電子黑板2本身，并且取決于事件的類型將關(guān)于隨后獲取的事件的信息發(fā)送到操作處理器26、手勢處理器27和筆畫處理器32中的任何一個。在這種情況下，在電子黑板2側(cè)，進行與由事件分發(fā)單元25獲取的事件相對應(yīng)的操作和處理。

從上述說明可知，除了以與正常操作相同的方式的電子黑板2的操作以外，本實施方式中的電子黑板2的用戶可以通過在電子黑板2的顯示器3的屏幕上的鼠標操作或鍵盤輸入來進行諸如筆記本pc11的具有通信功能的信息處理裝置的遠程操作。

在上述實施方式中，通信網(wǎng)絡(luò)9已經(jīng)被示例為公司無線lan。然而，通信網(wǎng)絡(luò)不僅可以是公司有線lan，而且可以是除了公司lan之外的廣域網(wǎng)，諸如部分地包括因特網(wǎng)和/或移動電話通信網(wǎng)絡(luò)的網(wǎng)絡(luò)。然而，當(dāng)電子黑板2和筆記本pc11不在相同的房間中但位于遠程處時，在切換上述最后者贏系統(tǒng)中的電子黑板2的信息處理裝置的連接時，需要設(shè)計公告與該電子黑板2的用戶的連接的切換等等的方式。

在上述實施方式中，作為公共密鑰加密的一個例子，已經(jīng)說明了使用利用rijndael算法的aes加密的情況。然而，并不局限于此，也可以采用其它加密技術(shù)，例如使用其它算法的rc4、des、3de等。

在上述實施方式中，已經(jīng)定義了在電子黑板2和筆記本pc11之間的連接認證處理中采用使用公共密鑰加密系統(tǒng)的質(zhì)詢-響應(yīng)系統(tǒng)的連接認證處理。然而，連接認證處理不限于質(zhì)詢-響應(yīng)系統(tǒng)的連接認證處理。

在上述實施方式中，進行關(guān)于信息處理裝置(例如筆記本pc11)和電子黑板2之間的通信并且包括用于上述連接建立的處理的處理的程序可以被存儲作為在電子黑板2具有的存儲設(shè)備中下載的程序，或可以被存儲在諸如cd-rom和dvd-rom的信息記錄介質(zhì)中。在前一種情況下，程序僅需要被配置為要經(jīng)由通信網(wǎng)絡(luò)9連接到電子黑板2的筆記本pc11的用戶下載并安裝在筆記本pc11中。在后一種情況下，電子黑板的制造商可以作為電子黑板2的附件將該信息記錄介質(zhì)出售給用戶。當(dāng)電子黑板的制造商也制造筆記本pc等時，制造商可以將電子黑板、信息記錄介質(zhì)和筆記本pc作為一組出售給用戶。在這些情況下，可以認為信息記錄介質(zhì)構(gòu)成包括經(jīng)由通信網(wǎng)絡(luò)連接的電子黑板和筆記本pc的圖像處理系統(tǒng)的一部分。

在上述實施方式中，電子黑板已經(jīng)被用作圖像處理裝置的一個例子。但是，并不限于此，也可以應(yīng)用于用于數(shù)字標牌、運動、天氣預(yù)報等的演播室(telestrator)；以及遠程圖像(視頻)診斷裝置等。作為信息處理裝置，已經(jīng)示例了使用筆記本pc的情況。然而，并不限定于此，可以使用能夠供應(yīng)諸如臺式pc、平板pc、個人數(shù)字助理(pda)、數(shù)字攝像機、數(shù)碼相機、游戲機等的圖像幀的終端。雖然已經(jīng)采用usb存儲器作為記錄介質(zhì)的一個示例，但是不限于此，也可以采用諸如sd卡的各種記錄介質(zhì)。

點擊事件的處理

概要

將描述本實施方式中的點擊事件的處理。該實施方式中的電子黑板具有以下特征：筆記本pc上的點擊操作可以在筆畫繪制期間遠程進行。

如上所述，電子黑板2可以通過遠程操作進行筆記本pc11的鼠標操作。為了進行鼠標操作，需要將信息處理裝置(筆記本pc11)設(shè)置為操作目標設(shè)備。相反，為了將電子黑板2的鼠標事件輸入處理為筆畫繪制，需要將電子黑板2設(shè)置為操作目標設(shè)備。因此，為了交替地進行鼠標操作和筆畫繪制，需要每次切換操作目標設(shè)備。

從電子黑板2進行的筆記本pc11的鼠標操作通常是諸如啟動和終止應(yīng)用程序以及打開和關(guān)閉文件的點擊操作。因此，在本實施方式中，提供了當(dāng)筆記本pc11的屏幕上的圖像被顯示在顯示器3上并且筆畫圖像可以被繪制在顯示屏3上時、處理在顯示器3上的點擊作為筆記本pc11的點擊操作的方法。

假設(shè)如下前提條件：電子黑板2被設(shè)置為第一操作目標設(shè)備并且處于能夠通過使用電子筆4手繪筆畫圖像的狀態(tài)。此外，假設(shè)筆記本pc11被設(shè)置為第二操作目標設(shè)備，并且筆記本pc11的屏幕上的圖像正被顯示在顯示器3的屏幕上。

由于通過電子筆4在顯示器3(屏幕)上的觸摸操作，得到電子筆4被按下(下筆)的事件、電子筆4移動(筆移動)的事件和電子筆4被釋放(提筆)的事件。這些筆事件可以通過鼠標事件進行處理。例如，在windows(注冊商標)7的.net4中，分別使用mousedown/previewmousedown事件、mousemove/previewmousemove事件和mouseup/previewmouseup事件。在接收每個鼠標事件之前可以接收每個預(yù)覽事件，因此，基于預(yù)覽事件來處理在實施方式中指示的每個處理。在預(yù)覽事件之后接收到的鼠標事件被刪除。在下面的描述中，作為電子筆4的操作(電子筆4的觸摸輸入)，使用筆事件、下筆、筆移動和提筆的術(shù)語。

圖25是事件分發(fā)單元和筆畫處理器的功能框圖。本實施方式中的電子黑板2的事件分發(fā)單元25包括點擊事件處理器251(繪制-點擊確定單元、點擊事件生成器)和點擊計時器252(倒數(shù)計時器)。

點擊事件處理器251進行確定所接收的筆事件是關(guān)于筆畫圖像的繪制的筆事件還是點擊操作的處理。當(dāng)點擊事件處理器251確定所接收的筆事件是關(guān)于筆畫圖像的繪制的筆事件時，事件分發(fā)單元25使筆畫處理器32的高速緩存筆畫處理器321繪制筆畫圖像。當(dāng)點擊事件處理器251確定筆事件是點擊操作時，點擊事件處理器251生成點擊事件，并且將來自事件發(fā)送單元89的關(guān)于點擊事件的信息發(fā)送到作為操作目標設(shè)備的筆記本pc11。

點擊計時器252進行將在遠程操作中發(fā)送到筆記本pc11的點擊事件的發(fā)送定時延遲指定時間的處理，使得當(dāng)用戶繪制點時，點不被錯誤地檢測為點擊操作。

該實施方式中的電子黑板2的筆畫處理器32包括高速緩存筆畫處理器321。高速緩存筆畫處理器321通過將由點擊事件處理器251獲取的一系列筆事件的每個坐標暫時存儲到高速緩存筆畫[s](高速緩存存儲器)中并暫時延遲筆畫圖像的繪制來進行繪制的處理。

在圖2中的ram103的某個工作區(qū)域中，提供其中暫時存儲筆事件的坐標的高速緩存筆畫[s](高速緩存存儲器)。在高速緩存筆畫[s]中，與用于繪制筆畫圖像的每個筆畫數(shù)據(jù)(圖6)的坐標布置數(shù)據(jù)(圖7)等同的數(shù)據(jù)、即下筆、筆移動和提筆的至少每個筆畫數(shù)據(jù)被暫時存儲。

當(dāng)由點擊事件處理器251接收的筆事件是關(guān)于筆畫圖形的筆事件時，高速緩存筆畫處理器321讀出高速緩存筆畫[s]中的數(shù)據(jù)，并且進行繪制處理作為筆畫圖像。

將描述作為本實施方式中使用的真值“高速緩存模式”、“點擊監(jiān)視模式”和“連續(xù)繪制標志”的術(shù)語以及作為變量的“初始筆位置[p]”、“點擊位置[c]”和“提筆時間[t]”。

“高速緩存模式”是指示是否將每個筆畫數(shù)據(jù)(圖6)的坐標布置數(shù)據(jù)(圖7)等同的數(shù)據(jù)存儲到高速緩存筆畫[s]中的標志。高速緩存模式以真值表達，當(dāng)該值為“真”時，將基于接收到的預(yù)覽事件，在高速緩存筆畫[s]中存儲各個坐標數(shù)據(jù)和一系列下筆和筆移動的其它數(shù)據(jù)。

在接收到提筆的預(yù)覽事件之后，高速緩存模式變?yōu)椤凹佟?。也就是說，通過高速緩存模式為“真”，只有一系列筆畫數(shù)據(jù)被存儲在高速緩存筆畫[s]中。

如果需要監(jiān)視其是否是點擊操作，“點擊監(jiān)視模式”是指示關(guān)于事件分發(fā)單元25接收到的預(yù)覽事件的標志。點擊監(jiān)控模式用真值來表達，當(dāng)該值為“真”時，其指示接收到的預(yù)覽事件有可能是關(guān)于點擊操作的預(yù)覽事件，并且需要監(jiān)視它。當(dāng)點擊監(jiān)控模式的值為“假”時，其指示接收到的預(yù)覽事件是關(guān)于筆畫圖形的預(yù)覽事件，并且不需要監(jiān)視其是否是點擊操作。

“連續(xù)繪制標志”是指示存儲在高速緩存筆畫[s]中的每個筆事件數(shù)據(jù)應(yīng)該被連續(xù)繪制為筆畫圖像的標志。當(dāng)連續(xù)繪制標志的值為“真”時，其指示事件分發(fā)單元25接收的預(yù)覽事件關(guān)于筆畫圖像，并且高速緩存筆畫處理器321繪制筆畫圖像。當(dāng)連續(xù)繪制標志的值為“假”時，高速緩存筆畫處理器321不基于存儲在高速緩存筆畫[s]中的坐標布置數(shù)據(jù)進行筆畫圖像的繪制。

“初始筆位置[p]”是存儲最新的下筆的筆位置的變量。

“點擊位置[c]”是其中存儲在提筆之后的一系列筆事件的下筆的筆位置的變量。

“提筆時間[t]”是其中存儲除了點以外的筆畫圖像的提筆時間的變量。

上述真值和變量的值被存儲在圖2中的ram103的相應(yīng)的某些工作區(qū)域中。

下筆處理

將描述當(dāng)事件分發(fā)單元25接收到下筆的預(yù)覽事件(previewmousedown)時進行的處理。圖26是示出在接收下筆的預(yù)覽事件時進行的處理的序列的流程圖。在本處理中，初始化高速緩存筆畫[s]、高速緩存模式、點擊監(jiān)視模式和連續(xù)繪制標志。

在步驟s101，點擊事件處理器251檢查高速緩存模式是否為“假”?！爱?dāng)高速緩存模式為”真“(步驟s101為“否”)時，點擊事件處理器251結(jié)束處理。當(dāng)高速緩存模式為“假”(步驟s101為是)時，點擊事件處理器251進行步驟s103的處理。

在步驟s103，點擊事件處理器251將下筆的坐標替換為初始筆位置[p]。

在步驟s105，高速緩存筆畫處理器321清空高速緩存筆畫[s]。也就是說，高速緩存筆畫處理器321初始化高速緩存筆畫[s]。

在步驟s107，高速緩存筆畫處理器321將初始筆位置[p]的數(shù)據(jù)添加到高速緩存筆畫[s]。

在步驟s109，點擊事件處理器251使高速緩存模式為“真”。

在步驟s111，點擊事件處理器251使得點擊監(jiān)視模式為“真”。

在步驟s113，點擊事件處理器251使連續(xù)繪制標志為“真”。

在步驟s115，點擊事件處理器251刪除在接收到下筆的預(yù)覽事件之后所接收到的下筆事件。

筆移動處理

將描述當(dāng)事件分發(fā)單元25接收到了筆移動的預(yù)覽事件(previewmousemove)時進行的處理。圖27是示出在接收筆移動的預(yù)覽事件時進行的處理的序列的流程圖。本處理是其中點擊事件處理器251確定筆移動的事件是關(guān)于點擊操作還是關(guān)于筆畫圖像的繪制的處理。當(dāng)點擊事件處理器251確定筆移動的事件不是關(guān)于點擊操作的事件時，高速緩存筆畫處理器321開始繪制筆畫圖像。

在步驟s121中，點擊事件處理器251檢查高速緩存模式是否為“真”。當(dāng)高速緩存模式為“假”(步驟s121為否)時，點擊事件處理器251結(jié)束處理。當(dāng)高速緩存模式為“真”(步驟s121為是)時，點擊事件處理器251進行步驟s123的處理。

在步驟s123，點擊事件處理器251檢查點擊監(jiān)視模式是否為“真”。當(dāng)點擊監(jiān)視模式為“假”(步驟s123為否)時，點擊事件處理器251進行步驟s133的處理。當(dāng)點擊監(jiān)視模式為“真”(步驟s123為是)時，點擊事件處理器251進行步驟s125的處理。

在步驟s125中，點擊事件處理器251確定初始筆位置[p](即，下筆的坐標位置)和筆移動的坐標位置之間的距離是否大于“點擊-距離閾值”。

“點擊-距離閾值”是基于電子筆4相對于顯示器3的接觸位置是否已被移動來確定是否進行了筆畫圖像的繪制或者進行了點擊操作的閾值。當(dāng)電子筆4的接觸位置在其實點擊操作時幾乎不移動，除了當(dāng)繪制點時之外，電子筆4的接觸位置在筆畫圖像的繪制期間移動。因此，當(dāng)電子筆4的接觸位置移動超過“點擊-距離閾值”時，確定已經(jīng)進行了筆畫圖像的繪制，并且進行后續(xù)處理。

當(dāng)初始筆位置[p]的坐標位置與筆移動的坐標位置之間的距離小于“點擊-距離閾值”(步驟s125為“否”)時，點擊事件處理器251進行在步驟s133的處理。當(dāng)初始筆位置[p]的坐標位置和筆移動的坐標位置之間的距離大于“點擊-距離閾值”時(步驟s125為是)，即當(dāng)筆事件是關(guān)于筆畫圖像的繪制的一個事件時，點擊事件處理器251進行在步驟s127及其后續(xù)步驟的處理。

在步驟s127中，點擊事件處理器251使點擊監(jiān)視模式為“假”。在此步驟之后，對于筆事件處理一系列筆事件，直到檢測到提筆的預(yù)覽事件、作為關(guān)于筆畫圖像的繪制的預(yù)覽事件為止。

在步驟s129，點擊事件處理器251使連續(xù)繪制標志為“真”。

在步驟s131中，響應(yīng)于連續(xù)繪制標志被使得為“真”的事實，高速緩存筆畫處理器321開始筆畫圖像的繪制。也就是說，緩存筆畫處理器321讀出高速緩存筆畫[s]中的數(shù)據(jù)，并開始繪制筆畫圖像。

在步驟s133中，高速緩存筆畫處理器321將筆移動的筆位置添加到高速緩存筆畫[s]。

在步驟s135，點擊事件處理器251刪除在接收到筆移動的預(yù)覽事件之后接收到的筆移動事件。

當(dāng)在一系列筆事件(包括單個下筆和單個提筆)中接收到多個筆移動事件時，每次接收到筆移動事件時，進行流程圖中所示的處理。在這種情況下，在步驟s125中，點擊事件處理器251確定初始筆位置[p]和最新筆移動的坐標位置之間的距離是否大于“點擊-距離閾值”。

提筆處理

將描述當(dāng)事件分發(fā)單元25接收到了提筆的預(yù)覽事件(previewmouseup)時進行的處理。圖28是示出在接收提筆的預(yù)覽事件時進行的處理的序列的流程圖。

當(dāng)事件分發(fā)單元25接收到的提筆事件是關(guān)于點擊操作的事件時，進行由事件發(fā)送單元89在遠程操作中將點擊事件發(fā)送到筆記本pc11的處理。然而，當(dāng)手繪如字母“i”中的點時，需要防止將該點確定為點擊操作。因此，在本處理中，遞送點擊事件的定時被點擊計時器延遲達指定時間。

在步驟s141中，點擊事件處理器251檢查高速緩存模式是否為“真”。當(dāng)高速緩存模式為“假”(步驟s141為否)時，點擊事件處理器251結(jié)束處理。當(dāng)高速緩存模式為“真”(步驟s141為是)時，點擊事件處理器251進行步驟s143的處理。

在步驟s143，點擊事件處理器251檢查點擊監(jiān)視模式是否為“真”。當(dāng)點擊監(jiān)視模式為“假”(步驟s143為否)時，點擊事件處理器251進行步驟s153的處理。當(dāng)點擊監(jiān)視模式為“真”(步驟s143為“是”)時，點擊事件處理器251進行步驟s145的處理。

在步驟s145，點擊事件處理器251將初始筆位置[p]替換為點擊位置[c]。當(dāng)筆畫圖像被連續(xù)繪制時，如步驟s103所示，初始筆位置[p]被替換為最新下筆的筆位置。因此，點擊事件處理器251將點擊的位置或繪制的點的位置暫時存儲在點擊位置[c]中，使得點擊位置的坐標不會丟失。

在步驟s147中，點擊事件處理器251停止點擊計時器252并進行復(fù)位處理。

在步驟s149，點擊事件處理器251啟動點擊計時器252。

在步驟s151，點擊事件處理器251使點擊監(jiān)視模式為“假”。

在步驟s153中，點擊事件處理器251將當(dāng)前時間替換為提筆時間[t]。當(dāng)點擊監(jiān)視模式為“假”時，也就是說，只有當(dāng)筆事件被確定為關(guān)于筆畫繪制的筆事件時，才用該時間新來替換提筆時間[t]。相反，當(dāng)點擊監(jiān)視模式為“真”時，即當(dāng)需要監(jiān)視筆事件是點擊操作還是由筆畫進行的點繪制時，不用該時間新來替換提筆時間[t]。

在步驟s155，點擊事件處理器251使高速緩存模式為“假”。

在步驟s157中，點擊事件處理器251刪除在接收到提筆的預(yù)覽事件之后所接收的提筆事件。

點擊計時器結(jié)束時的處理

將描述點擊計時器結(jié)束時進行的處理。圖29是示出在點擊計時器結(jié)束時進行的處理的序列的流程圖。本處理是如下處理：當(dāng)用戶在繪制手繪圖像之后立即點出(dot)時，并且當(dāng)用戶在點出為字母“i”的字之后立即繪制手繪圖像時，該點被確定為不是點擊操作，而是筆畫圖像。

在步驟s161，點擊事件處理器251停止點擊計時器。

在步驟s163，點擊事件處理器251檢查是否是“(當(dāng)前時間–提筆時間)<(連續(xù)繪制閾值)”或“連續(xù)繪制標志為真”。這一步的條件的細節(jié)將在后面描述。當(dāng)滿足該條件(步驟s163中的“是”)時，點擊事件處理器251進行步驟s165的處理。當(dāng)不滿足條件(步驟s163中的“否”)時，點擊事件處理器251進行步驟s167的處理。

在步驟s165中，點擊事件處理器251將對應(yīng)于點擊位置[c]的顯示器3上的點繪制為筆畫圖像。

在步驟s167，點擊事件處理器251經(jīng)由事件發(fā)送單元89將點擊位置[c]處的點擊事件發(fā)送到操作目標設(shè)備的筆記本pc11。

在步驟s169，點擊事件處理器251使連續(xù)繪制標志為“假”。

將基于時序圖來描述上述處理。圖30a至30c是示出用于說明點擊事件的處理的時序圖的一個示例的圖。在圖中，d代表下筆事件，m×××示出筆移動事件，u代表提筆事件。一組“d，m...，u”代表一系列筆事件。

圖30a示出了在已經(jīng)輸入了點圖像的筆畫之后輸入線圖像等的筆畫的示例。

在這種情況下，點擊計時器252在前一個點圖像的提筆時開始計時，并且在輸入后一個筆畫圖像期間(在下筆之后，在提筆之前)，點擊計時器結(jié)束計時。在點擊計時器停止時，由于連續(xù)的繪制標志為“真”(步驟s163中的是)，所以在步驟s165中，在與點擊位置[c]對應(yīng)的在顯示器3上繪制點作為筆畫圖像。

如上所述，點擊計時器252的時間被設(shè)置為使得在正在發(fā)出在點圖像的提筆之后連續(xù)輸入的筆畫圖像的筆移動事件的同時結(jié)束計時。

圖30b示出了在已經(jīng)輸入了線圖像等的筆畫之后輸入點圖像的筆畫的示例。由點圖像的筆畫產(chǎn)生的筆事件是應(yīng)該被確定是關(guān)于點圖像的筆畫的事件還是關(guān)于點擊操作的事件的確定-目標筆事件。

在這種情況下，在前一次筆畫的提筆時(在結(jié)束關(guān)于在確定-目標筆事件之前獲取的其它筆畫的筆事件的時刻)，提筆時間[t]被替換(步驟s153)。在后一個點圖像的提筆時，點擊計時器開始計時。在點擊計時器結(jié)束時，由于“(當(dāng)前時間–提筆時間)<(連續(xù)繪制閾值)”變?yōu)椤罢妗?步驟s163為是)，所以在步驟s165中，在與點擊位置[c]對應(yīng)的在顯示器3上繪制點作為筆畫圖像，。

“當(dāng)前時間–提筆時間”示出從確定-目標筆事件之前獲取的關(guān)于另一筆畫的筆事件結(jié)束以來經(jīng)過的時間。在該示例中，由于在繪制點之后不進行筆畫圖像的繪制，所以連續(xù)的繪制標志保持為“假”。

圖30c示出了在已經(jīng)輸入了線圖像等的筆畫之后進行點擊操作的示例。由點擊操作產(chǎn)生的筆事件是應(yīng)當(dāng)被確定是關(guān)于點圖像的筆畫的事件還是關(guān)于點擊操作的事件的確定-目標筆事件。

在這種情況下，在前一筆畫圖像的提筆時，替換提筆時間[t](步驟s153)。在進行后一點擊操作的提筆時，點擊計時器開始計時。在點擊計時器結(jié)束時，由于“(當(dāng)前時間-上線時間)<(連續(xù)繪制閾值)”變?yōu)椤凹佟?，且連續(xù)繪制標志為“假”(步驟s163為否)，因此在步驟s167中，將點擊位置[c]處的點擊事件發(fā)送到筆記本pc11。

如上所述，將“連續(xù)繪制閾值”設(shè)置為其中將被允許作為連續(xù)的兩個筆畫圖像的提筆時間的間隔的最大時間添加到設(shè)置到點擊計時器252的時間的時間。

有益效果

如上所述，根據(jù)實施方式，當(dāng)連續(xù)繪制筆畫圖像時，作為圖像而輸入的點不被識別為點擊操作。因此，在不將操作目標設(shè)備切換到信息處理裝置的情況下，可以在繪制筆畫圖像的同時進行遠程操作，從而提高了可用性。

發(fā)明概要及發(fā)明的效果

第一方面

根據(jù)第一方面的圖像處理裝置(電子黑板2)包括：事件獲取單元(事件分發(fā)單元25)，其基于屏幕(顯示器3)上的操作來獲取筆事件；繪制-點擊確定單元(點擊事件處理器251)，確定筆事件是關(guān)于點圖像的筆畫的事件還是關(guān)于點擊操作的事件；和倒數(shù)計時器(點擊計時器252)，其當(dāng)繪制-點擊確定單元接收到確定-目標筆事件以確定時，開始計時，且當(dāng)計時已經(jīng)結(jié)束且事件獲取單元已經(jīng)獲取了關(guān)于另一筆畫的筆事件時，或者當(dāng)從在該確定-目標筆事件之前獲取的關(guān)于另一筆畫的筆事件的結(jié)束以來的經(jīng)過時間在一定時間段內(nèi)時，繪制-點擊確定單元確定該確定-目標筆事件是關(guān)于點圖像的筆畫的事件。

根據(jù)第一方面，可以將點圖像的筆畫與點擊操作區(qū)分開，從而可以在進行筆畫繪制時遠程地對筆記本pc進行點擊操作。

第二方面

在根據(jù)第二方面的圖像處理裝置(電子黑板2)中，繪制-點擊確定單元(點擊事件處理器251)在繪制-點擊確定單元不確定該確定-目標筆事件是關(guān)于點圖像的筆畫的事件時，確定該確定-目標筆事件是關(guān)于點擊操作的事件。

根據(jù)第二方面，可以將點圖像的筆畫與點擊操作區(qū)分開，從而可以在進行筆畫繪制時遠程地對筆記本pc進行點擊操作。

第三方面

根據(jù)第三方面的圖像處理裝置(電子黑板2)還包括：坐標檢測器(坐標檢測器22)，其檢測顯示屏幕(顯示器3)上的每個筆事件的位置坐標；和高速緩存筆畫處理單元(高速緩存筆畫處理器321)，其在高速緩存存儲器[s]中暫時存儲坐標檢測器在由事件獲取單元(事件分發(fā)單元25)獲取的一系列筆事件上已經(jīng)檢測到的每組坐標；以及高速緩存筆畫處理單元，從高速緩存存儲器讀出筆事件的坐標，并且當(dāng)筆事件是關(guān)于筆畫的事件時繪制筆畫圖像。

根據(jù)第三方面，通過在高速緩存存儲器[s]中暫時存儲將一系列筆事件的每組坐標來使筆畫的繪制延遲，因此可以可靠地確定筆事件是點圖像的筆畫還是點擊操作。

第四方面

在根據(jù)第四方面的圖像處理裝置中，在一系列筆事件中包含的下筆事件和提筆事件之間的位置坐標的距離超過點擊距離閾值時，繪制-點擊確定單元(點擊事件處理器251)確定筆事件是關(guān)于線圖像的筆畫的事件，并且當(dāng)下筆事件和提筆事件之間的位置坐標的距離等于或小于點擊距離閾值時，繪制-點擊確定單元(點擊事件處理器251)確定筆事件是關(guān)于點圖像的筆畫的事件或關(guān)于點擊操作的事件。

根據(jù)第四方面，從確定-目標筆事件中排除明顯為筆畫的筆事件，因此有助于確定其是點圖像的筆畫還是點擊操作的處理。

第五方面

根據(jù)第五方面的圖像處理系統(tǒng)是包括如下的圖像處理系統(tǒng)1：如權(quán)利要求1至4中任一項所述的圖像處理裝置(電子黑板2)；和信息處理裝置(筆記本pc11)，經(jīng)由通信網(wǎng)絡(luò)9連接到圖像處理裝置，且并且圖像處理裝置包括：點擊事件生成器(點擊事件處理器251)，其當(dāng)繪制-點擊確定單元(點擊事件處理器251)確定該該確定-目標筆事件是關(guān)于點擊操作的事件時，生成點擊事件；以及事件發(fā)送單元89，其經(jīng)由通信網(wǎng)絡(luò)向信息處理裝置發(fā)送點擊事件。

根據(jù)第五方面，其具有與第一方面相同的效果。

第六方面

根據(jù)第六方面的圖像處理方法包括：通過事件獲取單元(事件分發(fā)單元25)基于屏幕(顯示器3)上的操作來獲取筆事件；通過繪制-點擊確定單元(點擊事件處理器251)確定筆事件是關(guān)于點圖像的筆畫的事件還是關(guān)于點擊操作的事件；并且當(dāng)繪制-點擊確定單元接收確定-目標筆事件以確定時，通過倒數(shù)計時器(點擊計時器252)開始計時，并且當(dāng)計時已經(jīng)結(jié)束并且事件獲取單元已經(jīng)獲取了關(guān)于另一筆畫的筆事件時，或當(dāng)從在該確定-目標筆事件之前就獲取的關(guān)于另一筆畫的筆事件的結(jié)束以來的經(jīng)過時間在一定時間段內(nèi)時，繪制-點擊確定單元確定該確定-目標筆事件是關(guān)于點圖像的筆畫的事件。

根據(jù)第六方面，其具有與第一方面相同的效果。

附圖標記列表

1圖像處理系統(tǒng)

2電子黑板(圖像處理裝置)

3顯示器(顯示單元，屏幕)

9通信網(wǎng)絡(luò)

11筆記本pc(信息處理裝置)

20客戶端單元

21視頻獲取單元

22坐標檢測器(設(shè)置單元的一部分)

23自動調(diào)整單元

24接觸檢測器(設(shè)置單元的一部分)

25事件分發(fā)單元(事件獲取單元)

251點擊事件處理器(繪制-點擊確定單元，點擊事件生成器)

252點擊計時器(倒數(shù)計時器)

26操作處理器

27手勢處理器

28視頻疊加單元

30圖像處理器(圖像數(shù)據(jù)生成器)

31圖像獲取單元

32筆畫處理器

321高速緩存筆畫處理器(高速緩存筆畫處理單元)

33ui圖像生成器

34背景生成器

35布局管理單元

36顯示疊加單元

37頁面處理器

40文件處理器

77第一遠程-屏幕傳送通信控制器(第一通信控制器)

78圖像發(fā)送單元

79圖像接收單元

87第二遠程-屏幕傳送通信控制器(第二通信控制器和通信控制器)

88圖像接收單元(圖像數(shù)據(jù)接收單元)

89事件發(fā)送單元

90服務(wù)器單元

91按鍵-事件輸入單元

115接觸傳感器(設(shè)置單元的一部分)

300頁面-數(shù)據(jù)存儲單元

310遠程-許可證管理表

[引用列表]

[專利文獻]

[ptl1]

日本特開專利公開號：2013-131204