本發(fā)明涉及增強現(xiàn)實技術(shù)、虛擬現(xiàn)實技術(shù)、智能穿戴技術(shù)等進行結(jié)合的技術(shù),特別是涉及一種基于智能穿戴設(shè)備的工作輔助系統(tǒng)和方法。
背景技術(shù):
隨著科技的不斷進步,人類即將邁入工業(yè)4.0時代,在這一時代,更加強調(diào)智能化生產(chǎn),其中人機交互是實現(xiàn)智能化生產(chǎn)的重要組成之一。
在工業(yè)制造等領(lǐng)域,隨著人們對產(chǎn)品的要求越來越高,要求產(chǎn)品更加智能化,操作更加簡便,然而要實現(xiàn)這些要求,產(chǎn)品制造就變得越來越復(fù)雜。在很多產(chǎn)品制造領(lǐng)域,機器人仍然無法取代操作人員,而操作人員面對越來越復(fù)雜的工業(yè)制造環(huán)境,不僅在操作安全性方面被提出更高要求,而且在專業(yè)技能、工作素養(yǎng)以及工作效率方面的要求也越來越苛刻。
近年來,新的技術(shù)不斷涌現(xiàn),如虛擬現(xiàn)實(Virtual Reality,簡稱VR)技術(shù)和增強現(xiàn)實技術(shù)(Augmented Reality Technique,簡稱AR)以及智能穿戴技術(shù),目前市場上有出現(xiàn)智能穿戴技術(shù)與AR技術(shù)或VR技術(shù)相結(jié)合的應(yīng)用,例如Oculus Rift、微軟的Hololens及谷歌的Google Glass等產(chǎn)品,這些產(chǎn)品主要是偏重于面向個人消費者,為個人消費者提供生活娛樂體驗。
在工業(yè)制造中,經(jīng)常爆發(fā)駭人聽聞的安全事故,不僅帶來巨大的經(jīng)濟損失,同時還造成人員傷亡。這些安全事故多少與工作人員操作不規(guī)范、工作疏忽相關(guān)。
此外,在公開號為CN104484523A的專利申請文件中主要公開一種增強現(xiàn)實誘導(dǎo)維修系統(tǒng)的實現(xiàn)設(shè)備與方法,硬件包括一個3D智能眼鏡與頭盔和一個光學(xué)位置跟蹤器,實現(xiàn)增強現(xiàn)實誘導(dǎo)維修系統(tǒng)的方法的步驟如下:步驟一:在軟件系統(tǒng)中建立虛擬裝配模型;步驟二:完成操作者所戴頭盔的位置注冊;步驟三:定義零部件的拆裝關(guān)系層次;步驟四:通過光學(xué)位置跟蹤器跟蹤操作者位置,完成維修拆裝情景感知;步驟五:拆裝誘導(dǎo)信息生成;步驟六:誘導(dǎo)信息的疊加與顯示。該專利申請文件雖然也有顯示,但沒有對操作人員的操作是否符合規(guī)定進行判斷,因而無法確定工作的質(zhì)量,甚至因為某些步驟操作不準確,導(dǎo)致整個工作前功盡棄,這不僅沒有起到有效的工作輔助,而且還費時費力,造成材料浪費,增加了工作的成本。
由此可知,如何將智能穿戴設(shè)備應(yīng)用到人們的工作中,為工作提供輔助,提高操作安全性和工作效率等成為目前產(chǎn)業(yè)界亟待解決的技術(shù)問題。
技術(shù)實現(xiàn)要素:
本發(fā)明正是基于以上一個或多個問題,提供一種基于智能穿戴設(shè)備的工作輔助系統(tǒng)和方法,用以解決現(xiàn)有技術(shù)中存在的工作輔助效果差,工作質(zhì)量得不到保證,以及工作費時費力,工作效率低下,成本高昂的問題。
本發(fā)明提供一種基于智能穿戴設(shè)備的工作輔助方法,其中,所述工作輔助方法包括:
S1智能穿戴設(shè)備顯示待操作對象的當(dāng)前操作步驟;
S2判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;
S3若是,則顯示所述待操作對象的下一操作步驟。
較佳地,所述工作輔助方法還包括:
S4若否,獲取所述操作人員的操作的安全級別;
S5記錄所述操作人員的操作,并發(fā)送至與所述智能穿戴設(shè)備通信的服務(wù)器;
S6依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步驟。
較佳地,所述工作輔助方法,所述步驟S6還包括:
S61若所述安全級別為嚴重級別,提示所述操作人員停止當(dāng)前操作,并發(fā)送所述操作人員的操作信息至所述服務(wù)器,所述服務(wù)器推送所述操作信息至相關(guān)的終端;
S62若所述安全級別為中等級別,提示所述操作人員修正當(dāng)前的操作錯誤;
S63判斷所述操作人員是否已修正所述操作錯誤;
S64若是,則進入所述下一操作步驟;
S65若否,則繼續(xù)提示所述操作人員修正所述當(dāng)前的操作錯誤;
S66若所述安全級別為一般級別,發(fā)出警示信息提醒所述操作人員,顯示選擇是否進入下一步驟的選擇信息。
較佳地,所述工作輔助方法在所述步驟S6之后還包括:
S7隔一個預(yù)定時間間隔判斷所述操作人員是否處于非工作狀態(tài);
S8若是,推送與所述操作人員的操作錯誤相對應(yīng)的學(xué)習(xí)內(nèi)容。
較佳地,所述工作輔助方法在所述步驟S5與所述步驟S6之間還包括:
S9篩選步驟,依據(jù)所述操作步驟的質(zhì)量和效率設(shè)定一個平均值,從多個所述操作步驟的圖像中篩選出高于所述平均值的圖像作為所述學(xué)習(xí)內(nèi)容;
S10存儲步驟,存儲所述學(xué)習(xí)內(nèi)容至所述服務(wù)器;
S11數(shù)據(jù)分析步驟,分析多個所述學(xué)習(xí)內(nèi)容,選取最佳的所述學(xué)習(xí) 內(nèi)容,作為優(yōu)化所述操作步驟的參考信息。
較佳地,所述工作輔助方法還包括:
所述步驟S2進一步包括:
S21動作識別步驟,識別所述操作人員的操作姿勢;
所述步驟S1之前還包括:
S12數(shù)據(jù)采集步驟,采集所述操作人員的操作信息、所述待操作對象的信息、所述智能穿戴設(shè)備的信息;
S13身份識別步驟,識別所述操作人員的身份。
較佳地,所述工作輔助方法還包括:
S14依據(jù)接收到的所述操作人員的請求協(xié)助的指令,顯示協(xié)助信息;
S15對所識別出的所述待操作對象中的指定部分,在所述智能穿戴設(shè)備的顯示部的相應(yīng)位置疊加一個指示圖層,所述指示圖層用于顯示所述協(xié)助信息。
本發(fā)明還提供一種基于智能穿戴設(shè)備的工作輔助系統(tǒng),其特征在于,所述工作輔助系統(tǒng)包括:
顯示單元,設(shè)于所述智能穿戴設(shè)備,用于顯示待操作對象的當(dāng)前操作步驟;
判斷單元,判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;
控制單元,在所述操作人員的操作符合所述當(dāng)前操作步驟的要求時,控制所述顯示單元顯示所述待操作對象的下一操作步驟。
較佳地,所述工作輔助系統(tǒng)還包括:
安全級別判斷單元,當(dāng)所述操作人員的操作不符合所述當(dāng)前操作步驟的要求時,判斷所述操作人員的不符合要求的操作的安全級別;
記錄與發(fā)送單元,記錄所述操作人員的操作,并發(fā)送至與所述智能 穿戴設(shè)備通信的服務(wù)器;
確定單元,用于依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步驟。
較佳地,所述確定單元還包括:
嚴重級別提示模塊,當(dāng)所述安全級別為嚴重級別時,提示所述操作人員停止當(dāng)前操作,并發(fā)送所述操作人員的操作信息至所述服務(wù)器,所述服務(wù)器推送所述操作信息至相關(guān)的終端;
中等級別提示模塊,當(dāng)所述安全級別為中等級別,提示所述操作人員修正當(dāng)前的操作錯誤;
操作錯誤修正判斷模塊,判斷所述操作人員是否已修正所述操作錯誤,若是,則進入所述下一操作步驟,若否,則繼續(xù)提示所述操作人員修正所述當(dāng)前的操作錯誤;
一般級別提示模塊,當(dāng)所述安全級別為一般級別時,發(fā)出警示信息提醒所述操作人員,顯示選擇是否進入下一步驟的選擇信息。
較佳地,所述工作輔助系統(tǒng)還包括:
非工作狀態(tài)判斷單元,隔一個預(yù)定時間間隔判斷所述操作人員是否處于非工作狀態(tài);
學(xué)習(xí)內(nèi)容推送單元,當(dāng)所述操作人員處于非工作狀態(tài)時,推送與所述操作人員的操作錯誤相對應(yīng)的學(xué)習(xí)內(nèi)容。
較佳地,所述工作輔助系統(tǒng)進一步包括:
篩選單元,用于依據(jù)所述操作步驟的質(zhì)量和效率設(shè)定一個平均值,從多個所述操作步驟的圖像中篩選出高于所述平均值的圖像作為所述學(xué)習(xí)內(nèi)容;
存儲單元,用于存儲所述學(xué)習(xí)內(nèi)容至所述服務(wù)器;
數(shù)據(jù)分析單元,用于分析多個所述學(xué)習(xí)內(nèi)容,選取最佳的所述學(xué)習(xí) 內(nèi)容,作為優(yōu)化所述操作步驟的參考信息。
較佳地,所述工作輔助系統(tǒng)還包括:
數(shù)據(jù)采集單元,采集所述操作人員的操作信息、所述待操作對象的信息、所述智能穿戴設(shè)備的信息;
身份識別單元,用于識別所述操作人員的身份;
所述判斷單元包括:動作識別模塊,用于識別所述操作人員的操作姿勢。
較佳地,所述工作輔助系統(tǒng)還包括:
請求協(xié)助單元,依據(jù)接收到的所述操作人員的請求協(xié)助的指令,顯示協(xié)助信息;
指示圖層疊加顯示單元,用于對所識別出的所述待操作對象中的指定部分,在所述智能穿戴設(shè)備的顯示部的相應(yīng)位置疊加一個指示圖層,所述指示圖層用于顯示所述協(xié)助信息。
本發(fā)明還提供一種基于智能穿戴設(shè)備的工作輔助系統(tǒng),其特征在于,所述工作輔助系統(tǒng)包括:智能穿戴設(shè)備和服務(wù)器,所述服務(wù)器與所述智能穿戴設(shè)備進行與工作輔助相關(guān)的信息交互,所述智能穿戴設(shè)備包括:處理器、存儲器以及顯示器,所述處理器分別連接所述存儲器和所述顯示器,其中,所述存儲器中存儲一組程序代碼,且所述處理器用于調(diào)用所述存儲器中存儲的程序代碼,用于執(zhí)行以下操作:
在所述顯示器上顯示待操作對象的當(dāng)前操作步驟;
判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;
在所述操作人員的操作符合所述當(dāng)前操作步驟的要求時,控制所述顯示器顯示所述待操作對象的下一操作步驟。
本發(fā)明的基于智能穿戴設(shè)備的工作輔助方法及系統(tǒng),不僅具有工作輔助效果良好,而且工作質(zhì)量得到有效保證,同時,工作變得簡單,工作效率得到提高,成本低廉。
附圖說明
圖1是本發(fā)明較佳實施方式的基于智能穿戴設(shè)備的工作輔助方法的流程示意圖。
圖2是本發(fā)明第一實施方式的基于智能穿戴設(shè)備的工作輔助系統(tǒng)的結(jié)構(gòu)示意圖。
圖3是本發(fā)明第二實施方式的基于智能穿戴設(shè)備的工作輔助系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合附圖和實施例對本發(fā)明進行詳細說明。需要說明的是,如果不沖突,本發(fā)明實施例以及實施例中的各個特征可以相互結(jié)合,均在本發(fā)明的保護范圍之內(nèi)。
請參見圖1,圖1是本發(fā)明較佳實施方式的基于智能穿戴設(shè)備的工作輔助方法的流程示意圖。如圖1所示,一種基于智能穿戴設(shè)備的工作輔助方法,其中,所述工作輔助方法包括:S1智能穿戴設(shè)備顯示待操作對象的當(dāng)前操作步驟;S2判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;S3若是,則顯示所述待操作對象的下一操作步驟。
本發(fā)明的上述基于智能穿戴設(shè)備的工作輔助方法,不僅具有工作輔助效果良好,而且工作質(zhì)量得到有效保證,同時,工作變得簡單,工作效率得到提高,成本低廉。
進一步地,所述工作輔助方法還包括:S4若否,判斷所述操作人員的操作的安全級別;S5記錄所述操作人員的操作,并發(fā)送至與所述智能穿戴設(shè)備通信的服務(wù)器;S6依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步驟。
在一個具體實施方式中,所述工作輔助方法,所述步驟S6還包括:
S61若所述安全級別為嚴重級別,提示所述操作人員停止當(dāng)前操 作,并發(fā)送所述操作人員的操作信息至所述服務(wù)器,所述服務(wù)器推送所述操作信息至相關(guān)的終端;這里相關(guān)的終端指可以通知到與操作人員有關(guān)的后臺管理人員所使用的通信設(shè)備,這個設(shè)備可以是手機、pad、pc、智能手環(huán)、智能手表、智能眼鏡等終端設(shè)備。
S62若所述安全級別為中等級別,提示所述操作人員修正當(dāng)前的操作錯誤;
S63判斷所述操作人員是否已修正所述操作錯誤;S64若是,則進入所述下一操作步驟;
S65若否,則繼續(xù)提示所述操作人員修正所述當(dāng)前的操作錯誤;
S66若所述安全級別為一般級別,發(fā)出警示信息提醒所述操作人員,顯示選擇是否進入下一步驟的選擇信息。
在一個變形實施例中,所述工作輔助方法在所述步驟S6之后還包括:S7隔一個預(yù)定時間間隔判斷所述操作人員是否處于非工作狀態(tài);S8若是,推送與所述操作人員的操作錯誤相對應(yīng)的學(xué)習(xí)內(nèi)容。
較佳地,所述工作輔助方法在所述步驟S1之前還包括:S0接收操作人員的操作指令。
較佳地,所述工作輔助方法在所述步驟S5之后還包括:S9篩選步驟,依據(jù)所述操作步驟的質(zhì)量和效率設(shè)定一個平均值,從多個所述操作步驟的圖像中篩選出高于所述平均值的圖像作為所述學(xué)習(xí)內(nèi)容;S10存儲步驟,存儲所述學(xué)習(xí)內(nèi)容至所述服務(wù)器;S11數(shù)據(jù)分析步驟,分析多個所述學(xué)習(xí)內(nèi)容,選取最佳的所述學(xué)習(xí)內(nèi)容,作為優(yōu)化所述操作步驟的參考信息。
較佳地,所述工作輔助方法還包括:S12數(shù)據(jù)采集步驟,采集所述操作人員的操作信息、所述待操作對象的信息、所述智能穿戴設(shè)備的信息。操作信息包括:操作時間、操作時的操作指令信息、操作動作和姿勢信息。
較佳地,所述步驟S2進一步包括:S21動作識別步驟,識別所述操作人員的操作姿勢。所述步驟S1之前還包括:S13身份識別步驟,識別所述操作人員的身份。
較佳地,所述工作輔助方法還包括:S14依據(jù)接收到的所述操作人員的請求協(xié)助的指令,顯示協(xié)助的信息。所述協(xié)助的信息包括視頻文件信息、遠程協(xié)助信息、圖片信息或者3D模型信息。進一步地,所述遠程協(xié)助信息包括:遠程語音通話信息、遠程視頻信息、遠程標(biāo)記信息。以及S15對所識別出的所述待操作對象中的指定部分,在所述智能穿戴設(shè)備的顯示部的相應(yīng)位置疊加一個指示圖層,所述指示圖層用于顯示所述協(xié)助信息。
請參見圖2,圖2是本發(fā)明第一實施方式的基于智能穿戴設(shè)備的工作輔助系統(tǒng)的結(jié)構(gòu)示意圖。如圖2所示,本發(fā)明還提供一種基于智能穿戴設(shè)備的工作輔助系統(tǒng),其中,所述工作輔助系統(tǒng)包括:顯示單元10,設(shè)于所述智能穿戴設(shè)備,用于顯示待操作對象的當(dāng)前操作步驟;判斷單元20,判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;控制單元30,在所述操作人員的操作符合所述當(dāng)前操作步驟的要求時,控制所述顯示單元顯示所述待操作對象的下一操作步驟。
本發(fā)明的上述基于智能穿戴設(shè)備的工作輔助系統(tǒng),不僅具有工作輔助效果良好,而且工作質(zhì)量得到有效保證,同時,工作變得簡單,工作效率得到提高,成本低廉。
下面首先詳細介紹一下本發(fā)明的智能穿戴設(shè)備為智能頭戴設(shè)備時的結(jié)構(gòu)構(gòu)成。
本發(fā)明實施例提供一種智能頭戴設(shè)備,所述智能頭戴設(shè)備用于工作輔助。所述智能頭戴設(shè)備包括:控制單元11,用于控制所述智能頭戴設(shè)備;顯示單元12,用于顯示輔助工作的信息;存儲單元13,用于存儲工作過程的各種數(shù)據(jù)信息;定位追蹤單元14,用于對操作人員和操作對 象分別進行定位和追蹤,并將所述定位和追蹤到的信息通知所述操作人員。其中,所述操作對象是指操作人員正在操作的實體對象,例如可以是操作人員正在進行更換的閥泵,或者操作人員正在維修的電子設(shè)備等。所述顯示單元12為半透明顯示屏、全透明顯示屏或者不透明顯示屏。
所述輔助工作信息是指對所述操作對象進行的具體工作任務(wù)和操作流程操作信息。所述數(shù)據(jù)信息包括:操作人員完成預(yù)設(shè)步驟的時間,重復(fù)播放所述預(yù)設(shè)步驟的次數(shù)和完成預(yù)設(shè)步驟的時間,操作人員完成預(yù)設(shè)步驟的工作質(zhì)量,操作人員完成整個操作流程的時間,操作人員完成整個操作流程的所有操作姿勢,操作人員操作失誤發(fā)出警報的次數(shù),操作人員完成整個操作流程的視頻,以及操作人員出現(xiàn)警報的視頻。
進一步的,所述控制單元11,還用于控制所述操作對象。具體可以通過在智能頭戴設(shè)備中安裝APP,來控制操作對象。例如,可以通過智能頭戴設(shè)備中的APP控制智能窗簾的開啟和閉合。
所述智能頭戴設(shè)備還包括:識別單元15,用于識別所述操作人員的動作和所述操作對象的特征信息;判斷單元16,用于判斷所述操作人員的動作是否符合預(yù)設(shè)的要求,所述操作對象的特征信息是否與預(yù)設(shè)特征信息相匹配。
其中,所述特征信息至少包括以下其中一種:操作對象的位置與姿態(tài)信息,操作對象的溫度信息,操作對象的壓力信息。還可以是指能夠識別所述操作對象的屬性,例如操作對象的名稱、形狀、尺寸等信息。
所述智能頭戴設(shè)備還包括:預(yù)警單元17,用于當(dāng)所述判斷單元的判斷結(jié)果為否時,發(fā)出報警信息。其中,報警信息可以以文字、聲音或者圖像的方式向操作人員發(fā)出報警。
所述智能頭戴設(shè)備還包括:第一環(huán)境感測18,用于感測所述操作人員所在工作環(huán)境的第一信息。其中,所述第一信息是指工作環(huán)境信息, 例如可以是輸油管道的壓力、溫度信息,核反應(yīng)堆周圍的輻射強度信息。
所述智能頭戴設(shè)備還包括:電源,用于為所述智能頭戴設(shè)備提供工作電源;照明設(shè)備,用于為所述智能頭戴設(shè)備在工作環(huán)境下提供照明。
所述智能頭戴設(shè)備還包括:頭戴設(shè)備通信單元19,用于與輔助工作相關(guān)的設(shè)備建立通信連接。所述輔助工作相關(guān)的設(shè)備可以是諸如智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種。
所述智能頭戴設(shè)備還包括:語音輸入輸出設(shè)備20,用于輸入和輸出音頻信息。
其中,所述智能頭戴設(shè)備為智能眼鏡或智能頭盔。
本發(fā)明實施例提供的智能頭戴設(shè)備,可以自動識別并顯示操作對象具體工作任務(wù)和操作流程操作信息,指導(dǎo)操作人員進行正確的操作,并能記錄操作過程中的各種數(shù)據(jù)信息,規(guī)范操作步驟和流程,通過對操作人員和操作對象的定位和追蹤,實時判別操作是否規(guī)范,并及時報警,避免違規(guī)操作,避免操作人員在工作中出現(xiàn)操作步驟遺漏或者操作順序雜亂,保證操作的安全性,極大的較少由于人的行為而導(dǎo)致的危險隱患,培養(yǎng)操作人員良好的職業(yè)習(xí)慣的同時提高了操作人員的工作效率,解決操作人員因某幾個操作步驟不熟練導(dǎo)致整個工作時間滯后的問題,整體提升員工的工作能力和素養(yǎng)。同時極大的縮短企業(yè)對操作員工的職前培訓(xùn)時間和資金投入。
當(dāng)該智能頭戴設(shè)備為智能眼鏡時,所述智能眼鏡包括:半透明式顯示屏/全透明式顯示屏1、聲音輸入/輸出設(shè)備2、攝像頭3、無線/有線通訊設(shè)備4、微型照明用電筒5、大容量電池6、定位追蹤器7、以及內(nèi)置處理器8(微型計算機)。所述智能手環(huán)包括:電池20,震動馬達21,動作感應(yīng)加速計22,更改按鍵24和用于與其他職能設(shè)備相連的插頭27。所述后臺服務(wù)器包括:機箱30和內(nèi)部處理器31。
所述智能眼鏡內(nèi)置無線連接設(shè)備與后臺服務(wù)器進行連接,后臺服務(wù)器所有的內(nèi)容(如操作步驟,視頻信息,圖片信息)可以隨時根據(jù)需要發(fā)送給智能眼鏡的控制單元,同時智能眼鏡將采集到的數(shù)據(jù)信息反饋給智能眼眼鏡內(nèi)置控制單元后傳輸?shù)胶笈_服務(wù)器,經(jīng)過后臺服務(wù)器進行處理后又可以反饋給智能眼鏡。后臺服務(wù)器也可以把智能眼鏡傳輸?shù)母黜棓?shù)據(jù)信息存儲起來經(jīng)過運算分析后自動評判操作人員的工作效率和工作時間或者成為企業(yè)的大數(shù)據(jù)。
其中,智能眼鏡收集的數(shù)據(jù)信息包括:操作人員完成預(yù)設(shè)步驟的時間,重復(fù)播放所述預(yù)設(shè)步驟的次數(shù)和完成預(yù)設(shè)步驟的時間,操作人員完成預(yù)設(shè)步驟的工作質(zhì)量,操作人員完成整個操作流程的時間,操作人員完成整個操作流程的所有操作姿勢,操作人員操作失誤發(fā)出警報的次數(shù),操作人員完成整個操作流程的視頻,以及操作人員出現(xiàn)警報的視頻。
智能眼鏡可通過如下方式收集數(shù)據(jù):
1、以每個小步驟的開始到完成該小步驟作為時間節(jié)點,智能眼鏡控制單元根據(jù)步驟節(jié)點記錄操作人員在進行操作作業(yè)時完成每個小步驟用到的時間。
2、當(dāng)操作人員重復(fù)觀看智能眼鏡中某個小步驟的指導(dǎo)演示時,智能眼鏡控制單元記錄下重復(fù)該步驟的次數(shù),以及觀看多次后完成該步驟的時間。
3、操作人員完成該步驟的工作質(zhì)量,主要通過攝像頭的體感識別將獲取的圖像經(jīng)過識別單元分析識別操作員的手勢以及操作對象,與存儲單元中建立的三維模型對比是否一致或者重疊,來判斷操作人員的動作是否標(biāo)準,使用的操作工具是否正確。
4、控制單元記錄操作人員完成整個工作任務(wù)的時間。
5、記錄操作人員在整個操作過程中的整個操作姿勢作為后臺服務(wù)器大數(shù)據(jù),為以后的標(biāo)準姿勢做準備,圖像數(shù)據(jù)依據(jù)深度神經(jīng)網(wǎng)絡(luò)算法 進行處理、對比、分類,神經(jīng)網(wǎng)絡(luò)算法可以識別圖像的紋理及模式信息。該算法可以在人工輔助訓(xùn)練下達到越來越高的識別準確率。在識別準確率接近人類時可以極大地降低人工成本。
6、操作人員在整個操作過程中每次操作失誤被識別后控制單元發(fā)出報警的次數(shù)會被控制單元記錄下來。
7、操作人員在整個操作過程中的操作視頻會被全程記錄下來儲存在后臺服務(wù)器中,會自動生成視頻進度條,關(guān)鍵節(jié)點會被標(biāo)上。
8、操作人員在操作過程中出現(xiàn)警報的步驟會被特別記錄下來儲存在后臺服務(wù)器中,并且會隨時記錄所有操作人員在某個步驟的報警。
收集到數(shù)據(jù)后,智能眼鏡可以通過如下方式進行數(shù)據(jù)分析:
1、后臺服務(wù)器對記錄到的每個操作人員每個小步驟的完成時間進行平均值、方差、正太分布、最高值最低值等數(shù)學(xué)運算得到所有操作人員每個小步驟完成的平均時間數(shù)據(jù),最慢時間數(shù)據(jù),以及最快時間數(shù)據(jù)。
2、后臺服務(wù)器將每個小步驟根據(jù)操作的難易程度分檔,例如可分為容易(一檔系數(shù)0.8),一般(二擋系數(shù)1.0),難(三擋系數(shù)1.2)。
3、后臺服務(wù)器根據(jù)步驟1中得到的平均時間數(shù)據(jù),最慢時間數(shù)據(jù)和最快時間數(shù)據(jù)與某個操作人員完成某個小步驟的時間對比,并對其進行分檔,其中,分檔原則可以是:該操作人員完成的時間接近所有操作人員的最慢時間則為60分,接近平均時間則為80分,接近最快時間則為100分。
4、后臺服務(wù)器根據(jù)某個操作員完成某個步驟的難易程度以及完成該步驟的時間給予操作員完成該小步驟打分,例如某個操作人員完成了一個容易的步驟(屬于一檔系數(shù)0.8)并且完成的時間接近平均時間(該時間為80分),那么他的工作效率就是一檔系數(shù)0.8乘以平均時間80得到64,這個數(shù)值就是某個操作人員完成某個小步驟的工作效率。
5、后臺服務(wù)器把操作人員每個小步驟的工作效率經(jīng)過加法運算處 理得到完成整個操作過程的工作效率。
6、后臺服務(wù)器把操作人員觀看每個步驟時的重復(fù)次數(shù)與其他操作人員觀看該步驟的平均次數(shù)對比來判斷該操作人員對該項工作是否熟練進行評分(如60分、80分、100分),對比方法與工作效率的對比方法相同,不再贅述。
7、通過體感識別技術(shù)識別操作人員工作時的動作姿勢是否規(guī)范,例如,可通過圖像數(shù)據(jù)依據(jù)深度神經(jīng)網(wǎng)絡(luò)算法在后臺服務(wù)器上進行處理、對比、分類,神經(jīng)網(wǎng)絡(luò)算法可以識別圖像的紋理及模式信息來識別操作人員工作時的動作姿勢是否規(guī)范,操作人員使用工具是否按照標(biāo)準執(zhí)行等初步判斷操作人員的工作質(zhì)量進行評分,如智能眼鏡將識別到的姿勢動作反饋給服務(wù)器,服務(wù)器經(jīng)過分析運算判斷該動作遠偏離了服務(wù)器儲存的標(biāo)準三維模型姿勢為60分、接近標(biāo)準姿勢為80分、與標(biāo)準姿勢幾乎重合為100分。
8、后臺服務(wù)器記錄下同一個步驟所有操作人員觀看的頻次都很多的步驟,說明該步驟確實復(fù)雜難操作,后臺服務(wù)器根據(jù)將該操作人員觀看該步驟后完成該操作所花的時間與所有操作人員完成該操作步驟的平均時間進行對比,遠高于平均時間則為60分,與平均時間幾乎相同為80分,遠低于平均時間為100分,根據(jù)操作人員的等分高低判斷操作人員的學(xué)習(xí)能力的強弱。其中,平均時間的計算參考步驟1。
9、后臺服務(wù)器記錄下所有員工觀看頻次最多,完成時間最長的步驟,該步驟是企業(yè)應(yīng)該對員工進行重點培訓(xùn)的步驟,也是該操作步驟需要優(yōu)化的依據(jù)。
10、后臺服務(wù)器隨時跟蹤操作人員完成工作后設(shè)備運行效果作為對其工作質(zhì)量的一個補充判斷。具體來說,可通過電子記錄儀反應(yīng)操作人員完成工作后設(shè)備運行效果。
11、操作人員每次完成工作的所有數(shù)據(jù),經(jīng)過智能眼鏡后臺服務(wù)器 根據(jù)平均值,最大值,最小值,正太分布等數(shù)學(xué)運算方法幫助建立操作人員個人的月度,季度,年度報表,通過對比每一天,每一個月,每一年的工作效率和工作質(zhì)量的變化得到其工作變化曲線影響其績效、晉升和降級。
12、后臺服務(wù)器根據(jù)智能眼鏡采集到的大量數(shù)據(jù)自動生成企業(yè)所有操作人員的月度,季度,年度工作報表,得到企業(yè)整體員工素質(zhì)能力變化曲線從而得到企業(yè)個人平均工作質(zhì)量變化圖。
13、根據(jù)收集到的操作員的個人工作數(shù)據(jù),后臺服務(wù)器自動給操作人員形成個人能力雷達圖,記錄下其操作技術(shù)短處所在,并且后臺服務(wù)器會對其某個薄弱的方面在其下次進行操作工作時,智能眼鏡會在該步驟提醒操作人員需要更加細心。
14、操作人員的工作過程被錄制下來直接通過后臺服務(wù)器傳送到管理部門,管理部門可以直接監(jiān)管操作人員的工作現(xiàn)場狀況。
本發(fā)明的智能頭戴設(shè)備可以與增強現(xiàn)實技術(shù)相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。
以智能眼鏡為例,通過將AR(增強現(xiàn)實)技術(shù)應(yīng)用于本發(fā)明智能眼鏡的操作步驟中,對于一些復(fù)雜的操作過程,可以通過AR技術(shù)指導(dǎo)操作人員進行操作,這樣操作人員可以跟著動畫指示一步一步的完成操作工作,提高操作人員的操作精度,減少操作人員因自身操作不熟練導(dǎo)致在工作現(xiàn)場無法下手或者盲目下手操作。
例如,當(dāng)我們需要更換汽車上的發(fā)動機時,連接著發(fā)動機的器件和螺絲可能達到上百種,不僅如此拆裝每一種螺絲和器件使用的工具不同,甚至擰動的方向也不同,連接在發(fā)動機上的各種設(shè)備和器件的拆裝順序也不一樣,通過本發(fā)明的增強現(xiàn)實的智能眼鏡就可以快速準確的拆裝發(fā)動機。
具體來說,當(dāng)使用者佩戴好本發(fā)明的智能眼鏡,并觀察發(fā)動機部件 時,其中,發(fā)動機部件可以被視為操作對象,通過智能眼鏡的鏡片看到3D立體彩色圖像覆蓋在真實部件上;當(dāng)需要拆裝或擰動某個部件時,該部件會被高亮標(biāo)示在視野中,之后智能眼鏡中的顯示單元顯示相應(yīng)的3D工具(如扳手,卡鉗等)正在順時針的擰動某個部件,或者顯示3D手的模型正在移動與真實部件疊加的虛擬部件,并且有動畫演示移動該部件的過程。智能眼鏡的顯示單元可顯示出正確的拆裝步驟、動作姿態(tài)以及工具信息(即操作對象的特征信息),利用語音識別功能與使用者互動,通過文字、語音和動畫指導(dǎo)其一步一步完成該部件的全部更換過程。在維修過程中,所有的步驟可隨時被調(diào)取,以便重新觀看。
本發(fā)明的智能頭戴設(shè)備可以與虛擬技術(shù)相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。
以智能眼鏡為例,通過智能眼鏡與虛擬技術(shù)的結(jié)合,可以完成對操作人員的操作培訓(xùn)過程。通過虛擬技術(shù),可以完全呈現(xiàn)出一個與操作對象一模一樣的3D立體操作對象在操作人員眼前,操作人員可以通過手勢交互的方式隨意移動,變換3D操作對象,還可以將3D操作對象中的多個部件完全從操作對象中拆分開來顯示,操作人員可以360°觀察、或者模擬操作所有拆分的部件,讓操作人員深入了解該操作對象的所有構(gòu)造以及其各部件之間的連接關(guān)系,操作人員可以快速的掌握操作對象的拆裝技巧,加深其學(xué)習(xí)印象,大大提高其學(xué)習(xí)興趣,縮短其學(xué)習(xí)時間,提高其學(xué)習(xí)效率。同時3D操作對象也可以在操作人員進行某些部件的拆卸時呈現(xiàn)出來,讓操作人員更能夠全面的了解到該部件的結(jié)構(gòu),提高其拆裝準確率。
例如:在教學(xué)領(lǐng)域,醫(yī)學(xué)院的學(xué)生如果使用尸體的話首先成本高,而且不能反復(fù)學(xué)習(xí),而光觀看視頻或者文字的話不能深入實踐體驗,學(xué)習(xí)效率不高。通過本發(fā)明的智能眼鏡,醫(yī)學(xué)院的學(xué)生可以學(xué)習(xí)人體各部分的構(gòu)造結(jié)構(gòu),以及他們之間的內(nèi)部組成關(guān)系,并可以實現(xiàn)對人體各部 分的主動操作。
具體來說,通過使用智能眼鏡與VR的結(jié)合,學(xué)習(xí)者戴上智能眼鏡就可以看到3D的1:1的立體完整人體影像漂浮在眼前,通過手勢交互的方式,學(xué)習(xí)者可以任意將人體的某部分剝離出來。例如學(xué)習(xí)者可以用手直接把人體影像中的心臟直接摘出來拿在手上360°的觀看該心臟的影像,可以觀察心臟的各個靜脈和動脈之間的連接關(guān)系,甚至可以看到心臟表面的血管連接,并且同時會有文字介紹和語音介紹。這樣生動的學(xué)習(xí)課堂不僅會深深吸引學(xué)生的學(xué)習(xí)興趣,更能讓學(xué)生親身實踐觀察幾乎與真實一樣的身體構(gòu)造。
又比如:醫(yī)生在做心臟手術(shù)的過程中,無法360°全方位的觀察到患者的心臟,為了讓醫(yī)生在手術(shù)過程中集中精力專注于手術(shù),戴上智能眼鏡可以給醫(yī)生展示一個3D的可360°全方位的1:1的與真實心臟一模一樣的虛擬心臟在醫(yī)生眼前,醫(yī)生可以隨時觀察心臟的結(jié)構(gòu)和組成,這會給醫(yī)生的工作效率帶來極大的改變。
本發(fā)明的智能頭戴設(shè)備可以與攝像頭體感識別技術(shù)相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。其中攝像頭體感識別技術(shù)通過實施例二中的智能設(shè)備體感控制設(shè)備實現(xiàn)。其中的體感動作識別單元既可以識別操作人員的體感動作信息,也可以識別操作人員的操作姿勢。
以智能眼鏡為例,操作人員的操作姿勢可以通過智能設(shè)備體感控制設(shè)備中的體感動作識別單元進行識別,通過處理單元識別操作人員的操作姿勢判斷操作人員的操作是否標(biāo)準合格,并通過報警單元對操作人員錯誤的操作動作或者姿勢發(fā)出警報對操作人員進行警示。大大的減少了操作人員由于自身操作的原因?qū)е碌奈kU隱患。規(guī)范操作動作,提升工作效率,最重要的是保證操作的安全性。
其中,操作人員的操作姿態(tài)圖像經(jīng)過服務(wù)器處理,操作姿態(tài)圖像數(shù)據(jù)依據(jù)深度神經(jīng)網(wǎng)絡(luò)算法在后臺服務(wù)器上進行處理、對比、分類,神經(jīng) 網(wǎng)絡(luò)算法可以識別圖像的紋理及模式信息。
本發(fā)明實施例的智能頭戴設(shè)備可以與語音人機交互方式相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。
仍以智能眼鏡為例,可以在智能眼鏡中設(shè)置語音處理單元,通過智能眼鏡中的語音輸入輸出設(shè)備輸入和輸出音頻交互信息,通過語音處理單元對所述音頻交互信息進行處理,實現(xiàn)與操作人員的語音交互。操作人員在操作的過程當(dāng)中不用手去翻看資料,操作人員可以把精力都放在工作上,真正的起到解放操作人員雙手的效果。
在實際應(yīng)用中,語音交互主要是依靠智能眼鏡上的聲音接收設(shè)備,經(jīng)過內(nèi)置處理器分析校驗后再通過內(nèi)置處理器發(fā)出相對應(yīng)的指令給智能眼鏡。
本發(fā)明實施例的智能頭戴設(shè)備可以與智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。
以智能眼鏡及智能手環(huán)相結(jié)合為例,每個操作人員都有一個輸入自己身份信息的智能手環(huán),智能手環(huán)用于智能眼鏡對操作人員的身份識別。例如,可以通過智能掃碼進行識別。智能眼鏡識別到不同的操作人員的身份給予安排不同的工作任務(wù),應(yīng)用智能眼鏡進行操作人員的任務(wù)工作分配,這樣也可以避免不具有該操作資格的操作人員進行該操作的操作行為。同時智能手環(huán)還具有在操作人員沒有佩戴眼鏡時接收任務(wù)信息發(fā)出聲響提醒操作人員佩戴眼鏡。
其中,智能手環(huán)內(nèi)置微型計算機,可以接受來自服務(wù)器的信息,同時也具有聲音輸出設(shè)備,發(fā)出聲響提醒,內(nèi)置電子碼可以提供給智能眼鏡掃描身份。
本發(fā)明實施例的智能頭戴設(shè)備可以與語音通話和視頻通話技術(shù)相結(jié)合,應(yīng)用到更為廣泛的領(lǐng)域中。
以智能眼鏡為例,智能眼鏡中的頭戴設(shè)備通信單元與輔助工作相關(guān)的設(shè)備建立通信連接。所述輔助工作相關(guān)的設(shè)備可以是語音通話和視頻通話設(shè)備。操作人員在進行操作工作時通過語音通話和視頻通話設(shè)備可以實時的與輔助工作相關(guān)的人員進行通信,如與專家通信,通過視頻通話設(shè)備傳送現(xiàn)場工作視頻圖像,專家或者廠內(nèi)有經(jīng)驗的員工可以根據(jù)現(xiàn)場工作視頻圖像指導(dǎo)操作人員解決現(xiàn)場問題。這樣遇到?jīng)]有碰到過的問題或者特別棘手的問題時,可以通過視頻通信設(shè)備現(xiàn)場聯(lián)系專家當(dāng)場解決,而不必停下手上的工作先總結(jié)工作問題后再召開解決會議,只需要智能眼鏡的頭戴設(shè)備通信單元遠程協(xié)助便可以現(xiàn)場解決問題,極大的節(jié)約了工作時間,提高工作質(zhì)量。
其中,智能眼鏡通過內(nèi)置攝像頭把現(xiàn)場的所有工作視頻圖像和過程錄制下來傳送到服務(wù)器,以備發(fā)生意外時作為第一人視角的寶貴數(shù)據(jù)作為查明事故發(fā)生的主要原因和當(dāng)時發(fā)生意外時的情景。以免下一次再次發(fā)生同樣意外的事故。
綜上所述,本發(fā)明的智能頭戴設(shè)備主要針對的是操作繁瑣、操作步驟多、操作流程長、對結(jié)果的安全性能要求高的企業(yè)。能夠達到工作輔助的作用,區(qū)別于他人不同就在它能夠?qū)⒆约洪_發(fā)的新功能技術(shù)與現(xiàn)有的功能技術(shù)一起與智能眼鏡結(jié)合并且把智能眼鏡應(yīng)用在工作輔助方面。
進一步地,上述基于智能穿戴設(shè)備的工作輔助系統(tǒng)還包括:安全級別判斷單元40,當(dāng)所述操作人員的操作不符合所述當(dāng)前操作步驟的要求時,判斷所述操作人員的不符合要求的操作的安全級別;記錄與發(fā)送單元50,記錄所述操作人員的操作,并發(fā)送至與所述智能穿戴設(shè)備通信的服務(wù)器;確定單元60,用于依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步驟。
進一步地,所述確定單元60還包括:嚴重級別提示模塊,當(dāng)所述安全級別為嚴重級別時,提示所述操作人員停止當(dāng)前操作,并發(fā)送所述 操作人員的操作信息至所述服務(wù)器,所述服務(wù)器推送所述操作信息至相關(guān)的終端;中等級別提示模塊,當(dāng)所述安全級別為中等級別,提示所述操作人員修正當(dāng)前的操作錯誤;操作錯誤修正判斷模塊,判斷所述操作人員是否已修正所述操作錯誤,若是,則進入所述下一操作步驟,若否,則繼續(xù)提示所述操作人員修正所述當(dāng)前的操作錯誤;一般級別提示模塊,當(dāng)所述安全級別為一般級別時,發(fā)出警示信息提醒所述操作人員,顯示選擇是否進入下一步驟的選擇信息。
在一個較佳實施例中,所述工作輔助系統(tǒng)還包括:非工作狀態(tài)判斷單元,隔一個預(yù)定時間間隔判斷所述操作人員是否處于非工作狀態(tài);學(xué)習(xí)內(nèi)容推送單元,當(dāng)所述操作人員處于非工作狀態(tài)時,推送與所述操作人員的操作錯誤相對應(yīng)的學(xué)習(xí)內(nèi)容。
在一個較佳實施例中,所述工作輔助系統(tǒng)還包括:篩選單元,用于依據(jù)所述操作步驟的質(zhì)量和效率設(shè)定一個平均值,從多個所述操作步驟的圖像中篩選出高于所述平均值的圖像作為所述學(xué)習(xí)內(nèi)容;存儲單元,用于存儲所述學(xué)習(xí)內(nèi)容至所述服務(wù)器;數(shù)據(jù)分析單元,用于分析多個所述學(xué)習(xí)內(nèi)容,選取最佳的所述學(xué)習(xí)內(nèi)容,作為優(yōu)化所述操作步驟的參考信息。
在一個較佳實施例中,所述工作輔助系統(tǒng)還包括:數(shù)據(jù)采集單元,采集所述操作人員的操作信息、所述待操作對象的信息、所述智能穿戴設(shè)備的信息。
還有,所述判斷單元包括:動作識別模塊,用于識別所述操作人員的操作姿勢。
為便于操作人員及時獲得協(xié)助信息,所述工作輔助系統(tǒng)還包括:請求協(xié)助單元,依據(jù)接收到的所述操作人員的請求協(xié)助的指令,顯示協(xié)助的信息,所述協(xié)助的信息包括視頻文件信息、遠程協(xié)助信息、圖片信息或者3D模型信息;以及指示圖層疊加顯示單元,用于對所識別出的所 述待操作對象中的指定部分,在所述智能穿戴設(shè)備的顯示部的相應(yīng)位置疊加一個指示圖層,所述指示圖層用于顯示所述協(xié)助信息。
請參見圖3,圖3是本發(fā)明第二實施方式的基于智能穿戴設(shè)備的工作輔助系統(tǒng)的結(jié)構(gòu)示意圖。如圖3所示,本發(fā)明再提供一種基于智能穿戴設(shè)備的工作輔助系統(tǒng),其中,所述工作輔助系統(tǒng)包括:智能穿戴設(shè)備200和服務(wù)器100,所述服務(wù)器100與所述智能穿戴設(shè)備200進行與工作輔助相關(guān)的信息交互,所述智能穿戴設(shè)備200包括:處理器210、存儲器220以及顯示器230,所述處理器210分別連接所述存儲器220和所述顯示器230,其中,所述存儲器220中存儲一組程序代碼,且所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
在所述顯示器230上顯示待操作對象的當(dāng)前操作步驟;
判斷操作人員的操作是否符合所述當(dāng)前操作步驟的要求;
在所述操作人員的操作符合所述當(dāng)前操作步驟的要求時,控制所述顯示器顯示所述待操作對象的下一操作步驟。
本發(fā)明第二實施方式的上述基于智能穿戴設(shè)備的工作輔助系統(tǒng),不僅具有工作輔助效果良好,而且工作質(zhì)量得到有效保證,同時,工作變得簡單,工作效率得到提高,成本低廉。
當(dāng)然,本發(fā)明第二實施方式的上述基于智能穿戴設(shè)備的工作輔助系統(tǒng)的存儲器還存儲有其它程序代碼,且所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
在所述操作人員的操作不符合所述當(dāng)前操作步驟的要求時,獲取所述操作人員的操作的安全級別;
記錄所述操作人員的操作,并發(fā)送至與所述智能穿戴設(shè)備通信的服務(wù)器;
依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步 驟。
進一步地,所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行上述依據(jù)所述安全級別,確定所述操作是否可以進入所述下一操作步驟中的以下操作:
若所述安全級別為嚴重級別,提示所述操作人員停止當(dāng)前操作,并發(fā)送所述操作人員的操作信息至所述服務(wù)器,所述服務(wù)器推送所述操作信息至相關(guān)的終端;
若所述安全級別為中等級別,提示所述操作人員修正當(dāng)前的操作錯誤;
判斷所述操作人員是否已修正所述操作錯誤;
若是,則進入所述下一操作步驟;
若否,則繼續(xù)提示所述操作人員修正所述當(dāng)前的操作錯誤;
若所述安全級別為一般級別,發(fā)出警示信息提醒所述操作人員,顯示選擇是否進入下一步驟的選擇信息。
進一步地,所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
隔一個預(yù)定時間間隔判斷所述操作人員是否處于非工作狀態(tài);
若是,推送與所述操作人員的操作錯誤相對應(yīng)的學(xué)習(xí)內(nèi)容。
進一步地,所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
篩選步驟,依據(jù)所述操作步驟的質(zhì)量和效率設(shè)定一個平均值,從多個所述操作步驟的圖像中篩選出高于所述平均值的圖像作為所述學(xué)習(xí)內(nèi)容;
存儲步驟,存儲所述學(xué)習(xí)內(nèi)容至所述服務(wù)器;
數(shù)據(jù)分析步驟,分析多個所述學(xué)習(xí)內(nèi)容,選取最佳的所述學(xué)習(xí)內(nèi)容,作為優(yōu)化所述操作步驟的參考信息。
進一步地,所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
識別所述操作人員的操作姿勢;
采集所述操作人員的操作信息、所述待操作對象的信息、所述智能穿戴設(shè)備的信息;
識別所述操作人員的身份。
進一步地,所述處理器210用于調(diào)用所述存儲器220中存儲的程序代碼,用于執(zhí)行以下操作:
依據(jù)接收到的所述操作人員的請求協(xié)助的指令,顯示協(xié)助信息;
對所識別出的所述待操作對象中的指定部分,在所述智能穿戴設(shè)備的顯示部的相應(yīng)位置疊加一個指示圖層,所述指示圖層用于顯示所述協(xié)助信息。
以上所述僅為本發(fā)明的實施方式,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換,或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域,均同理包括在本發(fā)明的專利保護范圍內(nèi)。