本發(fā)明涉及智能穿戴技術領域,特別是涉及一種智能頭戴設備及智能穿戴系統(tǒng)。
背景技術:
隨著科技的不斷進步,人類即將邁入工業(yè)4.0時代,在這一時代,更加強調智能化生產,其中人機交互是實現智能化生產的重要組成之一。
在工業(yè)制造等領域,隨著人們對產品的要求越來越高,各種高端智能科技設備隨之出現,這類高端智能科技設備融合了信息、電子、機械、化學、互聯(lián)網等多學科技術,例如現代制造業(yè)、能源行業(yè)、醫(yī)藥建筑等行業(yè)要求產品更加智能化,操作更加簡便,然而要實現這些要求,產品生產流程就變得越來越復雜,操作過程變得越來越繁瑣,對安全性的要求越來越高,對效率的敏感性也越來越強。在很多產品制造領域,機器人仍然無法取代操作人員,而操作人員面對越來越復雜的工業(yè)制造環(huán)境,不僅在操作安全性方面被提出更高要求,而且在專業(yè)技能、工作素養(yǎng)以及工作效率方面的要求也越來越苛刻。
在現有技術中,已有類似的用于工業(yè)輔助的智能穿戴設備出現,如APX實驗室已經制造出一種智能手表,該智能手表表面具有播放圖畫的功能,可以讓操作人員在邊看手表上的顯示當前操作,邊按照顯示圖像工作,但是智能手表由于不能直接呈現在操作人員的眼睛前,在工作還需要不時的低頭看手表,這會給操作人員帶來許多的麻煩,而且智能手 表其界面呈現形式有限,會極大的限制用戶體驗感。
此外,Google公司早在幾年前就推出了其智能眼鏡,其主要設備組成由攝像頭,眼鏡,麥克風,數據接口等等組成,但是由于其設備主要定位是用于消費者的娛樂,并沒有針對工作輔助,所以谷歌眼鏡其在硬件設備方面在工作輔助方面還存在分多缺陷。一方面在較為惡劣的工業(yè)環(huán)境下,例如噪音和油污環(huán)境下,語音和手指觸摸的交互方式肯定就存在巨大的缺陷。
由此可知,如何將智能穿戴設備更好地應用到人們的工作中,為工作提供輔助,提高操作安全性和工作效率等成為目前產業(yè)界亟待解決的技術問題。
技術實現要素:
本發(fā)明正是基于以上一個或多個問題,提供一種智能頭戴設備及智能穿戴系統(tǒng),用以解決現有技術中存在的工人誤操作頻繁,操作不規(guī)范的問題。
本發(fā)明提供一種智能頭戴設備,其特征在于,所述智能頭戴設備用于工作輔助,包括:
控制單元,用于控制所述智能頭戴設備;
顯示單元,用于顯示輔助工作的信息;
存儲單元,用于存儲工作過程的各種數據信息;
定位追蹤單元,用于對操作人員和操作對象分別進行定位和追蹤,并將所述定位和追蹤到的信息通知所述操作人員。
較佳地,所述智能頭戴設備還包括:
識別單元,用于識別所述操作人員的動作和所述操作對象的特征信息;
判斷單元,用于判斷所述操作人員的動作是否符合預設的要求,所 述操作對象的特征信息是否與預設特征信息相匹配。
較佳地,所述智能頭戴設備還包括:
預警單元,用于當所述判斷單元的判斷結果為否時,發(fā)出報警信息。
較佳地,所述智能頭戴設備還包括:
第一環(huán)境感測器,用于感測所述操作人員所在工作環(huán)境的第一信息;
頭戴設備通信單元,用于與輔助工作相關的設備建立通信連接;
第二環(huán)境感測器,感測所述操作人員所在工作環(huán)境的第二信息;
其中,所述顯示單元為半透明顯示屏、全透明顯示屏或者不透明顯示屏。
較佳地,還包括:語音輸入輸出設備和/或體感輸入輸出設備,所述語音輸入輸出設備用于輸入和輸出音頻信息,以及所述體感輸入輸出設備用于輸入輸出體感信息。
本發(fā)明還提供一種智能穿戴系統(tǒng),包括智能頭戴設備、與所述智能頭戴設備交互的智能體感控制設備;
其中,所述智能頭戴設備為如前任一項所述的智能頭戴設備,所述智能體感控制設備依據接收到的所述操作人員的動作指令,發(fā)送控制指令控制所述智能頭戴設備工作。
較佳地,所述智能體感控制設備為智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種。
較佳地,所述智能體感控制設備包括:
體感動作識別單元,用于識別所述操作人員的體感動作信息;
處理單元,用于接收所述體感動作信息,生成相應的控制信息;
體感通信單元,用于發(fā)送所述控制信息至所述智能頭戴設備,接收所述智能頭戴設備的交互信息;
體感傳感器,用于檢測所述操作人員與工作相關的各種身體指標信息。
較佳地,所述智能體感控制設備還包括:
健康判斷單元,用于依據所述各種身體指標信息綜合判斷所述操作人員是否適合工作;
報警單元,當所述操作人員不適合工作時,發(fā)出報警信息。
較佳地,所述智能穿戴系統(tǒng)還包括:
操作對象信息獲取裝置,獲取所述操作對象與工作相關的信息。
本發(fā)明提供的智能頭戴設備及系統(tǒng),可以自動識別并顯示操作對象具體工作任務和操作流程操作信息,指導操作人員進行正確的操作,并能記錄操作過程中的各種數據信息,規(guī)范操作步驟和流程,通過對操作人員和操作對象的定位和追蹤,實時判別操作是否規(guī)范,并及時報警,避免違規(guī)操作,避免操作人員在工作中出現操作步驟遺漏或者操作順序雜亂,保證操作的安全性,極大的較少由于人的行為而導致的危險隱患,培養(yǎng)操作人員良好的職業(yè)習慣的同時提高操作人員的工作效率,解決操作人員因某幾個操作步驟不熟練導致整個工作時間滯后的問題,整體提升員工的工作能力和素養(yǎng)。同時極大的縮短企業(yè)對操作員工的職前培訓時間和資金投入。
附圖說明
圖1是本發(fā)明實施例一的智能頭戴設備的結構示意圖;
圖2是本發(fā)明實施例一智能眼鏡顯示模塊的一種顯示界面示意圖;
圖3是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖4是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖5是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖6是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖7是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖8是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖9是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖10是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖11是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖12是本發(fā)明實施例一智能眼鏡顯示模塊的另一種顯示界面示意圖;
圖13是本發(fā)明實施例二智能穿戴系統(tǒng)的結構示意圖;
圖14是本發(fā)明實施例三智能穿戴系統(tǒng)的結構示意圖。
具體實施方式
下面結合附圖和實施例對本發(fā)明進行詳細說明。需要說明的是,如果不沖突,本發(fā)明實施例以及實施例中的各個特征可以相互結合,均在本發(fā)明的保護范圍之內。
實施例一
本發(fā)明實施例一提供一種智能頭戴設備,所述智能頭戴設備用于工作輔助。如圖1所示,所述智能頭戴設備包括:控制單元11,用于控制 所述智能頭戴設備;顯示單元12,用于顯示輔助工作的信息;存儲單元13,用于存儲工作過程的各種數據信息;定位追蹤單元14,用于對操作人員和操作對象分別進行定位和追蹤,并將所述定位和追蹤到的信息通知所述操作人員。
其中,所述操作對象是指操作人員正在操作的實體對象,例如可以是操作人員正在進行更換的閥泵,或者操作人員正在維修的電子設備等。
所述顯示單元12為半透明顯示屏、全透明顯示屏或者不透明顯示屏。
所述輔助工作信息是指對所述操作對象進行的具體工作任務和操作流程操作信息。
所述數據信息包括:操作人員完成預設步驟的時間,重復播放所述預設步驟的次數和完成預設步驟的時間,操作人員完成預設步驟的工作質量,操作人員完成整個操作流程的時間,操作人員完成整個操作流程的所有操作姿勢,操作人員操作失誤發(fā)出警報的次數,操作人員完成整個操作流程的視頻,以及操作人員出現警報的視頻。
進一步的,所述控制單元11,還用于控制所述操作對象。具體可以通過在智能頭戴設備中安裝APP,來控制操作對象。例如,可以通過智能頭戴設備中的APP控制智能窗簾的開啟和閉合。
所述智能頭戴設備還包括:識別單元15,用于識別所述操作人員的動作和所述操作對象的特征信息;判斷單元16,用于判斷所述操作人員的動作是否符合預設的要求,所述操作對象的特征信息是否與預設特征信息相匹配。
其中,所述特征信息至少包括以下其中一種:操作對象的位置與姿態(tài)信息,操作對象的溫度信息,操作對象的壓力信息。還可以是指能夠 識別所述操作對象的屬性,例如操作對象的名稱、形狀、尺寸等信息。
所述智能頭戴設備還包括:預警單元17,用于當所述判斷單元的判斷結果為否時,發(fā)出報警信息。其中,報警信息可以以文字、聲音或者圖像的方式向操作人員發(fā)出報警。
所述智能頭戴設備還包括:第一環(huán)境感測單元18,用于感測所述操作人員所在工作環(huán)境的第一信息。其中,所述第一信息是指工作環(huán)境信息,例如可以是輸油管道的壓力、溫度信息,核反應堆周圍的輻射強度信息。
所述智能頭戴設備還包括:電源,用于為所述智能頭戴設備提供工作電源;照明設備,用于為所述智能頭戴設備在工作環(huán)境下提供照明。
所述智能頭戴設備還包括:頭戴設備通信單元19,用于與輔助工作相關的設備建立通信連接。所述輔助工作相關的設備可以是諸如智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種。
所述智能頭戴設備還包括:語音輸入輸出設備20,用于輸入和輸出音頻信息。
其中,所述智能頭戴設備為智能眼鏡或智能頭盔。
本發(fā)明實施例提供的智能頭戴設備,可以自動識別并顯示操作對象具體工作任務和操作流程操作信息,指導操作人員進行正確的操作,并能記錄操作過程中的各種數據信息,規(guī)范操作步驟和流程,通過對操作人員和操作對象的定位和追蹤,實時判別操作是否規(guī)范,并及時報警,避免違規(guī)操作,避免操作人員在工作中出現操作步驟遺漏或者操作順序雜亂,保證操作的安全性,極大的較少由于人的行為而導致的危險隱患,培養(yǎng)操作人員良好的職業(yè)習慣的同時提高了操作人員的工作效率,解決 操作人員因某幾個操作步驟不熟練導致整個工作時間滯后的問題,整體提升員工的工作能力和素養(yǎng)。同時極大的縮短企業(yè)對操作員工的職前培訓時間和資金投入。
下面以智能眼鏡為例,說明本發(fā)明的具體工作過程:
本發(fā)明的智能眼鏡通過顯示單元12具有指示工作任務和操作流程的功能,通過服務器推送工作任務和規(guī)范的操作流程給智能眼鏡的控制單元11,控制單元11控制智能眼鏡顯示單元12上顯示播放指導或者語音和文字提示穿戴者準確有效的按照系統(tǒng)指示的操作規(guī)則逐步并且準確的執(zhí)行相關工作步驟。
其中顯示單元12顯示工作任務和操作流程的界面設計可以是多樣的,以一種流線式步驟播放界面為例,其主要包含智能眼鏡的界面形式,智能眼鏡的步驟展現形式,智能眼鏡的步驟附加資源(如視頻幫助、圖片幫助、遠程幫助等)。其界面形式主要是流水線式的展示界面,按照流水線式的步驟提示指導操作人員工作,進入每個大步驟的界面時會有流水線式的小步驟指導操作界面,如有需要小步驟也可以分為更多的小步驟。其顯示單元12的屏幕為半透明屏幕,大片留黑(黑色區(qū)域不讓顯示器對應的像素點發(fā)光,屬于全視野透視)的界面。
如圖2至圖12所示,智能眼鏡的開機后的界面顯示為流水線式,可以通過人機交互方式(如語音、手勢)選擇“工作列表”選項,高亮顯示“工作列表”時表示選擇了該選項。進入圖3所示的工作任務安排界面,界面顯示工作任務為“更換閥泵”。通過語音或手勢輸入設備選擇“更換閥泵A230a”,進入圖4所示的更換閥泵A230a的操作指示界面,界面顯示步驟1“關閉電源并且降壓”,操作人員根據該步驟的操作演示完成該操作后,通過語音或手勢輸入設備選擇進入圖5所示界面,高亮顯示步驟2“移開保護蓋”,步驟2的后面還有顯示幫助的選項,該選項 可以通過語音或手勢輸入設備進入,為操作人員提供步驟2的視頻幫助。其中,界面的切換方式可以是整個界面左右滑動進入上/下一個界面。
完成步驟2后通過語音或手勢輸入設備進入圖6所示的界面,該界面顯示步驟3“更換引擎”,通過語音輸入設備進入下一步驟時,由于步驟3包含幾個小步驟,例如進入圖7所示顯示界面中包含按順序排布的流水線式小步驟“步驟1打開引擎蓋”,然后如圖8所示的“步驟2移開保護管套”。之后如圖9所示,“更換引擎”下面附有“視頻幫助”、“3D影像”、“相關圖片”、“檢查系統(tǒng)”以及“幫助”等資源。在完成更換引擎操作后有一個檢查系統(tǒng)步驟指導操作人員確定是否安裝好引擎。
檢查完畢后界面返回更換閥泵A230a的大步驟界面,顯示單元顯示如圖10所示步驟4的界面“確認密封”,步驟4后會有提示密封后要檢查的相關選項以確定是否密封好。完成后界面繼續(xù)向左滑動進入圖11界面所示的“步驟5重啟并測試”。
完成步驟5后的顯示界面如圖12所示,界面有拍照、錄制視頻、視頻通話、完成等選項。測試結果通過拍照或者錄制視頻的形式發(fā)送到服務器上,以便管理部門依據需要隨時知悉任務完成情況。最后標記該操作任務的完成。
以上是智能眼鏡的顯示單元12播放顯示的界面形式,它的界面形式可以根據不同的工作場景有著不同的設計。并不限于此。
實施例二
本發(fā)明實施例二提供一種智能穿戴系統(tǒng),如圖13所示,所述智能穿戴系統(tǒng)包括實施例一所述的智能頭戴設備10、與所述智能頭戴設備交互的智能體感控制設備210;
其中,所述智能體感控制設備210依據接收到的所述操作人員的動 作指令,發(fā)送控制指令控制所述智能頭戴設備10工作。所述智能體感控制設備20為智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種。
示例性的,所述智能體感控制設備210包括:體感動作識別單元211,用于識別所述操作人員的體感動作信息;處理單元212,用于接收所述體感動作信息,生成相應的控制信息;體感通信單元213,用于發(fā)送所述控制信息至所述智能頭戴設備,接收所述智能頭戴設備的交互信息。
進一步的,所述智能體感控制設備210還包括:體感傳感器214,用于檢測所述操作人員與工作相關的各種身體指標信息。其中,所述身體指標信息包括體溫、疲勞狀態(tài)、血壓、脈搏次數、心率等信息,通過所述身體指標信息可以對操作人員的操作狀態(tài)進行判斷。
所述智能體感控制設備210還包括:健康判斷單元215,用于依據所述各種身體指標信息綜合判斷所述操作人員是否適合工作。
所述智能體感控制設備210還包括:報警單元216,當所述操作人員不適合工作時,發(fā)出報警信息。所述報警信息發(fā)送給操作人員及其相關的人員,以便及時知曉,采取治療措施。
所述智能穿戴系統(tǒng)還包括:第二環(huán)境感測器30,感測所述操作人員所在工作環(huán)境的第二信息。其中,所述第二信息是指頭戴設備難以檢測或者不適于置于頭戴設備上的感測器,比如大型專門檢測某一或某些環(huán)境指標的儀器
所述智能穿戴系統(tǒng)還包括:服務器40,用于所述智能穿戴系統(tǒng)的數據信息存儲與分析以及收發(fā)信息的信息媒介。
所述智能穿戴系統(tǒng)還包括:操作對象信息獲取裝置50,獲取所述操作對象與工作相關的信息。
上述智能穿戴系統(tǒng)可以應用于多種場合,輔助操作人員完成具體的操作過程。
實施例三
本發(fā)明實施例三提供一種智能穿戴系統(tǒng),如圖14所示,包括智能眼鏡,智能手環(huán)和后臺服務器。其中,所述智能眼鏡包括:設于鏡片處的半透明式顯示屏/全透明式顯示屏1、設于鏡框側的聲音輸入/輸出設備2、攝像頭3、無線/有線通訊設備4、微型照明用電筒5、大容量電池6、定位追蹤器7以及內置處理器8(微型計算機)。所述智能手環(huán)包括:電池20,提供工作電源;震動馬達21,用于提醒操作者;動作感應加速計22,用于識別操作者動作;更改按鍵24,用于更改成自定義動作并建立與自定義動作相對應的控制指令;以及用于與其他電子設備相連的接口27。所述后臺服務器包括:服務器本體30及其內部處理器31,處理器31用于處理智能眼鏡和智能手環(huán)發(fā)送來的各種信息,以實現較方便的工作輔助。
所述智能眼鏡內置無線連接設備與后臺服務器進行連接,后臺服務器所有的內容(如操作步驟,視頻信息,圖片信息)可以隨時根據需要發(fā)送給智能眼鏡的控制單元,同時智能眼鏡將采集到的數據信息反饋給智能眼眼鏡內置控制單元后傳輸到后臺服務器,經過后臺服務器進行處理后又可以反饋給智能眼鏡。后臺服務器也可以把智能眼鏡傳輸的各項數據信息存儲起來經過運算分析后自動評判操作人員的工作效率和工作時間或者成為企業(yè)的大數據。
其中,智能眼鏡收集的數據信息包括:操作人員完成預設步驟的時間,重復播放所述預設步驟的次數和完成預設步驟的時間,操作人員完成預設步驟的工作質量,操作人員完成整個操作流程的時間,操作人員完成整個操作流程的所有操作姿勢,操作人員操作失誤發(fā)出警報的次 數,操作人員完成整個操作流程的視頻,以及操作人員出現警報的視頻。
智能眼鏡可通過如下方式收集數據:
1、以每個小步驟的開始到完成該小步驟作為時間節(jié)點,智能眼鏡控制單元根據步驟節(jié)點記錄操作人員在進行操作作業(yè)時完成每個小步驟用到的時間。
2、當操作人員重復觀看智能眼鏡中某個小步驟的指導演示時,智能眼鏡控制單元記錄下重復該步驟的次數,以及觀看多次后完成該步驟的時間。
3、操作人員完成該步驟的工作質量,主要通過攝像頭的體感識別將獲取的圖像經過識別單元分析識別操作員的手勢以及操作對象,與存儲單元中建立的三維模型對比是否一致或者重疊,來判斷操作人員的動作是否標準,使用的操作工具是否正確。
4、控制單元記錄操作人員完成整個工作任務的時間。
5、記錄操作人員在整個操作過程中的整個操作姿勢作為后臺服務器大數據,為以后的標準姿勢做準備,圖像數據依據深度神經網絡算法進行處理、對比、分類,神經網絡算法可以識別圖像的紋理及模式信息。該算法可以在人工輔助訓練下達到越來越高的識別準確率。在識別準確率接近人類時可以極大地降低人工成本。
6、操作人員在整個操作過程中每次操作失誤被識別后控制單元發(fā)出報警的次數會被控制單元記錄下來。
7、操作人員在整個操作過程中的操作視頻會被全程記錄下來儲存在后臺服務器中,會自動生成視頻進度條,關鍵節(jié)點會被標上。
8、操作人員在操作過程中出現警報的步驟會被特別記錄下來儲存在后臺服務器中,并且會隨時記錄所有操作人員在某個步驟的報警。
收集到數據后,智能眼鏡可以通過如下方式進行數據分析:
1、后臺服務器對記錄到的每個操作人員每個小步驟的完成時間進行平均值、方差、正太分布、最高值最低值等數學運算得到所有操作人員每個小步驟完成的平均時間數據,最慢時間數據,以及最快時間數據。
2、后臺服務器將每個小步驟根據操作的難易程度分檔,例如可分為容易(一檔系數0.8),一般(二擋系數1.0),難(三擋系數1.2)。
3、后臺服務器根據步驟1中得到的平均時間數據,最慢時間數據和最快時間數據與某個操作人員完成某個小步驟的時間對比,并對其進行分檔,其中,分檔原則可以是:該操作人員完成的時間接近所有操作人員的最慢時間則為60分,接近平均時間則為80分,接近最快時間則為100分。
4、后臺服務器根據某個操作員完成某個步驟的難易程度以及完成該步驟的時間給予操作員完成該小步驟打分,例如某個操作人員完成了一個容易的步驟(屬于一檔系數0.8)并且完成的時間接近平均時間(該時間為80分),那么他的工作效率就是一檔系數0.8乘以平均時間80得到64,這個數值就是某個操作人員完成某個小步驟的工作效率。
5、后臺服務器把操作人員每個小步驟的工作效率經過加法運算處理得到完成整個操作過程的工作效率。
6、后臺服務器把操作人員觀看每個步驟時的重復次數與其他操作人員觀看該步驟的平均次數對比來判斷該操作人員對該項工作是否熟練進行評分(如60分、80分、100分),對比方法與工作效率的對比方法相同,不再贅述。
7、通過體感識別技術識別操作人員工作時的動作姿勢是否規(guī)范,例如,可通過圖像數據依據深度神經網絡算法在后臺服務器上進行處 理、對比、分類,神經網絡算法可以識別圖像的紋理及模式信息來識別操作人員工作時的動作姿勢是否規(guī)范,操作人員使用工具是否按照標準執(zhí)行等初步判斷操作人員的工作質量進行評分,如智能眼鏡將識別到的姿勢動作反饋給服務器,服務器經過分析運算判斷該動作遠偏離了服務器儲存的標準三維模型姿勢為60分、接近標準姿勢為80分、與標準姿勢幾乎重合為100分。
8、后臺服務器記錄下同一個步驟所有操作人員觀看的頻次都很多的步驟,說明該步驟確實復雜難操作,后臺服務器根據將該操作人員觀看該步驟后完成該操作所花的時間與所有操作人員完成該操作步驟的平均時間進行對比,遠高于平均時間則為60分,與平均時間幾乎相同為80分,遠低于平均時間為100分,根據操作人員的等分高低判斷操作人員的學習能力的強弱。其中,平均時間的計算參考步驟1。
9、后臺服務器記錄下所有員工觀看頻次最多,完成時間最長的步驟,該步驟是企業(yè)應該對員工進行重點培訓的步驟,也是該操作步驟需要優(yōu)化的依據。
10、后臺服務器隨時跟蹤操作人員完成工作后設備運行效果作為對其工作質量的一個補充判斷。具體來說,可通過電子記錄儀反應操作人員完成工作后設備運行效果。
11、操作人員每次完成工作的所有數據,經過智能眼鏡后臺服務器根據平均值,最大值,最小值,正太分布等數學運算方法幫助建立操作人員個人的月度,季度,年度報表,通過對比每一天,每一個月,每一年的工作效率和工作質量的變化得到其工作變化曲線影響其績效、晉升和降級。
12、后臺服務器根據智能眼鏡采集到的大量數據自動生成企業(yè)所有操作人員的月度,季度,年度工作報表,得到企業(yè)整體員工素質能力變 化曲線從而得到企業(yè)個人平均工作質量變化圖。
13、根據收集到的操作員的個人工作數據,后臺服務器自動給操作人員形成個人能力雷達圖,記錄下其操作技術短處所在,并且后臺服務器會對其某個薄弱的方面在其下次進行操作工作時,智能眼鏡會在該步驟提醒操作人員需要更加細心。
14、操作人員的工作過程被錄制下來直接通過后臺服務器傳送到管理部門,管理部門可以直接監(jiān)管操作人員的工作現場狀況。
實施例四
本發(fā)明實施例四的智能頭戴設備可以與增強現實技術相結合,應用到更為廣泛的領域中。
以智能眼鏡為例,通過將AR(增強現實)技術應用于本發(fā)明智能眼鏡的操作步驟中,對于一些復雜的操作過程,可以通過AR技術指導操作人員進行操作,這樣操作人員可以跟著動畫指示一步一步的完成操作工作,提高操作人員的操作精度,減少操作人員因自身操作不熟練導致在工作現場無法下手或者盲目下手操作。
例如,當我們需要更換汽車上的發(fā)動機時,連接著發(fā)動機的器件和螺絲可能達到上百種,不僅如此拆裝每一種螺絲和器件使用的工具不同,甚至擰動的方向也不同,連接在發(fā)動機上的各種設備和器件的拆裝順序也不一樣,通過本發(fā)明的增強現實的智能眼鏡就可以快速準確的拆裝發(fā)動機。
具體來說,當使用者佩戴好本發(fā)明的智能眼鏡,并觀察發(fā)動機部件時,其中,發(fā)動機部件可以被視為操作對象,通過智能眼鏡的鏡片看到3D立體彩色圖像覆蓋在真實部件上;當需要拆裝或擰動某個部件時,該部件會被高亮標示在視野中,之后智能眼鏡中的顯示單元顯示相應的 3D工具(如扳手,卡鉗等)正在順時針的擰動某個部件,或者顯示3D手的模型正在移動與真實部件疊加的虛擬部件,并且有動畫演示移動該部件的過程。智能眼鏡的顯示單元可顯示出正確的拆裝步驟、動作姿態(tài)以及工具信息(即操作對象的特征信息),利用語音識別功能與使用者互動,通過文字、語音和動畫指導其一步一步完成該部件的全部更換過程。在維修過程中,所有的步驟可隨時被調取,以便重新觀看。
實施例五
本發(fā)明實施例五的智能頭戴設備可以與虛擬技術相結合,應用到更為廣泛的領域中。
以智能眼鏡為例,通過智能眼鏡與虛擬技術的結合,可以完成對操作人員的操作培訓過程。通過虛擬技術,可以完全呈現出一個與操作對象一模一樣的3D立體操作對象在操作人員眼前,操作人員可以通過手勢交互的方式隨意移動,變換3D操作對象,還可以將3D操作對象中的多個部件完全從操作對象中拆分開來顯示,操作人員可以360°觀察、或者模擬操作所有拆分的部件,讓操作人員深入了解該操作對象的所有構造以及其各部件之間的連接關系,操作人員可以快速的掌握操作對象的拆裝技巧,加深其學習印象,大大提高其學習興趣,縮短其學習時間,提高其學習效率。同時3D操作對象也可以在操作人員進行某些部件的拆卸時呈現出來,讓操作人員更能夠全面的了解到該部件的結構,提高其拆裝準確率。
例如:在教學領域,醫(yī)學院的學生如果使用尸體的話首先成本高,而且不能反復學習,而光觀看視頻或者文字的話不能深入實踐體驗,學習效率不高。通過本發(fā)明的智能眼鏡,醫(yī)學院的學生可以學習人體各部分的構造結構,以及他們之間的內部組成關系,并可以實現對人體各部分的主動操作。
具體來說,通過使用智能眼鏡與VR的結合,學習者戴上智能眼鏡就可以看到3D的1:1的立體完整人體影像漂浮在眼前,通過手勢交互的方式,學習者可以任意將人體的某部分剝離出來。例如學習者可以用手直接把人體影像中的心臟直接摘出來拿在手上360°的觀看該心臟的影像,可以觀察心臟的各個靜脈和動脈之間的連接關系,甚至可以看到心臟表面的血管連接,并且同時會有文字介紹和語音介紹。這樣生動的學習課堂不僅會深深吸引學生的學習興趣,更能讓學生親身實踐觀察幾乎與真實一樣的身體構造。
又比如:醫(yī)生在做心臟手術的過程中,無法360°全方位的觀察到患者的心臟,為了讓醫(yī)生在手術過程中集中精力專注于手術,戴上智能眼鏡可以給醫(yī)生展示一個3D的可360°全方位的1:1的與真實心臟一模一樣的虛擬心臟在醫(yī)生眼前,醫(yī)生可以隨時觀察心臟的結構和組成,這會給醫(yī)生的工作效率帶來極大的改變。
實施例六
本發(fā)明實施例六的智能頭戴設備可以與攝像頭體感識別技術相結合,應用到更為廣泛的領域中。其中攝像頭體感識別技術通過實施例二中的智能頭戴設備體感控制設備實現。其中的體感動作識別單元既可以識別操作人員的體感動作信息,也可以識別操作人員的操作姿勢。
以智能眼鏡為例,操作人員的操作姿勢可以通過智能頭戴設備體感控制設備中的體感動作識別單元進行識別,通過處理單元識別操作人員的操作姿勢判斷操作人員的操作是否標準合格,并通過報警單元對操作人員錯誤的操作動作或者姿勢發(fā)出警報對操作人員進行警示。大大的減少了操作人員由于自身操作的原因導致的危險隱患。規(guī)范操作動作,提升工作效率,最重要的是保證操作的安全性。
其中,操作人員的操作姿態(tài)圖像經過服務器處理,操作姿態(tài)圖像數 據依據深度神經網絡算法在后臺服務器上進行處理、對比、分類,神經網絡算法可以識別圖像的紋理及模式信息。
實施例七
本發(fā)明實施例七的智能頭戴設備可以與語音人機交互方式相結合,應用到更為廣泛的領域中。
以智能眼鏡為例,可以在智能眼鏡中設置語音處理單元,通過智能眼鏡中的語音輸入輸出設備輸入和輸出音頻交互信息,通過語音處理單元對所述音頻交互信息進行處理,實現與操作人員的語音交互。操作人員在操作的過程當中不用手去翻看資料,操作人員可以把精力都放在工作上,真正的起到解放操作人員雙手的效果。
在實際應用中,語音交互主要是依靠智能眼鏡上的聲音接收設備,經過內置處理器分析校驗后再通過內置處理器發(fā)出相對應的指令給智能眼鏡。
實施例八
本發(fā)明實施例八的智能頭戴設備可以與智能手環(huán)、智能腳環(huán)、智能頸環(huán)、智能頭環(huán)、智能衣服、智能手套、智能鞋、智能指環(huán)、智能牙套或者智能臂環(huán)中至少一種相結合,應用到更為廣泛的領域中。
以智能眼鏡及智能手環(huán)相結合為例,每個操作人員都有一個輸入自己身份信息的智能手環(huán),智能手環(huán)用于智能眼鏡對操作人員的身份識別。例如,可以通過智能掃碼進行識別。智能眼鏡識別到不同的操作人員的身份給予安排不同的工作任務,應用智能眼鏡進行操作人員的任務工作分配,這樣也可以避免不具有該操作資格的操作人員進行該操作的操作行為。同時智能手環(huán)還具有在操作人員沒有佩戴眼鏡時接收任務信息發(fā)出聲響提醒操作人員佩戴眼鏡。
其中,智能手環(huán)內置微型計算機,可以接受來自服務器的信息,同時也具有聲音輸出設備,發(fā)出聲響提醒,內置電子碼可以提供給智能眼鏡掃描身份。
實施例九
本發(fā)明實施例九的智能頭戴設備可以與語音通話和視頻通話技術相結合,應用到更為廣泛的領域中。
以智能眼鏡為例,智能眼鏡中的頭戴設備通信單元與輔助工作相關的設備建立通信連接。所述輔助工作相關的設備可以是語音通話和視頻通話設備。操作人員在進行操作工作時通過語音通話和視頻通話設備可以實時的與輔助工作相關的人員進行通信,如與專家通信,通過視頻通話設備傳送現場工作視頻圖像,專家或者廠內有經驗的員工可以根據現場工作視頻圖像指導操作人員解決現場問題。這樣遇到沒有碰到過的問題或者特別棘手的問題時,可以通過視頻通信設備現場聯(lián)系專家當場解決,而不必停下手上的工作先總結工作問題后再召開解決會議,只需要智能眼鏡的頭戴設備通信單元遠程協(xié)助便可以現場解決問題,極大的節(jié)約了工作時間,提高工作質量。
其中,智能眼鏡通過內置攝像頭把現場的所有工作視頻圖像和過程錄制下來傳送到服務器,以備發(fā)生意外時作為第一人視角的寶貴數據作為查明事故發(fā)生的主要原因和當時發(fā)生意外時的情景。以免下一次再次發(fā)生同樣意外的事故。
綜上所述,本發(fā)明的智能頭戴設備主要針對的是操作繁瑣、操作步驟多、操作流程長、對結果的安全性能要求高的企業(yè)。能夠達到工作輔助的作用,區(qū)別于他人不同就在它能夠將自己開發(fā)的新功能技術與現有的功能技術一起與智能眼鏡結合并且把智能眼鏡應用在工作輔助方面。
實施例十
本發(fā)明實施例十的智能穿戴系統(tǒng)與實施例三的智能穿戴系統(tǒng)相同,可以用于循環(huán)油升溫操作的輔助工作。其具體方法包括如下步驟:
101、智能眼鏡通過與智能手環(huán)、后臺服務器之間的交互,顯示輔助工作的信息。
具體的,操作人員上班便戴上智能手環(huán)并且用智能手環(huán)通電子感應簽到,調度室發(fā)出工作任務安排,推送到后臺服務器,后臺服務器發(fā)送信息到操作人員佩戴的智能手環(huán)上,智能手環(huán)發(fā)出聲響提示操作人員穿戴上智能眼鏡,操作人員戴上智能眼鏡開始工作,智能眼鏡的攝像頭對操作員佩戴的個人智能手環(huán)的特征碼進行攝像頭掃描,確認操作人員身份,身份明確后,服務器后臺推送安排的相關操作內容,經過處理器處理顯示在智能眼鏡的半透明屏幕上或智能眼鏡鏡片上。屏幕上顯示操作人員今天所要完成的各項操作任務列表,操作人員通過發(fā)出語音指令給聲音輸入設備,經過智能眼鏡內置控制單元處理校驗后給智能眼鏡發(fā)出指令,選擇循環(huán)油升溫操作工作輔助。
102、智能眼鏡顯示單元顯示對應輔助工作的操作界面。
具體的,智能眼鏡顯示單元,及智能眼鏡鏡片進入循環(huán)油升溫操作流程指示界面,屏幕的界面上首先有文字提示操作人員必須完整穿戴安全裝備才能進入工作環(huán)境,操作員根據提示穿好相應裝備后,智能眼鏡拍照記錄,即智能眼鏡通過外界攝像頭獲取畫面,外界攝像頭把相應的畫面?zhèn)魉徒o智能眼鏡處理器進行校驗,操作人員穿戴好安全裝備后語音指示智能眼鏡進入下一步。
103、智能眼鏡顯示單元顯示3D操作對象。
具體的,智能眼鏡接收到指令進入下一步操作的顯示界面,指示操作人員進入工作環(huán)境應該攜帶的使用工具,如各種扳手(F扳手,固定扳手等、活動扳手)、點火槍、防火面罩等,同時顯示屏會顯示出相應 工具的3D模型或者該工具的真實圖片。操作人員根據智能眼鏡以上提示帶好相應的使用工具進入工作環(huán)境并且向智能眼鏡發(fā)出下一步的語音指令。
104、智能眼鏡顯示單元顯示對所述操作對象的輔助工作信息。
具體的,智能眼鏡顯示屏進入下一步的指示界面,顯示屏幕上方出現“加熱爐點火”的文字,此時智能眼鏡發(fā)出語音提示提醒工作人員必須帶好防火面罩。同時操作室內集中控制系統(tǒng)發(fā)出的爐溫實時變化和升溫速率的信息推送給智能眼鏡服務器經過分析處理轉換成數字顯示在智能眼鏡的顯示屏右方以方便工作人員觀察并隨時調整和關閉爐火。同時智能眼鏡屏幕下方出現文字提示“點火應為對角增點火咀”,操作人員若對此提示有疑問可以語音發(fā)出命令“視頻幫助”,智能眼鏡接收到語音指令后進入視頻播放,智能眼鏡左上方出現小窗口播放點火咀的示范視頻指導操作人員如何正確點火。
105、判斷操作人員對顯示單元中所述操作對象的操作是否成功。
具體的,室內操控室集中控制系統(tǒng)反饋判斷點火的信息發(fā)送給智能眼鏡內置處理器,如果點火成功會有紅色的火苗圖像出現在顯示屏上,不成功則是綠色,智能眼鏡根據反饋,成功點火后自動進入下一步驟,如不成功智能眼鏡顯示屏提示需再一次點火。
106、智能眼鏡顯示單元根據后臺處理器的處理結果顯示操作人員對操作對象進一步的輔助工作信息,所述進一步的輔助工作信息是對所述輔助工作信息的進一步修正。
具體的,點火成功后智能眼鏡進入下一步的顯示界面,屏幕顯示界面小窗口出現爐溫升溫曲線。該曲線由車間室內操控室的集中控制系統(tǒng)發(fā)送給服務區(qū)推送給智能眼鏡的,如果智能眼鏡后臺處理器發(fā)現實際升溫曲線與標準升溫曲線發(fā)生偏離,智能眼鏡屏幕上立即出現紅色的感嘆 號并且語音發(fā)出聲音報警提示,同時語音和屏幕下方文字同時提示操作人員“升溫過快,應該減小空氣輸送量,減慢爐子升溫速率”。操作人員在緊張情況下如若需要幫助,語音命令進入幫助選項,智能眼鏡發(fā)出語音和文字提示,指導操作人員一步一步完成減小空氣流量的操作,操作人員可重復觀看該步驟直到完成該項操作,爐溫升溫速率正常后,智能眼鏡才能接受下一步的指令。
107、智能眼鏡通過語音輸入輸出設備與操作人員進行交互。
智能眼鏡屏幕右邊顯示爐口溫度已經達到130℃,同時智能眼鏡發(fā)出語音提醒以及文字提示,提醒操作人員此時應該進行恒溫脫水操作。操作人員完成該操作后語音反饋給智能眼鏡完成,智能眼鏡進入下一步指示。
108、智能眼鏡顯示單元根據第一環(huán)節(jié)感測器感測到的第一信息,顯示對應的輔助工作信息。
其中,第一信息指常壓爐的溫度。具體的,當常壓爐溫度達到320℃以上時,智能眼鏡顯示單元右邊顯示常壓爐溫度達到320℃同時語音提示操作人員打開常壓測線,操作人員來到打開常壓線的閥門處,該閥門旁邊連接著其它許多各種各樣的閥門,且操作復雜,但是智能眼鏡通過增強現實功能在需要打開閥門的區(qū)域出現高亮色,并且出現一個3D彩色虛擬閥門完全覆蓋在要打開的真實閥門上,同時有3D固定扳手順時針在開閥門的動畫演示,操作人員跟隨動畫演示打開閥門,室內集中控制系統(tǒng)得到常壓線打開的信息后會傳輸到智能眼鏡內置處理單元,智能眼鏡接收到反饋信息后自動進入下一步提示。
進一步的,第一信息指減壓爐的溫度。具體的,當減壓爐溫度達到350℃以上時,智能眼鏡得到相應的信號,指示操作人員打開減壓側線具體可以選擇幫助如何打開減壓側線,操作人員完成該操作后,室內集 中控制系統(tǒng)會得到相應信號并傳給智能眼鏡,智能眼鏡自動進入下一步指示。
109、操作人員根據智能眼鏡語音輸入輸出設備及顯示單元輸出的提示信息,對操作對象進行操作。
具體的,智能眼鏡語音輸入輸出設備和顯示單元上方同時提示操作員“穩(wěn)定爐溫”,目標溫度和實時溫度、目標壓力和實時壓力、目標流量和實時流量通過服務器推送顯示在顯示屏幕上方,操作人員根據目標值實時調整設備數據,使得實時數值和目標數值重合,智能眼鏡發(fā)出語音和文字的提示完成。等到數據穩(wěn)定一段時間不出現波動后,智能眼鏡提示操作人員該工作任務完成。
1010、智能眼鏡通過語音輸入輸出設備提示操作人員將操作對象放回原位。
具體的,操作員回到室內控制室,智能眼鏡語音提示操作員將此次工作所用到的工具放回原處,智能眼鏡通過攝像頭識別工具是否完全歸位。
1011、智能眼鏡通過語音輸入輸出設備提示操作完成。
具體的,操作員語音給智能眼鏡發(fā)出完成該項工作的指令,整個工作結束,操作員語音選擇工作任務安排選項查看下一項工作任務,準備進行完成下一個工作。
實施例十一
本發(fā)明實施例十一的智能穿戴系統(tǒng)與實施例二的智能穿戴系統(tǒng)相同,可以用于汽車維修的工作輔助。其具體方法包括如下步驟:
201、智能眼鏡通過語音輸入輸出設備與操作人員進行交互,顯示輔助工作的信息。
具體的,操作人員戴上智能眼鏡,操作人員通過語音輸入輸出設備發(fā)送更換輪胎的指令給智能眼鏡,智能眼鏡內置控制單元對進行聲音識別,將相應的指令發(fā)送給智能眼鏡執(zhí)行。智能眼鏡顯示單元顯示更換輪胎的操作步驟的界面顯示,指導操作人員更換輪胎。
202、智能眼鏡顯示單元顯示對應輔助工作的3D操作界面。
具體的,智能眼鏡顯示單元顯示了一個3D的彩色虛擬輪胎覆蓋在真實輪胎上面,在四顆螺絲的區(qū)域出現高亮的顏色,此時屏幕出現3D的模擬扳手工具,指導操作人員使用何種規(guī)格大小的扳手,按照順時針方向在擰松螺絲的動畫,同時發(fā)出語音和文字提示操作人員首先將輪胎四顆螺絲擰松,維修員根據箭頭、區(qū)域亮色、聲音、動畫的提示一一卸下螺絲,并且發(fā)出下一步的語音命令。
203、智能眼鏡顯示單元顯示操作對象的具體操作步驟。
具體的,智能眼鏡接收到命令后進入下一步指示,顯示單元顯示千斤頂的3D彩色圖像,通過局部區(qū)域亮色以及箭頭的指引指導操作人員找到千斤頂要頂住汽車的卡槽位置,并且通過動畫提示操作人員如何放好千斤頂。同時智能眼鏡會在屏幕下方文字提醒注意事項“把備用輪胎放入車底,以免出現意外”。維修員按照指示完成工作后語音命令進入下一步。
204、智能眼鏡語音輸入輸出設備或者顯示單元向操作人員發(fā)出操作提示信息,所述操作提示信息可以是語音提示信息,也可以是文字提示信息。
具體的,操作人員跟隨智能眼鏡的語音和文字提示,把輪胎拆下后,操作人員語音提示進入下一步。
205、確定操作人員是否根據所述操作提示信息完成對操作對象的 操作。
具體的,屏幕中語音和文字提示操作人員可以把備胎換上并且提示需把備用車輪和車軸對齊,智能眼鏡播放將車輪和車軸對齊的視頻,操作人員觀看后快速的把輪胎對齊并且完成后語音提示進入下一步。
206、智能眼鏡將操作人員的操作步驟發(fā)送給智能體感控制設備,智能體感控制設備判斷操作人員的操作步驟順序是否準確。
顯示單元中又出現了3D的虛擬輪胎覆蓋在真實輪胎上面,并且在4個螺絲的區(qū)域出現高亮色,由于螺絲需按對角線方式擰緊,顯示單元同時在四個螺絲上顯示有1、2、3、4的數字。此時顯示單元上出現一個3D虛擬扳手在第一個螺絲上逆時針旋轉的動畫指導工作人員把螺絲擰緊,同時出現語音輸入輸出設備提示操作人員不能把螺絲擰太緊,而是依次擰對角螺絲后再反復依序擰緊螺絲。由于錯誤操作會導致輪胎傾斜步正使得汽車在行駛當中存在車禍的隱患。如果操作人員沒有按照此順序擰緊螺絲,操作人員的動作通過攝像頭記錄傳輸給服務器,通過智能體感控制設備判斷該操作步驟順序是否準確,如錯誤會發(fā)出聲音或者紅色感嘆號顯示警報警告操作人員錯誤操作。
207、確定操作步驟結束后,智能眼鏡關閉電源。
具體的,操作人員把輪胎裝好后,整個工作結束,眼鏡關閉電源。
以上所述僅為本發(fā)明的實施方式,并非因此限制本發(fā)明的專利范圍,凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效流程變換,或直接或間接運用在其他相關的技術領域,均同理包括在本發(fā)明的專利保護范圍內。