本發(fā)明涉及工業(yè)控制領(lǐng)域，具體地，涉及工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)。這種交互系統(tǒng)涉及了ar(增強(qiáng)現(xiàn)實(shí))技術(shù)、plc(可編程邏輯控制器)數(shù)據(jù)監(jiān)控采集技術(shù)、藍(lán)牙無線組網(wǎng)和短距定位技術(shù)、以及hmi(人機(jī)接口)組態(tài)技術(shù)。

背景技術(shù)：

美國智能制造領(lǐng)導(dǎo)力聯(lián)盟于2011年提出了智能制造的概念。德國于2013年在漢諾威工博會上提出了工業(yè)4.0，并將其納入由德國政府發(fā)布的《德國2020高技術(shù)戰(zhàn)略》的十大未來項(xiàng)目中，希望在新一輪的工業(yè)革命中占領(lǐng)先機(jī)。中國在2015年由國家工信部牽頭制定了《中國制造2025》等戰(zhàn)略級計(jì)劃。由此可見，工業(yè)控制系統(tǒng)受到越來越多國家的重視。

工業(yè)控制系統(tǒng)是強(qiáng)國之基礎(chǔ)，大到核電廠、航空航天、軌道交通，小到民營生產(chǎn)等等，據(jù)統(tǒng)計(jì)，超過80％的涉及國計(jì)民生的領(lǐng)域都需要工業(yè)控制系統(tǒng)來實(shí)現(xiàn)自動化作業(yè)，其先進(jìn)性和現(xiàn)代化程度緊密關(guān)系著國家的戰(zhàn)略布局。plc作為工業(yè)現(xiàn)場新型、通用的控制器，有著組裝靈活、安全性高、抗干擾能力強(qiáng)等顯著優(yōu)點(diǎn)，已經(jīng)被廣泛而大量地運(yùn)用在了各大工業(yè)現(xiàn)場。控制器的不斷升級和革新為工業(yè)控制的生產(chǎn)、維護(hù)以及管理等諸多方面帶來了質(zhì)的突破，然而，配套輔助設(shè)施的突破性及創(chuàng)新性不夠明顯。大量的工業(yè)現(xiàn)場都存在以下這些現(xiàn)象：傳統(tǒng)的只使用物理按鍵的機(jī)械式hmi操作方式沿用至今，控制方式固定死板；為設(shè)備配置獨(dú)立的物理顯示器，成本高昂，數(shù)據(jù)相對孤立；工業(yè)現(xiàn)場采用全有線數(shù)據(jù)傳輸，布線極其繁瑣復(fù)雜等等。工業(yè)4.0時(shí)代如何改善傳統(tǒng)工業(yè)制造模式并使其向智能制造轉(zhuǎn)型很大程度上和現(xiàn)有實(shí)現(xiàn)技術(shù)是息息相關(guān)的。

雖然市場中的plc品牌的種類繁多，但是主流的控制器廠商卻屈指可數(shù)，被廣泛使用且具有影響力的工業(yè)現(xiàn)場通信協(xié)議數(shù)量并不多，這使得針對市場主流plc進(jìn)行協(xié)議對接和設(shè)備數(shù)據(jù)采集成為可能。另外，物聯(lián)網(wǎng)以及無線通信技術(shù)的迅速發(fā)展為工業(yè)級數(shù)據(jù)傳輸方式帶來了新的擴(kuò)展途徑，國家3g/4g傳輸速率大幅提升且覆蓋范圍日益完善，藍(lán)牙自4.0+開始逐步實(shí)現(xiàn)了低功耗、自組網(wǎng)以及安全加密等優(yōu)越的新特性，更加貼合工業(yè)使用環(huán)境。除此之外，視覺上，ar相關(guān)的技術(shù)熱潮正沖擊著傳統(tǒng)物理屏幕的靜態(tài)的固定顯示方式；肢體上，景深攝像頭的使用逐漸開辟了一個(gè)人機(jī)自然交互的新市場。與此同時(shí)，大數(shù)據(jù)的不斷發(fā)展和人們對安全性的空前重視使得在工業(yè)環(huán)境中使用在線專家診斷系統(tǒng)的技術(shù)成為熱門，上述每一點(diǎn)所涉及的新技術(shù)都可能在工業(yè)界帶來開創(chuàng)性的技術(shù)融合與革新。

本發(fā)明針對傳統(tǒng)工業(yè)現(xiàn)場目前實(shí)際存在的上述問題，以及觀測設(shè)備固定、數(shù)量眾多且不能被復(fù)用、成本較高、占用較大的空間，組態(tài)調(diào)用、顯示及觀測方式不夠靈活、人機(jī)交互方式不夠靈活、設(shè)備診斷效果需要進(jìn)一步改善等問題，提出了一種工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端和系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

為了至少部分解決傳統(tǒng)工業(yè)現(xiàn)場目前實(shí)際存在的上述技術(shù)問題，本發(fā)明提出了工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端和系統(tǒng)。

本發(fā)明提出了一種工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端，包括：ar設(shè)備；智能定位模塊，用于實(shí)時(shí)定位追蹤ar設(shè)備的位置信息，同時(shí)給出工業(yè)設(shè)備的物理服務(wù)范圍；實(shí)時(shí)數(shù)據(jù)采集模塊，用于采集工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)和對工業(yè)設(shè)備進(jìn)行實(shí)時(shí)數(shù)據(jù)的反饋；以及，無線通信模塊，用于在ar設(shè)備進(jìn)入工業(yè)設(shè)備的物理服務(wù)范圍內(nèi)時(shí)，對實(shí)時(shí)數(shù)據(jù)采集模塊所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)、與ar設(shè)備產(chǎn)生的交互數(shù)據(jù)進(jìn)行雙向傳輸，實(shí)時(shí)連續(xù)地更新；其中的ar設(shè)備包括ar后臺組態(tài)模塊和ar實(shí)景自適配模塊，ar后臺組態(tài)模塊用于獲取工業(yè)設(shè)備的各項(xiàng)參數(shù)指標(biāo)及附加實(shí)時(shí)數(shù)據(jù)，同時(shí)用于接收和解釋ar設(shè)備的指令，以實(shí)現(xiàn)組態(tài)環(huán)境的生成和/或更新；其中的ar實(shí)景自適配模塊用于捕捉ar設(shè)備視野中的實(shí)際觀測對象，自動調(diào)整所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)的呈現(xiàn)位置及方式，顯示虛擬化的觀測操作界面，調(diào)用并界面化顯示由ar后臺組態(tài)模塊所生成和/或更新的組態(tài)環(huán)境。

根據(jù)本發(fā)明的這種實(shí)景增強(qiáng)式交互終端已經(jīng)提供了一種全新的組態(tài)調(diào)用、顯示及觀測的方式，通過隨身佩戴工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端(例如，其可以被實(shí)現(xiàn)為無線接入的ar設(shè)備的形式，還可以是可以移動的其他顯示和交互裝置)的移動式復(fù)用，可在一定程度上減少工業(yè)環(huán)境傳統(tǒng)顯示設(shè)備的數(shù)量，降低采購成本，更加節(jié)約能耗和設(shè)備占用空間。

而且，根據(jù)本發(fā)明的這種實(shí)景增強(qiáng)式交互終端由于采用了物理與體感相結(jié)合的人機(jī)交互方式，所以不僅能夠以高精度的操作來使用對物理設(shè)備的控制，從而保證其具有傳統(tǒng)工業(yè)中的穩(wěn)定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進(jìn)行人機(jī)交互，從而使數(shù)據(jù)交互更加直觀、便捷、人性化。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的實(shí)時(shí)數(shù)據(jù)采集模塊包括：數(shù)據(jù)獲取裝置，用于采集工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)；以及，數(shù)據(jù)反饋裝置，用于對所采集的工業(yè)設(shè)備進(jìn)行實(shí)時(shí)數(shù)據(jù)的反饋。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的實(shí)時(shí)數(shù)據(jù)采集模塊采用有線接入方式或無線接入方式，且在網(wǎng)絡(luò)接入時(shí)綁定所述工業(yè)設(shè)備的ip地址。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的實(shí)時(shí)數(shù)據(jù)采集模塊分別采用以下有線接入方式或無線接入方式中的至少一種：串口、網(wǎng)線、wifi、2g/3g/4g。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的實(shí)時(shí)數(shù)據(jù)采集模塊基于網(wǎng)絡(luò)的方案采用c/s架構(gòu)的客戶端或b/s架構(gòu)的web服務(wù)的數(shù)據(jù)訪問方式。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的智能定位模塊是采用帶組網(wǎng)物聯(lián)的無線定位技術(shù)的定位模塊。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的智能定位模塊采用以下帶組網(wǎng)物聯(lián)的無線定位技術(shù)：藍(lán)牙無線定位技術(shù)，用于給出工業(yè)設(shè)備的服務(wù)范圍；藍(lán)牙組網(wǎng)技術(shù)，用于多設(shè)備互聯(lián)且匯總數(shù)據(jù)從而提供模擬工業(yè)現(xiàn)場的虛擬節(jié)點(diǎn)設(shè)備。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，其中的無線通信模塊采用藍(lán)牙作為基礎(chǔ)通信方案，并且擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案，用于在所述ar設(shè)備進(jìn)入智能定位模塊的控制節(jié)點(diǎn)設(shè)備的服務(wù)范圍內(nèi)時(shí)，將ar設(shè)備的指令按照相關(guān)協(xié)議發(fā)送到控制節(jié)點(diǎn)設(shè)備，從而啟用控制節(jié)點(diǎn)設(shè)備的設(shè)備控制屬性，其中所述ar設(shè)備采用藍(lán)牙作為基礎(chǔ)通信方案，或者擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案。

根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端，ar實(shí)景自適配模塊自動調(diào)整和選擇組態(tài)界面或通用界面的配置，用于在ar設(shè)備上顯示所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)。

根據(jù)本發(fā)明的第二個(gè)方面，提出了一種工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)，包括以下設(shè)備：需要進(jìn)行實(shí)時(shí)數(shù)據(jù)采集和對其進(jìn)行反饋的工業(yè)設(shè)備；以及，如上文所述的實(shí)景增強(qiáng)式交互終端，其中的工業(yè)設(shè)備可以采用有線連接和/或無線連接適配的方式來接入實(shí)時(shí)數(shù)據(jù)采集模塊，而且，實(shí)時(shí)數(shù)據(jù)采集模塊不與工業(yè)設(shè)備(即節(jié)點(diǎn)設(shè)備)串口直連，而是通過網(wǎng)絡(luò)方式與其進(jìn)行連接時(shí)，實(shí)時(shí)數(shù)據(jù)采集模塊本身可作為虛擬節(jié)點(diǎn)。

如本領(lǐng)域的技術(shù)人員能夠理解的，根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端和系統(tǒng)能夠獲得如下有益效果：

本發(fā)明的實(shí)景增強(qiáng)式交互終端和系統(tǒng)提供了一種全新的組態(tài)調(diào)用、顯示及觀測的方式，通過隨身佩戴ar設(shè)備的移動式復(fù)用，可在一定程度上減少工業(yè)環(huán)境傳統(tǒng)顯示設(shè)備的數(shù)量，降低采購成本，更加節(jié)約能耗和設(shè)備占用空間，同時(shí)緩解現(xiàn)場復(fù)雜布線問題。

本發(fā)明的實(shí)景增強(qiáng)式交互終端和系統(tǒng)由于采用了物理與體感相結(jié)合的人機(jī)交互方式，所以不僅能夠以高精度的操作來使用對物理設(shè)備的控制，從而保證其具有傳統(tǒng)工業(yè)中的穩(wěn)定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進(jìn)行人機(jī)交互，從而使數(shù)據(jù)交互更加直觀、便捷、人性化。

本發(fā)明的實(shí)景增強(qiáng)式交互終端和系統(tǒng)結(jié)合在線診斷技術(shù)，擴(kuò)展配合在線專家診斷系統(tǒng)，不僅可以提供豐富的例如參數(shù)指標(biāo)預(yù)警提示等輔助服務(wù)，還可達(dá)到減少培訓(xùn)成本、降低失誤操作概率、提升設(shè)備管理效率等目的。

附圖說明

通過閱讀下文具體實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出具體實(shí)施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)的總體示意圖；

圖2示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)中的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端的結(jié)構(gòu)框圖；

圖3示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端中的實(shí)時(shí)數(shù)據(jù)采集模塊的示例性的結(jié)構(gòu)框圖；

圖4示出了與根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端進(jìn)行交互的示例性的工業(yè)設(shè)備的結(jié)構(gòu)框圖；

圖5示出了根據(jù)本發(fā)明的實(shí)施方式的實(shí)景增強(qiáng)式交互系統(tǒng)所實(shí)現(xiàn)的方法流程圖；

圖6示出了根據(jù)本發(fā)明的實(shí)施方式的實(shí)景增強(qiáng)式交互終端與工業(yè)設(shè)備進(jìn)行交互的方法流程圖；以及

圖7示出了根據(jù)本發(fā)明具體實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)的系統(tǒng)框架圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本發(fā)明的示例性實(shí)施方式。雖然附圖中顯示了本發(fā)明的示例性實(shí)施方式，然而應(yīng)當(dāng)理解，能夠以各種形式實(shí)現(xiàn)本發(fā)明而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了能夠更透徹地理解本發(fā)明，并且能夠?qū)⒈景l(fā)明的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)的總體示意圖。如圖1所示，整個(gè)系統(tǒng)示意性地包括實(shí)景增強(qiáng)式交互終端和工業(yè)現(xiàn)場設(shè)備，所述實(shí)景增強(qiáng)式交互終端包括實(shí)時(shí)數(shù)據(jù)采集模塊、智能定位模塊、無線通信模塊、ar設(shè)備。

其中，實(shí)時(shí)數(shù)據(jù)采集模塊是整個(gè)所述系統(tǒng)的基礎(chǔ)模塊，其通過適配市面主流plc(例如西門子、三菱、歐姆龍等)，支持多種工業(yè)現(xiàn)場總線通訊協(xié)議(例如profinet、ethercat、modbus等)，用于采集工業(yè)設(shè)備(即，工業(yè)現(xiàn)場節(jié)點(diǎn)設(shè)備)的實(shí)時(shí)數(shù)據(jù)，同時(shí)需要對工業(yè)現(xiàn)場設(shè)備進(jìn)行數(shù)據(jù)反饋，二者之間的基礎(chǔ)連接方式為有線連接方式(例如，在圖1中示出了工業(yè)用網(wǎng)線和采用uart的串口方式，但是并不僅限于這兩種)。實(shí)時(shí)數(shù)據(jù)采集模塊可以采用有線接入方式或無線接入方式，可以分別采用以下有線接入方式或無線接入方式中的至少一種：串口、網(wǎng)線、wifi、2g/3g/4g。實(shí)時(shí)數(shù)據(jù)采集模塊基于網(wǎng)絡(luò)采集的方案可以采用c/s架構(gòu)的客戶端或b/s架構(gòu)的web服務(wù)來訪問數(shù)據(jù)，并且數(shù)據(jù)監(jiān)測及管理的api可開放給第三方進(jìn)行多方擴(kuò)展。

其中，無線通信模塊(例如，在圖1中示出了包含藍(lán)牙、wifi的無線通信模塊，但是并不僅限于這兩種)，用于在ar設(shè)備和工業(yè)現(xiàn)場設(shè)備之間進(jìn)行通信。由此，無線通信模塊可以采用藍(lán)牙作為基礎(chǔ)通信方案，并且擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案，用于在帶有通過上述通信方案實(shí)現(xiàn)的無線功能的ar設(shè)備進(jìn)入智能定位模塊的控制節(jié)點(diǎn)設(shè)備的服務(wù)范圍內(nèi)時(shí)，將ar設(shè)備的指令按照相關(guān)協(xié)議發(fā)送到控制節(jié)點(diǎn)設(shè)備，從而啟用控制節(jié)點(diǎn)設(shè)備的設(shè)備控制屬性。具體地，一旦所述ar設(shè)備進(jìn)入所述系統(tǒng)服務(wù)范圍內(nèi)，無線通信模塊將所述實(shí)時(shí)數(shù)據(jù)采集模塊獲取的數(shù)據(jù)與所述系統(tǒng)的ar設(shè)備產(chǎn)生的交互數(shù)據(jù)進(jìn)行雙向傳輸，實(shí)時(shí)連續(xù)地更新。

其中，智能定位模塊，采用主流的無線定位技術(shù)及方案(例如，藍(lán)牙定位、lora定位、室內(nèi)gps定位等)，一方面給出系統(tǒng)中每個(gè)節(jié)點(diǎn)設(shè)備的物理服務(wù)的范圍，另一方面實(shí)時(shí)檢測并追蹤所述系統(tǒng)的使用者進(jìn)入服務(wù)范圍后的位置信息。智能定位模塊可以是采用帶組網(wǎng)物聯(lián)的無線定位技術(shù)的定位模塊，可以采用以下帶組網(wǎng)物聯(lián)的無線定位技術(shù)：藍(lán)牙無線定位技術(shù)，用于給出工業(yè)設(shè)備的服務(wù)范圍；若存在服務(wù)范圍部分重疊的多臺設(shè)備則可相互組成網(wǎng)絡(luò)，實(shí)現(xiàn)多設(shè)備互聯(lián)，模擬虛擬化的i/o數(shù)據(jù)節(jié)點(diǎn)。

其中，ar設(shè)備包含ar實(shí)景自適配模塊和ar后臺組態(tài)模塊。當(dāng)所述系統(tǒng)的ar設(shè)備獲取所述無線通信模塊傳來的所述實(shí)時(shí)數(shù)據(jù)采集模塊采集到的數(shù)據(jù)，ar實(shí)景自適配模塊和ar后臺組態(tài)模塊協(xié)同運(yùn)行，所述ar實(shí)景自適配模塊根據(jù)捕獲到的所述ar設(shè)備視野中的實(shí)際觀測對象，自動調(diào)整數(shù)據(jù)呈現(xiàn)位置及方式并且顯示虛擬化的觀測操及作界面，即，可以自動調(diào)整和選擇組態(tài)界面或通用界面的配置，為所接收數(shù)據(jù)提供更加合適的方式顯示于所述系統(tǒng)ar設(shè)備中；所述ar后臺組態(tài)模塊通過獲取設(shè)備各項(xiàng)參數(shù)指標(biāo)、待接收和解釋的ar設(shè)備操作指令等實(shí)時(shí)數(shù)據(jù)，及時(shí)完成組態(tài)環(huán)境的生成和更新功能，ar后臺組態(tài)模塊還可以包括在線專家診斷系統(tǒng)，用于進(jìn)行指標(biāo)提取分析，并且用于進(jìn)行綜合評判以給出優(yōu)選決策提示，以供使用者針對多種方案做出決策。

如圖2，其以功能模塊的形式示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互系統(tǒng)中的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端的結(jié)構(gòu)框圖，該工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端包括實(shí)時(shí)數(shù)據(jù)采集模塊、智能定位模塊、無線通信模塊、ar設(shè)備，上述各模塊的功能與圖1中相應(yīng)模塊的功能相對應(yīng)。

其中，智能定位模塊，用于實(shí)時(shí)定位追蹤ar設(shè)備的位置信息，同時(shí)給出工業(yè)設(shè)備的物理服務(wù)范圍；實(shí)時(shí)數(shù)據(jù)采集模塊，用于采集工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)和對工業(yè)設(shè)備進(jìn)行實(shí)時(shí)數(shù)據(jù)的反饋；以及，無線通信模塊，用于在ar設(shè)備進(jìn)入工業(yè)設(shè)備的物理服務(wù)范圍內(nèi)時(shí)，對實(shí)時(shí)數(shù)據(jù)采集模塊所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)、以及對ar設(shè)備的指令進(jìn)行轉(zhuǎn)發(fā)，實(shí)時(shí)連續(xù)地更新；其中的ar設(shè)備包括ar后臺組態(tài)模塊和ar實(shí)景自適配模塊，ar后臺組態(tài)模塊用于獲取工業(yè)設(shè)備的各項(xiàng)參數(shù)指標(biāo)及附加實(shí)時(shí)數(shù)據(jù)，同時(shí)用于接收和解釋ar設(shè)備的指令，以實(shí)現(xiàn)組態(tài)環(huán)境的生成和/或更新；其中的ar實(shí)景自適配模塊用于捕捉ar設(shè)備視野中的實(shí)際觀測對象，自動調(diào)整所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)的呈現(xiàn)位置及方式，顯示虛擬化的觀測操作界面，調(diào)用并界面化顯示由ar后臺組態(tài)模塊所生成和/或更新的組態(tài)環(huán)境。

如圖2所示，在其中示意性地用雙向箭頭和單向箭頭分別表示了各個(gè)模塊之間的雙向和單向數(shù)據(jù)通信關(guān)系。但是本領(lǐng)域的技術(shù)人員應(yīng)該了解的是，圖2中所示出的各模塊之間的數(shù)據(jù)通信關(guān)系僅僅是示意性的，可以設(shè)想各模塊之間的其他數(shù)據(jù)通信關(guān)系。

如本領(lǐng)域的技術(shù)人員所能了解的，首先，根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端、以及該終端與工業(yè)現(xiàn)場設(shè)備相結(jié)合的系統(tǒng)，提供了一種全新的組態(tài)調(diào)用、顯示及觀測的方式，通過隨身佩戴ar設(shè)備的移動式復(fù)用，可在一定程度上減少工業(yè)環(huán)境傳統(tǒng)顯示設(shè)備的數(shù)量，降低采購成本，更加節(jié)約能耗和設(shè)備占用空間。其次，由于采用了物理與體感相結(jié)合的人機(jī)交互方式，所以不僅能夠以高精度的操作來使用對物理設(shè)備的控制，從而保證其具有傳統(tǒng)工業(yè)中的穩(wěn)定性、安全性和可靠性；而且能夠以低精度和提示性的操作來使用手勢、語音等更為自然的方式進(jìn)行人機(jī)交互，從而使數(shù)據(jù)交互更加直觀、便捷、人性化。而且，根據(jù)本發(fā)明的這種實(shí)景增強(qiáng)式交互終端可以緩解現(xiàn)場復(fù)雜布線問題。

再次，結(jié)合了在線診斷技術(shù)的這種實(shí)景增強(qiáng)式交互終端，因?yàn)閿U(kuò)展配合了在線專家診斷系統(tǒng)，所以不僅可以提供豐富的例如參數(shù)指標(biāo)預(yù)警提示等輔助服務(wù)，還可達(dá)到減少培訓(xùn)成本、降低失誤操作概率、提升設(shè)備管理效率等目的。

圖3示出了根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端中的實(shí)時(shí)數(shù)據(jù)采集模塊的示例性的結(jié)構(gòu)框圖。如圖3所示，實(shí)時(shí)數(shù)據(jù)采集模塊包括數(shù)據(jù)獲取裝置和數(shù)據(jù)反饋裝置，其中的數(shù)據(jù)獲取裝置用于采集工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)；而其中的數(shù)據(jù)反饋裝置對所采集的工業(yè)設(shè)備進(jìn)行實(shí)時(shí)數(shù)據(jù)的反饋。

圖4示出了與根據(jù)本發(fā)明的實(shí)施方式的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端進(jìn)行交互的工業(yè)設(shè)備的結(jié)構(gòu)框圖。如圖4中所示，可選地，工業(yè)設(shè)備通過串口、網(wǎng)線、wifi、2g/3g/4g中的一種或多種方式與實(shí)景增強(qiáng)式交互終端中的實(shí)時(shí)數(shù)據(jù)采集模塊連接適配，從而實(shí)現(xiàn)工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)采集及反饋功能。

圖5示出了根據(jù)本發(fā)明的實(shí)施方式的實(shí)景增強(qiáng)式交互方法的步驟的框圖，其中包括了以實(shí)線框的形式表示的實(shí)景增強(qiáng)式交互終端可以操作的基本步驟s501至s505。

在步驟s501中，智能定位模塊實(shí)時(shí)定位追蹤帶無線功能的ar設(shè)備的位置信息，同時(shí)給出工業(yè)設(shè)備的物理服務(wù)范圍。

在步驟s502中，實(shí)時(shí)數(shù)據(jù)采集模塊采集工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)。

在步驟s503中，當(dāng)ar設(shè)備進(jìn)入工業(yè)設(shè)備的物理服務(wù)范圍內(nèi)時(shí)，無線通信模塊對實(shí)時(shí)數(shù)據(jù)采集模塊所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)、ar設(shè)備產(chǎn)生的指令進(jìn)行數(shù)據(jù)交互，實(shí)時(shí)連續(xù)地更新。

在步驟s504中，ar后臺組態(tài)模塊獲取工業(yè)設(shè)備的各項(xiàng)參數(shù)指標(biāo)及附加實(shí)時(shí)數(shù)據(jù)，同時(shí)接收和解釋ar設(shè)備的指令，以實(shí)現(xiàn)組態(tài)環(huán)境的生成和/或更新。

在步驟s505中，ar實(shí)景自適配模塊捕捉ar設(shè)備視野中的實(shí)際觀測對象，自動調(diào)整所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)的呈現(xiàn)位置及方式，顯示虛擬化的觀測操作界面，調(diào)用并界面化顯示由ar后臺組態(tài)模塊所生成和/或更新的組態(tài)環(huán)境。

根據(jù)步驟s504和步驟s505的操作，以及圖2中示出的ar實(shí)景自適配模塊與ar后臺組態(tài)模塊之間的連接關(guān)系，可以看出ar實(shí)景自適配模塊和ar后臺組態(tài)模塊是協(xié)同運(yùn)行的，但是本領(lǐng)域的技術(shù)人員也可以考慮實(shí)現(xiàn)相同功能的其他實(shí)現(xiàn)方式。

可選擇地，當(dāng)根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端的無線通信模塊采用藍(lán)牙作為基礎(chǔ)通信方案，并且擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案時(shí)，實(shí)景增強(qiáng)式交互終端還執(zhí)行步驟s506。在圖5中以虛線框的形式表示的步驟s506中，在帶有通過上述通信方案實(shí)現(xiàn)的無線功能的ar設(shè)備(相應(yīng)地，ar設(shè)備采用藍(lán)牙作為基礎(chǔ)通信方案，或者擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案)進(jìn)入智能定位模塊的控制節(jié)點(diǎn)設(shè)備的服務(wù)范圍內(nèi)時(shí)，將ar設(shè)備的指令按照相關(guān)協(xié)議發(fā)送到控制節(jié)點(diǎn)設(shè)備，從而啟用控制節(jié)點(diǎn)設(shè)備的設(shè)備控制屬性。

可選擇地，根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端執(zhí)行步驟s507。在圖5中以虛線框的形式表示的步驟s507中，ar實(shí)景自適配模塊自動調(diào)整和選擇組態(tài)界面或通用界面的配置，用于在ar設(shè)備上顯示所采集的工業(yè)設(shè)備的實(shí)時(shí)數(shù)據(jù)。

可選擇地，當(dāng)ar后臺組態(tài)模塊包括在線專家診斷系統(tǒng)時(shí)，根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端執(zhí)行步驟s508。在圖5中以虛線框的形式表示的步驟s508中，在線專家診斷系統(tǒng)進(jìn)行指標(biāo)提取分析，并且進(jìn)行綜合評判以給出優(yōu)選決策提示，以供使用者針對多種方案做出決策。

圖6示出了根據(jù)本發(fā)明的實(shí)施方式的實(shí)景增強(qiáng)式交互終端與工業(yè)設(shè)備進(jìn)行交互的方法流程圖。

如圖6所示，其中包括了以實(shí)線框的形式表示的工業(yè)設(shè)備可以操作的基本步驟s601。在步驟s601中，實(shí)景增強(qiáng)式交互終端中的實(shí)時(shí)數(shù)據(jù)采集模塊通過適配連入工業(yè)設(shè)備，該適配連入的方式采用有線直連(例如串口、網(wǎng)線)或wifi、2g/3g/4g中的一種或多種方式。

可選擇地，與根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端進(jìn)行交互的工業(yè)設(shè)備執(zhí)行步驟s602。在圖6中以虛線框的形式表示的步驟s602中，服務(wù)范圍部分重疊的多個(gè)工業(yè)設(shè)備組成網(wǎng)絡(luò)，實(shí)現(xiàn)設(shè)備互聯(lián)，用于模擬虛擬化的i/o數(shù)據(jù)節(jié)點(diǎn)。

可選擇地，在使用其的實(shí)景增強(qiáng)式交互系統(tǒng)還包括控制節(jié)點(diǎn)設(shè)備時(shí)，與根據(jù)本發(fā)明的實(shí)景增強(qiáng)式交互終端進(jìn)行交互的工業(yè)設(shè)備執(zhí)行步驟s603。在圖6中以虛線框的形式表示的步驟s603中，當(dāng)實(shí)景增強(qiáng)式交互終端的無線通信模塊采用藍(lán)牙作為基礎(chǔ)通信方案，并且擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案時(shí)，且在帶有通過上述通信方案實(shí)現(xiàn)的無線功能的ar設(shè)備(相應(yīng)地，ar設(shè)備采用藍(lán)牙作為基礎(chǔ)通信方案，或者擴(kuò)展到2g/3g/4g、wifi、以及l(fā)ora通信方案中的至少一種方案)進(jìn)入智能定位模塊的控制節(jié)點(diǎn)設(shè)備的服務(wù)范圍內(nèi)時(shí)，將ar設(shè)備的指令按照相關(guān)協(xié)議發(fā)送到控制節(jié)點(diǎn)設(shè)備，從而啟用控制節(jié)點(diǎn)設(shè)備的設(shè)備控制屬性。

盡管在圖5、圖6中分別以圖示的示例順序示出了可以由實(shí)景增強(qiáng)式交互終端和工業(yè)設(shè)備執(zhí)行的可選擇的示例性的步驟。但是，如本領(lǐng)域的技術(shù)人員所能夠理解的，這些步驟能夠以其他的順序執(zhí)行，可以包括可以設(shè)想的其他步驟，而且可以包括子步驟。

已經(jīng)根據(jù)上述實(shí)施方式實(shí)現(xiàn)了根據(jù)本發(fā)明的工業(yè)環(huán)境實(shí)景增強(qiáng)式交互終端、系統(tǒng)及方法。僅僅出于說明的目的，在此列出了部分實(shí)現(xiàn)的細(xì)節(jié)，以幫助本領(lǐng)域的技術(shù)人員理解。

如圖7所示，根據(jù)本發(fā)明的一個(gè)實(shí)施方式的數(shù)據(jù)采集模塊使用了anylinktm產(chǎn)品，anylinktm盒子集成了大量工業(yè)級通訊協(xié)議(例如profinet、ethercat、modbus等)并適配了市場上的主流plc(例如西門子、三菱、歐姆龍等)，并且提供了任務(wù)驅(qū)動、設(shè)備驅(qū)動以及云端開發(fā)的api，在其基礎(chǔ)上進(jìn)行二次開發(fā)方便、快捷；其中的智能定位模塊選用藍(lán)牙定位模塊，藍(lán)牙芯片采用東芝公司的tc35676芯片或tc35678芯片，它們支持藍(lán)牙4.1、具有低耗能和自組網(wǎng)等卓越特點(diǎn)，能夠給出每個(gè)工業(yè)設(shè)備的物理服務(wù)范圍，并且若存在服務(wù)范圍部分重疊的多臺工業(yè)設(shè)備則可相互組成網(wǎng)絡(luò)，實(shí)現(xiàn)多設(shè)備互聯(lián)，模擬虛擬化的i/o數(shù)據(jù)節(jié)點(diǎn)；其中的無線通信模塊使用上述藍(lán)牙芯片，并且在嵌入式設(shè)備板(如cortex-m3/m4開發(fā)板)的操作系統(tǒng)中進(jìn)行數(shù)據(jù)的透傳和任務(wù)調(diào)度，當(dāng)ar設(shè)備進(jìn)入智能定位模塊的控制節(jié)點(diǎn)設(shè)備服務(wù)范圍內(nèi)時(shí)，通過無線通信模塊將所采集的工業(yè)設(shè)備的數(shù)據(jù)轉(zhuǎn)發(fā)到實(shí)景增強(qiáng)式交互終端；實(shí)景增強(qiáng)式交互終端可以采用microsoft公司的hololens產(chǎn)品，其重量適中、時(shí)延低且?guī)в芯吧顢z像頭，可以為自然人機(jī)交互提供硬件基礎(chǔ)，在此基礎(chǔ)上，ar實(shí)景自適配模塊根據(jù)ar設(shè)備視野中的觀測對象自動調(diào)整數(shù)據(jù)呈現(xiàn)位置及方式，并且顯示虛擬化的觀測操作界面，而ar后臺組態(tài)模塊則通過獲取工業(yè)設(shè)備的各項(xiàng)參數(shù)指標(biāo)、待接收和解釋的ar設(shè)備的指令等實(shí)時(shí)數(shù)據(jù)，及時(shí)完成組態(tài)環(huán)境的生成和更新功能。

如本領(lǐng)域技術(shù)人員所能理解的，根據(jù)本發(fā)明的上述實(shí)施方式的實(shí)景增強(qiáng)式交互系統(tǒng)至少包括了與根據(jù)本發(fā)明的上述實(shí)施方式的實(shí)景增強(qiáng)式交互終端相同或相應(yīng)的技術(shù)特征，因此也解決了上文所述的根據(jù)本發(fā)明的上述實(shí)施方式的實(shí)景增強(qiáng)式交互終端所解決的技術(shù)問題，并且能夠獲得其所獲得的有益效果。

以上所述，僅為本發(fā)明的示例性的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。