本申請涉及通信領域，具體而言，涉及一種遠程協作交互方法、裝置以及電子設備。

背景技術：

1、隨著智能制造和數字社會的高速發(fā)展，遠程協作在多個業(yè)務場景中變得日益重要，如電力設備巡檢維修、緊急維護和培訓等。現場人員往往缺乏經驗來準確定位問題或高效、安全地解決問題，因此需要專家的遠程監(jiān)督和指導。

2、然而，現有的遠程指導通常采用電話或者視頻，在指導內容較為復雜的情況下，采用電話或者視頻的遠程指導方式容易造成現場人員理解不全或誤操作，進而影響對現場業(yè)務的正常處理。

3、針對相關技術中通過電話或視頻進行遠程指導的準確率和效率較低的問題，目前尚未提出有效的解決方案。

技術實現思路

1、本申請?zhí)峁┮环N遠程協作交互方法、裝置以及電子設備，以解決相關技術中通過電話或視頻進行遠程指導的準確率和效率較低的問題。

2、根據本申請的一個方面，提供了一種遠程協作交互方法。該方法包括：接收現場端發(fā)送的協作建立請求，并獲取現場端發(fā)送的作業(yè)環(huán)境影像，其中，協作建立請求用于請求建立現場端與遠程端之間的遠程協作任務；接收現場端發(fā)送的待協作信息，并根據待協作信息和作業(yè)環(huán)境影像生成遠程指導影像，其中，遠程指導影像中包含操作動作的影像數據和操作對象的影像數據；將遠程指導影像發(fā)送至現場端，其中，現場端根據操作動作的影像數據對操作對象進行處理。

3、可選地，獲取現場端發(fā)送的作業(yè)環(huán)境影像包括：響應協作建立請求，并建立現場端和遠程端之間的數據交互鏈路；根據數據交互鏈路接收現場端發(fā)送的視頻流，并根據視頻流重建現場端的作業(yè)環(huán)境影像，其中，視頻流為現場端通過掃描作業(yè)環(huán)境得到的視頻信息。

4、可選地，根據待協作信息和作業(yè)環(huán)境影像生成遠程指導影像包括：根據待協作信息確定協作內容，并判斷協作內容中是否存在新增操作對象的信息，其中，新增操作對象為未出現在作業(yè)環(huán)境影像中的對象；在協作內容中存在新增操作對象的信息的情況下，根據新增操作對象的信息獲取新增操作對象的m個初始二維圖像，并根據m個初始二維圖像生成新增操作對象的三維影像，并根據三維影像和作業(yè)環(huán)境影像生成遠程指導影像，其中，各個初始二維圖像的視角信息不同，m為正整數；在協作內容中不存在新增操作對象的信息的情況下，根據協作內容在作業(yè)環(huán)境影像中生成操作信息以及操作動作的影像數據，并將已添加操作信息和操作動作的影像數據的作業(yè)環(huán)境影像確定為遠程指導影像。

5、可選地，根據m個初始二維圖像生成新增操作對象的三維影像包括：分別對各個初始二維圖像進行拉伸處理，得到每個初始二維圖像的三維圖像；獲取各個三維圖像中的特征點，得到m個初始特征點集合，并對各個初始特征點集合中的特征點進行過濾，得到m個目標特征點集合；將各個目標特征點集合中的特征點投影到二維平面上，得到各個初始二維圖像對應的目標二維圖像；將各個目標二維圖像輸入三維圖像生成網絡中，得到各個目標二維圖像對應的三維影像；根據視角信息將m個三維影像進行合成，得到新增操作對象的三維影像。

6、可選地，根據三維影像和作業(yè)環(huán)境影像生成遠程指導影像包括：在作業(yè)環(huán)境影像中根據協作內容和三維影像生成操作動作的影像數據，并生成操作動作對應的操作信息；將已添加操作信息和操作動作的影像數據的作業(yè)環(huán)境影像確定為遠程指導影像。

7、可選地，作業(yè)環(huán)境影像中包括人物影像，在獲取現場端發(fā)送的作業(yè)環(huán)境影像之后，方法還包括：識別作業(yè)環(huán)境影像中的作業(yè)區(qū)域；判斷人物影像是否位于作業(yè)區(qū)域中；在人物影像位于作業(yè)區(qū)域中的情況下，確定作業(yè)環(huán)境影像無異常；在人物影像未位于作業(yè)區(qū)域中的情況下，確定作業(yè)環(huán)境影像存在異常，并根據人物影像在作業(yè)環(huán)境影像中的位置信息生成提示信息，并將提示信息發(fā)送至現場端。

8、可選地，將遠程指導影像發(fā)送至現場端包括：將遠程指導影像發(fā)送至云服務器，并通過云服務器將遠程指導影像存儲至遠程端所屬的區(qū)塊鏈中，并通過云服務器將遠程指導影像發(fā)送至現場端，其中，云服務器還用于存儲現場端發(fā)送的協作建立請求。

9、根據本申請的另一方面，提供了一種遠程協作交互裝置。該裝置包括：接收單元，用于接收現場端發(fā)送的協作建立請求，并獲取現場端發(fā)送的作業(yè)環(huán)境影像，其中，協作建立請求用于請求建立現場端與遠程端之間的遠程協作任務；生成單元，用于接收現場端發(fā)送的待協作信息，并根據待協作信息和作業(yè)環(huán)境影像生成遠程指導影像，其中，遠程指導影像中包含操作動作的影像數據和操作對象的影像數據；發(fā)送單元，用于將遠程指導影像發(fā)送至現場端，其中，現場端根據操作動作的影像數據對操作對象進行處理。

10、根據本發(fā)明的另一方面，還提供了一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現本申請前述實施例提供的一種遠程協作交互方法。

11、根據本發(fā)明的另一方面，還提供了一種電子設備，包含一個或多個處理器和存儲器；存儲器中存儲有計算機可讀指令，處理器用于運行計算機可讀指令，其中，計算機可讀指令運行時執(zhí)行前述實施例提供的一種遠程協作交互方法。

12、通過本申請，采用以下步驟：接收現場端發(fā)送的協作建立請求，并獲取現場端發(fā)送的作業(yè)環(huán)境影像，其中，協作建立請求用于請求建立現場端與遠程端之間的遠程協作任務；接收現場端發(fā)送的待協作信息，并根據待協作信息和作業(yè)環(huán)境影像生成遠程指導影像，其中，遠程指導影像中包含操作動作的影像數據和操作對象的影像數據；將遠程指導影像發(fā)送至現場端，其中，現場端根據操作動作的影像數據對操作對象進行處理。解決了相關技術中通過電話或視頻進行遠程指導的準確率和效率較低的問題。通過根據現場端發(fā)送的作業(yè)環(huán)境影像建立現場端和遠程端之間的遠程協作任務，并根據待協作信息生成指導影像，進而將指導影像發(fā)送至現場端，從而通過在同步的作業(yè)環(huán)境影像的基礎上生成遠程指導影像的方式，使得現場端和遠程端可以通過遠程指導影像進行遠程指導操作，進而達到了提高遠程指導操作的準確率和效率的效果。

技術特征：

1.一種遠程協作交互方法，其特征在于，包括：

2.根據權利要求1所述的方法，其特征在于，獲取所述現場端發(fā)送的作業(yè)環(huán)境影像包括：

3.根據權利要求1所述的方法，其特征在于，根據所述待協作信息和所述作業(yè)環(huán)境影像生成遠程指導影像包括：

4.根據權利要求3所述的方法，其特征在于，根據所述m個初始二維圖像生成所述新增操作對象的三維影像包括：

5.根據權利要求3所述的方法，其特征在于，根據所述三維影像和所述作業(yè)環(huán)境影像生成所述遠程指導影像包括：

6.根據權利要求1所述的方法，其特征在于，所述作業(yè)環(huán)境影像中包括人物影像，在獲取所述現場端發(fā)送的作業(yè)環(huán)境影像之后，所述方法還包括：

7.根據權利要求1所述的方法，其特征在于，將所述遠程指導影像發(fā)送至所述現場端包括：

8.一種遠程協作交互裝置，其特征在于，包括：

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的可執(zhí)行程序，其中，在所述可執(zhí)行程序運行時控制所述計算機可讀存儲介質所在設備執(zhí)行權利要求1至7中任意一項所述的遠程協作交互方法。

10.一種電子設備，其特征在于，包括：

技術總結
本申請公開了一種遠程協作交互方法、裝置以及電子設備。涉及通信領域，該方法包括：接收現場端發(fā)送的協作建立請求，并獲取現場端發(fā)送的作業(yè)環(huán)境影像，其中，協作建立請求用于請求建立現場端與遠程端之間的遠程協作任務；接收現場端發(fā)送的待協作信息，并根據待協作信息和作業(yè)環(huán)境影像生成遠程指導影像，其中，遠程指導影像中包含操作動作的影像數據和操作對象的影像數據；將遠程指導影像發(fā)送至現場端，其中，現場端根據操作動作的影像數據對操作對象進行處理。通過本申請，解決了相關技術中通過電話或視頻進行遠程指導的準確率和效率較低的問題。

技術研發(fā)人員：向智宇,王超,楊志,張志明,段焱明,宋斌,何暢,程晗蕾
受保護的技術使用者：遠光軟件股份有限公司
技術研發(fā)日：
技術公布日：2025/1/6