本發(fā)明涉及數(shù)字孿生，特別是基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)系統(tǒng)、方法及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、視覺(jué)實(shí)訓(xùn)是一種以實(shí)踐的方式來(lái)培訓(xùn)學(xué)生在視覺(jué)領(lǐng)域的認(rèn)知與技術(shù)的教學(xué)方法，常常涉及到計(jì)算機(jī)視覺(jué)、圖形處理、圖像識(shí)別等視覺(jué)領(lǐng)域，視覺(jué)技術(shù)在工業(yè)質(zhì)量控制檢測(cè)、自動(dòng)化生產(chǎn)、物體識(shí)別與分類、工藝監(jiān)控等方面具有大量應(yīng)用場(chǎng)景。

2、現(xiàn)有視覺(jué)實(shí)訓(xùn)模式常常是基于實(shí)物設(shè)備去搭建實(shí)訓(xùn)場(chǎng)景，實(shí)物視覺(jué)實(shí)訓(xùn)存在以下問(wèn)題：

3、(1)技術(shù)設(shè)備成本：實(shí)訓(xùn)設(shè)備一般包括工業(yè)設(shè)備和攝像機(jī)，其中攝像機(jī)是一類市場(chǎng)價(jià)格一直比較昂貴的設(shè)備，而往往不同的實(shí)訓(xùn)實(shí)驗(yàn)要搭配不同的攝像機(jī)與鏡頭，在工業(yè)場(chǎng)景實(shí)訓(xùn)中，對(duì)于攝像機(jī)與鏡頭的要求就更高了，這對(duì)于視覺(jué)實(shí)訓(xùn)的普及具有極其嚴(yán)重的限制，無(wú)法滿足豐富多樣的視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)需求。對(duì)于工業(yè)設(shè)備，不同的實(shí)驗(yàn)場(chǎng)景所需要的工業(yè)設(shè)備也不一樣，比如可能需要用到生產(chǎn)線、大型移動(dòng)設(shè)備、機(jī)械臂等，造價(jià)同樣高昂，同樣無(wú)法滿足豐富多樣的視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)場(chǎng)景需求。

4、(2)實(shí)訓(xùn)安全性：要實(shí)物搭建視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)除了實(shí)訓(xùn)設(shè)備成本外，設(shè)備的安全隱患也是視覺(jué)實(shí)訓(xùn)的一個(gè)限制，在工業(yè)視覺(jué)實(shí)訓(xùn)場(chǎng)景中，比如機(jī)器人視覺(jué)實(shí)訓(xùn)，很多學(xué)生并不熟悉相關(guān)設(shè)備的性能和操作方式，往往需要專業(yè)技術(shù)人員陪同指導(dǎo)，否則可能會(huì)因操作不當(dāng)出現(xiàn)安全隱患，無(wú)疑是提高了視覺(jué)實(shí)訓(xùn)的開(kāi)展難度，使得學(xué)生無(wú)法在短時(shí)間內(nèi)得到更多的訓(xùn)練。

5、(3)地域限制：實(shí)物視覺(jué)實(shí)訓(xùn)容易受到設(shè)備的存放限制，一些設(shè)備只能存放在實(shí)驗(yàn)場(chǎng)地，實(shí)訓(xùn)地點(diǎn)具有嚴(yán)重限制，地域靈活性性不足，跨地域交流學(xué)習(xí)困難。

6、(4)參數(shù)靈活性不足：實(shí)訓(xùn)中使用的各種設(shè)備參數(shù)，比如攝像機(jī)鏡頭的焦距、分辨率、接圈、視場(chǎng)角等參數(shù)，這些參數(shù)都是從生產(chǎn)就被固定的了，而在視覺(jué)實(shí)訓(xùn)中，往往需要做參數(shù)調(diào)節(jié)，設(shè)備就需要經(jīng)常更換，成本高，實(shí)驗(yàn)效率低，且大大限制了視覺(jué)實(shí)訓(xùn)的多樣性教學(xué)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述缺陷，本發(fā)明的目的在于提出一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)系統(tǒng)、方法及存儲(chǔ)介質(zhì)，可自由搭建視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)場(chǎng)景，解決了設(shè)備成本、安全性、地域限制和設(shè)備選用靈活性的問(wèn)題。

2、為達(dá)此目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)系統(tǒng)，包括視覺(jué)實(shí)訓(xùn)模塊、實(shí)訓(xùn)場(chǎng)景模塊和動(dòng)作控制模塊；

4、所述視覺(jué)實(shí)訓(xùn)模塊，用于搭建參數(shù)化的圖像采集器和視覺(jué)控制接口，分別支持?jǐn)z像機(jī)參數(shù)設(shè)置和視覺(jué)控制程序加載；通過(guò)所述視覺(jué)控制接口生成邏輯控制信號(hào)，當(dāng)所述圖像采集器接收到采集指令時(shí)，所述圖像采集器進(jìn)行圖像采集，并通過(guò)所述視覺(jué)控制接口對(duì)采集到的圖像進(jìn)行圖像處理，更新生成所述邏輯控制信號(hào)；

5、所述實(shí)訓(xùn)場(chǎng)景模塊，用于通過(guò)數(shù)字孿生技術(shù)，使用各種工業(yè)設(shè)備和攝像機(jī)的仿真模型搭建虛擬應(yīng)用場(chǎng)景；當(dāng)接收到動(dòng)作控制信號(hào)時(shí)，根據(jù)所述動(dòng)作控制信號(hào)對(duì)所述虛擬應(yīng)用場(chǎng)景進(jìn)行位置更新，并相應(yīng)生成所述采集指令；

6、所述動(dòng)作控制模塊，用于控制器程序的封裝；當(dāng)接收到所述邏輯控制信號(hào)時(shí)，通過(guò)所述控制器程序?qū)⑺鲞壿嬁刂菩盘?hào)轉(zhuǎn)化為動(dòng)作控制信號(hào)。

7、進(jìn)一步的，所述視覺(jué)實(shí)訓(xùn)模塊包括圖像采集子模塊和圖像處理子模塊；

8、所述圖像采集子模塊，用于搭建參數(shù)化的所述圖像采集器，支持?jǐn)z像機(jī)參數(shù)設(shè)置；當(dāng)接收到采集指令時(shí)，所述圖像采集器進(jìn)行圖像采集，生成圖像信息；

9、所述圖像處理子模塊，用于搭建所述視覺(jué)控制接口，支持視覺(jué)控制程序加載，生成所述邏輯控制信號(hào)；當(dāng)接收到所述圖像信息時(shí)，通過(guò)所述視覺(jué)控制接口對(duì)所述圖像信息進(jìn)行圖像處理，更新生成所述邏輯控制信號(hào)；

10、所述實(shí)訓(xùn)場(chǎng)景模塊包括模型渲染子模塊和模型處理子模塊；

11、所述模型渲染子模塊，用于通過(guò)數(shù)字孿生技術(shù)，使用各種工業(yè)設(shè)備和攝像機(jī)的仿真模型搭建所述虛擬應(yīng)用場(chǎng)景；

12、所述模型處理子模塊，用于模型運(yùn)動(dòng)算法的封裝；當(dāng)接收到所述動(dòng)作控制信號(hào)時(shí)，與所述模型渲染子模塊數(shù)據(jù)交互，所述動(dòng)作控制信號(hào)通過(guò)所述模型運(yùn)動(dòng)算法驅(qū)動(dòng)所述模型渲染子模塊對(duì)所述虛擬應(yīng)用場(chǎng)景進(jìn)行位置更新，并相應(yīng)生成所述采集指令。

13、進(jìn)一步的，所述模型渲染子模塊，用于通過(guò)系統(tǒng)自帶的模型庫(kù)或外部導(dǎo)入模型搭建所述虛擬應(yīng)用場(chǎng)景。

14、進(jìn)一步的，所述模型運(yùn)動(dòng)算法為位姿插補(bǔ)算法。

15、進(jìn)一步的，所述模型渲染子模塊基于開(kāi)源的三維引擎搭建所述虛擬應(yīng)用場(chǎng)景；

16、所述圖像采集子模塊采用所述三維引擎的視圖采集器作為所述圖像采集器。

17、進(jìn)一步的，所述動(dòng)作控制模塊還用于搭建外部控制接口，通過(guò)所述外部控制接口更改所述控制器程序。

18、一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)方法，包括以下步驟：

19、s1：通過(guò)數(shù)字孿生技術(shù)，使用各種工業(yè)設(shè)備和攝像機(jī)的仿真模型搭建虛擬應(yīng)用場(chǎng)景；

20、s2：通過(guò)圖像采集器進(jìn)行參數(shù)設(shè)置；

21、s3：通過(guò)視覺(jué)控制接口加載視覺(jué)控制程序，生成邏輯控制信號(hào)；

22、s4：通過(guò)控制器程序，將邏輯控制信號(hào)轉(zhuǎn)換為動(dòng)作控制信號(hào)；

23、s5：通過(guò)數(shù)字孿生技術(shù)，根據(jù)動(dòng)作控制信號(hào)對(duì)虛擬應(yīng)用場(chǎng)景進(jìn)行位置更新，并相應(yīng)生成采集指令；

24、s6：通過(guò)圖像采集器接收采集指令進(jìn)行圖像采集；

25、s7：通過(guò)視覺(jué)控制程序?qū)Σ杉降膱D像進(jìn)行圖像處理，更新生成邏輯控制信。

26、進(jìn)一步的，所述步驟s1包括以下子步驟：

27、s11：加載系統(tǒng)自帶的模型庫(kù)或外部導(dǎo)入模型；

28、s12：通過(guò)模型庫(kù)或外部導(dǎo)入模型搭建虛擬應(yīng)用場(chǎng)景。

29、進(jìn)一步的，所述步驟s4包括以下子步驟：

30、s41：加載控制器程序；

31、s42：通過(guò)控制器程序，將邏輯控制信號(hào)轉(zhuǎn)換為動(dòng)作控制信號(hào)。

32、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中包括一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)方法程序，所述一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)方法程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的一種基于數(shù)字孿生技術(shù)的視覺(jué)實(shí)訓(xùn)方法的步驟。

33、本發(fā)明提供的技術(shù)方案可以包括以下有益效果：實(shí)訓(xùn)人員根據(jù)視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)內(nèi)容，利用實(shí)訓(xùn)場(chǎng)景模塊，選擇要用到的工業(yè)設(shè)備及攝像機(jī)，通過(guò)數(shù)字孿生技術(shù)，使用現(xiàn)有的工業(yè)設(shè)備和攝像機(jī)的仿真模型仿真相關(guān)設(shè)備的功能屬性，建立設(shè)備之間的交互關(guān)系，從而搭建成該視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)所需的虛擬應(yīng)用場(chǎng)景，可自由搭建視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)場(chǎng)景，解決了設(shè)備成本、安全性、地域限制和設(shè)備選用靈活性的問(wèn)題。

34、實(shí)訓(xùn)人員利用視覺(jué)實(shí)訓(xùn)模塊搭建參數(shù)化的圖像采集器和視覺(jué)控制接口，分別支持?jǐn)z像機(jī)參數(shù)設(shè)置和視覺(jué)控制程序加載，即實(shí)訓(xùn)人員進(jìn)行視覺(jué)實(shí)訓(xùn)實(shí)驗(yàn)入口，其中圖像采集器等同于攝像機(jī)，可輸入要設(shè)置的攝像機(jī)參數(shù)(如：相機(jī)類型、相機(jī)位置、相機(jī)拍攝方向、視場(chǎng)角、焦距、曝光、虛化等)傳輸至圖像采集器，進(jìn)行虛擬應(yīng)用場(chǎng)景中攝像機(jī)的參數(shù)定義；而視覺(jué)控制接口則用于對(duì)圖像進(jìn)行處理和操作的編程接口，用于實(shí)現(xiàn)圖像處理算法、圖像分析和圖像編輯等功能，給用戶提供了在視覺(jué)實(shí)訓(xùn)過(guò)程中對(duì)圖像進(jìn)行開(kāi)發(fā)和應(yīng)用的編程接口。

35、具體的視覺(jué)實(shí)訓(xùn)過(guò)程中，當(dāng)視覺(jué)控制程序加載到視覺(jué)實(shí)訓(xùn)模塊后，視覺(jué)實(shí)訓(xùn)模塊會(huì)根據(jù)視覺(jué)控制程序生成邏輯控制信號(hào)(用于控制虛擬應(yīng)用場(chǎng)景中相關(guān)設(shè)備的運(yùn)動(dòng)邏輯)傳輸至動(dòng)作控制模塊；利用動(dòng)作控制模塊封裝的控制器程序，將邏輯控制信號(hào)轉(zhuǎn)化為能被設(shè)備所識(shí)別的動(dòng)作控制信號(hào)，從而使虛擬應(yīng)用場(chǎng)景中的相關(guān)設(shè)備根據(jù)動(dòng)作控制信號(hào)運(yùn)動(dòng)，實(shí)現(xiàn)虛擬應(yīng)用場(chǎng)景更新，且虛擬應(yīng)用場(chǎng)景還支持傳感器反饋，當(dāng)相關(guān)設(shè)備運(yùn)動(dòng)到預(yù)設(shè)位置需要進(jìn)行圖像采集時(shí)，會(huì)觸發(fā)傳感器反饋采集指令傳輸至視覺(jué)實(shí)訓(xùn)模塊，使圖像采集器進(jìn)行圖像采集，視覺(jué)實(shí)訓(xùn)模塊會(huì)根據(jù)視覺(jué)控制程序?qū)Σ杉降膱D像進(jìn)行圖像處理，更新生成邏輯控制信號(hào)，用于更新虛擬應(yīng)用場(chǎng)景，執(zhí)行下一步；如此循環(huán)至視覺(jué)控制信號(hào)結(jié)束，實(shí)訓(xùn)人員即可通過(guò)虛擬應(yīng)用場(chǎng)景直觀地知道本次視覺(jué)實(shí)訓(xùn)的視覺(jué)控制程序是否符合實(shí)驗(yàn)?zāi)繕?biāo)。

36、綜上所述，視覺(jué)實(shí)訓(xùn)系統(tǒng)是一種基于數(shù)字孿生技術(shù)，以虛擬的設(shè)備模擬真實(shí)設(shè)備工藝動(dòng)作，在虛擬場(chǎng)景中構(gòu)建一個(gè)基于參數(shù)化的攝像機(jī)，模擬實(shí)際的圖像采集設(shè)備，采集虛擬應(yīng)用場(chǎng)景中的圖像并經(jīng)過(guò)預(yù)處理，輸出給實(shí)訓(xùn)人員做二次圖像處理的技術(shù)方法，解決了現(xiàn)在實(shí)訓(xùn)模式存在的技術(shù)設(shè)備不足且昂貴、設(shè)備損耗的問(wèn)題；且由于實(shí)訓(xùn)過(guò)程完全再虛擬的環(huán)境中運(yùn)行，在避免事故風(fēng)險(xiǎn)，提高了實(shí)訓(xùn)安全性；更重要的是，相比較于實(shí)物實(shí)訓(xùn)，該實(shí)訓(xùn)系統(tǒng)還具有更強(qiáng)的靈活性，不僅實(shí)訓(xùn)場(chǎng)景不受設(shè)備限制，可以模擬不同的視覺(jué)實(shí)訓(xùn)場(chǎng)景，且實(shí)訓(xùn)載體是計(jì)算機(jī)，故實(shí)訓(xùn)的地點(diǎn)不在受限，有利于遠(yuǎn)程教育和跨地域?qū)嵱?xùn)教學(xué)。