本發(fā)明涉及料堆體積測(cè)量，具體為基于監(jiān)控相機(jī)的料堆體積測(cè)量系統(tǒng)。

背景技術(shù)：

1、我國(guó)作為資源消耗大國(guó)，生產(chǎn)生活過(guò)程中需要大量的煤炭和礦石等礦產(chǎn)資源作為原料，這些礦產(chǎn)資源大多以大型散料料堆的形式存放在港口、礦山或相關(guān)企業(yè)的料場(chǎng)。礦產(chǎn)資源價(jià)格較高，存量動(dòng)態(tài)變化，需要定期對(duì)料堆的體積或重量進(jìn)行盤查。

2、目前大型料堆測(cè)量大部分都采用基于激光雷達(dá)的測(cè)量方法，主要分為移動(dòng)和固定兩種模式。其中，移動(dòng)模式要求雷達(dá)安裝行車頂部或者懸臂上，依賴于行車行走或懸臂運(yùn)動(dòng)，不僅操作繁瑣，而且數(shù)據(jù)采集時(shí)間長(zhǎng)；而固定模式需借助云臺(tái)和雷達(dá)的組合實(shí)現(xiàn)料堆掃描，各個(gè)測(cè)量點(diǎn)單獨(dú)測(cè)量，不僅點(diǎn)云拼接不精準(zhǔn)，而且背景元素需要交互剔除，一次完整的測(cè)量耗時(shí)較長(zhǎng)，因此，基于激光雷達(dá)的測(cè)量方法無(wú)法做到全自動(dòng)、精確、高效地完成對(duì)大型料堆的測(cè)量。

3、鑒于此，本技術(shù)擬提出基于監(jiān)控相機(jī)的料堆體積測(cè)量系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供基于監(jiān)控相機(jī)的料堆體積測(cè)量系統(tǒng)，以解決上述問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、基于監(jiān)控相機(jī)的料堆體積測(cè)量系統(tǒng)，包括控制中心單元、網(wǎng)絡(luò)交換機(jī)單元和監(jiān)控相機(jī)模塊，所述控制中心單元與網(wǎng)絡(luò)交換機(jī)單元之間通過(guò)局域網(wǎng)連接，所述監(jiān)控相機(jī)模塊通過(guò)網(wǎng)絡(luò)線連接至網(wǎng)絡(luò)交換機(jī)單元，形成一個(gè)局域網(wǎng)絡(luò)；

4、所述控制中心單元用于數(shù)據(jù)的處理與存儲(chǔ)，接收來(lái)自監(jiān)控相機(jī)模塊的數(shù)據(jù)并進(jìn)行分析與存檔；

5、所述網(wǎng)絡(luò)交換機(jī)單元用于連接所有的監(jiān)控相機(jī)模塊與控制中心單元，實(shí)現(xiàn)數(shù)據(jù)的穩(wěn)定傳輸；

6、所述監(jiān)控相機(jī)模塊用于設(shè)置多個(gè)拍照預(yù)置點(diǎn)，在不同位置拍攝以獲取二維圖像數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行標(biāo)定以確保拍攝誤差。

7、進(jìn)一步地，在所述監(jiān)控相機(jī)模塊設(shè)置拍照預(yù)置點(diǎn)前，對(duì)相機(jī)標(biāo)定處理，確保每臺(tái)監(jiān)控相機(jī)的內(nèi)參與畸變系數(shù)保存，確認(rèn)標(biāo)定誤差，然后將監(jiān)控相機(jī)模塊中的多個(gè)監(jiān)控相機(jī)安裝在廠房?jī)?nèi)，并搭建橋架。

8、進(jìn)一步地，在所述控制中心單元對(duì)數(shù)據(jù)進(jìn)行處理與存儲(chǔ)時(shí)，還包括以下步驟：

9、s1、基于深度學(xué)習(xí)的圖像特征提取與圖像特征匹配：將監(jiān)控相機(jī)中獲取的圖像進(jìn)行畸變矯正，從而獲取無(wú)畸變的圖像，然后將圖像送入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，將提取的特征點(diǎn)進(jìn)行特征匹配，從而獲取圖像與圖像之間的空間位置關(guān)系；

10、s2、基于深度學(xué)習(xí)的運(yùn)動(dòng)結(jié)構(gòu)：經(jīng)過(guò)基于深度學(xué)習(xí)的圖像特征提取與圖像特征匹配之后，進(jìn)行三角測(cè)量，通過(guò)已知的相機(jī)位置和圖像中的特征點(diǎn)，計(jì)算出特征點(diǎn)在三維空間中的位置，從而生成新的sfm模型；

11、s3、稠密重建：得到sfm模型之后，采用密集多視圖立體管道技術(shù)對(duì)模型進(jìn)行網(wǎng)格化處理；

12、s4、紋理貼圖：將稠密重建之后的mesh網(wǎng)格進(jìn)行貼圖；

13、s5、體積計(jì)算：通過(guò)上述步驟可得到場(chǎng)內(nèi)的三維模型，根據(jù)三維模型對(duì)場(chǎng)內(nèi)的物料進(jìn)行體積測(cè)量。

14、進(jìn)一步地，在所述步驟s1中，對(duì)圖像進(jìn)行特征提取時(shí)，通過(guò)聯(lián)合查找對(duì)應(yīng)關(guān)系并拒絕不匹配的點(diǎn)匹配兩組局部特征，通過(guò)求解一個(gè)可微的最優(yōu)運(yùn)輸問(wèn)題估計(jì)運(yùn)輸成本，其成本由圖神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。進(jìn)一步地，在所述步驟s1中，在對(duì)圖像與圖像之間的空間位置關(guān)系的計(jì)算時(shí)，輸入兩幅圖像中特征點(diǎn)的位置坐標(biāo)和，以及特征點(diǎn)對(duì)應(yīng)的特征描述向量和，其中位置坐標(biāo)包含x,y坐標(biāo)值以及檢測(cè)置信度c，即，位置坐標(biāo)經(jīng)過(guò)編碼器處理后與特征描述向量相加，得到局部特征，相關(guān)計(jì)算公式如下：

15、。

16、進(jìn)一步地，獲取局部特征后，通過(guò)注意力機(jī)制對(duì)待計(jì)算的特征點(diǎn)聚合信息的計(jì)算過(guò)程如下：；

17、其中這個(gè)過(guò)程類似從數(shù)據(jù)庫(kù)中檢索數(shù)據(jù)，表示查詢向量，表示鍵，而表示每個(gè)鍵對(duì)應(yīng)的值。

18、進(jìn)一步地，在所述步驟s3中網(wǎng)格化處理時(shí)，從圖像中提取準(zhǔn)密集點(diǎn)集，將多個(gè)點(diǎn)在不同視圖之間成對(duì)匹配，從上述匹配中，通過(guò)重建和可選地合并三角測(cè)量的3d點(diǎn)來(lái)生成準(zhǔn)密集3d點(diǎn)云，給定reference圖像以及原圖，對(duì)于reference上的第l個(gè)像素點(diǎn)，為了估計(jì)深度和比較和的顏色相似度，相關(guān)計(jì)算表達(dá)式如下：；

19、其中是遮擋標(biāo)簽，n和a=是歸一化影子，是均勻分布，是兩個(gè)patch之間的顏色相似度，是smooth系數(shù)。

20、進(jìn)一步地，將處理后的點(diǎn)云饋送到第二階段，第二階段從其構(gòu)建delaunay三角剖分，然后從該三角剖分的小平面中魯棒地提取初始表面，過(guò)濾掉大多數(shù)離群值，通過(guò)使用混合光致一致性和光順性的標(biāo)準(zhǔn)來(lái)改進(jìn)恢復(fù)的表面的質(zhì)量，最終得到mesh網(wǎng)格。

21、進(jìn)一步地，在所述步驟s5中體積測(cè)量包括以下步驟：

22、s51、料堆地面確定：對(duì)mesh網(wǎng)格進(jìn)行平面擬合，獲得料堆地面的法向量，使法向量的方向垂直地面向上；

23、s52、網(wǎng)格坐標(biāo)轉(zhuǎn)換：將網(wǎng)格轉(zhuǎn)到地面坐標(biāo)系下；

24、s53、提取墻面點(diǎn)云并確定墻面序號(hào)：對(duì)網(wǎng)格抽取點(diǎn)云，估計(jì)各個(gè)點(diǎn)云的法向量，通過(guò)法向量的z值進(jìn)行閾值獲得候選的墻面點(diǎn)云，并對(duì)點(diǎn)云進(jìn)行擬合平面，獲取所有的墻面平面系數(shù)并根據(jù)墻面上的標(biāo)記點(diǎn)顏色確定墻面的順序及墻面距離；

25、s54、構(gòu)建料堆坐標(biāo)系：坐標(biāo)系z(mì)軸為地面法向量，以墻面的法向量為x軸，y軸根據(jù)x、z軸的叉乘構(gòu)建模型的坐標(biāo)系；

26、s55、分割料堆網(wǎng)格：根據(jù)貼圖的標(biāo)記點(diǎn)、地面和墻面上的標(biāo)記點(diǎn)構(gòu)建空間體，然后手動(dòng)給出每個(gè)料堆的x,y坐標(biāo)，最后再裁剪出每個(gè)料堆；

27、s56、計(jì)算分割后的料堆網(wǎng)格與料堆地面所圍成的體積，通過(guò)遍歷三角網(wǎng)格中的每個(gè)三角形，計(jì)算每個(gè)三角形與xoy平面所組成的體積貢獻(xiàn)，并將其累積到總體積中，然后通過(guò)重建后的兩墻面的距離與實(shí)際墻面距離或重建后標(biāo)記點(diǎn)距離與實(shí)際標(biāo)記點(diǎn)距離，獲取體積縮放系數(shù)，求得實(shí)際料堆體積。

28、進(jìn)一步地，在所述步驟s56中，三角形的體積計(jì)算公式如下：

29、z_avg?=?(v0.z()?+?v1.z()?+?v2.z())?/?3.0；

30、vol?=?(area?*?u_z?*?z_avg)；

31、式中，z_avg為三角形三個(gè)頂點(diǎn)的平均高度，area為三角形的面積，?u_z為z方向的分量。

32、本發(fā)明的有益效果：

33、本發(fā)明中，通過(guò)基于深度學(xué)習(xí)的圖像特征提取與圖像特征匹配、基于深度學(xué)習(xí)的運(yùn)動(dòng)結(jié)構(gòu)可生成新的sfm模型，然后通過(guò)稠密重建，可實(shí)現(xiàn)對(duì)模型的網(wǎng)格化處理，使用openmvs技術(shù)對(duì)三維模型進(jìn)行紋理貼圖，使用平面投影的方式將紋理投影到網(wǎng)格模型上，為每個(gè)網(wǎng)格頂點(diǎn)分配紋理坐標(biāo)，以便將紋理映射到網(wǎng)格表面上，然后將紋理圖像映射到網(wǎng)格模型上，根據(jù)紋理坐標(biāo)為每個(gè)網(wǎng)格面片或頂點(diǎn)指定相應(yīng)的紋理像素；最后，使用紋理映射的結(jié)果進(jìn)行渲染，以在屏幕上顯示帶有紋理的網(wǎng)格模型，然后通過(guò)體積測(cè)量，根據(jù)三維模型輔助對(duì)場(chǎng)內(nèi)的物料實(shí)際體積進(jìn)行計(jì)算，可全自動(dòng)、精確、高效地完成對(duì)大型料堆的測(cè)量；通過(guò)引入靈活的上下文聚合機(jī)制的基礎(chǔ)上的注意力機(jī)制網(wǎng)絡(luò)，使神經(jīng)網(wǎng)絡(luò)能夠?qū)Φ讓?d場(chǎng)景和功能分配進(jìn)行聯(lián)合推理，與傳統(tǒng)的手工設(shè)計(jì)的幾何學(xué)相比，神經(jīng)網(wǎng)絡(luò)技術(shù)通過(guò)圖像對(duì)的端到端訓(xùn)練來(lái)學(xué)習(xí)幾何變換和3d世界的先驗(yàn)知識(shí)，可提高特征匹配時(shí)的精準(zhǔn)程度；操作較為簡(jiǎn)單，數(shù)據(jù)采集時(shí)間短，在料堆掃描時(shí)降低激光雷達(dá)的使用成本，無(wú)需對(duì)測(cè)量點(diǎn)單獨(dú)測(cè)量，點(diǎn)云的拼接較為精準(zhǔn)，完成測(cè)量的耗時(shí)較短，測(cè)量效率高。