本發(fā)明涉及人數(shù)統(tǒng)計(jì)，尤其涉及一種基于井下掘進(jìn)面的人數(shù)統(tǒng)計(jì)方法。

背景技術(shù)：

1、井下掘進(jìn)面作業(yè)人員的人數(shù)統(tǒng)計(jì)是建設(shè)智慧礦山的重要一環(huán)，這一環(huán)節(jié)不僅關(guān)乎礦山生產(chǎn)的安全性與效率，也是實(shí)現(xiàn)礦山智能化、精細(xì)化管理的關(guān)鍵步驟。隨著科技的進(jìn)步，特別是物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的廣泛應(yīng)用，井下掘進(jìn)面作業(yè)人員的人數(shù)統(tǒng)計(jì)工作正逐步邁向智能化、自動(dòng)化。

2、在傳統(tǒng)的礦山管理中，井下掘進(jìn)面作業(yè)人員的人數(shù)統(tǒng)計(jì)主要依賴于人工點(diǎn)名或紙質(zhì)記錄，這種方式不僅效率低下，而且容易出錯(cuò)，難以實(shí)時(shí)監(jiān)控人員動(dòng)態(tài)，給礦山的安全生產(chǎn)帶來隱患。隨著智慧礦山建設(shè)的推進(jìn)，各種先進(jìn)技術(shù)手段被引入，使得井下掘進(jìn)面作業(yè)人員的人數(shù)統(tǒng)計(jì)更加精準(zhǔn)、高效。

3、如人員定位技術(shù)通過在井下部署定位基站和給作業(yè)人員佩戴定位標(biāo)簽，利用無線信號(hào)等技術(shù)，實(shí)現(xiàn)對(duì)井下掘進(jìn)面作業(yè)人員的實(shí)時(shí)定位與跟蹤；智能視頻監(jiān)控系統(tǒng)通過在井下關(guān)鍵區(qū)域安裝高清攝像頭，結(jié)合人臉識(shí)別和體態(tài)識(shí)別技術(shù)，對(duì)進(jìn)入掘進(jìn)面的作業(yè)人員進(jìn)行自動(dòng)識(shí)別與統(tǒng)計(jì)。

4、通過上述智能化統(tǒng)計(jì)方案的實(shí)施，井下掘進(jìn)面作業(yè)人員的人數(shù)統(tǒng)計(jì)工作得到了顯著提升。一方面，提高了統(tǒng)計(jì)的準(zhǔn)確性和實(shí)時(shí)性，減少了人為錯(cuò)誤；另一方面，增強(qiáng)了礦山的安全管理水平，為礦山的智能化、精細(xì)化管理奠定了堅(jiān)實(shí)基礎(chǔ)。

5、但也存在一些問題和挑戰(zhàn)：人員定位技術(shù)存在信號(hào)覆蓋不全面、穩(wěn)定性差、設(shè)備可靠性無法保證、成本高等問題；智能視頻監(jiān)控系統(tǒng)存在成像質(zhì)量差、數(shù)據(jù)處理能力有限、隱私保護(hù)難以保證等技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供了一種基于井下掘進(jìn)面的人數(shù)統(tǒng)計(jì)方法，結(jié)合目標(biāo)檢測(cè)與語(yǔ)義分割以增強(qiáng)目標(biāo)特征表達(dá)的精度，并應(yīng)用于目標(biāo)追蹤，該方法通過高效的目標(biāo)檢測(cè)、精細(xì)的語(yǔ)義分割及魯棒的多目標(biāo)跟蹤技術(shù)，實(shí)現(xiàn)對(duì)掘進(jìn)面作業(yè)人員數(shù)量的實(shí)時(shí)、準(zhǔn)確統(tǒng)計(jì)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：一種基于井下掘進(jìn)面的人數(shù)統(tǒng)計(jì)方法，具體步驟如下：

3、步驟一、對(duì)熱成像攝像頭的視頻流進(jìn)行抽幀處理獲取視頻幀；

4、步驟二、對(duì)獲取的每個(gè)視頻幀進(jìn)行目標(biāo)檢測(cè)與語(yǔ)義分割，得到包含更豐富特征信息的目標(biāo)描述；

5、步驟三、將目標(biāo)描述輸入到改進(jìn)的目標(biāo)追蹤模塊，輸出作業(yè)人員的軌跡信息；

6、步驟四、根據(jù)軌跡信息進(jìn)行人數(shù)統(tǒng)計(jì)，超員則報(bào)警。

7、步驟一所述的視頻幀需要保存為圖像數(shù)據(jù)集，用于步驟二、步驟三的模型訓(xùn)練，保存連續(xù)的視頻幀，使用labelimg標(biāo)注作業(yè)人員用于yolov5模型訓(xùn)練，生成相應(yīng)的位置信息，根據(jù)位置信息裁剪出作業(yè)人員用于deepsort模型訓(xùn)練。特別地，篩選出包含重疊或遮擋人員用于bisenet模型訓(xùn)練。

8、步驟二所述的目標(biāo)檢測(cè)與語(yǔ)義分割需要先訓(xùn)練yolov5與bisenet網(wǎng)絡(luò)模型，根據(jù)所述步驟一獲取的數(shù)據(jù)集分別訓(xùn)練目標(biāo)檢測(cè)與語(yǔ)義分割模型。

9、在訓(xùn)練階段，首先利用獲取的數(shù)據(jù)集對(duì)yolov5模型進(jìn)行訓(xùn)練，使其能夠準(zhǔn)確地識(shí)別出視頻幀中的作業(yè)人員，并給出初步的位置和邊界框。同時(shí)，利用數(shù)據(jù)集對(duì)bisenet模型進(jìn)行訓(xùn)練，使其能夠進(jìn)行語(yǔ)義分割，描繪視頻幀中每個(gè)人的輪廓并獲取輪廓點(diǎn)的坐標(biāo)，從而得到更為精確的人員區(qū)域和邊緣信息。

10、bisenet模型結(jié)構(gòu)主要分為三部分：spatial?path(空間路徑)、context?path(上下文路徑)和feature?fusion?module(特征融合模塊)。

11、空間路徑模塊采用卷積層、歸一化、relu激活函數(shù)，旨在提取圖像的低級(jí)細(xì)節(jié)信息，如邊緣、紋理等，以保留充足的空間信息。

12、上下文路徑模塊首先通過骨干網(wǎng)絡(luò)進(jìn)行快速下采樣，以減小特征圖的尺寸并增加感受野，同時(shí)，為了優(yōu)化特征表示，采用注意力機(jī)制模塊(arm模塊)對(duì)特征進(jìn)行加權(quán)和重標(biāo)定，該模塊旨在提取圖像的高級(jí)語(yǔ)義信息，以獲取較大的感受野。

13、特征融合模塊首先將兩個(gè)路徑的輸出特征圖進(jìn)行拼接，然后通過一系列卷積層、批歸一化和relu激活函數(shù)對(duì)拼接后的特征圖進(jìn)行整合和優(yōu)化，該模塊將空間路徑和上下文路徑的輸出特征圖進(jìn)行高效融合，以實(shí)現(xiàn)細(xì)節(jié)信息和語(yǔ)義信息的互補(bǔ)。

14、在推理階段，構(gòu)造yolov5檢測(cè)融合bisenet分割模塊：

15、input模塊主要負(fù)責(zé)接收待檢測(cè)的圖像，并進(jìn)行預(yù)處理操作，如調(diào)整圖像大小、歸一化等，為后續(xù)的特征提取做好準(zhǔn)備。

16、backbone模塊負(fù)責(zé)提取輸入圖像的特征，通過多次卷積和池化操作，逐步降低特征圖的尺寸并增加特征圖的深度，從而提取到不同層次的特征信息。

17、neck模塊連接骨干網(wǎng)絡(luò)和頭部結(jié)構(gòu)，負(fù)責(zé)進(jìn)一步融合來自骨干網(wǎng)絡(luò)的不同層次特征圖，并生成用于檢測(cè)的特征圖。

18、head模塊負(fù)責(zé)生成最終的檢測(cè)與分割結(jié)果，包括目標(biāo)的位置、尺寸和類別等信息，本發(fā)明在此模塊添加了3個(gè)與detect檢測(cè)頭平行的分割頭，并調(diào)整參數(shù)，使模型能夠同時(shí)進(jìn)行目標(biāo)檢測(cè)和語(yǔ)義分割任務(wù)，提升模型效率，增強(qiáng)特征表示。

19、output模塊輸出檢測(cè)與分割結(jié)果。

20、步驟三所述的目標(biāo)追蹤模塊采用deepsort算法，并對(duì)其進(jìn)行改進(jìn)以適應(yīng)井下掘進(jìn)面的特殊環(huán)境；將步驟二生成的目標(biāo)描述輸入到改進(jìn)后的deepsort模型，模型會(huì)輸出每個(gè)作業(yè)人員的軌跡信息，包括每個(gè)作業(yè)人員在不同視頻幀中的位置、速度、加速度等運(yùn)動(dòng)狀態(tài)。

21、步驟三中的改進(jìn)deepsort算法在于對(duì)級(jí)聯(lián)匹配模塊的優(yōu)化——級(jí)聯(lián)匹配模塊的改進(jìn)包含以下兩個(gè)部分：

22、(1)、外觀特征提取器的改進(jìn)：本發(fā)明提供的deepsort模塊采用基于resnest50骨干模型的bot(bag?of?tricks，策略庫(kù))作為新的外觀特征提取器，bot能夠提取出更加豐富和具有鑒別性的外觀特征，從而更有效地區(qū)分不同的目標(biāo)個(gè)體，在處理遮擋及目標(biāo)再出現(xiàn)時(shí)的身份恢復(fù)等方面更具魯棒性。

23、(2)、目標(biāo)追蹤后進(jìn)行高斯平滑插值(gsi)：本發(fā)明提供的gsi方法旨在對(duì)那些在跟蹤過程中遺漏的檢測(cè)進(jìn)行插值，補(bǔ)償由于遮擋、檢測(cè)失敗等原因造成的軌跡缺失，提高軌跡的完整性和精度，其實(shí)現(xiàn)過程分為以下四個(gè)部分：

24、1、定義高斯過程：該過程由均值m和協(xié)方差k給出。

25、2、訓(xùn)練模型：使用已知的數(shù)據(jù)點(diǎn)(即已檢測(cè)到的目標(biāo)位置)來訓(xùn)練高斯過程回歸模型。

26、3、預(yù)測(cè)位置：預(yù)測(cè)未知數(shù)據(jù)點(diǎn)(即缺失的檢測(cè))的位置，預(yù)測(cè)結(jié)果是一個(gè)概率分布，表示在給定已知數(shù)據(jù)點(diǎn)的情況下，未知點(diǎn)位置的不確定性。

27、4、生成插值軌跡：最后，根據(jù)預(yù)測(cè)結(jié)果生成插值軌跡。

28、當(dāng)從a預(yù)測(cè)b時(shí)，對(duì)于一些觀察到的數(shù)據(jù)a、b，則有：

29、p(b|a)＝n(m(a),k(a))

30、其中，n()表示正態(tài)分布(normal?distribution)，m(a)為均值，k(a)為協(xié)方差，p(b|a)是一個(gè)以預(yù)測(cè)均值m(a)為中心，以預(yù)測(cè)方差(由協(xié)方差函數(shù)導(dǎo)出)為寬度的正態(tài)分布，這個(gè)分布捕獲了本發(fā)明對(duì)未知數(shù)據(jù)點(diǎn)b的預(yù)測(cè)及其不確定性。

31、在此情況下，假設(shè)在幀數(shù)t和位置信息(x,y,w,h)之間分別有條件的多維正態(tài)分布p(x|t)、p(y|t)、p(w|t)和p(h|t)。然后，本發(fā)明估計(jì)在檢測(cè)失誤的t時(shí)(x,y,w,h)的值。請(qǐng)注意，對(duì)每個(gè)軌跡i應(yīng)用一個(gè)高斯過程，具體表示為pt。

32、pt＝fi(t)+∈,where?fi∈gt(0,k(.,.))

33、其中，gt為物體真實(shí)運(yùn)動(dòng)軌跡的高斯過程模型；k(.,.)是核函數(shù)數(shù)，用于衡量不同時(shí)間點(diǎn)之間的相似性，通常選擇徑向基函數(shù)(rbf)作為核函數(shù)；∈代表觀測(cè)噪聲并假設(shè)為零均值的高斯分布。

34、在這個(gè)過程中，fi(t)表示軌跡i在時(shí)間t的真實(shí)位置，但由于觀測(cè)噪聲∈的存在，本發(fā)明實(shí)際觀測(cè)到的位置會(huì)有所偏差。因此，觀測(cè)到的位置pt是真實(shí)位置fi(t)和噪聲∈的和。

35、上式中核函數(shù)的表達(dá)式為：

36、

37、其中，決定了軌跡的平滑性，設(shè)定為10。

38、步驟四根據(jù)追蹤模塊輸出的軌跡信息進(jìn)行人數(shù)統(tǒng)計(jì)，具體地，通過統(tǒng)計(jì)不同時(shí)間點(diǎn)上檢測(cè)到的作業(yè)人員數(shù)量，并結(jié)合軌跡信息判斷人員是否重復(fù)計(jì)數(shù)，從而實(shí)現(xiàn)準(zhǔn)確的人數(shù)統(tǒng)計(jì)。設(shè)定一個(gè)最大允許人數(shù)閾值，當(dāng)統(tǒng)計(jì)到的人數(shù)超過此閾值時(shí)，系統(tǒng)自動(dòng)觸發(fā)報(bào)警機(jī)制，提醒管理人員注意安全風(fēng)險(xiǎn)。

39、此外，本發(fā)明還提供一種基于井下掘進(jìn)面的人數(shù)統(tǒng)計(jì)系統(tǒng)，包括熱成像攝像頭、圖像處理服務(wù)器以及用戶終端。熱成像攝像頭負(fù)責(zé)采集井下掘進(jìn)面的視頻流，并將視頻流實(shí)時(shí)傳輸?shù)綀D像處理服務(wù)器。圖像處理服務(wù)器執(zhí)行上述的人數(shù)統(tǒng)計(jì)方法，對(duì)視頻流進(jìn)行處理和分析，得到人數(shù)統(tǒng)計(jì)結(jié)果和報(bào)警信息。用戶終端用于顯示人數(shù)統(tǒng)計(jì)結(jié)果和接收?qǐng)?bào)警信息，以便管理人員能夠及時(shí)了解井下掘進(jìn)面的人員情況，并采取相應(yīng)的安全措施。

40、本發(fā)明還提供一種計(jì)算機(jī)設(shè)備，包括電源、處理器、存儲(chǔ)模塊、輸入設(shè)備、顯示模塊，所述電源為所有硬件組件提供穩(wěn)定的電能，確保硬件組件能夠正常、高效地運(yùn)行；所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的人數(shù)統(tǒng)計(jì)方法；所述存儲(chǔ)模塊用于存儲(chǔ)數(shù)據(jù)和程序；所述輸入設(shè)備用于接收外部輸入，如鍵盤、鼠標(biāo)等，用戶通過這些設(shè)備向計(jì)算機(jī)發(fā)送指令和數(shù)據(jù)，以便進(jìn)行各種操作；所述顯示模塊用于將計(jì)算機(jī)處理后的信息以視覺形式呈現(xiàn)給用戶。

41、最后，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的人數(shù)統(tǒng)計(jì)方法。

42、綜上所述，本發(fā)明通過結(jié)合目標(biāo)檢測(cè)與語(yǔ)義分割技術(shù)，顯著提高了井下掘進(jìn)面人數(shù)統(tǒng)計(jì)的精度和魯棒性。同時(shí)，本發(fā)明還提供了一種完整的人數(shù)統(tǒng)計(jì)系統(tǒng)、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，為礦山安全管理提供了新的技術(shù)手段。