發(fā)明屬于環(huán)境現(xiàn)場監(jiān)測領(lǐng)域，具體是指一種基于多模態(tài)數(shù)據(jù)的工廠排煙監(jiān)測及分析方法。

背景技術(shù)：

1、工廠排煙中含有大量的顆粒物、氣態(tài)污染物等有害物質(zhì)，不僅會影響人類健康，還會對生態(tài)系統(tǒng)造成破壞；例如，可吸入顆粒物（pm10）和細(xì)顆粒物（pm2.5）會對人體呼吸系統(tǒng)造成嚴(yán)重危害，引發(fā)哮喘、支氣管炎等疾?。欢趸颍╯o2）和氮氧化物（nox）是形成酸雨的主要原因之一，會對土壤、水體和生態(tài)系統(tǒng)造成破壞；如果不加以監(jiān)測和控制，這些污染物會直接排放到大氣中，導(dǎo)致空氣質(zhì)量下降，污染物還對生態(tài)系統(tǒng)過度干擾，影響生物多樣性。

2、通過對工廠排煙的監(jiān)測及分析，可以及時(shí)掌握大氣污染物的排放情況，為大氣污染情況提供預(yù)警，并為制定大氣污染防治措施提供科學(xué)依據(jù)。

3、對工廠排煙監(jiān)測的數(shù)據(jù)類型主要有以下幾種：濃度，包括，反映了工廠排煙中煙塵的含量的pm2.5、pm10濃度，反映了工廠排煙中各種有害氣體二氧化硫so2、氮氧化物nox、一氧化碳co、氯化氫hcl的濃度；溫度，反映燃燒過程的效率以及設(shè)備的運(yùn)行狀況；擴(kuò)散范圍，可以用于計(jì)算污染物的排放量。

4、監(jiān)測工廠排煙可以通過傳感器進(jìn)行，也可以通過圖像監(jiān)測；通常使用煙霧傳感器對煙塵含量進(jìn)行監(jiān)測，或者，使用氣體傳感器對有害氣體含量進(jìn)行監(jiān)測，或者，使用溫度傳感器對排煙溫度進(jìn)行監(jiān)測；而圖像監(jiān)測主要利用高清攝像頭、熱成像儀等設(shè)備對工廠排煙口進(jìn)行實(shí)時(shí)拍攝，通過對拍攝到的圖像進(jìn)行分析，獲取排煙的顏色、濃度、溫度等信息，從而判斷排煙是否正常以及是否存在污染問題，例如，正常情況下工廠排煙可能呈現(xiàn)為白色或淡灰色，如果排煙顏色變?yōu)楹谏?、黃色等異常顏色，可能意味著排煙中含有大量的顆粒物或其他污染物，通過分析圖像中排煙的擴(kuò)散范圍，可判斷排煙的濃度和排放量。

5、煙霧傳感器通過監(jiān)測煙霧的濃度來實(shí)現(xiàn)報(bào)警功能，當(dāng)煙霧濃度達(dá)到一定程度時(shí)，煙霧傳感器自動(dòng)發(fā)出警報(bào)，但由于工廠排煙量過大，會導(dǎo)致煙霧傳感器誤報(bào)警。

6、傳統(tǒng)的基于計(jì)算機(jī)視覺的排煙檢測方案本質(zhì)是一個(gè)分類判斷問題，是基于卷積神經(jīng)網(wǎng)絡(luò)判斷圖像中排煙圖像的信息，這種方式在顏色、濃度信息的判斷上述較為準(zhǔn)確，但在溫度信息上判斷并不準(zhǔn)確。

7、紅外相機(jī)的使用可以解決上述問題，根據(jù)物體溫度越高發(fā)射的紅外輻射能越多的特點(diǎn)，可以根據(jù)物體的輻射能的大小判斷排煙的溫度，但是環(huán)境溫度的變化將影響紅外相機(jī)預(yù)測準(zhǔn)確度，并且當(dāng)紅外傳感器的安裝位置與工廠煙囪距離較遠(yuǎn)時(shí)，由于接收到的輻射能不足而無法準(zhǔn)確檢測的情形時(shí)有發(fā)生。

技術(shù)實(shí)現(xiàn)思路

1、要解決的技術(shù)問題

2、為解決現(xiàn)有技術(shù)的上述問題，本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)的工廠排煙監(jiān)測及分析方法，其目的在于：

3、（1）解決工廠排煙時(shí)觸發(fā)煙霧傳感器誤報(bào)警的問題；

4、（2）解決環(huán)境溫度對紅外相機(jī)工作性能的影響，提高紅外相機(jī)的預(yù)測準(zhǔn)確度；

5、（3）改善紅外相機(jī)的安裝位置與著火點(diǎn)距離較遠(yuǎn)時(shí)，由于接收到的輻射能不足而無法準(zhǔn)確檢測的情況；

6、（4）利用煙霧傳感器、氣體傳感器、雙目相機(jī)、紅外相機(jī)和溫度傳感器的多模態(tài)數(shù)據(jù)融合技術(shù)，針對工廠排煙的污染情況給出多種預(yù)警信號，幫助工作人員有效監(jiān)控工廠排煙對造成的大氣污染情況以及根據(jù)預(yù)警信號有效指導(dǎo)大氣污染治理工作。

7、技術(shù)方案

8、為了達(dá)到上述目的，本發(fā)明采用的一種技術(shù)方案為：一種基于多模態(tài)數(shù)據(jù)的工廠排煙監(jiān)測及分析方法，包括數(shù)據(jù)獲取、目標(biāo)識別模型、aina輻射能檢測模型、距離檢測模型、輻射能補(bǔ)償模型、排煙檢測模型和觸發(fā)預(yù)測與分級警告模型：

9、進(jìn)一步地，所述數(shù)據(jù)獲取包括單目圖像搜集與預(yù)處理、紅外圖像搜集與預(yù)處理、環(huán)境溫度獲取、煙霧濃度獲取和氣體污染物濃度獲取，所述數(shù)據(jù)獲取均為針對位置索引x處的工廠排煙的數(shù)據(jù)進(jìn)行：

10、1）單目圖像搜集與預(yù)處理獲取單目圖像并對單目圖像進(jìn)行預(yù)處理操作，對單目圖像進(jìn)行預(yù)處理操作的步驟包括增加圖像對比度、高斯濾波和圖像銳化，進(jìn)而得到單目預(yù)處理圖像sp；

11、2）紅外圖像搜集與預(yù)處理獲取紅外圖像并對紅外圖像做預(yù)處理操作，對紅外圖像進(jìn)行預(yù)處理操作的步驟包括增加圖像對比度、高斯濾波、圖像銳化和灰度化，進(jìn)而得到紅外預(yù)處理圖像ip；

12、3）環(huán)境溫度獲取負(fù)責(zé)獲取環(huán)境溫度at并輸出環(huán)境溫度at；

13、4）煙霧濃度獲取負(fù)責(zé)獲取煙霧濃度sc，當(dāng)煙霧濃度sc>500mg/m3時(shí)，煙霧濃度獲取單元的輸出為1，否則輸出為0；煙霧濃度獲取的輸出記為out_1；

14、5）氣體污染物濃度獲取負(fù)責(zé)獲取煙霧中的有害氣體二氧化硫so2、氮氧化物nox、一氧化碳co、氯化氫hcl的濃度out_2，out_2={gas_i}，i∈[1,4]，其中?gas_i=（a_i-m_i）/a_i，a_i代表第i個(gè)有害氣體的當(dāng)前濃度，m_i代表第i個(gè)氣體的標(biāo)準(zhǔn)濃度。

15、作為優(yōu)選的，所述目標(biāo)識別模型基于yolo算法進(jìn)行深度學(xué)習(xí)獲得工廠排煙的數(shù)據(jù)集，并基于該數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)式訓(xùn)練，使用訓(xùn)練好的目標(biāo)識別模型對單目預(yù)處理圖像sp進(jìn)行目標(biāo)檢測，可得到目標(biāo)物體的邊框和相應(yīng)的置信度，所述目標(biāo)物體為工廠排煙。

16、進(jìn)一步地，所述aina輻射能檢測模型對紅外預(yù)處理圖像ip進(jìn)行處理，具體包括特征采集、特征提取、上采樣、通道合并、尺度變換、特征壓縮與組合卷積，由于物體的熱輻射能量的大小與物體表面的溫度相關(guān)，因此aina輻射能檢測模型的最終輸出是位置x處工廠排煙的輻射能最大位置所對應(yīng)的檢測溫度t。

17、所述距離檢測模型的數(shù)學(xué)原理是雙目測距原理，所以要求采集圖像的單目相機(jī)與紅外相機(jī)平行放置，同步采集前方圖像，并且要求單目相機(jī)與紅外相機(jī)具有相同的焦距，此時(shí)得到的單目圖像與紅外圖像才能被應(yīng)用于距離檢測模型，利用單目圖像與紅外圖像之間的像素差計(jì)算出目標(biāo)物體的距離，所述距離檢測模型得到與位置x處工廠排煙的最終預(yù)測距離 od。

18、作為優(yōu)選地，分別將環(huán)境溫度at、距離檢測模型檢測出的最終預(yù)測距離od和輻射能檢測模型獲取的檢測溫度t送入輻射能補(bǔ)償模型，所述輻射能補(bǔ)償模型將物體所對應(yīng)的預(yù)測溫度進(jìn)行矯正，得到目標(biāo)物體的預(yù)測溫度t_c；所述輻射能補(bǔ)償模型的輸出記為out_3=（t_c-at）/t_c。

19、進(jìn)一步地，所述排煙檢測模型對經(jīng)過目標(biāo)識別模型處理后單目預(yù)處理圖像sp進(jìn)行檢測，獲得sp中工廠排煙的最深顏色和擴(kuò)散范圍；所述排煙檢測模型的輸出為out_4={color，area}；，為針對顏色的輸出，顏色越深代表排煙污染越嚴(yán)重，其中r、g和b分別代表獲得的顏色對應(yīng)rgb中紅色、綠色和藍(lán)色對應(yīng)的值；area∈[0,1]，為煙霧區(qū)域在單目預(yù)處理圖像sp中的面積占比。

20、進(jìn)一步地，所述觸發(fā)預(yù)測與分級警告模型為一種組合神經(jīng)網(wǎng)絡(luò)，包括輸入層、競爭層和輸出層，所述輸入層包含8個(gè)神經(jīng)元，分別對應(yīng)由out_1、out_2、out_3和out_4組成的位置x處工廠排煙的樣本向量中的數(shù)據(jù)；所述競爭層包括8個(gè)神經(jīng)元且兩兩一組；輸出層包含4個(gè)神經(jīng)元，每個(gè)神經(jīng)元只和競爭層的四組神經(jīng)元中的一組進(jìn)行權(quán)連接；從輸入層到競爭層的權(quán)重矩陣定義為w1，從競爭層到輸出層的權(quán)重矩陣定義為w2；在對觸發(fā)預(yù)測與分級警告模型訓(xùn)練完成后，所述觸發(fā)預(yù)測與分級警告模型即可根據(jù)輸入數(shù)據(jù)進(jìn)行有效預(yù)測，四種預(yù)測結(jié)果分別對應(yīng)四種警報(bào)信息，也就是排煙正常、異常警報(bào)（污染輕微警報(bào)）、污染中等警報(bào)和污染嚴(yán)重警報(bào)。

21、有益效果

22、（1）通過aina輻射能檢測模型可以快速、且較為準(zhǔn)確的預(yù)測特定目標(biāo)及其所對應(yīng)的溫度；

23、（2）通過輻射能補(bǔ)償模型可有效解決環(huán)境溫度對紅外相機(jī)工作性能的影響，提高紅外相機(jī)的預(yù)測準(zhǔn)確度；

24、（3）通過輻射能補(bǔ)償模型可有效改善紅外相機(jī)的安裝位置與排煙位置距離較遠(yuǎn)時(shí)，由于接收到的輻射能不足而無法準(zhǔn)確檢測的情況；

25、（4）觸發(fā)預(yù)測與分級警告模型利用煙霧傳感器、氣體傳感器、雙目相機(jī)、紅外相機(jī)和溫度傳感器的多模態(tài)數(shù)據(jù)融合，在污染的不同階段給出多種預(yù)警信號，幫助工作人員有效防范工廠排煙產(chǎn)生的大氣污染以及根據(jù)預(yù)警信號指導(dǎo)大氣污染的治理工作。