本發(fā)明涉及一種基于多源異構(gòu)數(shù)據(jù)融合的礦井有色金屬特征提取方法，屬于有色金屬檢測(cè)。

背景技術(shù)：

1、在煤礦開采生產(chǎn)的過程中，如何對(duì)其中的有色金屬進(jìn)行檢測(cè)和識(shí)別，對(duì)整個(gè)選冶過程至關(guān)重要。得益于計(jì)算機(jī)與網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，各種傳感器以及信息處理技術(shù)的應(yīng)用，選冶過程中有色金屬的智能識(shí)別效率也取得了大幅的提升。然而，在煤礦開采選冶的過程中，各種設(shè)備在獲取大量異構(gòu)數(shù)據(jù)的同時(shí)，也增加了儲(chǔ)存的冗余度。同時(shí)，不同數(shù)據(jù)間的處理、融合與決策，也限制了有色金屬智能檢測(cè)效果的進(jìn)一步提升。近年來，利用深度學(xué)習(xí)技術(shù)建模，提取并融合多種異構(gòu)數(shù)據(jù)下的相似特征，強(qiáng)化核心特征，構(gòu)建統(tǒng)一框架，可以充分發(fā)揮多源異構(gòu)數(shù)據(jù)的互補(bǔ)優(yōu)勢(shì)，增強(qiáng)算法的場(chǎng)景理解能力和魯棒性，同時(shí)大幅度降低算法冗余，提升后續(xù)檢測(cè)算法的整體精度。

2、選冶過程中所獲取的異構(gòu)數(shù)據(jù)，主要包含一維的語(yǔ)音、文本與振動(dòng)數(shù)據(jù)、二維的圖像數(shù)據(jù)以及三維的視頻流數(shù)據(jù)等。這些不同傳感器所獲得的異構(gòu)數(shù)據(jù)中所包含的特征相似度高，易產(chǎn)生特征混淆現(xiàn)象。在此情況下，直接使用深度學(xué)習(xí)技術(shù)進(jìn)行數(shù)據(jù)融合時(shí)，模型難以準(zhǔn)確提取并融合異構(gòu)數(shù)據(jù)間的共同特征，這會(huì)造成數(shù)據(jù)冗余和計(jì)算資源的浪費(fèi)。加之復(fù)雜選冶場(chǎng)景的噪聲干擾，模型也更難辨別當(dāng)前場(chǎng)景下更利于礦井有色金屬檢測(cè)的重要信息源，從而造成算法精度的大幅下降。

3、綜上，目前礦井有色金屬在檢測(cè)和識(shí)別中主要存在以下缺陷：(1)現(xiàn)有的深度學(xué)習(xí)模型難以準(zhǔn)確提取異構(gòu)數(shù)據(jù)間的共同特征，造成數(shù)據(jù)冗余；(2)現(xiàn)有模型易受復(fù)雜選冶場(chǎng)景干擾，難以辨別復(fù)雜選冶環(huán)境下更利于有色金屬檢測(cè)的重要信息源，從而造成算法精度的下降。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的發(fā)明目的在于提供一種基于多源異構(gòu)數(shù)據(jù)融合的礦井有色金屬特征提取方法，該方法能夠減少數(shù)據(jù)混淆并充分提取不同維度數(shù)據(jù)的共同特征，避免數(shù)據(jù)冗余；能夠辨別復(fù)雜選冶環(huán)境下更利于有色金屬檢測(cè)的重要信息源，提高后續(xù)有色金屬檢測(cè)算法的魯棒性與精度。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于多源異構(gòu)數(shù)據(jù)融合的礦井有色金屬特征提取方法，包括如下步驟：

3、s1、利用dnn和cnn網(wǎng)絡(luò)進(jìn)行異構(gòu)數(shù)據(jù)處理；

4、s2、通過堆疊自編碼器構(gòu)建特征融合網(wǎng)絡(luò)；

5、s3、對(duì)特征融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，完成對(duì)特征融合網(wǎng)絡(luò)的初始化；

6、s4、通過構(gòu)建損失函數(shù)對(duì)初始化的特征融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，得到優(yōu)化后的網(wǎng)絡(luò)模型；

7、s5、利用優(yōu)化后的網(wǎng)絡(luò)模型進(jìn)行有色金屬識(shí)別。

8、進(jìn)一步地，所述s1的具體過程為：

9、利用dnn網(wǎng)絡(luò)和cnn網(wǎng)絡(luò)分別對(duì)采集到的語(yǔ)音文本數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行特征提取，并將dnn網(wǎng)絡(luò)和cnn網(wǎng)絡(luò)的輸出層神經(jīng)元個(gè)數(shù)設(shè)置一致，保持網(wǎng)絡(luò)輸出特征結(jié)構(gòu)相同用于進(jìn)行特征融合，提取異構(gòu)數(shù)據(jù)的特征相似性，公式如下：

10、fdnn＝ndnn(x1d|θdnn)＝wdnnx1d++bdnn

11、fcnn＝ncnn(x2d|θcnn)＝wcnnx2d++bcnn；

12、式中，x1d和x2d分別為一維的語(yǔ)音文本類數(shù)據(jù)和二維的圖像類數(shù)據(jù)；ndnn(·)和ncnn(·)分別代表所用到的dnn和cnn網(wǎng)絡(luò)模型；θdnn為dnn網(wǎng)絡(luò)所學(xué)習(xí)到的映射關(guān)系，由權(quán)重wdnn和偏置bdnn組成，θcnn為cnn網(wǎng)絡(luò)所學(xué)習(xí)到的映射關(guān)系，由權(quán)重wcnn和偏置bcnn組成；fdnn和fcnn分別為dnn和cnn網(wǎng)絡(luò)模型的輸出特征。

13、進(jìn)一步地，所述s2的具體過程為：

14、s2.1、逐層構(gòu)建自編碼器，將每個(gè)自編碼器得到的表達(dá)作為一層隱含層，然后加入數(shù)據(jù)的標(biāo)簽，再次利用反向傳播算法對(duì)網(wǎng)絡(luò)中的參數(shù)進(jìn)行微調(diào)，得到深層神經(jīng)網(wǎng)絡(luò)，即特征融合網(wǎng)絡(luò)，具體為：

15、令輸入數(shù)據(jù)為i，隱藏表示為h，自編碼器函數(shù)為fenc；自編碼器將輸入數(shù)據(jù)i轉(zhuǎn)換為隱藏表示h的過程表示為：

16、h＝fenc(i)；

17、將多個(gè)自編碼器結(jié)合后形成堆疊自編碼器結(jié)構(gòu)，由如下公式表示：

18、y＝σ(h2·w3)

19、h2＝σ(h1·w2)

20、h1＝σ(x·w1)；

21、式中，x和y分別為輸入層和輸出層；σ代表激活函數(shù)；h1和h2為堆疊自編碼器的隱藏層，對(duì)應(yīng)h＝fenc(i)；wk,k＝1,2,3為前一層到后一層的映射關(guān)系；

22、s2.2、將dnn和cnn網(wǎng)絡(luò)模型的輸出特征分別經(jīng)過一次特征融合網(wǎng)絡(luò)得到輸出如下：

23、

24、式中，nf(·)為構(gòu)建的特征融合網(wǎng)絡(luò)；θf代表隨機(jī)初始化的網(wǎng)絡(luò)映射關(guān)系，由權(quán)重wf和偏置bf構(gòu)成；和分別為fcnn和fdnn經(jīng)過一次特征融合網(wǎng)絡(luò)后的輸出；

25、s2.3、分別計(jì)算fcnn和fdnn的重構(gòu)誤差，公式如下：

26、

27、式中，n為樣本數(shù)量，和表示fcnn和fdnn經(jīng)過一次特征融合后的重構(gòu)損失。

28、進(jìn)一步地，所述s3的具體過程為：

29、s3.1、對(duì)得到的和進(jìn)行對(duì)比計(jì)算，若則判斷為cnn網(wǎng)絡(luò)所學(xué)習(xí)到的映射關(guān)系θcnn較dnn網(wǎng)絡(luò)所學(xué)習(xí)到的映射關(guān)系θdnn在當(dāng)前場(chǎng)景下更重要，將cnn網(wǎng)絡(luò)所學(xué)習(xí)到的映射關(guān)系θcnn作為下一個(gè)特征融合網(wǎng)絡(luò)的初始權(quán)重，避免重新隨機(jī)初始化權(quán)重所造成的訓(xùn)練時(shí)間和計(jì)算復(fù)雜度增加的問題，并將dnn網(wǎng)絡(luò)輸出作為特征網(wǎng)絡(luò)的輸入，對(duì)其進(jìn)行再一次優(yōu)化，得到優(yōu)化后的特征

30、s3.2、將特征再進(jìn)行一次重構(gòu)損失計(jì)算，得到將與進(jìn)行比較計(jì)算，若則判斷為cnn網(wǎng)絡(luò)輸出的特征優(yōu)于上一個(gè)特征融合網(wǎng)絡(luò)的映射關(guān)系，將cnn網(wǎng)絡(luò)的映射關(guān)系θcnn作為下一個(gè)特征融合網(wǎng)絡(luò)的初始化權(quán)重，并將上一個(gè)特征融合網(wǎng)絡(luò)的輸出作為此融合網(wǎng)絡(luò)的輸入，對(duì)其進(jìn)行優(yōu)化，得到輸出

31、s3.3、特征融合網(wǎng)絡(luò)經(jīng)過兩次重構(gòu)損失計(jì)算，對(duì)于這兩次重構(gòu)損失的結(jié)果比較，包括

32、且且且且四種情況，簡(jiǎn)稱nn、ny、yn和yy，分別用數(shù)學(xué)關(guān)系式表達(dá)如下：

33、(1)nn情況下：

34、

35、θdnn＝(wdnn|bdnn)

36、

37、式中，neti(·)為特征融合網(wǎng)絡(luò)i；θdnn為dnn網(wǎng)絡(luò)的映射關(guān)系，由權(quán)重wdnn和偏置bdnn組成；作為特征融合網(wǎng)絡(luò)1的輸入，同時(shí)作為特征融合網(wǎng)絡(luò)1的輸出和特征融合網(wǎng)絡(luò)3的輸入，為特征融合網(wǎng)絡(luò)3的輸出；

38、(2)ny情況下：

39、

40、θdnn＝(wdnn|bdnn)

41、

42、θ1＝(w1|b1)；

43、式中，θ1為特征融合網(wǎng)絡(luò)1的映射關(guān)系，并對(duì)特征融合網(wǎng)絡(luò)4進(jìn)行初始化，由權(quán)重w1和偏置b1組成；和分別作為特征融合網(wǎng)絡(luò)4的輸入和輸出；

44、(3)yn情況下：

45、

46、θcnn＝(wcnn|bcnn)

47、

48、θ2＝(w2|b2)；

49、式中，和分別作為特征融合網(wǎng)絡(luò)2的輸入和輸出；θcnn為cnn網(wǎng)絡(luò)的映射關(guān)系，為特征融合網(wǎng)絡(luò)2初始化，由權(quán)重wcnn和偏置bcnn組成；和分別作為特征融合網(wǎng)絡(luò)5的輸入和輸出；θ2為特征融合網(wǎng)絡(luò)2的映射關(guān)系，并對(duì)特征融合網(wǎng)絡(luò)5初始化，由權(quán)重w2和偏置b2組成；

50、(4)yy情況下：

51、

52、θcnn＝(wcnn|bcnn)

53、

54、θcnn＝(wcnn|bcnn)；

55、式中，和分別為特征融合網(wǎng)絡(luò)6的輸入和輸出；θcnn為cnn網(wǎng)絡(luò)的映射關(guān)系，由權(quán)重wcnn和偏置bcnn組成，完成對(duì)特征融合網(wǎng)絡(luò)6的初始化。

56、進(jìn)一步地，所述s4中為了有效提取異構(gòu)數(shù)據(jù)之間的相關(guān)特征，提高后續(xù)算法的識(shí)別精度，為此對(duì)nn、ny、yn和yy的情況下分別對(duì)網(wǎng)絡(luò)模型做出以下約束：

57、(1)nn情況下的網(wǎng)絡(luò)損失函數(shù)用公式表示為：

58、

59、lnn＝ldnn++lcnn；

60、式中，ldnn為語(yǔ)音文本類數(shù)據(jù)的重構(gòu)損失；lcnn為圖像類數(shù)據(jù)的重構(gòu)損失；lnn為nn情況下網(wǎng)絡(luò)的重構(gòu)損失；

61、(2)ny情況下的網(wǎng)絡(luò)損失函數(shù)用公式表示為：

62、

63、

64、lny＝ldnn++lcnn；

65、式中，lny為ny情況下網(wǎng)絡(luò)的重構(gòu)損失；

66、(3)yn情況下的網(wǎng)絡(luò)損失函數(shù)用公式表示為：

67、

68、lyn＝ldnn++lcnn；

69、式中，lyn為yn情況下的網(wǎng)絡(luò)重構(gòu)損失，與ny情況下的區(qū)別是，特征融合網(wǎng)絡(luò)的初始化權(quán)重不同；

70、(4)yy情況下的網(wǎng)絡(luò)損失函數(shù)用公式表示為：

71、

72、lyy＝ldnn++lcnn；

73、式中，lyy為yy情況下的網(wǎng)絡(luò)重構(gòu)損失。

74、進(jìn)一步地，所述s5中利用優(yōu)化后的網(wǎng)絡(luò)模型進(jìn)行有色金屬識(shí)別的過程為：

75、s5.1、將融合后的特征作為softmax分類器的輸入，并進(jìn)行訓(xùn)練：

76、result＝softmax(ff|θs)；

77、式中，θs為分類器所學(xué)習(xí)到的映射關(guān)系；ff為分類器的輸入；result為分類器的輸出結(jié)果；

78、s5.2、為了防止網(wǎng)絡(luò)在訓(xùn)練過程中的過擬合，為此加入l2正則化，其數(shù)學(xué)表達(dá)式如下：

79、

80、式中，x和分別為分類器的輸入和輸出；y為原始真實(shí)標(biāo)簽；α為l2正則化參數(shù)；w為權(quán)重矩陣列向量；n為樣本數(shù)量。

81、本發(fā)明基于先驗(yàn)知識(shí)引導(dǎo)，通過構(gòu)建雙分支多源異構(gòu)數(shù)據(jù)融合網(wǎng)絡(luò)，對(duì)不同維度的多源異構(gòu)數(shù)據(jù)設(shè)置不同的網(wǎng)絡(luò)分支，有效減少了數(shù)據(jù)混淆的同時(shí)提升了模型對(duì)不同維度異構(gòu)數(shù)據(jù)的特征提取能力，保障了后續(xù)的特征融合操作獲得共同特征的效率；基于損失函數(shù)對(duì)比判斷的迭代特征融合的方法，在雙分支多源異構(gòu)數(shù)據(jù)融合網(wǎng)絡(luò)的基礎(chǔ)上，通過設(shè)置權(quán)重因子和迭代融合操作，有效地篩選、細(xì)化了復(fù)雜選冶場(chǎng)景下更利于有色金屬檢測(cè)的關(guān)鍵數(shù)據(jù)源，在保證了對(duì)該數(shù)據(jù)源核心特征有效提取的基礎(chǔ)上，有效的融合了其它數(shù)據(jù)源的特征。本發(fā)明充分發(fā)揮了異構(gòu)數(shù)據(jù)間的互補(bǔ)優(yōu)勢(shì)，降低了復(fù)雜環(huán)境的干擾，有效地保障了后續(xù)算法對(duì)有色金屬的檢測(cè)魯棒性與精度。