基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法及系統(tǒng)。首先，從軟硬件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)；其次，通過Kinect傳感器采集浮選泡沫顏色和深度數(shù)據(jù)，對深度數(shù)據(jù)進(jìn)行深度信息提取和濾波處理，對顏色和深度數(shù)據(jù)進(jìn)行時序與位置上的對準(zhǔn)及其對應(yīng)的存儲。然后，結(jié)合顏色數(shù)據(jù)和深度數(shù)據(jù)，提取泡沫的顏色、面積、體積、速度、破碎率等立體(帶有深度信息)特征。再者，通過分析當(dāng)前泡沫表層液位特征與溢流槽邊沿高度之間的關(guān)系進(jìn)行液位監(jiān)測。最后，采用改進(jìn)的k-means算法對泡沫圖像特征進(jìn)行聚類分析，實現(xiàn)對浮選工況的在線識別。本發(fā)明可用于泡沫浮選現(xiàn)場的工況監(jiān)測與實時工況識別，以實現(xiàn)浮選生產(chǎn)自動控制與優(yōu)化操作，提高資源利用率。
【專利說明】基于深度信息的泡沬淳選液位監(jiān)測和工況識別方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及礦物加工領(lǐng)域，尤其是一種基于深度信息的泡沫浮選液位監(jiān)測和工況 識別方法及系統(tǒng)。

【背景技術(shù)】
[0002] 浮選工況即浮選生產(chǎn)過程中的工作狀況，及時準(zhǔn)確地識別工況對指導(dǎo)浮選生產(chǎn)至 關(guān)重要。泡沫浮選是礦物加工中應(yīng)用最廣泛的一種選礦方法，涉及到的物理化學(xué)變化極其 復(fù)雜，一直以來都是依據(jù)有經(jīng)驗的工人通過肉眼觀察浮選槽內(nèi)泡沫表面特征（顏色、大小、 速度等）變化來人為判定當(dāng)前工況，并以此控制加藥量等浮選操作。然而不同的工人對泡 沫表面特征的判斷沒有統(tǒng)一的量化標(biāo)準(zhǔn)，導(dǎo)致工況識別乃至操作的主觀性和隨意性較大， 使浮選難以處于最優(yōu)狀態(tài)而造成生產(chǎn)過程不穩(wěn)定，影響生產(chǎn)質(zhì)量。隨著機(jī)器視覺及圖像處 理等技術(shù)的飛速發(fā)展，結(jié)合浮選現(xiàn)場泡沫特征進(jìn)行智能識別工況的工作取得了很大進(jìn)展。 通過快速準(zhǔn)確的識別浮選現(xiàn)場的工況類別，浮選生產(chǎn)控制系統(tǒng)可及時調(diào)整生產(chǎn)參數(shù)，使浮 選生產(chǎn)過程始終保持在最優(yōu)狀態(tài)。
[0003] 礦漿液位是浮選現(xiàn)場工況識別的一個重要指標(biāo)，但由于被泡沫層覆蓋而難以測 量，同時，基于傳統(tǒng)工業(yè)攝像機(jī)的泡沫浮選工況監(jiān)測和識別系統(tǒng)及方法（以下簡述為傳統(tǒng) 系統(tǒng)及方法）所采集的浮選泡沫圖像只有平面圖像信息，不具有深度信息，無法獲得對浮 選礦漿液位變化的實時監(jiān)測，難以實現(xiàn)液位的自動識別和自動控制。此外，沒有深度信息還 會給圖像特征經(jīng)驗值的確定（來自工人的立體視覺）與監(jiān)測值的提?。▉碜詡鹘y(tǒng)系統(tǒng)及方 法的平面視覺）帶來較大的差異，造成工況識別結(jié)果的不穩(wěn)定和不準(zhǔn)確，使傳統(tǒng)系統(tǒng)及方 法的應(yīng)用受到極大限制。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是提供一種基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法及 系統(tǒng)，通過視場內(nèi)所有點的泡沫表層距槽底距離，獲取與礦漿液位相關(guān)的泡沫表層液位特 征，有效地實現(xiàn)了基于機(jī)器視覺的在線液位監(jiān)測；通過kinect傳感器提取的浮選泡沫表面 立體特征，有效地突破了平面泡沫特征的局限性，能夠更加準(zhǔn)確地識別當(dāng)前工況。
[0005] 為實現(xiàn)上述目的，本發(fā)明提供一種基于深度信息的泡沫浮選液位監(jiān)測和工況識別 方法，包括以下步驟：
[0006] 步驟一：從軟硬件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)；
[0007] 步驟二：采集、處理并保存由kinect獲取的浮選泡沫顏色數(shù)據(jù)和深度數(shù)據(jù)；
[0008] 步驟三：對步驟二獲得的顏色和深度數(shù)據(jù)進(jìn)行特征提取，結(jié)合顏色和深度數(shù)據(jù)提 取泡沫的顏色、面積、體積、速度、破碎率等立體（帶有深度信息）特征；
[0009] 步驟四：采用分布擬合方法對步驟二獲得的深度數(shù)據(jù)進(jìn)行統(tǒng)計分析；采用參數(shù)估 計方法獲取泡沫表層液位特征；進(jìn)而獲得泡沫表層液位特征與溢流槽邊沿高度之間的關(guān) 系，用于泡沫浮選液位的在線監(jiān)測與工況識別；
[0010]步驟五：將步驟三獲取的泡沫特征構(gòu)成特征向量，采用改進(jìn)的k-means算法進(jìn)行 離線的聚類分析，得到若干個聚類中心；實時提取浮選現(xiàn)場的泡沫特征，并與聚類中心進(jìn)行 實時匹配，在線獲取當(dāng)前浮選的工況。
[0011] 本發(fā)明還提供一種基于深度信息的泡沫浮選液位監(jiān)測和工況識別系統(tǒng)，其特征在 于，包括kinect傳感器、高頻光源、計算機(jī)，kinect傳感器固定于距浮選槽液面1. 2m-3. 5m范圍內(nèi)，其攝像頭所在平面與浮選槽底面平行；高頻光源為kinect傳感器采集顏色數(shù)據(jù)提 供照明，將采集到的顏色和深度數(shù)據(jù)流通過USB數(shù)據(jù)線傳送至計算機(jī)，計算機(jī)實現(xiàn)數(shù)據(jù)處 理、實時工況監(jiān)測及其結(jié)果顯示；軟件系統(tǒng)在跨平臺框架Openni下，采用交互式編程接口， 以實現(xiàn)顏色和深度數(shù)據(jù)流的實時獲取、處理、保存以及特征提取和工況識別。
[0012] 有益效果：本發(fā)明通過kinect傳感器提取的浮選泡沫表面立體特征，有效的突破 了平面泡沫特征的局限性，并且與提取泡沫表層液位特征相結(jié)合，能夠更加準(zhǔn)確識別當(dāng)前 工況。

【專利附圖】

【附圖說明】
[0013] 圖1為本發(fā)明實施例基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法及系統(tǒng) 的硬件結(jié)構(gòu)圖。
[0014] 圖2為圖1所示基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法及系統(tǒng)的軟件 流程圖。
[0015] 圖3為本發(fā)明實施例中kinect采集的顏色圖像。
[0016] 圖4為本發(fā)明實施例中kinect采集的深度圖像。

【具體實施方式】
[0017] Kinect是微軟公司研制的一款新型傳感器（攝像頭），能夠?qū)崟r獲取目標(biāo)區(qū)域的 顏色和深度兩種數(shù)據(jù)，突破了傳統(tǒng)攝像頭的二維圖像特征的局限，可以得到與現(xiàn)實世界更 為接近的三維特征信息，目前已應(yīng)用于游戲領(lǐng)域，但還未廣泛應(yīng)用于工業(yè)現(xiàn)場。
[0018] 為此，我們首次把Kinect傳感器引入到泡沫浮選工業(yè)現(xiàn)場，通過Kinect傳感器 采集的深度數(shù)據(jù)，獲取與礦漿液位相關(guān)的泡沫表層液位特征，進(jìn)行液位監(jiān)測與工況；結(jié)合 Kinect傳感器采集的顏色數(shù)據(jù)，提取泡沫的顏色、面積、體積、速度、破碎率等立體（帶有深 度信息）特征，實現(xiàn)對泡沫浮選生產(chǎn)過程的實時工況識別。
[0019] 以下將結(jié)合附圖和具體實施例對本發(fā)明做進(jìn)一步詳細(xì)說明。
[0020] 如圖2所示，本實施例一種基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法包 括以下步驟：
[0021] 步驟一：從軟硬件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)；
[0022] 按照圖1所示構(gòu)建基于深度信息的泡沫浮選工況監(jiān)測與識別系統(tǒng)，硬件主要由 kinect傳感器1、高頻光源4、計算機(jī)5等組成。高頻光源4為kinect傳感器1采集顏色數(shù) 據(jù)提供照明。將kinect傳感器1固定于距浮選槽6液面2m處，其攝像頭2所在平面須與 浮選槽6底面平行，將在攝像頭視場3范圍內(nèi)采集到的顏色和深度數(shù)據(jù)流通過USB數(shù)據(jù)線 傳送至計算機(jī)5,計算機(jī)5實現(xiàn)數(shù)據(jù)處理、實時工況監(jiān)測及其結(jié)果顯示。另外，在高頻光源4 和kinect傳感器1外部加上防塵罩（圖中未畫出），用來減弱外界因素（如腐蝕，污染鏡 頭等）的影響，增強(qiáng)系統(tǒng)的可靠性。浮選槽6 -端設(shè)有溢流槽7,且浮選槽6內(nèi)部裝設(shè)有攪 拌裝置8與刮板9。圖中，Hb表示攝像頭所在平面到浮選槽槽底的距離，Hd表示視場內(nèi)泡 沫表層某點到攝像頭所在平面的距離，Hh表示視場內(nèi)泡沫表層某點到槽底的距離，Ht表示 視場內(nèi)某點處泡沫層厚度（某點到礦漿液面的距離），Hk表示礦漿液位，Hy表示溢流槽邊 沿高度。
[0023] 從軟件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)，在跨平臺框架 Openni(OpenNaturalInteraction)下，采用交互式編程接口，以實現(xiàn)顏色和深度數(shù)據(jù)流 的實時獲取、處理、保存以及特征提取和工況識別。
[0024] 步驟二：采集、處理并保存由kinect獲取的浮選泡沫顏色數(shù)據(jù)和深度數(shù)據(jù)；
[0025] 包含以下步驟：
[0026] 步驟1 :采集數(shù)據(jù)；
[0027]將顏色數(shù)據(jù)流設(shè)定為RGB888 (RGB)，分辨率為640*480,幀率為30FPS;將深度數(shù)據(jù) 流格式設(shè)定為PIXEL_F0RMAT_DEPTH_1_MM格式（數(shù)據(jù)精度為毫米），分辨率為640X480 ;幀 率為30FPS;采用跨平臺框架Openni下的"AlternativeView"工具，校正顏色攝像頭與深 度攝像頭的視角，以實現(xiàn)顏色數(shù)據(jù)流與深度數(shù)據(jù)流在目標(biāo)視場上的對準(zhǔn)。
[0028]啟動kinect設(shè)備進(jìn)行圖像采集；采用上述步驟設(shè)定的數(shù)據(jù)格式同時創(chuàng)建顏色數(shù) 據(jù)流和深度數(shù)據(jù)流，得到如圖3與圖4所示的時序?qū)?zhǔn)的兩種數(shù)據(jù)：640X480X3階顏色矩 陣C和640X480階深度矩陣D。例如在顏色圖像中，點Pi(243,133)標(biāo)注為"RGB:242, 241， 239"，表示kinect采集的顏色矩陣中該點的值為C(243，133，l) = 242,C(243，133,2)= 241，C(243，133,3) = 239。深度圖像中，點Pi(243，133)標(biāo)注為"Index:661"，表示kinect 采集的顏色矩陣中該點的值為D(243,133) = 661 ;標(biāo)注"RGB:0. 918,0. 918,0. 918"是由深 度值歸一化得到用來進(jìn)行顯示的，深度圖像中顏色越深就表示深度值越小，即該點泡沫表 層距離攝像頭距離越近，通過比較泡沫頂部點匕處的Index值（661)與泡沫邊緣點P2處的 Index值（693)可以很容易驗證上述說法。
[0029] 步驟2:處理數(shù)據(jù)；
[0030] (1)獲取深度數(shù)據(jù)中的深度信息；
[0031] 由kinect傳感器獲取的深度矩陣D是16位整型數(shù)據(jù)，其高13位存儲的是深度信 息，而低3位存儲的是索引信息，通過移位操作獲取深度信息：
[0032]D: =D/23 公式 1
[0033] 式中Di為僅存儲了深度信息（而沒有索引信息）的深度矩陣。
[0034] (2)結(jié)合顏色數(shù)據(jù)對深度數(shù)據(jù)進(jìn)行濾波補(bǔ)全處理；
[0035] 采用聯(lián)合雙邊濾波方法對深度矩陣Di進(jìn)行濾波處理，將由于遮擋缺失的深度圖像 補(bǔ)全，得到濾波后的深度矩陣D2，其在點（x，y)處的深度值D2(x，y)為：

【權(quán)利要求】
1. 一種基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法，其特征在于，包括以下步 驟： 步驟一：從軟硬件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)； 步驟二：采集、處理并保存由kinect獲取的浮選泡沫顏色數(shù)據(jù)和深度數(shù)據(jù)； 步驟三：對步驟二獲得的顏色和深度數(shù)據(jù)進(jìn)行特征提取，結(jié)合顏色和深度數(shù)據(jù)提取泡 沫的顏色、面積、體積、速度、破碎率等立體特征； 步驟四：采用分布擬合方法對步驟二獲得的深度數(shù)據(jù)進(jìn)行統(tǒng)計分析；采用參數(shù)估計方 法獲取泡沫表層液位特征；進(jìn)而獲得泡沫表層液位特征與溢流槽邊沿高度之間的關(guān)系，用 于泡沫浮選液位的在線監(jiān)測與工況識別； 步驟五：將步驟三獲取的泡沫特征構(gòu)成特征向量，采用改進(jìn)的k-means算法進(jìn)行離線 的聚類分析，得到若干個聚類中心；實時提取浮選現(xiàn)場的泡沫特征，并與聚類中心進(jìn)行實時 匹配，在線獲取當(dāng)前浮選的工況。
2. 根據(jù)權(quán)利要求1所述的基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法，其特征 在于，所述步驟一包括以下子步驟： 步驟1 :從硬件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)，硬件包括kinect傳感 器、高頻光源、計算機(jī)，將kinect傳感器固定于距浮選槽液面1. 2m-3. 5m范圍內(nèi)，其攝像頭 所在平面與浮選槽底面平行；高頻光源為kinect傳感器采集顏色數(shù)據(jù)提供照明，將采集到 的顏色和深度數(shù)據(jù)流通過USB數(shù)據(jù)線傳送至計算機(jī)，計算機(jī)實現(xiàn)數(shù)據(jù)處理、實時工況監(jiān)測 及其結(jié)果顯示； 步驟2 :從軟件方面構(gòu)建基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)，在跨平臺框架Openni下，采用交互式編程接口，以實現(xiàn)顏色和深度數(shù)據(jù)流的實時獲取、處理、保存以及特征提取 和工況識別。
3. 根據(jù)權(quán)利要求1所述的基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法，其特征 在于，所述步驟二包括以下子步驟： 步驟1 :采集數(shù)據(jù)； (1) 設(shè)置數(shù)據(jù)格式； 將顏色數(shù)據(jù)流設(shè)定為RGB888,分辨率為aXb，aXb表示水平方向上的像素數(shù)量乘以垂 直方向上的像素數(shù)量，幀率為30FPS;將深度數(shù)據(jù)流格式設(shè)定為PIXEL_F0RMAT_DEPTH_1_MM 格式，數(shù)據(jù)精度為毫米，分辨率為aXb;幀率為30FPS; (2) 硬件對準(zhǔn)顏色數(shù)據(jù)與深度數(shù)據(jù)； 采用跨平臺框架Openni下的"AlternativeView"工具，校正顏色攝像頭與深度攝像 頭的視角，以實現(xiàn)顏色數(shù)據(jù)流與深度數(shù)據(jù)流在目標(biāo)視場上的對準(zhǔn)； (3) 軟件對準(zhǔn)顏色數(shù)據(jù)與深度數(shù)據(jù)； 啟動kinect設(shè)備進(jìn)行圖像采集；采用上述步驟設(shè)定的數(shù)據(jù)格式同時創(chuàng)建顏色數(shù)據(jù)流 和深度數(shù)據(jù)流，得到時序?qū)?zhǔn)的兩種數(shù)據(jù)：aXbX3階和aXb階深度矩陣D，顏色矩陣C由 分別表示圖像R、G、B顏色分量的3個aXb階矩陣組成； 步驟2 :處理數(shù)據(jù)； (1)獲取深度數(shù)據(jù)中的深度信息； 由kinect傳感器獲取的深度矩陣D是16位整型數(shù)據(jù)，其高13位存儲的是深度信息， 而低3位存儲的是索引信息，通過移位操作獲取深度信息： D: =D/23 公式 1 式中Di為僅存儲了深度信息的深度矩陣； (2) 結(jié)合顏色數(shù)據(jù)對深度數(shù)據(jù)進(jìn)行濾波補(bǔ)全處理； 采用聯(lián)合雙邊濾波方法對深度矩陣h進(jìn)行濾波處理，將由于遮擋缺失的深度圖像補(bǔ) 全，得到濾波后的深度矩陣D2，其在點（x，y)處的深度值D2(x，y)為：
式中\(zhòng)為所求點（X，y)的濾波參考鄰域，XG[l，a]，yG[l，b]，（ipi)G hG[x-a，x+rj，iG[y-n，y+rj，n為鄰域半徑，Di(ipD為矩陣Di在點（ipD處的 深度值，wp為歸一化參數(shù)：
式中w(ii，為所求點（x，y)的鄰域內(nèi)各點（ipi)對于所求點的權(quán)值，由深度圖 像空間域權(quán)值Ws和彩色圖像灰度域權(quán)值w1?組成，即： w(i1；j!) =w^ii,ji)Xwr(i1；ji) 公式 4 其中：
其中，〇 1?和〇s分別為權(quán)值ws和對應(yīng)的高斯函數(shù)標(biāo)準(zhǔn)差，Gray(x,y)、Gray(ii,ji) 分別為像素點（x，y)及其鄰域h內(nèi)各點（ipjD處的灰度值，計算公式為： Gray(x,y) = 0. 02989XC(x,y, 1) +0. 5870XC(x,y, 2) +0. 1149XC(x,y, 3) 公式 7 其中C(x，y，1)、C(x，y，2)、C(x，y，3)分別為aXbX3階顏色矩陣C中R、G、B顏色分量 的aXb階矩陣中點（x,y)的顏色值，遍歷所有點得到灰度矩陣Gray; 選取合適的高斯函數(shù)標(biāo)準(zhǔn)差\和〇s，在合適的濾波參考鄰域h內(nèi)，可以有效地消除 被遮擋區(qū)域缺失的深度信息和噪聲點； (3) 獲取反映泡沫表層距槽底距離Hh的深度矩陣D'; Hh表示視場內(nèi)泡沫表層某點（x，y)距槽底的距離，可由如下公式獲得： Hh =Hb-Hd 公式 8 其中Hb為kinect傳感器攝像頭所在平面到浮選槽槽底的距離，Hd為視場內(nèi)泡沫表層 某點到kinect傳感器攝像頭所在平面的距離，在kinect傳感器攝像頭所在平面與浮選槽 底面平行的情況下，Hd即為由kinect傳感器獲取的深度矩陣D經(jīng)移位和濾波補(bǔ)全后深度矩 陣D2中對應(yīng)點的值，SPHd =D2 (x，y)， 獲取反映Hh的某點（x，y)深度值D' (x，y)為： D' (x, y)=Hb-D2 (x, y)公式9步驟3 :保存數(shù)據(jù)； 將顏色矩陣C和深度矩陣D'進(jìn)行存儲，以Motion JPEGAVI編碼方式存取顏色數(shù)據(jù)，以Motion JPEG2000(16位）編碼方式存取深度數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法，其特征 在于，所述步驟三包括以下子步驟： 步驟1 :提取顏色特征； 對步驟二獲得的顏色和深度數(shù)據(jù)進(jìn)行特征提取，結(jié)合顏色和深度數(shù)據(jù)提取泡沫的顏色 特征， 假設(shè)視場中物體的深度值范圍為[dmin，cLx]，定義基準(zhǔn)距離為：db= (dmax-dmin) /2 公式 10 假設(shè)位于基準(zhǔn)距離處點的顏色為標(biāo)準(zhǔn)值，則在光照強(qiáng)度相同的情況下，大于基準(zhǔn)距離 離鏡頭距離越遠(yuǎn)的點顏色衰減越大，需要對其值進(jìn)行增強(qiáng)，而小于基準(zhǔn)距離離鏡頭距離越 近的點，需要對其顏色值進(jìn)行削弱，為此，通過設(shè)定權(quán)值函數(shù)，結(jié)合深度數(shù)據(jù)對顏色數(shù)據(jù)進(jìn) 行標(biāo)準(zhǔn)化處理，公式為： q(x, y)=(D' (x, y)-db)3/l〇6+l公式11對顏色值標(biāo)準(zhǔn)化后的顏色特征定義為：
由步驟二得到的灰度矩陣Gray,計算灰度均值：
步驟2 :提取面積特征； 對步驟二獲得的灰度矩陣Gray計算一幀圖像的灰度分布Gs，用Gs(g)表示滿足Gray(X，y) =g的像素點的個數(shù)，其中g(shù) G [〇,255]， 從6 = 0開始，分別取6 = 0,6=1，*"，6 = 6/，6/￡(〇,255)，當(dāng)6 = 6/時，滿足：
得到對比度增強(qiáng)的灰度矩陣Gray'，其在點（x，y)處的灰度值為：
采用分水嶺算法對矩陣Gray'進(jìn)行分割，得到泡沫區(qū)域二值矩陣A，其在點（x，y)處的 灰度值記為A(x，y)，采用下面公式進(jìn)行泡沫區(qū)域點與邊界點的判別：
遍歷一幀圖像所有的像素點，對泡沫區(qū)域進(jìn)行編號，得到標(biāo)記區(qū)域的標(biāo)記信息： Psn: {(x1； , (x2,y2),L, (xArea(n),yArea(n))} 公式 19 式中Psn表示第n個泡沫區(qū)域所有像素點的集合，n= 1, 2,L,N,N為泡沫區(qū)域總數(shù)；Area(n)表示第n個泡沫區(qū)域內(nèi)的像素點的個數(shù)，即為區(qū)域面積，分別統(tǒng)計所有N個泡沫區(qū) 域的面積，得到面積分布：Area: {Area(1)，Area(2)…Area(n)…Area(N) }，計算一巾貞圖像N 個泡沫區(qū)域的總區(qū)域面積：
將面積分布Area中的N個面積值按照從小到大的順序重新排序得到Area': {Area' (l)，Area' (2)LArea' (n)LArea' (N)}，其中Area' (1)為泡沫面積最小值， Area' (N)為泡沫面積最大值； 從 = 1 開始，分別取 = 1，= 2,…，=f/，f/G(1，N)，當(dāng) =f/ 時，滿 足：
則定義泡沫面積特征為：
步驟3 :提取體積特征； 對于一幀圖像的區(qū)域二值矩陣A和區(qū)域標(biāo)記Psn，其第n個泡沫區(qū)域的（p+q)階規(guī)則矩 定義為：
第n個泡沫區(qū)域的區(qū)域質(zhì)心(忑，歹")可由其1階規(guī)則距求得：
則一幀圖像的（P+q)階中心距為：
如果僅考慮一幀圖像的二階中心矩集，則可將泡沫區(qū)域近似為一個以區(qū)域質(zhì)心為中心 的橢圓，則有：
CBn表示近似橢圓的長半軸，DBn為短半軸，0"為傾角； 進(jìn)而計算得到橢圓長（短）軸端點的像素坐標(biāo)：〇1(11111，\ 1)、(：2(11112，^)，公式為：
結(jié)合步驟二獲得的深度矩陣D'，計算橢圓長軸端點和區(qū)域質(zhì)心對應(yīng)的深度值 Ini，ln2，Inc: lnl =D' （unl，vnl) ln2 =D/ (u^,vn2)公式 31
假設(shè)泡沫可近似為標(biāo)準(zhǔn)的橢球體，定義泡沫實際空間高度hn為： hn =lnc-min(lnl,ln2) 公式 32 結(jié)合kinect傳感器的視角參數(shù)：水平視角Si和垂直視角S2，計算得到長軸端點對應(yīng) 的三維空間坐標(biāo)Cnl和Q: Cnl ： ( 8 [2unlL+ (a-1) (L-lnl) ], 6 2 [2 (b-vnl-l)L+ (b-1) (L-lnl) ],L-lnl)公式 33Cn2: ^i* [2un2L+ (a-1) (L-ln2) ], 6 2 [2 (b-vn2-l)L+ (b-1) (L-ln2) ],L-ln2)公式 34 其中L表示深度攝像頭到參考像平面空間坐標(biāo)z= 0的距離； 進(jìn)而得到長軸實際長度：
公式35 假設(shè)長軸兩個端點對應(yīng)的深度值相等，長軸實際長度值可簡化為：
同理可以得到短軸實際長度DRn ; 最終可以得到第n個泡沫的體積（假設(shè)泡沫為標(biāo)準(zhǔn)的橢球體）：
按照步驟三中子步驟2獲取一幀圖像面積特征的思路，將N個區(qū)域體積值 分布：Vs: {Vs(l)，Vs⑵…Vs(n)…Vs(N)}，按照從小到大的順序重新排序得到 Vs'：{Vs' （l)，Vs' （2)...Vs' （n)...Vs' （N)}; 從& = 1開始，分別取;^=1，;^ = 2，"％;^ = ;^2，;^2￡(1，吣，當(dāng);^ = ;^2時， 滿足：
則定義泡沫體積特征為：
步驟4 :提取速度特征； (1)Harris角點檢測； 假設(shè)增強(qiáng)灰度矩陣Gray'中的某點（x，y)為角點，其鄰域內(nèi)所有點沿某偏移量 (Vx，Vy)方向的平均強(qiáng)度灰度值變化為：
式中i2G[x-r2,x+r2],j2G[y-r2,y+r2]，:r2 為 的鄰域半徑； 對角點（x，y)所有偏移量方向進(jìn)行平均強(qiáng)度變化的計算，對公式40進(jìn)行泰勒級數(shù)展 開，略去高階項，用矩陣形式描述為：
式中Q為協(xié)方差矩陣，其兩個特征值表示某點所有偏移量方向中最大平均強(qiáng)度變化及 其垂直方向的平均強(qiáng)度變化，定義打分函數(shù)為： G=Det(Q) -kTrace2 (Q) 公式 42 其中Det(?為特征值之和，即矩陣的行列式值，Traced)為特征值之積，即矩陣的跡； 當(dāng)兩個特征值都較大時，分?jǐn)?shù)值較高； 定義G1?為達(dá)標(biāo)分?jǐn)?shù)，遍歷角點（x，y)鄰域Q2內(nèi)所有點，得到分?jǐn)?shù)值高于達(dá)標(biāo)分?jǐn)?shù)的1^ 個點，按分?jǐn)?shù)值從高到低排序得到點集〃A
對增強(qiáng)灰度矩陣Gray'進(jìn)行灰度值局部最值化處理，公式為： Graymax(x,y) =max(Gray' （i3,j3))，（i3,j3)GQ3 公式 43 Graymin(x,y) =min(Gray' （i3,j3))，（i3,j3)GQ3 其中Graymax(x，y)是灰度值局部最大化后的灰度矩陣Graymax中點（x，y)處的值， Graymin(x，y)是灰度值局部最小化后的灰度矩陣Graymin中點（x，y)處的值，為點 (X,y)的鄰域，其鄰域半徑設(shè)為r3，且i3G[x-r3,x+r3],j3G[y-r3,y+r3]， 采用如下公式確定灰度值局部最值點：
從點集HSl中篩選出滿足局部灰度最值條件的點，得到由匕個點組成的點集IIs2
最后，對深度矩陣D'進(jìn)行與求灰度矩陣Gray'灰度值局部最值點同樣的操作，得到深 度值局部最值點，從點集此2中篩選出滿足局部深度最值條件的點，得到的由h3個點組成角 點點集:
(2)對經(jīng)過三次角點篩選確定的角點點集Hs3中的點進(jìn)行追蹤，提取速度特征； 假設(shè)前后兩幀圖像中的同一角點（xh，yh)的強(qiáng)度不變，即： Gray't (xh, yh) = Gray' t+vt (xh+Vu, yh+Vv)公式 46 其中Gray't(xh,yh)是t時刻（前一巾貞圖像）增強(qiáng)灰度矩陣Gray'中點（xh,yh)的灰 度值，Gray't+vt(xh+Vu,yh+Vv)為是t+Vt時刻（后一巾貞圖像）增強(qiáng)灰度矩陣Gray'中點 (xh+Vu,yh+Vv)的灰度值，（Vu,Vv)是角點（xh,yh)在Vt時間內(nèi)發(fā)生的偏移量，Vt為相鄰兩 幀時間間隔，h=l，2，L，h3 ; 則有基礎(chǔ)光流約束方程式：
假設(shè)角點（xh，yh)及其鄰域\所內(nèi)有點的偏移量一致，鄰域\半徑設(shè)為r4,將角點 (xh，yh)及其鄰域Q4所內(nèi)有點共（2r4+l)2個帶入光流約束方程式，得到超過未知數(shù)個數(shù) (Vu，Vv兩個）的方程個數(shù)，通過迭代求解，可求出某個角點（xh，yh)的偏移量（Vu，Vv)，則位 移大小為：
對所有檢測到的角點進(jìn)行迭代求解，求取平均位移為：
相鄰兩幀圖像間隔時間為Vt，則定義泡沫速度特征為：
在跟蹤過程中需要不斷刪除不需要追蹤的角點，如位移Vw特別小和移出視線的角點， 當(dāng)刪除了一部分角點，且剩余角點個數(shù)少于某個預(yù)定義的閾值時，需按前述步驟重新檢測 角點進(jìn)行追蹤； 步驟5 :提取破碎率特征； 將步驟三得到深度矩陣D'，與一幀圖像區(qū)域標(biāo)記信息點集Psn -一對應(yīng)，得到第n個 泡沫區(qū)域每個像素點對應(yīng)的深度值的集合PDn:(屯，d2,LdAreaW)，求出深度值的最小值d^， 得出泡沫區(qū)域每個像素點的高度PHjdi-d^，d2-dmin，LdAMafa)-dmin)，求取高度和： PH_=2PHn 公式 51 對于后一幀圖像，讀取與上一幀數(shù)據(jù)點集Psn相對應(yīng)的深度數(shù)據(jù)HVn(d'ud'2，L d'AreafeO)，求出泡沫區(qū)域每個像素點的商度PH'Jd' 2 dmin，LdAreata) dmin) ' 求取高度和： PH，_=2PH，n 公式 52 當(dāng)PHnsum' /PHnsum < 0. 75時，視為標(biāo)號為n的泡沫破碎，同理對所有N個區(qū)域進(jìn)行處理， 統(tǒng)計到共有BS個泡沫破碎，則泡沫破碎率為：
5.根據(jù)權(quán)利要求4所述的基于深度信息的泡沫浮選液位監(jiān)測和工況識別方法，其特征 在于，所述步驟四包括以下子步驟： 步驟1 :對步驟二得到的深度矩陣D'，提取泡沫表層液位特征：平均液位La、液面平滑 度Lu、最低液位k、最高液位Lh ; 對于kinect視場內(nèi)泡沫表層某點（X，y)，滿足： Hh =Ht+Hk 公式 54 其中Hk為礦漿液位，假設(shè)礦漿液面與浮選槽底面平行，Ht表示某點（x，y)處泡沫層 厚度，即視場內(nèi)某點到礦漿液面的距離，Hk是浮選現(xiàn)場工況識別的一個重要指標(biāo)，但由于 礦漿液面被泡沫層覆蓋而難以測量，為此，通過視場內(nèi)所有點的泡沫表層距槽底距離Hh = D' (x，y)，獲取與礦漿液位相關(guān)的泡沫表層液位特征，進(jìn)行工況識別； 使用大量離線數(shù)據(jù)對深度矩陣D'中的數(shù)據(jù)進(jìn)行分布擬合，得到其服從正態(tài)分布的結(jié) 果，采用點估計方法估計正態(tài)分布的參數(shù)： 正態(tài)分布的均值：
正態(tài)分布的標(biāo)準(zhǔn)差：
定義4個泡沫表層液位特征： 平均液位：La =y公式57 液面平滑度：Lu =g公式58 最低液位A=u-3g公式59 最高液位：Lh =u+3 〇 公式60 步驟2 :通過統(tǒng)計分析，獲得泡沫表層液位特征與溢流槽邊沿高度Hy之間的關(guān)系：
步驟3 :實時提取當(dāng)前泡沫表層液位特征，應(yīng)用公式61進(jìn)行判斷，獲得當(dāng)前泡沫表層液 位特征所反映的工況類別；當(dāng)該類別工況持續(xù)10分鐘以上時，判定識別結(jié)果生效。
6.根據(jù)權(quán)利要求5所述的基于kinect的泡沫浮選液位監(jiān)測和工況識別方法，其特征在 于，所述步驟五包括以下子步驟： 步驟1 :將步驟三提取的8個泡沫特征構(gòu)成特征向量ds :ds=[GraymRmGmBmAreamVmRateBreak] 公式 62 步驟2:離線獲取聚類中心； 通過一段時間的監(jiān)測記錄，取樣g組得到特征數(shù)據(jù)集：
3 遍歷聚類數(shù)k值，kG(1，2,…，g)，對于每一個k值，進(jìn)行K-means聚類，定義評價函 數(shù)，確定最佳聚類數(shù)kb,得到kb個聚類中心：[cepcc2, --?ccjj，構(gòu)成聚類中心集合KB:
公式64 步驟3 :在線工況識別； 按照步驟一構(gòu)建的基于kinect的泡沫浮選工況監(jiān)測系統(tǒng)，實時獲取泡沫浮選顏色和 深度數(shù)據(jù)，將步驟三提取的實時泡沫圖像特征構(gòu)成特征向量： ^^current [Gr&yillcurrenl-RecurrentGmcurrentBmcurrentAr6&ITlcurrenl-VlTlcurrenl-R&t6current Breakcurrent] 公式 65 定義實時特征與聚類中心特征之間的歐氏距離為特征數(shù)據(jù)相似度：
其中IcCkb-CC-J表示向量（CCkb-CC-eJ的模，即：
選取KN矩陣的最小值對應(yīng)的工況作為當(dāng)前工況，完成工況識別。
7. -種基于深度信息的泡沫浮選液位監(jiān)測和工況識別系統(tǒng)，其特征在于，包括kinect 傳感器、高頻光源、計算機(jī)，kinect傳感器固定于距浮選槽液面1. 2m-3. 5m范圍內(nèi)，其攝像 頭所在平面與浮選槽底面平行；高頻光源為kinect傳感器采集顏色數(shù)據(jù)提供照明，將采集 到的顏色和深度數(shù)據(jù)流通過USB數(shù)據(jù)線傳送至計算機(jī)，計算機(jī)實現(xiàn)數(shù)據(jù)處理、實時工況監(jiān) 測及其結(jié)果顯示；軟件系統(tǒng)在跨平臺框架Openni下，采用交互式編程接口，以實現(xiàn)顏色和 深度數(shù)據(jù)流的實時獲取、處理、保存以及特征提取和工況識別。
8. 根據(jù)權(quán)利要求7所述的基于深度信息的泡沫浮選液位監(jiān)測和工況識別系統(tǒng)，其特征 在于，顏色和深度數(shù)據(jù)流的實時獲取、處理、保存以及特征提取和工況識別的方式為：采集、 處理并保存由kinect獲取的浮選泡沫顏色數(shù)據(jù)和深度數(shù)據(jù)；對獲得的顏色和深度數(shù)據(jù)進(jìn) 行特征提取，結(jié)合顏色和深度數(shù)據(jù)提取泡沫的顏色、面積、體積、速度、破碎率等立體特征； 采用分布擬合方法對獲得的深度數(shù)據(jù)進(jìn)行統(tǒng)計分析；采用參數(shù)估計方法獲取泡沫表層液位 特征；進(jìn)而獲得泡沫表層液位特征與溢流槽邊沿高度之間的關(guān)系，用于泡沫浮選液位的在 線監(jiān)測與工況識別；將獲取的泡沫特征構(gòu)成特征向量，采用改進(jìn)的k-means算法進(jìn)行離線 的聚類分析，得到若干個聚類中心；實時提取浮選現(xiàn)場的泡沫特征，并與聚類中心進(jìn)行實時 匹配，在線獲取當(dāng)前浮選的工況。
【文檔編號】G06T7/00GK104408724SQ201410699401
【公開日】2015年3月11日 申請日期:2014年11月27日 優(yōu)先權(quán)日:2014年11月27日
【發(fā)明者】彭濤, 趙永恒, 趙林, 蔡耀儀, 宋彥坡, 韓華, 趙璐, 彭霞 申請人:中南大學(xué)