一種采煤綜掘工作面動態(tài)視頻圖像融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種動態(tài)視頻圖像融合方法，特別是一種采煤綜掘工作面動態(tài)視頻圖 像融合方法。
【背景技術(shù)】
[0002] 當前的采煤綜掘工作面監(jiān)控系統(tǒng)，大多采用固定安裝的單個攝像機進行監(jiān)視，但 是單個攝像機只能監(jiān)視某個固定角度的場景，對于有較大視角的綜掘工作面，無法做到全 面的監(jiān)控。基于此問題，有些煤礦采用安裝多個攝像機的方法，該方法雖然能夠監(jiān)控到全部 場景，但是監(jiān)控過程中需要連續(xù)觀察多個監(jiān)視器，頻繁更換視角，這會引起視覺疲勞，并且 監(jiān)控人員很容易錯過監(jiān)控中的重要信息；也有一些煤礦采用安裝帶旋轉(zhuǎn)云臺的攝像機的方 法，云臺攝像機雖然能監(jiān)視360度的場景，但是無法做到同時對多個角度進行監(jiān)控，因此也 會出現(xiàn)一些監(jiān)控漏洞。采煤綜掘工作面是煤礦生產(chǎn)最前沿的工作環(huán)節(jié)，也是最復雜的工作 環(huán)節(jié)，但是當前的監(jiān)控系統(tǒng)無法對采煤綜掘面做到全面的監(jiān)控。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是要提供一種采煤綜掘工作面動態(tài)視頻圖像融合方法，解決攝像機 視角差別較大的情況下融合效果較差的問題。
[0004] 本發(fā)明的目的是這樣實現(xiàn)的：該動態(tài)視頻圖像融合方法：選擇攝像機放置軸心， 圍繞攝像機軸心，放置兩臺或多臺高清網(wǎng)絡(luò)攝像機，將整個采煤綜掘工作面完全覆蓋；并且 相鄰攝像機獲取的視頻幀圖像要有三分之一左右的重疊區(qū)域；然后將獲得的采煤綜掘工作 面動態(tài)視頻進行融合，采煤綜掘工作面動態(tài)視頻進行融合步驟如下：
[0005] -、攝像機標定與視頻幀圖像畸變校正
[0006] 攝像機獲取視頻流過程中，對視頻幀圖像處理之前對攝像機進行標定，以建立二 維空間圖像與三維空間物體的對應關(guān)系，所述的攝像機標定方法是張正友標定方法；
[0007] 通過攝像機標定，求得攝像機內(nèi)部參數(shù)，找到引起圖像畸變的因素，然后對視頻幀 圖像進行畸變校正，得到理想的待處理圖像；
[0008] 二、視頻幀圖像配準，具體步驟如下：
[0009] (1)特征提取
[0010] 本發(fā)明使用通用的尺度不變特征轉(zhuǎn)換算法（SIFT)進行特征提取，先對畸變校正 后的視頻幀圖像構(gòu)建高斯金字塔，然后得到相應的高斯差分金字塔，求得高斯差分金字塔 中的極值點，之后進行關(guān)鍵點精確定位，得到各攝像機獲取的幀圖像的特征點；最后，用特 征向量對每一個特征點進行特征描述；
[0011]
【主權(quán)項】
1. 一種采煤綜掘工作面動態(tài)視頻圖像融合方法，其特征是：該動態(tài)視頻圖像融合方 法：選擇攝像機放置軸心，圍繞攝像機軸心，放置兩臺或多臺高清網(wǎng)絡(luò)攝像機，將整個采煤 綜掘工作面完全覆蓋；并且相鄰攝像機獲取的視頻幀圖像要有三分之一左右的重疊區(qū)域； 然后將獲得的采煤綜掘工作面動態(tài)視頻進行融合，采煤綜掘工作面動態(tài)視頻進行融合步驟 如下： 一、 攝像機標定與視頻幀圖像畸變校正 攝像機獲取視頻流過程中，對視頻幀圖像處理之前對攝像機進行標定，以建立二維空 間圖像與三維空間物體的對應關(guān)系，所述的攝像機標定方法是張正友標定方法； 通過攝像機標定，求得攝像機內(nèi)部參數(shù)，找到引起圖像畸變的因素，然后對視頻幀圖像 進行畸變校正，得到理想的待處理圖像； 二、 視頻幀圖像配準，具體步驟如下： (1) 特征提取 本發(fā)明使用通用的尺度不變特征轉(zhuǎn)換算法（SIFT)進行特征提取，先對畸變校正后的 視頻幀圖像構(gòu)建高斯金字塔，然后得到相應的高斯差分金字塔，求得高斯差分金字塔中的 極值點，之后進行關(guān)鍵點精確定位，得到各攝像機獲取的幀圖像的特征點；最后，用特征向 量對每一個特征點進行特征描述；
0(X，y) =tarT1((L(X，y+1)-L(X，y-1)) /(L(x+1，y)-L(x-1，y))) (2) 其中，（x，y)表示圖像特征點坐標，L是高斯函數(shù)與特征點的卷積運算，m(x，y)與 0 (x，y)分別表示是特征點的梯度模制與方向；SIFT算法利用關(guān)鍵點的模值與方向生成關(guān) 鍵點特征向量即128維的向量； (2) 特征匹配 特征匹配是一個最近鄰搜索的問題，采用級聯(lián)哈希特征匹配，所述的級聯(lián)哈希特征匹 配有下述三個步驟： (A) 多表哈希查找：首先使用局部敏感哈希（LSH)算法將待匹配的兩幀圖像的特征點 進行一次哈希映射，使得每個特征點都嵌入一個m位的二進制代碼；對于目標圖像中的待 匹配的特征點P，為了精確地找到其在參考圖像中的匹配點，使用構(gòu)建L個哈希表的策略； 先構(gòu)造滿足LSH算法的L個哈希函數(shù)，將所有的特征點映射到相應的哈希桶內(nèi)，得到L個哈希表，將每個哈希表中與特征點P處于同一個哈希桶的特征點作為P的候選匹配特征 占. (B) 哈希重映射：由于通過第一次哈希映射之后得到的候選特征點的數(shù)量較多，如果 使用計算歐氏距離的算法查找最佳匹配點，需要較長的時間。所以本發(fā)明進行第二次哈希 映射，將特征點映射到漢明空間，通過計算待匹配點P與候選匹配特征點之間的漢明距離， 進一步縮小候選匹配特征點的數(shù)目；保留漢明距離等于〇與1的候選匹配特征點，得到精確 候選匹配特征點； (C) 精確匹配：在得到精確的候選匹配特征點之后，在歐式空間中找到特征點p的匹配 點，也就是找到距離P歐氏距離最近的特征點； (3) 計算變換矩陣：得到匹配的特征點對之后，使用現(xiàn)有的隨機采樣一致性算法 (RANSAC)去除錯配的特征點對，利用內(nèi)點求得相應的投影變換矩陣:
其中，表毛表先毛/?7A8都是RANSAC算法求得的系數(shù)； 三、視差容忍的視頻融合變換模型 在圖像配準過程求得了投影變換應，采用視差容忍的視頻融合變換模型；所述的視差 容忍的視頻融合變換模型，首先使用最佳變換矩陣對幀圖像做粗調(diào)整，在粗調(diào)整之后再使 用特征點生長準則找到一個特征點密集生長區(qū)域，在該區(qū)域使用動態(tài)規(guī)劃算法，查找最佳 拼接縫，最后使用內(nèi)容保護變形算法對幀圖像做變形處理；具體步驟如下： (1) 特征點生長準則： (A) 隨機選擇一個特征點作為種子節(jié)點，然后生長該節(jié)點的鄰域，直到生長的鄰域不再 滿足單應矩陣預定義的閥值時停止生長，標記出生長區(qū)域； (B) 重復執(zhí)行過程（A)，如果新的生長區(qū)域中特征點密集程度更高，則用新的生長區(qū)域 替代原來區(qū)域；直到生長區(qū)域中特征點個數(shù)達到特征點總數(shù)的1/3,或者執(zhí)行次數(shù)達到特 征點個數(shù)時，執(zhí)行過程（C); (C) 將最終得到的生長區(qū)域標記為特征點密集生長區(qū)域； (2) 動態(tài)規(guī)劃算法查找最佳接縫： 首先定義最優(yōu)縫合線的特征：兩源圖像的顏色強度上差值最小，并且?guī)缀谓Y(jié)構(gòu)上最相 似；定義最佳縫合線準則： E(X，y)=Edif(X，y)-入Eedge(X，y)(4)其中：
Eedge=min(g^x,y),g2 (x,y)) (6) 1與I2表示兩原始幀圖像，81與g2表示兩原始幀圖像的梯度圖像；Edif體現(xiàn)了兩源圖 像的顏色強度差異，氏_體現(xiàn)了兩原始幀圖像的機構(gòu)差異； 使用該準則找到特征點密集生長區(qū)域的最佳縫合線； (3) 內(nèi)容保護變形算法 用m*n個均一的網(wǎng)格劃分視頻的幀圖像，將圖像變形問題轉(zhuǎn)變成網(wǎng)格變形問題；使 用I、7、/分別表示原始幀圖像、預變形幀圖像、最終變形圖像，用6、f分別表示I、 7、f對應的頂點；網(wǎng)格變形問題被定義為最優(yōu)化問題，將預變形的幀圖像7調(diào)整到參考圖 像，同時避免一些顯著的變形，一共有兩個優(yōu)化的能量項； 第一、局部調(diào)整能量項：
其中，n表示特征點集中特征點的個數(shù)，a是雙線性組合的系數(shù)，匕*是包含$的網(wǎng)格的 頂點，巧:是相應的參考圖像中的特征點，要求的未知量就是 第二、圩全局調(diào)整能量項：
該能量項是針對沒有特征點的網(wǎng)格區(qū)域，^與5分別是最終變形之后的圖像與預變形 圖像的頂點，t,是一個布爾值，當V#卩域有特征點的時候取1，否則取0 ; 最終的優(yōu)化表達式為： E=Ep+0. 01Eg (9) 最終的問題是一個二次表達式，通過標準的稀疏線性方法求解，求得變形之后的網(wǎng)格 的坐標就得到了最終的變形圖像； 四、視頻幀圖像融合 利用視差容忍的視頻融合變換模型對幀圖像進行幾何變換，然后對變形之后的幀圖像 進行融合，融合過程對速度有較高要求，在融合過程中采用簡單有效的方法為線性加權(quán)過 渡法，所述的線性加權(quán)過渡法對重疊區(qū)域進行加權(quán)疊加再平均處理，使得重疊區(qū)域有較強 的連續(xù)性，同時具有較快的速度。線性加權(quán)過渡法如公式（20):
其中，dl為中間重合部分中點到重疊區(qū)域左邊界的距離，d2為到其右邊界的距離，pixellmgl為左圖在該位置的像素值，pixellmg2為右圖在該位置的像素值。
【專利摘要】一種采煤綜掘工作面動態(tài)視頻圖像融合方法，屬于動態(tài)視頻圖像融合方法。該動態(tài)視頻圖像融合方法：選擇攝像機放置軸心，圍繞攝像機軸心，放置兩臺或多臺高清網(wǎng)絡(luò)攝像機，將整個采煤綜掘工作面完全覆蓋；并且相鄰攝像機獲取的視頻幀圖像要有三分之一左右的重疊區(qū)域；然后將獲得的采煤綜掘工作面動態(tài)視頻進行融合。優(yōu)點：級聯(lián)哈希特征匹配算法使用兩次哈希映射，保證了特征匹配的精度和匹配速度；視差容忍變換模型使用特征點生長準則結(jié)合動態(tài)規(guī)劃算法，提高了視頻融合的速度，降低了視頻融合過程中對攝像機位置的要求，對于存在較大視差及發(fā)生較大旋轉(zhuǎn)的攝像機，仍然能夠取得很好的動態(tài)視頻融合效果。提高了煤礦開采工作效率，保障了煤礦安全生產(chǎn)。
【IPC分類】G06T5-50, G06T7-00
【公開號】CN104778675
【申請?zhí)枴緾N201510209570
【發(fā)明人】姚睿, 夏士雄, 牛強, 周勇, 陳朋朋, 王重秋
【申請人】中國礦業(yè)大學
【公開日】2015年7月15日
【申請日】2015年4月28日