基于內(nèi)容的視頻圖像處理和人機交互方法
【專利摘要】本發(fā)明公開了基于內(nèi)容的視頻圖像處理和人機交互方法，屬于無線通信【技術(shù)領(lǐng)域】，本發(fā)明包括如下步驟：①對輸入視頻提取特征信息；②根據(jù)場景特征，建立場景模型，并在此基礎(chǔ)上進(jìn)行基于場景的運動物體檢測；③根據(jù)目標(biāo)內(nèi)容，建立目標(biāo)模型，并在此基礎(chǔ)上進(jìn)行基于目標(biāo)的檢測；④通過融合基于場景和基于目標(biāo)的檢測，分析檢測目標(biāo)顯著度(重要等級)，生成檢測結(jié)果，其包括檢測目標(biāo)和重要等級；⑤通過使用計算機視覺注意力選擇機制，將監(jiān)控人員的視覺注意力引導(dǎo)到重要目標(biāo)，從而有效地利用有限的圖像顯示空間。
【專利說明】基于內(nèi)容的視頻圖像處理和人機交互方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及基于內(nèi)容的視頻圖像處理和人機交互方法，屬于無線通信【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0002]目前，我國煤層氣生產(chǎn)視頻監(jiān)控尚處于開發(fā)前期階段，仍然存在以下幾個方面的問題:
[0003](I)由于煤層氣田生產(chǎn)屬于野外作業(yè)，氣井?dāng)?shù)量多、分布地域廣闊，地形比較復(fù)雜，道路條件差，因此靠人工巡井方法工作量太大很難及時發(fā)現(xiàn)生產(chǎn)中存在的問題。人工巡井方法受天氣影響大，遇到雨雪天氣可能數(shù)日不能到達(dá)井場。從安全性和未來企業(yè)發(fā)展高效性兩方面考慮，生產(chǎn)過程無人值守、可視化遠(yuǎn)程管理成為煤層氣行業(yè)發(fā)展必然趨勢。
[0004](2)在井口眾多和周圍環(huán)境復(fù)雜等工作條件下，傳統(tǒng)的幀間差分視頻數(shù)據(jù)處理方法和傳統(tǒng)的“多窗口顯示”人機交互方式已不能滿足對井口長時間連續(xù)視頻監(jiān)控的需求。如何研究一套成本低廉、性能可靠、適合煤層氣田開發(fā)的視頻圖像采集、傳輸、存儲、處理和人機交互的技術(shù)及設(shè)備，是急需解決的難題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明針對以上問題的提出，而研制基于內(nèi)容的視頻圖像處理和人機交互方法。
[0006]本發(fā)明包括如下步驟:
[0007]①對輸入視頻提取特征信息；
[0008]②根據(jù)場景特征，建立場景模型，并在此基礎(chǔ)上進(jìn)行基于場景的運動物體檢測；
[0009]③根據(jù)目標(biāo)內(nèi)容，建立目標(biāo)模型，并在此基礎(chǔ)上進(jìn)行基于目標(biāo)的檢測；
[0010]④通過融合基于場景和基于目標(biāo)的檢測，分析檢測目標(biāo)顯著度(重要等級)，生成包括檢測目標(biāo)和重要等級的檢測結(jié)果；
[0011]⑤通過使用計算機視覺注意力選擇機制，將監(jiān)控人員的視覺注意力引導(dǎo)到重要目標(biāo)，從而有效地利用有限的圖像顯示空間。
[0012]本發(fā)明原理及有益效果:在野外復(fù)雜場景環(huán)境中，對眾多煤層氣井口進(jìn)行視頻監(jiān)控，將產(chǎn)生海量視頻數(shù)據(jù)。如何在海量視頻數(shù)據(jù)條件下有效地實現(xiàn)人機交互，是大型視頻監(jiān)控系統(tǒng)的一個重要問題。如前所述，煤層氣生產(chǎn)視頻監(jiān)控系統(tǒng)具有多監(jiān)測點、長時間連續(xù)工作的特點。在這種工作條件下，監(jiān)控人員無法長時間集中注意力，逐點掃描各監(jiān)控點，因而必須把監(jiān)控人員的注意力吸引到異常畫面上。研究表明，人類感知系統(tǒng)主要利用視覺注意力選擇機制，克服復(fù)雜視覺場景感知中多尺度和高復(fù)雜度問題。視覺注意力選擇機制已經(jīng)在計算機視覺系統(tǒng)中得到重視，并且作為設(shè)計理論應(yīng)用于工程實踐。例如，在歐洲戰(zhàn)機設(shè)計中，視覺注意力選擇機制用來指導(dǎo)設(shè)計人機交互系統(tǒng)。圖1.1所示模型是視覺注意力選擇機制在運動目標(biāo)檢測方面的應(yīng)用。在本項目中，我們將遵循并利用人類注意力選擇機制，實現(xiàn)煤層氣生產(chǎn)視頻監(jiān)控系統(tǒng)的高效人機交互。

【專利附圖】

【附圖說明】
[0013]圖1本發(fā)明流程圖。

【具體實施方式】
[0014]1、基于內(nèi)容的視頻圖像處理和人機交互方法包括如下步驟:
[0015]①對輸入視頻提取特征信息；
[0016]通過直方圖統(tǒng)計的方法，提取火情紅綠藍(lán)三通道顏色特征，提取基于SURF的場景感興趣點特征；
[0017]②根據(jù)場景特征，建立場景模型，并在此基礎(chǔ)上進(jìn)行基于場景的運動物體檢測；
[0018]針對煤層氣生產(chǎn)檢測目標(biāo)火情的顏色特征(詳見步驟③)，提取視頻場景與火情顏色相似的感興趣區(qū)域，在此區(qū)域內(nèi)提取SURF特征點，根據(jù)R通道像素值計算相鄰幀SURF特征點的5X5鄰域的歐拉距離并匹配特征點，計算相鄰幀對應(yīng)SURF特征點的位置差Λ d，記錄位置差的數(shù)據(jù)符號，利用符號檢驗方法(見公式(I))，判定SURF特征點位置差的變化是否滿足高斯分布如果滿足高斯分布(見公式(2))，判定當(dāng)前SURF特征點為場景特征點，記錄其位置信息，建立基于特征點的稀疏場景模型；否則，為運動物體SURF特征點。

【權(quán)利要求】
1.基于內(nèi)容的視頻圖像處理和人機交互方法，其特征存在于:包括如下步驟: ①對輸入視頻提取特征信息； ②根據(jù)場景特征，建立場景模型，并在此基礎(chǔ)上進(jìn)行基于場景的運動物體檢測； ③根據(jù)目標(biāo)內(nèi)容，建立目標(biāo)模型，并在此基礎(chǔ)上進(jìn)行基于目標(biāo)的檢測； ④通過融合基于場景和基于目標(biāo)的檢測，分析檢測目標(biāo)顯著度，生成檢測結(jié)果，生成檢測結(jié)果包括檢測目標(biāo)和重要等級； ⑤通過使用計算機視覺注意力選擇機制，將監(jiān)控人員的視覺注意力引導(dǎo)到重要目標(biāo)，從而有效地利用有限的圖像顯示空間。
2.根據(jù)權(quán)利要求1所述的基于內(nèi)容的視頻圖像處理和人機交互方法，其特征存在于:根據(jù)場景特征，建立場景模型，并在此基礎(chǔ)上進(jìn)行基于場景的運動物體檢測方法為:針對煤層氣生產(chǎn)檢測目標(biāo)火情的顏色特征，提取視頻場景與火情顏色相似的感興趣區(qū)域，在此區(qū)域內(nèi)提取SURF特征點，計算視頻圖像相鄰幀對應(yīng)SURF特征點的位置差，記錄位置差的數(shù)據(jù)符號，利用符號檢驗方法，判定SURF特征點位置差的變化是否滿足高斯分布；如果滿足高斯分布，判定當(dāng)前SURF特征點為場景特征點，否則，為運動物體SURF特征點。
3.根據(jù)權(quán)利要求1所述的基于內(nèi)容的視頻圖像處理和人機交互方法，其特征存在于:根據(jù)目標(biāo)內(nèi)容，建立目標(biāo)模型，并在此基礎(chǔ)上進(jìn)行基于目標(biāo)的檢測方法為:在訓(xùn)練階段，針對煤層氣生產(chǎn)檢測目標(biāo)火情的顏色特征，提取火情紅，綠，藍(lán)三通道的顏色特征，確定檢測火情發(fā)生的顏色閾值；根據(jù)該顏色閾值分割出訓(xùn)練視頻圖像中火情所在的區(qū)域，在此區(qū)域內(nèi)，提取火情的SURF特征，計算當(dāng)前幀視頻圖像內(nèi)所有SURF特征點的質(zhì)心位置，及相鄰幀SURF特征點質(zhì)心的位置差，對這些質(zhì)心位置差變化進(jìn)行概率統(tǒng)計，建立火情的運動模型；在檢測階段，根據(jù)場景模型提取運動物體SURF特征點，記錄相鄰視頻場景運動物體SURF特征點質(zhì)心位置差的數(shù)據(jù)符號，利用符號檢驗方法，判定SURF特征點質(zhì)心位置差的變化是否滿足高斯分布，如果滿足高斯分布，判定火情發(fā)生，否則，火情未發(fā)生。
4.根據(jù)權(quán)利要求1所述的基于內(nèi)容的視頻圖像處理和人機交互方法，其特征存在于:通過融合基于場景和基于目標(biāo)的檢測，分析檢測目標(biāo)顯著度，生成檢測結(jié)果方法為:在場景運動物體檢測的基礎(chǔ)上，統(tǒng)計一定時間內(nèi)場景運動物體SURF特征點質(zhì)心位置變化分布，利用KL方法計算其與目標(biāo)建模訓(xùn)練階段建立的火情運動分布的相似度，根據(jù)相似度確定檢測目標(biāo)發(fā)生可能性并定義重要等級。
5.根據(jù)權(quán)利要求1所述的基于內(nèi)容的視頻圖像處理和人機交互方法，其特征存在于:通過使用計算機視覺注意力選擇機制，將監(jiān)控人員的視覺注意力引導(dǎo)到重要目標(biāo)，從而有效地利用有限的圖像顯示空間方法為:根據(jù)檢測目標(biāo)及其重要等級，優(yōu)先顯示等級高的關(guān)鍵視頻信息，將監(jiān)控人員的視覺注意力引導(dǎo)到重要目標(biāo)，從而有效地利用有限的圖像顯示空間，所述生成檢測結(jié)果包括檢測目標(biāo)和重要等級。
【文檔編號】G06T7/40GK104079872SQ201410213437
【公開日】2014年10月1日 申請日期:2014年5月16日 優(yōu)先權(quán)日:2014年5月16日
【發(fā)明者】楊燕, 胡小鵬, 王凡, 裴紅, 李明輝, 崔雅敏, 呂澤鋒, 賀艷花, 王國強, 陳仕林, 魏強 申請人:大連理工大學(xué), 中油遼河工程有限公司, 中聯(lián)煤層氣有限責(zé)任公司, 遼寧師范大學(xué)