一種基于非均勻測量矩陣的超分辨率全向圖像重建方法
【專利摘要】本發(fā)明公開了一種基于非均勻測量矩陣的超分辨率全向圖像重建方法，其實(shí)現(xiàn)過程是：首先基于單位球面模型分析折反射全向成像系統(tǒng)的空間分辨率分布規(guī)律，設(shè)計基于全向圖像分辨率的非均勻測量矩陣，通過設(shè)計的測量矩陣，將較多的傳感資源分配給全向圖像內(nèi)環(huán)，而將較少的傳感資源分配給外環(huán)，從而對經(jīng)過鏡面反射的場景進(jìn)行采集，得到觀測場景的非均勻壓縮采樣，最后通過最小全變分算法重構(gòu)出分辨率均勻的高分辨率圖像。本發(fā)明提高了折反射全向圖像的分辨率，且保證了折反射全向圖像分辨率分布均勻，并且本發(fā)明對折反射成像系統(tǒng)的加工要求和安裝精度沒有特殊要求，保證了折反射成像系統(tǒng)的垂直視域，應(yīng)用范圍廣。
【專利說明】一種基于非均勻測量矩陣的超分辨率全向圖像重建方法【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)視覺領(lǐng)域，特別是一種基于非均勻測量矩陣的超分辨率全向圖像重建方法。
【背景技術(shù)】
[0002]折反射全向成像技術(shù)將曲面反射鏡和常規(guī)成像透鏡相結(jié)合，憑借能一次性獲得360°全方位視野的獨(dú)特優(yōu)勢，近年來在全景軍事偵察、機(jī)器人視覺導(dǎo)航、虛擬空間構(gòu)建等領(lǐng)域得到廣泛研究和應(yīng)用。但隨著研究的不斷深入，折反射全向成像技術(shù)固有的空間分辨率低、分辨率分布不均勻的缺陷嚴(yán)重限制了應(yīng)用的深入。
[0003]部分學(xué)者嘗試從全向圖像后處理的角度對分辨率問題進(jìn)行改善。彭啟民等提出了一種基于小波變換的全向圖像分辨率增強(qiáng)方法，根據(jù)成像退化模型，利用小波系數(shù)的自相似性和極值點(diǎn)在各層間的傳遞性，對全向圖像丟失的高頻成分進(jìn)行補(bǔ)償。Nagahara等借鑒傳統(tǒng)圖像超分辨率增強(qiáng)的研究基礎(chǔ)，采用旋轉(zhuǎn)或平移全向相機(jī)、多聚焦成像等方法，利用多幀全向圖或全向視頻序列間的時空互補(bǔ)信息，研究全向成像的分辨率增強(qiáng)問題，并針對全向視頻提出了相應(yīng)的超分辨率建模方法。
[0004]然而，由于折反射全向成像內(nèi)環(huán)的嚴(yán)重欠采樣，單純依靠后期的圖像處理對全向圖像的分辨率進(jìn)行增強(qiáng)，改善效果必然是非常有限的。只有從圖像采集裝置前端入手，進(jìn)行針對性設(shè)計改進(jìn)，才有可能從根本上解決上述兩個問題。全向成像分辨率分布不均勻主要體現(xiàn)在內(nèi)環(huán)嚴(yán)重欠采樣而外環(huán)采樣相對浪費(fèi)。為了解決該問題，Stefan.G提出了基于非均勻CXD采樣點(diǎn)的SVAVISCA成像方式，他設(shè)計的CXD感光陣列越靠近成像中心的感光區(qū)域像素點(diǎn)密度越高，以此提高內(nèi)環(huán)空間分辨率。這種方法簡單直觀，但CCD加工難度高，應(yīng)用面狹窄，難以普及。陳立棟等提出一種基于多反射鏡面的互補(bǔ)結(jié)構(gòu)折反射全向成像方法，在內(nèi)外環(huán)互補(bǔ)全向圖的基礎(chǔ)上，通過融合和超分辨率增強(qiáng)得到分辨率均勻的高分辨率全景圖像，該方法 成本較低，但是垂直視域較小，而且為了使內(nèi)外環(huán)視野重疊，互補(bǔ)結(jié)構(gòu)折反射全向成像系統(tǒng)安裝精度要求較高。
[0005]近年來Donoho 提出的壓縮感知(Compressed Sensing 或 CompressiveSampling, CS)理論為解決困擾已久的折反射全向成像系統(tǒng)的分辨率問題提供了一條可行的新思路。該理論的核心思想是，只要信號在某個變換域是稀疏的或可壓縮的，就可以用一個與變換基不相關(guān)的觀測矩陣對信號進(jìn)行測量，通過求解一個優(yōu)化問題高概率地重構(gòu)出原始信號。壓縮感知的優(yōu)點(diǎn)在于充分利用了目標(biāo)信號結(jié)構(gòu)的稀疏特性，通過低維采樣數(shù)據(jù)的非相關(guān)測量實(shí)現(xiàn)高維稀疏信號的采集，信號的測量數(shù)據(jù)量遠(yuǎn)小于傳統(tǒng)采樣方法獲取的數(shù)據(jù)量，使得高分辨率的信號采集成為可能。目前，學(xué)者們已經(jīng)在雷達(dá)成像、遙感成像、光場成像等領(lǐng)域?qū)嚎s感知展開了應(yīng)用研究，但是還沒有針對折反射全向圖像的應(yīng)用研究。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)不足，提供一種基于非均勻測量矩陣的超分辨率全向圖像重建方法，在對成像系統(tǒng)沒有特殊的加工要求及安裝精度要求的前提下，提高折反射全向圖像分辨率，保證折反射全向圖像分辨率均勻。
[0007]為解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是:一種基于非均勻測量矩陣的超分辨率全向圖像重建方法，該方法為:
[0008]I)采集折反射全向圖像X，計算所述折反射全向圖像X中不同像素點(diǎn)的位置分辨率；
[0009]2)將上述折反射全向圖像X分成互不重疊的圖像塊；
[0010]3)根據(jù)第i個圖像塊Xi中不同像素點(diǎn)的位置分辨率計算第i個圖像塊Xi的平均分辨率，利用、最大測量次數(shù)閾值Mmax、最小測量次數(shù)閾值Mmin計算第i個圖像塊Xi的測量次數(shù)Mi:
[0011]Mi = round(—.(Mmsx -Mmia)+ Mmin);
[0012]其中，roundO表示四舍五入算子；i=l，2...n，其中η為圖像塊的總數(shù)；Mmin取值范圍為[0.08*N, 0.15*N], Mmax取值范圍為[0.5*N, N], N為第i個圖像塊中的像素點(diǎn)個數(shù)；
[0013]4)確定第i個圖像塊Xi的測量矩陣Φρ計算第i個圖像塊Xi的測量值兄=φ,Ψ, *其中所述測量矩陣Oi的大小為MiXN,測量矩陣Oi為隨機(jī)矩陣；A為第i個圖像塊Xi中的所有像素點(diǎn)的像素值按照字典順序排列成的列向量；
[0014]5)利用第i個圖像塊Xi的測量值重構(gòu)第i個圖像塊Xi，得到第i個圖像塊的重構(gòu)圖像塊為；
[0015]6)重復(fù)上述步驟`3)~5)，得到其余所有圖像塊的重構(gòu)圖像塊；
[0016]7)將所有重構(gòu)圖像塊組合，得到重構(gòu)后的折反射全向圖像。
[0017]所述步驟I)中，折反射全向圖像X中任一像素點(diǎn)A的位置分辨率#計算公式如




αν
下:
dA「1-f I dA
[0018]—-= --2-r -;
dv _{ξζ-\)2 _?ω'
[0019]其中，ζ為所述像素點(diǎn)A投影到單位球面上的反投影點(diǎn)的縱坐標(biāo)，ζ e (-1，O) ； ξ


d4
為折反射成像系統(tǒng)反射鏡的鏡面參數(shù)；為透視攝像機(jī)的分辨率。通過單位球面模型分



ClOJ
析折反射成像系統(tǒng)的分辨率，只需要標(biāo)定出折反射攝像機(jī)的內(nèi)參數(shù)矩陣和鏡面參數(shù)即可，而不需要得到構(gòu)成反射鏡面的曲線參數(shù)，實(shí)現(xiàn)方便，實(shí)用性更強(qiáng)。
[0020]與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果為:本發(fā)明將壓縮感知技術(shù)應(yīng)用到折反射全向成像過程中，使得圖像采用速率低于奈奎斯特采樣速率，可以用較少的采樣點(diǎn)數(shù)表示原始圖像信號，便于存儲和傳輸；通過單位球面模型分析折反射成像系統(tǒng)的分辨率，只需要標(biāo)定出折反射攝像機(jī)的內(nèi)參數(shù)矩陣和鏡面參數(shù)即可，而不需要得到構(gòu)成反射鏡面的曲線參數(shù)，實(shí)用性更強(qiáng)；根據(jù)折反射系統(tǒng)的分辨率設(shè)計非均勻的測量矩陣，可以將較多的傳感資源分配給全向圖像內(nèi)環(huán)，而將較少的傳感資源分配給外環(huán)，從而對經(jīng)過鏡面反射的場景進(jìn)行采集，得到觀測場景的非均勻壓縮采樣，提高了折反射全向圖像的分辨率，且保證了折反射全向圖像分辨率分布均勻，并且本發(fā)明對折反射成像系統(tǒng)的加工要求和安裝精度沒有特殊要求，保證了折反射成像系統(tǒng)的垂直視域，應(yīng)用范圍廣；本發(fā)明中折反射成像系統(tǒng)得到
的圖像是原始場景的線性疊加=Aa )，疊加后的壓縮圖像在傳輸過程中如果被他人
截獲，在對方不知道觀測矩陣(即Φ?)具體形式的情況下，無法解析出原始圖像信號，因此增加了圖像信號傳輸過程中的安全性。
【專利附圖】

【附圖說明】
[0021]圖1為本發(fā)明一實(shí)施例方法流程圖；
[0022]圖2為折反射攝像機(jī)的空間分辨率；
[0023]圖3為重構(gòu)信號的MSE與稀疏度K、測量次數(shù)M關(guān)系圖；
[0024]圖4為全向圖像分辨率不均勻示意圖。
【具體實(shí)施方式】
[0025]參照圖1所示的流程框圖，本發(fā)明具體實(shí)施步驟如下:
[0026]第一步:基于單位球面模型分析折反射全向成像系統(tǒng)的空間分辨率分布規(guī)律，得
到折反射圖像中不同像素點(diǎn)位置分辨率
【權(quán)利要求】
1.一種基于非均勻測量矩陣的超分辨率全向圖像重建方法，其特征在于，該方法為: 1)采集折反射全向圖像X，計算所述折反射全向圖像X中不同像素點(diǎn)的位置分辨率； 2)將上述折反射全向圖像X分成互不重疊的圖像塊； 3)根據(jù)第i個圖像塊Xi中不同像素點(diǎn)的位置分辨率計算第i個圖像塊Xi的平均分辨率i i，利用i 1、最大測量次數(shù)閾值Mmax、最小測量次數(shù)閾值Mmin計算第i個圖像塊Xi的測量次數(shù)Mi:

2.根據(jù)權(quán)利要求1所述的基于非均勻測量矩陣的超分辨率全向圖像重建方法，其特征

在于，所述步驟1)中，折反射全向圖像X中任一像素點(diǎn)A的位置分辨率Y計算公式如下:

【文檔編號】G06T3/40GK103871038SQ201410080531
【公開日】2014年6月18日 申請日期:2014年3月6日 優(yōu)先權(quán)日:2014年3月6日
【發(fā)明者】張茂軍, 熊志輝, 婁靜濤, 王煒, 譚樹人, 張政 申請人:中國人民解放軍國防科學(xué)技術(shù)大學(xué)